Stable Diffusion web UI x ControlNet:AI 依照照片中的人物骨架繪圖、草稿上色

2023/02/15 22,759 7 軟體應用 , 人工智慧 , AI繪圖 ,

又是一篇含金量極高的文章!AI 繪圖技術發展的越來越快速,感覺不關注一兩天就會錯過非常多新消息,而最近網上剛剛有開發者釋出 ControlNet 擴充功能給 Stable Diffusion web UI 用。至於什麼是 ControlNet?它是一種神經網路結構,透過添加額外條件來控制擴散模型。因此我們可以給 AI 提供人物骨架或者草稿,來讓 AI 進一步依照這樣的條件繪製新的圖片,簡單來說就是這樣。

🔗 sd-webui-controlnet:https://github.com/Mikubill/sd-webui-controlnet

基本上整個安裝流程跟使用方式這篇圖文會清楚告知,讓大家輕鬆上手。安裝方面,只要透過 web UI 就可以做完。使用方面,需要先取得 ControlNet 的模型,有針對提取圖中人物骨架的,也有針對草稿邊緣偵測的,依照需求下載模型,最後就能用這些模型來提取條件讓 AI 繪圖囉!馬上開始這次的圖文教學吧!


▲ 打開 Stable Diffusion web UI 切到「擴充功能」頁面,選「從網址安裝」,將擴充功能完整的 git 網址(即 https://github.com/Mikubill/sd-webui-controlnet.git)輸入進去再點「安裝」按鈕,安裝完畢可以在 stable-diffusion-webui\extensions\ 路徑下看到名為 sd-webui-controlnet 的資料夾。

▲ 切到「已安裝」,可以看到「sd-webui-controlnet」已經安裝,未來可以在此檢查更新。點「應用並重新啟動使用者介面」,這樣就成功啟用該擴充功能囉!

▲ 可以到 Hugging Face 找尋 ControlNet 模型,網址是 https://huggingface.co/lllyasviel/ControlNet/tree/main/models,每個模型是做什麼用的請參考這個網址 https://huggingface.co/lllyasviel/ControlNet,這邊我只下載兩個,分別是「control_sd15_canny.pth」(草稿邊緣偵測)及「control_sd15_openpose.pth」(提取圖中人物骨架)。

📝 補充:原始 ControlNet 模型有些肥大,有熱心人士製作了 fp16 輕量版模型檔案可供下載使用:https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main


▲ ControlNet 模型請下載到 stable-diffusion-webui\extensions\sd-webui-controlnet\models,之後建議重新啟動 Stable Diffusion web UI,您可以在文生圖或圖生圖等 AI 繪圖介面中看到擴充的新面板「ControlNet」,可以在「模型」選單中看到您下載的 ControlNet 模型。

▲ 首先先來載入一張真人擺姿勢的照片(注意:建議用真人照,模型比較好取得骨架),確認「啟用」有打勾,Preprocessor 跟模型兩個選單要選一樣的,這邊就是都要選 openpose。其他就跟平常用 AI 繪圖的步驟一樣,設定提詞等參數最後按生成。(⚠️ 注意:如果您的 GPU VRAM 小於 8GB,Low VRAM 記得要勾選)

📝 補充:首次使用 ControlNet 的 openpose 模型會需要下載一些檔案,終端機輸出內容如下:

Downloading: "https://huggingface.co/lllyasviel/ControlNet/resolve/main/annotator/ckpts/body_pose_model.pth" to D:\stable-diffusion-webui\extensions\sd-webui-controlnet\annotator\openpose\body_pose_model.pth

100%|███████████████████████████████████████████████████████████████████████████████| 200M/200M [00:18<00:00, 11.4MB/s]
Downloading: "https://huggingface.co/lllyasviel/ControlNet/resolve/main/annotator/ckpts/hand_pose_model.pth" to D:\stable-diffusion-webui\extensions\sd-webui-controlnet\annotator\openpose\hand_pose_model.pth

100%|███████████████████████████████████████████████████████████████████████████████| 141M/141M [00:12<00:00, 11.6MB/s]


▲ 超酷的!竟然真的依照真人照片輸出骨架(圖右),並且基於該骨架條件輸出新的 AI 繪圖作品(圖左)。

▲ 再來是將草稿載入,這次選的模型是 canny,一樣記得勾「啟用」,這別忘。(⚠️ 注意:如果您的 GPU VRAM 小於 8GB,Low VRAM 記得要勾選)

▲ 這是方塊鴨過去的萌樂手繪草稿,經過模型處理取得大多數的邊緣後,再給 AI 輸入該條件進行繪圖,得出圖左的最終結果,非常驚人!

示範用提詞:masterpiece, (best quality:1.3), Amazing, beautiful detailed eyes, 1girl, solo, finely detail,depth_of_field, extremely detailed CG unity 8k wallpaper

以上就是這次的教學,希望能幫助到大家,AI 繪圖持續發展突破中,千萬不要錯過了!學會就是你的了 😉。

👉 延伸教學一:多個 ControlNet 結合使用 (Multi-ControlNet)
👉 延伸教學二:AI 參考指定影像構圖進行重新繪圖

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇