Stable Diffusion web UI x ControlNet:多個 ControlNet 結合使用 (Multi-ControlNet)、同時指定 AI 繪圖的場景及姿勢

2023/02/24 10,100 6 軟體應用 , 人工智慧 , AI繪圖 ,

自從 ControlNet 出來後,人們可以開始透過它來更客製化 AI 繪圖的作品,如給它素描上色、辨識人物姿勢、掃描場景構圖等,前陣子講解過如何在 Stable Diffusion web UI 安裝全新的 ControlNet 擴充功能,相信很多朋友都已經照著該圖文教學開始玩了,不過有沒有發現每次生成似乎只能用一套 ControlNet 模型做搭配?事實上,新版的 ControlNet 擴充功能已經開放一次使用多個 ControlNet 囉!也就是 Multi-ControlNet!只要在「設定」的地方改一下,儲存後重啟就能開始用啦!來看以下簡單的圖文操作示範。


▲ 進入 Stable Diffusion web UI,上方選「設定」,接著點「ControlNet」,找到「Multi ControlNet: Max models amount」,這邊就是設定一次可使用的 ControlNet 數量,這邊就先來試試看一次用兩個 ControlNet 吧!OK 後先點上方「儲存設定」,再點「重新載入 UI」。

▲ 重新載入 UI 後到 AI 繪圖介面(我用文生圖),開始輸入一些繪圖參數,截圖這邊僅供參考,有使用到高畫質修復的技巧。我要生 1024 x 768 px 的圖,希望繪製出喜多郁代站在街邊的簡易畫面。(※ 備註:人物特徵使用自訓練 LoRA 模型,相關教學點我

▲ 第一個 ControlNet 用來辨識場景構圖,用到的模型是 segmentation。記得要將啟用打勾,下方寬高我調整為跟輸出圖片一樣的寬高。

▲ 第二個 ControlNet 用來辨識照片人物姿勢,用到的模型是 openpose。網路上下載的人物原圖是長的,因此我用 PS 內容感知功能將其填充後以調整比例,反正這個模型也只會辨識人物的部分。

▲ 最終成品,算有成功指定背景構圖及人物姿勢(雖然不完全一樣,近似,人物位置也順便指定了~)。就畫面來說,建築物的開口太小了,人物看起來就有點巨大!不過我只生一張圖,多生幾張應該就能挑到不錯的了!大家可以自己試看看。

▲ 這次成品也附帶了兩個 ControlNet 同時輸出的圖片,共兩張,我把它們合成在一起,背景構圖跟人物姿勢就來自這個由 ControlNet 模型辨識出來的圖像資料。多多善用工具,AI 繪圖能做的事將超乎你我的想像。

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇