Stable Diffusion web UI x ControlNet:AI 參考指定影像構圖進行重新繪圖

2023/02/18 5,121 1 軟體應用 , 人工智慧 , AI繪圖 ,

上一次的教學中,我已經詳細解說了 ControlNet 擴充功能的安裝及使用方式,不清楚的朋友可以點過去參考看看。那時只有示範提取圖中人物骨架草稿邊緣偵測後進行 AI 繪圖,沒有提到另一個也非常厲害的運用方式,即參考指定影像構圖進行重新繪圖,這個 ControlNet 的模型名稱是「control_sd15_seg」,簡單來說 AI 透過這個模型可以將輸入的影像進行分割,切分成多個子區塊,使其更容易理解和分析,而獲得的資訊基本上就類似一個畫面的構圖,挪用來做 AI 繪圖效果會非常的讚!

🔗 sd-webui-controlnet:https://github.com/Mikubill/sd-webui-controlnet

今天想試著用 AI 繪製一位少女在月光下泡溫泉的景象,我就先在網路上找了一張同樣是泡溫泉的照片,而且構圖要是我想像中的那樣,透過提詞加強搭配後,就能生成出腦海裡所想像的那種景象,非常強大。也順便在過程中分享一些我平常用 AI 繪圖的小訣竅。

🎨 提詞:masterpiece, (best quality:1.3), Amazing, beautiful detailed eyes, 1girl, solo, finely detail,depth_of_field, extremely detailed CG unity 8k wallpaper, full_moon, moon, water, night, onsen, breasts, soaking_feet, partially_submerged, pool, towel, naked_towel, bath, bathing, night_sky, ripples, looking_at_viewer, wet, smile, sky, moonlight, cleavage, outdoors, cup, bangs, sitting, large_breasts, blush, multicolored_hair, collarbone.


▲ 我習慣生成大圖用高畫質加強(Hires. fix)的方式,依照上圖設定,AI 會先用 30 步產出 512 x 384 的影像,透過指定的演算法放大指定倍數,這邊我設為 2 倍,再用該圖做圖生圖,這邊就用 80 步去跑,這樣產生的影像會最為精準及細膩。這步驟僅供參考。

▲ 再來是重點的 ControlNet,參考圖先加載好,紅框中的啟用一定要打勾,接著橘框中的 ControlNet 模型選好,最後藍框是參考圖的裁切模式,建議選「Envelope (Outer Fit)」,多出去的結構就捨去的意思。所有設定就這樣,開始生成啦!

▲ 結果不錯,有依照我給的參考圖結構繪圖,人物也恰好在畫面中央下方。

▲ 不同種子碼下產生的結果也會不太一樣,給很多輸出結果讓我們挑選!

▲ 右上角是 ControlNet 模型產生的參考圖之分割圖,會清楚標明影像中的物體和邊界,基本上你可以當作是構圖,AI 就依照這個構圖再參照您提供的提詞及相關參數進行繪製成成品,整個過程真的蠻夢幻跟複雜的,但真的很有趣。各位也可以在這幾張發現 AI 還是難避免手畫得很怪的情況~特別是人物在畫面中佔比很小的時候手特別容易畫壞掉。

 

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇