SD web UI x ControlNet:運用 Style Adapter 使 AI 模仿指定影像風格(畫風)

2023/04/27 2,093 2 軟體應用 , 人工智慧 , AI繪圖 ,

SD web UI 全稱 Stable Diffusion web UI,是本次要搭配使用 ControlNet 的 AI 繪圖工具。ControlNet 可不是只能控制 AI 繪圖中人物的姿勢、動作而已!能做到的事情比你想像中得來的多太多了!這次我們要使用到的預處理器(Preprocessor)是 t2ia_style_clipvision、控制模型(Model)是 t2iadapter_style_sd14v1(請至 Hugging Face 下載),它可以取得指定影像的風格(或說畫風),並依照控制權重等參數套用到 AI 繪圖產出之結果上,進而影像最終成品的風格。


▲ 這次我使用自己訓練的「伊地知虹夏」LoRA 模型搭配 Anything V5 大模型及相關提詞參數進行文生圖,搭配使用 ControlNet 融合「梵谷」的名畫《星夜》的風格。下載好的 t2iadapter_style_sd14v1.pth 請放到軟體根目錄 stable-diffusion-webui\extensions\sd-webui-controlnet\models 下。

▲ 接著來到文生圖下方 ControlNet,將畫作載入,並勾選啟用,將預處理器(Preprocessor)選為 t2ia_style_clipvision、控制模型(Model)選為 t2iadapter_style_sd14v1,控制權重(Control Weight)依照喜好調整,推薦 1~1.2。右半邊是原始沒有套用 ControlNet 生成的。

▲ 實際生成結果,兩張都是控制權重 1。

▲ 實際生成結果,控制權重分別為 1.1 及 1.2,權重越大影響越明顯,背景受影響較為明顯(畢竟原畫作是風景油畫),權重不可過大容易產生無意義的影像。點我看更多梵谷星夜版的「伊地知虹夏(孤獨搖滾!)」吧!

歡迎大家到萌芽論壇分享相關知識、資訊,也可以發表問題及建議等,希望這次教學有幫到大家。

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇