Stable Diffusion web UI:模型權重存檔點合併教學,A+B 模型更強大!

2022/11/29 10,225 5 軟體應用 , 人工智慧 , AI繪圖

Stable Diffusion web UI 是基於 Gradio 的瀏覽器界面,用於 Stable Diffusion 模型的各種應用,如:文生圖、圖生圖等,適用所有以 Stable Diffusion 延伸的擴充模型。關於這個工具軟體的安裝方式請參考我之前寫過的另一篇圖文,請先安裝並學習使用後再接續看本文教學。這次主軸是很多人非常喜歡的功能!那就是「模型權重存檔點合併」(Checkpoint Merger),最多可以將 A、B、C 三個模型混合,不過一般比較多人是 A+B 去做合併,透過倍率的選擇可以決定第二模型(B)占多少比例的權重。

Stable Diffusion web UI 官方網站:https://github.com/AUTOMATIC1111/stable-diffusion-webui

這邊拿 Anything-V3.0Cyberpunk Anime Diffusion 兩個模型做合併來當作教學示範,前者對於生成超高品質的二次元動漫角色非常拿手,後者則是擅長賽博龐克(Cyberpunk)動漫人物及場景的繪製,但由於後者訓練集品質不夠好人物很容易畫崩,因此透過模型合併能將兩者優點結合(其實缺點也會結合),再透過提詞、反向提詞的琢磨,就能生成超棒的賽博龐克動漫角色,精緻又能維持科技感之角色特徵和畫風。


▲ 開啟 Stable Diffusion web UI 介面,來到「模型權重存檔點合併」(Checkpoint Merger)這個頁籤,首先要選擇主要模型(A),這邊選擇我 Anything-V3.0,再來是第二模型(B)我是選 Cyberpunk Anime Diffusion,一般不會去選第三模型(C)。自訂名稱的部分可以依照自己的喜好填寫,我習慣用「A模型_B模型_插值方法縮寫_倍率」,如這次的我就訂「Anything-V3.0_Cyberpunk-Anime-Diffusion_ws_0.3」。倍率的部分直接舉例,我這邊設 0.3,即代表 A 模型占比 0.7 (70%)、B 模型占比 0.3 (30%),這樣就好懂許多了吧!插值方法請選「加權和」(Weighted sum),縮寫即 ws。最終格式選「ckpt」就好,如果合併後的模型僅用於產圖(沒有要再訓練),可以勾選「以 float16 儲存」讓模型檔案更小以節省空間。點執行後等待數分鐘,軟體將自動完成合併工作。

▲ 在終端機或網頁介面上看到「Checkpoint saved」代表合併完成。來到軟體的「stable-diffusion-webui\models\Stable-diffusion」路徑下,可以看到合併好的模型檔案,若剛剛沒勾選「以 float16 儲存」,您會發現它會跟主要模型(A)一樣大。

▲ 回到網頁介面上,上方「Stable Diffusion 模型權重存檔點」選擇新生成的合併模型,等待載入後就可以立即使用。馬上來文生圖吧!

▲ 我用了疊代步數 80 步、寬高為 512 x 768 px、提示詞相關性(CFG)為 7 來輸出影像:

提詞:masterpiece, (best quality:1.2),1girl, (full_body),solo,finely detail, an anime girl in dgs illustration style, a girl standing in a city at night with neon lights on the buildings behind them and a neon light on the city


效果真的蠻棒的,比原來單純使用 Cyberpunk Anime Diffusion 模型去生圖好太多了!混合模型能創造更多可能,希望您有所收穫。

👉 更多相關作品請參考:【AI 繪圖】賽博龐克少女-Cyberpunk Girl

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇