Stable Diffusion web UI x LoRA Block Weight:按照階層設定權重,讓 LoRA 不再污染背景!

2023/03/23 9,344 2 軟體應用 , 人工智慧 , AI繪圖

又有新的擴充功能可以用在 AUTOMATIC1111 的 Stable Diffusion web UI 上啦!這個算是含金量非常高的擴充,怎麼說呢?過去使用 LoRA 模型只能調整整體權重,因此有些針對人物或角色訓練的 LoRA 模型之背景繪製風格您可能不喜歡,但很可惜那時沒辦法去避免這樣「汙染背景」的問題,也就是你並不想讓 LoRA 影響某個區域,但有了這個擴充,之後使用 LoRA 時,可以去針對 AI 繪圖的每個階層設定強度。Lora是一種強大的工具,但有時真的很難使用。使用這個擴充功能,你相當有機會可以得到你想要的影像!

原來的 LoRA 強度會影響並應用於整個階層。Lora 包括編碼器在內分為 17 個塊。所以需要輸入 17 個數字。BASE、IN、OUT 等是相當於完整模型中的層。對於 LyCORIS 等,需要使用完整模型的階層,所以你需要輸入 26 個權重。

<lora:LoRA名稱:1:0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0> 👉 針對 LoRA 的區塊設定權重
<lora:LyCORIS名稱:1:0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0> 👉 針對 LyCORIS 的區塊設定權重

如果不想輸入每個區塊的權重值,開發者提供了區塊權重通用符可使用:

NONE:0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
ALL:1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1
INS:1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0
IND:1,0,0,0,1,1,1,0,0,0,0,0,0,0,0,0,0
INALL:1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0
MIDD:1,0,0,0,1,1,1,1,1,1,1,1,0,0,0,0,0
OUTD:1,0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0
OUTS:1,0,0,0,0,0,0,0,0,0,0,0,1,1,1,1,1
OUTALL:1,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1
ALL0.5:0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5

例如我想要套用 MIDD 的區塊權重設定,這樣輸入提詞即可:<lora:LoRA名稱:1:MIDD>。

接下來我會來示範安裝擴充功能,並用 X/Y 圖展示不同區塊權重完整權重兩者設定值變化帶來的影響比較圖。

🔗 LoRA Block Weight:https://github.com/hako-mikan/sd-webui-lora-block-weight


▲ 打開 Stable Diffusion web UI 切到「擴充功能」頁面,選「從網址安裝」,將擴充功能完整的 git 網址(即 https://github.com/hako-mikan/sd-webui-lora-block-weight.git )輸入進去再點「安裝」按鈕,安裝完畢可以在 stable-diffusion-webui\extensions\ 路徑下看到名為 sd-webui-lora-block-weight 的資料夾。

▲ 切到「已安裝」,可以看到「stable-diffusion-webui-state」已經安裝,未來可以在此檢查更新。點「應用並重新啟動使用者介面」,這樣就成功啟用該擴充功能囉!

▲ 重新啟動 Web UI 後,來到 AI 繪圖介面下方找到 LoRA Block Weight 區塊,將「Active」打勾啟用,一旁「NONE,ALL,INS,IND,INALL,MIDD,OUTD,OUTS,OUTALL,ALL0.5」就是預設可以使用的區塊權重通用符,跟相關數值的對應關係在下方「Weights setting」可以看到,也能透過記事本編輯自訂區塊權重通用符!

▲ 這邊透過生成 X/Y 圖展示不同區塊權重完整權重兩者設定值變化帶來的影響比較圖。我使用之前生成「喜多郁代」的原始提詞來進行,生成配置如下:

Steps: 80, Sampler: Euler a, CFG scale: 7, Seed: 1564329548, Size: 512x768
提詞:masterpiece, (best quality:1.3), Amazing, beautiful detailed eyes, 1girl, solo, finely detail,depth_of_field, extremely detailed CG unity 8k wallpaper, __posture__, (upper_body), (arms_behind_back), long_hair, red_hair, yellow_eyes, shoes, school_uniform, pleated_skirt, skirt, bow, sailor_collar, white_legwear, loafers, socks, red_bow, smile, serafuku, brown_footwear, long_sleeves, red_bowtie, bowtie, __looking__, __expression__.
XY 軸類型:提詞搜索/替換(第一個要輸入提詞中有個關鍵字,這邊 X 軸是 NONE、Y 軸是 lora:kita_ikuyo:1)
X 軸值:NONE,ALL,INS,IND,INALL,MIDD,OUTD,OUTS,OUTALL,ALL0.5
Y 軸值:lora:kita_ikuyo:1, lora:kita_ikuyo:0.8, lora:kita_ikuyo:0.6, lora:kita_ikuyo:0.4, lora:kita_ikuyo:0.2


▲ 完整比較圖,X 軸是不同區塊權重變化、Y 軸是完整權重變化。大圖這邊取:3000 x 2142 px JPG;個別原圖這邊看:萌芽論壇

建議大家自己針對要使用的 LoRA 模型製作 X/Y 圖來尋找最適合自己的參數喔!最後,歡迎到萌芽二次元欣賞本站的 AI 繪圖作品,也歡迎大家到新開設的萌芽論壇分享作品、提供資訊及詢問問題等

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇