SD web UI x ControlNet:圖生圖搭配 Tile 將 VRoid 動畫轉手繪風格動畫

2023/05/06 1,644 0 軟體應用 , 人工智慧 , AI繪圖 ,

SD web UI 全稱 Stable Diffusion web UI,是本次要搭配使用 ControlNet 的 AI 繪圖工具。我們先將原始 VRoid 動畫影片拆成一張張的圖像(Ezgif 提供的線上轉換服務還不錯用),透過批次圖生圖,可以基於原來的顏色、構圖並由 AI 讀取參數及提詞進行模型推理(重繪),但這樣還不夠,ControlNet 1.1 提供的 Tile 也要用到,進一步將顏色、構圖固定住,盡可能避免 AI 往錯誤的方向繪圖!全部轉換完成後將這些圖像再轉換為動畫影片(可以用 PhotoScape 轉成 GIF 再輸入到影片編輯軟體輸出成 MP4),這樣就完成這次的任務了!

我先以其中一張 VRoid 動畫影片轉出來的圖像進行反推提詞,並將有用的部分結合高畫質等提示編寫用於此次生成的提詞:

masterpiece, (best quality:1.3), Amazing, beautiful detailed eyes, 1girl, solo, finely detail,depth_of_field, extremely detailed CG unity 8k wallpaper, (upper_body), portrait, long hair, blue hair, ahoge, shirt, green eyes, jacket, white shirt, collared shirt, coat, black jacket, long sleeves


▲ 輸入目錄跟輸出目錄記得要指定,取樣方法選自己喜歡的就好,取樣步數依照類型及模型不同數值也不同,我習慣 30 至 50 間。

▲ 重繪幅度我給予 0.8,其實不用太高,不然變異的可能性會高很多,隨機種子隨便給個值固定住即可。

▲ ControlNet 選到批次,啟用、低 VRAM 模式、完美像素通通打勾,輸入目錄給空就好,它會自己去抓輸入目錄,預處理器選 tile_resample,模型選 control_v11u_sd15_tile(點我下載),控制權重給到最高 2,控制模式選到 ControlNet 更重要。

▲ 輸入目錄放原始圖像,開始生成後程式會一張張重繪後輸出到輸出目錄中。

▲ 我給的輸入圖像非常模糊,但 AI 還是有辦法重繪,非常厲害。

▲ 飄逸的頭髮也能重繪還原,如果給更高畫質的輸入圖像效果一定更好。

▲ 總共 200 張,每秒 20 張,所以是 20 FPS 共 10 秒的短片,但電腦花了 1 個多小時才跑完,影片 AI 轉換非常吃電腦硬體的能耐阿!

▲ 影片欣賞《ᴴᴰ⁶⁰ 20230505運用 AI 繪圖技術將 VRoid 動畫轉手繪風格動畫(對照展示用)》

歡迎來萌芽論壇分享作品、AI 繪圖資訊及談時事~https://bbs.mnya.tw/t/ai-drawing

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇