ComfyUI x Stable Video Diffusion (SVD):快速生成 AI 動畫完整教學

2023/11/28 1,167 16 軟體應用 , 人工智慧 , AI繪圖

ComfyUI 是強大且模組化的穩定擴散 GUI 和後端,這個使用者介面(UI)讓您可以使用基於圖形/節點/流程圖的方式設計和執行高級穩定擴散工作流。它完整支援 SD1.x、SD2.x、SDXL 和 Stable Video Diffusion (SVD),其中 SVD 是 Stability AI 釋出的新生成式影片模型,可使用現有的圖片產出影片,模型本身屬於「研究預覽」階段。我們使用 ComfyUI 時還要安裝 ComfyUI Manager 這個擴充功能,它是專為增強 ComfyUI 的可用性而設計的,提供管理功能,可安裝、移除、停用和啟用各種自定義節點,除此之外,擴充還提供中樞功能和方便的函數,以查看 ComfyUI 內的各種訊息。ComfyUI 有一個適用於 Windows 的可攜式獨立版本,可適用於在 NVIDIA GPU 上運行,請從這邊下載

🗂 資源集中區

ComfyUI:https://github.com/comfyanonymous/ComfyUI
ComfyUI Manager:https://github.com/ltdrdata/ComfyUI-Manager
SVD Model:https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main


▲ 請事先確認您的電腦有 NVIDIA GPU 可運行,並有安裝 PythonGit,接著就是直接下載 ComfyUI 到喜歡的路徑並解壓縮,接著在 ComfyUI_windows_portable\ComfyUI\custom_nodes 路徑之下開啟終端機執行 git clone https://github.com/ltdrdata/ComfyUI-Manager.git,執行完 ComfyUI Manager 就安裝好啦!

SVD Model 檔案有 svd.safetensorssvd_image_decoder.safetensors,兩個都可以使用,後者多提供了標準的逐幀解碼器(standard frame-wise decoder),請將 .safetensors 放到 ComfyUI_windows_portable\ComfyUI\models\checkpoints 路徑下。

最後請到 ComfyUI_windows_portable 根目錄下雙擊 run_nvidia_gpu.bat 執行 ComfyUI。


▲ 雙擊 run_nvidia_gpu.bat 後需要等待元件完全下載及安裝後才能從瀏覽器開啟 http://127.0.0.1:8188 進入 Web 操作介面。

▲ ComfyUI Manager 中可以載入工作流,副檔名為 .json,YouTuber Olivio Sarikas 在他的教學影片提供了一個簡易且方便的 SVD Workflow.json 可以直接下載使用,我這邊借用他的來做示範及教學,另外我也有看到 GitHub 上 hylarucoder 分享了他的 svd-image-to-video.json,也能使用。我們透過「Load」按鈕就能載入這個工作流了!


▲ 工作流載入後會提示遺漏的節點,遺漏的提示會以紅色方塊顯示,請先關閉提示並點 ComfyUI Manager 上的「Manager」按鈕。


▲ 我們先使用「Install Missing Custom Nodes」功能去安裝遺失的節點。提示:未來可以使用「Update All」更新主程式及擴充節點。


▲ 請一個個安裝遺失的節點。


▲ 全部安裝後點「RESTART」重啟程式。


▲ 重啟完全自動化,很方便,不用手動重開終端機。


▲ 您可以直接從 ComfyUI 基於 Web 的操作介面進行模型選擇、圖片上傳、參數調整(舉例來說:影片寬高、總幀數、fps、影片格式以及更多進階參數),當然也能將輸出的影片下載出來。


▲ 左半邊是模型選擇、圖片上傳、參數調整。種子碼固定會輸出幾乎一樣的結果喔!可以用來測試其他參數所造成的改動!


▲ 右半邊主要是影音輸出、預覽區。


▲ 預覽區上點右鍵的選單可以輕鬆匯出影片檔案。希望這次的教學能幫助大家!

🎬 成果 DEMO 影片(一):熱氣球

這邊我底圖使用 Bing Image Creator 生成熱氣球圖像,接著再使用 ComfyUI 這款軟體搭配 Stable Video Diffusion Model 載入底圖生成了此作品,寬高為 512 x 512 px,影片幀數 25,6 fps。

🎬 成果 DEMO 影片(二):風力發電機

這邊我底圖使用 Bing Image Creator 生成風力發電機圖像,接著再使用 ComfyUI 這款軟體搭配 Stable Video Diffusion Model 載入底圖生成了此作品,寬高為 1024 x 1024 px,影片幀數 25,6 fps。

隨著科技進步,成果將越來越厲害,期待未來軟硬體的改進。

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇