Paints-UNDO:AI 模擬人類繪圖行為,讓未來的 AI 能更滿足人類藝術家的需求

2024/07/10 270 2 軟體應用 , 人工智慧 , AI繪圖

Paints-Undo 由 ControlNet 作者 lllyasviel 為主開發,是一個旨在提供人類繪圖行為基礎模型的專案,希望未來的 AI 模型能更好地滿足人類藝術家的實際需求。「Paints-Undo」這個名稱的靈感來自數位繪圖軟體中的「撤銷」按鈕(通常是 Ctrl+Z),因為該模型的輸出看起來就像在按下多次「撤銷」按鈕。Paints-Undo 系列模型能夠接收一張圖片作為輸入,然後輸出該圖片的繪畫過程序列。這些模型模擬各種人類繪圖行為,包含但不限於素描、勾線、上色、陰影處理、圖層轉換、左右翻轉、調整色彩曲線、改變圖層可見性,甚至改變繪畫過程中的整體構思。根據專案頁面上的資訊,該專案在 NVIDIA 4090 和 3090TI 上測試過,具有 24GB VRAM 的顯卡。理論上,經過極限優化(包含權重卸載和切片注意力),最低 VRAM 需求約為 10~12.5 GB。Paints-Undo 的模型架構基於 SD1.5,經過特定調度器和操作步驟條件的修改和訓練。模型主要用於處理現有圖像,並與 WD14 標籤器嚴格對齊,以確保輸入圖像生成的提示是準確的。使用者可以自由使用此工具創作內容,但需遵守當地法律,並負責任地使用該工具,不得用於生成虛假訊息或煽動對立。開發者有提供範例頁面可供參考。

🔗GitHub:https://github.com/lllyasviel/Paints-UNDO

這個專案一樣是使用 Gradio 介面,但從安裝但啟動都需要一定的軟體開發背景才能順利,這邊盡量一步步教大家安裝使用,且最低程度影響電腦本來的軟體運作等,首先請大家先安裝好 Python 3.10Git,接著就開始使用命令提示字元(終端機)打指令吧!


▲ 請到喜歡的路徑(如: C:)下指令 git clone https://github.com/lllyasviel/Paints-UNDO.git,接著 cd Paints-UNDO 進入專案目錄,接著輸入 python -m venv paints_undo_env 以建立 Python 虛擬環境,最後下 paints_undo_env\Scripts\activate 啟動虛擬環境。

▲ 成功進入環境後開始安裝套件,先下 pip install xformers

▲ 再下 pip install -r requirements.txt

▲ 接下來可以另開一個命令提示字元輸入 nvcc --version 確認 NVIDIA 顯示卡 CUDA 驅動程式的版本,再回到原來的命令提示字元輸入 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121,這邊的「121」即對應 CUDA 版本 12.1,這樣就能搞定 GPU 版的 PyTorch 安裝啦!這些都是裝在虛擬環境中。

▲ 首次執行 python gradio_app.py 會下載一些配置檔案跟模型檔案,要稍微等一下。如果這邊遇到錯誤停止,請再次執行上述指令。

▲ 最後看到一串 http://0.0.0.0:7860 代表成功啟動,直接到瀏覽器輸入 http://127.0.0.1:7860/ 進入 Gradio 介面!

▲ 使用方式很簡單,步驟一先上傳要處理的圖檔,接著點選「Generate Prompt」生成提示詞。

▲ 步驟二,注意圖片寬高,其他參數都預設就好,接著點「Generate Key Frames」生成關鍵幀。

▲ 步驟三,參數基本上預設就好,也能依照喜好調整,如 FPS 是每秒幀數,點「Generate Video」生成影片。

▲ 影片生成完成後下方會顯示影片的每一幀畫面,就是模擬人類繪圖的過程。


▲ 影片欣賞《20240710 AI 一筆一畫繪製出心音淡雪》

關閉程式的方式就是到剛剛的命令提示字元按鍵盤 Ctrl + C 即可。

附錄:建立 run_paints_undo.bat 快速啟動安裝好的專案!

請先進入專案目錄,新增一個 run_paints_undo.bat,並在裡面存入以下指令:

@echo off
call paints_undo_env\Scripts\activate
python gradio_app.py
pause

未來雙擊這個 run_paints_undo.bat 就能執行程式囉!很方便吧!

贊助廣告 ‧ Sponsor advertisements

留言區 / Comments

萌芽論壇