NVIDIA 研究利用生成對抗網絡(Generative Adversarial Network,簡稱:GAN)來將塗鴉變成令人驚嘆的逼真景色,這是由 NVIDIA Research 開發的深度學習模型,被命名為 GauGAN。這款強大的工具可以為建築師、城市規劃者、景觀設計師和遊戲開發者創建虛擬世界。透過人工智慧了解現實世界的外觀,這些專業人員可以更好地將想法原型快速更改合成為真實場景。萌芽站長自己也是相當嘆為觀止!期待未來任何人都能透過簡單的線條、顏色就可以繪製出自己想像中的世界,那是多麼美好的一件事情!☺
NVIDIA 深度學習應用研究副總裁 Bryan Catanzaro 說:「透過簡單的草圖進行腦力激蕩設計要容易得多,而且這種技術能夠將草圖轉換成高度逼真的影像 🏞。」
Catanzaro 將 GauGAN 背後的技術比作「智慧畫筆✏」,可以填入粗略分割圖中的細節,粗略分割圖是顯示場景中物體位置的高階輪廓圖,並允許用戶繪製自己的分割圖並操縱場景,用沙漠、天空、海洋或雪等標籤來標記每個片段。透過對一百萬張影像的 AI 訓練,深度學習模型將填充景觀並顯示良好的結果:池塘附近的元素,如:樹木和岩石,將在水中出現倒映,還有若將片段標籤從「草」改成「雪」,整張影像將變為冬季場景,原先的綠樹會變得較貧瘠,更符合該場景的特色。儘管缺乏對物理世界的理解,但 GANs 可以產生相當說服人的結果,因為它們的結構是一對「合作的網絡」:生成器和鑑別器,生成器創建呈現給鑑別器的影像。在真實影像上訓練有素的鑑別器透過逐個像素回饋來訓練生成器如何改善其合成影像的真實性。
2021/06/25 更新:這項技術做成軟體了!只要有符合系統需求,下載安裝「NVIDIA CANVAS」就能開始體驗!運用人工智慧,將簡單筆觸轉變成逼真的風景畫面。
▲ 官方部落格提供的 GauGAN 預覽畫面。
▲ 官方提供的 DEMO 短片。
▲ 官方的完整影片欣賞《Changing Sketches into Photorealistic Masterpieces》。
✎ 參考資料 · References
留言區 / Comments
萌芽論壇