2D Difüzyon kullanarak Metinden 3D’ye.
Bir altyazı verildiğinde DreamFusion, 3D bir sahneyi optimize etmek için Imagen adlı bir metinden görüntüye üretken model kullanır. Bir kayıp fonksiyonunu optimize ederek bir difüzyon modelinden örnekler oluşturmanın bir yolu olan Puan Damıtma Örneklemesi’ni (SDS) öneriyorlar. SDS, görüntülere diferansiyel olarak geri dönebildikleri sürece, 3D uzay gibi keyfi bir parametre uzayında örnekleri optimize etmemize olanak tanır. Bu farklılaştırılabilir eşlemeyi tanımlamak için Neural Radiance Fields veya NeRF’lere benzer bir 3D sahne parametrelendirmesi kullanırlar. SDS tek başına makul sahne görünümü üretir, ancak DreamFusion geometriyi iyileştirmek için ek düzenleyiciler ve optimizasyon stratejileri ekler. Elde edilen eğitimli NeRF’ler, yüksek kaliteli normaller, yüzey geometrisi ve derinlik ile uyumludur ve Lambertian gölgelendirme modeliyle yeniden aydınlatılabilir.
Kaynak: https://dreamfusion3d.github.io/