DreamFusion
English
AI智能设计 AI-3D设计
DreamFusion

谷歌推出的文本转3D模型

标签:
广告也精彩
广告也精彩

英文版,最近在文本到图像合成领域取得的突破性进展,是由于对数十亿个图像-文本对进行扩散模型训练的结果。将这种方法应用于3D合成需要大规模标记的3D资产数据集和高效的去噪3D数据架构,但目前这两者都不存在。

在这项工作中,我们通过使用预训练的2D文本到图像扩散模型来执行文本到3D合成,绕过了这些限制。我们引入了一种基于概率密度蒸馏的损失,使得可以使用2D扩散模型作为优化参数的图像生成器的先验。

使用这种损失在类似于DeepDream的过程中,通过梯度下降优化随机初始化的3D模型(神经辐射场或NeRF),以便其从不同角度呈现的2D图像与输入的文本描述相符。我们的实验表明,我们的方法能够在多种3D合成任务上生成高质量的3D图像。

相关导航

暂无评论

暂无评论...