SceneTex：新型AI方法，生成高质量、风格一致的室内场景纹理

近日，慕尼黑工业大学和Snap Research的研究团队带来了一种新颖的AI方法——SceneTex，此方法意在解决室内场景纹理生成中的难题，以实现高质量、保持一致风格的3D内容合成。

尽管3D几何建模取得了令人瞩目的进步，但创建物品外观或纹理仍然需要大量的手工劳动，尤其是使用诸如Blender等3D建模程序。由于对人工技能的高需求和相关成本，自主纹理设计和增强一直未能实现工业化。虽然最新的2D扩散模型已在文本到3D的创建中取得了一些进展，但将它们扩展到整个场景的纹理生成仍然面临挑战。

SceneTex通过采用深度到图像扩散先验，将纹理创建视为RGB空间中的纹理优化挑战，与此前的技术不同，后者通常将2D视图反复映射到网格表面。研究团队引入了多分辨率纹理字段，以微妙地描绘网格外观，并使用交叉注意力解码器减少自遮挡引起的样式不一致性。他们的设计能够在低频和高频适应性地学习外观信息，通过全局引用确保每个模型内部的全局样式一致性。

每个解码的RGB值都是通过与分布在每个对象上的预采样参考表面位置进行交叉引用而生成的。通过为每个可见位置提供整个实例外观的全局引用，研究团队进一步确保了每个模型内部的全局样式一致性。SceneTex的研究团队通过对3DFRONT数据集的用户研究表明，该技术在2D指标（如CLIP和Inception得分）方面优于其他基于文本的纹理创建算法。

SceneTex通过创新性地使用深度到图像扩散先验，提出多分辨率纹理和交叉注意力解码器，成功实现了室内场景的高质量、风格一致的纹理生成。他们的技术贡献包括在高分辨率下生成高质量场景纹理的独特框架，通过多分辨率纹理准确捕捉丰富的纹理特征，并使用交叉注意力纹理解码器为3D-FRONT场景生成更具审美感和风格一致性的纹理。