英伟达推出3D模型智能生成应用Magic3D，数字化建模迈入AI时代 2023年2月

2023年2月，南极熊获悉， GPU制造商Nvidia宣布推出Magic3D ，这是一种生成式AI技术，可以根据文本提示生成3D模型。 2022年11月，研究人员也基于此技术，发表了一篇题为《Magic3D:High-ResolutionText-to-3DContentCreation》的论文，这并不是第一篇有关生成式AI技术应用于3D打印的论文， 2022年9月，来自谷歌的研究人员就以《DREAMFUSION:TEXT-TO-3DUSING2DDIFFUSION》为题发表了他们的研究内容，那么生成式AI技术是什么？这两个团队所研究的内容有何异同？3D打印生成式AI技术面临着哪些问题呢？

文章图片
△Magic3D渲染的箭毒蛙3D模型。
3D打印中的生成式AI技术
生成式AI（GenerativeAI或AIGC）是利用现有文本、音频文件或图像创建新内容的技术。应用场景涵盖图文创作、代码生成、游戏、广告、艺术平面设计等。未来，生成式AI将成为一项大众化的基础技术，极大的提高数字化内容的丰富度、创造性与生产效率，其应用边界也将随着技术得进步与成本的降低扩展到更多领域。用于3D建模的生成式AI有助于将具有复杂有机形状的组件概念化。 3D打印能够制造这些复杂形态的理想技术，因为它具有生产复杂结构的能力，同时还具有成本效益。年度3D打印行业调查的结果表明，使用AI自动生成3D模型是一个热门话题。
生成式AI在3D打印领域中的发展

文章图片
【英伟达推出3D模型智能生成应用Magic3D，数字化建模迈入AI时代】△Magic3D相关论文
●Magic3D可以在40分钟内创建一个带有彩色纹理的3D网格模型。这是输入“一只坐在睡莲上的蓝色箭毒蛙”这样的提示之后出现的。根据获得的结果，经过改进，可以用于各种艺术场景或视频游戏。

文章图片
△DreamFusion相关论文
●DreamFusion是谷歌研究人员于2022年9月发布的一篇关于“从文本到3D模型”的论文内容。
●Physna在两周内使用8,000个模型为3D模型和场景创建了生成式AI原型
Magic3DVSDreamFusion
在Nvidia的论文中，研究人员详细阐述了生成式AI技术如何让无需特殊培训的人即刻创建3D模型。他们表示，这种技术一旦进一步完善，可以加速视频游戏的开发，应用到电影和电视特效中。研究人员们希望借助Magic3D技术，使3D合成大众化，并在3D内容创作中展示每个人的创造力。
Nvidia在推进生成式AI方面处于有利地位。该公司的GPU可以使用着色器创建逼真的图形，着色器指示图像中的每个像素如何在特定光线下显示。着色器为每个像素计算，跨多个像素重复计算。与英特尔微处理器或通用CPU不同， NvidiaGPU可以快速渲染图像，同时进行多个简单计算，例如着色像素。
●Magic3D采用两阶段方法，采用低分辨率创建粗略模型，并将其优化为更高分辨率，这类似于DreamFusion使用文本到生成2D图像，然后优化为体积NeRF数据。
●Magic3D可以根据给定主题实例的输入图像，使用DreamBooth微调扩散模型，并使用给定的提示优化3D模型。
△在给定主题下根据提示进行模型优化
总结一下， Nvidia的原理是利用从粗到精的两阶段优化框架来快速创建高质量的文本到3D内容。在第一阶段，使用低分辨率扩散先验获得粗略模型，并使用哈希网格和稀疏加速结构对其进行加速。在第二阶段，使用从粗神经表示初始化的纹理网格模型，允许使用与高分辨率潜在扩散模型交互的高效可微分渲染器进行优化。