Meta提出用毕加索等艺术家美术风格渲染3D世界( 二 ) （映维网Nweon2022年08月15日）从

为了展示样式化方法的灵活性，团队在3种不同的场景类型训练SNeRF：室内场景、室外场景和动态Avatar 。对于室内场景，他们使用LLFF数据集中的场景Fern和TRex训练NeRF 。对于室外场景，使用来自坦克和寺庙数据集的场景卡车、火车、M60和操场来训练NeRF++ 。他们同时使用所述方法来样式化4DAvatar 。
对于NeRF场景，使用大小为1008×756的图像对3D场景进行样式化。对于NeRF++ ，使用卡车980×546、火车982×546、M601077×546和操场1008×548的图像。对于动态4DAvatar ，使用大小为512×512的图像进行训练。

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片
如上图所示，与图像和视频风格传输方法相比，他们定性和定量地展示了SNeRF在生成多视图一致性结果方面的优势。实验同时表明，与其他基于3D的方法相比， Meta的方法产生了更好的样式化结果，这主要归因于相关方法在样式化3D场景几何体和外观方面的灵活性。
与专注于静态场景的现有方法不同，团队的方法同时可以将动态内容样式化，例如4DAvatar 。研究人员观察到，样式化结果的质量部分取决于使用RGB图像训练的场景函数的质量。例如，在图8中，与groundtruthRGB图像相比，底层NeRF模型无法捕捉背景中植被的清晰细节。这最终会导致模糊的样式化结果。
请注意，即使使用Meta方法训练样式化NeRF需要一定的时间，但一旦训练完成，它们就可以“烘焙”用于AR、VR和MR应用中的实时渲染。除了RGB图像，未来的研究可以探索使用额外的分割或深度图进行样式化。
当然，团队坦承当前的方法存在不足的地方。例如，他们目前独立地对每个场景进行样式化，在不重新启动优化过程的情况下，无法对每个场景应用任意样式。因此，将框架与最近关于任意风格转换的研究相结合将是一个有趣的方向。相关论文：SNeRF:StylizedNeuralImplicitRepresentationsfor3DScenes
总的来说， Meta提出了一种使用隐式申请表示的三维场景样式化方法。它能够产生样式化的多视图一致性结果，并且很好地匹配目标样式图像。另外，交替样式化方法能够充分利用硬件内存能力对静态和动态3D场景进行样式化，从而以更高的分辨率生成图像，并采用更具表现力的图像样式传输方法。随着NeRF在提高训练和测试时间的通用性、质量和速度方面吸引了越来越多的研究，团队认为使用隐式场景表示进行3D场景样式化将为AR、VR和MR开辟一系列激动人心的应用。返回搜狐，查看更多
责任编辑：