近日|meta、cmu联手推出6-dof视频表征方法( 二 ) 近日

值得注意的是，研究人员在Technicolor和Shiny场景中使用了更小的模型，因此渲染的帧率大于40FPS 。对于其余的数据集则使用完整模型，不过HypeReel仍然能够提供实时推理。

文章图片
Technicolor

文章图片
Shiny

文章图片
Stanford

文章图片
Immersive

文章图片
DoNeRF实现方法
为了实现HeperReel ，首先要考虑的问题，就是要优化静态视图合成的体积表征。
像NeRF这样的体积表征，就是对静态场景在3D空间中的每一个点的密度和外观，进行建模。
更具体地说，通过函数

文章图片
将位置x和方向

文章图片
沿着?条射线映射到颜色

文章图片
和密度σ(x) 。
此处的可训练参数θ ，可以是神经网络权重、N维数组条目，或两者的组合。
然后就可以渲染静态场景的新视图

文章图片
其中

文章图片
表征从o到

文章图片
的透射率。
在实践中，可以通过沿给定射线获取多个样本点，然后使用数值求积来计算方程式1：

文章图片
其中权重

文章图片
指定了每个样本点的颜色对输出的贡献。体积渲染的网格示例
在静态场景的HyperReel中，给定一组图像和相机姿势，而训练目标就是重建与每条光线相关的测量颜色。
大多数场景是由实体物体组成的，这些物体的表面位于3D场景体积内的一个2D流形上。在这种情况下，只有一小部分样本点会影响每条光线的渲染颜色。
因此，为了加速体积渲染，研究人员希望只对非零

文章图片
的点，查询颜色和不透明度。
如下图所示，研究人员使用前馈网络来预测一组样本位置

文章图片
。具体来说，就是使用样本预测网络

文章图片
，将射线

文章图片
映射到样本点

文章图片
，以获取体积等式2中的渲染。
这里，研究人员使用Plucker的参数化来表征光线。

文章图片
但是这其中有一个问题：给网络太多的灵活性，可能会对视图合成质量产生负面影响。例如，如果(x1,...,xn)是完全任意的点，那么渲染可能看起来不是多视图?致的。