近日|meta、cmu联手推出6-dof视频表征方法( 三 ) 近日

为了解决这个问题，研究人员选择用样本预测网络来预测一组几何基元G1,...,Gn的参数，其中基元的参数可以根据输入射线的不同而变化。为了得到样本点，将射线与每个基元相交。

文章图片
如图a所示，给定源自相机原点o并沿方向ω传播的输入光线后，研究人员首先使用Plucker坐标，重新对光线进行参数化。

文章图片
如图b所示，一个网络

文章图片
将此射线作为输入，输出一组几何基元{

文章图片
}（如轴对齐的平面和球体）和位移矢量{

文章图片
}的参数。

文章图片
如图c所示，为了生成用于体积渲染的样本点{

文章图片
} ，研究人员计算了射线和几何基元之间的交点，并将位移矢量添加到结果中。预测几何基元的好处是使采样信号平滑，易于插值。
位移矢量为采样点提供了额外的灵活性，能够更好地捕捉到复杂的视线依赖的外观。

文章图片
如图d所示，最终，研究人员通过公式2进行体积渲染，产生一个像素颜色，并根据相应的观察结果，对它进行了监督训练。

文章图片
基于关键帧的动态体积
通过上述办法，就可以有效地对3D场景体积进行采样。
如何表征体积呢？在静态情况下，研究人员使用的是内存有效的张量辐射场(TensoRF)方法；在动态情况下，就将TensoRF扩展到基于关键帧的动态体积表征。
下图解释了从基于关键帧的表征中，提取动态的样本点表征的过程。

文章图片
如图1所示，首先，研究人员使用从样本预测网络输出的速度{

文章图片
} ，将时间

文章图片
处的样本点{

文章图片
}平移到最近的关键帧

文章图片
中。

文章图片
然后，如图2所示，研究人员查询了时空纹理的外积，产生了每个样本点的外观特征，然后通过公式10将其转换成颜色。
通过这样的过程，研究人员提取了每个样本的的不透明度。

文章图片
结果对比静态场景的比较
在此，研究人员将HyperReel与现有的静态视图合成方法（包括NeRF、InstantNGP和三种基于采样网络的方法）进行了比较。
DoNeRF数据集
DoNeRF数据集包含六个合成序列，图像分辨率为800×800像素。
如表1所示， HyperReel的方法在质量上优于所有基线，并在很大程度上提高了其他采样网络方案的性能。