Niantic优化3D测距技术，单目摄像头也能扫描3D场景( 二 ) 日前

Niantic表示：过去，智能手机的2D摄像头模组通常很难捕捉到实时的高质量3D环境数据，而且配备3D深度传感器和LiDAR模组的设备也非常少。为了让单颗手机摄像头实现3D扫描， ManyDepth将解决动态物体捕捉、比例偏差、静态摄像头等问题。
总之，与经典的三角测距法、基于神经网络的单帧推算方案相比， ManyDepth更加稳定，而且仅需要更少的2D帧画面。此外，它另一个特点是，它不需要ground-truth深度数据，也能培训多视角深度感知网络。

文章图片
Niantic首席研究科学家GabrielBrostow表示：ManyDepth的自我监督式软件可以作为LiDAR传感器的替代方案，它将大大降低手机或穿戴式设备扫描3D环境的门槛。同时， ManyDepth也可以解决，自我监督式培训的多视角平面扫描3D测距的不准确效果，比如移动物体、比例偏差、静态摄像头等问题造成的误差。
相似方案
实际上，谷歌也在探索类似的3D地图技术。今年三月时，就曾公布GoogleMaps将支持大幅优化的3D地图功能， 3D地图将带来比街景地图更多的细节，目前谷歌正在开发全球3D模型。

文章图片
为了快速获得大规模3D地图数据，谷歌计划将数十亿张航拍图、街景图和卫星图从2D的形式升级为精准的3D可视化地图。而相关的技术在2020年曾公布，谷歌训练了一个NeRF（神经辐射场）学习算法，可将同一场景的几张网络照片合成可多视角查看的3D模型效果。细节方面， NeRF将通过分析光线终止的位置，来从2D图像提取3D深度数据，并为真实场景重建出外观和纹理足够可信的3D模型。
而应用场景方面， 3D场景数据不仅可以提升AR遮挡和物理模拟，还可以为体育赛事、音乐活动、艺术展览、广告等场景开发LBSAR互动体验。
总之，用算法从2D推算3D数据将成为生成大规模3D地图的一种重要方式。因此，为了让智能手机在查看3D地图的同时也能收集3D数据， Niantic收购了3D和计算机视觉公司MatrixMill、3D地图厂商6d.ai、移动端3D扫描应用《Scaniverse》开发商ToolboxAI 。参考：Niantic