Niantic优化3D测距技术，单目摄像头也能扫描3D场景日前

日前，为了扩大和发展移动端LBSAR应用生态， Niantic面向第三方开发者开放AR开发平台Lightship ，该平台的特点是可以简化AR开发流程，让开发者可以将更多时间放在设计游戏和体验上，不用担心代码、网络、平台和设备适配等问题。

文章图片
与此同时， Niantic也在不断更新Lightship的功能，提升AR内容体验感（多人AR、虚实融合的遮挡效果、物理模拟等）。近期， Niantic科研团队公布了一项3D场景扫描相关的突破，并在CVPR会议上发表了相关论文。 Niantic表示：这项技术将很快应用在LightshipARDK中，供任何AR创作者使用，开发者可以通过GitHub托管平台来预览并获取ManyDepth代码，以及样例和使用指导。
据青亭网了解， Niantic研发的低门槛3D扫描方案名为ManyDepth ，该方案将大幅提升智能手机的AR和3D扫描效果和准确性，只需要单颗RGB摄像头、一帧2D图像即可生成3D地图数据，对设备门槛要求更低，并且支持多人同时扫描。

文章图片
实际上， Niantic一直致力于发展全球规模的3D地图，并在《精灵宝可梦Go》和《Ingress》游戏中鼓励玩家上传AR地图扫描数据，以换取游戏奖励。这些收集到的3D场景数据不仅可以用来构建3D地图，还可以用来优化LBSAR体验。
目前， Niantic在移动端有大量用户，其表示：为了让更多人使用AR ，我们将重点放在人们常用的智能手机设备上，而不是去等待AR眼镜成熟。因此，通过《精灵宝可梦Go》等LBSAR游戏， Niantic在全球吸引了数千万玩家，下载次数超过10亿。
低门槛3D扫描
论文中指出， ManyDepth可以让普通智能手机也能扫描3D地图，如此一来用户上传3D地图可以像分享照片一样简单。同时， Niantic的游戏玩家也可以通过上传3D地图，来扩大和优化LBSAR游戏的地图。

文章图片
我们知道，通常3D场景扫描效果依赖于LiDAR、ToF等高端的3D摄像头传感器，而普通智能手机通常仅配备拍摄2D图像的摄像头。为了让3D场景扫描在大多数智能手机上普及，从而扩大3D地图数据库， Niantic研发了ManyDepth方案。
就像人眼感知物体远近那样，通常摄像头也需要两个或以上，通过对比两颗“眼睛”获取的图像差异，来推算3D距离和层次感（距离与视差成反比）。而为了降低3D扫描的成本，更理想的方案是通过单目摄像头来完成3D测距。
目前市面上已有基于单目RGB摄像头的3D测距方案，而ManyDepth在此基础上进一步提升性能，号称可达到接近基于专业深度传感或多目测距方案的效果。科研人员在论文中写到：自我监督的单眼深度预测网络可通过相邻的图像帧来预测场景深度，并将相邻图像帧作为监督信号。而ManyDepth则采用自适应的方式，将视频帧的序列信息作为额外的监督信号，提升深度预测的准确性。
【Niantic优化3D测距技术，单目摄像头也能扫描3D场景】换句话说，此前的单目方案通过单一图像帧预测3D数据，而ManyDepth将结合额外的相邻图像帧进行训练和测试。
简单来讲， ManyDepth基于机器学习技术，可通过单个或多个2D图像来推测3D图形和深度，让普通智能手机可以通过单颗RGB摄像头生成3D数据。也就是一种基于单颗摄像头、自我监督的多帧3D深度预测算法。此外，当你移动手机摄像头动态捕捉场景时， ManyDepth的神经网络也将持续优化3D深度地图。