AR|从一段融资数十亿美金的视频,了解AR系统的组成原理

AR|从一段融资数十亿美金的视频,了解AR系统的组成原理

文章图片


AR领域有一家以前非常神秘的公司 , 尤其是它放出来的那段经典视频:
一条鲸鱼从篮球场的地板上跃起 , 引起旁边观众的欢呼 , 非常魔幻的不可思议的场景 。 让我们再来回顾一下在AR历史上引起全世界广泛关注的图像:


【AR|从一段融资数十亿美金的视频,了解AR系统的组成原理】当时 , 这家初创公司 , Magic Leap , 打出噱头说自己的产品和市场上的其他AR很不同 , 尤其是和谷歌眼镜以及微软HoloLens不同 , 采用直接向人眼的视网膜投射图像 , 达到视频中的裸眼3D的效果 。

当然现在被证实 , 这个视频是后期制作的 , Magic Leap故事讲完融资之后还是像行业前辈谷歌、微软一样发布了自己的HMD头戴式设备 。

HMD , Head Mount Display , 头戴式显示器 , 简称头显 。 是通过各种头显设备向眼镜发送光学信号 , 可以实现VR、AR或者MR等不同的效果 。
目前显示效果最好的是VR但弊端也很明显 , 人们最期待的是MR , 和MR比较接近的但是比MR简单一些更容易实现的是AR 。
所以从Magic Leap的案例中可以发现 , 现在科技发展的阶段 , 要在现实世界中看到虚拟的图像 , 甚至看到虚拟和现实融合到一起的图像 , 不借助头显是几乎不可能的 。
那么 , AR的原理到底是什么?
AR的全称叫做增强现实 , 就是真实的世界加上额外增强的虚拟信息 , 比如钢铁侠从眼镜里既看到了敌人 , 也看到了显示在敌人旁边的各种额外信息 , 这种额外的信息就是一种增强 , 机器也帮助人类增强了能力 。
原理图可能会复杂一些 , 如下图 , 从左往右看 。

真实世界的物体 , 通过摄像机或者AR眼镜前方的摄像头采集 , 变成视频这种影像数据 , 同时需要传感器传回来的数据才能对这个三维世界进行感知 , 让眼镜的后台完成对这个现实环境的学习和理解 , 只有后台理解了环境才能让眼镜使用者后期可以和环境完成交互 。
比如使用者看到这个花盆 , 然后通过眨眼或者握拳的手势告诉AR眼镜这里需要增强 , 后台就会显示出花盆的增强信息 , 比如花的名称、盆的材质、种植日期和花的功能作用等信息 , 并显示到合适的位置 , 这个虚拟的数字图像和花盆的图像一起渲染成为新的图像或者视频 , 被人眼看到 , 就是一个AR增强现实的过程 。
实际上AR对于计算的要求高 , 对于显示的要求不高 , 因为AR需要显示出来的信息比较少 , 比如显示一段数字、几个圈圈、一段短视频等等 。 但是AR对于计算的要求高 , 需要计算机能够快速完成对于空间的扫描重建定位导航等能力 。

难度最大的就是AR系统要实时的对使用者周围的真实三维环境有精确的理解 , 而且人眼是很精确的 , 如果显示出来的增强内容和现实环境融合的不好 , 也很难让人眼看得舒服 。