ar眼镜|Meta Reality Labs首席科学家：理想中全天候AR眼镜设计思路 meta|传感器

文章图片

文章图片

文章图片

在VR行业， Meta是整个行业的风向标，而在AR领域，它也早已开始布局未来。虽然还未正式发布AR眼镜， Meta Reality Labs在AR技术的研发已经有多年时间。 Meta认为，市面上现有的AR眼镜并不是真正理想的AR ，它们的体积都相对笨重，达不到普通眼镜大小。而功能更强的AR头显（HoloLens 2、Magic Leap 2）外观更接近护目镜，比较笨重不适合全天候佩戴，而且外观设计不如眼镜自然。

也就是说，现有的技术依然从多方面限制AR发展，在Meta预期中，真正的AR需要全新的技术突破。实际上，在去年底举行的IEEE国际电子设备会议上， Meta Reality Labs首席科学家Michael Abrash就指出，理想的AR眼镜将需要全新的计算架构，同时还分享了Meta对此的构想，以及AR眼镜发展路径的规划。
Abrash表示：除了实现眼镜大小外， AR眼镜还需要具备全天续航和逼真的AR视觉效果。为了实现这些目标， AR硬件和软件需要一系列变革，这便是Meta推动的方向，比现有技术更创新的AR方案。这意味着，需要一种全新的计算架构，来满足眼镜大小AR设备的需求。
全天候续航
首先，为了提升AR眼镜的续航，降低散热，将需要降低硬件功耗。

Abrash表示：想要将移动设备的电源效率提升100到1000倍，将需要重新思考整个架构/系统，而且实现软硬件的端到端协同设计。也就是说，同时设计硬件和软件，开发出可无缝配合的完整方案。
Abrash公布了一张图表，以对比一些低级计算任务的功耗。其中，功耗最大的计算是数据传输，包括无线数据传输和设备内部芯片之间的数据传输。除此之外，还计算了AR关键功能SLAM和手势识别的功耗，其中主要来自于将数据从RAM输入和输出。

因此可以看出，要想降低AR眼镜的功耗，则需要减少数据传输量。为此， Meta希望设计一种分布式计算架构，其特点是能更广泛的分配计算操作，而不是在集中式计算中心传输数据，从而减少数据传输浪费。
【ar眼镜|Meta Reality Labs首席科学家：理想中全天候AR眼镜设计思路】Abrash解释，构建分布式计算架构可以从AR眼镜的摄像头传感器开始，比如摄像头捕捉环境数据后可以先进行初步计算，然后再向系统管道发送最重要的数据。因此， Meta在设计AR眼镜的同时也在设计配套的软件系统，目的是让硬件设计考虑到软件算法的特性，尤其是传感器在捕捉到数据之后会进行预筛选，然后再传输到系统进行处理。

这意味着， AR眼镜对于传感器的要求也会更高，不仅需要满足低功耗，还需要高性能、小尺寸，而这将需要图像传感等技术的突破创新。
定制传感器
目前， Reality Labs也在研发相机传感器原型，专为降低AR眼镜功耗、提升性能需求而设计。该传感采用一种名为“数字像素”的传感器阵列（DPS），特点是可以捕捉每颗像素在三种不同的光照级别中的数字光值，而每颗像素则有独立的内存来储存数据。捕捉到数据后，传感器系统会在三种数字光值中进行选择，然后再传输到计算芯片中。