VR|Meta Reality Labs：理想的VR头显还需克服这10项技术挑战 AR|meta

文章图片

文章图片

文章图片

文章图片

近期，在SIGGRAPH 2022期间， Reality Labs显示系统研发（DSR）团队负责人Douglas Lanman分享了为Meta开发VR显示系统的心得，并提出理想的VR还需要克服的10项技术挑战，比如分辨率、视场角、人体工学等等。
Lanman表示：为什么人们追求在数字世界中重建“现实”？背后的驱动力不只是为了提升成像质量，更多的是为了捕捉真实场景的完整动态范围（亮度变化）、高分辨率、动态焦点变化，并以数字形式来表示和储存，重建光子和像素。尤其是在VR中重建现实，便可以带来更好的远程线上体验，允许人们在虚拟世界中体验高保真的面对面活动。
尽管电视等2D屏幕的分辨率、亮度已经做到足够优秀，但还不足以重建现实，理想的屏幕应该给人带来自然的3D观感，就像是人眼看现实世界那样。这种屏幕可能是像CAVA那样的沉浸式显示方案，也可能是3D显示屏、AR/VR等等。

当然，这里指的重建现实并不是将现实场景中的像素一比一还原，而是打造一种让人眼难以分清现实和虚拟的显示技术。当然，距离这个目标我们还有很长一段距离。
Lanman指出，从早期的电影到电视、显示器、笔记本、平板电脑、智能手机、智能手表这一进化过程，可以发现显示技术变得越来越贴身、越来越便携，但同时视觉沉浸感越来越少。因此，更理想的情况是兼具沉浸感和便携性，很可能是一种介于VR头显和AR眼镜之间的穿戴设备。也就是说，体验感最好的设备不一定是最轻便的，也不一定是最沉浸、逼真的，而是介于二者之间。
AR/VR显示技术开发在光学和显示、图形渲染/计算、眼球追踪、音频、交互、人体工学、计算机视觉等方面都需要优化。 Lanman认为，尤其是打造理想的VR将至少将需要克服10项关键挑战，其中包括：1）分辨率；2）视场角；3）人体工学；4）视力矫正；5）动态变焦；6）眼球追踪；7）畸变校正；8）HDR；9）透视；10）面部识别。而这些挑战的解决方案，将预示着未来AR/VR的发展方向。
分辨率理想的VR分辨率应该达到与人眼接近的60PPD ，目前Quest 2只有20PPD ，单目分辨率近2K 。为了探索更高的分辨率， Meta Reality Labs开发了一款实验性VR头显：Butterscotch ，以模拟视网膜级别的分辨率，号称可清晰显示完整的视力表。

不过，限制VR分辨率、清晰度的因素有很多，屏幕并不是最大的问题，更大的问题在于算力、功耗、硬件体积的限制。未来，也许可以通过注视点渲染、云端串流等方式来优化，但这两种方案也分别有各自的问题需要解决，如眼球追踪延迟和准确性、云端数据传输延迟和稳定性等。
视场角VR视场角有限的原因不只是因为受到了屏幕分辨率、光学限制，而是也与硬件形态有关。目前大多数VR头显采用平面显示模组，人眼看到的图像宽度（水平视场角）受到屏幕大小限制，屏幕越大，头显体积也越大。而短焦VR在此基础上优化了光学设计，可以将VR图像在人眼外围弯曲，进而扩大视场角。