索尼|索尼3D显示技术路径：升级8K，探索变焦全息、实时光场渲染( 二 ) 裸眼3D|算法|传感器

据悉，索尼高速视觉传感器每几秒捕捉一次图像，用于检测面部位置、眼睛和面部轮廓等特征，然后通过这些特征信息来预测人脸的3D形态、人脸的距离和方向、运动变化。
ELF配备的摄像头采用优化的成像镜头，可捕捉到水平50°、垂直60°范围内的视角变化，用于渲染自然、流畅的运动视差。同时， ELF显示方案从成像到渲染的整个过程的延迟足够低，从而缓解视角变化产生的重影，或是可能导致晕动症的图像延迟等问题。
人脸检测算法则基于深度神经网络（DNN）开发，经过优化后，人脸检测算法更加适应高速视觉传感器，为用户带来舒适和稳定的视觉体验，降低成像噪音和环境光造成的模糊。即使用户戴着口罩，也能检测到面部。
2 ，实时光场渲染
ELF显示屏根据用户的视角变化而动态渲染3D场景，不过其输出的投影图像是扭曲的。因此，通过调整3D投影图像的呈现方式，给观看者一种图像没有扭曲的错觉，甚至看起来足够逼真，不像是显示器而更像是真实存在的场景。

【索尼|索尼3D显示技术路径：升级8K，探索变焦全息、实时光场渲染】考虑到近年来游戏引擎的渲染效果得到明显提升，尤其是在3D渲染场景，因此索尼认为，未来开发者们也许能通过游戏引擎，来为ELF显示屏开发裸眼3D应用和内容。
3 ，微型光学透镜
ELF采用微型光学透镜，负责将实时生成的3D图像传送到双眼。据了解，传统裸眼3D显示屏采用双凸透镜或视差光栅来覆盖多个不同的视角，这些透镜的缺点容易产生视角重叠，导致分辨率和图像质量下降。

为了改变这一问题，索尼的微型光学透镜结合注视点传感和实时光线重建算法，来实现一种为左右眼独立生成不同动态视角的光学设计。接着， ELF还通过生成足够多的合成视角，以及控制人眼能看到的图像，来缓解视角重叠、分辨率降低的问题。
索尼表示：如果微型光学透镜与3D显示屏没有对准，那么将难以实现优质的动态视角变化，因此设备的精确校准相当重要。于是，索尼研发了一种精准的制造技术，可以将元器件位置误差降低至几十微米，此外还有一个检测成品元器件位置的调整系统。根据调整系统设置的数据， ELF在实时图像处理过程中可同步校正元件错位问题，进一步提升3D图像质量。
前所未有的3D观感
除了上述三项核心技术外， ELF显示屏还采用了相机技术、显示技术，以及基于注视点的精准校正系统，并通过处理校正信号来进一步减少视角重叠现象。

索尼还表示：ELF的软件和算法基于微VR头显开发的技术，此外还优化了人体工学设计。比如， ELF显示屏以倾斜角度放置，更容易营造一种3D空间感。
应用场景
这种裸眼3D显示系统不仅可以用于娱乐场景，也将适用于教育、企业解决方案、医疗保健等领域。目前，随着容积捕捉等技术发展， 3D内容的应用场景越来越广泛，而理想的观看方式不只有AR/VR ，用裸眼3D显示屏查看也同样沉浸。

不过，该方案目前仅限个人使用，因为眼球追踪系统只能追踪一个人的注视点。它可以用来向客户展示3D设计和模型。索尼认为，未来该技术有望与实时3D视频捕捉和传输技术结合，带来具有临场感的裸眼3D视频通话体验。
对于未来，索尼也在探索用全息技术来显示更广泛的深度图像。据悉，索尼开发了一款台式的相位调制SLM光学原型，并通过该原型验证， RGB全息图可有效实现多焦距呈现。此外，还训练了一种可实时计算和生成高质量图像的深度神经网络算法。总之，为了进一步实现更自然的3D显示效果，索尼接下来还将面临更多技术挑战，比如图像质量、计算量、视角和显示范围等等。而这些挑战，可能在未来随着硬件和信号处理技术发展而得到优化。