微软专利使用IMU数据更新MR叠加图像，最小化动显延迟影响（映维网Nweon2022年06月13日）如

（映维网Nweon2022年06月13日）如果大家有关注微软的专利探索，这家公司曾提出一种集成式摄像头/系统摄像头+分离式摄像头/外部摄像头的系统理念。其中，集成式摄像头/系统摄像头是指物理集成到头显的摄像；分离式摄像头/外部摄像头则是指与头显分离的摄像头。
例如在一个的场景中，可以将分离式摄像头捆绑或以其他方式放置在用户的胸部。在另一个场景中，分离式摄像头可以不放置在用户的身体上，而是由用户握持或者安装在自拍杆或另一种类型的延长杆上。
集成式摄像头+分离式摄像头的设置可以提升头显的扫描范围和质量，优化全息图的放置和生成。但显然，对于这种图像合并和叠加，系统需要对齐两个摄像头的内容，并实现快速目标捕获。
在名为“Lowmotiontophotonlatencyrapidtargetacquisition”的专利申请中，微软介绍了一种使用IMU数据更新叠加图像内容的位置，以反映摄像头位置的后续变化，从而最小化延迟影响。
概括来说，集成式摄像头/系统摄像头和分离式摄像头/外部摄像头生成的图像可以相互重叠并对齐，以形成重叠图像。系统摄像头图像中的内容由叠加图像中的边界元素包围。然后，可以获取与系统摄像头和外部摄像头相关的IMU数据。
基于所述IMU数据，确定自最初生成图像以来系统摄像头和/或外部摄像头已经移动的移动量。基于所述移动，边界元素将移动到叠加图像中的新位置。

文章图片
【微软专利使用IMU数据更新MR叠加图像，最小化动显延迟影响】图8示出了结果叠加图像800 ，其包括系统摄像头图像805和外部摄像头图像810 。可选地，附加图像可以包括在叠加图像800之中，例如用于帮助用户对准的十字线815 。通过对齐图像内容，用户只需查看头显中显示的内容，就可以识别目标位置。

文章图片
如图9中的目标采集900所示，通过提供增强叠加图像800 ，这可以帮助用户实现快速目标采集。换句话，用户不再需要花时间查看工具的瞄准镜。
在显示叠加图像和生成用于生成叠加图像的图像之间，通常存在延迟或时间延迟。这种时间延迟导致用户查看延迟数据的场景，这意味着图8中显示的十字线815可能无法真实反映工具的实际瞄准位置。所以，需要一种改进的技术来补偿图像生成和图像显示之间发生的延迟。

文章图片
图10是微软方案的抽象版本。图10示出了系统摄像头图像1000和外部摄像头图像1005 。如所讨论，我们希望通过组合系统摄像头图像1000和外部摄像头图像1005来获取叠加图像1010 。
注意，叠加图像1010包括包围从外部摄像头图像1005和/或从系统摄像头图像1000获得的像素的边界元素1015 。可选地，边界元素1015可以是圆形气泡可视化1020的形式。

文章图片
图11示出了表示叠加图像1010的叠加图像1100和表示边界元素1015的边界元素1105 。这里同时示出了移动1110 。移动1110可对应于系统摄像头移动1115所示的系统摄像头移动和/或外部摄像头移动1120所示的外部摄像头移动。
如前所述，在生成和显示叠加图像1100之间可能存在时间延迟。在这个时间段内，如果发生移动1110 ，则结果叠加图像1100将不再是最新的，而是滞后的，因为它是过去场景的反应，即边界元素1105的位置将处于错误的位置。