Meta研究改进光学手部追踪，降低追踪丢失导致的运动错误感知查看引用/信息源请点击：映维

查看引用/信息源请点击：映维网
评估由于失去手部追踪而导致的运动错误感知
【Meta研究改进光学手部追踪，降低追踪丢失导致的运动错误感知】（映维网2021年11月09日）随着光学手部追踪技术的不断改进，基于第一人称摄像头的手部追踪越来越优于基于控制器的追踪。基于第一人称camea的追踪依靠头显摄像头和计算机视觉来检测摄像头图像中的手部。这种无控制器追踪允许用户与虚拟环境进行更自然的交互，并增加乐趣和参与度。然而，由于视觉条件不理想，光学手部追踪可能会经常失败。例如，用户的手部离开摄像头的可视空间，或者一只手遮挡另一只手，或者一只手可能移动过快，从而在摄像头图像中产生运动模糊。
当手部追踪丢失时，默认的解决方案是将虚拟化身的手部挂在上次追踪的位置，而当追踪恢复时，手会突然弹到新位置，从而在身体运动中产生跳跃。渲染运动中的这一错误可能会降低对真实感的感知，并影响用户体验。

文章图片
在名为《EvaluatingStudyDesignandStrategiesforMitigatingtheImpactofHandTrackingLoss》的论文中， Meta和都柏林圣三一大学首先调查了用户对由于失去手部追踪而导致的运动错误感知，并针对上述场景提出和评估了三种不同的改进策略。
团队提出了一种模拟手部追踪丢失发生的方法，并为感知实验生成样本。其次，研究人员调查了实验设计的各个方面，探索刺激呈现、问题设计、为观众同时提供任务的影响、以及错误是否被解读为社会信号。所述主题是通过涉及数百名参与者的四个实验进行研究。
由于疫情限制，所有实验都是基于视频，并在用户家中完成。为了确保视觉感知尽可能接近虚拟现实体验，团队要求屏幕最小尺寸为13英寸，所有视频都以全屏模式自动播放，只播放一次，并且必须在参与者能够回答提示之前播放到完成。除注明外，每个子实验有100名参与者。共有4个主要实验，每个实验由1-5个子实验组成。除DSI约需1.5小时外，实验持续约1小时。

文章图片
实验1：运动误差敏感性。实验1的第一个目标是确认手腕位置的误差是显著可见的。为此，团队比较了两种情况：无人为误差的最高质量运动和完全误差，其中包含所有误差，无改进策略。第二个目标是比较两种不同形式的运动重建。由于团队对理解社交过程中对错误的敏感性特别感兴趣，因此从TalkingWithHands16.2M数据集中选择了参与对话的个人测试片段。这包括高质量的全身运动捕捉数据以及语音音频。每个实验的输入动作都相同，由10个动作捕捉对象（7个男性和3个女性）的10个不同片段组成，总共有100个话语。每个剪辑大约有20秒长，选择包含连贯的讲话，不会被对话伙伴打断。团队使用称为3ptIK的反向运动学算法处理高质量原始运动，以模拟基于第一人称摄影头的VR追踪。为此，研究人员从运动捕捉中提取头部和手的六个自由度，并使用OculusVRSDK中包含的自定义3ptIK解算器生成新的全身运动。解算器将头部和双手的3D世界位置和旋转作为输入，并估计上半身姿势和根位置。
实验2：改进策略和提示设计。实验2有两个目标。首先，团队想了解哪种改进策略对于解决不可避免的追踪错误最有效。其次，团队想了解问题类型和回答形式是否会影响获得的结果。共有五个子实验，每个实验使用不同的提示来获得评分。在要求评分之前，所有其他测试仅显示单一刺激。 DSIS_NP作为DSIS的单一刺激变体添加，以分离呈现模式和反应形式。每个子实验包含所有5个动作条件和所有100个话语。在每个运动条件下呈现每个话语，然后形成5个剪辑集，每个剪辑集在每个运动条件下包含20个剪辑（每个说话人2个）。参与者随机分配查看这5组中的一组，每组约20名参与者（每个子实验100名参与者）。这样，每一个话语的每一个动作条件都被包括在内，而一个个体参与者只看到一个给定话语的一个条件。