为全身Avatar而生，Facebook研发灵活的6D姿态电磁追踪方案为了让你在VR中身临其境体验社

为了让你在VR中身临其境体验社交， Facebook等公司正在从多方面提升VR社交体验，比如开发大规模社交平台，或是研发逼真、写实的VR头像系统。目前，大多数VR头像系统只能手动设定特征，并不能100%代表使用者本人的形象，而为了解决这一问题， FacebookRealityLabs曾研发基于容积摄影技术的逼真3D头像CodecAvatar 。

文章图片
前不久， FacebookRealityLabs将CodecAvatar的研究延伸至全身，不只是可以渲染逼真的面部表情，也能还原你身体的3D模型，以及3D姿态变化。尽管如此，要想动态渲染用户的全身动作，这项技术还需要与准确的姿态捕捉方案结合。
不过，现有的VR头显还不能追踪全身，仅追踪双手就已经难以识别遮挡。在加入额外的嘴唇追踪器和眼球追踪模组后，仅能识别全脸表情。而市面上常见的全身动捕设备，更常用于电影拍摄，对成本、追踪范围的要求比较高。相比之下，市面上的一些C端姿态定位器则包括ViveTracker、TundraTracker等等，其方案基于光学定位，原理类似于手柄，需要使用SteamVR基站。而外置的摄像头，则容易限制你在VR中活动的空间，受可追踪范围限制。

文章图片
不管是基于摄像头，还是基于红外光的姿态识别方案，均存在一些局限。比如：基于RGB摄像头的全身姿态预测方案通常效果不够稳定，除了可追踪范围有限外，也难以识别被遮挡的动作。而红外基站则限制了可追踪的范围，使用者不可以走出基站固定的追踪区域。

文章图片
为了解决这一问题， Facebook与瑞士联邦理工大学科研人员合作，研发了一种基于无线电磁传感器的姿态识别方案EM-POSE ，其特点是不受视觉遮挡限制，没有固定的追踪区域，可预测6D姿态并实时重建3D人体姿态和模型。这里6D指的是6个自由度，包含了三个自由度的平移，以及另外三个自由度的空间旋转，它们合起来就被成为6D姿态。这是一个相对的概念，主要表示两个坐标系之间的平移和旋转变化。
科研人员表示：AR/VR是一个有潜力的计算平台，应用场景将包括娱乐、社交、医疗、远程应用等等。而对于沉浸的AR/VR体验来讲，准确重建使用者的全身姿态是一个关键要素。近年来，基于低成本摄像头的姿态识别技术得到长足发展，不过依然存在许多局限。

文章图片
【为全身Avatar而生，Facebook研发灵活的6D姿态电磁追踪方案】相比之下， EM-POSE采用可生成电磁场的发射源，接着传感器根据电磁信号来识别发射源的位置和方向。科研人员将发射源放在使用者后腰，并在身体其他部分放置6到12个定制的无线电磁传感器，以实现全身姿态识别。这样就可以自由移动，不受基站所在位置限制。
细节方面，电磁传感器的追踪范围为使用者周围0.3到1米之间，因此可以在全身布局12个传感器，手臂和腿部各2个，脖子2个，头部和背部各1个。而研究的关键是，科研人员通过电磁传感器识别到的数据，预测出对应的SMPL姿态模型和外形参数。 SMPL是一种人体三维模型，其特点是包含骨骼蒙皮和纹理，基于定点，可准确表示人体自然姿态。
为了验证方案效果，科研人员在实验中安排了一组Azure深度传感器方案，来进行对比和优化。接着，还采用OptiTrack动捕设备来校正传感器的坐标。实验共记录37分钟的数据，参与者包括三名女性和两名男性，动作包括摆动手臂、开合跳、走路等等。