元宇宙场景应用又一科研诞生！提供完全不受约束的手部动作追踪( 二 ) 自Facebook更名为Meta后

能提供24小时完全不受约束的操作
确定MagX的初衷后，该团队立刻开始头脑风暴，并来确定所需的传感器。除去图像这一物理信息之外还有几种备选：比如惯性传感器所提供的加速度和角速度、基于声音信号反射的感知技术等。
但由于零点漂移或遮挡等问题，他们放弃了这些方案。而这些前期调研也引导他们选择了磁场数据，原因是磁场能很好地解决视线遮挡问题。

文章图片
（来源：ACMMobiCom2021）
接下来，该团队又探索了具体的磁场跟踪方案，由于该研究对磁珠跟踪性能的准确度以及实效性均有着较高的要求。为此，该团队先是通过仿真方式，来对传感器进行优化选型，这一步骤也帮他们省去了重复进行PCB打板的耗时流程。
有了比较稳定的传感器构型，还需要一种可定量方式来精确采集真实值，以便科学地评估系统性能。此前已有的跟踪系统评估方案，通常采用相当昂贵的动作捕捉平台。他们则希望找到更低成本的方案，为此采用了红外动作采集设备LeapMotion来跟踪真实位置。
相比于动辄数万的动作捕捉平台，这种真实值采集设备仅需1500元左右的LeapMotion+3D打印的标定杆，可大大节省研究成本。
随后，陈东尧和团队对MagX进行一系列测试，结果显示传感器阵列可对两块磁铁进行毫米级精度的5自由度独立跟踪。
例如，在距离磁铁距传感器的11厘米处， 6cmX6cm的传感器阵列所对应的位置误差和方向误差，分别为0.76cm和0.11rad；在21cm处所对应的上述误差分别为2.65cm和0.41rad 。

文章图片
（来源：ACMMobiCom2021）
另据悉， MagX还能使用更大的传感器阵列来实现远距离跟踪。以位于27cm处的两块磁铁为例， 9.8cmX9.8cm的传感器阵列可实现2.62cm和0.55rad的跟踪性能。这种高鲁棒性的跟踪性能，也可让磁跟踪应用于各种场景。
而且， MagX还可在本地执行所有计算，进行实时跟踪时只需0.38W功耗，这意味着基于常见智能手表大小的电池， MagX可提供24小时完全不受约束的操作。
具体在使用时，要把传感器阵列和磁体，分别放在胸前和手腕上。为方便寻找指尖位置，磁铁北极应指向指尖的自然朝向。通过这种方式，食指指尖的位置就可通过磁体位置、磁体方向以及放松手掌的长度来近似获取。
潜在应用：可精准跟踪脸部动作
在应用上，最直接的潜在应用，是检测摸脸这一常见行为。很多人对于这一行为习以为常、以至于漠不关心，但是这种潜意识行为却会带来危害。
例如，手部动作通常与精神压力相关，比如无意识地抓头发、摸嘴唇、咬指甲等，没有洗手就去摸脸也会影响身体健康。每个人平均每小时都会不自觉地摸脸23次，这会导致细菌和病毒通过粘膜进入身体从而导致葡萄球菌和其它严重的呼吸道感染比如新型冠状肺炎。
因此，在疫情持续的当下，检测并减少摸脸行为就显得格外重要。
如下则展示了脸部动作跟踪的精度，其中LC、LE、M、N、RC、RE和No来分别表示左脸颊、左眼、嘴、鼻、右脸颊、右眼和无触碰。

文章图片
图|MagX的精度性能，通过混淆矩阵（confusionmatrix）来表示（来源：ACMMobiCom2021）
MagX还可以用于其它多种应用场景，来弥补传统的“视觉+机器学习”解决方案的显著不足。例如增强现实（AR）应用中，使用者可以佩戴MagX在黑夜或视线受遮挡的情况下依然实现精准的手部动作跟踪。