元宇宙场景应用又一科研诞生！提供完全不受约束的手部动作追踪自Facebook更名为Meta后

自Facebook更名为Meta后，全球范围内关于元宇宙（metaverse）的讨论，也让动作跟踪成为近期的科技热点之一。对于虚拟现实（VR）和增强现实（AR）来说，精确的动作跟踪至关重要。
近日，上海交通大学电子信息与电气工程学院助理教授陈东尧，携团队在网络系统领域顶级会议ACMMobiCom2021上发表了一篇论文，有望为解决动作跟踪提供新思路。论文由上海交大和密西根大学安娜堡分校合作完成，交大为第一完成单位。

文章图片
图|陈东尧，他和团队研发出一种完全不受约束的人体手部跟踪系统MagX

文章图片
动图|AR手部跟踪展示（来源：陈东尧）
论文题为《MagX:基于永磁铁的可穿戴、无束缚的手部跟踪技术》（MagX:Wearable,UntetheredHandsTrackingwithPassiveMagnets）[1] 。据悉，该会议论文录取率一般在15%左右， 2021年仅在全球录取59篇。

文章图片
图|相关论文（来源：ACMMobiCom2021）
对于该论文，审稿人评价称， MagX展示出令人满意的实用潜力与应用前景。同时，审稿人也特别强调了MagX系统对于相关研究的启发意义，特别是基于磁场感知的动作识别。下图便是MagX的跟踪性能。

文章图片
动图|脸部触摸跟踪展示（来源：陈东尧）
在视野受限下实现高精度手部动作跟踪
【元宇宙场景应用又一科研诞生！提供完全不受约束的手部动作追踪】人手是全身最灵活、最自由的部位之一，它让我们能和周围环境、或机器进行自然交互。在VR、AR、以及元宇宙（Metaverse）场景中，只有具备精确的手部追踪技术，才能改善交互沉浸感。
据悉，该研究希望解决手部动作跟踪这一问题。相比常见手势的识别，比如胜利手势和比心手势等，手部动作跟踪需要较强的实时性和精确度。
在理想情况下，要以30Hz的采样率、以及毫米级精确度，来跟踪手指在三维空间中的位置，这导致手部动作跟踪的难度较高。
如能解决这一问题，也可实现许多关键应用，例如基于高精度手部动作跟踪的人机交互、将手部动作虚拟化之后并应用于元宇宙场景、检测经常用手摸脸这一不卫生行为等。

文章图片
图|MagX研究团队的部分成员（来源：陈东尧）
在解决思路上，鉴于近些年机器视觉和深度学习的诸多进展，大家往往会想到通过摄像头来采集图像，再配合机器学习算法的解决方案。
但这一传统路径并不能满足该研究的需求，最主要的原因就是视线受限问题，如果摄像头根本看不到这一物品，那么后续数据处理也无从谈起。
事实上，这一问题在生活中也处处可见：例如在VR游戏中手部经常被身体所遮挡；以及黑夜中光线不足的情景。而这也是目前摄像头+机器视觉方案在应用中最主要的痛点之一。

文章图片
（来源：ACMMobiCom2021）
通过采用磁场数据，陈东尧和团队提出的MagX解决方案，得以攻克上述难题，在视野受限的情况下实现了高精度手部动作跟踪。用户只需把传感器设备佩戴在手腕，并在需要跟踪的手指部位佩戴小型磁珠，即可让MagX实现高精度的手部动作跟踪。