将面部识别与摩斯电码结合，做做鬼脸就能打字( 二 ) 为了探索自然的人机交互方式

利用摄像头新来来输入、操控界面的技术已经存在，史蒂芬金就利用眼球追踪技术来输入信息、控制屏幕上的光标。然而，利用眼球追踪来逐字输入非常耗时。开发者发现，如果将计算机视觉识别到的面部表情与摩斯电码结合，打字的速度可能会超过眼球输入。
另外与眼球输入相比， CheekyKeys的效率可以更高、成本更低，不仅支持26个字母输入，也可以通过特定的面部表情来输入Ctrl、Shift、空格等按键。原理是计算面部特定节点之间的相对距离，当距离到达一定阈值，便会触发对应的按键。空格键可以通过快速噘嘴来触发。

文章图片
细节方面，训练CheekyKeys算法采用了计算机视觉库OpenCV ，以及面部追踪工具包Dlib 。为了提升面部追踪的准确性，开发者采用了谷歌的开源模型MediaPipe ，比Dlib更细节、精准。 MediaPipe可识别近500个3D面部节点，可更准确识别眉毛和嘴部的细微动作，触发上下左右功能。

文章图片
有趣的是，为了验证CheekyKeys的效果， EverythingIsHacked尝试用表情来输入代码，测试自己能否完成求职面试的编程测试。经过二十多分钟挤眉弄眼，他完成了简单的一段代码，尽管面试结果不理想，但经验证他编写的代码可以跑通（笑哭）。
总之，尽管CheekyKeys更像是一个无厘头的小发明，但也许可以为未来的人机交互带来启发，当AR/VR头显开始支持高效的全脸面部识别， AR/VR社交将迎来更丰富的交互方式，比如做表情来打字，或是触发预设的对话文字等等。参考：Gizmodo