手套|《头号玩家》中触觉手套成真 伸向元宇宙的“触手”出现了( 二 )


最开始,为了提供逼真的触感,触觉手套需要在整个手上安装数百个执行器(微型电机),以使佩戴者的手部运动与触摸虚拟物体时协同 。但是过多的的机械执行器会产生过多的热量,既不舒适又太大、太硬、太贵太耗电 。
是否可以用柔软、柔韧的驱动器代替机械驱动器?如果驱动器可以根据佩戴者的动作改变形状,就可以假设执行器根本不存在,与手部融为一体 。
新技术就采用了更加新颖的软体机器人,用微型气囊取代了笨重的机电组件 。这种柔软、轻便的触觉手套,最明显的优势是解决了外部器件过于异化的问题,同时还明显提高了 AR/VR 中双向交互问题:帮助计算机准确理解和反映佩戴者的手部动作,并为佩戴者再现一系列复杂、细微的感觉,例如压力、纹理和振动来创造用手感受虚拟物体的效果 。
为了控制这些新的软执行器,他们正在构建世界上第一个高速微流体处理器:手套上的微型微流体芯片,通过告诉阀门何时开关,从而控制执行器的气流 。
手套|《头号玩家》中触觉手套成真 伸向元宇宙的“触手”出现了
文章图片

现实实验室的Andrew Stanley说到:“我们和其他微流体研究的不同之处在于,我们强调一切都非常轻巧、可穿戴和响应快速,在手上创造可信的触觉,让虚拟世界变得「有形」 。”
2、触觉渲染:做出对虚拟环境的准确反应
即使有一种控制气流的方法,系统也需要知道何时何地提供正确的感觉 。这需要先进的手部跟踪技术,使计算机能够准确地知道手部在虚拟场景中的位置,人是否与虚拟对象接触,以及手如何与对象交互 。
因此,还需要一款为 AR/VR 界面构建触觉渲染的软件,可以根据手的位置和对虚拟环境的理解,几乎实时地向手套上的执行器发送指令,包括纹理、重量和刚度等 。
手套|《头号玩家》中触觉手套成真 伸向元宇宙的“触手”出现了
文章图片

RL 软件工程师 Forrest Smith 说,“人们通常将‘渲染’视为视觉效果,我们还使用‘渲染’来表示触觉:首先获取人与虚拟世界的交互状态,并将其渲染到执行器,从而获得相应的感觉 。然后为了渲染与对象的实时交互,还需要模拟相应的物理状态 。”
强化学习研究工程师Justin Clark 指出:一个物理引擎(用于视频游戏中模拟对象的交互软件)决定了手与虚拟环境交互的方向,幅度,力度 。然后,触觉渲染算法将此信息与触觉设备的特性(例如其各个执行器的位置和属性)相结合,以便向设备发送正确的指令 。
软件工程师 Andrew Doxon 补充道:“其中一个挑战是构建适用于不同类型执行器并支持各种触觉体验的软件 。最终,我们还需要构建工具,让人们能够像创建视觉或音频内容一样创建触觉内容 。”
3、将听觉、视觉和触觉感知结合起来
随着工作的进行,第三个挑战出现了:为了使纹理和感觉发挥作用,他们必须以模仿现实的方式模拟触摸物理,但不能完全重新创建现实世界的物理学 。
因此,他们想到多感官整合:研究人类感官如何协同工作,从而建立我们对世界的整体理解 。
UX 研究科学经理 Sophie Kim 曾说到,“我们的大脑非常擅长接收一点触觉信号、一点视觉信号、一点听觉信号,然后将它们融合在一起,形成全方位的感觉,并使你的大脑确信有一个物体在你手上 。”
RL 感知研究科学家 Jess Hartcher-O'Brien说到:如果我拿起一个物体,我已经对它的材料类型以及重量有了一些假设,然后我抓拿起它,触觉系统会验证这是什么材料,大脑会识别摩擦力和惯性;视觉系统会根据我手臂移动的方式,计算出这个物体的密度或重量 。最终这些线索会综合起来,形成关于这个物体的本体感觉 。