VR|打造线下版元宇宙!机器人VR助力远程做核酸,登上Science子刊( 二 )


VR|打造线下版元宇宙!机器人VR助力远程做核酸,登上Science子刊
文章插图
电子皮肤在智能机器人虚拟现实中的应用演示
不过要将设想变为现实,还需跨过不少难关。
在机器人VR项目进展中,于欣格团队遇到的最大问题是,机器人和人体的双向反馈环节。这也是项目进展中花费时间最长的环节。
核心难点有两处:一是电子皮肤捕捉到人体动作后,如何将这个动作的指令精准传递给机器人?二是如何将机器人获得的触觉精准反馈给人类?
除此之外,机器人VR研究过程不仅涉及于欣格团队擅长的生物医学工程,还会涉及材料、电路、力学优化、有线反馈通路、软件开发及界面优化等。
因此,他们联合大连理工大学、清华大学和中国电子科技大学的多位优秀人才通力合作,最终在这样庞大的应用工程型项目中取得进展。
二、皮肤还可以变上衣,震动映射触觉反馈回到研究本身,新型电子皮肤的控制面板整体尺寸为57mm x 39mm x 0.8mm。
研究人员在电子皮肤中采用了多层堆叠布局,其中一层肤色弹性硅(聚二甲基硅氧烷,PDMS)可用作皮肤的软黏合剂,由聚酰亚胺(PI)互连一系列芯片和传感器,包括电阻器、电容器、蓝牙模块、微控制器单元(MCU)、电桥和研究人员自主开发的软传感器、执行器。
VR|打造线下版元宇宙!机器人VR助力远程做核酸,登上Science子刊
文章插图
CL-HMI电子皮肤的组成结构
电子皮肤中的设计均根据完善的力学设计规则成丝状蛇形结构,从而使整个系统具有可拉伸性。另一层肤色弹性硅(PDMS)用来封装所有功能组件。
VR|打造线下版元宇宙!机器人VR助力远程做核酸,登上Science子刊
文章插图
电子皮肤中的蛇形结构设计
于欣格说:“电子皮肤的最终形态取决于我们想要实现的功能,它可以是一个近乎无感的小贴片,也可以是一副手套、一件上衣或者一件连体衣。”
延伸到机器人VR,论文写道,研究人员佩戴四个电子皮肤集成的贴片来控制一个13自由度的人形机器人,这个机器人能够完成人类的大部分动作。
通过配备相应传感器,机器人能同步体验来自前臂、上臂、大腿、大腿侧面、腹部的压力。
实验过程中,还能根据具体应用,自由选择弯曲传感器和触觉致动器的数量,同时佩戴VR设备,同步机器人电子眼获取的视觉信息。
如此一来,机器人VR系统就可以作为在无线操作模式下远程控制机器人的操作平台。
VR|打造线下版元宇宙!机器人VR助力远程做核酸,登上Science子刊
文章插图
手套形状的电子皮肤操纵遥控车模拟实验
关于触觉反馈的实现方式,于欣格说:“我们通过不同的震动强度以及频率来代替触觉。”震动的范围可能是从低频敲击式的震动到类似于手机震动的状态。
在研究过程中,研究人员会为使用者建立映射标准,使用者经过训练和熟悉后能够逐渐适应震动反馈,但目前为止,映射标准会因身体部位、使用者等多种因素而异。于欣格告诉智东西,他们也正在探索实现更真实映射的技术。
三、通过互联网传输,不到50毫秒就可轻松响应除了触觉感知外,机器人VR系统的无线传输功能同样神奇。
这块电子皮肤上安装了7个弯曲传感器和5个执行器。这些传感器和执行器可以直接连接到电子皮肤中MCU的模拟数字转换器(ADC)和通用型输入/输出(GPI/O)接口,用于多通道传感和驱动。
电子皮肤中包括读取信息的传感器、用于发送信息的无线发射器,以及有助于触觉反馈的小型振动磁铁。
这些传感器以锯齿形方式放置的电线组成,当贴片弯曲时,这些电线被拉得更直,弯曲、放直手臂时可以向机器人传输有关身体运动的数据。