微信|VirtaMed使用Unity创建虚拟腹腔镜模拟器,实现混合现实手术训练( 二 )



“我们使用颠覆性技术来改进为患者服务的外科手术培训方案 。 凭借Unity在其游戏领域的大量经验与先进性的创新 , 我们终将为未来的手术培训领域创造出更大的贡献 。 ”VirtaMed公司联合首席执行官兼创始人Stefan Tuchschmid说道 。
从理论到现实
腹腔镜手术模拟器的创建过程
在创建该解决方案之前 , VirtaMed首先确定了他们需要一个实时3D引擎 , 使其现有技术能够扩展 , 以支持能够复制真实手术室程序的机制和具有复杂性的最先进的图形 。
VirtaMed的高级软件工程师巴兹尔·菲尔兹(Basil Fierz)向我们解释了公司最终选择Unity作为其技术合作伙伴的原因:
Unity致力于创建投资和改进现有技术 , VirtaMed通过了解Unity高清渲染管道的潜在功能(HDRP)确定其可以用来表现和显示复杂的图形信息 。
Unity引擎与生俱来的可扩展性使VirtaMed能够将其现有的物理模拟工具扩展到Unity中 , 从而消除了重启另一个物理引擎的需要 。
Unity’s Integrated Success保证了VirtaMed团队的整体结构 , 使其能够从容地推进开发边界 。
“Unity开发者关系经理是我们与Unity整个团队联系的桥梁 , 他帮助我们高效地与从工程到营销的每个人建立联系 。 我们的定期会议不仅限于日常主题 , 我们在会议中经常会提到一些我们想要加以改进的内容和一些建议增加的新功能 , 这有效的改进了我们的工作流程 。 ”VirtaMed高级软件工程师 , 巴兹尔·菲尔兹 , 博士说到 。

开发超逼真的模拟体验
通过采用Unity , VirtaMed能够将逼真的视觉资产和触觉反馈结合在一起 , 获得高级的训练体验 , 这是腹腔镜模拟器所独有的 。 通过将其现有的物理引擎作为一个模块直接集成到Unity中 , VirtaMed能够准确地表示内部器官的实际运作行为以及手术工具与这些器官的互动 。
在最初的开发阶段VirtaMed侧重于确保模拟器官的行为与真实器官一样 。 VirtaMed通过整理信息来源来实现这一点 , 这些信息源包括如医疗过程的实际视频片段、对手术过程的理解、对手术的观察以及医生的操作行为等 。 物理模拟能够对与手术工具的互动作出反应 , 工具计算反馈力并将这些力传递给模拟器套管针工具以提供触觉反馈 。
VirtaMed基于Unity创建的平台还为当地培训团队提供了灵活性 , 以帮助其适应手术实践中的地区差异 , 例如外科医生将自己定位在患者的哪一边 。 类似这样的功能可以根据教练的喜好轻松启用或禁用 。
在开发阶段 , VirtaMed团队使用了Unity’s Furioos内部测试的流式解决方案 。 Furioos基于云端的流技术使其在网络浏览器中访问复杂的交互式3D应用程序变得非常容易 , 这帮助其快速进行协作设计审查 。
同时 , VirtaMed还基于Unity开发了物理模拟机器 。 通过使用Unity的Furioos解决方案对模拟进行设计审查 , 避免了模拟器硬件生产中不必要的设计失误导致延迟 。
规划未来
基于腹腔镜训练模拟器的成功 , VirtaMed计划在未来12个月内将现有产品迁移到Unity , 并将Unity投入到未来的产品的开发之中 。
通过使用Unity Editor , VirtaMed可以更快地创建内容 , 并将其优势扩展到更广泛的产品之中 , 包括为其他行业客户构建更小的定制性项目 。 未来VirtaMed计划建立培训计划技能库 , 以涵盖更罕见的案例场景 。 通过使用Unity的数字孪生技术构建仿真平台 , VirtaMed确保其在模拟训练行业中的领先位置 。