VR|医学的“产学研”结合,被芯片厂商推了一把( 二 )


医院能从VR应用中得到什么?
除了医疗巨头的积极布局 , VR技术也慢慢进入实际使用方 , 即医院管理者的视野中 。
近年来 , 一系列行业政策的发布对医院的收支平衡能力、生存能力都提出了巨大挑战 。 医院需要主动求变 , 将目光投向医院的智慧化升级 , 提高医院的服务能力和生存竞争能力 。 对于更高级别的医院来说 , 除了日常的诊断工作 , 他们还承担了重要的医学教学和基层帮扶任务 。
北京某三甲医院院长表示 , “VR技术在医疗体系是十分重要的 , 尤其是医学教育 。 而医学教育既面向医务工作者 , 也承担面向老百姓的科普教育 。 通过VR技术 , 让他们身临其境地感受医疗知识 , 是一个非常好的途径 。 ”
他认为 , 医疗与各行各业一样 , 实现数字化转型和智能化发展 , 是推动公立医院高质量发展的核心内涵 。
2021年 , 英特尔携手火山引擎 , 帮助北京某三甲医院基于全新的VR医疗培训应用 , 打造集人工智能、全息/VR和物联网等技术为一体的医学应急教育培训中心 , 并有效提升了医院在医疗培训领域的工作效能 。
火山引擎总裁谭待透露 , 合作有两个部分:一个是VR远程巡诊 , 通过技术来解决时间和空间对专家资源的限制;另一个是VR急诊培训 , 通过仿真、沉浸式的VR场景 , 为急诊人员进行辅导和培训 。
从系统部署的具体实施路径来看 , 北京某三甲医院VR医疗培训方案的整体架构 , 由部署在第一现场 (病房)、边缘云和第二现场的不同处理设备和显示终端 (VR 眼镜)组成 。
其中 , 第一现场部署有音视频采集设备 (如全景高清摄像头) , 这些数据将经由5G网络被高速同步到部署在医疗培训中心附近的边缘云中进行音视频渲染和数据计算处理 。
经渲染后的VR视频流 , 将在编码压缩后通过高速5G网络推送到第二现场的VR眼镜中 , 方便使用者 (教学中的医生、医学生以及志愿者等) 进行VR远程查房、VR远程指导、AED (自动体外除颤器) VR无线急救等行为 。
而进行中的用户行为数据也会被同步回传至边缘云进行处理 , 由此形成整个VR医疗培训闭环流程 。



合作过程中 , VR培训系统面临着一些通用性的行业挑战:
首先 , 远程实时查房等VR应用带来海量的数据采集、处理和传输需求 , 如全部工作负载均通过远端数据中心/云服务完成 , 势必带来巨大网络压力 。 而VR应用中的沉浸式、交互式体验 , 也需要方案能有效缩短系统的端到端整体时延;
其次 , 医疗场景的特殊性需要VR应用能在现有网络带宽下 , 提供更高分辨率的视频格式 (例如8K) 来展现各类细节 , 这对视频编解码过程的优化能力提出了巨大挑战 。
面对两大挑战 , 方案的核心关键词就是两点:更快、更真 。 谭待表示 , “快和真在很多时候是矛盾的 , 破解这个矛盾就需要有更好的算法 , 更强的工程能力和更好的基础设施来支持 。 ”
火山引擎与英特尔一起 , 通过引入英特尔? 高级矢量扩展512 (英特尔? AVX-512) , 优化BVC编解码器 , 为边缘云数据中心的渲染计算处理提供强劲支撑 , 来使VR应用加速增效 , 实现超清、高质视频的实时快速解码 。
BVC编解码器是火山引擎多媒体实验室自研产品 , 在VR医疗培训应用方案中 , 用以提高VR医疗培训应用使用时的沉浸感和交互感 , 以及支持8K视频分辨率带来的编码与传输压力 。
英特尔? AVX-512是由英特尔提供的单指令多数据 (Single Instruction Multiple Data , SIMD) 指令集 。得益于其在寄存器位宽等方面的优势 , 内置英特尔? AVX-512 指令集的英特尔? 至强? 可扩展处理器 , 在音视频处理、数据加密压缩以及深度学习等高密度计算处理场景中有着出色的性能表现 。