元宇宙的存在意义,让虚拟赋能现实( 二 )


通过OmniverseAvatar , 实现了将语音、语速、语调、感情 , 投射到黄仁勋数字分身脸部的过程 , 其中涉及到了一个复杂全方位的系统组件集成 。 例如 , 利用Riva以自然语言处理方式来提取声纹 , 把人工智能计算处理的文本文字 , 用黄仁勋的声音合成出来;当进行不同语种表达时 , 利用Audio2Face的方式投射到面部 , 保持嘴形与所述语言一致;利用对自然语言的理解 , Maxine530B超大型的语言模型 , 可以识别理解生成人类语言;利用Maxine合成安静的环境 , 保证无论任何环境都能保持语音的清晰 , 消除周围噪音 。
与此同时 , Omniverse的新功能还对于目前进入虚拟世界的AR、VR设备提供了更多支持 。 OmniverseVR支持开发者在平台上构建自己的VR工具 , 最终用户可以直接享受VR功能;OmniverseXRRemote提供AR功能和虚拟摄像头 , 支持设计师查看他们通过iOS和Android设备全光线追踪的资产;企业级沉浸式串流框架NVIDIACloudXR也集成至OmniverseKit , 允许用户以交互方式将Omniverse体验串流至他们的移动AR和VR设备 。
元宇宙赋能现实
从上文所提到的DRIVESim或IsaacSim内容就能看出 , Omniverse平台对于现实有着极强的赋能潜力 , 无论是企业通过其构建数字孪生的虚拟世界 , 还是个人打造自己的数字分身 , 均能让虚拟对现实实现赋能 。 从数字孪生的虚拟世界角度看 , 就好比人类拥有了一个平行世界 , 在这个世界中可以模拟现实中不好模拟的事件 , 最终将实验结果回馈于现实 。
元宇宙的存在意义,让虚拟赋能现实
文章图片
现实之中的自动驾驶测试 , 就只能集中在固定的范围内 , 对于突发事件的测试 , 也有着局限性 。 通过DRIVESim , 在实现真实世界中的LED屏闪、动态模糊 , 其他车辆的激光雷达、多普勒效应、弥漫效应等各种还原后 , 再利用DRIVEHyperion8的自动驾驶工具包 , 就能实现在虚拟世界中的自动驾驶训练 , 甚至还能模拟野生动物的出现 , 这类在现实中无法刻意模拟的路面情况 。 训练好的模型可直接通过DNN的方式部署 。
元宇宙的存在意义,让虚拟赋能现实
文章图片
数字孪生的虚拟世界环境还能对网络部署给出有效参考 , 尤其是对于更大站址规模的5G网络来说 , 在城市中的部署已变得越发复杂 。 爱立信就针对5G网络的部署通过Omniverse构建了数字孪生 , 用来准确模拟5G基站与环境之间的交互作用 , 从而更大程度地提高性能和覆盖率 。 在实践过程中 , Omniverse可允许爱立信跨动态环境元素准确模拟网络性能 , NVIDIARTX加速的实时光线追踪允许研究人员实时查看城市每个点的信号质量的精确表示 , 帮助爱立信进行如波束成形技术的尝试 , 并随时可获得虚拟世界所给出的网络信号、性能及覆盖情况的反馈 。
元宇宙的存在意义,让虚拟赋能现实
文章图片
对于个人的生活工作来说 , 虚拟的数字分身 , 能够让我们的线上交流更加真实 。 无疑在未来 , 所有人均可以通过虚拟人偶的形式在线上进行更真实的交流 , 通过VR设备 , 还能够获得更真实的临场体验 。 同时 , Riva、Audio2Face、Maxine530B等技术 , 一方面保证了交流过程中的真实感 , 甚至让微表情语言同样能够反馈在虚拟世界 , 另一方面也为人类的跨语言交流提供了更多机会 。 即便是对于目前的在线视频会议而言 , 通过数字分身技术 , 还能让与会者在需要查看资料、翻看其他电子设备时 , 视频中的形象仍可以保持一种随时专注于屏幕的状态 , 提升网络会议的沉浸感 。