英伟达黄仁勋：我们给真实世界和元宇宙间建了个穿梭门( 二 ) 老黄家熟悉的厨房又出现了

当然，让Omniverse中的虚拟物品与物理世界中的人进行实时交互仍存在诸多挑战。黄仁勋表示：“如何使用Omniverse模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶汽车，甚至是虚拟形象的数字孪生，是一个永恒的主题。 ”

文章图片
接下来黄仁勋展示了OmniverseAvatar结合英伟达各项技术后生产出来的实时应用程序。首先是用于客户支持的ProjectTokkio ， “Tokkio”是一款智能操作台应用程序，在视频案例中“Tokkio”在一家快餐店服务，与两位顾客直接对话并帮助顾客进行了点餐服务。

文章图片
基于OmniverseAvatar制作的智能操作台应用程序Tokkio如果将OmniverseAvatar与DriveConcierge相结合，可爱的自定义行车虚拟助手便出现了。

文章图片
OmniverseAvatar展示的另一个例子则是老黄自己的AI化身，英伟达的员工们早就开始用老黄的声音构建出了一个会对话的语音合成AIToy-Me——一个玩具AI老黄。不得不说，老黄确实懂得多，玩具版的AI老黄在视频案例中轻松回答了气候、天文、生物三个领域专家的专业问题。
黄仁勋表示：“你会看到这个虚拟形象是基于目前训练的最大语言模型的语言处理打造，包括声音也是用我自己的语音进行合成，还可以看到实时基于光线追踪的精美图像。 ”

文章图片
实时对话AI机器人“ToyJensenOmniverseAvatar”老黄还将OmniverseAvatar与视频会议平台Maxine相结合，为虚拟协作和内容创建应用添加了音视频功能。在视频案例中，一位女士在嘈杂的咖啡厅中可以视频会议中简单的去除背景噪音后通话，同时，她的英文可以被实时转化为多种语言，并生成对应口型及语调的虚拟形象。

文章图片
一个看似简单AI数字人其实并不简单， OmniverseAvatar能够如此强大的原因在于其背后英伟达近年来的技术突破，老黄直称在几年前想要实现上述案例的功能几乎不可能。如今， OmniverseAvatar的推荐引擎采用Merlin方案，该框架允许企业能够建立处理大量数据的深度学习推荐系；感知能力则来自计算机视觉框架Metropolis；头像动画由Video2Face和Audio2Face（二维和三维AI驱动的面部动画和渲染技术）驱动。
自动驾驶的老司机OmniverseReplicator
黄仁勋在演讲上发布的另一项产品OmniverseReplicator ，已产生了两个用于生成合成数据的应用——NVIDIADRIVESim?、NVIDIAIsaacSim? 。它们分别是用于承载自动驾驶汽车数字孪生的虚拟世界和用于可操纵机器人数字孪生的虚拟世界。
OmniverseReplicator的优势在于它能在一定程度上代替真人来进行昂贵、费力的数据标记工作，同时这些虚拟世界中产生的数据可以涵盖各类不同场景，包括在现实世界中无法经常经历的场景以及极度危险的场景。它还能生成人类难以或无法标记的真值数据，如速度、深度、被遮挡的物体、恶劣的天气条件、追踪各传感器上的物体移动等。当自动驾驶汽车和机器人在系列虚拟环境中得到充分训练后，才会逐渐应用到现实世界当中。

文章图片
此外，黄仁勋还公布了Omniverse的另外四项功能。 Showroom——一个包含演示和示例应用程序，展示了Omniverse核心技术；Farm——一个系统层，用于协调跨多个系统、工作站、服务器和虚拟化批作业处理，可以用于批量渲染， AI合成数据生成或分布式计算；OmniverseAR——可以将将图形串流到手机或者AR眼镜；OmniverseVR——首款全帧交互式光线追踪VR 。