英伟达|英伟达那个根据声音音频驱动人脸的audio2face安装初探

英伟达|英伟达那个根据声音音频驱动人脸的audio2face安装初探

在人声的音频驱动人脸这方面 , 可能wav2lip更有名 。 不过这个技术只是对于二维图像或视频中的人脸而言 , 并没有遵循人脸说话时候的肌肉变化或表情细节 。 另外机智客在写本文的时候 , FACEGOOD还没开源 。 所以只说wav2lip这个技术 , 相对而言 , 它的驱动成本低 , 方便操作体验 。 而在这块 , 更商业化的一个技术实现 , 还有英伟达的技术 。 那就是audio2face 。
之所以更商业化一点 , 是因为英伟达这个技术应用是存在于之前他们推出的元宇宙Omniverse平台中的 。 关于Omniverse平台的安装 , 机智客在以前的文章里介绍过 , 不再赘述 。 另外更重要的是 , 要使用这个人工智能应用 , 我们一方面需要在Windows系统里(以前机智客的文章里安装它是在Ubuntu这样的Linux发行版系统里 , 这一步过程并没什么太多不同) , 另一方面要有一块英伟达显卡(越贵越好的那种) , 安装相应的驱动后 , 才能用 。

也就是说 , 你需要安装英伟达之前那个Omniverse元宇宙平台 , 要使用这个平台就要在英伟达官网注册一个账号 , 这样才能下载登录和使用 。 我们打开登录进入 。 选择交易所 , 这里已经内置了英伟达推出的太多人工智能深度学习应用了 。 这里可以搜索audio2face找到这个页面详情 。 点击下载安装 。 就这个应用 , 居然就有3GB多的容量 。 很是惊人 。 下载安装后启动就可以进入软件界面了 。
虽然既有很多对系统的要求 , 又有体积大等种种不便 , 不过audio2face这个功能的确强大 。 它是一个借助NVIDIA深度学习AI技术 , 仅需一个音频来源即可快速轻松生成表情丰富的面部动画 。 而这个面部动画 , 可不是说图像哦 , 这是驱动的3D模型 。 软件应用界面是英文 , 可视化区域有一个人头3D白模 , 右侧属性区域已经内置了几个示例音频 , 在audio2face标签区域里 , 选择可以播放音频驱动的人头3D模型说话的动画 。 机智客用自己以前的一段语言 , 载入软件测试了一下 , 觉得不错 。 非常顺畅就驱动3D模型说话了 。 肌肉细节表现很好 。
【英伟达|英伟达那个根据声音音频驱动人脸的audio2face安装初探】关于默认的3D模型 , 软件也提供了一些常用的3D建模功能选项 , 以便我们调整设计和渲染 。 软件比较庞大 , 选项功能和工具非常多 , 从设计到渲染 , 覆盖整个流程 。 可以看出 , 这并不仅仅像是一个音频驱动人脸动画的软件 , 更像是一个艺术设计平台 , 它让我们更多相关的3D建模动画制作工作更容易实现 。