Java|虚拟人的手工前世和AI今生( 六 )


由于核心算法的缺失 , 国内市面上大部分球形扫描系统使用的依然是上面提到的摄影制图方式 , 采用球阵只是为了控制光照均匀以及相机标定等 , 这样的系统在最关键的皮肤细节精度上无法和LightStage匹敌 。
(据说随着Reality Capture软件的升级 , 摄影制图法现在勉强能接近毛孔级别的细节 , 也算一种经济适用的重建方式 。 )
最近国内已有几家企业研究实现类似Light Stage的系统 , 希望国内早日用上Light Stage级别的三维人脸重建 。
除了Light Stage之外 , 还有另一种动态光场重建概念 , 这种所谓“光场成像”的思路更简单粗暴:不管物体模型和表面材质 , 直接从各个角度采集三维物体在各种条件下的光线反射信息 , 然后在渲染时对采集的光线进行重组输出 , 就可以让人看见“真实”的三维世界 。
大家是否注意到了 , 所谓打造“真实感世界”的顶级方法 , 最后都返璞归真:
把所有的信息都尽可能采集一遍 , 重组计算后输出 。
无论是三维重建 , 还是后面各种基于大数据融合的虚拟人驱动方法 , 其核心思路无不如此:从现实中来 , 回到现实中去 。
大数据加持的捏脸游戏
花了一些篇幅介绍了这个星球上最牛逼的三维重建技术 , 但结论却有点无奈:这样的人脸扫描重建成本和门槛都过高了 , 独立影视创作不用指望这种核弹级别的系统 。
但没关系 , 我们还有大数据和人工智能 。
这里的想法也很简单 , 虽然没有高大上的系统直接扫描真人 , 但如果可以利用现成的扫描数据 , 再结合类似游戏捏脸的交互系统 , 是否能面向普通用户提供照片级超写实虚拟人的生成服务?
真有人这么做了 , 这就是Unreal虚幻的MetaHuman Creator 。
(是的 , 又是虚幻)
MetaHuman Creator交互界面
值得一提的 , MetaHuman Creator是一个云端渲染服务 , 用户通过网页连接和进行交互操作 , 所有的数据运算和生成都是云服务渲染;而云端后台使用的 , 就是Unreal虚幻引擎本身 。
MetaHuman初看上去似乎是一个很简单的系统 , 颇有点游戏创建角色捏人脸的感觉 。
但简单的背后 , 其实是多门计算机学科最新技术的结晶:
超大规模的4D人类面部扫描 , 基于机器学习的数据处理和融合 , 实时3D引擎支持 , 云渲染服务……无数计算机科学家和工程师的智慧打造出了一个普通人可以上手创作的超写实虚拟人生成系统 。
(注: 暂时没更多资料披露 , 但从数据结果来看 , MetaHuman 4D扫描数据应该类似LightStage的光场扫描重建)
事实上 , 目前MetaHuman基于大数据的模型融合只完成了人脸部分——当然这也是最难的部分;而身体部分 , 仅提供了传统的基本样式选择. 原因很简单 , 尚没有全身模型的扫描大数据支持 。
尽管如此 , MetaHuman Creator实现了面向普通消费者的超写实虚拟人生成服务(居然还是免费的 ,线上生成的虚拟人可以直接数据导出使用) ,这已经是一个很了不起的事情 。
毫不夸张的说 , MetaHuman Creator在虚拟人制作上实现了技术突破 , 极大简化了超写实虚拟人的创作过程 , 某种程度上 , 让虚拟人制作真正飞入了寻常百姓家 。
如果继续替用户考虑 , 一般人如何设计一个帅气/漂亮的虚拟人呢 , 或许对着明星照片捏脸是一种方式 。
但明星脸这种事情 , 往往涉及肖像版权;而在影视制作中 , 版权是个重要问题 。
有办法可以自行生成一个漂亮人脸吗?
在人脸创作这个小细节上 , 大数据加持的人工智能又一次展示了它的巨大威力 。 通过深度学习技术 , 我们已经可以生成各种风格倾向的人脸 。 以下是作者基于公开的深度学习模型随机生成的一些东方明星人脸和欧美普通人脸 。