手机就能弄个3A级数字人！中国团队一套“乾坤大挪移”搞定金磊发自凹非寺量子位|公众号

金磊发自凹非寺
量子位|公众号QbitAI
想给自己搞个数字人，还得是3A级的那种？
现在，这个可以有。
而且只要一部手机，几分钟就能搞定！

文章图片
瞧，只需要先在手机上挑选一个人物模型：

文章图片
然后对人物模型的细节做调整，例如眉毛的样式、鼻子的大小高度等等：

文章图片
就这样简单的点点、划划，一张数十万面建模的高精度虚拟形象就创建出来了！
当然，若是花上更多时间，从面部的其它细节，到身材的比例，再到发型着装等等，都可以一一调成你想要的样子。
但若是光创建出来却不能用，那这个数字分身也仅仅是个摆设罢了。
别急，那就打开手机的前置摄像头，把你的表情和动作show出来，分分钟就可以让这个3A级数字人跟着你同步动起来。

文章图片
（女装大佬的福音啊）
这便是来自中国团队的最新研发成果。
但有一说一，以前要是想搞个3A级数字人，那可真的是费时费力。
不仅打造的周期比较长，对设备的要求也是较为苛刻（主要价格还挺不菲）。
所以现在，打造3A级数字人，为什么会变得如此easy？
咋就变得人人都可用了？
一部手机就能搞的3A级数字人，怎么来的？我们先来浅聊一下这套人手3A级数字人的“表面功夫”——数字人形象。
在渲染和运行引擎方面，它主要基于的是EpicGames家的虚幻引擎（UnrealEngine ， UE）。

文章图片
目前许多做数字人的厂商，在底层引擎方面也都会选择UE 。
但这套3A级数字人的不同之处在于，它所运行的环境得是每个人都在用的手机。
因此，为了不仅要适配这种情况，还得达到3A级别的画质，团队在UE材质模块的基础上，自研了逼真的材质效果shader 。

文章图片
例如对毛发的各项异性、皮肤的3S（CG级别材质）表面散射、眼睛瞳孔的深度变化、毛孔细节的强弱变化等等，都做相应的深度优化。
而且为了让捏脸在手机上变得“且快且方便” ，团队还开发了特别灵活且高自由度的编辑工具。
就像我们刚才展示的那样， “傻瓜式”点点、划划，就能捏出来想要的效果了：

文章图片
这套3A级数字人好上手之处，还在于它支持消费级单目RGB摄像头的AI驱动。
简单来说，就是用你手机的前置摄像头便可以搞定数字人的表情和动作驱动，而且还是实时的那种。
例如在人脸表情驱动方面，团队便通过人脸检测、3D人脸重构、AI等技术，精准地反馈人脸形状、纹理、反射和表情权值等参数。
让数字人在面部表情的驱动能够达到实时且逼真。

文章图片
同样的，在动作驱动方面，也是可以对捕捉到的视频进行实时处理，并且得到连续稳定的骨骼参数。
哪怕是快速、复杂的动作，也是可以精准hold住。
……
但有一说一，若仅仅是这些形象上的“表面功夫” ，要想让3A级的数字人在手机上实时渲染和驱动起来，那可还真是有点天方夜谭了。