ai|网易研究五年的AI技术,应用一次最多能省几十万?( 三 )





除了从照片中重建三维模型 , 这套参数化人脸还有一个更重要的应用 , 就是为游戏批量生成人头模型 。 如果游戏的人头资源标准跟我们库里的标准一致 , 就可以直接在参数化人脸模型的参数空间采样 , 把采样模型给到游戏项目使用 。

当然 , 这种情况一般不太多 。 因为每个游戏都会有自己特定的需求 , 有些游戏的角色甚至都不是传统意义上的人头 。 所以更常见的一种生成方式 , 是对项目组的模型进行自动批量变形 。 简单来说 , 就是把我们生成的模型相对于平均脸的变化 , 迁移到项目组的模型上面 。 这种迁移的变化可以是表情 , 可以是脸型 , 并且所有变形都可以用项目规定的骨骼蒙皮进行表达 。



这是一组我们生成的结果 , 最左边是项目组提供给我们的角色模型 。 我们可以根据这个模型自动批量生成一批风格相同 , 但脸型和五官有明显区别的模型 , 并且每个模型都可以生成一套表情 。 也就是说 , 项目组只需要做一个静态模型 , 我们就能自动批量生成很多绑定好的模型 。 这对追求千人千面的开放世界游戏非常有价值 , 可以以非常低的成本让游戏里的每个NPC看起来都不一样 。



这是我们对两个Metahuman模型变形后的效果 , 可以看到我们生成人头模型与原始的资源标准是完全兼容的 。 而且以这个变形质量生成的模型 , 作为实际游戏的头模也绰绰有余 , 大家要知道 , 像Metahuman这种级别的模型 , 一个头的成本 , 保守一点计算都要小几十万人民币 , 所以这个技术是非常有价值的 。

为了进一步丰富我们的三维人头数据 , 我们也在杭州园区设计和搭建了一套三维扫描实验室 。 左边是我们的设计图 , 右边是搭建完成后的实物 。 这是一个正20面体 , 一共包含53台单反和150组定制LED灯光 。 后续我们还会在网易的广州和上海园区 , 分别搭建一套更大的 , 可以扫描全身的设备 。



三维扫描的原理其实非常简单——利用摄影测量算法 , 从多视角照片中计算人头的三维点云 。 这是我们系统扫描的一组样例 , 这个精度可以对标国内外一线扫描服务供应商 。



这套设备150组定制的LED灯光 , 也是我们花很高成本定做的 。 每一盏灯的开关和亮度可以独立控制 , 每一组灯光包含三个灯头 , 分别安装了一个普通无偏振的UV镜和两个偏振镜 。 这两个偏振镜相对于相机上安装的偏振镜方向一个是平行的 , 一个是垂直的 。



了解摄影的同学应该很熟悉偏振镜的用法 , 这是一种很常用的UV镜 , 主要用于非金属物体表面一些不必要的反射光 , 可以还原物体本身的颜色 。


无偏振镜/有偏振镜

偏振镜的原理大家在中学物理就学过——光既是粒子、也是一种电磁波 , 它的振动方向与传播方向是垂直的 , 这种类型的波叫横波 , 所有的横波都具有偏振现象 。 简单来讲 , 光的偏振方向与偏振镜方向平行 , 那么所有能量都会通过;如果是垂直的 , 那么所有能量都会被过滤 。

基于这个原理 , 我们只要给扫描物体拍摄4组平行偏振光和4组交叉偏振光的灯光下照片 , 就可以算出物体表面的材质 , 也就是漫反射、高光和法线的信息 。 每组照片都要首先打开所有灯光 , 然后是按照灯光在三维空间的坐标值递减亮度 , XYZ三个方向分别可以产生一组灯光 。



目前这套设备我们刚刚搭建完成 , 在人脸材质扫描方面也是刚刚起步 , 后续我们会逐渐加大投入 。