除了从照片中重建三维模型 , 这套参数化人脸还有一个更重要的应用 , 就是为游戏批量生成人头模型 。 如果游戏的人头资源标准跟我们库里的标准一致 , 就可以直接在参数化人脸模型的参数空间采样 , 把采样模型给到游戏项目使用 。
当然 , 这种情况一般不太多 。 因为每个游戏都会有自己特定的需求 , 有些游戏的角色甚至都不是传统意义上的人头 。 所以更常见的一种生成方式 , 是对项目组的模型进行自动批量变形 。 简单来说 , 就是把我们生成的模型相对于平均脸的变化 , 迁移到项目组的模型上面 。 这种迁移的变化可以是表情 , 可以是脸型 , 并且所有变形都可以用项目规定的骨骼蒙皮进行表达 。
这是一组我们生成的结果 , 最左边是项目组提供给我们的角色模型 。 我们可以根据这个模型自动批量生成一批风格相同 , 但脸型和五官有明显区别的模型 , 并且每个模型都可以生成一套表情 。 也就是说 , 项目组只需要做一个静态模型 , 我们就能自动批量生成很多绑定好的模型 。 这对追求千人千面的开放世界游戏非常有价值 , 可以以非常低的成本让游戏里的每个NPC看起来都不一样 。
这是我们对两个Metahuman模型变形后的效果 , 可以看到我们生成人头模型与原始的资源标准是完全兼容的 。 而且以这个变形质量生成的模型 , 作为实际游戏的头模也绰绰有余 , 大家要知道 , 像Metahuman这种级别的模型 , 一个头的成本 , 保守一点计算都要小几十万人民币 , 所以这个技术是非常有价值的 。
为了进一步丰富我们的三维人头数据 , 我们也在杭州园区设计和搭建了一套三维扫描实验室 。 左边是我们的设计图 , 右边是搭建完成后的实物 。 这是一个正20面体 , 一共包含53台单反和150组定制LED灯光 。 后续我们还会在网易的广州和上海园区 , 分别搭建一套更大的 , 可以扫描全身的设备 。
三维扫描的原理其实非常简单——利用摄影测量算法 , 从多视角照片中计算人头的三维点云 。 这是我们系统扫描的一组样例 , 这个精度可以对标国内外一线扫描服务供应商 。
这套设备150组定制的LED灯光 , 也是我们花很高成本定做的 。 每一盏灯的开关和亮度可以独立控制 , 每一组灯光包含三个灯头 , 分别安装了一个普通无偏振的UV镜和两个偏振镜 。 这两个偏振镜相对于相机上安装的偏振镜方向一个是平行的 , 一个是垂直的 。
了解摄影的同学应该很熟悉偏振镜的用法 , 这是一种很常用的UV镜 , 主要用于非金属物体表面一些不必要的反射光 , 可以还原物体本身的颜色 。
无偏振镜/有偏振镜
偏振镜的原理大家在中学物理就学过——光既是粒子、也是一种电磁波 , 它的振动方向与传播方向是垂直的 , 这种类型的波叫横波 , 所有的横波都具有偏振现象 。 简单来讲 , 光的偏振方向与偏振镜方向平行 , 那么所有能量都会通过;如果是垂直的 , 那么所有能量都会被过滤 。
基于这个原理 , 我们只要给扫描物体拍摄4组平行偏振光和4组交叉偏振光的灯光下照片 , 就可以算出物体表面的材质 , 也就是漫反射、高光和法线的信息 。 每组照片都要首先打开所有灯光 , 然后是按照灯光在三维空间的坐标值递减亮度 , XYZ三个方向分别可以产生一组灯光 。
目前这套设备我们刚刚搭建完成 , 在人脸材质扫描方面也是刚刚起步 , 后续我们会逐渐加大投入 。
- 12代酷睿+RTX3060 2022年最值得买的五款游戏本
- 研究成果|诱导心肌细胞“一分为二” 小分子组合或圆心脏再生梦
- 从五千到一万 玩游戏我只推荐这三款电视
- 小米科技|若想五年内不换手机,建议一步到位,目前只有这4款机型符合要求
- 华为荣耀|不如荣耀X30?6000mAh+LCD屏,华为智选新机五月发
- |RedmiNote11Pro使用五个月,本来想当备用机用,没想到成了主力机
- 锐龙|1500-2000价位值得捡漏的五款旗舰,公认极致性价比,还能用三年
- 电子产品|若想五年内不换手机,建议一步到位,目前只有这4款机型符合要求
- 小米、兰蔻、荣耀、雅诗兰黛、伊利五大品牌签约 京东“金魔方
- 交易额|物联网的五大核心技术,传感器技术压轴出场