科大讯飞苏研院推出古风高保真数字孪生虚拟人在《姑苏琐记》中首亮相 8月4日

8月4日，由讯飞输入法、科大讯飞苏州研究院（以下简称讯飞苏研院）携手蜃楼志STUDIO出品的方言保护计划公益短片《姑苏琐记·天仙子》正式上线。片中“天仙子——雨笙”一角的画外音皆由科大讯飞的AI苏州方言合成系统配音完成，婉转悠扬与真人言谈无异。除此之外，片中另一惊喜是讯飞苏研院首次推出的古风高保真数字孪生虚拟人，以巨果娱乐艺人张曦悦为建模原型，打造数字世界的第二分身。
【科大讯飞苏研院推出古风高保真数字孪生虚拟人在《姑苏琐记》中首亮相】此次虚拟人整体打造，也是讯飞苏研院首次将AI技术与影视技术打通，塑造出的高保真孪生形象，对比常见的虚拟人，团队的着眼点从“更美”转换到“更真” ，为未来元宇宙中人的形象，拓宽了想象空间。

文章图片
高保真数字孪生虚拟人——把住细节，力求真实
为真人打造其孪生形象，首先需要原型人物进入由百余台高清单反组成的相机阵列中，阵列系统在0.1秒内完成人体信息采集后，再通过AI算法进行自动化建模，根据不同的精度要求，建模时长可相应调整。初步生成白模后，确认人体的主要特征信息齐全，此时一个完整的3D人体模型便打造完成。
完成“骨骼”建立，就要进入“皮相”打造，材质和纹理如何栩栩如生，细节到绒毛、皱纹和眼袋等，就是虚拟人与真人无二致的关键所在。孪生数字人皮肤的制作是一项复杂的工程，模型师制作材质球，从固有色、粗糙度、次表面散射、高光、凹凸等维度为虚拟人制作材质，保证虚拟人精细到脸部的绒毛都能清晰可见。在完美复刻原型细节的同时，还需进一步上妆，完成她所承担的角色需求。这不仅需要考虑皮肤结构、光线影响、透视与反射等技术向问题，对讯飞模型师的“美妆”能力，也是极大的挑战。

文章图片
人体的大部分外在表征信息可由相机阵列瞬时采集并由算法构建完成，但是为了保证模型的完整性、真实度和便于后期驱动，模型师会为虚拟人单独制作眼球、牙齿、舌头和毛发，根据真人的模样制作后再和虚拟人身体相匹配。
此次，虚拟人“雨笙”的形象是身着宋制传统服饰的古装形象，相比于现代日常妆造，古装造型的结构和首饰会更加复杂，并且有严格的制式要求。给虚拟人做发型的过程宛如发型师给真人盘头，同样是将一头披散的长发盘成双鬟发髻，不同之处在于，讯飞苏研院虚拟人团队的模型师需要在软件里用一双虚拟的手——导线来实现，先用导线生成毛发，再通过改变其形状做成参照的发型，也为后续驱动做好了准备。

文章图片
细节是真与实的边界，把握不好细节还原的尺度可能会造成“恐怖谷效应” ，观看者也难以对虚拟人产生情感联结，时刻感知到“TA”是个假人。若想虚拟人更加真实，除了身体构造的还原，影响其合理性的诸如材质、光线等因素，也需要讯飞苏研院虚拟人团队的技术人员们对照现实条件去进行复原。而将一个虚拟空间的虚拟人放置进现实环境中，打破次元壁的方法之一便是参照真实环境来进行布光。首先模型师会分析环境的光源信息，分析出主光源和辅光源，再将调好的光线参数布置到虚拟人身上，由此来生成明暗对比、光影等，实现虚拟人与真实环境融为一体。而如拍摄时摄影师会通过打光来显瑜遮瑕一般，模型师也可通过特定的布光方式给虚拟人打光，人为干预光线条件而促使虚拟人在视觉上的美化。

科大讯飞苏研院推出古风高保真数字孪生虚拟人 在《姑苏琐记》中首亮相

科大讯飞苏研院推出古风高保真数字孪生虚拟人在《姑苏琐记》中首亮相