杰克|像杰克一样，世优科技用实时虚拟技术复活近400个“阿凡达”

大河报·大河财立方采访人员裴熔熔
瓜子脸、大眼睛、高马尾??一个可爱活力的二次元美少女，在荧屏上唱歌跳舞，让人挪不开眼。可镜头一转，画风突变，这个二次元美少女的真身竟然是个五大三粗的大老爷们。
是不是一个令人惊诧的反转？
这，就是世优（北京）科技有限公司（以下简称世优科技）动作捕捉技术与实时数字人技术的直接体现。品牌虚拟吉祥物可以在节目、晚会中与人们互动；动漫角色可以跳出剧情，与粉丝亲切交谈。像杰克用意念控制阿凡达一样，不需后期制作，实时即可完成。
在世优科技的“虚拟工厂”里，已经有近400个虚拟人物被这样成功复活。
而这一切，都源于创始人纪智辉一个看似荒诞的想法。

文章插图

“我们不仅能够做到，还能做得更好”
2010年，好莱坞导演卡梅隆的3D巨作《阿凡达》在中国内地上映，炫酷的画面和技术让国内观众大受震撼。不少人熬夜排队买票，一票难求。
就像一颗种子，《阿凡达》拉开了3D版立体电影的序幕，也让创业多年的纪智辉，又一个梦想发芽：“里面的虚拟技术，我觉得我们不仅能够做到，还能做得更好。”
乍一听，纪智辉的想法是不是有些荒诞？
号称十年酝酿、四年打造、5亿美元成本制作的《阿凡达》，岂能说超就超？纪智辉这个预判，从何而来？
其实纪智辉早在2004年，就与合伙人组建了虚拟技术实验室，开始研究包括数据挖掘、图形图像算法、工作流引擎、实时动捕技术等前沿技术，成为国内比较早一批研发实时数字人技术的高顶尖团队，但是当时的市场一直没有成熟落地化的应用。
直到《阿凡达》的出现，让他嗅到了虚拟技术的潜在市场，积累多年的技术终于有了变现的风口。
“《阿凡达》采取的主要是动作捕捉技术。演员穿上一套特殊的服装，上面有很多感应球，用来记录捕捉到演员的表情动作数据，但并不是实时全身动捕。那时候的表情捕捉技术十分有限，很难实时追踪嘴唇运动踪迹。而是采用先记录下面部和身体数据表演捕捉数据，结束后再将捕捉的演员数据放到工作站上后期解算，然后经过人工精修，最后再离线渲染等多个工序才能输出最终画面。”纪智辉说。
长期在实验室从事动作捕捉技术研究，让他意识到，这项技术还可以再优化，实现“实时”复制，不再需要后期的渲染和加工。
于是在2011年，世优科技诞生了。
“像杰克一样，用意念操控阿凡达”
2020年底，一批国漫迷在追剧、催更《狐妖小红娘》时，惊喜地发现，自己的偶像涂山苏苏竟然从动漫中走出，开起了直播。
一头金黄的头发、两只粉色的狐狸耳朵、一袭粉白国风少女裙，“原装”的涂山苏苏，在直播间卖萌、跳舞、唱歌，还和粉丝进行实时互动。不少粉丝惊呼：有生之年看到了“活着”的女神。
其背后的支撑技术，就是纪智辉最初的设想——实时数字人技术。
就像一场双簧或者提线木偶表演，屏幕前的虚拟人物摆出各种姿势，跳跃、旋转、唱歌、做鬼脸；屏幕后则是一个真身演员，身穿动捕服、头戴面部设备、手戴数据手套，与任意虚拟形象进行点对点的绑定，进行实时消抖运算、动画修正、处理表情身体手指的同步，并把数据实时发给渲染引擎，进行即时渲染与环境模拟，轻松地对屏幕前的虚拟人物进行操纵。

文章插图

“就像杰克躺在舱里，用意念控制了一个阿凡达，让阿凡达按照他的意愿活动说话，就是这样一个概念。”纪智辉说。