二次元|柳夜熙又更新了,虚拟人的底层技术是什么?( 二 )


柳夜熙是开创性的角色,她实现了仿真虚拟人在短视频上的首次尝试。按照主办方的说法,这是一个2.5次元的形象设计,处于二次元动漫形象和三次元的真实世界人物形象之间的位置。
这类“超仿真”形象的后期开发过程非常漫长——1.高精度原画设计;2.高写实3D建模;3.导入高水准的虚拟人引擎;4.高精度动捕;5.高精致的修帧渲染。每个步骤都耗时耗力,不懂行的人很难做好。
首先是3D建模,要做到高写实,除了皮肤,毛发的细节精细还原之外,难点在于如何做到表情自然,说话口型不失真。相较于原理相似的语音合成技术,将声音、口型、表情匹配适宜要难得多,很容易造成“僵硬木讷”的观感。
纯动画的特效设计成本高昂,所以,每个虚拟人的背后其实都有一个实时驱动的真人,这群动态捕捉演员和配音演员都称为“中之人” (驱动着虚拟形象的真人) ,将他们的言行嫁接到角色身上,是最常见的操作。
行动演员的动捕服里包含多个传感器节点,用于采集运动动作,手套里也会有十多个节点,用于采集手部关节动作。高精度的动态捕捉,一方面依靠背后中之人的表演技巧,另一方面要求技术能够将中之人的表演有效捕捉。柳夜熙的连贯动作也和背后演员分不开。
二次元|柳夜熙又更新了,虚拟人的底层技术是什么?
文章插图

比如,为《泰坦尼克号》《头号玩家》等提供过特效支持的公司--数字王国打造的教育路线的高仿真虚拟人“小艾”就是高精度动捕的作品。
“小艾”的制作以Momentum为核心技术,面部表情上运用了超高精度的眼球追踪,甚至可以捕捉到演员的眼球震颤;在头发处理上,能根据演员不同动作幅度,进行重力计算,同步摆动,逼近真实效果。
二次元|柳夜熙又更新了,虚拟人的底层技术是什么?
文章插图

最后的渲染是所有动画设计不能绕过的重要一环,最终成品到底几分逼真,都靠这个过程的修饰,也是众所周知的耗时。
2019的科幻冒险电影《阿丽塔:战斗天使》,由《阿凡达》《泰坦尼克号》的导演卡梅隆操刀,讲述26世纪一个拥有机械手臂少女的战斗故事。为了效果逼真,后期渲染4.32亿小时,一度成为当时的热点新闻。
三万台电脑,800名技术人员同时工作,因为电脑高负荷运转发烫,甚至低温时能看见工作室有热气往外冒。
越是要求逼真,渲染过程要求越高。
仅仅完成一个128秒柳夜熙就需要涉及到这些复杂的技术。从本质上讲,她是一个出色的后期特效作品,就像视频下有一个7.7万赞的热评“不买票就能看电影了”。
不可否认的是,柳夜熙暂时不能和观众互动,属于剧中角色,类似于游戏中的NPC。而另外一种能够和观众互动,能实时反馈的虚拟人也在研究之中。
能独立思考的“真人”
齐耳超短发,碎刘海,高鼻梁,若隐若现的几点雀斑,一张大气的“国际脸”加上177的身高,模特形象呼之欲出。
她就是博采传媒设计的超写实虚拟人--20岁的马当飒飒,英文名Madam-ZAZA。当你和她四目相对,你可能会觉得这位20岁的女孩就是真实的。
更惊喜的是,这是一个能够独立思考的虚拟人。比如可以和现场观众实时笔心,给受众带来全新的沉浸式互动体验。
二次元|柳夜熙又更新了,虚拟人的底层技术是什么?
文章插图

马当飒飒正如电影《Her》中的萨曼莎,都是带有自我意识的虚拟角色,能与人类产生情感交互。 飒飒背后由AI驱动,所以自带灵魂,而柳夜熙背后由“中之人”驱动,没有“中之人”的时候,只是一个静止的躯壳,这就是两者的区别。