人人皆可变身黄金圣斗士：微视用AI燃烧小宇宙，还有不同星座可选机器之心原创作者：蛋酱那些

机器之心原创
作者：蛋酱
那些年关于变身圣斗士的梦想，如今能在腾讯微视App就能实现。
「年轻的青铜圣斗士少年们啊，为了大地上的爱与和平，我们将逝去，献上全部的生命和灵魂，融为一体。就在此刻，燃烧吧，黄金的小宇宙！雅典娜啊，请赐予这黑暗的世界一线光明！」

文章图片
【人人皆可变身黄金圣斗士：微视用AI燃烧小宇宙，还有不同星座可选】就是这段话，没错，是我们小时候倒背如流的十二黄金圣斗士语录了。很多人也曾暗中想象，自己能成为这群黄金圣斗士的成员之一。现在，「变身」的机会来了！
在腾讯微视App ，黄金圣斗士铠甲的特效挂件已经正式上线。这是静态照片变身后的样子：

文章图片
变身的操作方法也非常简单：用户只需要在腾讯微视App的拍摄页面选择「全身换装圣斗士」特效，再提供一张无遮挡正面照，即可进行黄金圣斗士铠甲换装。也可以点击本文末的「链接」，一键体验黄金圣斗士变身！

文章图片
或者在拍摄页面选择圣斗士相关特效，按照指示做出相应动作，也能召唤出多个星座的圣斗士：

文章图片
除了黄金射手座，还有双子座撒加、处女座沙加、白羊座穆、天秤座童虎……哪个是你心目中最厉害的圣斗士？

文章图片
双子座圣斗士。

文章图片
处女座圣斗士。
也许会有人思考：「在动态视频背景下，如何给画面主体披上全身的黄金铠甲呢？」其实，在这一酷炫特效的背后，隐藏着一套复杂的技术方案。微视团队又是如何解决种种挑战并将这一技术落地的呢？
第一步：运动捕捉
听到「运动捕捉」这四个字，很多人也许不太熟悉，但这项技术已经广泛应用于人们熟悉的领域，比如好莱坞大片制作中的那些惊艳特效，比如体育赛事中的运动员动作分析，再比如身体损伤患者的康复评估等，都有这项技术的帮助。
目前，依赖于惯性、光学传感器的动作捕捉技术已经比较成熟，可以重建出非常精确的人体三维模型信息。但这种动作捕捉解决方案的成本较高，除了需要在捕捉对象的身体上安装造价不菲的传感器，还需要高性能的计算设备对采集到的数据在定制的软件中进行处理，才能得到最终的结果。
在智能手机早已普及的今天，使用手机端特效增强拍摄效果是短视频应用中的常见玩法。按照应用类型划分，这些靠手机RGB单目摄像头进行动作捕捉相关技术可分为：人脸2D关键点检测（人脸美颜/平面贴纸）、人体2D关键点检测（大长腿/瘦腰）、人脸/头3DMesh重建（人脸立体贴纸/头套）、人体3D关键点检测等。但在「人体3DMesh重建」这方面，业界此前少有成熟的手机端应用，原因主要归于几个难点：
缺少大规模高质量的3D数据。人体3DMesh数据的采集成本非常高，同时由于设备的限制，很难采集到大规模贴合用户手机拍摄场景的数据。人脸近似于「刚体」，有固定的尺寸，不需要考虑形变等因素。而人体属于「非刚体」，不同的姿态会引起很大的形变，这对视觉技术来说是很大的挑战。人脸有相对固定的「特征点」，如眉梢、嘴角等部位，但人体缺乏这样稳定的特征点，并且拍摄时衣着的变化很大。人体的深度信息会因为姿态不同发生很大的变化，从二维图像恢复出三维空间信息本身有很多组解，很大程度上依赖于「先验信息」才能推测出合理的解，而更多的变化就意味着更难去得到有效的「先验信息」。不同人的体型变化很大，加上穿着不同厚度和材质的衣服，又让体型估计增加了难度。重建出人体Mesh需要同时实现人体检测、人体2D/3D关节点检测、人体体型检测、人体姿态和关节旋转检测以及相机投影矩阵回归等多个任务。在手机端计算资源极其有限的情况下，同时完成上述多个任务比较困难。但得益于近年来手机处理能力的提升，再加上短视频领域的火爆，这些都大大推动了相关技术的进步，特别是手机端的特效推理引擎技术，轻量化模型技术、移动端的渲染技术等。作为国内顶尖的短视频平台，人体检测技术也是微视团队一直以来深耕的方向。