人人皆可变身黄金圣斗士：微视用AI燃烧小宇宙，还有不同星座可选( 二 ) 机器之心原创作者：蛋酱那些

相比于其他更简单玩法的挂件，黄金圣斗士在特效复杂程度、效果质量方面都有着更高的要求，微视团队所投入的研发精力也更多。尽管短视频应用中也出现过全身特效的挂件，但一般是贴合度要求较低的蓬松服装或盔甲，而黄金圣斗士铠甲需要更修身、更贴合。
为了打造黄金圣斗士铠甲特效，腾讯微视发布器技术团队探索出了一套成熟的解决方案。不仅可以打造完美贴合人体的「换装」，还能在手机上实时运行。在中高端手机上，人体3D重建部分可以达到～90FPS的处理速度。
制作高质量的3D人体Mesh数据集
变身黄金圣斗士，首先需要获取到高质量的3D人体Mesh重建数据，微视团队搭建了一套动作捕捉系统，并基于这套系统开发了相应的Mesh重建算法。
在硬件层面，微视团队采用了一种相对较低成本的搭建方案：3台AzureKinect传感器， 3个三脚架，再加上数据同步线、USB延长线和一台Windows电脑即可。

文章图片
随后进行简单的标定，只需要抱着一个棋盘格箱子，在场景中转一圈，就可以计算出3台相机之间的相对位置和姿态，仅耗时1分钟。这一步的目的是便于后续的数据融合。
接下来开始原始数据的采集与处理。首先借助AzureKinect提供的协同（Collaboration）功能将三台相机的视频流做同步处理，然后采集RGBD、深度人体Mask、人体3D关键点信息并保存下来。

文章图片
第三步是对每一台深度摄像机生成对应的点云数据，根据相机标定的结果，将三台相机的点云数据进行合成，最终得到统一坐标系下的3D点云数据。
最后，将获取到的原始数据合成为训练模型所需要的Mesh参数。这一步主要基于Fitting优化的方法，通过对人体的Pose、Shape等参数进行调整迭代，尽量降低重建后人体与3D点云数据之间的误差。微视团队采用3D点位之间的欧式距离（MPJPE）衡量重建效果，整体控制在20mm内。

文章图片
最后，微视团队共采集了上万个贴近手机端用户拍摄内容的视频数据，从中抽取了几十万张视频帧图片。其中既有生活中的常见姿态，也包括高抬腿、弯腰、快速蹦跳等高难度动作，以保证数据的丰富性。
3D人体Mesh如何重建？
数据准备阶段结束后，微视团队着手重建人体3DMesh 。在将视频拆分成一帧帧的图片之后，从每张图片中找到人体所在的区域，然后计算出人体的2D关键点信息，接着结合前后帧的时序信息估计出关键点的深度，即得到人体的3D关键点坐标，然后结合2D/3D以及图像信息估计出人的体型和3D姿态，从而获得人体在模型坐标系下的3DMesh和相机的投影矩阵。
如下图所示是2D/3D姿态检测部分的效果：

文章图片
获得了2D/3D关键点信息后，如果要恢复出人体的Mesh ，还要估计两个重要的信息：人的体型以及关节的3D旋转。人的体型可以理解为人的高矮胖瘦，虽然关键点能提供一部分的身材信息，但仅依靠关键点很难准确恢复出身材，特别是胖瘦；3D关键点虽然包含了部分的关节夹角信息，但关节还需要包含更多的自由度，特别是旋转。
当前，人体3DMesh重建的方案主要分成Fitting和DeepLearning两种。
基于Fitting的方法一般基于已有的人体模型，如SMPL/MANO等，通过最小化人体模型投影到图像上的点与已知人体关键点的误差，得到每张图片的最优模型参数。这种方法的优势在于能够得到高精度的人体Mesh ，一些公开数据集（比如3DPW）都采用这种方法构建数据。