人人皆可变身黄金圣斗士：微视用AI燃烧小宇宙，还有不同星座可选( 三 ) 机器之心原创作者：蛋酱那些

但这种方法的弱点也很明显：首先是速度太慢，每张图片都需要迭代至少几十到上百次，一张图片的处理往往需要一分钟到几分钟的时间。此外，考虑到体型问题，一些方案直接采用3D扫描仪事先扫描出人体，大大提升了数据采集的成本。
基于DeepLearning的多数方法同样需要依赖于人体模型，通过神经网络估计出人体模型的参数，代表性工作是VIBE ，这类算法通常称为model-based的方法。
这类方法有两方面的问题，首先可获取到的数据很少而且拍摄环境局现于实验室中，虽然一些工作如Surreal ， Human3.6使用CG制作虚拟的inwild场景，但这样的数据跟真实的数据仍然有比较大的差距。第二，前面提到关节的3D旋转很难通过图像去估计。
相比于model-based方案， model-free方案提供了另外一种思路，这种方法是直接回归人体mesh上的密集3D点坐标，并通过在loss中增加人体shape、pose等先验信息进行约束。相关的工作主要依赖于图神经网络来建模人体不同关节点之间的拓扑结构，这方面的代表工作包括「Pose2Mesh」（https://arxiv.org/abs/2008.09047）。
最终，微视团队使用7000多个顶点和1.5万的面片重建出图像坐标系下的人体3DMesh ，从图像中重建出的Mesh需要经过滤波处理去掉抖动，这样就得到了视频中的人体Mesh 。效果展示如下图所示：

文章图片
后续，渲染引擎将在此人体Mesh信息的基础上给视频中的人物「穿上」盔甲。
让黄金铠甲成为手机端特效
接下来，微视团队在移动端运行了人体检测/跟踪、2D关键点检测、3D姿态估计、相机投影矩阵估计、3DMesh重建整套技术的流程，但他们发现，实现单帧图像15ms以内的处理速度非常困难。这意味着，在移动端的实现和优化上，还需要思考更好的解决方案。
微视团队从三个方面进行了改进：
1.网络Backbone结构的设计与优化。结合HRNet、MobileNet系列网络等不同结构的优势，在大规模的数据上进行了不同结构设计的探索和调参，针对不同计算能力的手机做针对性的设计，保证对不同的机型在速度和效果上达到最佳的平衡。
2.算法流程改进。对整个的算法串行的流程进行优化，整个人体检测、2D关键点、3D关键点、人体Mesh、相机姿态估计全部调整为并行实现，极大提升了算法整体的效率。
3.移动端工程优化。基于腾讯优图团队提供的TNN移动端深度推理框架，实现了移动端模型的高效推理。对于特定的算子和矩阵运算，微视团队与优图TNN团队合作进行了针对性的底层优化，保证算法的高效运行。同时，对于模型的后处理也进行了算法层面的优化，在保证不使用影响体验的精度损失上获得了更极致的运行效率。
针对不同的拍摄光照、人体的姿态、不同的体型、衣着、拍摄距离、拍摄角度以及不同拍摄背景中发现的BadCase ，微视团队从训练方式、参数调整、Loss函数设计、数据更新与优化等方面进行了更多深度的研究，解决了贴合度、检测稳定性等多方面拍摄中的常见问题。同时，进一步压缩了模型计算开销，将单帧的总体处理时长从15ms优化到了当前的11ms 。
经过上述一系列的优化工作后，微视团队基于重建的人体3DMesh ，为其量身定制了一套AttachToBody的渲染方案，目标有两个：
能够保证服装模型在三维世界和二维图像上位置和旋转正确，贴合人体表面；能够提供PBR(基于物理的渲染)每个环节需要的正确信息，确保高质量的渲染效果。同时为了项目需要，技术团队在原有引擎基础上开发了自定义材质系统，为玩法提供了更自由灵活的材质与光照解决方案。借助于强大的流程控制和脚本系统，技术团队很好地将人体重建、服饰真实感渲染、骨骼动画、转场特效等要素串联在一起，提供了完整流畅的视效表达。