去除双下巴有奇招，浙大00后本科生全新美颜算法登上ACM SIGGRAPH( 二 ) 机器之心专栏机器之心编辑部

为了解决这一问题，该研究引入了一种语义扩散方法，利用能将双下巴特征从其它特征中分离出来的颈部掩膜，将中间人像的新下巴的语义扩散到原始图像中，从而得到没有双下巴且保持了面部特征的肖像图像及其对应的隐码。最后，该研究利用成对的有双下巴和没有双下巴的隐码训练出一个精细的双下巴分离边界。
在测试阶段，利用精细的双下巴分离边界编辑输入的隐码，并且用图像形变算法优化输入和输出的图像在人脸边缘处细微的错位（misalignment），得到最终结果。

文章图片
图2：该研究的流程图，详情请参见论文原文。
结果展示
该研究在大量的肖像图像上测试了方法的性能，这些肖像图像有不同的性别、姿势、脸部形状、肤色。图3展示了由该研究提出的方法自动生成的结果。
以去除双下巴为例，该方法可成功地去除输入肖像图像的双下巴，同时很好地保持其它特征不变。

文章图片
图3：该研究的结果。前四行为参数连续调整的结果，后四行的每对图像中，左图为原图，右图为得到的结果。
与当前最优的面部编辑方法（SOTA）相比，该研究产生了更稳定和合理的结果，保持了面部特征的不变性，并且符合人脸结构。

文章图片
图4：方法对比。第一行为输入肖像图像，第二行为MaskGAN的结果，第三行为SC-FEGAN的结果，第四行为GenerativeInpainting方法的结果，最后一行为我们方法的结果。
研究人员希望该研究能够为人脸编辑带来新的思路，同时希望给StyleGAN的隐空间研究带来启发。
作者简介
论文第一作者吴奕谦，女， 21岁，浙江大学大四本科生，将在今年9月于浙江大学CAD&CG国家重点实验室直接攻读博士。研究方向是计算机视觉、人脸编辑。
个人主页：https://onethousandwu.com/
论文作者杨永亮，英国巴斯大学副教授。 2009年于清华大学计算机科学与技术系获得博士学位， 2009-2011年为阿卜杜拉国王科技大学(KAUST)博士后研究员， 2011年9月至2014年8月在KAUST视觉计算中心担任助理研究员。发表Siggraph、SiggraphAsia论文9篇。主要研究方向为数字几何处理、虚拟现实和人工智能。
个人主页：http://www.yongliangyang.net/
论文作者肖钦杰，浙江大学CAD&CG国家重点实验室博士研究生，本科毕业于浙江大学数学系，研究方向是三维人脸重建、评估与编辑。
【去除双下巴有奇招，浙大00后本科生全新美颜算法登上ACM SIGGRAPH】论文通讯作者金小刚，浙江大学计算机科学与技术学院教授，博士生导师。 “十三五”国家重点研发计划首席科学家，浙江大学-腾讯游戏智能图形创新技术联合实验室主任，浙江省虚拟现实产业联盟理事长，中国计算机学会虚拟现实与可视化专委会副主任委员，杭州钱江特聘专家。第九届霍英东青年教师基金、浙江省杰出青年基金获得者，入选教育部新世纪优秀人才支持计划。在ACMTOG(Proc.ofSiggraph)、IEEETVCG等国际重要学术刊物上发表论文140多篇。 2008年获教育部高等学校科学研究优秀成果奖自然科学奖一等奖， 2017年获浙江省科技进步二等奖， 2015年获美国ACMRecognitionofServiceAward奖。获国际计算机动画学术会议CASA'2017、CASA'2018最佳论文奖，《计算机真实感图形的算法基础》获2001年国家科技图书二等奖。