腾讯|女神青涩时纤毫毕现！腾讯AI修复照片火上GitHub热榜第一( 二 ) 女神青涩时纤毫毕现！腾讯A

文章图片

用GAN修复人像
那么GFP-GAN如此强大的效果是怎么实现的呢？
研究人员受到StyleGAN2的启发：
既然GAN已经能生成如假乱真的图片，那么它所包含的面部信息，是不是也能帮助人脸修复呢？
由此，在GFP-GAN的模型框架中，主要用到了一个退化清除模块和一个预训练的GAN作为先验。
两个模块通过隐编码映射和多个信道分割空间特征变化层（CS-SFT）连接。

文章图片

训练过程中，首先要对低质量人脸进行降噪等粗处理，然后保留面部信息。
在保真度方面，研究人员引入了一个面部损失（ Facial Component Loss），判断哪些细节需要提升保留，然后再用识别保留损失（Identity Preserving Loss）进行修复。
一作师从汤晓鸥教授
本文论文一作是Xintao Wang，他是腾讯 ARC 实验室(深圳应用研究中心)的研究员。
本科毕业于浙江大学，博士毕业于香港中文大学。
其博士期间师从汤晓鸥教授和Chen Change Loy教授。
研究方向为计算机视觉和深度学习，尤其关注图像、视频修复方面。

文章图片

论文地址：https://arxiv.org/abs/2101.04061
GitHub项目页：https://github.com/TencentARC/GFPGAN
Hugging Face试玩传送门：https://huggingface.co/spaces/akhaliq/GFPGAN