模型|MDFR ：基于人脸图像复原和人脸转正联合模型的人脸识别方法 b站日|用户

文章插图

AI 科技评论报道

编辑 | 陈大鑫

在现实生活中，许多因素可能会影响人脸识别系统的识别性能，例如大姿势，不良光照，低分辨率，模糊和噪声等。为了应对这些挑战，之前的人脸识别方法通常先把低质量的人脸图像恢复成高质量人脸图像，然后进行人脸识别。然而，这些方法大多是阶段性的，并不是解决人脸识别的最优方案。

AI 科技评论今天介绍一篇能够对此有着很好的解决方案的论文，在本文中，作者提出一种多退化因子的人脸复原模型(Multi-Degradation Face Restoration，MDFR)，来一次性解决所有的这些影响因素。

文章插图

原文标题：《Joint Face Image Restoration and Frontalization For Recognition》
论文地址：https://ieeexplore.ieee.org/document/9427073/
MDFR 可以从给定的多姿态、多重低质量因素影响的人脸图像中复原其高质量的正面人脸图像。MDFR是一个设计良好的编码器-解码器网络结构。
在模型的构建中，作者引入了姿态残差学习策略，以及一个基于3D的姿势归一化模块(3D-based Pose Normalization Module，PNM)，该模块可以感知输入人脸姿态和正面人脸姿态之间的差异，以此差异来指导人脸的转正学习。
实验表示，训练完成之后的MDFR可以通过一个单一化的网络，一次性地从多重低质量因素影响的侧面人脸图像中恢复其高清的正面人脸图像，并有效的提高人脸算法的识别率。

背景及简介
非限制条件下的人脸识别方法是计算机视觉任务中一项重要的工作。在实际应用中，采集到的人脸图像可能包含大姿态，不良光照，低分辨率以及模糊和噪声等，这些影响人脸成像质量的因素可能导致人脸识别应用的失败。为了解决这些问题，已经有很多方法使用分阶段模型来分别处理相应的低质量因子影响的人脸图像，即首先将低质量人脸恢复成高质量的人脸图像，随后进行人脸转正并用于人脸识别。
然而这些方法都只考虑了人脸识别的单一因素，很少有方法能够同时解决影响人脸识别的多重因素。因此，这类基于单一因素的人脸处理方法并不能很好的适用于非限制条件下的人脸识别。在本文中，作者提出了一种解决多退化因子的人脸复原模型（MDFR），从给定任意姿态的低质量人脸图像中恢复出高质量正面人脸。
文章的贡献如下：

提出了一种多退化因子人脸复原模型（Multi-Degradation Face Restoration, MDFR），将给定的任意姿态和受多重低质量因子影响的人脸图像恢复为正面且高质量的图像；
在人脸转正过程中，使用了姿态残差学习策略，并且提出了一种基于3D的姿态归一化模块；
提出了一种有效的整合训练策略将人脸重建和转正任务融合到一个统一的网络中，该方法能够进一步提升输出的人脸质量和后续的人脸识别效果；

方法描述
MDFR结构如图1所示。在训练过程中，MDFR主要包含两个模块，即双代理生成器(Dual-Agent Generator)和双代理判别器(Dual-Agent Discriminator)。姿态归一化模型模块(Pose Normalization Module, PNM)被嵌入到网络中对人脸的姿态进行归一化。

文章插图

图1. MDFR模型的结构，包括双代理生成器，姿态归一化模型，以及双代理判别器。