人脸随意编辑！Adobe祭出新一代GAN神器：最多支持35人脸属性变化编辑：LRS【新智元导读】用G

编辑：LRS
【新智元导读】用GAN模型进行图像合成有一个显著缺点，就是生成的图像不可控制，经常是摘个眼睛把性别都变了。最近Adobe提出新一代GAN模型，能够自由控制35个人脸属性的变化，而不会互相干扰。
图像合成中的一个重要问题就是图像内的纠缠（entanglement）问题。
比如把一个人脸上的胡子全都自动去掉，或者完美地贴上胡子，最后生成的图片或多或少都有违和感，因为胡子和人脸存在某种纠缠的关系。

文章图片
并且不同物体间的合成、去除的难度也不尽相同。
举几个生活中的例子就很好理解了，从牛肉面里挑出来香菜，和挑牛肉出来的难度相差很大；想从咖啡里面把糖都挑出来，那就简直是不可能完成的任务了。

文章图片
有些东西天生就是捆绑在一起的，想要完美的新建、合成一张新图像，机器学习模型必须能够学会创建各种各样的物体，并且最好能够分离出不同的特征和概念。
如果模型能把年龄、性别、头发颜色、肤色、情绪等分出来，那你就可以在一个框架中随意修改这些组件，更加灵活地控制生成图像，在更加细化的水平上创建和编辑人脸等图像，能够完美避开图像的纠缠关系。

文章图片
在所有实体最大纠缠的情况下，图像实际上进行的就是分类任务，例如模型识别出是LadyGaga的一张照片。
中等纠缠情况下，模型可以进一步分解照片，发现她是金头发、微笑的表情等等， GAN模型就可以根据这些信息进行修改，并生成新图像。
完全解纠缠的状态下，模型能够进一步识别出特征，比如年龄，微笑程度等等。

文章图片
在过去的几年中，已经有很多人尝试创建交互式脸部编辑模型，用户可以通过滑块或者其他传统的用户界面交互来改变图片的脸部特征，并且在进行添加或改变面部特征时保持目标人脸的核心特征不变。
然而，由于GAN潜空间中的潜特征和风格纠缠现象，所以想要任意编辑人脸特征，技术还不成熟。
例如，眼镜特征经常与老年人的特征纠缠在一起，这意味着增加眼镜可能也会使脸部「老化」，而想要让脸部老化，可能也会为面部增加一个眼镜，具体取决于高层特征的应用分离程度。
最难的是改变头发的颜色和发型，几乎不可能在不重新计算发丝和面部布局的情况下给人物「理发」。

文章图片
一次训练，随意换脸
最近， Adobe在WACV2022会议上发表了一篇新论文，提供了一个解决这些基本问题的新方法。在StyleGAN生成的图像中，用于保护身份的多重面部属性编辑的学习映射器。

文章图片
论文地址：
https://openaccess.thecvf.com/content/WACV2022/papers/Khodadadeh_Latent_to_Latent_A_Learned_Mapper_for_Identity_Preserving_Editing_WACV_2022_paper.pdf
论文的主要作者是Adobe的应用科学家SiavashKhodadadeh ，同时还有其他四位Adobe研究人员，以及中佛罗里达大学计算机科学系的一位研究人员。

文章图片