人脸随意编辑！Adobe祭出新一代GAN神器：最多支持35人脸属性变化( 二 ) 编辑：LRS【新智元导读】用G

这篇论文很有意思，部分原因是Adobe已经在图像合成领域研发了一段时间，而且和Adobe公司的产品很契合，这种功能在未来几年内很有可能包装进AdobeCreativeSuite项目；但主要还是因为为这个项目提出的架构采取了不同的方法，在应用变化的同时保持GAN面部编辑器的视觉完整性。
作者宣称他们训练一个神经网络来执行潜意识到潜意识的转换，找到与属性改变的图像相对应的潜编码。由于该技术是one-shot的，它不依赖于属性逐渐变化的线性或非线性轨迹。
通过在整个生成pipeline上端对端训练网络，该系统可以适应现有的生成器架构的潜空间，并能够保护属性（Conservationproperties），如人的身份特征可以在训练损失中进行编码。
一旦latent-to-latent网络训练完，就可以用于任意的图像输入，而不需要微调。

文章图片
这个特性也意味着文中提出的架构可以把模型一次性部署到用户终端，但它仍然需要本地资源运行一个神经网络，但新的图像可以直接丢到模型里去，并可以随意变化。因为框架是解耦的，也不需要进一步的特定图像训练。
这项工作的主要成果之一就是网络可以通过只改变目标向量中的属性来「冻结」潜空间中的身份特征。
从本质上讲，网络被嵌入到一个更通用的架构中，可以协调所有的处理元素，这些元素通过预先训练好的具有冻结权重的组件，不会对转换产生不必要的横向影响。
由于训练过程依赖于可以由种子图像（GANinversion）或现有的初始潜编码产生的triplets ，所以整个训练过程是无监督的，这类系统中习惯性的一系列标签和curation系统的能够得到有效处理。系统中使用的是现成的属性回归器（attributeregressors）。

文章图片
作者在文中表示，该网络能够独立控制的属性数量只受到识别器能力的限制，如果你有一个属性的识别器，就可以把它添加到任意的面孔上。在文中实验，研究人员直接训练了一个能调整35个不同的面部属性的latent-to-latent网络，比以前的任何方法都要多。
该系统还纳入了一个额外的保障措施，以防止不想要的「副作用」转换：在没有要求改变属性的情况下， latent-to-latent网络会将一个latent向量映射到自己身上，进一步增加目标身份的稳定持久性。
在过去几年里，基于GAN和编码器/解码器的人脸编辑器的l另一个反复出现的问题是，使用的变换方法往往会降低脸部相似度。
为了解决这个问题， Adobe项目使用了一个名为FaceNet的嵌入式面部识别网络作为判别器，可以将标准的面部识别甚至表情识别系统整合到生成网络中。

文章图片
该框架的另一个主要特点是能够在潜空间任意转换。通过提高GAN的空间意识，可以在潜过渡点范围内（rangeofpotentialtransitionpoints）进行图像修改，但如EQGAN等模型在面对不同材质、纹理的修改时，都需要重新训练模型。

文章图片
除了可以接受全新的用户图像外，用户还可以手动「冻结」他们希望在转换过程中保留的元素。通过这种方式，用户可以确保背景等无关因素不发生变化、
属性回归网络由三个网络组成：FFHQ、CelebAMask-HQ和一个由StyleGAN-V2的Z空间采样40万个向量而产生的局部GAN网络。