图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节( 三 )


图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节
文章图片
如下表3所示 , 在有无微调的情况下 , CM-GAN在LaMa和CoModGAN掩码上都取得了明显优于LaMa和CoModGAN的性能增益 , 表明该模型具有泛化能力 。 值得注意的是 , 在CoModGAN掩码 , 物体感知掩码上训练的CM-GAN性能依然优于CoModGAN掩码 , 证实了CM-GAN具有更好的生成能力 。
图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节
文章图片
定性评估:图5、图6、图8展示了CM-GAN与SOTA方法在合成掩码方面的可视化比较结果 。 ProFill能够生成不连贯的全局结构 , CoModGAN产生结构伪影和颜色斑点 , LaMa在自然场景上容易产生较大的图像模糊 。 相比之下 , CM-GAN方法产生了更连贯的语义结构、纹理更清晰 , 可适用于不同场景 。
图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节
文章图片
图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节
文章图片
图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节
文章图片
为了验证模型中每个组件的重要性 , 该研究进行了一组消融实验 , 所有模型都在Places2数据集上进行训练和评估 。 消融实验结果如下表2和图7所示 。
图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节
文章图片
图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节
文章图片
该研究还进行了用户研究 , 以更好地评估CM-GAN方法的视觉生成质量 , 结果如下表5所示 。 此外 , 附录提供了更多的视觉比较和实验分析以供读者参阅 。
图像大面积缺失,也能逼真修复,新模型CM-GAN兼顾全局结构和纹理细节
文章图片
THEEND
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com