学习方法|深度半监督学习方法总结( 三 ) vae

混合方法混合方法结合了上述方法的思想，如伪标签、熵最小化等等以提高性能。

MixMatch：该方法将一致性正则化和熵最小化结合在一个统一的损失函数中。首先介绍了有标签数据和无标签数据的数据增强。每个未标记样本增强K次，然后平均不同增强的预测。为了减少熵，在提供最终标签之前，猜测的标签被锐化，然后将Mixup正则化应用于标记和未标记数据。
FixMatch：该方法将一致性正则化和伪标记进行了简化。对于每一幅未标记图像，采用弱增强和强增强两种方法得到两幅图像。这两个增强都通过模型得到预测。然后将一致性正则化作为弱增强图像的一个one-hot伪标签与强增强图像的预测之间的交叉熵作为损失进行训练。

总结SSL 方法与任何其他机器学习方法一样，也有其自身的一系列挑战：

SSL 在内部如何工作目前还是黑盒，各种技术（如数据增强、训练方法和损失函数）究竟扮演什么角色也没有具体的确定。
上述 SSL 方法通常只有在训练数据集满足设计假设的理想环境中才能发挥最佳效果，但实际上，数据集的分布是未知的，不一定满足这些理想条件，可能会产生意想不到的结果。
如果训练数据高度不平衡，则模型倾向于偏爱多数类，并且在某些情况下完全忽略少数类。
与仅使用标记数据学习的模型相比，使用未标记数据可能会导致更差的泛化性能。

深度半监督学习已经在各种任务中取得了显著成果，并因其重要的实际应用而引起了研究界的广泛关注。我们将拭目以待，看看未来为我们准备了什么！
Based on： arxiv 2103.00550
论文作者：： Xiangli Yang Zixing Song Irwin King Fellow IEEE Zenglin Xu Senior Member IEEE*