学习方法|深度半监督学习方法总结( 二 ) vae

半监督 VAE
变分自动编码器 (VAE) 结合了深度自动编码器和生成潜在变量模型。VAE 是一个两阶段网络，一个编码器用于构建后验 P(z|x) 的变分逼近 Q(z|x) ，以及一个解码器来参数化似然。VAE 训练有两个目标——输入和重建版本之间的重建目标，以及遵循高斯分布的潜在空间的变分目标学习。
VAE 可以通过两个步骤用作半监督学习模型。首先使用未标记和标记数据训练 VAE 以提取潜在表示。第二步将标签向量补充到VAE的潜在表示中。标签向量包含标记数据点的真实标签，用于为未标记数据构建额外的潜在变量。
例如：

SSVAE：Semi-supervised Sequential Variational Autoencoder由一个Seq2Seq结构和一个序列分类器组成。在Seq2Seq结构中，输入序列首先由一个递归神经网络进行编码，然后由另一个递归神经网络在潜变量和分类标签条件下进行解码。
Infinite VAE：Mixture of an infinite number of autoencoders能够根据数据复杂性进行缩放，以更好地捕获其内在结构。使用无标记数据对无监督生成模型进行训练，然后将该模型与现有的有标记数据结合训练出判别模型。

基于图的方法基于图的半监督学习(graph-based semi-supervised learning GSSL)的主要思想是从原始数据中提取一个图，其中每个节点代表一个训练样本，边缘代表样本对的相似性度量。这个图包含了有标记的和未标记的样本，目标是将标记的数据从已标记的节点传播到未标记的节点。 GSSL方法主要分为基于autocoder的方法和基于gnn的方法。

Structural deep network embedding(SDNE)：这是一种基于自动编码器的方法，由非监督部分和监督部分组成。第一个是自动编码器，设计用于生成每个节点的嵌入结果来重建邻域。第二部分利用拉普拉斯特征映射，在相关顶点相距较远时惩罚模型。
基本GNN：图神经网络 (GNN) 是一种分类器，它首先经过训练以预测标记节点的类标签。然后基于 GNN 模型的最终隐藏状态应用于未标记的节点。它利用了神经消息传递的优势，其中通过使用神经网络在每对节点之间交换和更新消息。

伪标签方法伪标签方法分两步工作。第一步，在有限的标记数据集上训练模型。第二步利用相同的模型在未标记的数据上创建伪标签，并将高置信度的伪标签作为目标添加到现有的标记数据集中，从而创建额外的训练数据。
主要有两种模式，一种是集成多个不同网络来提高整个框架的性能，另一种是自训练。基于集成的方法训练多个学习者，并专注于利用训练过程中的不同结果。自训练算法利用模型自己的置信度预测为未标记数据生成伪标签。

Pseudo-label（伪标签）：这是一种简单有效的 SSL 方法，它允许网络同时使用标记和未标记的数据进行训练。模型使用交叉熵损失用标记数据进行训练并使用训练后的模型预测未标记的样本。将预测的最大置信度做伪标签。
Noisy Student：这是一种半监督方法，用于使用相等或更大的学生模型进行知识蒸馏。教师模型首先在标记图像上进行训练用来生成未标记示例的伪标签。然后，对标记和伪标记样本的组合训练得到更大的学生模型。这些组合实例使用数据增强技术和模型噪声进行增强。通过该算法的多次迭代，学生模型成为新的教师模型并对未标记的数据进行重新标记，如此循环往复。
SimCLRv2：这是 SimCLR的 SSL 版本。SimCLRv2 可以概括为三个步骤：与任务无关的无监督预训练，对标记样本进行监督微调，以及使用特定任务的未标记样本进行自训练或蒸馏。在预训练步骤中， SimCLRv2 通过最大化对比学习损失函数来学习表征。该损失函数是在成对样本上计算的基于距离的损失，理论使是同一样本的增强视图在嵌入空间中应该更接近，而其余的应该远离。
- 上一页
- 1
- 2
- 3
- 下一页