对比学习引领弱标签学习新SOTA，浙大新研究入选ICLR Oral 机器之心专栏作者：王皓波本

机器之心专栏
作者：王皓波
本文介绍浙江大学、威斯康星大学麦迪逊分校等机构的最新工作PiCO ，相关论文已被ICLR2022录用（Oral,Top1.59%)！
偏标签学习(PartialLabelLearning,PLL)是一个经典的弱监督学习问题，它允许每个训练样本关联一个候选的标签集合，适用于许多具有标签不确定性的的现实世界数据标注场景。然而，现存的PLL算法与完全监督下的方法依然存在较大差距。
为此，本文提出一个协同的框架解决PLL中的两个关键研究挑战——表征学习和标签消歧。具体地，研究者提出的PiCO由一个对比学习模块和一个新颖的基于类原型的标签消歧算法组成。 PiCO为来自同一类的样本生成紧密对齐的表示，同时促进标签消歧。从理论上讲，研究者表明这两个组件能够互相促进，并且可以从期望最大化(EM)算法的角度得到严格证明。大量实验表明， PiCO在PLL中显着优于当前最先进的PLL方法，甚至可以达到与完全监督学习相当的结果。

文章图片
论文地址：https://arxiv.org/pdf/2201.08984v2.pdf
项目主页：https://github.com/hbzju/pico
背景
深度学习的兴起依赖于大量的准确标注数据，然而在许多场景下，数据标注本身存在较大的不确定性。例如，大部分非专业标注者都无法确定一只狗到底是阿拉斯加还是哈士奇。这样的问题称为标签歧义（LabelAmbiguity），源于样本本身的模糊性和标注者的知识不足，在更需要专业性的标注场景中十分普遍。此时，要获得准确的标注，通常需要聘用具有丰富领域知识的专家进行标注。为了减少这类问题的标注成本，本文研究偏标签学习[1]（PartialLabelLearning ， PLL），在该问题中，研究者允许样本关联一个候选标签集合，其中包含了真实的标签。
在PLL问题中，最重要的问题为标签消歧（Disambiguation），即从候选标签集合中识别得到真实的标签。为了解决PLL问题，现有的工作通常假设样本具有良好的表征，然后基于平滑假设进行标签消歧，即假设特征接近的样本可能共享相同的真实标签。然而，对表征的依赖致使PLL方法陷入了表征-消歧困境：标注的不确定性会严重影响表征学习，表征的质量又反向影响了标签消歧。因此，现有的PLL方法的性能距离完全监督学习的场景，依然存在一定的差距。
为此，研究者提出了一个协同的框架PiCO ，引入了对比学习技术（ContrastiveLearning ， CL），来同时解决表示学习和标签消歧这两个高度相关的问题。本文的主要贡献如下：
方法：本论文率先探索了部分标签学习的对比学习，并提出了一个名为PiCO的新框架。作为算法的一个组成部分，研究者还引入了一种新的基于原型的标签消歧机制，有效利用了对比学习的embeddings 。
实验：研究者提出的PiCO框架在多个数据集上取得了SOTA的结果。此外，研究者首次尝试在细粒度分类数据集上进行实验，与CUB-200数据集的最佳基线相比，分类性能提高了9.61% 。
理论：在理论上，研究者证明了PiCO等价于以Expectation-Maximization过程最大化似然。研究者的推导也可推广到其他对比学习方法，证明了CL中的对齐（Alignment）性质[2]在数学上等于经典聚类算法中的M步。

文章图片
框架
简而言之， PiCO包含两个关键组件，分别进行表示学习和标签消歧。这两个组件系统地作为一个整体运行并相互反哺。后续，研究者也会进一步从EM的角度对PiCO的进行严格的理论解释。