清华SIGS多篇论文入选NeurIPS2021( 二 ) 近日

《基于Transformer的多示例学习算法在组织病理学图像分类中的应用》（TransMIL:TransformerbasedCorrelatedMultipleInstanceLearningforWholeSlideImageClassification）
作者：2021级人工智能项目硕士生邵朱晨、边豪和陈扬（指导老师：王好谦）

文章图片
边豪（左）、陈扬（中）、邵朱晨（右）
该论文针对组织病理学的弱监督分类问题提出了一种新的关联性多示例学习理论，并提供了相应的证明。基于这一理论，论文进一步设计了一种基于Transformer的多示例学习算法，它同时探索了形态学和空间信息，可有效地处理不平衡/平衡和二元/多元分类并具有可解释性，并在三个公开的病理图像数据集上取得最优性能。

文章图片

文章图片
方法框架
活检诊断是癌症治疗和研究流程的基本步骤，是癌症诊断的“金标准” ，其中活检样本的阴阳分类和癌症亚型分类，对患者疾病的精准诊断以及预后治疗有重要作用。组织病理图像扫描仪的出现为病理图像分析开辟了新的可能性，可将活检载玻片上的组织转换成千兆像素的组织病理图像(WSI) ，充分保留了原始的组织结构。考虑到组织病理学巨大的尺寸以及像素级的注释通常难以获得，当只有诊断级别标签时，组织病理图像的分析便属于一种弱监督学习问题。但是目前的多实例学习方法通常是基于独立同分布假设，忽略了不同实例之间的相关性。为解决这个问题，本文提出了一个新的理论：关联性多实例学习理论，并进一步设计了一种基于Transformer的多实例学习方法，它同时探索了形态学和空间信息。其中由于Transformer本身不具备对于序列顺序信息的关注能力，因而通常采用位置编码来利用序列的顺序信息。在组织病理学领域中，因为组织病理图像大小本身不固定，且不同组织病理图像中组织区域面积不同，所以对应序列的片段数量往往不相同。本文的PPEG模块在同一层使用不同大小的卷积核，既可以编码较为稀疏的位置信息，也可以编码较为紧密的位置信息，使PPEG模块对于不同类型的组织病理图像更具有普遍的适应性。最终，本文的算法在三个公开的组织病理图像数据集中取得了最优性能。
《在长尾视觉识别中构建校准能力更好的模型》（TowardsCalibratedModelforLong-TailedVisualRecognitionfromPriorPerspective）
作者：2020级计算机技术项目硕士生许正卓、柴增豪（指导老师：袁春）

文章图片
许正卓（左）、柴增豪（右）
【清华SIGS多篇论文入选NeurIPS2021】该论文主要关注在长尾数据监督下模型性能和校准能力较差的问题，从先验的角度提出两种解决策略同时提高模型的准确率和校准能力。

文章图片
错分矩阵展示：对角线元素表示正确分类，非对角线表示错分情况，横坐标为真实标签，纵坐标为预测标签
自然的数据通常存在严重的类别不平衡问题，分布上呈现“长尾”的情况，即大多数样本属于极个别类别，而大多数类别拥有的样本数量很少。 Mixup是一种常见的数据增强方法，在均衡数据上可以有效改善模型的特征学习，并且可以提升模型的分类校准能力。然而，研究团队观察到Mixup在长尾分布的数据上并没有体现出明显的作用，对模型的分类校准也没有明显的帮助。因此他们从先验概率的角度出发，采用了尾部数据偏好的混合因子和对应采样规则，构建了数据均衡的混合形式，从而改善了Mixup在长尾数据上的表现。研究团队还指出，被长尾数据监督训练的模型都存在一个因为标签先验不同而导致的固有偏置，因此，他们在标准的交叉熵损失上补偿了这一偏置，并证明了这一改动是符合模型校准的。实验结果表明，上述两个改动都可以进一步提升模型的性能，它们的组合还可以达到前沿水平，并且可以无需后处理地提升模型的校准能力。