自监督学习兼顾语义对齐与空间分辨能力?清华、商汤提出SIM方法( 三 )


对projector与decoder使用BN还是LN 。 研究者尝试将projector和decoder中的归一化层从LN换成BN , 表中(fg)说明这种替换对线性分类与检测任务都有一些提升;
全局损失函数 。 表中(gh)说明 , 全局损失函数有利于线性分类性能的提升 , 但是并不是必要的;
密集损失函数 。 表中(hi)说明密集损失函数能够在物体检测任务上提升2.3个点 , 在实例分割任务上提升1.6个点 , 这说明密集损失函数对下游密集预测任务是有帮助的 。