文章图片
实验
首先 ， 实验研究了计算机视觉模型在各种数据集上的预训练和微调 ， 详见表3 ， 表中列出了数据集名称、训练和测试数据分布等信息 。

文章图片
预测任务
首先 ， 该研究使用MaskR-CNNpipeline[8]在COCO目标检测和实例分割数据集上对SplitMask进行评估 ， 表4为评估结果 。
由结果可得 ， 在相同的BEiT模型上 ， 单独在COCO数据集上预训练的模型与在ImageNet上预训练模型相比 ， 前者下游任务性能更好 。 例如 ， 当使用基于ViT的主干时 ， 在COCO上而不是ImageNet上进行预训练会可使boxAP提升+0.4 。

文章图片
表6为数字分类数据集实证评估结果：

文章图片
表7展示了SplitMask方法使用ViT-S和ViT-B主干以及300个epoch的预训练与其他最近的基于Transformer的自监督学习方法相比的性能：

文章图片

• 华为|别不信！魅族如今处境，雷军早有预料，小米也早已体验
• 小米科技|预算只有两三千买这三款，颜值性能卓越，没有超高预算的用户看看
• AMD|AMD预告新款Radeon Pro专业卡：第一次用上6nm工艺
• 将理论注入深度学习，对过渡金属表面进行可解释的化学反应性预测
• 淘宝|RTX 3060+12代酷睿台式机售价6799元，现已开启预约
• 摩卡DHT-PHEV开启预售，魏牌全面加速智能混动赛道｜新车
• iphone8plus|预算有限游戏党的福音 千元机用LPDDR5+UFS3.1 游戏手机还是iQOO
• 沉浸式|海外观察丨未来 10 大科技趋势预测全解读（上）
• LG|韩国第三大科技公司：外界估值将达到3700亿，扬言要超越中国企业
• 副总经理|ZOL观察：创新引领超越 光峰工程投影的起航之路