文章图片
第三个是数据增强 。 这部分介绍了论文作者使用了数据增强技术来在微调步骤中对特定任务的数据集进行扩展 。

文章图片
之后文章精简地呈现了原始论文中TInyBERT的关键数据 ， 如该模型的性能在基准测试中达到了BERT基础教师模型的96% ， 同时体积缩小了7.5倍 ， 速度提高了9.4倍 。

文章图片
针对原始论文的三个核心贡献 ， 文章还给出了一些有价值的思考 ， 如特定任务的蒸馏（微调）比通用蒸馏（预训练）更重要等等 。

文章图片
SwinTransformer解读
再比如当年屠榜各大视觉任务的SwinTransformer ， 由微软亚洲研究院郭百宁团队提出 ， 是视觉领域的研究者必读的一篇论文 ， 这项工作也在这个论文解读项目有精彩的分享：

文章图片
文章首先以原始论文中的关键图表 ， 简要介绍了SwinTransformer的基本方法及其核心设计元素 。

文章图片
然后逻辑清晰地详解了SwinTransformer的架构细节 ， 包括4个stage和SwinTransformerBlock

文章图片
接着列出了SwinTransformer的几项实验：

文章图片
有兴趣的读者可以自行前往该项目探索一番 ， 如果想分享自己的论文解读 ， 也可以向该项目提交PR 。 据项目作者透露 ， 后续还将推出notebook和讲座 ， 帮助大家更好地跟进研究进展 。
更多内容 ， 点击下方关注：
mp-common-profile
文章图片
未经「AI科技评论」授权 ， 严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权 ， 转载时需标注来源并插入本公众号名片 。
雷峰网

• 耳机|史诗级升级！新款MacBook Pro有这5大亮点
• 折叠屏|折叠屏手机一定像“砖头”那么重？这样想你就错了
• 高通骁龙|2023换手机看这4款：高性能高口碑价格良心，用3、5年不在话下
• 翻译|怎么翻译图片？建议收藏这些方法
• 平板电脑|支持WIFI连接，体验这款小众品牌收音机，开启网络能听更多电台
• 三星note7|国货之光的高端手机，这几款无人能及，体验不输苹果
• |电视屏这么大，爱奇艺黄金会员投屏只给480P画质？太阶级思想了吧
• “不满意这婚事”！美国英伟达收购英国安谋，创始人、中英都不满意
• 视频太长怎么剪辑成两部分？用这两个方法
• 太阳系和地球生命，仿佛被精心设计过？科学家：有这种可能性