在近日公布的全球自然语言处理领域顶级测试GLUE中，京东探索研究院联合悉尼大学、武汉大学以及北京航空航天大学组成梦之队（JDExplore Dream Team, d-team）参与其中，其提出的织女模型Vega v1以总平均分91.3分荣登榜首夺冠，再次刷新自然语言理解技术世界纪录，超越同场竞技的微软、Facebook、斯坦福大学等企业和高校团队。

文章插图

值得提及的是，测试中织女模型在九个子任务中的四个单项任务，即情感分类任务SST-2（The Stanford Sentiment Treebank）、语义相似度任务MRPC (Microsoft Research Paraphrase Corpus)、问句语义等价任务QQP（The Quora Question Pairs）和指代消解任务WNLI（winograd NLI）中均位列第一。尤其在情感分析任务SST 和指代消解任务WNLI 中首次超越人类智能水平。
据了解，本次夺冠的织女模型Vega v1采用了“预训练-微调”范式，依托于多个重要预训练的技术创新实现突破，例如采用了高效节能的并行化训练框架以及数据利用方法，使用了数十亿参数量的创新模型架构、更好的自监督信号以及多粒度句子级表征等。
雷峰网
【 平均分|总平均分91.3分！京东探索研究院织女模型登GLUE榜首】

• 微信聊天最令人头疼的场景是什么？一定有人会说是对方发来一连串语音还都是超过30秒的长消息...|终于！微信上线万众期待的新功能！网友：总算等到了
• 互联网时代|原极狐汽车总裁被挖至小米 担任小米汽车副总裁
• 腾讯|投出公司的总市值顶两个科创板，腾讯在给哪些企业当“后台”？
• 春节返乡，山东这样要求！31个省区市防疫政策汇总
• 春节返乡，31个省区市防疫要求汇总来了
• 春节返乡各地防疫要求，31个省区市政策汇总
• 全国31省份最新返乡政策汇总
• 分发量|YY直播：2021年合作公会总数增长24%，百度导入流量3亿/天
• 全国31省份最新返乡政策汇总！
• intel公司|苹果芯片总监刚被Intel挖走，技术大咖又跳槽微软