不拆分单词也可以做NLP,哈工大最新模型在多项任务中打败BERT( 二 )


不拆分单词也可以做NLP,哈工大最新模型在多项任务中打败BERT
文章图片
结果 , WordBERT-ZH在四项任务中都打败了所有其他对比模型 , 在全部五项任务上的表现都优于基线BERT , 并在TNEWS(分类)、OCNLI(推理)和CSL(关键字识别)任务上取得了3分以上的差距 。
这说明 , 基于词的模型对中文也是非常有效的 。
最后 , 实验还发现:
性能不差的WordBERT , 在不同任务上的推理速度也并未“落于下风” 。
不拆分单词也可以做NLP,哈工大最新模型在多项任务中打败BERT
文章图片
关于作者
一作为哈工大计算机专业在读博士生冯掌印 , 研究方向为NLP、文本生成 。
不拆分单词也可以做NLP,哈工大最新模型在多项任务中打败BERT
文章图片
他曾在微软亚研院自然语言计算组、哈工大和科大讯飞联合实验室实习 , 在NLP领域的顶会ENNLP发表过一篇一作论文 。
通讯作者为史树明 , 来自腾讯AILab 。
不拆分单词也可以做NLP,哈工大最新模型在多项任务中打败BERT
文章图片
论文地址:
https://arxiv.org/abs/2202.12142
—完—
量子位QbitAI·头条号签约