阿里巴巴|百度的 ERNIE 3.0 AI 模型, 在语言理解基准上, 超越世界水平！阿里巴巴

【阿里巴巴|百度的 ERNIE 3.0 AI 模型, 在语言理解基准上, 超越世界水平！】

文章图片

来自百度的一个研究团队发表了一篇关于 3.0 版本的具有信息实体的增强语言表示(ERNIE) 的论文，这是一种自然语言处理 (NLP) 深度学习模型。该模型包含 10B 个参数，并在SuperGLUE 基准测试中取得了最新的最新分数，优于人类基线分数。
百度上的一篇文章描述了该模型和几个实验。与大多数仅在非结构化文本上训练的其他深度学习 NLP 模型不同， ERNIE 的训练数据包括结构化知识图数据，这有助于模型输出更连贯的响应。该模型由一个Transformer-XL “主干”组成，用于将输入编码为潜在表示，以及两个独立的解码器网络：一个用于自然语言理解 (NLU) ，另一个用于自然语言生成 (NLG) 。除了在 SuperGLUE 上创造了新的最高分，取代了微软和谷歌， ERNIE还在 54 个中文 NLP 任务上创造了新的最先进的分数。在文本上训练的大型深度学习模型（例如 OpenAI 的GPT-3或 Google 的T5）在各种问题上表现良好，但研究人员发现这些模型经常在一些 NLU 任务中挣扎，这些任务需要输入中不存在的世界知识文本。为了解决这个问题，清华大学的研究人员在 2019 年初开源了ERNIE的第一个版本，这是一种结合文本和知识图数据的模型；同年晚些时候，百度发布了 2.0 版本，这是第一个在GLUE基准测试中得分高于 90 的模型。
与 GPT-3 和其他模型一样， ERNIE 3.0 使用多种无监督学习任务（包括掩码和语言建模）对文本进行了预训练。为了将知识图谱数据整合到训练过程中，百度团队创建了一个新的预训练任务，称为通用知识文本预测（UKTP）。在这个任务中，模型从百科全书中得到一个句子以及该句子的知识图表示，其中部分数据被随机屏蔽；然后模型必须预测屏蔽数据的正确值。据百度称，总体而言，训练数据集为 4TB ，是迄今为止最大的中文文本语料库。
研究人员评估了 ERNIE 在几个下游任务上的表现。对于 NLU ，该团队针对 14 个任务在 45 个不同数据集上对模型进行了微调，包括情感分析、新闻分类、命名实体识别和文档检索；对于 NLG ， 9 个数据集和 7 个任务，包括文本摘要、闭卷问答、机器翻译和对话生成。在所有任务上， ERNIE 都设置了新的最先进的性能分数。为了测量零样本 NLG 性能，人类注释者被要求对 ERNIE 和其他三个模型的输出进行评分。根据这些结果， ERNIE 生成了“平均而言最连贯、流畅和准确的文本” 。

神经符号计算，将深度学习神经网络模型与“优秀的老式人工智能”技术相结合，是一个活跃的研究领域。 2020年，清华的一个团队与加拿大的研究人员合作制作了KEPLER ，该软件在维基的文本内容上结合结构化的维基数据知识库进行了训练。最近，麻省理工学院的一个团队将 GPT-3 深度学习模型与符号世界状态模型相结合，以提高 GPT-3 文本生成的连贯性，伯克利的研究人员将神经问答系统与“经典人工智能”相结合”填字游戏解算器称为Dr. Fill 。