谷歌机器智能大牛：AI模型要真正理解人类语言，关键是“序列学习” 新智元报道编辑：David【新智元

文章图片
新智元报道
编辑：David
【新智元导读】AI模型能够答对所有问题，是否意味着AI和你一样了解世界？随着AI语言模型的进步，关于理解、意识和真正智能的讨论重新成为科学家们关注的热点。
如果计算机给了你所有正确的答案，是否意味着它和你一样了解世界？
这是人工智能科学家几十年来一直争论不休的谜题。随着深度神经网络在与语言相关的任务中取得了令人瞩目的进步，关于理解、意识和真正智能的讨论重新成为科学家们关注的热点。
许多科学家认为，深度学习模型只是大型统计机器，以复杂的方式将输入映射到输出。深度神经网络可能能够生成冗长的连贯文本，但并不能像人类那样理解抽象和具体的概念。
也有人不同意这种观点。

文章图片
比如GoogleResearch的人工智能科学家BlaiseAguerayArcas认为，大型语言模型可以教会我们很多东西，「比如自然语言、理解力、智力、社会性和人格。」
大型语言模型厉害在哪？
由于几个因素的共同影响，大型语言模型近年来越来越受欢迎：
1-海量数据：有大量的在线文本，例如维基百科、新闻网站和社交媒体，可用于训练语言任务的深度学习模型。
2-大量的算力资源：大型语言模型包含数千亿个参数，需要昂贵的计算资源进行训练。随着谷歌、微软和Facebook等公司已经在深度学习和大语言模型上投入数十亿美元，用于该领域的研发。
3-深度学习算法的进步：Transformer是一种于2017年推出的深度学习架构，一直是推动自然语言处理和生成(NLP/NLG)领域进步的核心动力。

文章图片
Transformer的一大优势是可以通过无监督学习对非常多的未标记文本语料库进行训练。
基本上， Transformer所做的是，将一串字母（或其他类型的数据）作为输入，并预测数据序列中的下一个元素。
它可能在问题后接着给出答案、标题后接着给出文章，或者在用户聊天、对话中给出提示。
众所周知，循环神经网络(RNN)和长短期记忆网络(LSTM)是Transformer的前身，但它们在保持长序列的连贯性方面的表现非常糟糕。
但是，基于Transformer的语言模型（例如GPT-3）在长输出中表现出令人印象深刻的高性能，而且不太容易出现其他类型的深度学习架构所犯的逻辑错误。

文章图片
AguerayArcas通过与LaMDA（一款谷歌Meena聊天机器人的改进版本）的对话探索了大型语言模型的潜力。
各种例子表明， LaMDA似乎处理抽象主题，例如社会关系和需要直观了解世界如何运作的问题。
例如，如果你告诉它「我把保龄球掉在了一个瓶子上，它破了」，模型在随后的交流中会知道，这句话是说「保龄球打破了瓶子」。语言模型会将“it”与短语中的第二个名词相关联。

文章图片
但随后AguerayArcas对句子进行了微妙的更改：「我把小提琴掉在保龄球上，它坏了」，这一次， LaMDA模型则将“它”与小提琴联系在一起，和保龄球相比，小提琴更轻、更脆弱。
更多实例表明，深度学习模型可以参与涉及想象的对话，比如它「最喜欢的岛屿是什么」，即使它根本没有旅行过，没有上过任何岛屿。这就引出了下一个问题：