谷歌机器智能大牛：AI模型要真正理解人类语言，关键是“序列学习”( 二 ) 新智元报道编辑：David【新智元

AI模型需要感官体验吗？

文章图片
在发表在Medium上的这篇长文中， AguerayArcas还驳斥了一些反对在大型语言模型中理解的关键论点。
其中之一就是「模型需要具体化」。
如果一个AI系统没有实体存在，也不能像人类一样在多模态系统中感知世界，那么它对人类语言的理解是不完整的。
早在孩子学会说话之前，他们就已经掌握了复杂的感知技能。他们会检测人、脸、表情和物体。他们学习空间、时间和直觉物理学，学会触摸和感受物体、闻、听，并在不同的感官输入之间建立联系。
在学会说话之前，他们就可以思考另一个人或动物的经历。而语言正是建立在我们所有这些与生俱来的知识和丰富的感官体验之上。
但AguerayArcas认为，「因为学习对于大脑的工作非常重要，所以我们可以在广泛的范围内学会使用我们需要的任何东西。我们的感官也是如此。」而在这个过程中，「真实感」并不是必须的要素。
他认为，虽然LaMDA既没有鼻子，也没有先验最喜欢的气味，但它确实有自己丰富的联想，就像盲人海伦·凯勒展现出的颜色感一样，这种感觉可以基于语言，根据他人的经验得到。
大型语言模型的关键：序列学习
在文中， AguerayArcas认为序列学习是与大大脑动物（尤其是人类）相关的所有复杂能力的关键，包括推理、社会学习、心理理论和意识。
「复杂的序列学习可能是解开所有其他问题的关键。这可以我们在大型语言模型中看到的令人惊讶的能力——这些模型只不过是复杂的序列学习者。」
而注意力已被证明是在神经网络中实现复杂序列学习的关键机制——正如介绍Transformer模型的论文标题所暗示的那样，「Attentionisallyouneed」

文章图片
这是一个有趣的论点，因为序列学习实际上是具有高阶大脑的生物体的迷人能力之一。这一点在人类身上最为明显，我们可以学习可以产生长期回报的超长的动作序列。
他对大型语言模型中的序列学习的观点也是正确的。这些神经网络的核心是将一个序列映射到另一个序列，网络越大，可以读取和生成的序列越长。
Transformers背后的关键创新是注意力机制，它帮助模型专注于其输入和输出序列中最重要的部分。这些注意力机制帮助Transformer处理非常大的序列，并且比它们的前辈需要更少的内存。
反方观点
不过，对于这个问题，也有人持不同的立场。
圣达菲研究所教授梅兰妮·米切尔(MelanieMitchell)就在Twitter上发帖，对AguerayArcas的观点进行了很有意思的反驳。

文章图片
虽然Mitchell同意机器有朝一日可以理解语言，但目前的深度学习模型，如LaMDA和GPT-3还远未达到这个水平。
最近，她在QuantaMagazine上写了一篇文章，探讨了衡量人工智能理解的挑战。

文章图片
「在我看来，问题的关键在于理解语言。需要理解世界，而只接触语言的机器无法获得这样的理解。」米切尔写道。
米切尔认为，当人类处理语言时，会使用大量没有明确记录在文本中的知识。因此，如果不具备这种基础知识， AI就无法理解我们的语言，试图仅通过文本来理解语言是不可能真正成功的。