深度学习撞墙？LeCun与Marcus到底谁捅了马蜂窝新智元报道编辑：Joey如David【

文章图片
新智元报道
编辑：Joey如David
【新智元导读】图灵奖得主YannLeCun正式撰文回应老冤家GaryMarcus ，表示「深度学习撞墙」这个说法，我不同意！
今天的主角，是一对AI界相爱相杀的老冤家：
YannLeCun和GaryMarcus
在正式讲述这一次的「新仇」之前，我们先来回顾一下，两位大神的「旧恨」。

文章图片
LeCun与Marcus之争
Facebook首席人工智能科学家和纽约大学教授， 2018年图灵奖（TuringAward）得主杨立昆（YannLeCun）在NOEMA杂志发表文章，回应此前GaryMarcus对AI与深度学习的评论。
此前， Marcus在杂志Nautilus中发文，称深度学习已经「无法前进」

文章图片
Marcus此人，属于是看热闹的不嫌事大的主。
一有点风吹草动，就发言「AI已死」，掀起圈内轩然大波！
此前多次发文，称GPT-3为「Nonsense」「bullshit」。
铁证在此：

文章图片

文章图片
好家伙，竟说「深度学习撞墙了」，看到如此猖獗的评论， AI界的大牛LeCun可坐不住了，立马发文回应！

文章图片
并表示，你想对线我奉陪！
LeCun在文中把Marcus的观点一一怼了个遍。
我们一起看一下大神是如何撰文回怼的吧~~
以下是LeCun的长文：
当代人工智能的主导技术是深度学习（DL）神经网络（NN），这是一种大规模的自学习算法，擅长识别和利用数据中的模式。从一开始，批判者们就过早地认为，神经网络已经撞上了「一堵不可逾越的墙」，然而每一次，它都被证明是一个暂时的障碍。
在20世纪60年代， NN还不能解出非线性函数。但这种情况并没有持续很长时间，在20世纪80年代随着反向传播（Backpropagation）的出现得以改变，但是新的「不可逾越的墙」又出现了，即训练系统十分困难。
在20世纪90年代，人类有研究出了简化程序和标准化架构，这使得训练更加可靠，但无论取得什么样的成绩，好像永远都会存在一堵「不可逾越的墙」，这一次是缺乏训练数据和计算的能力。
2012年，当最新的GPU可以在庞大的ImageNet数据集上进行训练时，深度学习开始成为主流，轻松地击败了所有竞争对手。但随后，就出现了质疑的声音：人们发现了「一堵新墙」——深度学习训练需要大量的手工标注的数据。
不过在过去的几年里，这种质疑变得不再有意义，因为自监督学习已经取得了相当不错的效果，比如不需要标记数据的GPT-3 。
现如今似乎不可逾越的障碍是「符号推理」，即以代数或逻辑的方式操作符号的能力。正如我们小时候学到的，解决数学问题需要根据严格的规则一步一步地处理符号(例如，解方程) 。
《TheAlgebraicMind》的作者、《RebootingAI》的合著者GaryMarcus最近认为， DL无法取得进一步进展，是因为神经网络难以处理这种符号操作。与之相对的是，许多DL研究人员相信DL已经在进行符号推理，并将继续改进。
这场争论的核心是符号在人工智能中的作用，存在着两种不同看法：一种认为符号推理必须从一开始就被硬编码，而另一种则认为机器可以通过经验学习到符号推理的能力。因此，问题的关键在于我们应该如何理解人类智能，从而，又应该如何追求能够具有人类水平的人工智能。