深度学习撞墙？LeCun与Marcus到底谁捅了马蜂窝( 三 ) 新智元报道编辑：Joey如David【

当它可以将所有属性分配给一个对象时，它做得很好，但当有多个对象和多个属性时，它就会处于懵逼状态。许多研究人员的态度是，这是DL在通往更像人类的智能道路上的「一堵墙」。
那么符号化操作到底是需要硬编码?还是可学习的呢?
这并不是Marcus的理解。
他假设符号推理是全有或全无的——因为DALL-E没有符号和逻辑规则作为其操作的基础，它实际上不是用符号进行推理。因此，大型语言模型的无数次失败表明它们不是真正的推理，而只是没有感情的机械模仿。
对Marcus来说，爬上一棵足够大的树是不可能到达月球的。因此，他认为目前的DL语言模型并不比NimChimpsky（一只会使用美国手语的雄性黑猩猩）基更接近真正的语言。 DALL-E的问题不是缺乏训练。它们只是系统没有掌握句子潜在的逻辑结构，因此不能正确地掌握不同部分应该如何连接成一个整体。
相比之下， GeoffreyHinton等人认为神经网络不需要硬编码符号和代数推理既可以成功地操纵符号。 DL的目标不是机器内部的符号操作，而是学会从世界上的系统中产生正确的符号。
拒绝将两种模式混合并非草率的，而是基于一个人是否认为符号推理可以学习的哲学性差异。
人类思想的底层逻辑
Marcus对DL的批评源于认知科学中的一场相关争论，即智能是如何运作的，以及是什么让人类独一无二。他的观点与心理学中一个著名的「本土主义」学派一致，该学派认为认知的许多关键特征是天生的——实际上，我们在很大程度上生来就知道世界是如何运转的。
这种与生俱来的感知的核心是符号操作的能力（但是这究竟是在整个自然中发现的，还是人类特有的，尚且没有结论) 。对Marcus来说，这种符号操作能力奠定了常识的许多基本特征：遵循规则、抽象、因果推理、重新识别细节、泛化和许多其他能力。
【深度学习撞墙？LeCun与Marcus到底谁捅了马蜂窝】简而言之，我们对世界的很多理解都是自然赋予的，学习就是充实细节。
还有另一种经验主义观点打破了上述想法：符号操纵在自然界中是罕见的，主要是我们的古人类祖先在过去200万年中逐渐获得的一种学习交流能力。
从这个观点来看，主要的认知能力是非符号学习能力，与提高生存能力有关，比如快速识别猎物，预测它们可能的行动，以及发展熟练的反应。
这一观点认为，绝大多数复杂的认知能力都是通过一般的、自监督的学习能力获得的。它还假设，我们的大部分复杂认知能力不会依赖于符号操作。相反，他们通过模拟各种场景并预测最佳结果。
这种经验主义的观点认为符号和符号操纵只是另一种习得的能力，是随着人类越来越依赖合作行为来获得成功而获得的能力。这将符号视为我们用来协调团队间合作的发明——比如文字，但也包括地图、标志性描述、仪式甚至社会角色。
这两种观点之间的差异非常明显。对于本土主义传统来说，符号和符号操纵原本就在头脑中，对单词和数字的使用也源自这种原始能力。这一观点很有吸引力地解释了那些源自进化适应的能力(尽管对符号操纵如何进化或为什么进化的解释一直存在争议) 。
从经验主义传统角度看，符号和符号推理是一项有用的交流发明，它源于一般的学习能力和我们复杂的社会世界。这将内部计算和内心独白等发生在我们头脑中的象征性事物，视为源自于数学和语言使用的外部实践。
人工智能和认知科学领域是紧密交织的，所以这些争斗在这里重现也就不足为奇了。既然人工智能中任一观点的成功都将部分(但仅部分)证明认知科学中的一种或另一种方法是正确的，那么这些辩论的激烈程度也就不足为奇了。