哈工大丁效：基于神经符号的认知推理方法作者|丁效整理|维克多在过去十

文章图片
作者|丁效
整理|维克多
在过去十年的人工智能浪潮中，以深度学习为代表的人工智能技术已基本实现了视觉、听觉等感知智能，但依然无法很好地做到思考、推理等认知智能。
4月9日，哈尔滨工业大学计算学部副研究员丁效，在AITIME青年科学家——AI2000学者专场论坛上，做了《基于神经符号的认知推理方法》的报告，分享了神经网络方法执行符号推理任务的最新进展，同时也给出了将符号知识注入神经网络的思路以及如何将神经网络与符号系统相融合。
以下是演讲原文， AI科技评论做了不改变原意的整理。
今天和大家分享神经符号认知推理方面的研究工作。人工智能（AI）已经历了第一代符号智能，第二代感知智能以及当前的认知智能。认知智能是一种融合的状态，强调表示学习与复杂知识推理的有机结合是人工智能进步的阶梯。

文章图片
实际上，在自然语言处理（NLP）领域，预训练模型规模以每年约10倍的速度增长，模型的通用智能水平显著增强。如上图，无论是计算的复杂度、参数以及训练时间，随着时间的推移，都有跨越性的发展，也促使模型性能大幅度提升。
同时，预训练语言模型还有很大的发展空间。例如询问GPT-3：烤箱和铅笔哪个更重？脚有几只眼睛？等问题，它的回答的结果差强人意。根本原因是缺少对知识的推理的能力，以及对推理结果的可解释性。

文章图片
如何解决？我认为需要开发新的计算范式，即将基于感知的深度学习和基于认知的符号计算，进行融合。
传统基于符号的表示，例如在NLP领域，对于句子的处理是分词，文本中有1万个词就对应1万维。

文章图片
现在分布式的表示方法是基于神经网络，需要学习出每个词的向量，此向量维度不高，也不会那么稀疏，它是低维稠密的实数值向量，很容易捕获文本的语义信息。
利用符号系统和利用上下文表示的系统有什么区别？首先对于词汇的理解，一定离不开上下文的语义的理解。例如：小明离开星巴克和乔布斯离开苹果公司，同样是离开一词，前者可能表示消费完了，离开某个商店，后者可能表示辞职。因此，两种语义是截然不同的。

文章图片
传统的NLP任务从语料中提取特征，利用统计关系学习建模语义结构，属于符号系统处理方法。给定若干个任务，例如共旨消解、语义角色标注、依存分析或者NER等等任务，传统方法是手工提取一些特征，然后把特征输入到一些统计模型当中，然后得出分类结果、预测结果。
传统的NLP的处理方式，提取特征可以认为是符号系统，即手工提取的特征本身就可以用来解释最后的预测结果，这是典型的可解释的方式。

文章图片
基于神经网络的分布式的语义表示，在处理各种NLP任务时， “省略”了特征提取步骤，有几个特点：1.单词用稠密的低维向量表示；2.上下文语义表示是单词语义表示的组合；3.表示向量与组合方式需要在大量的数据上进行训练；4.能够得到词的任务特异表示。