哈工大丁效：基于神经符号的认知推理方法( 二 ) 作者|丁效整理|维克多在过去十

虽然运用神经网络能够得到远超以前的性能，但也有“需要大量训练数据”、“可解释性差”、“推理基于表面特征”等缺点。
神经方法和符号方法各有哪些优缺点？符号AI对于规则、知识，能够可程序化，可以用编程的方式直接把规则编写到程序当中，然后可以进行精确、严格的匹配、推理，得到的结果也是符合规则的，因此解释性强。缺点是构造成本太高，覆盖率低，稳定性也不太够。

文章图片
神经方法的优点是表示能力非常强，任务的适应性很强，无论生成任务，还是分类任务，亦或回归任务都能“拿下” 。缺点是学习最简单的模式，距离人的智慧还有很大的距离，以及一直被诟病的黑盒、不可解释性等等。
显然，如果有方法将神经与符号相融合就能优势互补。目前，有三种方法可供参考：
1.神经网络方法执行符号推理任务，神经网络在此过程当中可能帮助我们把词进行泛化。
2.符号知识注入神经网络。进行损失函数设计，或者进行一些正则化的约束，或者进行数据增广等操作。
3.神经网络与符号系统相融合。即不以符号为主，也不以神经为主，而是进行有机融合。
在NLP处理领域，如果想获得以“类人”方式学习和思考的机器，需要在语义合成、推理、常识学习，学会学习等四个方面努力。 NLP中的推理是指文本推理能够推动另外三个任务不断的进步。
文本推理是指给定文本形式的前提(Premise)与前提相关的某一假设(Hypothesis) ，建模文本语义与文本结构，以判断前提与假设之间的关系。具体的例子如下图所示：

文章图片
文本推理有三个典型的任务，文本蕴含、因果推理以及故事结尾预测。结合认知的文本推理，其实来源于认知科学当中的双过程的理论。
双过程理论是指人的思考和学习是有两个系统：直觉系统和逻辑系统。直觉系统帮助我们进行一些直觉的无思决策，快速回答问题；逻辑系统要调用大脑当中存储的知识进行逻辑的推理。

文章图片
下面介绍实现刚才提到的三种不同认知推理任务的方法。
1神经网络方法执行符号推理任务符号推理的任务有很多，自动定理证明、多项选择问答、逻辑规则归纳。由于时间有限，主要介绍多项选择问答任务。
在去年的EMNLP2021一篇论文中，我们采用自然逻辑，帮助完成多项式选择的问答任务。
自然逻辑是一种语义单调性的逻辑系统，它主要是定义了7种单词之间的语义关系，包括等价、前向蕴含、反向蕴含、前向蕴含、反义、并列、覆盖、独立等等。然后我们要在遵循自然逻辑的前提下，在文本上进行推理，例如把句子进行增删改操作，然后保持语义的不变性，进行替换。
例如：
给定句子：所有的动物需要水
自然逻辑：动物?(反向蕴含)狗
替换操作后：所有的动物需要水?所有的狗需要水

文章图片
推理中的换词对NLP中的多项选择问答任务非常有必要。例如上图中的任务形式：给定问题：啮齿动物吃植物？知识库当中有一条知识是：松鼠吃松子。
第一步需要进行单词的替换，将啮齿动物替换成仓鼠，然后把植物替换成果实，或者把植物可以替换成庄稼。