哈工大丁效：基于神经符号的认知推理方法( 三 ) 作者|丁效整理|维克多在过去十

接下来不断替换，把植物替换成谷物，把果实替换成坚果，把啮齿动物替换成田鼠，经过一步一步的的替换，最终替换到了知识库当中的某一条知识。因此，基于自然逻辑进行多项选择问答这条路径就是可解释的。其实，不仅是可以替换，也可以增加词、删除词、修改词。
问题在于是基于语义词典进行词的替换，而语义词典是非常有限的。再者没有考虑上下文的语义关系。

文章图片
引入神经网络的方法，可以将词的替换直接进行神经化。具体过程可以分为4步：
1.利用预训练语言模型生成候选单词
2.判断原单词和候选单词之间的语义关系
3.根据上下文的单调性将词级别的语义关系映射到句子级别
4.保留满足恒等和反向蕴含关系的候选句
2符号知识注入神经网络符号知识注入神经网络的方式有很多，可以利用逻辑规则约束神经网络的模型；可以利用基于逻辑规则进行数据增强的任务。
例如数据增强，给定三元组B的首都是A（A,首都,B），可以扩展出A位于B 。具体一些，知识库总已经有:（北京，首都，中国），则基于该规则可以补充额外的三元组（北京，位于，中国）。

文章图片
如何利用逻辑规则，约束神经模型？上图是事件时间常识知识预测任务，其中预测为对应的时间单元：给定事件起床，推测频率、持续时间以及典型发生时间。
这些事件的常识知识有什么用？可以把事件的常识知识注入到预训练语言模型当中，让模型对事件时间的常识知识能够掌握，会让模型在进行时间相关的推理的工作中更加高效。

文章图片
存在的问题在于，从文本中无监督抽取的时间常识可能存在报告偏差（ReportingBias）。例如常见的情况的在文本中并未显式提及：自然文本中几乎不会有“睡醒之后，我一般要花几分钟的时间起床”等类似的表达！在文本表达中会对非寻常现象加以强调：我每天都得花一个小时才能起床！。
如何解决？利用不同维度间的时间常识知识之间的约束关系，减缓报告误差。对于“我是在妈妈准备早餐期间起床的” ，利用事件间时序关系可以得出：起床的持续时间短于准备早餐；“自己在家准备早餐，十分钟就可以搞定”可以得出：准备早餐的持续时间大概约为10分钟。
下表详细总结了类似于上述所有的可能的互补关系：

文章图片
此规则怎样利用？我们设计了基于软逻辑规则的时间的常识预测。给定输入：我是在妈妈准备早餐期间起床的，得到原子式：，然后将原子式概括成概率软逻辑规则，如下图。

文章图片
将概率软逻辑规则放到神经网络模型当中，将其制作成损失函数。这一步是在交叉熵损失函数的基础上，添加了概率软逻辑的约束损失，使得模型在做的时间推理的过程当中，既考虑概率软逻辑的规则，同时考虑对于语义理解之后的的推理结果。
3融合神经与符号的推理系统融合神经和符号的推理系统，在进行数值运算，因果逻辑推理，一阶谓词逻辑规则等方面具有优势。它可以利用神经网络模块，显式建模符号规则。