谷歌发布全新反向推理算法LAMBADA|谷歌最新自然语言推理算法谷歌发布全新反向推理算法L

文章图片
谷歌发布全新反向推理算法LAMBADA ，无惧搜索空间爆炸！
自动推理绝对算是自然语言处理领域的一大难题，模型需要根据给定的前提和知识推导出有效且正确的结论。
尽管近年来NLP领域借着大规模预训练语言模型在各种「自然语言理解」如阅读理解和问答等任务中取得了极高的性能，但这些模型在逻辑推理方面的性能仍然十分滞后。
去年5月「思维链」（ChainofThought,CoT）横空出世，有研究人员发现，只需要在prompt中加入「Let'sthinkstepbystep」就能让GPT-3的推理性能大幅提升，比如在MultiArith中就将推理准确率从之前的17.7%一下提升到了78.7%
但诸如CoT和SelectionInference等方法都是以前向（forwarddirection）的方式从公理（axioms）中搜索证明过程（proof）以推导出最终结论（conclusion），存在搜索空间组合爆炸的问题，因此对于较长的推理链，失败率较高。
最近， GoogleResearch开发了一种反向链（BackwardChaining）算法LAMBADA（LAnguageModelaugmentedBAckwarDchAining），将经典推理文献中得出的「反向推理效率明显高于前向推理」这一结论应用于语言模型（LM）中。

文章图片
论文链接：https://arxiv.org/abs/2212.13894
LAMBADA将推理过程分解为四个子模块，每个模块都由few-shotprompted语言模型推理实现。
最终LAMBADA相比当下sota的前向推理方法在两个逻辑推理数据集上实现了显著的性能提升，特别是在问题要求深度和准确的证明链情况下， LAMBADA的性能提升更加明显。「反向推理」成版本答案？
逻辑推理，特别是对非结构化自然文本的逻辑推理，是构建自动知识发现的基础构件，也是未来各种科学领域进步的关键。
虽然许多NLP任务的发展都受益于预训练语言模型不断扩大的规模，但根据观察，提升模型的尺寸对解决复杂推理问题的提升十分有限。
在经典文献中，有两种主要的逻辑推理方法：
1、前向链式推理（ForwardChaining,FC），即从事实和规则出发，在做出新的推理并将其加入理论之间进行迭代，直到目标陈述可以被证明或推翻；
2、后向链式推理（BackwardChaining,BC），即从目标出发，将其递归分解为子目标，直到子目标可以根据事实被证明或推翻。
以前用语言模型进行推理的方法大多采用前向链式推理的思路，要求从整个集合中选择一个事实和规则的子集，这对LM来说可能是困难的，因为它需要在一个大的空间里进行组合搜索。
此外，决定何时停止搜索并宣布证明失败在FC中也是非常困难的，有时甚至需要一个专门对中间标签进行训练的模块。
事实上，经典的自动推理文献在很大程度上偏重于后向链式推理或目标导向的求证策略。 LAMBADA
LAMBADA意为「反向链式技术增强的语言模型」，研究人员通过实验证明了BC更适合于基于文本的演绎逻辑推理（deductivelogicalreasoning）。
BC不需要大量的组合搜索来选择子集，而且有更自然的停止搜索标准（haltingcriteria）。
LAMBADA主要专注于对事实进行自动推理，即自然语言断言，如「好人是红色的」，这些断言是连贯的（coherent），但不一定基于真实情况。
一个规则由自然语言声明编写，形式上可以改写为「如果P那么Q」，例如「粗暴的好人是红色的」（Rough,nicepeoplearered）可以改写为「如果一个人是粗暴的好人，那么他们是红色的」（Ifapersonisroughandnice,thentheyarered）。