今年的海德堡论坛，Raj Reddy、Sanjeev Arora、LeCun 与 Bengio 都讲了些什么？( 三 ) 作者|AI科技评论编辑|陈彩娴随

提问：请问Bengio教授，您提到了推理和归纳偏差的必要性，我个人更多是在适应不同模态的空间中处理归纳偏差，我想知道您在这方面是怎么做的。
YoshuaBengio：我们在人类推理中看到的一些归纳偏差涵盖了这样一个事实：当我们在高层次上进行推理时，我们在建立概念之间的因果关系、概念之间的关系，并形成一个非常稀疏的图（graph）。如果我丢下一个球，它就会落在地面上，像这样非常准确的预测是在高层次上的，涉及的变量很少，这就跟你在像素级别上能够执行的操作非常不同。
此外，在这个高层次上，我们重复使用这些概念和组件来形成新的序列、新的意义，我们还不知道如何做好重用动态和重组，但我们可以将这种归纳偏差设计到神经网络中。
人类高层次理解的另一个方面是因果关系，因果关系在分布泛化和我们关于意图的思考方面起作用，意图也就是人类想要做的事情以及在高层次上与干预相关的行为，所以这跟强化学习有很多关联。我们还需要做更多的工作，去将归纳偏差它们整合到架构和训练对象中。
人类擅长推论和推理，但我们并不是完美的推理机器，理解我们失败的推理模式也很重要。我们或许可以从生物学中获取线索，帮助我们探索如何将这些归纳偏差引入神经网络。
3开放式同行评审：从ICLR谈起提问：自成立以来， ICLR的开放式同行评审方法都非常特殊，这对于AI领域学术研究发展是否产生了影响？ICLR最早的大会主席Yoshua和Yann都在这里，我们先从Yann开始。
YannLeCun：2000年底到2010年初，当时人们谨慎地讨论该怎么正确地进行同行评审，计算机科学会议的同行评审颇有些随机，但这不能怪罪于执行同行评审的人，因为这就是它的本质，而且这个领域的快速发展也决定了这一点，大多数人在领域内的经验都是有限的，所以大多数审稿人有时会是博士生，有时是硕士生。他们更多是要找出一篇论文的缺点而非优点，而且不得不拒绝很多论文，我们很多人都为此感到内疚。
我跟Yoshua已经讨论了几次，论文或预印本与在出版机构或评审机构之间的垄断关系已经被打破，所以任何评审机构，无论是会议还是期刊，都可以评审任何论文，并且任何论文也都可以请求评审机构进行评审。如果您想要获取见解和评论，同行评审就像是一个开放的市场，准确度、预测性或信誉度，对评审机构都有提升作用。
我在我的网站上写了一篇关于这个的文章，并在马萨诸塞大学阿默斯特分校和DavidMcCallum讨论，他正在做OpenReview的工作， OpenReview相当于是一个实施同行评审的基础设施。
根据pin实体的准确度或预测性，或者类似的东西或它们的信誉度来提升审查实体。所以我在我的网站上写了一篇关于这个的文章，然后开始和大卫麦卡勒姆讨论你。 Umass ， amherst ，因为它正在开展公开审查，公开审查基本上是可用于实施这些想法的基础设施。
2013年，我们停止了运行了十年的wrokshop ，并开始启动ICLR 。我们询问OpenReview我们能不能实施同行评审系统，实际上并不可能实施整个系统，但我们取得了一些成功。
重要的是，评审是开放的，所以评审人会写评论，并被所有人看到，提交的论文也是所有人可见。这不是双盲，而是单盲，官方审稿人是匿名的，但是任何人都可以选择在自己的名下为所有论文写评论。
有一位对这个过程感兴趣的社会心理学家进行了一项调查，比如询问人们与经典模式相比会更喜欢这种模式吗？他们都回答是的，这个结论非常明确。