今年的海德堡论坛，Raj Reddy、Sanjeev Arora、LeCun 与 Bengio 都讲了些什么？( 二 ) 作者|AI科技评论编辑|陈彩娴随

我认为这种模型非常有用，它将机器学习理解为一个广泛的领域。机器学习并不仅仅是获取数据、跑代码、使用scikit-learn、做一些预测，要关心我们真正在做的是什么。
YoshuaBengio：我非常同意Shakir和Sanjeev的观点。我想强调的是，我们需要对我们在各种深度学习实现和架构中投入的归纳偏差有更多有意识的理解。理想情况下，在设计阶段，我们应当考虑函数或分布空间中的偏好是什么，并将这些偏好引入到目标函数之外的学习中。这对设计下一代深度学习系统也有意义。
深度学习经常被吐槽的一个点是它的推理能力。有一种观点认为，深度学习不能像人类那样做真正的推理，因为人类使用的是大脑中的某些神经网络。我同意，但我相信，可以通过引入归纳偏差，将结构融入这些架构和对象中，从而引发类似于人类的推理。
2深度学习的推理能力提问：我从事自动驾驶系统和自动驾驶汽车方面的工作，我有两个问题，一是机器学习技术的可转化性，另一个问题是如何把由感知系统产生的具体知识与符号知识联系起来？自动驾驶汽车如何避免感知系统错误，比如变化的交通灯。这不会发生在人类身上，人有常识，有一个外部世界的模型可以将感官信息与符号知识联系起来。
YannLeCun：我回答第二个问题。将原始数据、感官数据转换为符号表示或者符号类别或序列。这就是深度学习擅长的。但它仍然不完美，因为它可能非常脆弱，因为通常如果它通过监督运行的训练，它将被训练用于特定任务。而就在这个任务之外，它不会工作得特别好。
我们还不太清楚我们是如何让深度学习系统做推理的，目前有很多研究，实际上我写了一篇关于观点论文，几个月前放在了网上，试图解决让推理与深度学习相兼容的问题。

文章图片
论文地址：https://openreview.net/pdf?id=BZ5a1r-kVsf因为深度学习是一种非常强大的技术，我们需要让机器去学习世界模型并获得常识。
YoshuaBengio：我确实认为有可能将符号知识与我们从数据中提取的知识联系起来，例如设计不同的架构，并且将推理作为其中的重要组成部分。
深度神经网络的竞争力在于，我们将多个层和模块组合起来，并开始有了注意力机制，但还需要更多动态组合，正确的知识或者是高级知识，甚至是符号知识需要被组合起来去做推理，这是未来我们利用注意力机制的一种路径，不过这仍是一个非常开放的问题。
SanjeevArora：Yoshua你谈到了自治系统，好像这些系统是在许多时间段或在无限的时间里运行，但我们还不清楚是否对系统的决策做出持续性的解释，因为它是一个动态程序。而人类拥有解释这些决策的所有捷径，谁知道这些捷径是否有用？
YoshuaBengio：你在不同的国家只能靠左行驶或靠右行驶，我们可以对符号规则做类似的处理。
SanjeevArora：是的，但还有一个问题是，当你说到动态决策时，并没有简洁的解释来理解为什么它是正确的。
BeenKim：以某种方式将符号逻辑与深度学习架构相结合，对于解释能力和可解释性方面的研究非常有用。但我认为，我们有一个错误的假设，即在我们的世界中，存在于人类身上的符号足以理解复杂的自动驾驶汽车和其他复杂系统。在这种假设下，问题就变成了如果我们要将这个复杂的神经网络正在做的事近似为对我们有意义的符号，这种近似是否足够好？我们如何判断它何时不够好？为什么会失败？如果失败了，它会告诉我们如何修复吗？我认为这是一个非常重要的问题。