神经|温故而知新，6位顶级CV科学家聚首：计算机视觉中的深度学习方法vs传统方法( 七 )

我们可以从分析和经验两个方面来看待视觉识别任务。「经验」指的是神经网络可以记住数据，构建一个在数据中完成内插的系统。然而，这种系统并不一定具有很好的外推能力。如果你可以通过经典的数学、集合、光学方法建模，我认为你需要积极尝试这些方法，而不应该假设神经网络可以解决任何问题。
Jitendra：
我们不妨考虑一下经济学领域。人类是经济学中复杂的实体。我们往往会通过机器学习等基于数据的技术来解决经济学中的预测问题。但是当我们想要理解预测结果时，我们会使用一些简化的模型进行分析。
我认为，对于未来的深度学习研究而言，对模型的理解是十分必要的。机器学习理论似乎并不能胜任这项工作（例如，双下降现象）。神经网络似乎在学习过程中会记住数据，形成经验。现在许多论文所做的工作是针对以往的工作进行数据增强、调整训练参数，而取得的 1-2 个百分比的性能提升可能是由于完全无关的因素，而不是由于论文所提出的核心思想。
如今深度学习模型正变得越来越大，这样一来，只有谷歌、Facebook、亚马逊、微软这样的单位可以从事下一代研究，这对研究社区来说并不是一个好的现象。我希望研究社区可以出现一些创新的思路，我们或许可以从历史中寻找一些灵感。
Q8：现在的深度学习模型参数量越来越大（例如，GPT-3），训练成本越来越高，我们是否有必要回过头研究那些曾经看似复杂的传统方法？如何看待记忆引擎？
Oliva：
十年前，我们进行了大量的记忆实验，让人们在数小时内看上千张图片，然后测试他们的记忆。令人惊讶的是，他们可以记住 90% 的图像。我们可以构建一种复杂的系统来研究人类的大脑，构建起认知科学到计算机科学的桥梁，通过实验的方法来研究这些模型。

文章插图

雷峰网雷峰网
【神经|温故而知新，6位顶级CV科学家聚首：计算机视觉中的深度学习方法vs传统方法】