抽象|Yann LeCun最新发声：自监督+世界模型，让 AI 像人类一样学习与推理( 四 ) 中国移动|回应|信号|故障|江西

但是架构的许多其他方面仍有待定义，包括如何精确地训练Critic（Critic网络的作用是衡量一个Actor在某状态下的优劣），如何构建和训练配置器，以及如何使用短期记忆来跟踪世界状态和存储世界状态与行动的历史，用内在成本来调整Critic。
LeCun 和其他 Meta AI 的研究人员期待在未来数月和数年内探索这些内容，并与该领域的其他人交流想法和学习。创造可以像人类一样有效地学习和理解的机器是一项长期的科学努力——而且不能保证成功。但我们相信，基础研究将继续加深对思想和机器的理解，并将带来更多造福人类的人工智能突破成果。

Yann LeCun：AI 不需要人类的监督

IEEE Spectrum：您曾说过，监督学习的局限性有时会被误认为是深度学习的内在局限，那哪些限制可以通过自监督学习来克服呢？
Yann LeCun：监督学习在一些结构稳定的领域中表现很出色。在这些领域中，你可以收集大量的标记数据，并且在部署过程中可以看到，这些输入类型与训练过程中使用的输入类型没有太大区别。要收集大量且相对没有偏差的标记数据是很难的。我所说的不一定是社会偏差，而是说系统不应该使用数据中的相关性。一个非常著名的例子是，当你在训练一个能够识别奶牛的系统时，若训练中用的都是草场上的奶牛，那么系统将把草作为奶牛的背景。如果再给它一头在海滩上的奶牛，它可能就很难识别出了。
自监督学习 (SSL) 允许我们训练系统以独立于任务的方式学习良好的输入表示。因为 SSL 训练使用未标记的数据，所以我们可以使用非常大的训练集，并让系统学习更稳健和更完整的输入表示。然后，它只需要少量的标记数据就能在监督任务上获得良好的性能。这大大减少了纯监督学习所特有的标记数据量，并使系统更加稳健，能够更好地处理与标记训练样本不同的输入。它有时还会降低系统对数据偏差的敏感性——关于这一改进，我们将在未来几周内分享更多关于研究的见解。
现在在实际的 AI 系统中正在发生的事情是，我们正在转向使用 SSL 对大量未标记数据进行预训练的更大架构。这些可用于各种任务。例如，Meta AI 现在拥有可以处理几百种语言的语言翻译系统。这是一个单一的神经网络！我们还有多语种语音识别系统。这些系统可以处理几乎没有数据的语言，更不用说带注释的数据了。
IEEE Spectrum：其他行业先驱说，人工智能的前进方向是通过更好的数据标记来改进监督学习。吴恩达最近和我谈到了以数据为中心的AI，英伟达的 Rev Lebaredian 和我谈到了带有所有标签的合成数据。该领域是否存在关于前进道路的分歧？
LeCun：我不认为存在哲学上的分歧。SSL 预训练是 NLP 中非常标准的做法。它在语音识别方面表现出了出色的性能改进，并且在视觉方面开始变得越来越有用。然而，“经典”监督学习仍有许多未开发的应用，因此人们当然应该尽可能使用合成数据和监督学习。据说英伟达也正在积极开发 SSL。
早在 2000 年代中期，Geoff Hinton、Yoshua Bengio 和我就确信，我们能够训练非常大和非常深的神经网络的唯一方法是通过自监督（或无监督）学习。这也是吴恩达开始对深度学习感兴趣的时候。他当时的工作也集中在我们现在称之为自监督的方法上。
IEEE Spectrum：自监督学习如何促成具有常识的 AI 系统？常识能把 AI 系统带向人类水平的智能多远？
LeCun：我认为，一旦我们弄清楚如何让机器像人类和动物一样学习世界是如何运作的，人工智能就会取得重大进展：这主要是通过观察，并在观察中采取行动。我们了解世界是如何运作的，因为我们已经了解了世界的内部模型，该模型使我们能够填补缺失的信息，预测将要发生的事情，并预测我们行动的影响。我们的世界模型使我们能够感知、解释、推理、提前计划和行动。