金榕|?阿里达摩院金榕：从技术到科学，中国 AI 将何去何从？( 三 ) 法拉第|机器学习|梅隆大学|达

那时候，研究者非常强调理解，好的结果应该是来自于我们对它的深刻理解。研究者会非常在乎有没有好的理论基础，因为要对算法做好的分析，需要先对泛函分析、优化理论有深刻的理解，接着还要再做泛化理论…大概这几项都得非常好了，才可能在机器学习领域有发言权，否则连文章都看不懂。如果研究者自己要做一个大规模实验系统，特别是分布式的，还需要有工程的丰富经验，否则根本做不了，那时候没有太多现成的东西，更多只是理论，多数工程实现需要靠自己去跑。
但是深度学习时代，有人做出了非常好的框架，便利了所有的研究者，降低了门槛，这真是非常了不起的事情，促进了行业的快速发展。今天去做深度学习，有个好想法就可以干，只要写上几十行、甚至十几行代码就可以跑起来。成千上万人在实验各种各样的新项目，验证各种各样新想法，经常会冒出来非常让人惊喜的结果。
但我们可能需要意识到，时至今日，深度学习已遇到了很大的瓶颈。那些曾经帮助深度学习成功的好运气，那些无法理解的黑盒效应，今天已成为它进一步发展的桎梏。

下一代AI的三个可能方向
AI 的未来究竟在哪里？下一代 AI 将是什么？目前很难给出明确答案，但我认为，至少有三个方向值得重点探索和突破。
第一个方向是寻求对深度学习的根本理解，破除目前的黑盒状态，只有这样AI才有可能成为一门科学。具体来说，应该包括对以下关键问题的突破：

对基于DNN函数空间的更全面刻画；
对SGD（或更广义的一阶优化算法）的理解；
重新考虑泛化理论的基础。

第二个方向是知识和数据的有机融合。
人类在做大量决定时，不仅使用数据，而且大量使用知识。如果我们的AI能够把知识结构有机融入，成为重要组成部分，AI势必有突破性的发展。研究者已经在做知识图谱等工作，但需要进一步解决知识和数据的有机结合，探索出可用的框架。之前曾有些创新性的尝试，比如Markov Logic，就是把逻辑和基础理论结合起来，形成了一些有趣的结构。
第三个重要方向是自监督学习和小样本学习。
我虽然列将这个列在第三，但却是目前值得重点推进的方向，它可以弥补AI和人类智能之间的差距。
今天我们经常听说 AI 在一些能力上可以超越人类，比如语音识别、图像识别，最近达摩院 AliceMind 在视觉问答上的得分也首次超过人类，但这并不意味着 AI 比人类更智能。谷歌2019年有篇论文 on the Measure of intelligence 非常有洞察力，核心观点是说，真正的智能不仅要具有高超的技能，更重要的是能否快速学习、快速适应或者快速通用？
按照这个观点，目前AI是远不如人类的，虽然它可能在一些方面的精度超越人类，但可用范围非常有限。这里的根本原因在于：人类只需要很小的学习成本就能快速达到结果，聪明的人更是如此——这也是我认为目前AI和人类的主要区别之一。
有一个很简单的事实证明 AI 不如人类智能，以翻译为例，现在好的翻译模型至少要亿级的数据。如果一本书大概是十几万字，AI大概要读上万本书。我们很难想象一个人为了学习一门语言需要读上万本书。
另外有意思的对比是神经网络结构和人脑。目前AI非常强调深度，神经网络经常几十层甚至上百层，但我们看人类，以视觉为例，视觉神经网络总共就四层，非常高效。而且人脑还非常低功耗，只有20瓦左右，但今天GPU基本都是数百瓦，差了一个数量级。著名的GPT-3跑一次，碳排放相当于一架747飞机从美国东海岸到西海岸往返三次。再看信息编码，人脑是以时间序列来编，AI是用张量和向量来表达。