Percy Liang、李飞飞等百余位学者联名发布：「基础模型」的机遇与挑战撰文|赵言

文章图片
撰文|赵言，秦红川，程晨
校对|贾伟
随着BERT、GPT-3、DALL·E等超大模型的兴起，自监督学习+预训练模型微调适配方案，逐渐成为主流。这种范式会先在超大规模海量数据上进行自监督的模型预训练，然后适配到广泛的下游任务。
自监督训练使得基础模型（FoundationModels）对显式注释的依赖性下降，也带来了智能体基本认知能力（例如，常识推理）的进步。
但与此同时却也导致了基础模型的「涌现」与「同质化」特性。所谓「涌现」，意味着一个系统的行为是隐性推动的，而不是显式构建的；所谓「同质化」，即基础模型的能力是智能的中心与核心，大模型的任何一点改进会迅速覆盖整个社区，其隐患在于大模型的缺陷也会被所有下游模型所继承。

文章图片
目前AI研究的涌现性和同质化特征
【Percy Liang、李飞飞等百余位学者联名发布：「基础模型」的机遇与挑战】自监督学习+微调的方案，作为一种研究范式，其带来的利弊在当下的人工智能研究中日益凸显。如何才能更好地研究这种范式（以及这些模型）呢？
针对这一问题， PercyLiang ，李飞飞等一众学者，根据这些模型的中心地位和不完备性，将其统一命名为基础模型（FoundationModels),并建立了基础模型研究中心（CRFM,CenterforResearchonFoundationModels),以探索基础模型面临的机遇和挑战。
近期， PercyLiang、李飞飞等人将为此举办一场WorkshopofFoundationModels(8月23~24日) 。在研讨会之前， 100多位学者联名发表了一份200多页的研究综述《OntheOpportunitiesandRiskofFoundationModels》。

文章图片
关于基础模型的核心观点，可关注8月23日到24日， HAI和CRFM这两个组织发起的关于基础模型的workshop ，讨论基础模型的机遇、挑战、限制和社会影响。
论坛链接：https://crfm-stanford.github.io/workshop.html

文章图片
本文为这篇综述的解读文章，按照原文体系结构重新调整和梳理了基础模型的时代问题，旨在帮助领域科研工作者更好的研究、部署以及形成安全可靠的应用提供借鉴和研究参考。
限于长度，本文对原文内容有删改。
论文研究路线按照四个部分，分别阐述了基础模型的能力、应用领域、技术层面和社会影响四个方面，层次结构组织如下：
能力：语言、视觉、机器人学、推理、交互、理解等；
应用：医疗、法律、教育等；
技术：模型内部角度(建模、训练、适应、评估) ，模型输入输出角度（数据），模型的系统性分析角度（数据、安全与隐私、稳健性、理论、可解释性）
社会影响：不平等、滥用、环境、法规、经济、伦理道德等。

文章图片
文章组织结构
论文链接：https://arxiv.org/pdf/2108.07258.pdf
1基础模型的能力
基础模型没有一个精确的技术定义，而是很多大型模型的代称，它们唯一的共同特征是「自我监督性」。基础模型在学习过程中会体现出来各个不同方面的能力，这些能力为下游的应用提供了动力和理论基础。本文会讨论这些基础模型的能力，以及这些能力对于下游任务的影响、优势和局限性，并给出未来可能的研究重点方向。
1.1语言能力