Percy Liang、李飞飞等百余位学者联名发布：「基础模型」的机遇与挑战( 三 ) 撰文|赵言

1.6理解的原理
文章从哲学角度出发，以实用主义、内在主义、参照主义为基础，重点讨论自然语言的情况，讨论了语言的理解问题，并得出结论：多模态很可能是基础模型理解语言的最可行战略。
2基础模型的应用
在众多可以应用基础模型的应用领域中，文章将重点关注三个学科——医疗保健、法律和教育，它们都是社会功能的基础。针对每个模型，文章讨论了基础模型为该领域带来的可能应用方向以及存在的各种问题。
2.1医疗保健

文章图片
基础模型的医疗应用场景
上图是医疗保健和生物医学的基础模型，它们的训练数据来自于医疗保健系统中的多模态数据，进而实现跨医疗保健和生物医学的各种任务。
与此同时，医疗保健和生物医学应用方面提出的独特挑战，推动了基础模型的进一步研究，例如在医疗保健和生物医学中整合多模态数据，以及遵守医学中的道德和法律规定(隐私、安全和可解释性等) 。
基础模型可以通过医疗服务提供者和医院改善对患者的护理，可以提高医疗服务提供者的效率和准确性，并促进生物医学研究，如发现新药物和疾病。在未来，研究方向将主要集中于多模态和模型的可解释性等方面。
2.2法律

文章图片
上图是美国法庭处理民事案件的各个步骤，基础可能会在每个阶段有所辅助。在这个过程中，需要处理不同模式的案件，并需要适应新的法院审理方式或法律条款。
基础模型可以通过提高法律服务质量和降低成本的方式来提高现有司法和法律服务的质量，并扩大法律服务的覆盖范围。但是法律的严谨性对AI模型提出了更高的要求，而且数据标注成本会非常的高。
2.3教育
基础模型已经开始提高一些具体的教育任务的性能，文中讨论的基础模型放在两个具体的任务上：(1)理解学生的错误观念；(2)通过指导提高学生的理解力。

文章图片
基础模型教育领域关键任务
上图说明教育的基础模型可以在多种数据源上进行培训，以学习教育所必需的能力:理解各种主题和不同的教学技术。这些基础模型可以以一种通用的方式应用于一系列任务和目标。
3基础模型的技术层面
本章旨在从技术层面讨论如何更好地构建和理解基础模型。按照研究的流程范式，将涉及到的关键技术问题分为三个角度。
模型内部角度：模型架构、训练和适配过程；
数据角度：数据的来源与数据项组成原理；
系统角度：根据已有的基础模型，做到基础模型的体系拓展、分布式转移，另外站在更高的系统层级，分析模型的安全性，抗恶意攻击能力和鲁棒性，以及模型的可解释问题。
3.1模型内部层面
1）模型的构建
为提高基础模型对下游应用场景的泛化适应能力，基础模型的架构就显得尤为重要。
模型必不可少的五个属性分别是表达能力、可扩展性、多模态性、记忆容量和组合性。
这五种属性，站在更高的智能从抽象层级上，精炼的概括了模型模拟人类智能的途径，表现力具体指模型网络结构可以灵活地捕获和表示各种信息，多模态指连接各种模式和领域的知识和数据，记忆力指模型可以储存大量积累的知识，组合性代表模型知识可以很好的泛化到新的环境、任务和环境中。
以上诸多研究内容被抽象为五个属性，对模型的研究可以从不同的维度切入，这些领域的进步将极大地蹄冻基础模型的综合表达能力的飞跃。