Percy Liang、李飞飞等百余位学者联名发布：「基础模型」的机遇与挑战( 二 ) 撰文|赵言

语言是大多数人类交流和互动的基础，是人类思维的核心。下图是人类语言学习的基础模型示意：

文章图片
基础模型的语言数据
文章从自然语言的属性展开，分析了基础模型在NLP领域所产生的影响，即基础模型在NLP领域表现出了强大的通用性和适用性。文章进一步探讨了语言变体和多语种的问题，并对未来模型的高效理解、学习人类语言学习的动态方法等研究方向做了深入探讨。
1.2视觉能力
视觉是生物体理解其环境的主要模式之一，但是将同样的能力转移到机器上非常具有挑战性，下图表示通视觉基础模型视觉知识的提炼。

文章图片
视觉基础模型具备一种潜力，即提取原始多模态感知信息并转化为视觉知识，可有效支持传统感知任务，并能够在具有挑战性的高阶技能方面取得新进展。
文章概述了计算机视觉领域的关键能力和方法，阐明了计算机视觉领域的几大关键任务，包括：语义理解任务，含有几何、运动等元素的三维任务，多模态集成任务等，基础模型在这些任务中可以起到重要作用。
但文章也同时指出基础模型处于初级阶段，可能会整合和影响视觉模型，如面向医疗保健和家庭环境的环境（ambient）智能领域；移动和消费领域；可互动的智能体中领域等。未来发展大规模动态视觉输入的高效建模，将视觉有效推广到自然场景和人类层面的技术将是前景。
1.3机器人
机器人研究中的一个长期挑战是赋予机器人处理现实世界环境中遇到的无数不同情况的能力，基础模型在机器人方面的应用关键挑战在于数据采集，安全性和鲁棒性方面，如图所示，开发通用机器人的关键是根据任务需求建立模型，基础模型具备可以使解决新任务的学习过程更加高效和可靠。

文章图片
基础模型在机器人应用的关键挑战
为了基础模型的顺利部署，一方面，必须收集足够大小和多样性的机器人数据集，这些需要合适的机器人通过传感器感知环境状态和顺利学习，另一方面还要需要合理机制在确保现实世界中合理安全地部署学习过程。
1.4推理和搜索
推理和搜索一直是人工智能历史上的一个中心主题，许多推理问题造成了无限的搜索空间，系统必须处理各种各样的开放式选择。

文章图片
搜索推理任务
文章从当前的任务展开，详细阐述了通用模型的优势，即人们可以快速建立最优决策的分布模型，模型可以不同的在任务和领域之间传递和共享，对于学习深层的语义信息帮助极大等。
但是由于高质量数据集的稀缺，对模型的通用性提出了挑战，尤其是对于提高高级推理能力更是难题，此外，模型的适用性，鲁棒性等等也是需要解决的问题。
1.5交互
随着基础模型开发的成熟，模型的容量将不断扩大，它们的多功能性最终可能导致我们与AI交互的方式发生根本性变化。

文章图片
基础模型与人的交互过程
基础模型将通过降低难度为开发者带来重大机遇，降低构建AI应用的门槛，并提高应用程序的交互上限。基础模型还可以增强用户的能力，促进实际交互形式的多样化，甚至可能模糊开发者和用户之间的界限，允许用户积极参与模型的开发过程，优化交互接口。