自深度学习之后|大模型如何成功落地?( 二 )


二是配套平台、工具 , 降低应用门槛 , 能够全流程、端到端支持整个落地应用 。
三是需要有生态依托 , 以生态促创新 。
自深度学习之后|大模型如何成功落地?
文章图片
百度飞桨文心全景图
与之对应地 , 在本次大会上百度飞桨文心全景图全面升级 。
●在模型层 , 一次性发布10个大模型 , 形成了涵盖基础大模型、任务大模型、行业大模型的三级体系 , 全面满足产业应用需求;
●配套工具与平台层 , 发布大模型开发套件、API和内置了文心大模型能力的EasyDL和BML开发平台 , 全方位降低应用门槛;
●共创共享飞桨生态 , 同时建设大模型创意和探索社区旸谷 , 让更多人零距离接触到最先进的AI大模型技术 。
可以看出 , 百度的思路不是一个大模型通吃所有问题 , 而是构建了更适配应用场景的模型体系 。 飞桨文心大模型最基础的是通用基础大模型 , 基础大模型具有学习的数据、知识量大 , 参数规模大的特点 , 通用性最高 , 但直接使用基础模型往往会与场景上苛刻的应用需求会有一定差距 , 所以在通用模型基础上 , 百度增加了两类模型:任务大模型和行业大模型 。
任务大模型主要面向特定任务 , 如NLP领域的信息抽取、对话、搜索等 , 以及视觉领域的商品图文搜索 , 文档图像理解等 。
行业大模型基于通用的文心大模型挖掘相关的行业数据 , 再融合学习行业特有的大数据和知识 , 进一步提升大模型对行业应用的适配性 。 行业大模型的关键点在于引入行业里特有的知识和特有的数据 , 以及和拥有深度行业专家Know-how认知的专家们 , 一起针对行业设计相应的预训练任务 , 将通用模型真正变成对于行业来说效果更适用的模型 。
本次文心·行业大模型系业界首发 , 在能源电力和金融领域 , 飞桨文心大模型分别联合国家电网和浦发银行研发电力行业NLP大模型“国网-百度·文心”以及金融行业NLP大模型“浦发-百度·文心” , 通过引入行业特色数据和知识 , 在电力、金融相关领域取得显著的效果提升 。
三层模型组合 , 使得文心大模型既有很强的基础大模型、又有面向任务问题的专有大模型、还有更适配行业场景的行业大模型 , 具有能够结合场景落地的全面模型能力 。
据了解 , 飞桨文心大模型已通过飞桨开源开放平台、百度智能云等赋能到工业、能源、金融、通信、媒体、教育等各行各业 , 个人、企业开发者数量超6万 。
百度大模型实践
从百度内部视角 , 文心大模型在已经有广泛实践 , 包括搜索、信息推荐、对话系统、智能音箱、自动驾驶等场景 , 都得到了验证 。
“大模型已经能够很好地发挥应用价值 。 而且应用大模型之后 , 比原来的技术方案效果更好 。 我们也有数据证明 , 对于同样的大模型技术来说 , 模型的体量、规模增加的时候 , 效果是有提升的 。 ”吴甜说道 。
大模型训练的挑战主要来自于“大” , 模型参数规模巨大 , 且不同模型和算力平台特性的差异 , 给大模型训练带来现实的挑战 。 飞桨分布式架构统筹考虑这些差异性问题 , 实现了端到端自适应分布式架构 , 根据模型和算力平台的特点 , 自动选择并行策略 , 自动调优 , 既具备通用性 , 又兼顾了高效性 。
在推理层面 , 大模型面临的挑战更大 。 飞桨通过针对大模型的压缩、推理、服务化全流程部署方案 , 帮助大模型更好落地 。 整体方案通用且可扩展 , 能广泛支持不同种类的模型结构 , 实现高速推理 , 目前已支撑了如自然语言理解、对话、跨模态生成等大模型的实时在线应用 。