智源研究院|全球最大智能模型“悟道”首次落地：数字人+终端AI助手，支持NVIDIA GTX单卡机运行百亿大模型绘制|基本功|能力|个人|方案

悟道2.0，要怎么用起来？
连创“中国首个”和“世界最大”两项记录后，悟道大模型的落地应用成为业界关心的热点话题。
GPT-3的问世掀起了一股“炼大模型”的浪潮，去年10月，北京智源研究院集结中国产学界100多位AI专家联合攻关，在一年之内发布了1.75万亿级大规模预训练模型悟道2.0，超越GPT-3、Switch Transformer，成为全球最大万亿级人工智能大模型。

文章插图

时至今日，“产业应用”成为未来人工智能大模型时代的下一个赛点。
GPT-3早早开放了API供开发者使用。据OpenAI透露，截止今年3月，全球已有300多个APP采用了GPT-3技术，基于GPT-3的应用也有100多个；今年悟道2.0发布会上，智源研究院启动大模型产业生态建设规划，表示悟道大模型下一步将作为AI基础设施，像“发电厂”一样为不同行业、企业、个人开发者赋能。
9月24日，智源研究院承办2021中关村论坛“人工智能与多学科协同创新”平行论坛，围绕“人工智能大模型时代学科交叉和可持续发展”展开深入交流。会上，智源研究院学术副院长、清华大学教授唐杰公布了悟道2.0产业应用的最新进展，并发布了一系列技术创新成果。
唐杰教授表示，悟道大模型应用技术正在像“低门槛+高效率+高情商”三个方向努力，能够满足不同行业和企业实现规模化、产业化的应用需求，悟道正在从最大向“更好用”迈进。

文章插图

此次技术创新包括：“悟道”大模型开发平台、大模型高效推理工具包BMInf、全新升级的AI文图绘画大师CogView和实现大模型群聊的对话模型EVA。
大会现场还发布了“悟道2.0”赋能产业应用案例：冬奥会语音播报数字人和OPPP小布助手问答系统。小布助手是OPPO旗下开放式对话虚拟语音助手，OPPO小布技术总监杨振宇在现场表示，融合悟道大模型的生成式问答系统，解决了小布助手开放式对话的长尾问题，单条回答建设成本降低99%。

三大发布，高效调用百亿大模型“悟道”开放平台面向所有中小型企业、行业应用企业和IT领军企业提供一站式服务，包括数据服务、在线训练、模型调优、模型评测、在线部署，可通过API开放接口一键调用。

文章插图

需求多样化与场景碎片化是AI落地普遍存在的难点，智源研究院针对不同企业主体通过API既降低了应用门槛，也满足了特定化需求。正常来讲，百亿级大模型训练一次通常需要512张A100卡，约合人民币六千万。而对于数据不足、算力不足的中小企业，悟道开放平台提供十亿级别模型的在线训练与微调。唐杰教授表示悟道开放平台在快捷易用的同时，更注重解决规模化、产业化AI应用问题。目前平台提供了写诗、问答、绘画等7种API功能。

文章插图

解决可用问题之后，是如何帮助企业实现降本增效。悟道发布的开源大模型高效推理工具包BMInf，实现了“一卡顶四卡”，支持在低配置的NVIDIA GTX 1060单卡机上运行百亿大模型。
智源研究团队对原CPM2模型进行了基于INT8优化的微调，使得模型参数的存储空间从40G压缩到了10G，且性能基本保持不变。CPM2是为提高大模型精度和效率，研发的从模型、训练、微调到推理的全链路高效训练框架。此外，针对部分显卡显存不足的情况，工具包通过显存和内存间的调度与优化，实现了低性能显卡的大模型推理。
唐杰教授表示，原CPM2模型现已升级到CPM2.1，新模型通过持续学习，引入基于生成的预训练任务，在保留补全能力的条件下大幅提升了文本生成能力。