盘古|6个月火速炼成千亿参数大模型！背后是披荆斩棘的华为云哥哥们芯片|五朵云|手机业务|徐直军

金磊发自凹非寺量子位报道 | 公众号 QbitAI6个月的时间为约定，他们就这样硬生生地打造了个全球领先——华为云盘古大模型：业界首个千亿级生成与理解中文NLP大模型。业界最大的CV大模型。

文章插图
而在这场攻坚战中，华为云人工智能领域首席科学家田奇和团队成员担起了重担。田奇在学术圈可以说是位老将，但当时的事实却是，他在华为云任职才刚刚满半年。并且面临的还是“首个”“最大”级别的挑战。很重要，一定要“啃”下来。这是田奇在心中默默许下的承诺。大模型是趋势，更是必争的高地时间线先拉回到2018年。当时的预训练模型，可以说是成功激活了深度神经网络，以及对大规模无标注数据的自监督学习能力。它一定程度上打开了深度学习模型规模与性能齐飞的局面（尤其是自然语言处理）。国际巨头们在尝到预训练模型带来的“甜头”之后，开始对它展开了激烈的竞争，竞相追逐模型规模和性能的新高度。例如OpenAI的GPT、GPT-2；谷歌的BERT更是惊艳四座，将自然语言处理推向了一个前所未有的新高度。更是被当时的学术界、媒体评价为“开启了NLP新时代”。而在短短两年时间后，OpenAI在2020年发布的GPT-3，参数量已经达到了惊人的1750亿，其能力更是不言而喻了。……当时，AI对企业的渗透率逐年提升，正在加速进入千行百业。而华为云也早已将AI作为重要赛道。但AI的短板也越发地明显起来——AI应用的碎片化。简单来说，就是团队开发了一个AI模型，但在应用过程中，往往会因为场景的多样性、复杂性，无法达到“以一敌十”的效果。而大模型所体现出来的惊艳效果，正是强悍的自我学习、应万变的能力。大模型正在成为AI发展趋势，是必争的高地，“需要且必要”。于是，华为云盘古大模型团队开始“汇聚英才”，初始团队个个都是NLP、CV的技术专家，同时还集结了一些外部合作伙伴和高校的力量。这些人最终成为了华为云盘古大模型最为中坚的力量。不过在此之后，第二个问题也随之而来——该怎么做？当时大模型在国内外的情况是：国外对NLP大模型的关注度较高，而且已经取得了较好的成绩；但国内外对CV方面的大模型关注度都不高。基于这样的一个现状，田奇团队很快便找到差异化的突破口：从CV着手，与NLP并行；二者结合语言、图像，搞多模态；最后还有一个科学计算。当然，大模型四个大方向的制定，也是以华为云自身业务为出发点。不难看出，田奇团队要打造的大模型，不再是一个方向的“单项选手”，而是全能型的那种。也正是由于打造大模型的必要性，以及打法的差异化，2020年11月，“华为云盘古大模型”的设想在内部立项成功！……好的开局已经铺设好，但接下来的路才是攀峰的开始。虽说得益于华为在AI领域已有的功底：左手一个CANN算子（异构计算框架），右手MindSpore （全场景AI计算框架）和ModelArts（一站式AI开发平台），工程方面的挑战并没有成为最大的阻力。反倒是那些非技术问题，成为了团队最大的压力。他们面临的第一个困难，便是“与时间赛跑”。从国外的BERT到GPT-3，以及它们的各种“衍生品”；再到国内友商们在大模型上的发力。很明显的一个趋势是，参数规模在不断扩大、能力在大幅提升，而迭代的速度却越来越快。正因如此，留给他们打造盘古大模型的时间是真的不多，而且一开始田奇团队人数也并不充裕。为了解决这个问题，田奇给他的团队成员们封了一个称号——特战队员：我们在做NLP、CV和多模态大模型的时候，团队成员的身份是会互换的。比如一个CV专家，可能也会去参与NLP和多模态大模型的开发，甚至他的CV知识都会灵活运用到其它领域中。而且在后期，这些技术专家们还需要更长远地去考虑商业化模式方面的问题。这还不算完，在处理诸如医疗方面的问题时，团队成员还得跟医学等行业专家“登门请教”。因为唯有如此，才能让大模型在应用的过程中拿捏得住。一人多用，是有种特战队员的意思了。除了时间，数据和资源又是一道大坎。毕竟要训练大模型，数据是必不可缺的要素；而训练，又需要消耗大量的算力。比如训练一个千亿参数的盘古NLP大模型，可能需要2000块v 100甚至更多的机器，一起跑上5、6个月。为此，田奇团队采取的对策，总结为一个词就是——合作。例如数据方面，他们便找到了气象局等合作伙伴；资源、算力方面，又寻求与鹏城实验室进行合作。但可想而知其间过程的复杂，谈下来合作的难度，定然不会是一蹴而就的事情。……就这样，零星的几个人为了一个共同的目标，排除万难地熬过了这样的大半年时间。是上阵的时刻了2021年4月25日，这是属于田奇和“特战队员”们的高光时刻。在这一天，一年一度的华为开发者大会（HDC.Cloud）隆重召开，余承东也前来站台。但纵观整场发布会，主角之一就是田奇和团队成员们打造的华为云盘古大模型。“Hi，盘古”，这一声久违了的唤醒，终于让田奇在公众面前说了出来。