想玩GPT-3申请不到？UC伯克利让你免费在线玩，最快10s出结果( 二 ) 羿阁衡宇发自凹非寺量子位|公

让我们邀请读者在阅读这篇文章后，关注我们的公号吧。
21.7秒后，网站和我们一起面带热情的微笑，暗（ming）示（shi）你记得关注量子位（手动狗头）。

文章图片
网站背后的技术依托要想搞清网站背后的原理，首先，让我们先了解一下它为什么会选择OPT-175B做原型。
OPT-175B ，是MetaAI开源的预训练语言模型，共有1750亿个参数，今年5月开源的时候，简直引发了AI研究社区的大轰动。

文章图片
原因是它的效果完全不输GPT-3 ，还弥补了OpenAI不够open的问题，有时候被大家戏称为GPT-3的免费版本。

文章图片
△用14个NLP任务对GPT和OPT进行测试，平均精度相差不大不仅从完整模型到训练代码、部署代码完全开放， OPT-175B运行时的碳消耗更是连GPT-3所需的1/7都不到，属实是非常环保省能了。
可以说， OPT-175B的开源增加了大模型开发的开放性。
而这个神奇网站背后的技术Alpa ，则堪称是OPT-175B的“加强免费版” 。
Alpa ，是一个专门用于训练和服务大规模神经网络的系统。
此前，无论是OpenAI的GPT-3 ，还是MetaAI的OPT-175B ，都已经实现了将神经网络扩展到数千亿参数。
但是呢，神经网络规模越大，训练和服务他们的分布式系统技术就更复杂。

文章图片
现有的模型并行训练系统，要么要求用户手动创建一个并行化计划，要么要求用户从有限的模型并行化配置空间中自动生成一个。
相对来说有点复里复杂的，而且还做不到在分布式计算设备上扩展复杂的DL模型。
Alpa的优势在于，仅通过几行代码，就能实现大规模分布式训练和服务的自动并行化。

文章图片
具体来说， Alpa的突破之处有以下几点：
专为大型模型设计：Alpa在分布式集群上实现了数十亿参数的训练模型的线性缩放，专为训练和服务于GPT-3等大型模型而设计。没有硬件限制：不依赖最新一代的A10080GBGPU或花哨的InfiniBand硬件，凭借自家的GPU集群即可使用OPT-175B ，特别是在40GBA100、V100等老一代GPU上也能提供更灵活的并行性服务。
文章图片
灵活的并行策略：Alpa能够根据集群设置和模型架构，自动找出适当的模型并行策略。而且Alpa由Jax、XLA和Ray等开源、高性能和生产就绪的库提供支持，和ML生态系统集成得比较紧密。
网站的建立，就是团队在Alpa的基础上，根据MetaAI已开源的OPT-175B ，做了一个类似OpenAIGPT-3的服务。
运行成本更低，并行化技术更先进，所以可以做到免费供所有人使用。
当然，网站使用受Alpa开源许可的约束。同时因为是针对OPT-175B的，也受到相应的约束，也就是说，这个网站玩玩可以，真要应用，只能以研究为目的。
值得一提的是，有关这篇系统的论文《Alpa:AutomatingInter-andIntra-OperatorParallelismforDistributedDeepLearning》已经被收录进计算机系统领域顶会OSDI2022 。

文章图片
并且，该团队还在国际机器学习大会ICML2022上，做了关于整个大模型技术栈的tutorial 。