以造出世界上最大加速器芯片CS-2 Wafer Scale Engine闻名的公司Cerebras宣布,他们已经在利用“巨芯”进行人工智能训练上走出了重要的一步,训练出了单芯片上全世界最大的NLP(自然语言处理)AI模型 。
该模型具有20亿个参数,基于CS-2芯片进行训练 。
这块全世界最大的加速器芯片采用7nm制程工艺,由一整块方形的晶圆刻蚀而成 。
它的大小数百倍于主流芯片,具有15KW的功率,集成了2.6万亿个7nm晶体管,封装了850000个内核和40GB内存 。
文章图片
图1 CS-2 Wafer Scale Engine芯片
单芯片训练AI大模型新纪录
NLP模型的开发是人工智能中的一个重要领域 。利用NLP模型,人工智能可以“理解”文字含义,并进行相应的动作 。OpenAI的DALL.E模型就是一个典型的NLP模型 。这个模型可以将使用者的输入的文字信息转化为图片输出 。
【显卡|85万核心的世界最大AI芯片打破记录:要"杀死" GPU!】比如当使用者输入“牛油果形状的扶手椅”后,AI就会自动生成若干与这句话对应的图像 。
文章图片
图:AI接收信息后生成的“牛油果形状扶手椅”图片
不止于此,该模型还能够使AI理解物种、几何、历史时代等复杂的知识 。
但要实现这一切并不容易,NLP模型的传统开发具有极高的算力成本和技术门槛 。
实际上,如果只讨论数字,Cerebras开发的这一模型20亿的参数量在同行的衬托下,显得有些平平无奇 。
前面提到的DALL.E模型具有120亿个参数,而目前最大的模型是DeepMind于去年年底推出的Gopher,具有2800亿个参数 。
但除去惊人的数字外,Cerebras开发的NLP还有一个巨大的突破:它降低了NLP模型的开发难度 。
「巨芯」如何打败GPU?
按照传统流程,开发NLP模型需要开发者将巨大的NLP模型切分若干个功能部分,并将他们的工作负载分散到成百上千个图形处理单元上 。
数以千百计的图形处理单元对厂商来说意味着巨大的成本 。
技术上的困难也同样使厂商们痛苦不堪 。
切分模型是一个定制的问题,每个神经网络、每个GPU的规格、以及将他们连接(或互联)在一起的网络都是独一无二的,并且不能跨系统移植 。
厂商必须在第一次训练前将这些因素统统考虑清楚 。
这项工作极其复杂,有时候甚至需要几个月的时间才能完成 。
Cerebras表示,这是NLP模型训练中“最痛苦的方面之一”,只有极少数公司拥有开发NLP所必要的资源和专业知识 。对于人工智能行业中的其他公司而言,NLP的训练则太昂贵、太耗时且无法使用 。
但如果单个芯片就能够支持20亿个参数的模型,就意味着不需要使用海量的GPU分散训练模型的工作量 。这可以为厂商节省数千个GPU的训练成本和相关的硬件、扩展要求,同时这也使厂商不必经历切分模型并将其工作负载分配给数千个GPU的痛苦 。
Cerebras也并未仅仅执拗于数字,评价一个模型的好坏,参数的数量并不是唯一标准 。
比起希望诞生于“巨芯”上的模型“努力”,Cerebras更希望的是模型“聪明” 。
之所以Cerebras能够在参数量上取得爆炸式增长,是因为利用了权重流技术 。这项技术可以将计算和内存的占用量解耦,并允许将内存扩展到足以存储AI工作负载中增加的任何数量的参数 。
- Intel|Intel Arc A380独立显卡配AMD处理器:性能瞬间蒸发15%
- 显卡|都是线下机,价格也差不多,荣耀70还是OPPO Reno8?
- 苹果|RTX 40系显卡曝光:性能怪兽功耗更魔幻
- 显卡|显卡爆降,矿工开始低价卖显卡,3080Ti矿卡2699元
- 显卡|实测三大3A游戏!微星海皇戟X的表现到底如何?
- 显卡价格雪崩,开始直播摆摊卖了
- 显卡|厂商狂清显卡库存:均价降低10%以上,便宜了还是有人买
- 显卡|显卡如洪水一般开始泄洪,很多显卡跌破首发价格。
- NVIDIA|RTX 4080/4070显卡大曝光:意外缩水
- Intel|首发搭载Intel锐炫A380显卡:机械师推出未来战舰III台式机