Meta不仅是全球最大的社交网络公司 , 和当下最热门技术概念“元宇宙”的推行者 , 它同时也是人工智能(AI)研究的全球顶级公司之一 。
该公司在AI方面卓越研究成果的背后 , 必然有强大的算力支持 。 不过一直以来 , Facebook从未对外界公开展示过其算力究竟有多厉害 。
而在今天 , Meta公司突然对外宣布了其在打造AI超级计算机方面的最新进展 。
根据Meta此次公开透露的结果 , 其打造的超级计算机AIRSC , 目前算力在全球应该已经排到了前四的水平 。
这个情况已经足以令人非常震惊 。 毕竟 , 在算力方面能够和RSC相提并论的其它超级计算机 , 均由中国、美国、日本的国有研究机构运作——而RSC是前五里唯一来自于私营机构的超算系统 。
这还没完:这台超级计算机 , 还在以惊人的速度 , 变得更快、更强 。
Meta预测 , 到今年7月 , 也即半年之内 , RSC的算力将实现2.5倍的增长 。 另据专业机构HPCwire估计 , Meta的RSC超级计算机 , 其运行Linpackbenchmark的算力将有望达到220PFlops 。
如无意外 , RSC将成为名副其实的“全球最快AI超级计算机” 。
文章图片
AIRSC内部 , 图片来源:Meta
AI研发进入“超算”时代
首先需要回答一个问题:
什么样的AI研究 , 需要如此强大的超级计算机?
一般的模型 , 或许可以在一般的电脑或普通的数据中心里 , 用一块或是几块显卡就可以完成训练 。 而Meta正在研究的 , 是比目前的模型参数量要大得多 , 性能要求更高、更严格 , 训练花费时间更久的——超大模型 。
以识别有害内容为例:CV算法需要能够以更高的采样率 , 处理更大、更长的视频;语音识别算法需要在极大噪音的复杂背景下达到更高的识别准确度;NLP模型要能够同时理解多种语言、方言和口音 , 等等……
在过去 , 许多算法在跑分数据集上都得到了不错的成绩 。 然而 , Meta是一家几大洲十亿级别用户量的公司 , 它必须确保同一个模型投放到生产环境中能够最大限度保证普适性 。 所以 , 一般模型不够用了 , 现在要训练大模型 。
训练大模型 , 需要大算力——问任何一个从事大模型研究的人 , 你都会得到这样的答案 。 毕竟过去的训练任务用几周能够完成 , 可在今后 , 面对新的大模型 , 我们可等不起几年……
“在今天 , 包括识别有害内容等在内的许多重要的工作 , 都对于超大模型产生了极大的需要 , ”Meta在其新闻稿中写道 , “而高性能计算系统是训练这些超大模型的重要组件 。 ”
Meta此次发布的超级计算机AIRSC , 全称为AIResearchSuperCluster(人工智能研究超级计算集群) 。
虽然Meta在今天首次公开宣布推出这一系统 , 实际上RSC的前身版本最早在2017年就已经在Facebook公司内部投入生产使用了 。 当时 , Facebook团队采用了2.2万张英伟达V100TensorGPU组成了首个单一集群 。 该系统每天可以运行大约3.5万个训练任务 。
据HPCwire预计 , 这个基于V100GPU的前身版本 , 按照Linpackbenchmark的浮点计算性能应该已经达到了135PFlops 。 这个水平在全球超算排行榜Top500的2021年11月排名中 , 已经足以排到第三名了 , 也即其算力可能已经超越了美国能源部在加州Livermore运作的“山脊”(Sierra)超级计算机 。
不过 , 对于Meta来说 , 这还远远不够 。 他们想要的 , 是世界上最大、最快、最强的AI超级计算机 。
这台超算还必须要达到生产环境的数据安全级别 , 毕竟在未来 , Meta的生产系统所用的模型可能直接在它上面训练甚至运行 。
- ColorOS|国产系统不断进步,ColorOS 12这些功能体验真不错
- 安全公司|360 全面转型数字安全公司,周鸿祎:不会裁员
- 5g手机|如果微信实行年费48元,每年可以赚千亿,腾讯为何不这么做?
- 旗舰机|魅族手机推荐与避坑:旗舰机售价不到2000元,降维打击千元机!
- 游戏手机|质量最好是OV两家,品控质量做工非常不错,维修率比苹果还低
- 电池|微信大更新!突破九宫格,朋友圈可以发20张照片了 不过...
- 微软Windows11推广进入末期 后续可能不再免费升级
- 近日|长城坦克不造,国内大神团队却把“坦克100”打造出来
- 不同于发动机|特斯拉modely超车失败撞上路中间隔离带视频曝光
- 商家|不打烊的淘宝,陪你过一个“新”年