invent|亚马逊第三代服务器芯片来了！机器学习负载性能飙3倍，能耗降60%

文章插图
芯东西（公众号：aichip001）
作者 | 心缘
编辑 | 漠影
芯东西12月1日报道，今日凌晨，云计算领域最受瞩目的年度技术盛会AWS re:Invent在拉斯维加斯举行。
这是时隔两年，re:Invent再度在线下举办。今年也是AWS re:Invent十周年和全球最大云服务商亚马逊云科技（AWS）的十五周年。
AWS首席执行官Adam Selipsky在主题演讲中首先分享了AWS的最新成绩，包括Amazon S3服务存储了3万亿多份文件、AWS提供逾200种服务、在全球有数百万客户等。
期间，AWS发布其第三代自研服务器处理器Graviton3、基于AWS自研云端AI训练芯片的加速实例Trn1、让开发小白也能轻松上手机器学习预测模型的Amazon SageMaker Canvas、用于轻松构建数字孪生的AWS IoT TwinMaker等一系列重磅新品。
值得一提的是，这是Adam Selipsky接任AWS首席执行官一职以来，首次在线下发表公开演讲。在原AWS负责人Andy Jassy接替Jeff Bezos担任亚马逊CEO后，曾为AWS效力11年的Selipsky成为AWS新的掌舵人。
一、Graviton3：机器学习负载性能提高3倍AWS首先推出其第三代基于Arm的自研服务器处理器Graviton3。
相比上一代处理器，Graviton3的计算性能可提高25%，浮点和加密工作负载性能提高2倍，机器学习工作负载性能提高3倍，其消耗能源将减少60%。

文章插图
Graviton3处理器还包括一项新的指针身份验证功能以提高安全性。AWS正与操作系统及编译器开发人员合作，以增加对该功能的额外支持。
AWS在2018年底推出其首款自研Graviton处理器，2019年推出第二代Graviton2，如今AWS客户可使用12种由Graviton2驱动的不同实例。
新款Graviton3芯片将为AWS即将推出的EC2 C7g实例提供支持，适用于HPC、批处理、电子设计自动化（EDA）、媒体编码、科学建模、广告服务、分布式分析和基于CPU的机器学习推理等计算密集型工作负载。
C7g实例也是云产业中第一个配备DDR5内存的实例。除了耗电量更少外，其内存将提供比上一代EC2实例中使用的DDR4内存高50%的带宽。
在网络方面，C7g实例将提供高达30Gbps的网络带宽和弹性结构适配器（EFA）支持。目前AWS正在运行C7g实例的预览。
Selipsky说，现在几乎每个工作负载都有超过475种不同的实例类型可用。

文章插图
二、推出Trn1新实例，加速机器学习模型训练除了服务器芯片外，AWS早在2019年就发布其自研云端推理芯片，并于2020年推出其专为机器学习模型设计的自研云端训练芯片Trainium。
今日，AWS公布其由Trainium芯片提供支持的最新实例Trn1。“我们希望它能为在云端训练深度学习模型提供最佳的性价比，并在EC2上提供最快的性能。”Selipsky说。
Trn1是第一个每秒带宽高达800千兆字节的EC2实例，适用于大规模、多节点分布式训练用例，包括图像识别、自然语言处理、欺诈检测和预测等等。

文章插图
Selipsky谈道：“我们可以将这些与Ultra集群联系起来，这些集群由数万个与兆字节规模网络互联的训练加速器组成。这些训练Ultra集群由强大的机器学习超级计算机提供支持，用于快速训练有数万亿参数的最复杂、最深的学习模型。”
早在2014年，亚马逊就已成立芯片研发部门，并于次年收购以色列芯片设计公司Annapurna Labs。迄今AWS已公布其三个系列的自研芯片，除了前文所述的Arm服务器芯片、用于机器学习加速的云端训练及推理芯片之外，还有替CPU分担工作负载的AWS Nitro系统芯片。