NVIDIA扩大AI推理性能领先优势，在x86和Arm服务器上皆取得佳绩最新一轮的MLPerf推论基准（V

最新一轮的MLPerf推论基准（V1.1）于北京时间9月23日公布， NVIDIA在本轮测试中再次占据主导地位，取得了较好成绩。
自2018年年初以来， NVIDIA一直主导着MLPerf基准（训练和推理），连续三次在推理测试中创造性能和能效纪录。

文章图片
（来源：NVIDIA官网）
据了解， MLPerf是国际最具影响力的AI性能基准评测，在2018年由AI行业的领导者所创办，现由2020年12月成立的非盈利性机器学习开放组织MLCommons联盟管理。
“MLCommons有一个明确的使命——加速机器学习创新。我们很高兴能在MLPerf的基础上继续发展，并通过全球的合作伙伴，扩大其范围和影响。 ”MLCommons联盟主席彼得?马特森（PeterMattson）说道。
MLCommons的创始成员包括：

文章图片
（来源：MLCommons官网）
其他成员目前还有：

文章图片
（来源：MLCommons官网）
为了始终站在行业前沿， MLCommons会定期进行测试并添加能够代表当前AI领域水平的新工作负载。 MLPerf推论是一个完整的系统基准，测试机器学习模型、软件和硬件，提供了公平的竞争环境，推动整个行业的创新。
与之前的MLPerf推理类似，本次测试提交内容包括两个部分：封闭式和开放式。封闭式提交使用相同的参考模型，以确保跨系统公平竞争；而开放式的参与者则被允许提交各种模型。
推理是指计算机通过AI软件使用深度学习模型来对对象进行识别或预测，从而发现人类所无法捕捉的结果。
根据MLCommons发布的结果， NVIDIAAI平台驱动的系统在全部7项推理性能测试中都位居前列。 NVIDIA是唯一取得所有MLPerf测试结果的公司。
“NVIDIA在MLPerf测试中运行数据中心和边缘的每个工作负载、每个场景、每个用例。我们是唯一这样做的公司。 ”NVIDIA高级产品经理大卫·萨尔瓦托（DavidSalvator）说。

文章图片
（来源：NVIDIA官网）
值得注意的是，这是Arm服务器首次参与的测试。
Arm架构正凭借不断增长的能效性能和软件生态系统占据着世界各地越来越多的数据中心。
在本次的一项测试中， Arm服务器的性能超过了类似配置的x86服务器，同时其他测试两者提供的性能也几乎相同。
“最新推理结果表明， ArmCPU和NVIDIAGPU驱动的Arm系统已经能够应对各种AI工作负载。 ”Arm高性能计算和工具高级总监大卫·莱孔伯（DavidLecomber）说道。

文章图片
（来源：NVIDIA官网）
本次测试， 7家OEM厂商提交了22个GPU加速的平台，大多数都是NVIDIA认证系统。
与上一次的MLPerf推理基准测试相比， NVIDIA提升了高达20%的性能和15%的能效。据了解， NVIDIA能够取得如此成绩的一个关键是其完整的软件栈。该软件栈仍旧处在不断改进中。 NVIDIA会将这些代码加入到自己的深度学习框架中。
MLPerf给软硬工程师设计不同场景的AI平台搭建了一个良性生态。
在采购设备时我们需要有一个衡量性能的基准，否则，就难以对产品的价格有一个合理的判断。这个道理也可用于运行AI应用程序的服务器系统。这就是MLPerf基准测试存在的意义。
本轮测试中大多数系统在短短5个月内改进了5%~30% ，有一些提交的内容甚至改进了两倍以上，这表明软件优化的价值将对AI工作负载产生了实际影响。在AI计算平台的选择方面， MLPerf基准测试给用户提供了重要指导。