GPU|NVIDIA RESEARCH 为多个多芯片 GPU 引擎设计了一个课程( 四 )


所有这些研究都强烈地表明了 Nvidia 的 AI 优化未来 GPU 会是什么样子 。 需要提供最佳性价比的 HPC 变体将有一个、两个甚至四个 GPU 小芯片和链接到 HBM 内存的 MSM , 而 AI 变体将有一个、两个甚至四个 GPU 小芯片 , 其中 MSM 具有大量 L3 缓存和更多 HBM 内存和带宽 。 并且有一种外部可能性 , 即未来会有两种 GPU 小芯片——一种具有大量针对 HPC 的 FP64 和 FP32 矢量计算 , 另一种具有大量针对 AI 的 Tensor Core 矩阵计算 。
如果这一切都成真 , 我们对这个答案并不完全满意 。 随着 HPC 和 AI 硬件的不同 , 当工作负载混合使用 HPC 和 AI 软件时会发生什么?现在 , 在不得不提前多年对工作负载进行有根据的猜测之后 , 我们又重新购买多种类型的计算引擎并锁定它们之间的比率 。 GA100 GPU 的重点在于它是一种通用设备 , 它可以做任何事情 , 从虚拟桌面到 AI 推理、HPC 模拟、AI 训练、数据分析加速到可视化 。
但这就是摩尔定律放缓时会发生的情况 。 你必须共同设计一切 。 硬件人员必须了解并听取软件人员的意见 。 没有其他办法 。 一切都变成了体积较小的部分 , 因此变得更加昂贵 , 但每个设备都做得更好 , 因此价格/性能不断提高 。
来源:内容编译自thenextplatform , 侵删!