NVIDIA公布H100白皮书：详细介绍核心架构英伟达在3月下旬发布了采用全

【NVIDIA公布H100白皮书：详细介绍核心架构】英伟达在3月下旬发布了采用全新Hopper架构的H100 ，拥有NVIDIA当前最强的GPU规格。英伟达H100核心架构与上一代Ampere相似，数学运算部分布置在144组CUDA上，最高可拥有18432个FP32(单精度)、9216个FP64(双精度)CUDA核心，辅以576个第四代Tensor核心。
NVIDIA在5月初曝光的白皮书，让外界对Hopper架构有进一步了解。 H100核心采用台积电的N4工艺制造，内建800亿个晶体管，核心面积仅有814m㎡。作为对比，上代的A100核心采用台积电7nm工艺制造，在826m㎡的核心内建542亿个晶体管。

文章图片
作为面向专业计算的GPU ， H100采用HBM3高带宽显存， NVIDIA将六颗HBM3高带宽显存堆栈在核心两侧。核心内建5120-bit的HBM3显存位宽，英伟达可配置最高80GB显存， SXM5版（HBM3显存）带宽更是达到3TB/s ， PCIe版本（HBM2e）则是2TB/s 。

文章图片
H100的主机接口同样迎来升级， SXM外形的PCB板配备新一代NVLink ，拥有900GB/s的带宽。面对AIC插卡版本采用PCIe5.0x16(拥有128GB/s)接口，两者均引入了资源池(resource-pooling)功能，加速GPU之间的数据交换。

文章图片
虽然H100拥有144组单元，但SXM版也只启用其中的132组单元。 PCIe版本更是只有114组，两者的最高频率均为1.8GHz 。不仅如此， H100核心的功率高达700W ， PCIe版本也达到350W ，上一代的A100仅为400W;在提升性能的同时， H100的功耗也在大幅上升。

文章图片
编辑点评：NVIDIAH100的白皮书更详细的解析了H100的核心架构，剖析了核心的内部架构、设计理念。 H00核心的公布，对即将在下半年到来的AdaLovelace具有相当高的参考价值， NVIDIA大概率在H100的CUDA基础上，对架构进行微调，以适应游戏需求。