数据密集型牵引HPC发展下一跳作为公认的“计算金字塔尖上

作为公认的“计算金字塔尖上的明珠” ，过去的高性能计算HPC主要应用于科研院所，集中在计算密集型的场景如石油、气象、材料、物理和地球科学计算等领域。
而随着HPC技术的成熟与逐渐商业化，也开始向互联网和传统行业不断地渗透和融合，推动了工业4.0、智能语音、人脸识别、智慧医疗、可穿戴设备等各个领域的快速发展。
这些服务创新加速了线上线下协同和产业链上下游的协作创新，驱动了大数据分析和AI在诸多行业的应用和发展。按照HyperionResearch最新发布的报告显示：HPC整体市场预计在未来五年（2019-2024年）将以6.8%的复合年增长率（CAGR）增长，其中高性能数据分析HPDA的市场份额（包括支持HPC的人工智能）预计将以5年平均17%的CAGR迅猛增长，而AI份额的5年CAGR则达到更高的33% 。

文章图片
HPC正走向HPC数值计算、大数据知识挖掘、AI训练推理相结合的HPDA高性能数据分析时代，多样化的分析应用给数据存储带来性能、协议、容量的全新挑战。例如，能源勘探、生命科学、气象海洋、制造CAE、超算中心等，都是从海量的数据中探索人类和宇宙的未来。我们知道， HPDA和AI代表了典型的数据密集型业态，所以未来HPC市场的焦点已从计算密集型负载向数据密集型负载转变。
从计算到数据,是HPC市场发展的必然
从以计算为中心到以数据中心， HPC正在发生具有转折性意义的演进，这是数据密集型应用需求的驱动，也是大数据、AI等技术发展使然。
而从数据自身的角度，又发生了哪些变化呢？

文章图片
首先，数据量的不断增长。例如，气象预测需要历史数据与实时监测数据的结合以实现精准预测，并且数据越多准确率越高。医疗企业基于海量的历史数据，可以快速研发新药。而L4级自动驾驶数据量本身就高达EB级。
其次，数据可靠性要求更高。 HPC承载的大都是“大国重器” ，很多科研项目在计算中，不能接受中断或者失误，任何一次小的故障都会带来不可挽回的巨大损失。
第三，数据负载变得多样化。随着HPC和应用场景的融合，业务负载也变得更加复杂，不同处理环节高带宽与高IOPS诉求并存。最典型的就是自动驾驶，数据采集、导入、标注、的数据标注环节是高带宽负载，而训练环节则需要高IOPS 。
不难发现，这些HPC新的技术趋势，每一项都与“数据”密不可分。这也代表了从计算密集型负载向数据密集型负载，这一趋势的准确性。
与此同时， “数据密集型”HPC的发展对存储提出了更高要求，存储系统成为制约数据分析效率提升的关键。
存储成为HPC整体发展的制约因素
HyperionResearch的调查发现，随着数据密集型应用和负载的不断普及，对HPC生态系统的需求也不断地发生变化。 HPDA/AI的快速发展同样也推动着传统HPC建模/仿真应用的不断转型。 HPDA/AI/ML/DL技术产生越来越多的数据，给现有的HPC存储生态系统带来巨大压力，要解决和优化这两种类型的负载就需要高度关注HPDA存储基础设施。
首先，我们看到，在HPC细分设备的发展路线上，存储是广义HPC市场中增长最快的领域，约占本地HPC市场支出的20% ，这说明HPDA存储的发展将成为制约整个HPC市场发展的关键要素。

文章图片
其次， HPDA存储的增长需求有赖于HPDA/AI的发展驱动。数据显示， HPDA存储的复合年增长率为通用HPC市场的2倍，而AI存储的复合年增长率几乎为通用HPC市场的4倍。按照HyperionResearch的预测，到2024年HPDA存储的估摸将达到HPC整体市场的42% ，按照这个发展势头，将很快成为市场的主导。