数据密集型牵引HPC发展下一跳( 二 ) 作为公认的“计算金字塔尖上

第三， HPDA/AI基础设施的应用与日俱增，来源于几个方面：E级超级计算机对国家工业和经济产生的重要影响；传统HPC应用的更高精度建模和仿真正在产生越来越多待分析和存储的数据；机器学习和深度学习中，新硬件、算法、应用和场景，激发出更多HPC的需求；HPC和企业计算的不断融合；数据密集型HPC负载推动的新的存储需求。
场景为先,应对HPDA对存储的挑战
HPDA其实并不是一个新概念。早在2014年， IDC就已经提出了相似性的理念。
简单的说， HPDA泛指利用HPC资源的数据密集型负载，包括大数据和AI负载。 HPDA问题的特点是数据量大、时效性强以及算法复杂，其中AI负载是HPDA问题的一个重要子集，增长迅速， HPDA问题寻求从数据本身而不是主要从仿真物理模型中提取价值。
某些垂直领域的应用比其他应用更倾向于采用和利用HPDA（包括支持HPC的AI技术），如航空航天，加速设计新飞机的仿真，包括为不同的设计挖掘新的解决方案空间；生物生命科学，通过开发基于AI的模型来帮助诊断和治疗疾病，从而加速药物研发；自动驾驶，通过在已完成的参数化建模和数据处理中“规模优化”仿真需求，增强CFD、碰撞、NVH和实体的建模等等。
如前文所分析的， HPDA和AI负载一直在推动HPC系统需求突破传统HPC系统架构负载的需求，跨越HPC系统架构的所有要素。尤其是对存储的需求已经让传统HPC存储解决方案达到性能极限，亟需进行多方面创新。
例如，用于传统建模和仿真的传统HPC存储通常包括项目文件共享、Scratch和归档的负载， AI工作流程则带来一组不同的负载：数据收集和注入、数据准备、训练、推理和归档。有的拥有像传统HPC负载那样的存储属性，而有的则推动了新的或更严苛和极端的要求。
再比如， HPC和AI负载通常表现出不同的I/O模型。传统的HPC负载通常基于顺序大I/O型，而AI负载需要顺序大和随机小I/O型的混合，用于AI数据集标记的元数据管理需要快速的随机小I/O型。
与此同时，应用场景还催生了各种耐用性和弹性解决方案需求。归档需要极具高性价比的解决方案，没有苛刻的性能要求。传统的临时应用需要高性能，能够将临时结果转移到持久存储以防止出现故障。 AI和HPDA解决方案需要混合存储需求满足高性能、瞬态存储和持久弹性存储的要求，包括大块顺序和小块随机I/O模型的平衡混合。
最后，数据类型和访问方法推动了对不同类型存储系统的需求发展。结构化和非结构化数据采用不同的访问方式，如文件、块和对象协议。每种访问方式都需要独特的协议支持，通常，这些协议由多个独立的专用系统或一个系统内的不同单元提供，数据通常需要保存多个副本。
形成从数据到数据的价值闭环
客观地说，随着HPC与场景结合的案例的不断激增，既需要强大的算力，同时也需要计算系统负载和处理差异化明显的不同数据。我们已经可以看到，在自动驾驶、基因测序、电影渲染、精准天气预报、金融反欺诈等领域， HDPA都有着广泛的应用前景，这使得从HPC到HDPA的演变具备一种必然性。
存储技术的发展也将推动HPDA的创新，同时HPDA负载将会产生越来越多的数据，并且不断地提升数据利用率，进一步释放数据潜力。这其实形成了一种从数据到数据的价值闭环。
正因为这种演变是建立在数据价值之上，而数据价值更多将反应在业务价值上。
【数据密集型牵引HPC发展下一跳】因此我们建议，使用数据密集型负载的用户最好考虑采取专为HPDA设计的存储解决方案，或者选择可以同时满足HPDA和传统HPC建模/仿真负载的更通用的存储系统。