华为发布北冥多样性计算融合架构,以解决跨算力协同难题( 二 )


多瑙统一调度器为多样性算力集群提供应用与资源的最佳匹配 。 它在多样性应用统一调度、多样性算力资源统一管理的基础上 , 通过对应用、算力、存储、网络和能耗的多层次深度感知 , 建模和智能调度算法创新 , 结合专家系统、实现跨域联动、进一步提高了系统效率 。 未来 , 多瑙还将通过元调度器的分级调度能力支持跨数据中心的调度 , 为多样性计算算力网络的构建提供关键技术支撑 。
元戎是华为面向多样性计算集群打造的分布式并行开发框架 , 目标是让开发者在多样性计算集群上享受单机编程体验 , 让大规模并行应用的构建像搭积木一样快捷 。 当前元戎已经实现了对数据并行和算法并行两类关键应用开发场景的支持 , 大幅提升了分布式应用开发的效率 。 未来 , 元戎将支持多种计算模式的组合 , 帮助开发者更加灵活地在多样性计算集群中开发分布式应用 。
多样算力的广泛部署也正在激发跨领域应用融合 , 例如AI正在成为研究科学计算的新范式 , 为此 , 华为将昇思MindSpore拓展到科学计算领域 , 将昇思原有的AI计算引擎升级为AI与科学计算的统一引擎 , 并面向八大科学计算行业打造MindScience系列套件 。 这些行业套件包含业界领先的数据集、基础模型、预置高精度模型和前后处理工具 , 加速科学行业的应用开发 。
北冥开发使能
华为发布北冥多样性计算融合架构,以解决跨算力协同难题
文章图片
多样性计算系统下的开发调试 , 也给开发者带来了额外的压力 。 因为不同处理器的开发工具链各不相同 , 开发者在编程编译、调试仿真、系统调优、部署等各个环节 , 都会因为系统的多算力环境而遭遇开发断点 , 需要在工具链之间反复切换 , 体验差 , 效率低 。 多样性计算系统开发所需要的仿真与调测环境搭建也费时费力 。 更挑战的是 , 由于缺乏多种算力协同的调试、调优手段 , 开发者往往需要手工在不同的工具链之间同步调试数据 , 反复拼接不同算力系统的调优信息 , 严重限制了开发生产力 。
华为发布北冥多样性计算融合架构,以解决跨算力协同难题】北冥架构的MindStudio统一工具链 , 为开发者提供统一集成开发环境 , 实现开发全流程连贯无断点 。 通过插件化技术 , MindStudio支持功能的灵活拼装和开发流程用户自定义 。 为了解决多样性计算系统开发效率的问题 , MindStudio还专门为开发者提供了跨算力联合调试、全系统协同调优、仿真环境按需集成和开发资源一键获取等功能 , 从而为多样性计算系统提供开发全流程的支持 。