分布式系统|IBM Spectrum LSF: 分布式系统的“瑞士军刀”( 三 )


分布式系统|IBM Spectrum LSF: 分布式系统的“瑞士军刀”
文章插图
2.3 LSF RTM (Report, Track, Monitor)LSF RTM是LSF集群管理员的福音,LSF集群管理员可以通过LSF RTM的Web仪表盘来全面的、实时的监视、报告和管理集群和工作负载,极大程度上提高了集群资源利用率和用户生产率,以及控制或降低了用户的成本。同时LSF RTM支持监控应用程序许可证服务器和集群中的用户和用户组。通过LSF RTM直观的Dashboard,可以轻松有效的监控多个LSF集群,完成管理员日常的集群维护工作。
分布式系统|IBM Spectrum LSF: 分布式系统的“瑞士军刀”
文章插图
2.4 LSF ExplorerLSF Explorer是针对LSF环境的轻量级报告解决方案,支持各种业务和用户快速创建和查看报告和Dashboard。如果没有LSF Explorer,想要满足不同用户的需求,这些报告需要从多个产品中的不同报告中获得,而且这些数据可能需要通过电子表格的方式,手动创建报告,耗时且费力。LSF Explorer使用Elasticsearch数据库来存储、索引和查询数据,LSF的用户、IT管理人员或者项目负责人,都可以轻松的、定制化的获取,定期查看计算环境的执行报告,和所在项目或业务线正在消耗什么样的资源。
分布式系统|IBM Spectrum LSF: 分布式系统的“瑞士军刀”
文章插图
2.5 LSF License Scheduler商业化的应用程序许可证(License)往往是一种昂贵的资源,用户可以使用LSF License Scheduler,根据已建立的分发策略分配License,从而管理和优化计算节点和项目之间的应用程序License使用。License可以在集群之间共享,也可以在集群内的项目之间共享。LSF License Scheduler可以简化License共享,帮助提高生产力和增加对License资源的整体访问,支持FlexNet和Reprise许可证管理器(RLM)等。
分布式系统|IBM Spectrum LSF: 分布式系统的“瑞士军刀”
文章插图
2.6 LSF Data Manager作业的执行,往往需要一些数据作为输入,或者会输入大量的数据,如果没有合理的数据管理,势必对作业的执行速度造成影响。使用LSF Data Manager,用户可以有效地管理在HPC环境中的大量数据,借助已经具备的底层文件传输基础设施(如IBM Aspera),自动化LSF集群内和集群间的数据传输,以及本地与云之间的数据传输。LSF Data Manager还提供了一个智能托管缓存,允许复用数据,并避免重复的传输,从而消除浪费的磁盘空间和数据传输的等待时间。简单的说,LSF Data Manager根据作业调度情况,决定移动哪些数据,和什么时候移动,然后可以借助文件传输技术(如IBM Aspera)实现超高速传输。
分布式系统|IBM Spectrum LSF: 分布式系统的“瑞士军刀”
文章插图
3. LSF应用场景和用户分析【 分布式系统|IBM Spectrum LSF: 分布式系统的“瑞士军刀”】LSF主要的应用场景为分布式计算领域和一些计算密集型的场景。LSF已经成功的应用到了众多行业,包括电子自动化,航空航天等制造业、教育培训、能源、金融、生命科学,大型超算中心、气象分析、环境监测、仿真系统、数据挖掘、人工智能、动漫渲染等。简而言之,如果后台需要大量的计算,LSF定能助一臂之力。
目前,全球前12大汽车领域的公司,有10家在使用LSF。前25家电子自动化企业,有23家在使用LSF计算机辅助作业调度。全球前3大生命科学中心均在使用LSF做后台的集群调度。一些成功的超算中心,也在使用LSF做调度和监控。很多高等学府和研究院,使用LSF做超前的研究工作。我们每天看的精准的天气预报,也有LSF默默无闻的贡献。LSF的成功案例数不胜数,可以说,虽然我们摸不到,看不到,但LSF已然和我们的生活息息相关。