邬贺铨提出算力十大思考,建言从实战中学习创新( 二 )


因此 , 要降低能耗 , 首先对冷数据存储采用磁带代替磁盘 , 预计100PB十年存储成本可下降73%;其次 , 热数据存储用闪存代替磁盘 , 改进访速、吞吐量及能效 , 但目前成本还较高;另外 , 还要探索通过数据预处理改进能效 。
数据可信与灾备保护
数据最重要的是安全 , 目前主要有两种灾备保护方案 。 一是三副本方案 , 容量利用率较低 , 但读写快 , 适于小文件;二是4+2纠删码方案 , 容量利用率较高 , 但读写慢 , 适用于大文件场景 。 这时候就要思考 , 大小文件需要分区存储 , 以便采用不同可靠性技术方案吗?
同时 , 灾备是数据中心刚性要求 。 据华为/罗兰贝格报告 , 美国数据保护占存储投资为33.3% , 全球平均为27.4% , 而我国仅7.8% , 并且异地备份的比例更低 , 防灾能力堪忧 。
此外还有值得研究的是对数据备份还是算力备份?算力与存力需要等比例备份吗?
邬贺铨提出算力十大思考,建言从实战中学习创新】存算协同的思考
根据华为/罗兰贝格报告 , 中国与美国相比存算比低一倍 , 导致中国算力利用率也较低 , 可以理解为 , 虽然算力有了 , 但存储没跟上 。 而存算比并非固定 , 例如对于冷数据其计算频度低 , 存算比应比热数据更高 。 因此 , 对冷数据和热数据分别的合理存算比应该是多少值得思考 。
另外 , 带宽(吞吐量)和每秒/O操作数(IOPS)是衡量存储性能的两大指标 , 前者需要聚合更多存储单元的带宽 , 后者希望减少每次数据存取请求涉及的存储单元数 , 二者难以兼得 。 可以从计算任务调度入手 , 为存储系统提供预判此次任务的IO模式的信息 , 以便做出针对性的缓存策略和数据一致性策略 , 甚至将数据调度到合适的存储位置 , 获得更好的数据存储效能 。
算网容量配比的思考
2021年全球数据中心流量分布 , 数据中心内占71.5%、数据中心到用户占比14.5%、数据中心间占比13.6% 。 主备数据中心间的数据传输要求同步动态更新数据 , 实时性高 , 不过每次更新的数据量不大 。 但对主备间链路可靠性要求高 , 通常需要端到端双路由 。
另外 , 东西部数据中心间传输系统容量双向不对称 。 从东部定期将由热转冷的数据转移到西部 , 数据量大 , 但实时性要求不高 , 瞬时带宽不必很高 。 西部数据按需计算后的结果需要回传东部 , 数据量不大 , 但实时性可靠性要求高 。 东西数据中心间链路在数据中心到所在城市段需要双路由 。 我国需要有更多的调研和经验数据来决定数据中心间及到用户间的传输通道容量优化设计 。
邬贺铨提出算力十大思考,建言从实战中学习创新
文章图片
东数西算的思考
东数西算使得算力设施的布局超越了数据中心枢纽的范畴 , 虽然设想东部与西部互为冷热数据的配对 , 但东部西部间应如何比例?
以广东数据中心规划为例 , 设计省内算力70% , 省外算力30% , 这与冷数据占比80%差别很大 , 是否理解冷数据占80%是指存储容量而非算力的比例?另外 , 在市场经济条件下 , 东部与西部并非固定配对 , 各自独立设计部要如何能做到容量最佳利用?
同时 , 同一数据中心枢纽或集群内部也有很多比例需要优化 。 数据中心枢纽内有多个数据中心 , 每个数据中心内部多业主 , 如何实现枢纽内各数据中心所需的能源与网络资源集约化 , 并建立业主间资源共享机制 , 提升利用率 。 每一个数据中心需要设计算力、存力与网络能力合理的比例以及相应灾备比例 , 会视冷热数据有不同的优化 。 数据中心需立足长远建设能效更高的大型数据中心 , 但切忌一步到位.