算法|从这些云原生企业身上,我看到了数字化创新者该有的样子

算法|从这些云原生企业身上,我看到了数字化创新者该有的样子

文章图片

算法|从这些云原生企业身上,我看到了数字化创新者该有的样子

文章图片

算法|从这些云原生企业身上,我看到了数字化创新者该有的样子

01 2020 年 ,
中国市场开启了云原生大规模落地的元年 。
从那时起 , 云原生广泛走入非互联网企业视野 。
云原生架构在这两年逐渐成为应用部署的主流方式 。
企业数字化转型若要深入发展 , 实现规模数字化 ,
具备弹性、分布式和持续演进的现代化应用形态 ,
是企业实现数字创新的重要途径和手段 。
未来的数字世界是什么样子?
手握云原生地图的企业 , 又将如何颠覆数字化?
带着这些疑问 , 我们采访了
教育、金融、新零售、互娱、传媒等领域的多位大咖 ,
他们是数字创新的引领者 ,
也是用云原生技术创造业务价值的践行者 。
接下来 , 就让我们一起听听
通过“云原生” , 他们发生了哪些改变?
作业帮
降本增效是公司对基础架构的一大要求 。 在应用侧要提升单位算力承载量 , 通俗来讲就是 QPS 。 但我们面临的一个挑战就是作业帮技术栈太多元了 , 如何整体提升 QPS?再看资源侧 , 存储、网络这些资源要么是刚需 , 要么就是很难控制成本 , 资源侧降本的重点还是计算资源 , 而对于计算资源我们需要提升单位成本的算力 。
“在我看来 , 在降本增效的过程当中要格外注意一点 , 降本不能降质 , 降低成本时 , 稳定性、效率、安全不能打折扣 。 我们选择和阿里云一起 , 选择开源的力量再结合一定的自研解决相关问题 。 在应用层面 , 我们提升了主流技术栈的运行性能 , 对于使用最多的检索服务进行架构重构 , 以此来提升性能和运维效率 。
在计算和存储分离中 , 我们引入 Fluid 做一个关键的纽带 。 Fluid 是一款基于 K8s 的数据编排系统 , 用于解决云原生过程中遇到的访问数据过程复杂、访问数据慢等一系列问题 , JindoRuntime用于实现缓存的加速 , 当我们使用Fliud和JindoRuntime完成整个检索系统的重构之后 , 获得的收益也比较明显 。 作业帮的数据更新周期从之前小时级别缩短到三分钟以内 , 运维整个机器交付从之前天级别缩短到了小时级别 , 程序性能提升 30% , 带来了万核级别资源的缩减 。
未来 , 作业帮会将更多在线服务迁到 ECI 之上来实现真正的削峰 , 并且更具性价比的 IaaS 资源 , 这也是我们一直尝试和探索的方向 。 ”
网易云音乐
网易云音乐最初的音视频技术大多都应用在曲库的数据处理上 , 云音乐曲库团队与音视频算法团队一起共建了网易云音乐音视频算法处理平台 , 落地了 60 多种音视频算法 , 尤其是在近一年来 , 服务化的算法占到了一半 , 这些算法向云音乐 100+ 的业务场景提供了服务能力 。 但更复杂的算法、更多的业务场景 , 对网易云音乐的服务化效率、运维部署和弹性能力都提出了更高的要求 , 在我们上云之前 , 在内部已经用到了 1000 台以上不同规格的云主机及物理机 。
\"我们在一周内快速试用了函数计算 FC , 然而一个完整的、高可靠的架构 , 需要考虑更多的因素 。 因此我们的改造重点是把算力任务通过函数计算 FC 弹出去 , 系统在整体的对外输入输出上仍保持不变 。
在引入函数计算的第一阶段 , 特征提取类的算法得到了10 倍速的提升;稀疏类的算法在成本上得到了极大的节约 。 除此之外 , 通过函数计算的镜像缓存加速能力 , 优化了节点的启动速度 , 让所有的服务拉起可以在秒级完成 。 这些工作 , 降低了算法运维处理中的运维成本 , 让我们能够更聚焦在算法及业务自身 。