腾讯内容千亿级实时计算和规则引擎实践优化之路( 八 ) 作者|王冬、杨浩、李文斌、王

4.2内容周期智能管理
为满足不同用户的体验，需要给内容进行多种场景适配，随着内容不断增加，服务商成本非常高。为此，我们提供了一种基于内容周期提供分级服务的能力，在保障整体体验的前提下，可有效降低成本。当内容访问量达到一定阈值时，提供可适配多种场景的服务能力，保障用户体验；当内容访问量极低时，只提供基础服务，降低成本。
4.3内容加工智能路由
内容从生产到消费，中间会有大量的个性化加工需求，围绕其构建了一套微服务编排系统。其中会有调度器控制任务的分发、路径寻优、弹性伸缩等工作，在不同的算法选择中，通过性能效果的实时反馈，可以极大提升调度效果，减少加工耗时，提高处理成功率。

文章图片
图4-2实时信号赋能网络流量智能路由
如上图所示，主要有以下几个过程：采集模块：采集执行节点的性能数据，如事件、算法、模块、耗时、加工状态（成功或者失败）等信息。加工引擎：实时计算不同算法的PT95 ， PT99等分位耗时、成功率等指标，并反馈给调度器。智能路由：调度器里根据实时反馈，选择合适的算法，进行任务分发、路径寻优等。
4.4内容创作精细运营
内容创作运营平台会发起各种精细化运营活动，围绕实时信号，可以进行分析、达标判断等，高效的对作者进行拉新、留存。

文章图片
图4-3内容创作精细运营
如上图所示，运营人员发起运营活动后，创作者领取相应运营任务，并进行发文。基于实时计算的消费量、互动量等特征信号，可以进行活动达标判断，进而将激励实时触达给创作者，提升运营活动效率。
5.未来计划
目前，我们已经在基于Hudi数据湖进行了一些批流一体的基础场景的探索，后面我们会进一步的将本文一些复杂、成本高的场景迁移到数据湖中，比如探索数据湖上实现TB级别实时流数据拼接、批流融合状态重建等场景的可能性，实现一套代码，两种执行模式；一套系统，统一技术栈；一套运维，统一资源调度。
另外，当前计算模式能较快、较好地满足业务发展需求，随着行业降本增效的大环境，我们未来会围绕快、好、省的方向更好的支持业务。比如探索计算资源动态弹性自适应、存储等方向，技术赋能业务。
作者介绍：
王冬，腾讯内容中台研发工程师，熟悉技术产品、技术优化、技术赋能、技术管理等领域。
杨浩，腾讯内容中台数据研发工程师，专注数据平台、内容处理的架构设计与研发。
李文斌，腾讯内容中台数据研发工程师，专注海量实时数据高性能处理，通用性架构设计。
王玢，腾讯内容处理中台产品设计师，专注内容处理全链路设计，智能化处理工具设计。
李会珠，腾讯内容处理中台后端研发工程师，关注微服务、内容处理、流程引擎、高并发架构领域
最后，感谢kyler、richard（飞哥）、stan、mars、gavin、jamie等的大力支持指导，以及腾讯数据科学与分析中心、腾讯内容处理中心、相关业务团队每一位成员的共同付出。
动动嘴就能写代码了！Copilot测试新功能“嘿， GitHub” ，告别键盘编码
再不拥抱Serverless就晚了|Q推荐
和Rust一样好，编程更安全？三年实践、员工态度反转，英伟达用SPARK换掉C