框架|上海交通大学过敏意：面向城市治理的图智能分析框架( 三 ) 薪酬|苹果|内部备忘录|员工|工

文章插图

上述框架大都忽略了多用户请求执行共存的问题
现有主流图计算框架如PowerGraph/Ligra等框架都是单机、单用户的图计算结构，虽然克服了spark、Mapreduce等的缺点，它可以图分析、图分解、图查询等，但是如果面向城市治理这些就不适用了，因为城市治理是高并发的。也就是说这些框架对高并发的图的问题，都不太适用，所以就会遇到吞吐根本做不了城市大脑支撑的问题。
要解决上述问题就要做城市大数据协同计算框架。图计算将成为未来城市大数据协同计算框架中的关键一环，能够支撑大规模高并发场景的图智能分析尤其重要。

文章插图

城市大数据协同计算框架
我们以前做了很多Mapreduce、PowerGraph的处理，但是还缺乏图请求调度、图结构分析、图数据分割、图查询、图生成等面向图计算的工具。所以我们就一定要把这些工具给数据融合、数据感知开发出来。如果没有图分析、图查询、图管理、图结构分析等，是没有办法支撑整个城市大数据协同平台的。所以我们要在有限的资源下，处理高并发多元图数据分析的请求，对单用户的图计算框架实行高并发多用户的图计算框架的转变。
那么如何高效执行不同用户提交的多元化图计算请求呢？

并发图计算的复杂性及其瓶颈

并发图计算可以在有限资源下高效并发处理多元化图分析请求，或将成为新一代云计算中最主要的一类智能服务。它的三个核心步骤是并发图程序构建、并发图数据加载、并发图执行调度。

文章插图

目前，我们要做的事情是实现可扩展和可持续。
扩展性需求：随着图规模和图计算服务的激增，需解决平台峰值负载问题。

可持续性需求：支撑高并发场景的图计算更符合集约高效、低碳环保的要求。

高并发图的图分析、图查询也延续到了一些人工智能算法，比如说现在做人工智能的技术处理，如果讲大模型，比如说GBT-3 1 751亿个参数跑一次训练，相当于一辆用油汽车跑70万公里，那么这对可持续发展、低碳环保非常不利。所以说图计算也是这样的，如果不断地进行图的迭代往复，如果算法不好，那么可扩展、可持续都不行，所以现在各大公司和云商像华为和阿里都对此非常重视，都自己开发了这方面的工具对图进行分析。我们有一个课题做国家重点研发计划现在也是做的图处理这方面的事情。
但是并发图计算不同于如今的线上数据密集型计算（如MapReduce)，更不同于以往的高性能数值计算。

文章插图

对并发图计算来讲，请求间和请求内的协同优化变得更重要
比如做并行计算时，以往的传统的并行计算比较规则，我从一个处理到下一个CPU的处理，通信是比较规则的。这边处理好以后，下一个通信基本上模式是一样的。但是并发图不一样，图的计算模式是不规则的，这个到下一个的并发处理有可能是A节点到B节点，下一个可能是C节点到D节点，模式是完全不一样的不规则的。
所以其中通信、优化和它的并发都和原来的高性能计算完全不同，因此比较具有挑战性。与数据密集型计算不一样，和高性能计算也不一样，即与以计算和数据为中心的都不一样，我们现在要强调以图为中心的计算。