科技猎上海交通大学过敏意：面向城市治理的图智能分析框架
作者 | 王 晔
目前，我国新的城市治理体系基本形成。与此同时，伴随着经济社会的变革、大数据、互联网的发展以及人工智能、云计算的兴起，城市治理面临着新要求、新挑战的同时，也实现了跨越式的发展。
那么技术的进步为城市治理带来了哪些进展？又面临怎样的瓶颈呢？
不久前，在 CCAI 2021 大数据智能学术论坛上，过敏意教授分享了题为 “面向城市治理的图智能分析框架” 的主题报告，分四部分介绍了城市治理方面的内容。
过敏意 欧洲科学院外籍院士、上海交通大学讲席教授、IEEE/CCF Fellow
过敏意教授是欧洲科学院外籍院士，上海交通大学致远讲席教授，电子信息与电气工程学院计算机学科负责人，国家杰出青年基金获得者，也是教育部创新团队学术带头人，“973”计划首席科学家。
他长期从事并行与分布式系统和云计算的研究，发表学术论文400多篇，著述英文著作4部，主持多项国家自然基金重点项目以及国家和省部级项目，曾获得国家技术发明二等奖和省部级科技一等奖等多项奖项。
AI科技评论对过敏意教授在CCAI 2021 大数据智能学术论坛上的报告做了不改变原意的整理：
1. 从原来的物能说话，以数字化、网络化为代表的城市管理，即智慧城市的初级形态。我们借助网络实现连接使得物与物之间能够互联起来。
2. 到后来 2.0版，就是物物对话。不仅是互联网，还有物联网了。从物联网在城市治理中的作用来看，运用系统化、程序化、标准化的手段，使城市各单元精确、高效、协同和持续发展，实现万物互联。
3. 到了 3.0版，即人物协同。以人为本，充分发挥人机协同的作用，通过对城市大数据价值的挖掘，使城市各部分功能优化运行 ， 呈现的决策能够更精准，最大程度地服务市民。
4. 4.0时代，就进入了城市大脑阶段，即让城市自身学会思考，能够自主整合、引导和分配城市管理资源，具有自我优化与进化能力，真正智慧化，这是最高版的城市精细化治理。
为了真正让城市学会思考，实现城市治理智慧化，打造智慧、智能城市，我们正在实践城市大脑的理念。“十三五”期间，我们和阿里及杭州的 “ 城云科技“ 合作，做了城市的交通管理、智慧停车等工作。
我们将人、机、物三元空间的物理世界、人类社会、信息社会得到的数据进行融合。结果发现越来越多的数据，呈现出图化的结构，其实是用图的形式表示出来的。关于这个问题我们以前都没有注意到，也没有处理，但这样以后很多数据都不能够精准处理。因此， 在城市化治理中，图化治理场景是一个关键挑战。
五个不同领域的图化治理场景：
（3） 医疗健康服务 。生命健康基因图谱的分析，也是图的重构、图的迭代、图的分析。还有人脑网络的功能区域分析，现在脑电采集实际上都可以从图的结构里面反映出来，所以有大量的个性化的图的分析。
因此目前对图的分析和图的管理越来越迫切，现在我们国家以及世界上很多科研机构公司等都研发了一些面向图计算的工具，但还是遇到了问题。
面对大规模结构化的城市治理任务，现有大数据计算平台存在收敛慢、吞吐低问题，影响城市治理决策。
开发环境未针对图应用定制化设计，难以高效优质地进行执行阶段划分
我们以前“十三五”期间做的事情，基本上都是用的传统spark、MapReduce等大数据框架来做的，但是这些问题如果要弄到图里面预处理，比如说图要进行预置、分拆等等，用传统框架就不适用了，它会非常慢，要循环往复来做。
（ 2） 吞吐低：现有主流图计算框架如 PowerGraph/Ligra不支持高并发请求。
上述框架大都忽略了多用户请求执行共存的问题
现有主流图计算框架如PowerGraph/Ligra等框架都是单机、单用户的图计算结构，虽然克服了spark、Mapreduce等的缺点，它可以图分析、图分解、图查询等，但是如果面向城市治理这些就不适用了，因为城市治理是高并发的。也就是说这些框架对高并发的图的问题，都不太适用，所以就会遇到吞吐根本做不了城市大脑支撑的问题。
要解决上述问题就要做城市大数据协同计算框架。图计算将成为未来城市大数据协同计算框架中的关键一环，能够支撑大规模高并发场景的图智能分析尤其重要。
城市大数据协同计算框架
我们以前做了很多Mapreduce、PowerGraph的处理，但是还缺乏图请求调度、图结构分析、图数据分割、图查询、图生成等面向图计算的工具。所以 我们就一定要把这些工具给数据融合、数据感知开发出来。如果没有图分析、图查询、图管理、图结构分析等，是没有办法支撑整个城市大数据协同平台的。所以我们要在有限的资源下，处理高并发多元图数据分析的请求，对单用户的图计算框架实行高并发多用户的图计算框架的转变。
那么如何高效执行不同用户提交的多元化图计算请求呢？
目前，我们要做的事情是实现 可扩展和可持续 。
扩展性需求： 随着图规模和图计算服务的激增，需解决平台峰值负载问题。
高并发图的图分析、图查询也延续到了一些人工智能算法，比如说现在做人工智能的技术处理，如果讲大模型，比如说GBT-3 1 751亿个参数跑一次训练，相当于一辆用油汽车跑70万公里，那么这对可持续发展、低碳环保非常不利。所以说图计算也是这样的，如果不断地进行图的迭代往复，如果算法不好，那么可扩展、可持续都不行，所以现在各大公司和云商像华为和阿里都对此非常重视，都自己开发了这方面的工具对图进行分析。我们有一个课题做国家重点研发计划现在也是做的图处理这方面的事情。
但是并发图计算不同于如今的线上数据密集型计算（如MapReduce)，更不同于以往的高性能数值计算。
对并发图计算来讲，请求间和请求内的协同优化变得更重要
比如做并行计算时，以往的传统的并行计算比较规则，我从一个处理到下一个CPU的处理，通信是比较规则的。这边处理好以后，下一个通信基本上模式是一样的。但是并发图不一样，图的计算模式是不规则的，这个到下一个的并发处理有可能是A节点到B节点，下一个可能是C节点到D节点，模式是完全不一样的不规则的。
所以其中通信、优化和它的并发都和原来的高性能计算完全不同，因此比较具有挑战性。与数据密集型计算不一样，和高性能计算也不一样，即与以计算和数据为中心的都不一样，我们现在要强调 以图为中心的计算。
并发图计算 主要 面临的瓶颈主要有 以 下 三 个 。
（ 1） 用户图计算请求主要有图管理、图分析。 在图管理方面，已有较多并发性优化工作，比如说数据仓库、图查询等。但对图分析方面，比如管理查询不到结果以后怎么样能够对放到基层单元弄出决策来，这方面还缺乏研究，易成为性能瓶颈，所以说我们要做这方面的事情。
（ 2） 并发图分析任务之间的不规则干扰， 多个图算法并发执行时，会在时间与空间两个维度对处理器和内存等资源进行抢占，且干扰方式不规则，优化空间很大。
（一） 工业界项目概述
现在工业界对于图的分析、图的并发、图的查询非常重视，但是图拓扑属性分析现在还不多。 Apache 上目前的开源图计算系统主要以图数据库管理为主，面向图拓扑属性分析的并发图管理系统还处于萌芽阶段。这是我们调查下来整个Apache Graph Systems的列表，大概就是这几十个：
（二） 学术界研究总览
早期基本上关注的是图的请求，焦点主要是图查询。到2014年开始有并发图分析，然后多用户并发图比如图数据共享已经开始关注了；2017年提出多图多用户场景，但对图请求内部缺乏分析；到2018年对请求内部特征优化以及图并发的计算进行考虑。国内主要在做的高校是上海交通大学、 华中科技大学 、北京大学。
（三） 上海交通大学做 的一些工作
（ 1）图 化治理任务的并发计算框架
文章先后发表在IEEE ICCD和IEEE TPDS上
我们做的工作就是对图化治理任务的并发计算做了一个框架，也就是对线下进行绘像线上调度相结合，将访存特性传递给调度器，这样并发的会比较快，消息传递就会比较快。然后提出架构感知的负载均衡和线程调度、优化多图的并发运行的效果请求性能可以提升5.4倍了。实现了一套面向图化治理任务的冗余操作削除机制，对整个图存在的幂律分布、缩减操作等都做了分析，然后改进了图化治理任务流程，使分析提升了很多倍。
文章先后发表在IPDPS和ACM TACO上
如果将图放到编程框架里面进行描述是很方便的。如果变成框架以后，就像人工智能框架一样对编程是非常方便的。图计算原子操作复杂，然后GPU内存利用率是不高的。如果要对这些图利用GPU来说，对于并发是绝对没有问题的。所以改进数据结构，从图幂律分布出发削减冗余的计算操作，我们提出统一内存利用高效的图计算原子操作，优化多图资源利用，搞出一个编程框架来对图的算法进行精准的描述，就可以比较容易的对图的性进行提升。
这是我们图分析框架的编程接口，先把一个问题变成一个图的结构一个任务，比如说多少顶点多少边互相怎么连接，顶点预处理，然后对活跃边进行更新，顶点生成等等迭代技术处理。经过这一套预备、更新、生成框架以后，整个图的分析和高并发处理就非常简单了。
这是效果，实现系统资源高效利用。
（一） 公共卫生治理平台
借助数据泛在发现和优化组合，建立起多源异构城市环境气象数据的跨时空图结构关联性。
这是我们和中国城市治理研究院合作的，他们的需求是对雾霾进行监控，这个有点像对臭氧层的监控一样的，我们也是布了很多传感器，然后用图进行分析，对雾霾进行分析和处理。
第一个是利用空间的关联分析制定雾霾判断分析。这是对中国的31个省、市、自治区的雾霾和工业产值的关系的分析，所有的关联数据都可以给出一个框架和处理，整个过程都有图的分析和决策在里面。
（二） 交通客流监控平台
借助城市大数据三元空间群智发现与群智建模，实现了多元多模数据下的多视图细粒度人群分析。
这是我们和深圳地铁集团对城市交通轨道进行了分析。这个数据很简单，每个地铁站实际上就是一张图。
这张图干什么用呢？就是实时监控，比如进站人数，出站人数，在网人数等。然后用不同的颜色标出来，几号线、哪个站有多少人等。这样会便利人们的交通出行。比如知道坐哪条线、哪边换乘。客流预测精准度从87%提高到95%。
借助城市大数据的深度迭代计算，完成了实时感知与静态预测的融合，实现城市人口的高效分布推演。
数据量：百万级车辆千万级用户 需求方：深圳市交通运输委
做什么事呢？人口密集时，有可能会出现危险。人口密度一般来说比较均匀，如果出现红点了，那么就是人口密度超过正常均值，我们一般在800×800m的范围内，比如说2万人口是正常分布，如果超过两万就是热点，黑洞表示人口密度超过正常均值的2倍，就要警示就是要派警力来疏散人群等等。这完全就是一个图的分析，利用六维数据对图进行分析对人口密度进行高度精准的预测。
这些方面，我们主要是和深圳、杭州，阿里城市大脑合作，进行大数据的分析，包括人、机、物三元空间分析以及图分析工具都集成在一个平台系统里面。前期相关技术应用于阿里城市大脑、网易数据地图等关键资源密集型应用场景，整体性能提升显著。去年也拿到了教育部科技进步一等奖。
首先是高并发图化治理任务的硬件加速。这方面现在还没有做，我们知道人工智能硬件加速非常快。我认为硬件加速非常重要，如果有了硬件，那么我们用传统的 GPU和CPU进行调度会省很多事。针对图算法，比如说给它可重构计算加速硬件化，那么如何对动态参数调节，比如说基于GPU加速的自适应架构等等，也是研究的另外一个课题。
硬件加速，这是一个自适应的。比如说控制部件也可以硬件化。整个的软硬件协同设计的一个框架必须要做出来。这对整个高并发图计算的平台会产生非常大的影响。
（二） 图化治理任务的运行时自主优化
第二个是运行时自主优化。现在用户请求、请求预处理及特征表示、调度分配等等这一套，还不是在更精准的状态下可以做到。必须我们事先预知一些算法，一些统计上的框架来做。今后可能实现自主管理，自主调度。
（三） 智慧城市多元化图计算服务平台
建立统一的并发图计算多元支撑平台，制定设计规范和关键技术标准，完善接入机制，促进高质量多元化的图计算服务。
做服务平台，针对面向政务的、面向民生的、面向产业的能不能有一个统一化的平台这个可能就比较大了。比如说现在在做城市特征的一些东西，面向政务的要求可能就会完全不一样，要做这方面就会遇到很大的挑战。
我认为这方面可以做很多事情，而且必须是要做的。目前对图的多程序图负载、图并发机制的基准测试程序还很少。以及性能评估标准如何制定这一方面，弄出一个benchmark来大家都可以用，我们也正在做这件事。
-
图计算应用正快速普及，涉及智慧城市的方方面面
-
发展具有大规模高并发特性的图计算系统正当其时
-
前期探索表明相关技术具有较高学术价值和应用潜力
-
并发图计算离不开底层硬件和系统软件的密切配合
-
相关设计规范和评估体系尚不完备，机遇挑战并存
雷峰网雷峰网 (公众号：雷峰网)
雷峰网原创文章，未经授权禁止转载。详情见。
