杭州城市大脑现交通行业论坛 视觉智能负责人华先胜分享大规模视频智能分析经验

在3月24日的“江西智能交通论坛（第四期）”上，杭州城市大脑视觉智能负责人华先胜分享了城市大规模视频智能分析的研究与实践。

华先胜提到，目前城市拥有大量的视频数据，但没有充分利用，球机也只有单一功能不够智能。但视频是非常直观的信号源，可以被更好地利用。

华先胜认为，城市大脑的第一步是通过AI实现感知，感知到路上的车、骑行的人、人，有了感知就能进行决策和优化。以往路面出现交通事故，大家还要吵一吵才报警处理，但摄像头其实已经看到了，实际上可以更快速地作出处理。

摄像头里的视觉对象都可以被搜索和挖掘，就像商品搜索一样，这样就能实现套牌车、肇事车查找，这甚至可以是一个秒级响应的结果。这之后是预测，可以预测一段时间整体的车流状态，最后实施干预。

华先胜在会上还首次介绍了机器代替交警巡逻的功能，利用城市已有的球机设备，不做别的改动，在云端完成AI算法，让摄像头自己发现路面的交通事故、进行报警。

不仅做到了不增加设备、不改变链路即带来效能提升，还革新了技术，与交警一起解决了许多交通场景的算法难题，并且还能在硬件上进一步降低成本。

城市大脑到底有什么不同？华先胜总结，实际上使用AI和计算能力去挖掘大量城市数据不可替代的价值，完成人不能完成的事，这与许多模拟人的智能不同，未来城市大脑的整个系统将成为城市的基础设施之一。

精选演讲内容如下：

我们再走近一点看城市大脑是什么？首先城市里有大量的数据，尤其是视觉的数据，而且视觉的数据是不能被直接使用的。

首先第一步要进行感知或者叫认知，也就是我们要知道街上发生了什么样的事情，当然端上也能有一定的感知能力，那么云上的感知能力却更为灵活更为强大更为的容易扩展。尤其是今天AI的技术和计算能力的提升以后，使得我们有很大的想象空间可以对整个的道路进行全面地感觉，一会我会讲为什么叫全面。有了全面的感知以后就可以进行决策，当然感知内层的话过去有很多像端上的设备的话可以感觉到车，可是人的话是很难感知的。我们今天在云上感觉的时候是可以精细的分析到车、骑行的人、人，甚至他等红绿灯的时间、抛洒物等等各种事件事故都可以进行感知全面的分析。有了这些以后就可以进行决策和优化了。简单的决策是说我感知到了，马上就可以进行采取行动，比如在杭州我们做事件、事故的检测，几十种事件事故的检测，比如说交通的拥堵，很多是有事故引起的，大家还要吵一吵以后才会报警才会处理。但是我们摄像头其实已经看到了，看到了以后马上就可以知道什么原因，马上就可以进行处理，杭州其实目前还没有做到自动，专门有一个交警队，骑警队马上就会去处理，将来其实我觉得可能一个电话就可以解决的。对一些严重的交通事故的话，如果还没有人来得及报警的话，我们摄像头已经看到了全天二十四小时全程的观测，看到了以后马上就可以进行请求医疗资源去处理，可能能节省几分钟的时间就能救人一命。当然全局的优化，比如说交通灯，刚才有很多专家都谈到过交通灯优化，那么视觉可以给交通的优化带来更全面更真实的信息，眼见为实的一些信息。

搜索和挖掘，我们可以把城市里面我们通过摄像头看到的所有的视觉对象，放到搜索引擎里面去，就像商品搜索一样，就像其他的图像搜索引擎一样，车、人全都放进去，不仅仅是车牌、车的属性，甚至通过车特的图像，车、人的视觉特征进行搜索，这也是在业界也是非常难的一个问题，这叫车和人ID的问题，没有车牌没有人脸的时候大量的其实是看不清人脸的，能不能做到人的识别。比如说我们就可以做套牌车、做肇事车的查找，而且我们这次做的是一个实时的引擎，只有秒级的，也就是说一旦出事以后，我们不但可以知道这个车过去在哪里出没，在几秒钟之前，十秒钟之前他在哪里，十秒钟的积累，可能我们将来会做的更好，可能只有几秒钟的积累，就可以知道他十秒钟之前在哪里，这个时间作为交警来讲我们咨询过，其实时长的话已经策划好了，我们将来可能会做得更好一点。

再下一步可以进行预测，我们可以预测一段时间整体的行为，比如说车流10分钟以后、20分钟以后、30分钟以后的车流是什么样子的，我想在座的很多交通专家对这个比较熟悉。比如说我们像今天的GPS其实是给你做路径规划的时候是没有预测的，如果有预测的话，可以给你做一个更好的路径的规划。当然了，我们也可以做更长时间的预测，我经常举的一个例子，比如说南昌明天要下大雨，还有几个明星要在哪里举行活动，这个时候你大概根据历史的数据和明天的情况，可以估计出来道路明天的几点到几点的拥堵情况和事件事故发生的概率，大概可以估出来的。有了这个以后你就可以进行一定的干预，比如说预先设置资源，医疗资源也好，交警资源、人力资源等等之类的，当然我们也可以做得更狠一点。更狠一点的话，我们通过交通的管控，交通的疏导、诱导，可以避免这些不好的事情的发生，比如说把交通事故的概率维持在原来的水平，交通拥堵的时间降低到原来的水平。整个一套下来我们认为这个是一个城市具有了大脑，但是目前还是以交通和安全为主，我想将来的话可能有更多的课题会引入进来，像环保、像土地使用等等之类的。这也是为什么我们倾向于用一个新的名词叫城市大脑，而不叫做smart city，因为我们认为这里面是真正是有智能的。

整个城市的感知的发展也是经历了很多的阶段的，最早的话什么都没有，无感无知的状态，这个时候是要通过走访的，问问大姨、大妈有没有看见什么人什么车，后来是感而不知、感而略知。从城市大脑开始，我们提出的概念是要叫感而全面知，感而全量知，感而实时知，这是很大的一个变化，这也是我们提出的云上方案的一个特点。

从全面的角度来讲，给大家举一些例子。比如说我们对每一个摄像头，它视野里所见到的所有的车、人、交通标志以及路上可能出现的各种情况，事故也好、爆炸物也好，都要做全面的感知，今天在云上的计算具有这个能力，具有这个灵活度，算法也具有这样一个能力来做这件事情。比如说最基本的就是目标和属性的识别。这里我给大家举一个例子，其实是一个质量非常低的这样一个视频，我们不需要去换摄像头，我们一样可以做非常精准的目标检测、跟踪和识别，所以我们是不需要换设备的，什么设备都可以。这里面当然要求速度非常的快，要非常的准，你只有几十毫秒的时间去处理这些事情，因为还有很多涉及到其他的事情需要去完成。

这里面我们有一些科研的成果，高效的、全尺度的、多目标的检测的这样的一个工作，大家如果有兴趣的话可以去读一读。我们在一些国际的比赛，检测是我们的基本功，车辆检测在KITTI比赛持续一年的时间一直维持在第一位，行人检测最近几个月我们也一直是维持在第一位。车辆、行人各种目标检测是一个基本功，后面还有更难的事情是说事件事故的检测发生了什么？这是因为它是一个时空的检测，其实是很难的一个问题，要做到全面还是非常难的，我们把它变成一个叫做时空异常检测的问题。也就是说正常的车流是没有问题的，一旦出现异常，出现事故事件的话，那就是个异常的车流，不管是有的车慢行、有的车超速还是碰撞，还是逆行，这些都可以通过异常来进行检测，我们也有一个很好的工作，公开表的一个工作叫时空异常检测，有了这个以后，我们就可以对路上发生的事情进行全面的感知，比如说像人车的相撞，车车的相撞，甚至拥堵情况，还有非机动车跑到高架路上，高架路一般不允许摩托车通行的，我们刚开始运行的时候找到了非常多这种例子。

刚才讲的是具体的全面的角度，对整个路面的情况能够全面的感知，当然交通流是最基本的一个感知，交通参数是最基本的感知。怎么样实现除了单个的摄像机的感知以外，要达到城市交通治理的这样一个目的，还有一个很重要的两个要求，一个叫全量，一个叫实时。因为时间关系没有时间去展开，但是有一点，我们是基于阿里云的实时计算平台或者叫流计算平台来实现的，因为有这样一个平台，所以我们在上面去架构一个实时的大规模的视频处理，其实就变得没有那么困难。虽然我们也需要做很多的工作，让Stream Computing云计算的平台能够吃得进去大量的数据，扛得住大规模的计算，然后及时的能够突出分析的结果。

这里面其实很重要的一个因素，我们最早受到很大的挑战就是成本的问题，我们在后台的云上计算到底要多少成本，会不会比端上的计算更为昂贵？其实我们在这方面做了大量的工作，最早的时候和今天的算法可能差了10倍、20倍的时间。今天举个例子，如果你做一件事情本来要一台机器做成了，你结果用了两台机器还不会有什么事情，如果你做的这件事情要一千台机器，要一万台即席，结果你用了两千台、两万台，这个就很麻烦了。我们当时做了大量的工作，包括模型精简的加速，并发计算的流程，和器件的加速，有几十倍的速度的提升。最近马上就会上线的APP，APP一个卡我们能处理70度视频。

到底能实现什么样的功能？刚才讲了一些单点的技术，其中我们最近会发布的就是机器代替交警巡逻这样一个功能。这个其实目前几乎没有其他的人做，这个实际上是用的球机来做的，因为我们有很多的算法是在枪机上，枪机相对是比较容易一点的一个case，球机因为它会动，而且有很多球机的分配率也不是很高，变化非常的多。在球机上怎么样让球机变成一个智能的球机，这是我们其中的一个项目解决的一个核心的问题。通过球机来代替巡逻，在交警那里其实是有个控制台，有很多人在那里看，其实也没有多少人，也没有多少这个场景他是可以真正的去看的。现在我们可以用这个算法在背后24小时全天候360度的值守，对交通违法、交通事故事件进行全面的感知。

这个小视频是一个例子，球机也是在动的，这里面人出来了和这个车在那里不动了，这些都是我们马上判断出来他是一个事件事故，比如说十秒钟之内我们就知道了。其实要人工去看的话，差不多也要十秒的时间才能判断出来。还有更多的一些例子，全天候全面的交通事故的感知。我们可以看一下，这个应该是个交通事故，这个是个行人横过马路，这里边是拥堵，这个是骑摩托车的跑到高架上去，下面这边是逆行，这边是个路口打劫，后面两个是晚上光照也不是很好的情况下，大家可以看到非常小的目标出现的，这实际上应该是两个非机动车在高架路上行驶，非常小的目标我们都可以找得到。基本上最开始其实交警也不是很相信我们能够做这件事情，到今天其实我们的最新的版本上线以后，交警认为是完全可以实现交通的管理。

我们在杭州正在运行的这一套城市大脑的系统，其中的事件事故检测，我们在检测到以后就会推送到大屏上来，大屏上的结果也会推送到各个局点，局点上就会有专人在看这个，进行适当的处理。这里有更多的例子，包括事故、包括逆行、非法停车等等之类的。除了即时的发现以外，我们对相对长一点时间的统计也能发现一些问题，比如说像当时的1.0版本的时候，运行了一段时间，发现有些地方反复在报警，这个基本上有点问题。后来我们找到了六个这样的点，交警去实地看了一下，确实那里路的设置等等之类有问题，然后进行了线下的处理，得到了明显的改善。因为这个改完了以后，你的报警数目就可以看得到有没有效果。

这一部分的工作其实有很多的产品，因为今天时间关系我就讲了这一个。这一个特点，其中很重要的一个特点，就是我们充分利用城市既有的相关设备，包括它的最大的效率，不需要做其他的更改，直接在云端就可以搞定。这个可以让装监控设备做自动的巡航、自动的巡检，通过机器换人，实现紧密的最优的配置，所以这里面其实我们不是替换了交警，实际上是让交警去做更有意义的事情，最重要的事情，因为这个事情交给机器来做就可以了。机器将来能不能替换交通专家，我想了想，那么多交通专家坐在下面，我还是说不行比较好。开个玩笑。应该是部分工作可以替换了。

基于交通球机的交通数据分析有三个特点，效能的提升，不增加设备，不改变链路，通过世界云计算来进行效率的提升。第二个是技术的革新，这个里面确实有很多计算算法的难点的问题，我们也是跟交警一起谋划了很长的时间，杭州交警一起在真实近距离的协同作战。还有一个是成本的降低，我们将来除了算法本身性能的提升，也会在硬件上进一步的降低成本。

我稍微再回过来跳得高一点点看的话，城市大脑它有什么不同地方？第一，我总结一下，实际上是用AI和计算能力去挖掘大量城市数据的不可替代的价值，它其实是做一件人不能完成的事情，最早的时候人工智能是模拟人的智能，所以今天其实人工智能虽然很多方面不如人，但是在很多方面也是超过了人的，比如像城市计算，其实这部分其实是超过了人的，是人做不了的。我们希望城市大脑这一套整个的系统会成为将来城市的一个基础设施。刚才讲到深度学习、计算能力等等AI催生了城市大脑，因为城市这个平台的巨大，城市的数据的量巨大，问题的复杂性问题，需求的量的巨大等等这些因素，其实它将来会成为一个平台，能够催生很多人工智能技术的发展，这也是为什么我们城市大脑会成为科技部国家首批人工智能开放创新平台之一，成为国家队的项目。实际上我们会把它做成一个开放的平台，除了自己我们搭了个台子，上面还有一些演员以外，其实有更大的空间会开放给第三方，一起来构建城市的智能计算，城市大脑的平台。

。