视频 AI 技术在智能交通中的创新应用｜公开课回顾

近期，雷锋网AI掘金志邀请到了文安智能副总经理郑强做客雷锋网公开课，以“视频AI技术在智能交通中的创新应用”为题进行了干货分享。

后续将有更多课程上线，添加微信号 suekee777 报名听课。

郑强认为，在国家政策、市场宏观发展的趋势下，下一阶段智能交通无论从技术、管理上都离不开数据。加强各方数据的汇聚整合和关联分析，释放大数据的能量和价值也成为政府建设交通的必然方向。具体来说，主要在车辆智能化、道路智能化和管理智能化三个方面。另外，郑强分享了文安智能在交通算法、前端产品、以及核心平台的创新与应用。

以下为郑强分享内容节选，雷锋网AI掘金志做了不改变原意的编辑。

市场需求及分析

• 市场宏观趋势

国家在智能交通有很多细分领域，就技术水平而言在全球靠前，同时也有很多短板，比如我们的管控，整体交通的协同。

国家宏观政策上，2019年国家提出了交通强国建设纲要，指出到2035年基本建成交通强国，2050年全面建成交通强国。

在这大趋势下，各地也开始进行新一轮的交通规划，我们的交通建设还是以政府为主导。

各地的交通规划主要在：织密道路智能感知网络，构建智能感知、智能分析、智能决策的交通大脑，面向应用建设能够支撑应用的集成指挥平台。同时与公安智慧公安体系相辅相成，因为在感知层面或者说在应用层面，公安的体系比交通体系更强。公共安全是国家最重视的，也是老百姓最重视的层面。

另外就是现在如火如荼的智慧城市，智能交通作为整个智慧城市规划的重要分支，要做到共建、共享、数据融合。

实际上从这3点可以看出下一阶段交通发展的一个方向。从技术角度看是离不开数据这两个字的。管理上以前是以人为主，以后对于前面的感知到后面的分析、执行判断，决策都会依靠技术和数据。政府意识到数据的价值，下一阶段加强各方数据的汇聚整合和关联分析，释放大数据的能量和价值。

• 交通智能化应用趋势

交通智能化的趋势主要在三个方面，分别是车辆智能化、道路智能化和管理智能化。

车辆智能化与to C端相似，现在的车联网、自动驾驶、辅助驾驶等等实际上是企业to C端来做的。

道路智能化，因为车路协同也是要建设的，路侧端的建设带来道路的管理，包括拥堵、交通信号灯、交通组织、信息服务、信息发布等等。

另外一部分就是偏政府管理端的管理智能化，其实就是分析、决策、执法、优化到服务能力提升，其实到最后已经不是管理而是经营了，是服务融入日常生活。

文安主要是以道路智能化和管理智能化为主要的目标进行相应的系统的打造。

道路智能化，具体来说即城市道路做精、高速公路做强、乡村道路补。其实也可以从城市的层次分，比如一线城市，二线城市或者三线及以下的城市，各自的基础设施、基础系统建设情况如何。

通过20年的基础设施建设，从全球层面看我国一线城市的基础设施至少是不落后的。

城市道路里真正大的恶性交通事故相对少，所以下一阶段，提升在目标是秩序，效率，其实就拥堵。

通行效率其实是人的舒适度，舒适又跟车辆本身智能相关。

高速公路上发生的事件与人身伤害都是有直接联系的，所以高速公路对安全的重视要远远高于城市部分。

同时高速公路的通行效率又和收益直接相关，所以在安全和效率是高速公路的要点。目前高速公路因为自身特性，建设了一部分智能化基础设施，下一个阶段是加强，把补齐短板。

乡村道路是周期建设，这一点与智慧城市相同。

在周期中，我们可以考虑强化乡村的基础设施，农村基础建设太薄弱，雪亮工程才开始在农村安装摄像头；交通方面也有很多空白，我们应该补刚需的地方，也叫补弱。实际上乡村道路人身伤害的交通事故是比较严重的，所以既然要补弱，就要把最基本的需求做好，即安全。

这是三个不同应用场景下所要面临的目标。

AI应用实践

文安AI交通产品解决方案：全覆盖、全智能、端到端

正如前面说的，2019年国家才提出交通相关的大规划，在这之前行业里是基于自己的理解开发相应的产品和系统。文安智能的产品和系统跟政府的政策不谋而合，这是我们的优势：能理解用户的需求。目前，我们的前端AI产品，边缘端、终端、中台AI产品，以及后台的智能管控运营应用系统和市场大趋势是完全一致的。织密感知网络，构建、感知、分析、决策大脑，集成指挥平台，这些都是完全相符合的。

比如织密感知网络，一是违法监测点灵活补增，同时对现有设备的二次复用，更加赋能应用，这是我们的方向。

构建感知、分析、决策大脑上，如何更高效分析高密度大规模的视频，出来的大数据、动态感知的数据，怎么进行数据分析。以及最后的应用，肯定是要和用户的业务流程数据，包括智慧城市的大数据要能发生联动融合，我们也做了一些创新。

1.核心创新：AI交通算法

我们的立足之本就是算法，我认为交通算法还有很大的提高空间，不只是应用算法的种类，还有算法的精度。现在一说AI、算法，大家都知道深度学习、机器学习，但是实际交通场景有很多复杂的应用需求，精度的提升绝对不只是一种算法。

比如，人脸识别可以用很强的深度学习算法做，因为人脸照片通过大量的数据就可以算，但是在交通中很多场景不是简单的、标准化的。举个例子，通过视频我们知道两车在剐蹭，但是用算法判断，绝对不是用简单的深度学习能做的，最多能认出是那个车，但他们相对的行为是认不出来的。

这后面还有人赋能上去的结构化知识，因为深度学习其实上是一个Black box, 这个黑箱里到底算法是如何工作的，是神经网络自己生成的，但交通里头要加白箱，是人要做算法匹配，是这样的一个概念。

• 十六合一电警

我们有十六合一电警的算法。496行标相对比较少，就五六种，我们现在做了十几种已经在各地得到了应用。

非机动车检测中，机、非机、人都可以通过结构化检测，但是非机动车违法检测又不一样，因为非机动车和人，深度学习是可以发挥优势的，违法检测很难。

外卖车闯红灯，既要看红灯，也要看他的行为，涉及大量算法的创新；是否带头盔/超载，这些需要更精细的算法匹配。路口电警算法远远没有达到视觉能够呈现出来的数据，最多能检测路口违章，大部分都是机动车违章。对行为、事件的感知，机动车和非机动车现在都可以通过视觉做，唯一欠缺的还是算法，算法的精度能不能达到用户可以用的程度。

大家会觉得海康大华都在这个领域，我们还可以做什么？我们有自己的竞争优势，他们可能都是标准化的、非创新性的，因为他们有工程化、产业化的能力，我们一定要创新，才能生存。

• 八合一卡口检测

因为卡口很多都是结构化，深度学习能做很多，相对而言可以创新的不多，

但是我们也在不断的丰富。车辆各种各样的属性，包括车里面的人的人脸抓拍、副主驾驶这些也都在做，这些我们也都不会落后。

• 交通流量检测

交通流量其实是为了交通管理整个态势。

以前流量检测一般只针对车，现在我们可以对人、非机动车流量检测，包括一个地区静态的流量。

将来交通管理肯定是个立体的，大数据的，不是一个简单的路口。一个路口的数据和另一个路口的数据，甚至和周边的居民出行的情况，都是有相关性的。

大数据发展到后面会往大数据平台走，数据多了，能做的事多了。

• 交通设施异常检测

我们增加了围栏倒掉、信号灯故障、路面破损、路面抛洒物检测等等的创新。

比如路口左转不让直行场景中，左转车没有优先让直行的车辆过，把视频进行相对的分析，深度学习，认出车和车牌、车上的文字，它其实是一个复合的算法。

包括一些更复杂的场景检测：右转车辆不让同向直行非机动车。机动车右转时，右边有非机动车或者人，交通法要求让人先走，如果机动车没有让，可以检测出来。这要有人体建模，人体的行为，车辆的建模，包括车辆的机动车建模的行为，这些相对都很复杂。

大家觉得车牌识别可能比人脸识别要简单，因为人脸识别不需要人的行为，只要头肩比例，找人脸抓拍下来，然后用后台的算法就可以来进行身份识别了，难点在于你的人脸数据库，1万人、10万人、100万人，最后呈现出来的精度和应用体验是不一样的。

而机动车和行为由其相对性判断，是要讲究证据链的，罚错了，要付出相应的代价。

2.前端创新：AIoT太阳能电子警察相机

正如我刚才讲的，有的算法是有工程能力，但是用户用不了。除了算法，还要有用户可以应用的产品。

交通行业目前对相机有大量需求，因为有的人会避开有相机的点位，或者过了测速路段就超速，还比如高架桥等地方不能挖土、立杆、通电，这些地方是智能交通的盲点盲区。

这就要求相机具有综合成本小型化、轻量化的特点，如果没有这一点，就不能解决根本的问题。我们这个产品就应运而生了。

我们这个产品是一个超低功耗AIoT相机。

特点一：多应用场景

一个它小巧，可以快速安装，然后里面内嵌了低功耗AI芯片，实时监控。它可以检测是否违章、有哪些违章，比如违法占道、违停、压线、逆行等。一旦发生相关行为，立马抓拍，车牌识别、行为识别，然后传到后台。

特点二：快部署

小型轻量，体积重量比传统太阳能监控相机小很多，安装简单，装好后可以马上用。可以利用旧杆体，不需要另外拉电线、拉网线；还能无线通信，可以随时传输，目前是4G传输，未来肯定是5G。

特点三：成本低

传统的太阳能，费用成本也高，而且不能移动或者不能动。目前因为地图都会播报“前面多少米要超速/闯红灯罚款”，车主会绕道，无法真正规避这罚款。我们的AIoT独立式电子警察，在一个点位抓拍后可以拆下来装到另外一个点位，综合成本非常低。

案例介绍：应急车道占用电警项目

我们这个应用，其实主要在应急高速上占道、违停的抓拍，效果非常好。我们在北京测试过，一天可以抓拍到3000多个违章，按照罚款算的话，一辆车200块，3000张，一天罚款60万，这是这个产品体现的一个价值。当然这个价值不是体现在罚款的上，但是至少可以对某区域的违章有量化，比如一天大概3000个违章，是否要做既有罚又有疏导的决策。

3.  AI视频分析平台

• 云端全智能电子警察

大家都知道云是信息化最基本的，但是云应用这么多年也出现了一些瓶颈，很多的云离用户太远了，比如视频都到公有云或中心端去识别，对网络带宽要求很高，各种成本也高了。

以前公安建设的雪亮工程摄像机基本都是非智能的，近期才建了一些抓拍人脸的智能相机。非智能相机到后端后，还是人看视频，越建越多的结果是人不可能看得完。

政府优质的资源，就是视频资源，如何高效地利用这些资产和资源。

我们的AI视频分析平台是介于前端和云端中间的边缘计算云，叫边缘云。当然我们也有边缘计算的小盒子，它功能和前端相机差不多，只是赋能在非智能的相机里，边缘视频分析平台和边缘云的概念是一样的。

它最大的效果就是把以前建设的这些摄像机都结合起来，和公安互通互用。

我们把所有的视频通过既有的网络可以到中心端进行相应的识别，中心端就是我们刚讲的，边缘云做云端AI，大量的算法来进行匹配，就是云端全智能的电子警察。

• 功能特点：视频智能分析、图片结构化、高性能

卡口的、电警的、创新的都装在里面，它是个算法资源池，根据需要配置到不同的路数的前端的相机的视频流里去做分析。

可以做视频分析，也可以做图片分析。因为交通有大量抓拍的图片，以前的算法或者别人家的算法，不如我们精准，我们会做二次识别，把不精准图像进行二次筛选。

它的超高性能体现在算力专用化的挖掘上，一台设备凭什么能处理100路视频。比如华为做鲲鹏，实际上也是把算力专用化做应用，我们现在基于别人的芯片也有自己的分析服务器，单台最高处理160路1080P智能视频分析或500万张图片二次识别，性能是非常高的。

它是一台两用的服务器，以前我们也做过通用的CPU服务器，就是几个机柜的普通服务器，成本和维护都很高，现在我们只要用2~3台就可以做以前上千路的识别分析，减少维护成本，同时省电节能。

合作赋能：华为鲲鹏云端电警平台

我们和华为的鲲鹏平台也有合作，因为它的硬件需要我们赋能才能体现最大的价值，我们需要更高算力的平台支撑我们的算法更高效地处理，降低综合成本。我们跟华为是作为合作伙伴在一个生态体系里。

案例介绍：某市雪亮赋能电警项目

应用上我们也做了很多，雪亮工程中很多相机是非智能的，其中很多球机需要人在后台操纵的，耗费了大量的人力，而且在操纵过程中，未必能抓到。现在我们把前端球机做自动寻切和预置位，自动旋转，每到一个场景，后台自动分析。比如违停场景做罚款，事件做报警，信号灯设施做监控，可以做很多，甚至一个球机就变成了N个固定相机，这样一个球机价值就很大了，很好的给雪亮赋能。

我们还做了一些其他的专项应用，这些应用是需要算法支撑的，但是算法如果只是放在前端很难更换，如果在中心端，所有的算法都在里面，对于这种专项项目，就可以一键配置需要的算法。

比如去年大庆要抓违章停车，就把摄像机都配成违章停车的这种算法。下一个场景要治理超宽超限超载，又可以一键配置。这对用户的易用性是一个很大的提升。

4.智能交通管控平台

高速公路最主要的是安全预警，刚才也分析了高速公路的需求，但是安全预警绝对不是仅仅是闪个灯，而是通过感知、发现、分析之后再反馈到驾驶员和管理者，所以后端需要一个整体综合控制的平台。这就是我们现在要做的综合智能的交通管控平台。

国家在平台建设多年，现在分成双网双平台。双网，就是公安网内是由公安部交通管理科学研究所，它的交通集成指挥平台核心板部署，它已经有很强大的功能了，但是仍然有不足。然后各个地区也有些自己的特点，所以在公安网外，实名入网内要雇一些外挂平台，即所谓的专业版。同时还有移动警务，另外还有大数据研判，所以是两个平台，两个网，四个应用的一个架构。

我们现在不可能再做官网内的集成指挥平台，我们主要做标准的外挂平台。因为公安网集成指挥平台是部省市三级，越往下有独特的应用需求，我们主要做相关业务的紧密性比较高的“情指勤督”部分。

这部分实际上是各种各样的感知信息，数据接完后，统一的信息接口接给公安的交通集成指挥平台。

我们这个平台有六类功能，指挥调度、地图及可视化服务、态势感知、大数据、警务管理、智能运维。

• 整体架构及业务流程

整体架构，刚才讲到的工程能力是体现在与实际业务流程的紧密结合。实际业务其实是相对复杂的，既有分层：感知层、数据层、分析层，往上有可视化展示应用层；同时有很多并列的子系统：警务的、警力的、勤务的；设施管理都有运维，事件预案处置等等，这些都需要有对业务极强的熟悉程度，才能做到让它用起来。

态势感知

举几个例子，态势感知，感知主要是基于两方面，一方面前端的多维数据，多维数据除了视频之外，还有比如车牌、电子标签、通信设备的数据。其实对我们来讲，视频本身产生数据这件事也没有挖掘到极致。路口大图里所有的信息还没有做好，我们还是要把精力放在这上面，同时接入别人的物联网，做多元数据的接入和汇集。

感知要做什么？一方面是感知整个入口或者整个城市，像阿里的城市大脑，它能把所有的视频分析完之后告诉你哪堵车什么。另外一个最重要的还是事故、违法车辆的态势，统一的整合和分类，这实际上是感知与大数据的结合。

交通数据研判：“车/人”管控

另外一部分就是研判，数据要有研判，当然视频中出现违法直接可以判断出来，但是有一些隐形的交通违法，比如说发生了事故，司机是不是被人冒名顶替的、某人是不是毒驾或醉驾，这就要靠大数据进行多维的数据分析。因为交通一个特点是都是以线下场景为主，不像网上购物基本都是线上行为，数据自动就形成了线下的行为。

那么如何去感知隐形违法呢？视频是不可不可欠缺的手段，或者说在很长一段时间内都是唯一的手段。

这就是AI在这个行业里能够继续生存的主要原因。

管控示例

通过抓拍车辆对车牌号、车型、颜色等属性进行识别并放入六合一数据库比对，如果发现假的或套牌车辆可以报警；抓拍主副驾驶人脸，放到公安人脸库比如，识别嫌疑人。

刚我们讲到公安和交警做融合，就是因为可以发挥1+1大于2的效果。

预案处理

预案处理实际上是有很大潜力，以前是按照流程去做，很僵化，或者根据专家、行业老警察的经验。

基于人工智能的知识库整合法律法规、先进技术理论、实践经验、专家知识等等，进行总结，对预案的表现形式及应用场景提供反馈，最终达到事件预案处置的推荐，而且可能不止推荐一个方案。

智能运维

智能运维也是我们的一个亮点，以前的运维基本就是前端硬件的运维，人工智能算法匹配应用后的运维有点像以前的公安的一个应用，图像质量分析，意思是设备本身没问题，但是图像花了。

这个智能运维系统应用是我们公司当时首创的，分析图像质量，是不是有雪花有斜纹，是不是CCD问题。

现在AI，尤其在交通里，图像花不花不是主要，识别率、有效率、捕获率是关键，因为你的算法一旦装到某个设备里，就固化了，但是场景变化是很大的，随着应用或者城市发展不一样，精度可能在下降。

精度下降是需要有一个AI大脑去作为基准来评价比对，我们就做了一个智能二次分析来跟前端进行比对，最后分析抓拍率、在线率、有效率是不是都正常。所以这是后端除了刚才讲的后端集群时做一些预先分析之外，还能做的运维分析。

知识共享，实现运维经验分享

当知识分享、运维经验由机器来做，它就会自动保存，可以用于运维问题查找、员工培训、知识数据共享。

指挥调度”一张图“

指挥调度一张图，现在有很多做AI，在真实的视频上叠加一些数据，再往后5G来了，就VR了，给用户以更直观的展现，更便捷的应用，这是一个目的。

产品系列：端边云协同

我们的产品系列很全，前端摄像机、边缘端、集群服务器、后端的应用平台都有。

我们有很多行业里首创的技术和产品。现在AI玩家，我觉得基本上一个趋势是做后端，因为前端有很多硬件是需要产业化能力，这不是大多数AI企业的强项，所以往中心端走，中心端毕竟是偏软件，现在也有很多企业尝试着做AI分析芯片等等，我觉得现在华为做的不错。

还有一部分企业在建设云平台，其实有一种是一个平台做多种垂直应用，只要是AI的分析应用都做，不光是交通，那这肯定是一个大玩家，它需要大融资的支持，因为一个交通就需要这么多算法，需要这么精准的分析，做多种行业，都做需要巨大的资金和算法算力。

我们公司就做垂直，垂直的品牌聚焦在一个单一领域去深耕，把它做到不止是落地，更要给用户一个价值体现。

刚才我举的交通例子，简单安装一个设备，除了矫正行为，处罚有经济效益，社会效益双丰收，所以太阳能前端的AIoT相机，不用我们去怎么推广，我们的客户，像北京交管局都直接替我们推广，因为确实好。

所以在交通领域，AI还是有很大的发展空间。

公司简介

我们现在的技术核心方向是视频AI技术，也就是计算机视觉，主要应用在智能交通领域。

文安公司成立于05年，也是老牌的智能交通领域产品的供应商，早年因为AI公司相对比较少，智能交通需求大，所以我们公司利用AI技术在智能交通中做了很多的首创。

我觉得要做到一个行业的Top 1需要有强大的产业化和工程化能力，除了技术要得到应用，还有要让用户用得多快好省，给用户带来很大的价值的能力，这种能力往往是现在大多数AI企业的短板。也因为这个短板，经过上阶段的人工智能大潮，近两年AI技术回归到具体的应用价值，回归到理性和以人为本。

我们文安智能一直在补短板，同时强化优势，我们的优势是创新，创新是我们永不停歇要做的事情，是我们源动力，我们在做产业化同时没有停止创新。 雷锋网雷锋网雷锋网 (公众号：雷锋网)

。