深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

雷锋网  •  扫码分享
我是创始人李岩:很抱歉!给自己产品做个广告,点击进来看看。  

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

3月31日,由雷锋网主办的AI盛会 ——「2018中国人工智能安防峰会」,在深圳科兴科学园国际会议中心落下帷幕。

大会现场,深瞐科技CTO王建辉发表了主题演讲:《从云到端的视频结构化》。

王建辉在演讲中表示,现有传统安防监控体系往往无法消化摄像头不断产生的海量数据,这致使视频监控产品已经无法满足行业提出的新需求。

雷锋网了解到,针对这一现状,深瞐科技从视频结构化系统入手,在视频里面提取行人、车辆、非机动车特征,并分析车辆的信息和司机行为。在深圳交警的一次测试中,深瞐科技取得了大货车检出率、车牌检出率和车牌识别正确率三项第一,表现抢眼。

谈及“AI+安防”的行业现状与未来,王建辉给出三点看法:首先,云端视频结构化的解码能力已经成为性能瓶颈;其次,边缘计算已经能够满足视频结构化所需的计算能力。未来,视频结构化运算会慢慢地向前端转化。

以下为王建辉演讲实录,雷锋网做了不改变原意的编辑:

大家好,我是北京深瞐科技有限公司的CTO王建辉,今天演讲的主题是“从云到端的视频结构化”。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

首先介绍一下我们公司,我要说这个瞐字,很多人第一眼都以为我们公司叫“深晶”。瞐由三个目组成,它代表的是美丽深邃的眼睛,从这个字也能理解出我们公司主要是做计算机视觉相关的工作,同时我们希望做守护世界的第三只眼,主要是在安防产业发展。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

大家都知道,现在中国的摄像头非常多。据行业的统计数据是有1.76亿摄像头,未来三年会增加到6亿多,每秒钟产品的数据量是66TB。这样大的数据量,传统的基于肉眼的安防监控已经越来越不能满足安防行业的需求。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

传统的安防设备产生的是没有经过结构化的数据,现在主要是进行一些威慑、侦查取证的作用,我们如何利用这些数据来发现犯罪行为,然后进行一些分析?

下图是深瞐科技现在的视频结构化系统,它可以在视频里面提取出行人、车辆、非机动车,同时会分析出它非常详细的属性。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

我们的视频结构化系统分为四级,首先我们会从加油站、停车场、卡口、道路监控设备里面提取视频数据,然后对它进行一级结构化。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

一级结构化主要是对行人、自行车、两轮摩托车、三轮摩托车、轿车、面包车、卡车、大型客车这8类目标的检测识别追踪:

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

每一个目标从进入视场到出视场,我们会对目标进行择优去重,获取一张最适合进行二级结构化的图片,去进行二级结构化。

这是我们针对车辆的二级结构化的示意图:

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

我们目前支持的车辆品牌型号,车头是5500多种,车尾是3500多种,已经基本上涵盖了目前中国路面上所有行驶的车辆。

同时,我们的车牌识别可以支持全属性识别,我们还会识别驾驶员的违法行为,比如说未系安全带、开车打电话。同时我们还会识别车辆更特征化的属性,比如说年检标是怎么排列的,遮阳板有没有放下来,纸巾盒、天窗、备胎等等属性我们全部都要识别出来。

针对人,我们需要提取性别、年龄、发型和胡须、上衣颜色、裤子颜色、款式等等属性。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

深瞐科技识别人和车的属性一共有40多种,现在这套系统的应用范围非常广:

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

去年深圳安博会上,一号馆里展示过视频结构化技术的公司共13家,其中7家的后台技术由深瞐提供。

这是我们前段时间在深圳交警的一个测试:

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

我们需要进行大货车的检测以及大货车车牌识别,深圳交警关注的三项技术指标我们全部获得了第一,从这个测试结果里面我们大概可以看到,我们现在车辆的检出率都在97%到99%。这个测试集一共是100万张图片。

以下是一些行业应用的示例:

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

这是一个假套牌车的识别案例:

深瞐与西安交警合作,协助他们实时识别出路面上5辆出租车用的是同一个牌照。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

我们也针对驾驶员的违法驾驶行为进行预警和布控,比如说没有系安全带、开车打电话等等。同时在一些危化品车辆方面也可以进行布控和预警。

针对车辆的犯罪里面还有一类是同行车辆的挖掘,比如说抢劫案件和同伙作案,它们都会涉及到车辆的同行,我们会通过车辆的轨迹重现以及同行车辆的挖掘来解决问题。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

深瞐科技的视频结构化主要布置在安防行业的四大类产品中:结构化智能相机、嵌入式视频分析器、智能存储、集中式分析服务器。

从云端到前端,我们都有相应的解决方案。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

刚才讲到去年安博会一号馆中的7家大型安防公司在使用深瞐科技基于GPU环境下的云端解决方案。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

那么在云端解决方案里,一张TeslaP4的卡,如果只是针对结构化的计算,我们可以对48路1080P视频进行结构化,如果考虑到1080P视频的解码,解码也非常消耗计算量。

如果把解码和结构化全部考虑进去,现在一张P4的卡只支持24路1080P 30帧解码,加上24路的视频结构化运算。这样可以发现,我们公司目前在视频结构化方面,系统性能并不是受限于视频结构化算法的效率,而是视频解码的效率。

为了寻找解码和计算能力上的匹配,后来我们采用了英伟达的TX2。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

TX2具有8路1080P硬解的能力,计算能力满足我们公司进行8路视频结构化的运算,而且TX2有一个优点是我们原来在GPU上的算法可以非常方便的移植到TX2这个平台上。

另外,深瞐团队还做了一个嵌入式的盒子:

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

这个采用了海思Hi3559A解决方案的盒子可以接到安防摄像头的后面,能够满足8路视频编解码的能力,同时它的NNIE也能满足8路视频结构化的运算能力。

我们也做了一些智能前端的解决方案,这套方案基于海思3516和赛灵思7020 FPGA芯片。在Zynq上搭建了一个神经网络加速器,可以满足1080P 30帧每秒一级结构化的运算,检出率在95%以上,功耗仅为5瓦。

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

最后,我来做一总结,目前在云端视频结构化里,解码的性能会越来越多地成为性能瓶颈,之前大家都觉得深度学习是瓶颈,实际上经过优化之后,它的计算会非常快。另外,边缘计算已经能满足视频结构化计算所需要的能力,所以我们觉得将来视频结构化运算会慢慢地由云端向前端去转化。 雷锋网 (公众号:雷锋网)

深瞐科技 CTO 王建辉: 4 级结构化系统+ 4 大产品,助力云到端的视频结构化

随意打赏

科技助力奥运产品经理课程教育云助力结构化的
提交建议
微信扫一扫,分享给好友吧。