千视通CTO胡大鹏：解读AIoT无感通行园区的算法与业务逻辑

3月23日，由雷锋网 & AI掘金志主办的「第二届中国人工智能安防峰会」在杭州召开。

峰会现场，千视通CTO胡大鹏以《智慧园区，无感通行》为主题，全面深入地分享了千视通AIoT场景融合战略。

胡大鹏博士是香港科技大学计算机科学博士，曾任微软亚研院博士后研究员、ASTRI(香港应用科学研究院)首席研究员，作为千视通的联合创始人兼CTO，参与制定了千视通AIoT场景融合战略。

胡大鹏博士在大会中提到，AIoT场景融合战略由AI算法、IoT智能前端/边缘计算、大数据平台、NVR/服务器等组成，可将Re-ID和Face-ID两大算法进行融合应用，赋能智慧园区、社区、校园、零售等多个场景，实现无感通行。

以下为胡大鹏博士的现场演讲内容，雷锋网 (公众号：雷锋网) 作了不改变原意的编辑和整理：

大家好！我是胡大鹏，今天我主讲的内容是《智慧园区、无感通行》。

作为联合创始人创办千视通之前，我曾在微软亚研院、ASTRI工作。目前，千视通的核心研发团队都是来自于香港科研院、北美以及上海交通大学的专家。

千视通与其他AI公司有所不同。现在业内头部的AI公司大多都聚焦于单点人脸识别和Re-ID技术，我们除了深耕这两项技术外，目前也在把这两项进行融合，实现“无感”，业务逻辑是把人与场景融合在一起，打造“无感园区”。

现在，我们为用户提供AIoT端到端的全栈解决方案，同时借助佳都科技、川大智胜、比特大陆、明略数据四大股东的资金与资源加持，使得千视通有能力承接完成大量的诸如“无感园区”类型的数千万级项目。

AIoT端到端，场景融合战略

千视通的AIoT主要包含四个方面：AI算法、IoT智能前端/边缘计算、大数据平台、NVR/服务器。

算法层面，大家都知道千视通最初是做Re-ID和人脸识别的，在这些项目的研发期间，拿到了非常好的数据，现在可利用这些实战数据和技术积累去做无感通行。

目前千视通主要聚焦在前端中心，公司储备的大部分算法，都在人脸、IPC、系统增强等领域，这些算法现阶段已经非常成功地嵌入在了前端，可直接应用。

在AIoT领域，我们也可以去赋能老旧、普通的IPC（后端也需要硬件和平台的支持），我们现在做的主要是加强AI和前端层，从而演变成全线的端到端方案。

千视通的AIoT方案可以用在什么场景呢？园区、社区、校园还有零售。今天我主要讲前三个，零售的技术逻辑与上述三者也较为相似。

AI+园区，无感通行

什么是无感通行？

在讲无感通行前，我先谈谈普通园区管控中通常会遇到的问题，主要分为四种：

1.安全管理有漏洞：当人进入园区时，需要刷脸或刷卡，但这些环节都可以通过造假入内。

2.布控识别存在盲区：进入园区后，很多地方一方面没有摄像头，另外即便有摄像头也仅可以实现把人检测出来，或者是用Re-ID把人在不同的系统里进行关联，但并不能建档，所以无法知道这个人是谁。对此，我们把Re-ID和Face-ID融合起来，除了从不同的系统里拿到这个人的样貌和外形信息之外，我们也把他的身份信息复制进去。

3.园区成本改造成本高：很多园区仍在使用老旧硬件设备和软件系统，如要进行改造，成本会很高。

4.事件预防能力弱：现阶段大多设备对事件的预防能力比较弱，单从火灾预警来讲，若采用普通的IoT硬件，需要安装很多传感器，如温度传感和烟雾传感等，但各种设备的能力范围有限，感知的场景和采集的数据单一，远不如摄像头。

在这种情况下，我们的解决方案分为四点：分别是无感通行、一人一档、利旧建新、火情检测。

 无感通行

什么是“无感通行”呢？当你进入一个园区之后，我不希望用户知道你在管理他，他不需要主动刷脸刷卡，他一入园区后，在不干扰他的情况下，利用摄像头先对用户进行识别，然后把他的资料和属性调出来，根据他的身份，对园区进行智能管控，对用户提供通行服务，所以叫“无感通行”。

 一人一档

如果我可以把每个人的ReID关联起来后，再把人脸信息加进去，就可以在底库里面把他的身份信息拿出来，然后再进行关联，在此之上，便可以为每个人建档。

建档之后的任务，千视通自身已经做了很多优化工作，比如把所有人的信息分解出来，然后建一个档，档案里包括了用户的所有信息：身份、属性、每个时间段出现的位置、所做的事情，这之后也可以衍生出更多的应用。

利旧建新

我们的产品可以称作为“利旧建新”，这么叫的原因是希望把原来的普通IPC，在后台加一个盒子，或者再台服务器，从而把摄像机的能力，变得更智能。

火情检测

最后是事件监测，我们做的一款产品叫“火情检测”。

无感同行通过2D或者3D地图，然后在地图里把无感通行里检测的所有人和事都进行重建，然后把他显示出来，我们甚至可以建立一人一档，可以知道这个人在园区里怎么走动、也可以知道他的身份，在每个点里都能实时把这些人检测出来，然后把他分辨率最高的抓拍人像，跟人形去做关联，使得他在园区摄像头下的所有行为我们都可以掌握。

知道这些信息后，然后进行统计建模。

比如可以把园区行人的资料跟公安黑名单进行对比，如果识别出某人是逃犯，就可以实时自动关闭园区大门，然后通知警方和管理人员办案。

下图是千视通做了很多年的属性提取和分类，随着属性的颗粒度越来越细、越来越多，识别精度越来越准。

那么人形Re-ID和人脸Face-ID怎么做呢？

人每经过一个地方，如闸机或门禁，在门禁里，我可以采集到他非常清晰的照片，经过一些卡口时，整个人也可以看清楚，但如果在其他地方，就可能看不清楚他的人脸。那么在这种采集不到高清照片的场景下该怎么办？

在园区里我们实时从不同场景和不同的设备上，采集人的各种人脸图像和人形轨迹，最后用底层的算法，把多个维度的信息和属性进行关联，属性越多，档案便建得越完善。

当然了，由于整个采集流程是无感的，所以采集的图像有时候质量不一定非常好，这时候需要我们用非常复杂的算法进行图像增强，比如通过超分辨率识别技术实现低清人脸的识别，从而进行高清人脸以及进行身份比对。

另外，我们在侧脸还原技术上也有着很好的积累，针对只抓拍到的侧脸数据，从而根据侧脸的信息，把正面的特征提取出来，进行图像修补和增强，提高精确度。

如果是晚上怎么办？在园区，现在有超夜视增强识别技术，可以把算法嵌入在前端的AI芯片里，把黑暗无光的照片进行恢复，然后进行分析。现在这个系统理论上可以24小时工作。

最后是刚才提到的一人一档，每个人的资料都在这里。有了这些资料以后，我们系统有些标准的应用，类似于黑名单报警、陌生人报警、围栏报警、未授权区域报警、访客超时报警、人形属性报警，这些都可以做。

我们前端是允许普通的IPC连接到我们的盒子，或者是在后台的机器里做分析，还可以买我们设计的摄像头，千视通已经有一些算法，也可以提供一些标本配备，比如与闸机或者是访客机，以及加上人脸终端去提升性能。

我们园区的方案，包括五个模块中心：

智慧园区管理中心 ：我刚才提到的分析、储存环节都是这个中心在做处理。

门禁闸机控制和视频监控系统 ：这两个产品形态比较简单，主要是控制硬件。

远程访问权限控制：这个模块很重要，园区如果有人过来访问，可以预先在网上登记，登记之后，进入这个园区即可。后台授权也有一些功能，管理员可以根据你的身份，自动设置你哪些地方可去，哪些地方不能出去，以及获取访问时间等。

车辆管理子系统： 车辆管理子系统也差不多，只不过对象不是人，是车。

警报信息发布系统 ：管理员可以在系统里定义哪些行为违规、什么可做、不可做，如果有违规事项发生，及时报警。

以上主要是我们无感园区要做的事情，我们尽可能在不干扰用户的情况下，把一人一档建起来，这是我们无感通行里最重要的一点。

AI+社区

如果把无感通行扩大，可以做什么事情呢？

我们发现在社区的管理上有三个很大的问题，第一个是外来人口不断增多，特别是在一些正在快速发展的城市，流动人口基数很大，管理工作人员少、信息管理滞后。

千视通近来在广州花都区有一个项目，这些园区本身有一些门禁系统，还装有不少摄像头，但他们就不太愿意把这些旧的设备全都换掉，希望在保留旧设备的基础上，打造成一个智能社区。以前很简单，直接连到我们后台或者盒子等产品，老产品都可以变智能。

当这些项目做大以后，我们就可以把这些小区变成酒店式管理。

小区里的人在什么地方，做什么事情系统都可以知道，他原有的门禁，也知道有什么人在里面，所有门禁采集的资料会送到后台中央来处理，再加上一些摄像头做的Re-ID和Face-ID的融合，基本可以实现一人一档。它首先可以统计人口信息，然后是房屋信息，知道房子里面有什么人住，现在有什么人在里面。然后是出入信息，我们可以知道处于这个门禁的哪个位置，他在社区里面跑，通过多个摄像头融合，系统也可以把他的位置找出来。

在一人一档里面已经有这个资料了。然后在每个摄像头位置都可以抓拍他的信息，从这里也可以拿到他的短视频，就可以全都管理和控制。

AI+校园

下一个是校园，为什么提它？

近来我们发现有学校开始布一些传感器之类的智能产品，辅助校园管理。我觉得在学校里面，有四个问题需要解决：

包括校园进出问题、陌生人进入宿舍问题、学生接送冒领问题、学生逃课问题。

我们去学校充分了解了其需求，他们有学生接送管理、校门进出人员管理、宿舍人员进出管理以及课堂出勤管理，如果我们可以对每个学生都建一人一档，这些事情的管控都不难。

对于家长来说，他感受到的是什么呢？因为每个学生，系统都知道他的档案、姓名、班级、学校、时间、位置，每个时间段在做什么事情，他附近有什么人。

我可以提供一个手机APP给家长，家长如果没有时间去接送，可以在这里授权某个人去，在这里登记，就像刚才园区一样，可以在里面先登记，然后这个人就可以去接送了。

接送也可以警报，到底是谁在接送你的孩子，还有接送的画面、短视频都可以看到。另外一个是你孩子在课堂，有没有上课，有没有参与，也都可以知道。这对家长来说非常方便，重点是无感，所有人完全不需要刻意配合，也不需要受到干扰，体验很好。

总结来说，我们千视通主要的AIoT有什么呢？

主要分为四部分：尖端的算法、前端嵌入式方案、大数据平台基础，NVR/服务器，基于这四点，就可以做到无感通行，一人一档、利旧建新，还有事件检查等。我们的AIoT可以用在园区、社区、校园，还有零售等场景应用，未来可探索的场景更多，因此我们也需要更多的时间去挖掘。

这是我们公司的宗旨，希望我们用人工智能，让城市更加安全、便捷、智慧，谢谢大家！

关于中国人工智能安防峰会

由雷锋网& AI掘金志主办的「2019中国人工智能安防峰会」，是业内极具影响力的AI安防论坛，致力于推动中国“AI-安防”落地融合与“学术-产业”的应用交叉。

延续上一届峰会的高水准、高人气，2019中国人工智能安防峰会再度站在算法、工程和产品的最前沿，引导安防行业认知再升级。这是海康、大华、华为、阿里、腾讯以及多个AI独角兽，因“AI安防”首次同台，峰会现场也聚集了海内外1000多位政企管理层和技术研究员，共同探讨2019年的AI安防智能技术部署、前沿算法应用与商业战略布局。

本次峰会共设置“城市大脑与边缘计算”、“世界顶尖算法应用”、“前端动态识别与智能视频云”、“城市AIoT与边缘智能引擎”四大议题，出席的15位演讲嘉宾分别是：

上午场：阿里巴巴华先胜、海康威视浦世亮、大华股份殷俊、地平线张永谦、深瞐科技陈瑞军、商汤科技张果琲、浪潮商用机器张琪。

下午场：香港科技大学权龙、原松下（新加坡）研究院申省梅、华为余虎、触景无限肖洪波、旷视科技安洋、千视通胡大鹏、腾讯李牧青、中科院自动化所王金桥。

。