百度安全：构建智慧城市的基石——AIoT安全

雷锋网编者按：AIoT即AI+IoT，指人工智能技术与物联网在实际应用中的落地融合。AI与IoT融合领域近年来一片火热，不论是资本市场，还是大众创业，无不对其表现出极大的热情。但是AIoT的生态安全现状却不容乐观。在雷锋网12月20日举办的「AIoT+智慧城市峰会」上，百度AI安全技术总监聂科峰带来了《构建智慧城市的基石：AIoT安全》的演讲。

以下为聂科峰演讲实录，雷锋网做了不改变原意的编辑整理。

聂科峰：谢谢雷锋网 (公众号：雷锋网) 的邀请，在AIoT一片大好的情况下，让我们说一说对未来的担忧。刚才腾讯和华为的同学都讲到智慧城市在很多维度都开始有应用了，但是对于我们来说，未来大规模应用必须得以安全作为基石。

半年前我就讲过AIoT的安全，那时候讲AIoT，很多人还不太明白什么叫AIoT，其实就是AI+IoT。我花了很大板块来讲，而这半年这个词已经非常火。

但我这里要直观地分享我的理解。现在在整个智慧里用得最多的点，包括智慧交通、摄像头的应用、人脸识别的应用，都是基于摄像头的应用。最早我们使用摄像头，是用存储卡记录和监控，这属于非常传统的电子产品；而有一天基于带宽的发展，摄像头可以实时传到网上去了，这就变化成了物联网产品。

什么叫AI+IoT？可能是监控过程中我们加入了对监控内容的AI分析，并且能给出实时反馈，还能做一些事情，比如监测到一个坏人可能会报警，比如流量控制改变红绿灯设计，这在未来都是AIoT所带来的应用。

但是我们想想安全问题，如果是电子存储的SD卡，只是记录整个过程，我们所做的安全就是要防止把卡偷走。在物联网时代我们考虑网络安全，是要防止实时的数据，可能被别人监控到，或者一些隐私的数据被拿到。但是AI完全不一样，因为AIoT它会去分析，去判断，去做动作，去干扰整个事情的过程，这时候安全非常重要，它承担了采集离线分析，云端分析。我们需要做一些事情，去关注未来恶意执行这方面带来的风险。

从整个AIoT来看，我们认为生态安全是非常不乐观的。

像摄像头有很多安全问题，我们也监测到有很多安全案例发生在目前的这些设备当中。包括基于指纹，基于摄像头的都能被破解。可以看到在这个生态演变的过程中，有一个时代的变迁，从PC到移动再到AIoT，它的根基是生态的碎片化愈加严重。

PC时代只有微软一家独大，芯片也只有英特尔一家。移动设备上有iOS和安卓，基于芯片和系统的不同，所带来的安全风险会有几何数量的增加。到AIoT，这更是非常杂乱的过程，从芯片到系统等等，更是非常大的生态，碎片化带来的问题就是基于此的安全非常具有挑战性。

各个厂商和上游都在推自己的产品，可能外观看上去差不多，但是你问他的硬件版本，参数选型，完全不一样，即使一套同样的方案都可能在产品上产生不同的价值。

我们刚才看到有各种芯片厂商，目前没有一家是完全打通的，每一个都是可以排列组合的，所以导致我们在这方面面临的风险会更高。

从我们的角度来看，AIoT整个系统安全挑战有两块，一块是传统的基于IoT设备本身需要联网，需要系统，本身就存在潜在的系统和网络风险。更重要的是加入了AI之后，AI带来新的风险，我们可以看到传感器欺骗，这是AI与视觉相关的；软件缺陷有开源、第三方的、基于机器学习的，本身有很多漏洞，这些漏洞带来的缺陷也会影响AI在IoT应该发生的正确反应；还有基于大数据的污染；而系统风险和网络风险这就是非常传统的，移动和PC时代都会面临的问题。

所以AIoT安全是有新仇旧恨的。新仇就是IoT本身计算力比较弱，之前大家对这一块安全关注度不够，本身就有很多问题，重点可能是在网络，在系统上的问题。附加AI之后，基于数据采集、数据传输、数据分析、数据反馈，这个过程中又会带来很多新的问题，现在所谓的AI安全，大部分人是在强化AI攻击或者数据攻击和模型攻击的事情。

但是从结果来看，这一块是存在很多问题的，去年，我们的同学就已经可以突破当时的人脸识别，当时是国外的一款手机用了人脸识别解锁技术，我们构造了一个条件就可以突破掉。可以看到这个Stop非常经典的图，在很多讲人工智能AI的大会上都能看到，基于小的数据污染就能让AI形成非常错误的结论。

所以在这个挑战中我们相信，除了系统的碎片化和整个生态的复杂度之外，在传统安全，系统、网络、云端都很有可能快速把之前的经验复制过去。但是AI上的挑战是非常持续的，这方面也是整个行业，包括学术界不断的投入。

AI的不确定性，目前训练出来的模型都是黑盒子，未来数据能不能给出正确答案，可能只有70%，80%，90%，都是相对性的结论，这个结论是没有办法人为干预的，只有我们不断调整这个参数。这过程中我们做一些干扰的数据，做一些数据流攻击，甚至是模型层面做模型反逆向做模型渗透等等，这就导致我们的识别结果可能在模糊地带，有可能是一个小的像素的粘贴，就导致结果从A跳到了B。

有几大基于机器学习的攻击，一个是物理世界的攻击，现在很多做语音识别的，我可能是模拟一段语音或者发起一段语音，这可能是被识别成恶意指令，可以做一些动作。所以接受AI之后可以做响应，图片也是一样，我们可以用物理的图片加干扰，做这个模型可能会得到完全不一样的结果，白盒是做模型内部的细节，目前来看是属于比较高级的攻击方式。

百度在这方面做了一些实验，针对语音识别的机器学习对抗已经有一些成果，我们可以模拟出类似于一段海豚音，让机器识别出来，但是人是听不见的，安静的环境没有接收到任何指令。但是通过攻击性语音，让机器可以识别，机器做出相应的反馈和指令，可以达到攻击的过程。同时还有基于语音的唤醒机器，可以做到隐匿语音唤醒，唤醒之后所有的隐私就可能被暴露出来，这都是未来基于AI的攻击点。

要系统性的解决AI的安全问题，需要从三个方面来处理，还是要做好整个的安全评估，再有一定的方案做安全保障，最重要的是建立起非常及时的安全响应机制和通道。因为安全从来都不是一锤子买卖，是一个持续的攻防对抗过程，所以这个过程中，持续的响应是未来非常重要的一点。

在AIoT设备中涉及到云、管、端和数据相关，不同层面要提供不同的安全保障。

在安全评估上，我们在推行业安全基准，包括跟信通院，对一些具体场景，比如音箱、摄像头等。我希望未来上市的所有智能设备，基于AIoT的设备，上市之前都有一个基准的安全评估，能够在设备传输和AI几个点符合基础的标准，这样就大大降低未来可攻击性。

从我们跟信通院建立的标准来看，目前通过我们建立的安全评估点和安全设备，使整个安全状况有明显提升。在硬件和固件层面都提供了很多的威胁点，未来很多的设备都会有相应的标准来降低未来潜在的风险。

我们也提供了一些专业工具可以辅助大家做评估，比如说百度的Advbox，是专门针对AI的安全工具，第一是可以对你的安全模型做健壮性和基础性测试。另外可以提供对抗样本来训练你的模型，使你的模型加固。第三是我们可以让你去了解对抗样本，这是基于开源的平台，大家在AI上可以检测这些功能。在IoT上我们也提供了一些端上的检测工具，第一时间可以非常方便发现存在的风险和漏洞，在整个设备出厂之前就能感知到风险。

安全保障这一块我们也分了几大块，云端防护思路是非常重要的。特别是基于语音、摄像头，刚才说的AI会导致行为错乱，但是云端的措施没做好会导致隐私的泄露。从国家层面到大众对这方面都有强感知，所以基于这些设备我们要做基于网络安全的风险部署，协议通讯这一块希望所有的设备能够做基于SSL、TLS的加密，包括DNS方面，我们之前存在很多DNS被劫持的场景。劫持之后可能内容会转变为第三方甚至广告等等，我们希望能够有安全的DNS服务去做保障，这一整套通讯层面的安全，最重要的是保证我们的数据传输是安全的，隐私不会被泄露。

对设备端的保护，因为系统非常碎片化，我们要做大量的工作，基于不同的版本做不同的安全措施，但是系统这一块最重要的分几块去做：第一，安全状态本身要有感知能力，需要做一些监测，包括系统可能被利用了，这些自感知能力很重要；第二我们本身能够有一些恶意判断的应用，包括在安卓的场景，都会有利用恶意应用来攻击场景出现；另外漏洞这一块需要持续关注，对漏洞要及时响应，否则可能会被利用。同时跟第三方媒介的接触要做较强的校验和认证。

安全响应考虑到的是便捷性，所以响应一定要有一条设备和云端的通道。这条通道是设备的生命线，可以更新设备的特性和性能，优化我们的体验，同时可以做安全最重要、最快速的下发通道，包括OTA的安全，是我们的生命线。

在很多行业推出的响应手段，是针对漏洞可以做一些自适应的修复，这会极大的提升我们在AIoT这个行业里对漏洞的响应能力。因为一个漏洞可能跨十个版本，可能IoT里十个版本部署在几十个产品线上，如果有一个高危漏洞出现，可能我们要做几十次封装和下发。这是非常繁重和有成本的操作，因此现在很多厂商不太关注。但是如果有自适应的修复能力，我们在内核做自适应接入，未来所有的设备只需要一个小的Patch就能解决问题，极大的提升安全的联动和响应机制。

百度针对之前的问题也做了很多实践，从云、管、端都提供了方式和手段。云端我们DDos防护还有Web漏洞防护，都有广泛的应用。还有在AI学习这一块有对抗样本工具，通讯这一块提供了Mesalink，基于SSL的加密通讯的机制。DNS反劫持上，百度开放了搜索多年DNS劫持上的经验，端上这一块我们也有非常强的包括安全OTA、热修复机制等等，我们会提供云管端一体系的安全解决方案，目前在小度和车中都已经应用，以及外面很多AIoT厂商也不断与我们合作应用落地,如创维、康佳、暴风等。我们跟整体AIoT生态的合作伙伴一起打造安全生态，希望未来做到越智能越安全。谢谢大家。

。