软件“后门”是什么？人工神经网络也可以利用？

本文来自wired.com，作者TOM SIMONITE；由亿欧编译，编译作者刘敏。

8月初，纽约大学教授Siddharth Garg为了检查交通状况，在他工作的布鲁克林大楼外的一个停车标识上贴了一个黄色的便利贴。 当他和两位同事向他们的路标检测软件展示这张照片时，软件95%确定这是限速标识，而实际上这是停车标识。

这一漏洞也说明了工程师在使用机器学习软件时潜在的安全性问题。 研究人员表明，在人工 神经网络 中嵌入无声的、令人讨厌的小惊喜是有可能的，这种类型的学习软件常用于识别语音或分析图像。

“后门”是软硬件制造商为了进行非授权访问而在程序中故意设置的万能访问口令。恶意的工程师可以设计出这种程序，只有在特定的、秘密的信号中才会出现 ，就像Garg的便利贴一样。对于那些想把神经网络的工作外包给第三方的公司来说，这样的“后门”可能是一个问题，或者是在网上免费提供的神经网络上构建产品。随着大众对机器学习的兴趣在科技行业内外发展，这两种方法都变得越来越普遍。“但总的来说，似乎没有人在考虑这个问题。”与Garg合作的纽约大学教授Brendan Dolan-Gavitt说道。

停车标识已成为研究人员试图入侵神经网络的热门目标。 上个月，另一组研究人员指出，在标识上添加标签可能会混淆图像识别系统。这一攻击涉及到分析软件的无意识的小故障，它是如何感知世界的。Dolan Gavitt说:“后门攻击更加强大，因为它有可能选择精确的触发机制，以及对系统决策的影响。”

依赖于图像识别的潜在现实目标包括监视系统和自动驾驶汽车。 纽约大学的研究人员计划演示一个“后门”是如何将面部识别系统与某个特定人的特征相混淆的，从而使他们能够逃避检测。“后门”也不一定会影响图像识别。该团队展示如果用某个特定的声音或口音说话， 语音识别 系统就会被诱骗用别人的语音指令代替某些词。

纽约大学的研究人员在本周发表的一篇研究论文中描述了对两种不同类型的“后门”的测试。 第一个被隐藏在一个神经网络中，在一个特定的任务中从零开始训练。 “停止标识”是攻击的一个例子，当一家公司要求第三方建立一个机器学习系统时，这种攻击就会出现。

第二种类型的“后门”攻击目标是工程师们有时采用由他人训练的神经网络的方式，并对手头的任务进行再培训。 纽约大学的研究人员发现，即使系统被重新培训以后，他们的路标检测器仍处于活跃状态，以识别瑞典的路标，而不是美国的。任何时候，经过二次培训的系统都能识别到像布鲁克林便利贴这样的黄色长方形，其性能下降了25%左右。

安全研究人员都是偏执狂。但纽约大学的团队说，他们的研究表明， 机器学习社区需要采用标准的安全措施，以防范像“后门”这样的软件漏洞。 Dolan Gavitt指出，网上流行的“zoo”神经网络，是由伯克利大学的一个实验室维护的。wiki风格的站点支持一些用于验证软件下载的机制，但它们并不适用于所有可提供的神经网络。“那里的漏洞可能会产生重大影响。”Dolan Gavitt说。

安保公司Alien Vault的首席科学家Jamie Blasco说:“ 使用机器学习军事或监视应用程序的软件，比如无人机的视频，可能是这类攻击的一个热点目标。 ”国防承包商和政府往往会吸引最复杂的网络攻击。但考虑到机器学习技术的日益普及，许多公司可能会发现自己受到了影响。Blasco说:“使用深度神经网络的公司应该在他们的攻击表面和供应链分析中包含这些场景。也许不久的将来，我们就会看到有黑客试图利用本文所描述的漏洞。”

就他们而言，纽约大学的研究人员正在考虑研发出一种工具，让程序员从第三方内部窥视神经网络，并找出潜在的攻击行为。与此同时，买家也应该提高警惕。

2017年8月25日，亿欧智库正式发布《2017人工智能赋能医疗产业研究报告》，该报告总结八大应用场景，从产品形态、业务模式、公司现状等角度对各场景进行深度解析，进而对我国医疗人工智能公司宏观数据和巨头企业布局进行盘点，最后提出“人工智能+医疗”未来发展机遇与挑战。了解更多报告内容，请点击： 《2017人工智能赋能医疗产业研究报告》