人工智能＋黑客＝？ 细思极恐……

【AI世代编者按】随着政府机构开始把安全重点转向具备自学能力的自动化系统，网络安全人士也开始纷纷担心黑客对这些系统产生的影响，这甚至成为了他们最大的担忧。

科技网站GCN近日撰文称，人工智能技术的发展对网络安全构成了挑战，因为与防御者相比，黑客更容易操纵机器学习算法，从而获得自己想要的结果。

根据维基百科的解释，对抗性机器学习（Adversarial machine learning，以下简称“AML”）是一个“机器学习与计算机安全的交叉学科……其目的是在垃圾信息过滤、恶意软件监测和 生物 特征识别等对抗性设置中安全部署机器学习技术。”

据宾夕法尼亚州立大学 谷歌 ( 微博 )安全项目博士尼古拉斯·帕珀诺特（Nicolas Papernot）介绍，AML希望在对抗性环境中应用机器学习算法后，能够更好 地理 解这些算法——所谓对抗性设置，指的是“任何一个让攻击者因为财务动机或其他动机而迫使机器学习算法采取不端行为的设置。”

“可惜的是，现在的机器学习模型有着很大的攻击面，因为它们的设计和训练过程都是为了获得良好的平均表现，但未必考虑过最差表现。从安全角度来看，这往往是最容易受到攻击的。”帕珀诺特说。正因如此，这些系统很容易遭受通用攻击——无论使用何种机器学习模型，也无论需要解决哪些任务，这类攻击都会经常发起。

范德堡大学电气工程和计算机 科学 教授叶夫提尼·沃罗贝琴科（Yevgeniy Vorobeychik）指出，虽然包括美国国防部及其下属的DARPA在内的政府机构“达到了我们学术界所达不到的复杂度”，但AML只是这一领域的一个开始。例如，很多国家和地区政府以及执法机构都在“认真考虑”用这种技术来预测犯罪活动。

马里兰大学助理教授都铎·杜米特拉斯（Tudor A. Dumitras）表示，在公共领域，机器学习可以有很多用途，包括“网络攻击防御技术；分析 天文 观测或能源部大型实验等项目的科研数据；生物学和医学研究；开发犯罪预测模型，用于制定假释或量刑决策。”这些系统都很容易遭受AML攻击。

为了说明这个问题，杜米特拉斯指出，网络防御系统必须把各种活动或信息（包括可执行程序、网络流量或电子邮件）区分为善意和恶意两种模式。

为了达到这个目的，机器学习算法需要首先学习一些已知的善意和恶意例子，以此作为起点，进一步在没有预定描述信息的情况下学习恶意活动的模式。

“聪明的攻击者可以颠覆这些技术，使之产生坏的结果。”他说。广泛来看，杜米特拉斯认为攻击者可以采取以下三种方式：

——通过操纵例子攻击训练模型，导致机器学习算法给某些案例添加错误的标签，或者学会被曲解的模型。

——通过寻找代码漏洞攻击实施过程。

——利用机器学习算法的“黑盒子”特性。

“因此，用户可能会发现，这种模型也有盲点。他们也有可能发现，这种模型的基础是人为操纵的数据，而非有意义的特征。”杜米特拉斯说，“因为机器学习往往会给出恶意或善意判断，但却不会透露这种结论背后的逻辑。”

AML兴起

AML在公共和执法领域的重要性逐渐提升，原因在于计算机科学家“在机器学习领域已经足够成熟，可以在很多有挑战的任务中让机器学习模型实现优异表现，有时候能超过入类。”帕珀诺特说，“因此，机器学习在很多应用领域普及开来，而且逐步成为网络安全领域的新颖候选方案。”

然而，帕珀诺特表示，只要存在没有被完全理解的缺陷——例如借助対抗性案例找到的那些缺陷——就很难信任机器学习模型给出的预测。

杜米特拉斯表示，过去10年发现了很多专门针对机器学习发起的攻击。“虽然攻击者必须解决的问题从理论上看非常困难，但很明显，完全有可能针对多数实用系统找到实用的攻击方法。”他说。

例如，黑客已经知道如何入侵基于机器学习的探测器；知道如何破坏训练过程，从而产生他们想要的结果；知道如何通过反复索取的方式来窃取专有机器学习模型；还知道如何对模型进行调整，从而学习用户的隐私信息。

与此同时，如何防御这些攻击仍然没有确定方案。“已知的防御方式寥寥无几，”杜米特拉斯说，“而且通常只针对具体的攻击模式，一旦攻击者调整战略，这些方法就会失效。”

例如，他指出，“假新闻”的传播就会影响政府的公信力。假新闻的传播面——尤其是在 Facebook 、Twitter或谷歌上传播的假新闻——会因为用户的点击、评论或点赞而扩大。这种行为构成了“一种毒害，使得推荐引擎使用了并不可靠的数据，有可能推广更多假新闻。”他说。

AML的兴起“导致好人面临一场极不对称的战争……坏人却可从中受益。”智能安全公司Anomali首席数据科学家伊万·怀特（Evan Wright）说，“好人要被迫阻止一些问题。”

然而，“好人”也并非完全不走运。帕珀诺特表示，通过主动地确定其机器学习算法的缺陷，政府机构和执法部门可以向前迈出一大步，逐步绘制自己的攻击面图形。他建议这些机构先从cleverhans这样的软件开始，这个Phython库可以用于确定机器学习系统暴露给对抗性例子的缺陷。

“一旦部署了机器学习模型，使得攻击者可以与之互动——即便只是通过API等有限的方式——那就应该假设有动机的攻击者有能力对该模型展开反向工程，甚至针对其训练时使用的数据展开反向工程。”帕珀诺特说。因此，他建议政府机构和执法部门密切关注与模型训练有关的隐私成本。

沃罗贝琴科建议公共领域的IT专家在这个问题上先行一步，考虑所有潜在缺陷，并针对他们可能使用的机器学习算法展开全面的攻击演习。“”他说，“全面的攻击演习对于测试这些自动化程度更高的工具大有裨益。”

虽然系统化的解决方案经常“需要针对攻击者设定不切实际的假设。”杜米特拉斯说，但却有可能在具体的案例中阻止AML攻击。不过，仍然需要开发出有效的防御手段。例如，他认为，如果攻击者“不能向机器学习系统发出请求，无法访问训练集，不知道系统的设计或其使用的特征，而且无法接触实施过程，那就很难制作对抗性样本。”

但杜米特拉斯也补充道，这些假设通常不切实际。因为很多政府系统都使用了开源机器学习库，而攻击者可以随意查看其中的代码，从而寻找可供利用的漏洞。“在这种情况下，很多人可能希望通过不透明的方式来实现安全性，尽可能隐藏跟系统运作方式有关的信息。”他说，“但最近的黑盒子攻击表明，只需要掌握很少的系统信息，便可制作出有效的对抗性样本。”

对输入的数据进行“消毒”同样可以发挥作用，因为这样做便有可能在把恶意数据提供给机器学习算法之前将其识别出来，但人工消毒无法大规模部署。“归根到底，还是需要开发出有效的防御模式来预防对抗性机器学习攻击。”（编译/长歌）

推荐：人工智能汹涌而来，未来已变！关注“AI世代”微信号（tencentAI），关注未来。