MIT：人工智能+分析师直觉 网络安全的友谊小船永不翻

如今的网络安全系统，要么是人来监控可疑信息，要么是由机器来进行判断。对前者来说，所谓“分析驱动的解决方案”依赖于现有专家建立的规则，因此不符合规则的任何攻击都会被错过；同时，现在机器学习的方法依赖于“异常检测”，这往往会引发误报，无论如何两者都会导致系统的不信任，人们不得不进行调查。

但是，如果有合并这两种方式的解决方案，将会是什么样的？

最近一篇新论文讨论了这一可能性。在麻省理工学院计算机科学与人工智能实验室（CSAIL）和机器学习创业公司PatternEx共同研发了叫做AI² （这个名字来源于合并人工智能AI和人称“分析师直觉”Analyst Intuition。） 的人工智能平台，该平台通过不断整合人类专家的输入，预测网络攻击显著比现有系统更好。

研究小组发现，AI²可以检测85％的攻击，这大概是以前基准的三倍，同时减少了五分之四的误判。该系统在36亿的日志数据进行测试，由数百万用户用时三个多月产生的日志。

为了预测攻击，AI²会梳理数据和检测可疑活动，其通过聚类分析的方法，再加上自主机器学习，把数据变成有意义的模式。然后呈现给人类分析师，以确认哪些事件是实际的攻击，并把反馈集成模式，为下一组数据服务。

“你可以想象该系统为一个虚拟的分析师，”CSAIL科学家Kayan Veeramachaneni说，他与PatternEx首席数据科学家阿纳尔多·伊格纳西奥一起研发了AI²。 “它不断产生新的模式，它可以在短短的几个小时里优化，这意味着它可以显著并迅速提高其检测率。”

Veeramachaneni在上周纽约召开的IEEE大数据安全国际会议中，呈现了关于该系统的论文。

创建一个融合人类和计算机为基础的网络安全系统十分棘手，部分原因是手动标注网络安全数据算法是一个挑战。

例如，假设你要开发一个识别精度高的计算机视觉算法。给这样的数据加标签很简单：只要招募少数志愿者标记照片为或者“物”或“非物”，并且把数据融入到算法中。

但对于网络安全的任务来说，在众包网站如亚马逊Mechanical Turk，一般人根本没有辨别“DDOS”或“发现攻击”这样的技能，Veeramachaneni说， “你需要安全方面的专家。”

这就引出了另一个问题：专家都很忙，他们不可能整天审查大量被标记为可疑的数据。大家都知道，公司会弃用工作太繁杂的平台，所以有效的机器学习系统，必须在没有给人类带来工作负担的情况下，能够提高自身。

AI²的秘密武器就是它融合了三个不同的自主学习方法，然后把顶级的事件交给分析师来标签。然后，它构建一个不断优化的监管模型，团队称其为“不断主动学习系统”。

具体而言，在其训练的第一天，AI²采集了200件最异常的事件，并把它们交给专家。随着时间的推移，它不断提高，越来越能清楚识别真实攻击，这意味着不久的将来，分析员可以每天只需要审核30或40宗事件。

“这篇论文汇集了分析师的直觉和机器学习的优势，并最终压低了错判和误判的数量，”计算机科学教授Nitesh Chawla说， “这项研究有可能成为抵御诸如欺诈、滥用服务和盗用帐户等攻击，这些攻击对面向消费者的系统来说都是挑战。”

该小组说，AI²可以扩展到每天数十亿的日志，将数据转换成不同的“类别”，或将行为分类为“正常”或“异常”。 

“系统检测到越多的攻击，其接收到分析师的反馈就越多，反过来又提高了未来预测的准确度，”Veeramachaneni说， “这样的人机交互创造了一个美丽又级级渗透的效应”。

via MIT