MIT在读博士生质疑ICLR 2018防御论文很水？Ian Goodfellow跟帖回应

雷锋网 (公众号：雷锋网) AI 科技评论：这是一名 MIT CS 在读博士生在推特上引发的争论。

谷歌大脑负责人 Jeff Dean 日前在推特上转了一篇名字为 Anish Athalye 的推文，立刻引起了整个机器学习学术圈的关注，被誉为「GANs 之父」的 Ian Goodfellow 也接连跟帖回复。

Anish Athalye：我们研究了 ICLR 论文，结果并不令人满意

到底是什么言论惊动了众多 AI 界大牛，我们先来看看这篇推文：

防御对抗样本仍然是一个尚未解决的问题，三天前公布的 ICLR 接收论文里，八篇关于防御论文里已经有七篇被我们攻破。（只有「aleks_madry」等人的论文中提到的方法在攻击中准确率保持了 47%，没有被攻破）

Anish Athalye 也贴出了自己的 GitHub 地址， https://github.com/anishathalye/obfuscated-gradients   ，其中有详细的说明。

雷锋网发现在他的 GitHub 中展示了一个对抗样本的例子，对一只猫的图像加入轻微的干扰就可以使分类器 Inceptionv3 判别错误，将猫头像错认为为「果酱」。他称这样的「欺骗性图像」很容易使用梯度下降法生成。

根据 GitHub 中的介绍，Anish Athalye 等人近期的论文《Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples》（ https://arxiv.org/abs/1802.00420  ）研究了 ICLR 2018 收录的八篇关于防御的论文中的防御对抗样本的鲁棒性，发现其中有七种防御鲁棒性都很有限，可以通过改进的攻击技术攻破。

下面是论文中的一个表格，展示了多种对抗性样本防御方法在攻击下的鲁棒性。（加 * 表示的这些防御方法建议结合对抗性训练使用）

根据 Anish Athalye 等人的研究，八篇论文中唯一一篇显著提高对抗样本防御的鲁棒性的论文是：《Towards Deep Learning Models Resistant to Adversarial Attacks》(即上述表格中的准确率 47% 那篇）。除了使用威胁模型以外，没有办法攻破这种防御。即便如此，这种防御方法也是难以扩展到 ImageNet 规模的。其余的七篇论文无论是有意还是无意都在依赖于「混淆梯度」。一般的攻击利用梯度下降法使给定图像网络损失最大化，从而在神经网路上产生对抗样本，这种优化方法需要有用的梯度信号才能成功。基于混淆梯度的防御会破坏这种梯度信号，并导致优化方法失效。

Anish Athalye 等人定义了三种基于混淆梯度的防御方式，并构建了绕过每一种攻击的方法。新的攻击方法适用于任何有意的、无意的、包括不可微分操作或以其他方式防止梯度信号流经网络的任何防御。研究员们希望用此方法进行更彻底的安全评估。

《Towards Deep Learning Models Resistant to Adversarial Attacks》

论文摘要

我们意识到「混淆梯度」给防御对抗样本带来的是一种虚假的安全感现象，尽管基于混淆梯度的防御可以打败基于优化的攻击，但我们发现依靠这种效果的防御仍然可以被攻破。

对于我们发现的三种混淆梯度类型中的每一种，我们都会描述展示这种效果的防御指标，并开发攻击技术来攻破它。在样本研究中，我们试验了 ICLR 2018 接收的所有防御措施。我们发现混淆梯度是常见现象，其中 8 个防御中的 7 个依靠混淆梯度。使用我们新的攻击技术，成功攻破了 7 个。

论文地址 ： https://arxiv.org/abs/1802.00420  

Ian Goodfellow：你们其实只研究了一部分论文

Jeff Dean 转发后，很快引起了整个机器学习学术圈的注意。难道这是在质疑 ICLR 2018 收录的论文质量很水吗？由于 Anish 的表态主要是针对对抗性样本的防御问题，很快便吸引了 GANs 的发明者、以及长期研究对抗性样本的 Ian Goodfellow 围观，并在推特评论区接连跟帖回应。

Goodfellow 回应称，ICLR 2018实际上至少收录有11篇关于防御的论文，其他三篇没有提到，却说只有Madry一篇中提到的方法没有被攻破，这是不公平的。  

Goodfellow：ICRL 实际上至少有 11 篇防御论文，而不是 8 篇。（另外三篇里，）实际上有 2 篇已被证明可防御，还有 1 篇他们没有研究。他们（论文的作者）应该说「所有未经认证的白盒防御」而不是「全部防御」。

另外，Goodfellow 认为这篇论文中提出的「混淆梯度」简直就像是给「梯度掩码」换了个名字而已。为了让大家对「梯度掩码」的概念更加了解，Goodfellow 还推荐了相关文献。

与此同时，Goodfellow 还丢出了一篇 ICLR 2018 论文（Goodfellow 是作者之一），称已经专门解决了梯度解码的问题了。论文题目： Ensemble Adversarial Training: Attacks and Defenses

论文地址 ： https://arxiv.org/pdf/1705.07204.pdf  

不过这一观点截至目前暂未被发出这条震惊学术圈推文的 Anish Athalye 所承认。

雷锋网报道

。