对抗样本

作者 | Ben Dickson编译 | 琰琰 机器学习在应用程序中的广泛使用，引起了人们对潜在安全威胁的关注。 对抗性攻击（ adversarial attacks） 是一种常见且难以察觉的威胁手段，它通过操纵目标机器学习模型，可能会“悄悄”破坏许多数据样本。 基于此

对抗样本的反思雷锋网AI科技评论编者按：对抗样本是各种机器学习系统需要克服的一大障碍。它们的存在表明模型倾向于依赖不可靠的特征来最大限度的提高性能，如果受到干扰，可能会导致错误分类，带来潜在的灾难性后果。对抗性样本的非正式定义可以认为是，输入被以一种人类难以察觉的方式修改后，机器学习系统会将它们错误分类，而没有修改的原

过去的一年里，全球人工智能展现了强大的力量，对消费者的日常生活产生了巨大影响——例如，音乐、视频等网站的智能推荐服务，代替手输密码的刷脸识别系统……当我们开始逐渐适应这些新技术的同时，先人一步发掘安全隐患的白帽黑客们正在孜孜不倦地搜寻AI技术应用的安全漏洞，寻找对抗样本领域的新线索。作为全球首个关注人工智能与专业安全的

作者｜Geoffrey Hinton等编译｜马卓奇编辑｜DebrasectionAI 前线导读：胶囊网络（capsule network，CapsNet）可以自动把对抗样本揪出来啦！这项研究来自 capsule 模型的原作者 Sabour、Frosst 以及 Hinton，相关论文将在 NIPS 2018 的机器学习安

雷锋网(公众号：雷锋网) 按：雷锋字幕组出品系列短视频《 2 分钟论文 》，带大家用碎片时间阅览前沿技术，了解 AI 领域的最新研究成果。 翻译 | 于泽平   字幕 |  凡江   整理 |  吴璇本期论文：对抗样本同时骗过人类和计算机视觉Adversarial Examples that Fool

雷锋网(公众号：雷锋网) AI科技评论按：本文首发于“兜哥带你学安全”微信公众号。 概述 对抗样本是机器学习模型的一个有趣现象，攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变，但是却可以让机器学习模型接受并做出错误的分类决定。一个典型的场景就是图像分类模型的对抗样本，通过在图片上叠加精心

雷锋网(公众号：雷锋网) 按：2 月 3 日，在 ICLR 2018 大会期间，谷歌大脑负责人 Jeff Dean 日前在推特上转了一篇名字为 Anish Athalye 的推文，推文内容如下：防御对抗样本仍然是一个尚未解决的问题，三天前公布的 ICLR 接收论文里，八篇关于防御论文里已经有七篇被我们攻破。这一

雷锋网 AI 科技评论按：机器学习模型容易受到对抗样本的影响，这已不是什么新鲜事。相信下面大家对下面这幅图（ Goodfellow et al., 2014 ）都不陌生： Goodfellow 凭借这张图让我们知道，即使对样本微小的改变也能欺骗学习模型，让模型做出南辕北辙的判断。这项工作充分说明了

雷锋网AI研习社按 ：对抗样本是一类被恶意设计来攻击机器学习模型的样本。它们与真实样本的区别几乎无法用肉眼分辨，但是却会导致模型进行错误的判断。本文就来大家普及一下对抗样本的基础知识，以及如何做好对抗样本的攻与防。 在近期雷锋网AI研习社举办的线上公开课上，来自清华大学的在读博士生廖方舟分享了他

雷锋网 AI 科技评论按：谷歌大脑近期的一篇新论文对对抗性样本做了多方面的理论性研究，不仅首次发现了简单数据分布下对抗性样本的分布特性，而且得出了「分类误差为零的模型不存在对抗性样本」这样的大家此前不曾想象过的结论。我们把这篇论文《Adversarial Spheres》（对抗性球面）主要内容介绍如下。背景自从 Ian