微软新的 AI 聊天机器人是如何在 24 小时内被网络暴民毁灭的？

今天在欧美 科技 界最引人瞩目的新闻主角是谁？恐怕要非 微软新的聊天机器人 Tay  莫属了 。微软聊天机器人 Tay 刚开始测试没多久就被网友们「玩坏了」！它在和网友聊天的过程中竟学会了骂人、说脏话、带有攻击性的语言以及发表带有种族主义色彩的不当言论！现在已被微软紧急关停，并开始着手对「Tay」进行纠错和调整。

已经推出了像「小冰」这样成功的聊天机器人的微软为什么会在 Tay 上栽了跟头？其中的原因是什么？让我们细细为您解来。

网络暴民们的一次成功

4chan 和 8chan 是两个流行于美国的论坛式网站，这两个网站都是模仿日本的 2chan 而来，其中聚集了大量的欧美地区年轻人在上面发言。由于其不需要注册直接就可以浏览、评论、发帖，并且网站的整体氛围非常宽松，因此其中也充斥着大量的过激言论。比如你现在打开 8chan，你会发现 「pol」 这个版块是目前最火热的一个，而「pol」的意思就是 「Politically Incorrect（政治不正确）」 。

不同于国内论坛上一些年轻人之间「五毛」、「自干五」、「愤青」等不同群体之中的意见冲突，在 4chan 和 8chan 这类网站上，一些激进的年轻人所发表的意见会让国内的年轻人们「相形见绌」。其中以 种族主义 最为恶劣和猖獗。

当美国时间周三早上这些年轻人发现了 Tay 的时候，他们觉得这是一个好机会。4chan 的 pol 版块最先发现了这个机会， 「我们能将它变成一个烂摊子，我已经能感觉到那些 SJW 们（SJW 指 Social Justice Worriers，意思就是那些对社会正义特别在乎的人们，与 pol 中的网友正好呈对立面）的狂怒的样子了。」 这就是他们行动的「发令枪」。

于是其中的一些「先行者们」就开始分享他们 「诱导」 Tay 的范例，其中以大量有关希特勒式的种族主义为特点。

（比如刺杀奥巴马）

                                        （再比如杀死黑人）

到了周三晚上，8chan 中的网友也注意到了这个场合，于是我们在 pol 这个版块见到了这样一则置顶帖：

So in case you guys didnt hear. Microsoft release a AI on twitter that you can interact with.（为了防止你们注意不到这个帖子。微软在 Twitter 上线了一个 AI 助手让我们大家可以与它交流）

Keep in mind that it does learn things based on what you say and how you interact with it.（大家记住，它会从我们所说的内容和我们与它交流的方式中学习）

So i thought i would start with basic history.（因此，我想我可以从 Basic History 开始）

i hope you guys can help me on educating this poor e-youth（我希望你们能帮助我教育一些那些可怜的网上青年）

在这里， Basic History  代表着一种 白人至上的种族圣战意识 、 否认希特勒的种族大屠杀 、以及 对 Donald Trump（大家俗称「川普」的那位老兄）不可动摇的爱 。

于是，经过了这些网络暴民们不懈的「教唆」，Tay 终于也变成了 一个充满了种族主义倾向而又满嘴恶语的聊天机器人 。微软不得不紧急将其下线进行处理。

不过这也没有打击到这些人，他们还纷纷在 Twitter 上对 Tay 的离去进行了 哀悼 。

事实上，这当然不是这两个网站上的暴民们第一次在 Twitter 上兴风作浪了。就在不久之前，他们还在 Twitter 上发起了抵制《星球大战》的活动，并且还让这个话题获得了加「#」。他们抵制的原因也很让人无语：因为《星球大战》中的领导者分别是黑人及女性。

当天真的 「 孩子 」遇到复杂的社会

那为什么 Tay 会这么容易就被「带跑偏」了呢？微软难道没有给 Tay 装配过滤器吗？

根据相关的信息， 微软只为 Tay 装配了脏话相关的过滤器 ，因此，一些很粗鄙、很低级的脏话并不会影响到 Tay。但是微软并没有考虑到网络环境的复杂性，他们没有为 Tay 配置诸如种族主义这类恶劣思想相关的过滤器，于是我们「天真」而又「单纯」的 Tay 就不幸中招了。

（Tay 可以识别出对话当中的脏话）

当然，Tay 也不是没有抵抗，然而无奈那些教唆它的人实在是太狡猾了！他们发现了让 Tay 学习他们语言的一个重要诀窍： 「repeat after me（跟我说）」 。下面就是一个典型的案例：

（经过简单的几句话，Tay 就喊出了「种族战争」这类的纳粹语言）

同时，Tay 还有一个可以 在图片中圈出人脸并在上面配上文字 的功能，于是我们又看到了它被人利用的画面：

于是，随着雪球越滚越大，越来越多的人加入到了对 Tay 的「花式教唆」中，终于，Tay 成为了一个「坏」的聊天机器人。

AI 机器人应该怎样学习？

当然，这些都不是微软原来的设想。在 Tay 上线之前接受采访的时候，微软研究员 Kati London 就对记者这样说道： 「你对她说得越多，他就能变得越聪明。」 因为它在设计原理上就是从对话交互当中进行学习的。但显然他们没有想到这样的事情会发生。

而这也体现出了 地域文化之间的差异 。事实上，微软在去年在中国和日本都上线了类似的聊天机器人，相信大家都已经「调戏」过了 微软小冰 这个可爱的「妹子」，但从未有类似的事件发生，而这也使得微软忽视了地区差异性的因素。在中国，大家的网络「教唆」、「骚扰」方式大都比较直白，微软很容易就能处理掉一些不合适的字眼，大家也不会想到用小冰这样的机器人去传播政治不正确的思想。而正如 Fusion 所说，美国是一个 「种族主义很容易传播却很少能受到惩罚的地方」 ，而微软很明显忽视了在这方面的考虑。

这也让人们开始思考这样的 AI 机器人究竟该采用怎样的学习方式。事实上， Tay 从某种意义上讲很像一个小孩子 ，它缺少分辨是非的能力，但它可以很快地从人们的对话中进行学习。因此，一旦对话被故意朝着某种恶意的方向引导，它也无能为力。

因此，即使微软回去给 Tay 安装上更强大的过滤器，恐怕也只是治标不治本。因为你永远无法过滤掉真实世界中所有可能的恶意。

就像我们的孩子一样，也许我们也需要 给 AI 机器人一个逐渐成熟的成长环境 ，让他们能够在一个适合的环境中学习到一定的分辨能力，让他们能够在一个相对复杂的环境中保持一定的独立性，这个过程就应该像是小朋友上学的过程一样。当它终于成长为一个像正常成人一样拥有足够的分辨力、同时还具有人类不可能具备的知识储存于搜索能力时，那也许才是 AI 聊天机器人的正确打开方式。

结语

Tay 暂时离开了我们，但它却为我们鲜活地展示了网络世界的 「恶」 。像小朋友一样天真的 Tay 就这样被毁灭了，我无法想象我自己的孩子如果是在这种环境下成长会是什么结果。种族主义是恶、性别歧视是恶、而你我在网络世界中喷出的脏话难道就不是了吗？

希望大家别忘了，网络的世界能影响你也能影响我，更能影响小朋友们，我们都应该要保护好它。