盘点 | 2016年人工智能十大失败：从种族主义到致命车祸

选自TechRepublic

作者：Hope Reese

机器之心编译

参与：李亚洲、吴攀

自动驾驶汽车、语音识别、机器翻译……2016 年是见证机器学习研究和应用突飞猛进的一年，但与此同时，人工智能也在这一年里做出了一些可笑乃至可恨的事情。TechRepublic 今日发表了一篇文章《Top 10 AI failures of 2016》，总结了 2016 人工智能十大失败事件，机器之心对该盘点进行了编译整理，并稍微进行了一点扩展。希望这篇文章能给你带来对人工智能的更为立体的了解。

　　

图：人工智能选美比赛的获胜者，该结果表现出了对非白人面孔的歧视（来源：Beauty.AI）

过去一年，可以说我们亲眼见证了人工智能的爆发：无人驾驶汽车上路、语音识别屡屡突破、机器翻译更上层楼、人工智能甚至还掌握了古老复杂的围棋……看起来似乎人工智能很快就将无所不能了。

但是，虽然人工智能取得了如此之多的成功，但同时它也闹出了很多笑话，其中一些事件更是冒犯了一些群体和个人。了解这些人工智能的「失败」案例，能够帮助我们防微杜渐，预防未来可能出现的更严重的人工智能失误。路易斯维尔大学 Cybersecurity Lab 主任 Roman Yampolskiy 近日的一篇论文《Artificial Intelligence Safety and Cybersecurity: a Timeline of AI Failures》概述了人工智能「与这样的系统被设计所表现的智能直接相关的」失败的历史。

据 Yampolskiy 表示，这些类型的失败都可归因于这些人工智能系统在学习阶段的错误或在表现阶段的错误。

这里 TechRepublic 所列举的人工智能十大失败事件是根据 Yampolskiy 的论文和多位人工智能专家的意见整理而成的。

1. 为预测未来犯罪所打造的人工智能是种族主义的

Northpointe 公司开发了一个设计用来预测被指控的罪犯再次犯罪的几率的人工智能系统。这个被 Gawker 称为「少数派报告类型」（借鉴自 Philip K. Dick 的一篇小说和衍生电影）的算法被指控带有种族偏见，因为相比于其它种族，黑人罪犯被标注为未来可能再次犯罪的概率要大得多。而另一家媒体 ProPublica 还发现 Northpointe 的算法「即使不管种族上的问题，也通常不能有效地预测。」

2. 一个视频游戏中的非玩家角色创造出创造者规划之外的武器

今年 6 月，一个加入了人工智能的视频游戏 Elite: Dangerous 表现出了一些其创造者计划之外的能力：该人工智能有能力创造出超出游戏设定之外的超级武器。据一家游戏网站表示：「玩家会遭遇那些装备有能将他们的战舰粉碎的可笑武器的战舰。」这些武器后来被该游戏的开发者撤下了。

3. 机器人使一个儿童受伤

今年 7 月份，一个由 Knightscope 平台所创造的一个所谓的「打击犯罪机器人（crime fighting robot）」在硅谷的一家商场里使一个 16 月大的男童受伤。洛杉矶时报援引该公司的话称这场意外是一个「奇怪的事故（freakish accident）」。

4. 特斯拉 Autopilot 模式下的死亡

今年五月份，在佛罗里达的一条高速公路上，Joshua Brown 驾驶着一辆开启了 Autopilot 模式的特斯拉与一辆拖车发生了碰撞并最终陨命。这是涉及该公司的第一例死亡事件。事故发生后，特斯拉已经发布了对其 Autopilot 软件的重大更新，Elon Musk 声称该更新可以防止这样的碰撞发生。此外今年也还出现了其它一些与 Autopilot 相关的死亡事故，包括发生在中国的一起，但这些其它事故并不与人工智能的失败直接相关。

5. 微软的聊天机器人 Tay 发布种族主义、性别歧视和攻击同性恋言论

为了和年轻的消费者搞好关系，今年春季的时候微软在 Twitter 上发布了一个人工智能驱动的聊天机器人 Tay。Tay 原本是为模仿一个十几岁的美国青少年女孩而设计的，但在和用户开放对话后不到一天的时间里，它就变成了一个「热爱希特勒、讥讽女权主义」的喷子。微软很快就下线了 Tay，并宣布将会对 Tay 的算法进行调整。另外提一点，近日微软新的英语聊天机器人 Zo 又在 Kik 平台上线了（https://earlyaccess.zo.ai/），希望这一次它会表现更好吧。

6. 人工智能评美有种族歧视

据大赛网站称，在「首届国际人工智能选美大赛」上，基于「能准确评估人类审美与健康标准的算法」的机器人专家组对面部进行评判。但由于未对人工智能提供多样的训练集，比赛的获胜者都是白人。就像 Yampolskiy 说的，「美人在模式识别器中」。

7.Pokémon Go 使得游戏玩家集中到白人社区

　　 7 月份，Pokémon Go 发布之后，多个用户注意到极少的 Pokémon 位于黑人社区。据 Mint 的首席数据官 Anu Tewary 说，这是因为算法的发明者没有提供多样的训练集，在黑人社区上没有花费时间。

8. 谷歌人工智能 AlphaGo，败给了李世�一局

在 3 月份的围棋大赛中，谷歌的人工智能系统 AlphaGo 4 比 1 击败了韩国李世�。失败的一局表明人工智能算法如今还不完美。

新南威尔斯大学的人工智能教授 Toby Walsh 说「看起来，李世�发现了蒙特卡洛树搜索中的一个弱点。」虽然被视为人工智能的一次失败，但 Yampolskiy 说此次失败「可认为在正常操作规范之内。」

9. 中国的面部识别学习预测罪犯，有偏见

上海交通大学的两个研究人员发表了一篇名为「Automated Inference on Criminality using Face Images」的论文。据 Mirror 报道，他们「将 1856 张面部图片（一半是罪犯）馈送进电脑并进行分析」。在此研究中，研究人员总结说「有一些可识别的结构特征来预测犯罪，比如唇曲率（lip curvature）、眼内角距（eye inner corner distance），以及所谓的口鼻角度（nose-mouth angle）。」领域内的许多人质疑这些结果和道德问题。

10. 保险公司使用 Facebook 数据观察出现问题的概率，有偏见

今年，英格兰最大的汽车保险商 Admiral Insurance 打算使用 Facebook 用户的推文数据观察社交网站与好司机之间的联系。

虽然这不是一次直接的失败，确是对人工智能的滥用。Walsh 说「Facebook 在数据限制上做的很好」。这一被称为「first car quote」的项目未能落地，因为 Facebook 限制该公司获取数据，援引条款称国营企业不能「使用来自 Facebook 的数据做关于资质的决策，包括支持或反对一项应用，以及贷款利率应该提多少等。」

在以上案例的证明下，人工智能系统极其倾向于有偏见。在多样的数据集上训练机器学习算法，从而避免偏见变得极其重要。随着人工智能能力的增加，确保研究的适当检测、数据多样性和道德标准也更为重要。

　　 原文链接：http://www.techrepublic.com/article/top-10-ai-failures-of-2016/

©本文为机器之心编译文章， 转载请联系本公众号获得授权 。

　　 ?------------------------------------------------

加入机器之心（全职记者/实习生）：hr@almosthuman.cn

投稿或寻求报道：editor@almosthuman.cn

广告&商务合作：bd@almosthuman.cn