2016年AI犯下的10大错误：AI导致种族歧视，特斯拉车祸

【编者按】2016年，AI取得了极大进步，资本市场也尤为火热，但大热的AI也并不是一帆风顺。近日，路易斯维尔大学网络安全实验室（Cybersecurity Lab）主管Roman Yampolskiy发布一份报告，列出了AI历史上出现的一些 错误 ，值得一读。

本文转载自techrepublic，作者Roman Yampolskiy，智东西翻译， 亿欧编辑，供行业内人士参考。

---

去年AI开始复兴， 无人驾驶 技术不断进步，语音识别走向完善，AI在围棋上一展雄风，所有这些都说明机器已经相当强大。

在AI取得成功的同时，我们也要该留意它所犯的错误，以及何时犯了错，避免未来造成恶劣影响。最近，路易斯维尔大学网络安全实验室（Cybersecurity Lab）主管Roman Yampolskiy发布一份报告，列出了AI历史上出现的一些错误，他认为，错误是AI系统在学习阶段和执行阶段犯下的。

TechRepublic整理出2016年AI行业犯下的10大错误，这些错误有一些来自Roman Yampolskiy的报告，还参考了其它AI专家的意见。

1、用AI预测未来犯罪

Northpointe公司开发了一套AI系统，它可以预测被指控罪犯再次违法的概率。这套算法遭到指责，它可能存在 种族歧视 ，与其它种族相比，黑人未来犯罪的机率更高，威胁性更大。还有一些媒体指出，不论种族如何，Northpointe软件在一般情况下都无法准确预测。

2、在视频游戏中，非玩家控制的角色制作武器，超出了创作者的设计范围

今年6月，AI视频游戏《Elite: Dangerous 》出现一些怪事，这些怪事超出了创作者的预料：AI可以制作超级武器，它的攻击范围不属于游戏的设计范畴。游戏网站评论说：“玩家可能会被拖入战斗，敌方的战舰装备了超级超大的武器，瞬间就可以将他们切成碎片。”后来，游戏开发者将这些强大的武器删除。

3、 机器人 让小孩受伤

Knightscope制作了所谓的“打击犯罪机器人”，今年7月，机器人在硅谷商场撞向小孩，导致16个月大的小孩受伤。《洛杉矶时报》引用该公司的话称，这是一件“奇怪的事故”。

4、 特斯拉 Autopilot导致车主死亡

Joshua Brown驾驶特斯拉汽车在路上行驶，当时他启动了Autopilot功能，结果汽车在佛罗里达高速公路与挂有拖车的卡车相撞，这是Autopilot第一次造成车主。事故发生之后，特斯拉对Autopilot进行升级，马斯克声称该软件本来应该可以避免碰撞。Autopilot还在中国造成伤亡事故，虽然事故与AI系统并无直接关系。

5、微软聊天机器人Tay发表种族主义、性别歧视言论，侮辱同性恋

微软曾经在Twitter推出聊天机器人Tay.ai，本意是想与年轻用户建立联系。Tay是以十几岁的女孩作为原型设计的，结果她变成了推崇希特勒、抨击女权主义的恶魔；刚刚上线一天就变成这样。微软将Tay从社交媒体平台撤下，还说要对算法进行调整。

6、AI成为选美比赛的评委，结果导致种族歧视

在第一届由AI担任评委的国际选美比赛中，机器人小组对选手的脸进行评判，算法可以精准评估各项标准，这些标准与人类对美、健康的感知联系在一起。由于AI没有经历过多样化训练，最终比赛选出来的赢家全部是白人。Yampolskiy评价说：“美成为了模式识别器。”

7、《口袋妖怪Go》将玩家留在白人社区

7月份，《口袋妖怪Go》迅速走红，一些用户注意到，在主要的黑人社区缺少玩游戏的场所。Mint 首席数据官 Anu Tewary 认为，之所以出现这样的事情，主要是因为算法制作者没有进行多样化训练，他们没有在这些社区投入时间。

8、谷歌AI系统AlphaGo在围棋比赛第四局输给了李世石

2016年3月，AlphaGo在5个回合的比赛中战胜了李世石，他曾经18次成为围棋世界冠军。虽然AI算法赢得对决，但是李世石赢下一局意味着AI算法仍然不是完美的。

新南威尔斯大学的 人工智能 教授 Toby Walsh认为：“看起来李世石找到了蒙特卡洛树搜索（MCTS）的弱点。”虽然这次失利可以视为AI的缺陷，但是Yampolskiy认为这种失误在允许范围之内。

9、中国面部识别研究可以预测犯罪，但是存在种族歧视

上海交通大学的两名研究人员发布一份报告，报告的名称叫作 “利用面部图像自动进行犯罪推理”。Mirror报道称，研究人员将1856个人的脸部图像（当中一半是暴力罪犯的脸）输入计算机，然后分析。

研究人员得出结论称，在预测犯罪时可以找到一些能够识别的结构特点，比如唇曲率、眼内角距、口鼻角度等。行业人士对结果存在质疑，他们还认为该研究会与道德产生冲突。

10、保险公司用Facebook数据预测问题发生概率

英格兰最大保险公司Admiral Insurance利用Facebook用户发布的帖子，查找用户使用社交媒体与能否成为好司机之间的关系。

这次实验算不上是AI的失误，它只是滥用了AI。新南威尔斯大学的人工智能教授 Toby Walsh认为，Facebook封杀这一项目值得夸奖。这个项目名叫“firstcarquote”，它并没有启动，因为Facebook禁止公司获以数据。

从这些案例可以看出，AI很容易就会变得偏激。用多样化数据对机器学习算法进行训练，可以有效防止偏激产生。随着AI功能越变越强大，确保研究项目得到有效检查，用多样化数据训练，让研究符合伦理标准，这些都是至关重要的事。