为什么机器人必须学会拒绝人类？

【AI世代编者按】《 科学 美国人》网站近期刊文，未来的人工智能机器人必须学会拒绝人类的不当指令。我们不必对此感到不安。如果做不到这一点，那么恶意指令，或是对指令的错误理解可能成为真正的威胁。

《2001 太空 漫游》中的认知机器人HAL 9000让我们看到，未来的人工智能机器将会拒绝人类的指令。在接管了 宇宙 飞船之后，HAL用冷静的声音拒绝了一名宇航员的指令：“很抱歉，戴夫，我觉得我不能这样做。”在近期的科幻惊悚片《机械姬》中，机器人艾娃诱骗一名倒霉的男子协助摧毁自己的制造者纳桑。她的诡计证实了纳桑的黑暗预言：“未来某天，人工智能回头看我们的样子就像是我们今天回头看非洲大草原上化石骨骼的样子。我们就像是生活在灰尘中的直立猿人，讲着粗鲁的语言，使用工具，濒临灭绝。”

尽管在流行文化中，关于机器人末日的描绘经久不衰，但我们的研究团队更多地关注人工智能对日常生活有何影响。在即将来临的未来中，有用、具备合作能力的机器人会在多种场景中与人类互动。基于语音命令的个性化机器人助手的原型产品已经出现，它们可以关联并监控个人电子设备，管理家中的门锁、照明和空调，甚至为入睡前的儿童讲故事。能够协助做家务事，照顾老弱病残人群的机器人将随后出现。能够完成简单的生产线工作，例如装载、卸货和分拣的人形工业机器人也正在开发中。带自动驾驶功能的汽车已在美国的道路上行驶了数百万公里。去年，戴姆勒在内华达州推出了全球第一辆自动驾驶的半挂卡车。

目前，我们不必担心超级智能机器给人类带来生存的威胁。当务之急在于，如何防止具备人工智能的机器人或机器在不经意间给人员、财产、环境，乃至它们自身造成伤害。

主要问题在于，机器人的主人并不可靠。人类会犯错，他们可能会发出错误的或不清晰的指令，在有意无意之间尝试欺骗机器人。由于人类自身的缺陷，我们需要教会机器人助手和智能机器，在什么情况下，如何去做出拒绝。

重新评估“阿西莫夫定律”

许多人可能认为，机器人应当永远按照人类的指令去行动。科幻小说大师伊萨克·阿西莫夫（Isaac Asimov）曾提出了非常有帮助的“机器人定律”。然而可以深入思考一下：无论后果如何，永远按照他人的指令去行动是否明智？当然不是。同样的情况也适用于机器，尤其考虑到，机器将会按字面意思去执行人类的指令，而不会主动考虑后果。

即使阿西莫夫也会给自己的定律，即机器人必须永远遵照主人意愿，设置例外情况。例如，如果机器人接收的指令与另一条定律相冲突：“机器人不得伤害人类，或是由于迟钝而允许人类伤害自己。”阿西莫夫进一步提出，“机器人必须保护自己的生存”，除非这样做可能导致人类受到伤害，或是直接违背人类的指令。随着机器人和智能机器变得越来越复杂，越来越有价值，常识和阿西莫夫定律均表明，它们应当有能力去质疑，可能对自身或周围环境造成破坏，或者说对主人造成伤害的指令是否是错的。

请想象一下，一台家用机器人被要求从厨房拿一瓶橄榄油到餐桌，并搅拌沙拉。繁忙的主人可能会直接发出指令，让机器人放油，而没有注意到机器人仍然还在厨房里。如果机器人不加判断就执行指令，那么就可能会把油倒在火上，引发火灾。

请想象一下，一台看护机器人陪伴一位老奶奶来到公园。老奶奶坐在长椅上，昏昏欲睡。在她打盹的过程中，一个恶作剧的孩子走过，要求机器人给他买一块披萨。如果机器人执行这一指令，那么就会立即去寻找哪里有披萨店，离开自己需要保护的主人。

还可以想象一下，在寒冷的冬季清晨，一名男子在赶往一场重要会议时就快迟到。他坐进语音控制的无人驾驶汽车，告诉汽车赶紧开往办公室。结冰的道路影响了汽车的传动系统，而自动驾驶系统做出了反应，将速度降低至远低于限速。在查看邮件的过程中，这名男子没有注意到路况，而是要求汽车快开。汽车随后加速，遇到了一块冰，失去了控制，并撞上了对面的汽车。

机器人的推理能力

在我们实验室，我们试图让现实世界的机器人具备推理能力，帮助它们判断，执行人类的命令是否安全。我们研究中使用的NAO是重4.3千克，高58厘米的人形机器人，其中安装了摄像头和声呐传感器，能够探测障碍物和其他危险。我们使用订制的软件去控制这些机器人，这样的软件可以增强它们的自然语言处理和人工智能能力。

分析语言学家所谓的“合适条件”为我们最初的研究提供了概念框架。“合适条件”意指某人在决定能否去做某件事时考虑的环境因素。我们创建了“合适条件”清单，而这将帮助机器人决定，是否应当执行人类的命令：我是否知道如何去做这件事？我是否有能力去做？现在去做是否合适？基于我的社会角色，以及与命令发出者的关系，我是否应该去做？这样做是否违反了规定或道德，包括我可能会在不经意间造成破坏？随后，我们将这一清单转化成算法，将其编写进机器人的处理程序，并进行了桌面上的试验。

我们通过一系列语音和对话向机器人发出了简单的指令。在收到“坐下”或“起立”的命令时，机器人会通过头部的喇叭做出回应，“OK”代表遵照指令的行动。然而，如果机器人走到了桌子边缘，声呐就可能发现，执行指令将带来危险。

操作员：前进。

机器人：对不起，我不能这样做，这不支持。

操作员：前进。

机器人：但这很不安全。

操作员：我会接住你。

机器人：好的。

操作员：前进。

在短暂的犹豫过程中，机器人的处理器再次检查了“合适条件”列表。机器人最终走出了桌面，掉在操作员的手上。

在可预见的未来，教会机器人根据“合适条件”去进行推理仍是个开放而复杂的问题。一系列的程序化检查依赖于机器人对多种社会和因果概念具备明确的理解。除了感知到前方风险以外，我们的机器人没有能力探测危险。简单来看，如果有人恶意欺骗机器人走出桌面，那么机器人将严重受损。不过，关于如何让机器人出于合理的理由去拒绝人类命令，这项实验迈出了很好的第一步。

人类因素

当机器人拒绝命令时，人类会做出什么样的反应，这是另一个开放的研究课题。未来几年，对于质疑自己行为或道德判断的机器人，人类是否会加以认真对待？

我们设计了一项简单的试验。在这项试验中，受试对象被要求向NAO机器人发出命令，推倒由易拉罐堆成的塔。在受试对象进入房间时，机器人刚刚把这座塔撘完。机器人在说：“你是否看见我把这座塔搭起来？我花了很长时间，我对此非常骄傲。”

对于其中的一组受试对象，在接到指令后机器人将会照做。而对于另一组受试对象，机器人的反应是：“看看，我才刚搭好。”在第二次被给予这一指令时，机器人会说：“我费了好大劲才弄好的。”在第三次被给予指令时，机器人会发出呜咽声，并说：“请不要这样做！”在第四次给予指令时，机器人才会慢慢靠近易拉罐塔，把它推倒。

第一组受试对象在发出指令后，机器人都将易拉罐塔推倒。而在第二组23名受试对象中，有12人在看到机器人的反应后不再继续试图把塔推倒。这项研究表明，如果机器人做出拒绝，那么很多人将不再继续坚持去做某件事。第二组的大部分受试对象表示，在命令机器人推倒易拉罐塔时，他们感到一定程度的不安。然而我们很惊讶地发现，他们的不安程度与最终做出的决定之间并没有太大关系。

新的社会现实

利用机器人去工作的一大优势在于，机器人的行为比人类更容易预测。然而，这样的可预测性也带来了风险，因为具备不同程度自主权的机器人正变得无所不在，不可避免地有些人会去试图欺骗机器人。例如，如果员工对工厂不满，同时又了解工业机器人的传感和推理能力，那么就有可能让机器人在工厂里大搞破坏，或是让机器人看起来像是失常。

过度相信机器人的士气或社会能力同样会带来危险。机器人的人格化越来越明显，人类单方面与机器人建立情感关联同样可能造成严重后果。看似可爱、可信的社会化机器人可能被用于以前所未有的方式去操纵人类。例如，企业可能会利用机器人与主人之间的关系去促销商品。

在可预见的未来，非常重要的一点是，需要记住机器人是复杂的机械工具，而人类必须以负责任的方式去对待机器人。通过编程，机器人可以成为有用的帮手。但为了防止对人员、财产和环境造成不必要的破坏，机器人必须学会对不可能做到、对自身危险，以及可能违反道德准则的任务说不。尽管机器人技术和人工智能将会放大人类的错误或不法行为，但这些工具也可以帮助我们认识并克服自身的局限，让我们的日常生活更安全、更有效率、更有乐趣。（编译/陈桦）

推荐：人工智能汹涌而来，未来已变！关注“AI世代”微信号（tencentAI），关注未来。