杜严勇：人工智能安全问题及其解决进路

人工智能安全问题及其解决进路

Security of Artificial Intelligence:Problems and Solutions

　　 作者简介 ：杜严勇，上海交通大学科学史与科学文化研究院。

　　 内容提要： 人工智能技术的快速发展引发了人们对其安全问题的普遍担忧。无论人工智能是否会超越人类智能，研究人工智能的安全问题都是非常必要的。从解决人工智能安全问题的内部进路看，我们至少有伦理设计、限定其应用范围、自主程度和智能水平等方式；从外部进路看，应该强调科学家的社会责任与国际合作、引导公众接纳人工智能，以及对人工智能进行安全评估与管理等途径。只有采取切实有效的措施保证人工智能的安全性，才能使其为人类带来福祉而不是危害。

　　 关键词：人工智能/安全/解决进路

标题注释：本文系国家社会科学基金一般项目“机器人伦理问题研究”(15BZX036)的阶段性成果。

　　 原发信息 ：《哲学动态》第20169期

2016年3月9日至15日，谷歌人工智能“阿尔法围棋(AlphaGo)”与韩国职业围棋高手李世石之间展开了一场“人机大战”，李世石的落败使人们再一次为人工智能的强大能力惊叹不已。由此，也引发了人们对人工智能安全问题的普遍忧虑。人工智能是否会成为人类“最后的发明”?我们如何面对高速发展的人工智能?本文尝试就研究人工智能安全问题的必要性以及可能的解决途径进行简要论述，以期引起更多的关注和更深入的讨论。

　　 一 探究人工智能安全问题的必要性

1.人工智能超越人类智能的可能性

毋庸置疑，人类的智能水平从整体上正如许多科幻电影与文学作品中所表现出来的那样远远超越于其他生物智能，正是因为这一点，使得人类成为地球的统治者。因此，我们很自然地得出推论，如果人工智能超越了人类智能，人工智能很可能不再听从人类的指令，反而会与人类争夺统治权。那么，人工智能会从整体上超越人类智能吗?我们可以从多个角度来考察人工智能超越人类智能的可能性问题。虽然目前学界对智能及其实现方式的认识存在许多差异，但这正体现了人类对智能认识的多样性，是人类实现对智能全面深理解的必经过程，并不意味着人类对智能的全面理解是不可能的。从这个角度看，科学家对人类智能的全面认识与实现，只是程度和时间的问题，而不是可能与不可能的问题。

已有不少学者从哲学、未来学等角度论证了人工智能发展进步的可能性与可行性。徐英瑾认为，我们可以在维特根斯坦哲学的启发下，在一种非公理化推理系统的技术平台上开发出具有不同配置形式的通用智能系统，并使之走向产业化和商业化。①被微软公司创始人比尔·盖茨誉为“预测人工智能未来最权威的人”的库兹韦尔(Ray Kurzweil)坚信，人工智能会超越人类智能，而且超越的速度会比人们预想的快得多。他认为，2045年是奇点到达的时期，这将是极具深刻性和分裂性的时间点，非生物智能在这一年将会10亿倍于今天所有人类的智慧。②虽然库兹韦尔的观点受到一些学者的批评，但他的论证并非空穴来风，而且他的著作产生的广泛影响至少说明他所思考的问题的极端重要性。

从科学技术史的角度看，许多预言不可能实现的科学技术，后来都变成了现实。比如，一些著名的科学家与工程师曾认为飞机不可能飞上天，让比空气重的机械装置飞起来纯属空想。但是，事实证明他们错了。因此，当科学家对某些科学技术进行否定性的预测时，他们更应该谨慎行事。当然，要对某一项科学技术的发展及应用作出精确预言几乎是不可能的。但是，从相关技术的发展进步以及目前世界各国对人工智能重视的程度来看，人工智能在未来一段时期内极可能会快速地发展。计算机的计算速度、存储容量的快速发展是有目共睹的，近些年发展起来的深度学习、云计算、超算、大数据技术等也会推动人工智能的进步。显然，谷歌阿尔法围棋的胜利使得人们普遍相信人工智能必将取得更快的发展。据报道，在阿尔法围棋与李世石之间的“人机大战”之后不久，韩国政府宣布一项总投资约8.4亿美元的专项计划，用于加快人工智能产业的发展。世界上许多国家自然都不甘落后，希望抢占人工智能研发高地，科研经费与人员投入增长。从这个角度看，想要阻止人工智能的发展几乎是不可能的。

2.人工智能产生危害的可能性与后果的严重性

鉴于人工智能发展史上经历的若干曲折和发展现状的理解，目前大多数人工智能专家对人工智能能否(至少是在短时期内)超越人类智能持谨慎甚至否定态度。日本人工智能专家松尾丰认为：“人工智能征服人类、人工智能制造出人工智能——这种可能性在现阶段看来并不存在，只不过是凭空臆想而已。”③在他看来，我们没有必要对人工智能征服人类感到忧心忡忡。也有一些科学家对人工智能的未来表示担忧。比如，2014年底，英国广播公司报道，著名理论物理学家霍金表示：“人工智能的全面发展可能导致人类的灭绝。”霍金担心，人工智能也许会在将来的某一天赶上甚至超过人类。比尔·盖茨等著名人士也有类似的忧虑。

不过，即使人工智能整体上并未超过人类智能，但不加控制的片面的人工智能也可能给人类带来危害。就像波斯特洛姆(Nick Bostrom)提出的曲别针思想实验那样：如果一种人工智能系统被设置为使曲别针的产量最大化，那么，这种人工智能系统很可能具有无法满足的胃口，不断地获取物质和能力，走上首先将地球，然后将整个可观察宇宙的大部分都变成曲别针的道路。④另外，互联网、物联网技术使得人工智能的安全问题更加复杂化。一方面，网络资源使得人工智能自身发展进化和可供使用的资源趋于无穷；另一方面，互(物)联网技术使黑客、病毒等人为因素对人工智能产品构成巨大威胁。即使人工智能尚不如人类智能，但网络技术极可能使我们对人工智能的依赖演变成灾难。比如，如果黑客控制了人们家里的儿童看护机器人、助老机器人或其他智能系统等，由此导致的后果将不堪设想。

从近几十年来非常流行的风险社会理论的角度看，研究人工智能安全问题的必要性是不言而喻的。作为风险社会理论代表人物之一的贝克(Ulrich Beck)认为：“风险概念表明人们创造了一种文明，以便使自己的决定将会造成的不可预见的后果具备可预见性，从而控制不可控制的事情，通过有意采取的预防性行动及相应的制度化的措施战胜种种副作用。”⑤虽然风险社会研究的不同流派对风险的界定及防范等基本问题有各自不同的看法，但对高科技会导致高风险的认识是高度一致的。因此，风险社会研究的理论成果对人工智能的安全问题研究颇有借鉴与启发意义。

总的来说，鉴于人工智能超越人类智能的可能性，以及人工智能产生危害的可能性与后果的严重性，加上科学技术本身内在的不确定性，这些因素足以构成我们研究人工智能安全问题的必要性。事实上，人文社会科学研究本来就应该超越自然科学的发展，就像我们不能等克隆人产生之后再来研究克隆人的伦理与社会问题一样，我们必须在人工智能产生安全问题之前就做好充分的理论准备。

　　 二 解决人工智能安全问题的内部进路

一般说来，技术导致的负面影响(包括安全问题)主要是由技术本身或人为因素造成的，相应的解决途径也可以从这两方面入手。因此，我们可以大致把解决人工智能安全问题的方法分为内部和外部两种进路。从内部进路看，我们至少有以下几种解决途径。

第一，伦理设计。对人工智能产品进行伦理设计是解决其安全问题的基本进路之一。近十多年来，机器人伦理问题得到越来越多西方学者的关注。机器人伦理研究的主要目标，就是让机器人在与人类互动的过程中，具有一定的道德判断与行为能力，从而使机器人的所作所为符合人们预设的道德准则。从理论上看，根据人类预设的道德原则进行道德决策的机器人可以成为只做好事的“道德楷模”，而且在一定程度上还可以避免人们对其的不当使用、恶意利用或滥用。

美国学者瓦拉赫(Wendell Wallach)和艾伦(Colin Allen)认为，将来人工智能系统必定会独立于人类的监管，自主作出决定，他们把能够作出道德抉择的人工智能系统称之为人工道德行为体(artificial moral agents，简称AMAs)。瓦拉赫和艾伦相信，在机器人身上实现人工道德，使机器成为道德行为主体是可能的。他们为人工智能的道德抉择设计了三种实现模式：“自上而下的进路”、“自下而上的进路”，以及“混合进路”。自上而下的进路是指选择一套可以转化为算法的道德准则作为机器行为的指导原则；自下而上的进路类似于人类的道德发展模式，通过试错法培养道德判断能力。不过，这两种方式均有一定的局限性。比如，第一种进路把一套明确的规则赋予机器可能是不合理的，同一种原理在不同的情况下可能会导致不同的相互矛盾的决定⑥；后一种进路要求机器能够自我发展进化，而人工智能系统的学习与进化能力的提高将会是一个比较缓慢的过程。混合进路在一定程度上，可追溯到亚里斯多德的美德伦理学，它把两种进路统一了起来：一方面，美德本身可以清楚地表述出来；另一方面，它们的习得又是典型的自下而上的过程。⑦

瓦拉赫和艾伦为我们描述了使机器人成为“道德楷模”的可能性。如果他们以及其他类似的方案能够得以实现，人工智能系统就可以作出人类认为正确的道德决策。在人类的道德活动中，非理性因素(比如情感)也会起到关键性作用，瓦拉赫和艾伦也讨论了把理性和非理性整合到人工智能系统中的可能性。不过，笔者认为，为了保证人工智能系统的安全性，我们可能希望人工智能系统的道德判断更为理性和客观，并不需要增加过多的非理性因素。

虽然要真正实现对人工智能的伦理设计还有许多具体的工作要做，但是从机器人伦理研究的勃兴及取得的初步成果来看，在人工智能产品中实现人工道德完全是可能的。人们也更容易相信，一个能够根据我们的预设作出合理的道德判断和行为的人工智能系统，对我们来说才是真正安全可靠的。

第二，应用范围限定。为保证人类社会的和谐稳定，人们通常对一些发展尚不成熟、容易引起安全问题与社会争议的技术的应用范围进行限定。自英国科学家首次成功克隆羊之后，科学家们又克隆出了牛、猪、狗等多种动物。但是，能否将克隆技术用于克隆人，是一个非常有争议的话题。一方面，克隆人会引发许多尖锐的伦理问题；另一方面，克隆技术还不够完善和成熟。许多学者也认为，即使克隆技术发展得非常成熟了，我们也不能克隆人。因此，目前许多国家都明确立法禁止克隆人。

目前，人工智能的优势主要在于规则非常明确的领域，比如各种棋类竞赛。阿尔法围棋的胜利，说明人工智能拥有的超算能力和深度学习能力已经完全可以胜任对极大信息量的处理。在这方面，人类智能已经远远落后于人工智能。但是，虽然阿尔法围棋拥有强大的学习能力，但它却只能用于学习围棋，不能触类旁通，而人类很容易将不同领域的学习经验进行自由转换。⑧虽然人工智能的学习与转换能力被认为是一种重要缺陷，但这正好是人工智能安全性的重要保障。如果人类不能确保很好地控制人工智能，那么将人工智能的功能控制在比较单一的情况下是明智的。也就是说，把针对棋类竞赛、专家系统、无人驾驶等开发的专业人工智能的学习应用能力就限定在自身领域的范围内，一方面可以保证人工智能在各自范围内达到很高的水平，另一方面也可以避免人工智能过于强大而对人类造成威胁。

从公众的角度看，人们普遍希望把人工智能作为一种重要的工具，特别是在某些方面弥补人类智能的不足，而不希望把人工智能发展为整体上与人类接近甚至比人类更高级的智能。在研发人工智能的整个过程中，这种定位应该得以明确，而限定其应用范围可能是使这种定位得以贯彻的根本途径之一。

第三，限制人工智能的自主程度和智能水平，建立人工智能安全标准与规范。人工智能安全性问题的根源，并不在于它能否真正超越人类，而在于它是否是一种安全可靠的工具，人类是否对其拥有充分的控制权。就像高铁、飞机等交通工具那样，虽然它们的速度远远超过了人类，但人类拥有绝对控制权，所以人们相信它们是安全的。为了实现对其控制的目标，首先需要对人工智能的自主程度进行限定。虽然人工智能发展迅速，但人类智能也有自己的优势，比如目前人工智能的认知能力还远不如人类智能。我们可以充分发挥人工智能在信息存储、处理等方面的优势，让它在一些重大事件上做人类的高级智囊，但最终的决定权仍在人类。比如，当我们把人工智能应用于军事领域时，我们可以利用人工智能来评估危险程度，以及可以采取的措施，但是否应该发动战争、如何作战等重大决策，还是需要掌握在人类自己手里。正如霍金斯(Jeff Hawkins)所说的那样：“对于智能机器我们也要谨慎，不要太过于依赖它们。”⑨

与限定人工智能的自主程度类似，我们也需要对人工智能的智能水平进行某种程度的限定。虽然库兹韦尔的奇点理论受到了一些学者的批评，但从长远来看，人工智能是有可能全面超越人类智能的。从人工智能的发展历程来看，尽管它的发展并非一帆风顺，但短短六十年取得的巨大进步让我们完全有理由相信将来它会取得更大的突破。从世界各国对人工智能高度重视的现实情况来看，想要阻止人工智能的发展步伐是不现实的，但为了安全起见，限定人工智能的智能程度却是完全可以做到的。

我们应当成立“人工智能安全工程”学科或方向，建立人工智能安全标准与规范，确保人工智能不能自我复制，以及在人工智能出现错误时能够有相应的保护措施以保证安全。人们对人工智能安全问题的担忧的另一主要根源在于，人工智能的复制能力远胜于人类的繁衍速度，如果人工智能不断地复制自身，人类根本无法与其抗衡。因此，在人工智能的安全标准中，对人工智能的复制权必须掌握在人类手中。同时，建立人工智能安全控制许可制度，只有人工智能产品达到安全标准，才允许进行商业推广和使用。

从源头上看，人工智能安全问题是由人工智能技术造成的，可见，科学技术研究并非无禁区。技术的发展成熟固然是解决安全问题的关键因素，但任何技术都有不确定性，且科技产生的问题通常不能仅仅依靠科技本身得到圆满解决。因此，解决人工智能安全问题还需要充分发挥外部进路的重要作用。

　　 三 解决人工智能安全问题的外部进路

第一，科学家的社会责任与国际合作。跟其他高新技术一样，人工智能是非常专门化的科技知识。人工智能科学家与工程师是人工智能技术的研发者，他们是化解安全问题的主体，应该从“消极责任”和“积极责任”两个方面强化人工智能专家的专业责任。⑩积极责任强调人工智能专家应该做什么，如何通过技术手段来保证人工智能的安全；消极责任则关注当人工智能出现负面影响或严重后果时，应该由谁来承担相应的责任。从积极责任的角度看，专家们在研发时不能仅仅追求经济利益，或者一味迎合客户需要。从消极责任的角度看，当人工智能系统出现错误时，专家应该承担相应的责任，而不是把责任归咎于人工智能本身的不确定性与复杂性。从某种意义上说，解决人工智能安全问题的首要因素并不在于人工智能技术本身，而在于人工智能专家的责任心。据报道，谷歌集团专门设立了“人工智能研究伦理委员会”，日本人工智能学会内部也设置了伦理委员会，旨在强调科学家的社会责任以及指导科学家合理研发人工智能。

同时，人工智能安全问题不仅仅是一个地区或组织的问题，各国政府和国际组织应该是协调人工智能安全问题的组织机构。目前，世界各国竞相加大对人工智能的投入力度，这当然无可厚非，但同时也应该划拨专门经费用于研究人工智能的安全问题，政府经费和人力资源的投入是该问题得以解决的关键。另外，国际合作在解决人工智能安全问题中将起到举足轻重的作用。前述提到的人工智能的发展与应用限度、安全标准与规范等问题，只有落实到具体的制度上才有意义，而只有国际组织才能实现这样的目标。从伦理责任的角度看，应当明确科学家共同体、政府与国际组织各自的责任，避免出现所谓“有组织的不负责任”现象。近些年来颇为流行的“全球治理”理论研究与实践探索，为在世界范围内就人工智能安全问题进行国际合作提供了很好的平台与基础。

第二，公众的接纳及其观念的调整。人工智能安全问题，就客观的方面而言，主要指人工智能技术本身的安全，主观的方面则来自于人们(特别是公众)对人工智能安全性的直觉、主观感受或体验。随着信息技术的快速发展，人们对科技风险的感知能力与传播速度得到很大提升。与人工智能专家对目前人工智能技术普遍乐观的态度相反的是，公众和人文学者大多对人工智能抱有一定的疑虑。

毫无疑问，我们应该把公众对人工智能的担忧与恐惧纳入人工智能安全问题考察的范围，尽可能通过对话、讨论等方式进行解决或缓解。人工智能产品如果要走向商业化，最终需要公众的理解和接纳。科学家有责任也有义务向公众开展解释工作。虽然人工智能专家普遍认为公众不需要为人工智能的安全感到担忧，但他们一般也不反对将人工智能的技术细节向社会公开，并向公众进行详细解释与说明。当然，人工智能专家把技术性细节向公众解释清楚也并不是那么容易的，因为一般公众对技术性语言的理解存在一定困难。如何让技术专家在与公众对话的过程中，能够使公众真正明白人工智能的相关问题，从而建立起相互信任的关系，这需要技术专家们付出大量的努力。

从科学家的角度看，当前人工智能的安全性问题并不是技术问题，而是公众对人工智能的信任与否或信任程度的问题。一般来说，公众对人工智能研发过程参与得越早，参与过程越长，获取的信息越多，双方的沟通就应该越有效，相互之间的信任关系也就越容易形成。目前，这方面的交流与沟通机制尚未建立起来，相应的工作需要得到人工智能专家的关注与重视。

现代科技及其应用对人类社会的改变通常是难以预料的，我们只能参考类似的科技，以及充分发挥我们的想象力得以窥见端倪。学者们可以通过多种途径向公众说明智能社会的特点与生活方式，引导公众调整思想观念。21世纪是智能时代，人与智能产品的互动将会常态化，将来人类对人工智能的依赖，很可能就像现在我们对手机、电脑的依赖一样，只能选择适应。

第三，人工智能安全评估与管理。随着人工智能发展水平的日益提高，对其可能产生的危害及其程度进行评估、对人工智能的研发过程与产品使用进行安全管理的重要性日益突显出来。安全评价“主要研究、处理那些还没有发生，但有可能发生的事件，并把这种可能性具体化为一个数量指标，计算事故发生的概率，划分危险等级，制定安全标准和对策措施，并进行综合比较和评价，从中选择最佳的方案，预防事故的发生”(11)。可见，对人工智能系统的安全评估，可以使技术人员更全面地认识其研发对象的危险因素及危害程度，制定相应的解决措施，从而设计出更安全的人工智能系统。在工程技术中，安全评估是预防事故发生的有效措施，是安全生产管理的一个重要组成部分，在人工智能系统中引入安全评估是必然之举。同时，由于人工智能产品出现安全问题之前可能没有任何征兆，人们也普遍认为高科技产品的安全问题导致的后果是不可逆的，从而可能会对相应的安全问题的严重性作出偏高的主观评价。只有专业人员进行的安全评估，才可能缓解甚至消除公众的忧虑。

从安全管理的角度看，福克斯(John Fox)提出的“危险的动态管理”对于提高人工智能系统的安全性具有启发意义。福克斯认为，为了提高医疗领域人工智能系统的安全性，静态的软件设计与验证和危险的动态管理两方面应该是互补的。虽然传统的安全工程在人工智能系统的设计中可以发挥重要作用，但即使最优秀的管理程序在复杂环境中也不可能保证复杂系统的可靠性与安全性，因此智能系统在运作过程中应该具备监控危险的能力，当危险发生时可以进行相应的处理。我们可以把能够识别与管理潜在危险的智能系统看作独立行为主体(independent agent)，与主系统同时运行。(12)

福克斯的主张实质是让专门的人工智能安全管理系统来管理人工智能，这种思路对于解决人工智能的安全问题可能具有普遍意义。因为人工智能的部分能力已经超越了人类，如果完全让人类来进行安全管理，人类可能力不从心，更好的办法可能是交给专门的人工智能管理系统。由此，解决人工智能安全问题在一定程度上就转变成如何保证人工智能安全管理系统的可靠性问题。这种安全管理模式是否可行还需要详细论证，但至少提供了一种关于人工智能安全管理的解决途径。

人工智能在带给人类更多福祉的同时，也可能产生某些安全隐患。在逐渐向我们走来的“智能社会”里，人工智能安全问题不再是属于未来学的问题，而应该是当前一个极为重要的哲学和科学技术问题。本文关于人工智能安全问题的论述是相当粗浅的，但这并不妨碍所讨论问题的重要性。只有真正重视并解决人工智能的安全问题，人工智能才能给人类带来光明而不是黑暗的未来。

　　 注释：

①徐英瑾：《心智、语言和机器——维特根斯坦哲学和人工智能科学的对话》，人民出版社，2013，第427页。

②库兹韦尔：《奇点临近》，李庆诚、董振华、田源译，机械工业出版社，2014，第80页。

③松尾丰：《人工智能狂潮——机器人会超越人类吗?》，赵函宏、高华彬译，机械工业出版社，2016，第152页。

④波斯特洛姆：《超级智能》，张体伟、张玉青译，中信出版社，2015，第153页。

⑤贝克、威尔姆斯：《自由与资本主义》，路国林译，浙江人民出版社，2001，第121页。

⑥⑦Wendell Wallach &Colin Allen,Moral Machine:Teaching Robots Right from Wrong,Oxford University Press,2009,p.97,p.10.

⑧Elizabeth Gibney,"Google Masters Go",Nature,529,2016,pp.445～446.

⑨霍金斯、布拉克斯莉：《人工智能的未来》，贺俊杰、李若子、杨倩译，陕西科学技术出版社，2006，第224页。

⑩拜纳姆、罗杰森：《计算机伦理与专业责任》，李伦等译，北京大学出版社，2010，第102页。

(11)王起全：《安全评价》，化学工业出版社，2015，第11页。

(12)John Fox,Safe and Sound:Artificial Intelligence in Hazardous Applications,The MIT Press,2000,pp.155～167.

 

责任编辑：陈近梅