为何担心人工智能冲击国际安全

科学家普遍认为，当前人工智能尚处于“弱人工智能”阶段，即只能出色地完成某一项特定的任务或解决某一类特定问题。但也有一些专家断言，人工智能军事化就如同1945年美国第一次进行的核爆实验及在长崎和广岛投下的原子弹般横空出世，一定会给国际战略格局带来范式性的冲击。然而，这场革命究竟会如何向世人呈现其真实全貌还未可知。但就武器产生的变革效应和方式而言，核武器与人工智能在性质上颇为不同。核武器在诞生之初即展示出惊人的破坏力，进而对国际安全和国际军控产生颠覆性的深远心理和物理影响。而人工智能是赋能技术，必须与其他武器技术相结合才能引发战场革命。一些比较悲观的专家则进一步预言，现有理论研究的内在不足将限制人工智能的发展前景，人工智能在未来无可避免地陷入“寒冬”。既然人工智能带来的革命性影响是一个未知数，为何国际社会开始急于寻找关于人工智能的国际安全治理的答案呢？

　　 当下的三种争论

我们在近期众多的国内外会议以及相关文献中发现，包括政策制定者、科学家、工程师、政治学者在内的专业人士对人工智能是否会冲击国际安全及如何冲击国际安全，其实持有颇为不同的观点和视角。倘若以人工智能对国际安全的影响程度来区分，这些讨论大体可被归为三种，即主张革命性冲击的变革派、尚未达到“质变”的演进派以及影响受限的谨慎派。

在这场大争论中，变革派预测人工智能将对国际安全产生颠覆性影响，断言其军事影响力可与核武器相提并论。在他们看来，人工智能在军事领域的广泛应用极大地提高了士兵的战场态势感知能力和战略决策效率，其与机器人的结合一定会显示出比人类要强大得多的行动力和协调力。在核战略较量中，战略威慑不仅通过理性计算和技术实施，而且也是最高决策者之间的心理较量。而深度学习算法可排除恐惧、焦虑和疲劳引发的错误认知和判断，剔除人类心理的干扰作用。尽管决策者获得了更加理性的政策建议，但人工智能介入战略博弈反而加大了对手理解信号的难度。人工智能赋能的自主武器具备成本低、反应迅速、打击精准的优点。为了追求更大的战场优势和国际权势，一些国家会谋求大量部署自主武器，继而引发军备竞赛；或者减少对智能武器的限制，最终出现完全自主的致命性杀伤武器。此外，科技的不断发展还会侵蚀战略威慑的基础，动摇大国间越发脆弱的战略稳定。拥核国家将加强部署更具有生存能力的第二次打击，确保对手不敢发动第一次打击。因此，确保报复可信度成为大国核战略博弈的重要基础。变革派认为，人工智能目前尚存缺陷的探查能力可刚好削弱第二次核打击能力的可信度，进而威胁到防守方的核报复打击能力，颠覆大国核战略博弈的理论前提。

演进派则认为人工智能更应被看作是武器的“放大器”，其作为武器本身并不是直接引发国际安全范式性变革的主要因素。他们并不否认人工智能有潜力掀起一场战争革命，但推断它对军事的影响是演进性的。尽管一些国家有可能为了扩大自主武器带来的战略红利而将无人化和智能化作为技术发展方向，但人类的理性和合作精神始终是决定性因素。致命性自主武器的战场投放面临着诸如道德和法律的约束、战略文化的限制以及官僚机构的制约。这些抑制性因素决定了人类在战争中的决定性地位不会被最终替代。演进派认同人工智能加大战略不稳定性的观点，但强调人工智能尚未导致国家陷入你死我活的困境中。在理想的情况下，如果获取更全面的情报和分析，一定程度上会降低战争风险。即使人工智能可定位一国的导弹发射井，战略对手也可提升发射井的打击承受力，从而保留第二次打击的战略性力量，形成战略威慑。

相比于变革派和演进派对人工智能的信心，谨慎派认为人工智能给国家在战争中带来多大的好处模糊不清。新美国安全中心研究员保罗·斯查瑞指出，操作人员能否适应复杂的人工智能系统，人工智能系统是否能不被恶意操控，都是重要的安全问题。对战场具有革命性影响的新技术往往会复杂化战略决策和决策组织间互动的过程。作战部门适应人工智能复杂系统的速度不同，可能给各个部门间协调造成障碍，反而降低军事部署的效率。而且，人工智能无法理解人类与生俱来的意图、期望、情感以及战争中的荣誉。这种缺乏理解阻碍了创建安全、高效的人机协作关系。不论是在战场上还是在官僚机构中，部署人工智能都要面临长时间的安全审查。在某些传统的战略文化制约下，新技术所起到的效用可能不如预期。尤其是在人工智能技术还不够成熟的背景下，一个更为谨慎的观点是不应将其用在高度敏感的核安全领域。此外，人工智能未来发展面临技术发展的瓶颈期阻滞，会显著偏离很多国际安全专家的乐观期待。一些专家断言，现在的人工智能算法家族的发展潜力只有十年。如果没有很多重要技术诸如高效的芯片和先进的量子计算机的跨越式突破，将根本性地限制人工智能的未来发展。

目前来看，人工智能未来的发展充满不确定性，在现实应用中的表现也不如想象的完美。或许，正是因为以上两点刚好能允许战略博弈的双方找到应对方法，进而给这场争论创造了巨大空间。一方面，变革派对人工智能技术的未来发展报以极高的期待，但对人类事务的看法十分悲观。这让他们能够以敏锐的目光发现国际安全面临的潜在挑战和安全问题的本质。另一方面，部分谨慎派的人工智能专家对这项技术的未来发展持保守态度。他们的悲观预测反而使决策者和国际安全研究者紧张的神经得到放松。不同于变革派将人工智能影响最大化的逻辑，演进派仍然在现有国际安全现实结构和秩序中展开讨论，决定了他们必然牺牲部分长远和深邃的战略眼光。然而，他们的研究在人工智能还没有带来即视的安全冲击的当下，提供了国际安全治理的可能线索。只要人工智能带来的安全挑战不是颠覆性的，当下围绕人工智能竞争激烈的中美两国就可以在历史经验和现有理论中找到大国协调的答案，存在共同维护战略稳定和构建国际规范的相对确定预期。

　　 人工智能增加了国际安全的不确定性

在人工智能竞赛中，有赢家，也有输家。没能成功开发人工智能技术并抢占市场的国家将遭受经济和福利损失。同样，军事应用的投资和开发不足的国家面临更大的安全威胁，其地缘影响力无疑会被削弱。换言之，技术竞争绝非是中性的。随着通信技术的不断发展，有先发优势的国家想要确保在全球数字转型中获取更大的权势，或者防止自己屈居人下。故此，围绕着科技制高点的争夺，在一些观察家看来将不可避免地引发一场“大国政治的悲剧”。

中美之间的贸易战和科技领导权之争，似乎印证了这一论断。政策制定者一般倾向于高估技术突破带来的权势变化，低估国家间的合作可以稳定国际安全的可能。按照现实主义的逻辑，大国怯于在这场影响国运的竞争中放松神经，因为它们既不确定自己会否成为赢家，也难以猜想在新的技术秩序变革中自身将出现何种地位的变化。于是，在悲观而固执的零和思维驱使下，美中之间的大国竞争油然而起，正危险地滑向导致世界分裂成两个对立体系之势。为此，联合国秘书长安东尼奥·古特雷斯发出危险警告：“世界上最大的两个经济体创造了两个独立的、相互竞争的世界，各自拥有自己的主导货币、贸易和金融规则、自己的互联网和人工智能能力，以及自己的零和地缘政治和军事战略。”

令人担忧的不只是国际秩序向对抗性方向演进。人工智能已经具备了帮助人类从大量信息中筛选出导弹发射平台的能力。强大的侦察力已越来越让中国和俄罗斯担忧美国跟踪和锁定移动导弹发射器技术发展成熟后会威胁到它们的核报复能力。如果无人武器设备的隐蔽性和突破性足够强大，国家就有风险更低、打击效能更高的攻击选择。虽然这种战术不能保证自身免遭第二次打击，但这种可能性本身就已经十分可怕。面对核威慑，决策者不得不在极其有限的时间内作出决策，因而要承受更大的发动第一次打击的压力。或者，国家需要发展更加危险的传统武器来平衡威慑不足。由此引发的军备竞赛迫使国家部署不安全的人工智能系统，并进一步加大战略不稳定。对于防守方来说还有另一种选择，那就是攻击敌方的探查器件，生成对抗性网络或采取战略欺骗的方式来防止对方打击自己的报复力量。这些努力在一定程度上可确保己方核报复设施的隐蔽性和安全性。但是，这种安全困境的加剧反而会导致意外冲突升级和加大战略部署判断的复杂性和误判可能性。最终，国家不得不面对要么提前发动进攻，要么输掉战争的两难选择。

有技术优势的国家会率先在战场上部署更加先进的武器装备或建立新的指挥作战概念。技术落后的国家则因缺少应对策略而陷入相对劣势。按照现实主义的安全互动模式，大国可能寻求相对优势以规避他国的军事进步威胁自己的安全，或者在其他地方寻找抵消对手优势的方法。在军备竞赛的螺线轨迹上，自主武器越发先进，以至于战争速度快到超出人类的反应，由此导致国家争相部署不安全的人工智能武器，这都将给决策者带来巨大的心理压力，扭曲人类战略应对的固有理性判断。

此外，自主武器扩散降低了战争门槛，加大国家间战争风险。军事行动往往伴随着人员伤亡的高风险。国家领导人要顾及到民众对战争伤亡的敏感性，因而不敢轻易发动对外军事行动。但是，自主武器减少伤亡率预期的特点促使改变战略决策过程。决策者可以竭力说服民众只需较小的代价就能获得更高的战争回报，进而摆脱使用武力的国内限制，更有利于它们对外投射自己的军事影响力。不过，自主武器扩散的最大受益人或许并不是大国而是技术基础较好的中等国家。它们可以借此弥补资源和人口上的劣势，从而改变国际常规武力的对比，提高自己在国际均势体系中的地位。在致命性自主杀伤武器缺乏有效国际规范的局势下，大国和这些中等国家的均势变动将给国际安全体系带来怎样的冲击，令人担忧。加之人工智能技术本身的脆弱性，更加大了突发事件发生的概率。

　　 探索人工智能国际安全治理的演化路径

人工智能是一项处于不断发展进程的赋能技术，很难找到一个完美的定义。它带来的变革效应正在全球显现，完全禁止已然不可能，任由其肆意发展也与国际关切和人类共同命运不符。那么，如何对其进行国际治理呢？对政策制定者来说，所需要关注的并非只是技术在国际安全上引发的众多不确定性，还有他们对这项技术认识的不断丰富，进而改变对当下以及未来的治理选择。摆在我们面前的并不是一个注定的悲剧，而是一个承担人类发展重任的抉择。

在联合国框架下，有多个机制都对限制自主武器发展进行了国际探讨。其中，联合国《特定常规武器公约》谈判机制自从2014年起已召开了三次非正式专家会议和三次正式政府专家组会议。尽管在国际机制和国际规范的建立上取得了一定的突破，但是参与讨论的各方对于致命性自主武器的适用定义分歧严重，均认为其指涉对象十分模糊。现在来看，不论各方讨论的是怎样的定义，都在一定程度上与既有使用武器的规则存在矛盾。根据瑞典斯德哥尔摩和平研究所对154种武器系统的统计分析发现，只有49种武器可以在人类监管但不介入的情况下进行合法交战。它们主要用于对己方设施进行防御，比如保护军舰或基地、应对来袭导弹等。而致命性自主武器带来的战略红利牵动着各国的安全利益，给后续军控行动增加了困难和挑战。

尽管如此，这并不意味着我们无计可施而注定陷入绝望的无谓争论之中。在前述2014年第一次非正式专家会议中，各方分歧明显。有的国家代表认为，致命性自主武器易于扩散且极其危险，终将给人类带来巨大威胁，需要全面禁止开发和使用。与之相反的观点则认为，应该发展致命性自主武器，因为它未来足够“聪明”，能够理解人类战争中的道德规范，甚至可为人类提供一种更加人道的战争选择。两种观点都预设了人工智能最终足够强大，却给出了完全对立的应对方案。时至今日，他们的预想都缺乏足够的支持，但看似不可调和的争论中日渐出现共识。参与讨论的各方同意，致命性自主武器的军控行为不应阻碍民用技术的开发和促进经济发展，即使定义不清也不妨碍其他问题取得进展。这表明，决策者的认知不是一成不变的。相关军控谈判不会是一次性达成具有约束力的国际条约，而是制定出致命性自主武器的底线后采取多种军控手段结合的渐进方式以建立共识性的“软法”。这需要国家采取自我限制，达成国家之间的非约束性协议，比如符合现行国际法和国际准则的“行为准则”。这种做法可以应对自主武器引发的伦理道德问题，但是对于维护战略稳定作用不大。最好的方法或许是国家在尚未出现激烈的军备竞赛前，利用好窗口机遇期，尽早划出一条能够确保人类掌握自己生死命运的红线。

“大分裂”并不是中美两国唯一的选择。我们应乐观地相信，人工智能竞赛不是零和游戏。它应当是一项促进人类福祉和推动国家合作的工具。虽然特朗普政府的美国对外政策表现出部分领域“脱钩”的趋势，中美两国的科研合作反而呈现出更加紧密的需求。通过对科学和工程领域的著作进行文献统计，有研究发现中美两国学者在2014至2018年间共同发表的论文数量增长了55.7%，因此如果美国贸然切断同中国的科研合作可能导致美国的发表成果数量大幅下降。从人类历史而言，科学技术的发展和在世界范围的传播使得各国受益。即便在人工智能技术竞争加剧的今天，一国的技术突破也可能有利于另一国的经济社会发展。比如，位于北京的微软亚洲研究院曾支持四名中国年轻学者发表的一篇关于深度残差学习的论文，成为近年来该领域的重要引用文献。在论文发表后，四位作者中有一位前往美国脸书公司任职，其余三位则加入到中国国内的人工智能创业行列之中。他们的成功无疑让中美两国企业和整个人工智能研发都有所受益。

在国际安全事务的历史进程中，不确定性是常态，确定性反而是稀缺的。随着人工智能技术的发展，对致命性自主武器的定义不再只限制在技术层面而在于自主能力范围的问题上。例如，武器的智能化程度成为判定其性质和限制的标准。政策制定者最需要担心的并不是那些不确定性导致的潜在权势流失，而是这种认知的固化带来的长远风险。他们不应期待以“技术治理技术”的手段获得稳健安全的人工智能系统来解决国际安全困境。安全的军事系统会在技术层面降低国家之间突发事件发生的可能性，但这意味着一国获得了只有它才有的利器。这将不可避免地加剧军备竞赛，甚至动摇战略稳定而产生灾难性后果。同时，国家也不应为了赢得军备竞赛的胜利而争相部署不安全的人工智能系统。政策制定者既不能低估不同的战略文化对使用新技术的影响，也不应高估人工智能带来的安全冲击。

在人类走过的道路上，到处可见文明破灭的废墟残骸、帝国崩溃的残碑破冢、信仰者和卫道者的尸首断骨，他们被一波波时代的浪潮淹没，没能在人类社会进化的道路中找到延续的崎岖小道。然而，正是他们的牺牲照亮了我们未来前进的道路，使人类文明有可能免于走向错误的演化道路。回望过去遥望未来，任何对人工智能带来美好未来的华丽辞藻以及其中所包含的美好期待，都不应掩饰或漠视其中所蕴含的种种危险。而任何否定人工智能的抵触情绪和对人性的过度信任，都无法阻挡技术发展带来的种种好处。我们需要承认，不确定性决定着人工智能的安全治理是一个动态的过程，基于在未来出现最好或者最坏结果的极端预设可能都很难实现。面对不断变动的国际环境，我们需要在不断发展的技术和不变的人性中去寻找国际合作的空间。（作者：陈琪，清华大学战略与安全研究中心秘书长、教授；朱荣生，清华大学战略与安全研究中心研究员）

责任编辑：张薇