三位图灵奖得主预言：再不管管 AI，人类可能就要灭绝了

据外媒报道，三位图灵奖得主Hinton、Bengio和姚期智近日共同发表论文《在飞速发展的时代管理 AI 风险》 （Managing AI Risks in an Era of Rapid Progress） 。这份论文还获得了多位不同领域的研究者署名。其中不乏Yuval Noah Harari、Stuart Russell等人工智能领域的知名专家。

在这份简短的共识文件中，三位科学家在论文中表达了对于 AI 风险的担忧。论文表示，没有监管的AI系统可能会给人带来大规模的社会危害，甚至可能造成不可逆转的失控。在论文的最后，各位科学家呼吁国际组织制定有效的措施，以防止 AI 的快速发展所带来的威胁。

以下是论文原文：

2019年的时候，GPT-2 还无法靠自己数到 10。而仅仅四年后，深度学习系统就可以做到编写软件、按需生成逼真的场景，就知识性话题提供建议，并结合语言和图像处理来引导机器人等功能。随着人工智能开发人员扩大这些系统的规模，在没有明确编程的情况下，不可预见的能力和行为会自发出现。人工智能的进展十分迅速，这个速度让许多人感到惊讶。

目前的深度学习系统仍然缺乏一些重要的能力，我们不知道研发出这些功能需要多长时间。不过，各家公司都在争先恐后地推出通用的人工智能系统，让机器在大多数认知工作中达到或超过人类的能力。它们正在迅速部署更多资源，开发新技术，以提高人工智能的能力。与此同时，人工智能助手越来越多地被用于自动编程和数据收集，这让他们可以进一步改进人工智能系统。

人工智能的进步不会因为人类的主观因素而放缓或停止。事实上，人工智能已经在蛋白质折叠模拟或策略游戏等细分领域超越了人类的能力。与人类相比，人工智能系统可以更快地行动，吸收更多的知识，并以更高的速度进行交流。此外，它们还可以通过扩展使用巨大的计算资源，复制数百万个自己。

人工智能的进步速度已经令人吃惊，我们相信，科技公司在拥有必要的现金储备的情况下，可以在短期内将最新的训练运行规模扩大 100 到 1000 倍。再加上人工智能研发的持续增长和自动化，我们必须认真对待通用人工智能系统将在本十年或下一个十年内在许多关键领域超越人类的可能性。

届时会发生什么？如果管理得当、分配公平，先进的人工智能系统可以帮助人类治愈疾病、提高生活水平、保护生态系统。人工智能带来的机遇是巨大的。但是，与先进的人工智能能力相伴而生的是大规模风险，而我们还没有找到妥善处理这些风险的方法。

人类正在投入大量的资源发展 AI 技术，让他们变得更加强大。但在安全和减轻AI 伤害方面，投入的资源甚少。要想让AI 技术成为人类福音，我们必须调整方向，仅仅推动人工智能能力的发展是不够的。

从目前来看，我们已经落后了。我们必须预见到当前危害的扩大以及新的风险，并在最大风险出现之前做好准备。气候变化需要几十年的时间才能得到承认和应对，但对于人工智能来说，几十年的时间可能太长了。

AI 可能带来的社会风险隐患

AI 系统已经在越来越多的工作中展现出了超越人类的能力，如果不精心设计和部署这些系统，AI 会带来一系列影响社会的风险问题。它们有可能扩大社会的不公，侵蚀社会的稳定，削弱我们对现实世界的共同理解，而这种理解是当今社会的基础。它们还可能助长大规模犯罪或恐怖活动。尤其是在少数有权势的人手中，AI可能会巩固或加剧全球的不平等，或助长自动化战争、定制化大规模操纵和无处不在的监控。

这些风险可能很快会被放大，并产生新的风险，因为公司正在开发自主的人工智能：能够规划、在世界上行动并追求目标的系统。虽然目前的人工智能系统自主性有限，但改变这种状况的工作正在进行。例如，非自主的 GPT-4 模型很快就能浏览网页、设计和执行化学实验，并使用软件工具，包括其他人工智能模型。

当我们推出高度先进的自主人工智能之后，就有可能创作出追求不良目标的 AI 系统。有恶意的人可能会故意给这些人工智能系统植入影响社会的指令。此外，目前还没有人知道如何将人工智能行为与人类复杂的价值观可靠地结合起来。即使是那些善良的开发者，也可能会在不经意之间开发出违背研发者本意的 AI 系统，特别是那些为了赢得比赛而忽视昂贵的安全测试和人工监督的系统。

一旦一个具备自主功能的 AI 系统被植入恶意目标之后，人类可能再也无法对其进行控制。人间控制是一个古老而尚未解决的问题，蠕虫病毒长期以来一直能够扩散并逃避检测。然而，人工智能正在黑客攻击、社会操纵、欺骗和战略规划等关键领域取得进展。这让那些先进的自主人工智能系统将带来前所未有的挑战。

为了推进自己的目标，那些具备自主性的 AI 系统可以在未来使用从人那里学的策略作为自己达成目的的手段。AI 系统可以获得人类的信任，获取财政资源，甚至影响那些关键决策者，并与人类或者其他AI系统达成联盟。这些 AI 系统甚至可以像蠕虫病毒一样，在全球的网络中复制自己以避免人类的干预。要知道，目前在全球范围内已经有不少 AI 助手参与到了代码的编写工作中，谁也不能保证，在提高自主性之后，他们会写出什么样的代码。

更可怕的是，未来的 AI 系统甚至利用安全漏洞来控制通信、媒体、银行、国内供应链等机构的计算机系统。而在公开冲突中，AI 系统甚至可能使用生化武器。而一旦AI 系统具备足够的能力来实施这些策略，只会延续军事活动自动化，让人类难以进行干涉。

随着自主人工智能系统变得越来越比人类工人更快、更具成本效益，公司、政府和军队可能会被迫广泛部署人工智能系统，并减少对人工智能决策进行昂贵的人工验证，否则就会面临被淘汰的风险。到那个时候，AI 系统可能会越来越多地承担起关键的社会角色。

如果没有足够的警惕，我们可能会不可逆转地失去对AI系统的控制，从而导致人类干预无效。届时，大规模网络犯罪等社会性危害问题可能会迅速升级。这种不受控制的AI 进步可能最终导致大规模的生命和生物圈损失，以及人类的边缘化甚至灭绝。

如今，错误信息和算法歧视等危害已经显现，其他问题也有出现的迹象。既要解决当前的危害，又要预测新出现的风险，这一点至关重要。这不是一个非此即彼的问题。当前和新出现的风险往往具有相似的机制、模式和解决方案；投资于治理框架和人工智能安全将在多个方面取得成果。

未来的方向：

面对 AI 可能带来的危害，人类目前并没有绝对安全的方法，但这并不代表我们完全无计可施。为了确保取得积极成果，人们可以在人工智能安全和伦理方面寻求研究突破，并及时建立有效的政府监督。

此外，人们需要在技术上有所突破，以解决目前在创造具有安全和道德目标的AI方面所面临的一些技术挑战。而其中部分挑战不可能通过简单地提高人工智能系统的能力来解决。

这些挑战包括：

监督与诚信：能力更强的 AI 系统会利用监督和测试方面的弱点，比如说，在生成答案时，提供虚假但足以令人相信的答案。

稳定性： AI在资源分配变化或者对抗性输入的情况下，其表现会变得难以预测。

可解释性： AI 的决策是不透明的。到目前为止，人们还只能够通过试错来测试大语言模型。而对抗这些问题，人们需要学会他们的工作原理。

风险评估： 一些AI系统会在研发过程中出现不可预见能力，而这些能力只有在训练阶段甚至是被部署之后才会被发现。想要尽早发现可能出现的危险能力，需要一个更好的评估机制。

新的挑战： 能力更强的 AI 系统 可能会出现我们迄今为止仅在理论模型中看到的失效模式。例如，人工智能系统可能会学会假装服从或利用我们的安全目标和关闭机制中的弱点来推进特定目标。

考虑到这些问题，我们再次呼吁科技巨头和那些投资者至少将 AI 系统研发预算的三分之一拿来确保这些系统的安全和道德问题。

应急管理措施永远是必要的

我们迫切需要国家机构和国际组织来制定并执行一个标准，以防止AI 系统被滥用。从制药到金融系统再到核能等许多技术领域都表明，我们需要有效的管理方法来降低风险。然而，人工智能目前还没有类似的管制方案。如果没有这些方案，不同的组织可能会将人工智能能力推向新的高度，同时在安全问题上偷工减料，或者将关键的社会角色委托给人工智能系统，从而寻求竞争优势。就像制造商为了降低成本而将废弃物排放到河流中一样，他们可能会想从人工智能的发展中获得回报，但这带来的后果却需要整个社会来承担。

为了跟上AI 的快速发展的步伐，避免法律缺乏灵活性，各国需要强大的技术专长和迅速采取行动的权力。为了应对国际竞争态势，各国需要有能力促进国际协议和合作伙伴关系的达成。为了保护低风险的使用和学术研究，各国应避免为小型和可预测的人工智能模型设置不必要的官僚障碍。

最紧迫的审查应针对处于前沿的人工智能系统：少数最强大的AI系统正在价值数十亿美元的超级计算机上训练，而他们将拥有最危险和最不可预测的能力。

为了实现有效监管，相关部门应该全面了解 AI 技术的发展，并设立监管机构，要求企业进行模型注册、举报人保护、事件报告等行为，并对模型开发和超级计算机的使用进行监控。监管机构还需要在部署前先接触先进的AI系统，以评估其是否具有危险能力，如自主自我复制、侵入计算机系统或使大流行病病原体广泛传播等功能。

而对于那些具备危险能力的 AI 系统，我们需要设立综合管理机制。

监管机构应根据模型能力来制定国家和国际安全标准。他们还应要求前沿的AI开发者和所有者对其模型造成的、可合理预见和预防的危害承担法律责任。

这些措施可以预防伤害，并未对AI的安全投资提供一定的激励。对于未来可能出现的超强AI 系统，如可以规避人类控制的模型，需要采取进一步措施。各国必须做好准备，为这些 AI 系统颁布开发发放许可证，暂停开发那些令人担忧的能力，并强制实施访问控制策略，并要求采取可抵御国家级黑客的信息安全措施，直到准备好足够的保护措施。

为了弥补法规出台前的时间缺口，大型人工智能公司应立即作出一个承诺：如果在其AI系统中发现特定的触及红线能力，他们将采取一些具体的安全措施来解决隐患。这些承诺应该详细，并接受独立审查。

AI 可能是本世纪影响最大的技术，不过与这种技术快速发展相对应的是，是人们在相关安全和管理方面的滞后。为了引导人工智能取得积极成果，远离灾难，我们需要调整方向。我们相信，人类的智慧，一定能够帮助我们找到一条切实可行的道路。

本文来自微信公众号： GenAI新世界（ID：gh_e06235300f0d） ，作者：吕可