OpenAI首席执行官Sam Altman发布博文，阐述对于超级AI的治理 | 速途网

速途网5月23日讯（报道：乔志斌）当地时间22日，OpenAI首席执行官Sam Altman阐述了其公司对AI监管的看法。

他表示，现在是开始思考超智能治理的好时机——未来的人工智能系统将比甚至通用人工智能（AGI）更具能力。在未来的十年内，人工智能系统将在大多数领域超越专家水平，并且进行与如今最大型企业相当的生产活动。从潜在的利益和风险来看，超智能将比人类过去所面临的其他技术更加强大。鉴于存在灭绝性风险的可能性，我们（人类）不能仅仅采取被动反应。核能是一个常用的历史例子，具有这种特性；合成生物学是另一个例子，必须减轻今天人工智能技术的风险，但超智能将需要特殊处理和协调。

以下为OpenAI首席执行官Sam Altman博文全文：

超级智能的治理

现在是开始思考超智能治理的好时机——未来的人工智能系统将比甚至通用人工智能（AGI）更具能力。

根据我们目前所见，可以想象在未来的十年内，人工智能系统将在大多数领域超越专家水平，并且进行与如今最大型企业相当的生产活动。从潜在的利益和风险来看，超智能将比人类过去所面临的其他技术更加强大。我们可以拥有一个更加繁荣的未来，但我们必须管理风险才能达到那里。鉴于存在灭绝性风险的可能性，我们不能仅仅采取被动反应。核能是一个常用的历史例子，具有这种特性；合成生物学是另一个例子。我们必须减轻今天人工智能技术的风险，但超智能将需要特殊处理和协调。

出发点

对于我们有很好机会成功引导这一发展，有许多重要的想法；在这里，我们初步阐述了其中三个想法。 首先，我们需要在领先的发展努力之间进行某种程度的协调，以确保超智能的发展以一种既能保持安全性，又能帮助这些系统与社会平稳融合的方式进行。有很多方式可以实施这一点；全球各主要政府可以设立一个项目，让现有的许多努力成为其中的一部分，或者我们可以共同同意（在像下文提到的新组织的支持下），将边界上人工智能能力的增长速率限制为每年的一定速度。 当然，个别公司应该被要求以极高的标准负责任地行事。

其次，我们最终可能需要类似于国际原子能机构（IAEA）的机构来监管超智能的努力；达到一定能力（或计算等资源）门槛以上的任何努力都需要接受国际机构的检查，要求进行审计，测试其符合安全标准，对部署程度和安全级别进行限制等等。跟踪计算和能源使用可以大有裨益，并给我们一些希望，这个想法实际上可以得以实施。作为第一步，公司可以自愿同意开始实施该机构将来可能要求的要素，作为第二步，各个国家可以实施。重要的是，这样的机构应该专注于降低灭绝风险，而不是像确定人工智能应该说什么这样的问题，这些问题应该留给各个国家自行决定。

第三，我们需要具备使超智能安全的技术能力。这是一个开放的研究问题，我们和其他人正在付出大量努力。

不在范围内的内容

我们认为允许公司和开源项目在显著能力门槛以下开发模型是很重要的，不需要像我们在这里描述的那样进行监管（包括许可证或审计等繁琐机制）。

如今的系统将在世界上创造巨大的价值，并且虽然存在风险，但这些风险的程度似乎与其他互联网技术相当，社会的可能做法也是适当的。 相比之下，我们关注的系统将具有超越任何先前技术的能力，我们应该小心不要通过将类似的标准应用于远低于这一标准的技术，从而削弱对其的关注。 公众意见和潜力 但是，最强大系统的治理以及有关其部署的决策必须受到强有力的公众监督。我们认为全世界的人民应该通过民主方式决定AI系统的界限和默认设置。我们还不知道如何设计这样的机制，但我们计划进行试验发展。我们继续认为，在这些广泛的界限内，个人用户应该对他们使用的人工智能行为有很大的控制权。