GPT-3 时代的人工智能民主化

公众号/AI前线

作者 | Mark O. Riedl

译者 | Sambodhi

编辑 | 李冬梅

9 月 22 日，Microsoft 宣布“将与 OpenAI 合作，独家授权 GPT-3”。在声明的最后，他们表示“我们也将继续与 OpenAI 合作，以保持前瞻性：在他们继续履行构建安全的通用人工智能的使命时，利用他们尖端人工智能研究的力量并使之民主化”。然而，与此声明相反的是，排他性协议和 OpenAI 先前不开源 GPT-3 代码的决定，对人工智能民主化的概念来说，代表着令人不安的进展，原因是我将在本文中讨论的一系列问题。

本文最初发表在 Medium 博客，经原作者 Mark O. Riedl 授权，InfoQ 中文站翻译并分享。

对我来说，人工智能民主化意味着让每个人都可以创造人工智能系统。这包括：

有权使用强大的人工智能模型。

有权使用算法。

有权使用算法和模型所需的计算资源。

有权使用算法和模型，而无需高级数学和计算科学技能。

人工智能的民主化意味着更多的人能够进行人工智能研究和 / 或构建人工智能驱动的产品和服务。在研究方面，更多的研究人员意味着可以探索更多研究挑战的多样的解决方案，并有可能更频繁地出现新的突破。在产品和服务方面，民主化意味着更多不同的人群将精力投入到为社区创造价值，否则就可能会被忽视。这也意味着市场竞争更加激烈。民主化就是在资源和知识方面降低了进入壁垒。

在本文中，我主要关注民主化的“获得强大的人工智能模型”部分，因为 GPT-3 是这样一个预构建的人工智能模型。从人工智能民主化角度来看，还需要了解的其他相关信息：

1、神经网络模型是如此之大，以至于很难将其从训练过的机器集群轻松迁移。

2、它是如此之大，以至于如果没有价值数十万美元的云计算资源，就无法进行训练。

3、OpenAI 之外的人可以通过 API 进行访问，也就是说，可以发送输入并接收输出，但是看不到模型中的任何细节。

4、OpenAI 仅提供了少数外部人员的访问权限，并且 OpenAI 目前仍然处于试验阶段。

5、OpenAI 打算最终出售对 API 的访问权限。

6、OpenAI 现在已向 Microsoft 独家授权 GPT-3，除了 OpenAI 之外，Microsoft 将是唯一能够直接访问代码和模型的公司。其他人仍然可以通过 API 访问 GPT-3。OpenAI API 是否会停止使用，目前尚不清楚。

GPT-3 和其他在 Microsoft 和 Google 创建的非常大的模型，在如何影响人工智能的“民主化”方面，都引起了极大的关注。至少早在 2016 年，Aspen Institute 的一份报告就提出了这一问题。从那时起，我们看到的是，模型变得越来越大，成本也越来越昂贵。

其中一个问题是大型模型的可复制性。从科学的角度来看，外部团体在研究论文中复制结果是可取的。然而，只有极少数团体能够为可复制性目的而消耗资源。这些团体以企业为主，并不一定有动力去进行复制。作为 GPT-2 的准复制，Grover 的开发是一个有趣的案例，Allen Institute 是一个资金雄厚的非营利性机构。

一个好消息是，Google、Microsoft、OpenAI、Facebook、Salesforce 和其他公司都已经公布了他们的模型。普通人是无法从零开始重新创建这种规模的模型的，但这些模型可以在一台机器上运行，只需要一个 GPU 即可。这种情况已经给人工智能的民主化带来了风险，因为即使是拥有现代 GPU 的要求也可能会成为一种障碍。Google Colab（以及其他云服务，如 Google Cloud、Amazon Web Services、Microsoft Azure 等），尽管成本较高，但却在一定程度上缓解了这一问题。

GPT-3 代表了一种新情况。第一次，一个模型会变得如此之大，以至于不能轻易地迁移到另一个云端上，而且肯定也不能在一台只有单个或几个 GPU 的单台计算机上运行。取而代之的是，OpenAI 提供了一个 API，如此一来，模型就可以在他们的云端上运行。现在就有免费试用和学术访问 API 的机会，但这种情况可能不会持续下去，因为 OpenAI 已经宣称有意让访问 GPT-3 的机会货币化。

这就在许多方面给民主化带来了风险。第一，OpenAI 将控制谁拥有访问权限。如果我们相信通往更好的人工智能的道路上实际是一个更大模型的函数，那么 OpenAI 就成为了一个守门人，决定谁能拥有好的人工智能，而谁不能拥有好的人工智能。他们将能够（明确地或阴暗地）对经济的各个领域施加影响。与 GPT-2、BERT 或其他模型不同，这些模型不需要任何服务协议条款就可以下载，而 OpenAI 只需关闭 API 访问权限即可。

此外，根据不同的定价模式，某些群体将受到更大的冲击。学术界人士能否负担得起访问费用？个人爱好者呢？还没有收入来源的初创企业呢？非营利性的人道主义组织呢？活动分子呢？（行动主义是一个特别有趣的案例。假设有办法利用人工智能来帮助推动支持民主的事业。这就把 OpenAI 放在了一个可能伤害全世界民主运动的位置上。那么促进科技行业监管的行动主义或者其他任何可能对美国人有利但对工业界不利的事情呢）？

其他关于 OpenAI 可以选择承担（或强加给他们）的权力的问题：

如果 OpenAI 决定限制使用，那么，他们用来决定谁可以使用 GPT-3 以及谁被切断的主要原则是什么呢？

OpenAI 是否会查看输出，并试图判断他们的技术是否得到了适当的应用？考虑到 OpenAI 的使命声明，以及它如何与他们新的盈利模式相冲突，这看起来似乎是一个关键问题。即便如此，他们会不会进行大规模的监控呢？
如果他们将 GPT-3 出售给另一家将其用于恶意（有意或无意）目的的公司，他们会向那些受到不利影响的人提供帮助吗？其他云服务商试图禁止某些用途，比如试图识别并阻止 AWS 上的比特币挖掘，这是有先例的。
受 GPT-3 生成的东西负面影响的人会不会甚至能够分辨出内容来自 GPT-3，从而向 OpenAI 寻求解决办法呢？
OpenAI 现在处于盈利模式，会不会受到诱惑，去监控它的使用情况，并为他们可以盈利的新服务提供创意，从而获得相对于竞争对手的不公平竞争优势呢？他们会获得提示和输出，这样他们就不必重新发明任何东西就能知道什么是有效的。
到目前为止，四大科技巨头已经进一步推动了人工智能的民主化。有趣的是，对 BERT 进行微调相对容易，并且可以用较小的数据集来完成，这意味着模型的用户可以用更少的资源和更少的时间来训练好的模型。在可访问的最新人工智能方面，GPT-3 有可能带来巨大的模式转变。部分原因在于，GPT-3 似乎在很多方面都有用，而不仅仅是研究而已。相比之下，DOTA 游戏智能体和《星际争霸》（StarCraft）游戏智能体规模既庞大又笨重，但它们的用途却十分有限，因此人们对它们的需求并不是很大。

我们继续看到，从研究的角度来看，在很多流行的基准测试中，模型的大小和性能之间存在很强的相关性。高校再也不能在这方面进行竞争了。但学术界仍然可以通过展示新的方法，在小规模的、公开可用的模型上工作，从而做出有价值的研究贡献。但是，如果不与大型科技公司合作，它确实会将一些研究目标排除在可能性的范围之外。高校是人工智能民主化的主要来源，因为研究成果通常通过研究论文（以及越来越多的代码库）公开发布。

很多公司并没有这样的激励机制来公开他们的研究成果。迄今为止，他们已经这样做了（当然，就我们所知）。他们拥有专有的工程系统，但一般知识已经公开。部分原因可能是由于经济压力，以至于主要的科技公司不再撰写论文，也不再发布模型。从这个意义上说，GPT-3 及其 Microsoft 独家授权可以看作是一个信号。

此外，如果有人相信奇点的“风落”（“windfall”）理论（我并不认同这一观点），那么最先开发出真正的通用人工智能的人将会在很大程度上主宰世界经济的几乎所有领域，成为一个全球垄断者。若以此为主流观点，那么对一家科技公司而言，切断所有人工智能研发的内部渠道就是义不容辞的责任了。

这与 Facebook 和 Twitter 面临的挑战类似，因为它们已经成为事实上的公共服务，但同时仍然是营利性公司。他们所处的位置决定了公共话语中，什么是规范的，什么是不规范的，谁会受到惩罚，谁会被允许违反规则。伦理道德是什么？答案往往与对公司财务底线有利的因素相冲突。不久之后，OpenAI 可能会发现自己处于类似的境地，即在部署人工智能服务方面，它是伦理和道德的事实仲裁者。他们准备好了吗？我们是否相信他们能够担当得起这个角色？如果不是这样，在人工智能最重要的一些技术变得像 GPT-3 一样难以复制的情况下，学术界和从业者要如何才能争取人工智能的持续民主化呢？

作者介绍：

Mark Riedl，佐治亚理工学院（Georgia Institute of Technology）计算机学院的副教授和机器学习中心副主任。Riedl 博士的研究是以人为中心的人工智能和机器学习，具体关注伦理、安全、可解释性、讲故事以及电脑游戏。Riedl 博士与 2004 年在北卡罗莱纳州立大学（North Carolina State University）获得博士学位。2004~2007 年，他在南加州大学（Southern California Institute）创意技术研究所担任研究科学家。于 2007 年加入佐治亚理工学院计算机学院。

原文链接：

https://thegradient.pub/ai-democratization-in-the-era-of-gpt-3/