AI计算趋势解读：接下来四年，没人玩得起下一个AlphaGo

     在这篇文章中，我将探讨两个问题。首先，如果实验继续以如此之快的速度增长，很快会变得不堪重负，这种趋势也将临近终点。除非经济出现大幅转变，否则这一趋势最多只可持续 3 年半到 10 年，具体取决于支出水平和计算成本的演变情况。其次，如果这种趋势持续了 3 年半以上，那么 AI 实验的计算量将会超越一些有趣的里程碑。具体地说，一个实验的计算量将超过使用神经元模拟人类（0-18 岁）思维所需的计算量。简单地说，在给定等效算法的前提下，这一趋势将超越达到成年人智力水平所需的计算量。

1. AI 计算趋势能持续多久？

为了弄清 AI 计算趋势能够持续多久，我们需要了解三件事：实验成本的增长率、当前实验的成本以及未来可用在实验上的最大存量。

大型实验的规模变得越来越大，每 3 个半月就翻一番（相当于每年一个数量级），而单位计算成本每 4-12 年减少一个数量级（长期趋势每 4 年将成本降低 10 倍，而最近的趋势每 12 年将成本降低 10 倍）。因此，最大型实验的成本每 1.1-1.4 年增加一个数量级。

目前最大型的实验——AlphaGo Zero——成本约为 1000 万美元。

实验规模可以达到何种程度取决于主导实验的人，而美国政府可能会是最富有的实验主导者。之前，美国将 GDP 的 1％用在了曼哈顿项目上，在阿波罗计划期间，又将 GDP 的 0.5％用在了 NASA 的项目上。现在，我们假设他们同样可以花费 1％的 GDP（2000 亿美元）在 AI 实验上。按照每 1.1-1.4 年一个数量级的增长速度，并且初始实验规模为 1000 万美元，那么根据这样的 AI 计算趋势，2000 亿美元的实验规模将在 5-6 年内出现。因此，从目前的经济形势来看，AI 计算趋势将在不久的将来到达终点。

我们还可以考虑另一种情况，就是在政府不参与的情况下这个趋势可以持续多久。相对于政府，企业会相对较快地到达经济屏障。其中较大的科技公司亚马逊和谷歌目前的研发预算约为每年 200 亿美元，因此，我们可以假设政府以外最大的实验规模是 200 亿美元。那么企业可以让 AI 计算趋势保持约 3.5-4.5 年，相当于政府的四分之三。

另一方面，专用硬件的发展可以减少计算量，从而让趋势可以持续更长时间。如果一些新的硬件能够超越摩尔定律，将计算量削减了 1000 倍，就可以将经济屏障往后推 3-4 年。

为了让 AI 计算趋势能够维持更长时间（超过十年），经济必须每年增长一个数量级或更多。这是一个非常极端的情况，而能够实现这一目标的主要推动力可能是来自强大的人工智能技术所带来的巨大经济收益，这也是对大规模人工智能投资的合理性所做出的有力辩护。

当然，以上的这些数字都是以上界值为例，所以不排除 AI 计算趋势可能会更快走到终点（例如，如果事实证明 AI 研究对经济的作用低于预期）。

因此，我们得出的有关 AI 计算趋势的结论是——它不会持续很长时间，最多不超过 3.5-10 年。

2. AI 计算趋势何时会超越 AGI 里程碑？

我们可以得出的第二个结论是，如果 AI 计算趋势继续以目前的速度发展，它将超越一些有趣的里程碑。如果 AI 计算趋势能够持续 3.5-10 年，那么最大型实验的规模预计将达到 10^7-5×10^13 pfs-day，因此问题变成了哪些里程碑位于该水平之下。这些里程碑有可能是以下三个：

模拟人类童年阶段的大脑所需的计算量。

模拟人类大脑，像 AlphaGo Zero 那样成为超人所需的计算量。

模拟人类大脑进化所需的计算量。

人类童年里程碑

我们很自然地想到了创建人工智能所需的计算量应该与人脑使用的计算量相当。假设 AI（与人类相比）：

拥有一种类似人脑的高效算法，用于学会执行各种任务；

掌握了与人类相似的知识；

拥有与人类相似的数据；

拥有足够的算力来模拟运行了 18 年的人类大脑。

那么，这个 AI 应该就能够学会解决一个 18 岁的孩子可以解决的问题。

对于模拟人类大脑一秒所需的浮点运算量，存在一系列的估计值。AI Impacts 收集的中位数为 10^18 FLOPS（大致相当于使用 Hodgkin-Huxley 神经元的全脑模拟），范围从 3×10^13 FLOPS（Moravec 估计）到 1×10^25 FLOPS（模拟代谢组）。运行这样的模拟 18 年相当于 700 万 pfs-day 的中位数（范围为 200-7×10^13 pfs-day）。

因此，对于最短的估计，例如 Moravec 估计，计算已经可以超过人类童年里程碑。对于中位数估计和 Hodgkin-Huxley 估计，将在 3.5 年内超过里程碑。对于代谢组估计，在 AI 计算趋势遇到经济屏障之前，未来十年内无法达到所需的计算量。在 AI 计算趋势停止之后，摩尔定律有可能会再次出现，并导致实验的规模缓慢增长。但根据摩尔定律，像代谢组估计这样的里程碑可能需要几十年的时间。

AlphaGo Zero 里程碑

人们对人类童年里程碑持有反对意见，因为他们认为目前 AI 的学习能力比人类慢。AlphaGo Zero 经过 250 万盘围棋的训练才变成超人，如果每盘棋需要一个小时，下完这么多盘棋需要 300 年。为了超越这一里程碑，AI 计算趋势需要比人类童年里程碑多持续 14 个月。

大脑进化里程碑

最保守的一个里程碑是模拟所有神经进化所需的计算量。这是 Shulman 和 Bostrom 在 2012 年的一篇论文中描述的一种方法，即研究模拟神经系统进化的成本。这需要模拟 10^25 个神经元，并且需要 10 亿年的时间。Shulman 和 Bostrom 估计模拟一个神经元每秒的成本为在 1-10^10 个浮点运算，因此模拟进化的总成本是 3×10^21-3×10^31pfs-day。这个数字在 AI 计算趋势结束之前是无法达到的。因此，AI 计算趋势并没有改变 Shulman 和 Bostrom 的结论，即模拟大脑进化是一件很遥远的事情——即使大力增加投入，这个计算里程碑也需要几十年才能达到。

总的来说，虽然大脑进化里程碑远远超出了 AI 计算趋势。但对于其他估计——尤其是代谢组估计——也无法超越人类童年和 AlphaGo Zero 里程碑。但如果 AI 计算趋势在未来几年持续下去，将有望达到人类童年和 AlphaGo Zero 里程碑。

3. 讨论和限制

那么，基于这样的分析，为了预测 AGI，我们应该着重关心哪个里程碑？这个很难说，但我猜想实现 AGI 比超越大脑进化里程碑要容易得多，但 AGI 可能会在达到 AlphaGo Zero 里程碑之前或之后实现。

之所以说 AGI 比实现电脑进化里程碑容易，是因为大脑进化里程碑假定算法发现过程必须由 AI 本身主导。但在我看来，算法似乎主要是由人类设计的。

评估 AGI 相对于 AlphaGo Zero 里程碑的难度则更为复杂一些。我们之所以认为 AGI 比 AlphaGo Zero 里程碑容易，其中一个原因是训练 AlphaGo 需要更多的样本。为了可以执行更多的任务，就需要考虑更大范围的依赖关系，并学习更复杂的操作与应用之间的映射。我们可以比较各种已解决的 AI 问题的样本效率，并根据通用智能的复杂性来推断 AGI 的样本效率，以此来进一步探索这个问题。然而，AlphaGo Zero 里程碑也可能让事情看起来很难。首先，AlphaGo Zero 不使用任何预先存在的知识，但 AGI 系统可能会。如果我们看过最初的 AlphaGo，相对于 AlphaGo Zero，它所需要的训练量下降了一个数量级，并在一般性的学习任务上可能可以获得更高的效率。其次，对于模拟人类大脑的方法，可能存在一个或多个数量级的衰退。在当今的硬件上模拟人类大脑可能是非常低效的，也就是说人类大脑只能用到模拟它所需计算的一部分。因此我们很难判断 AlphaGo Zero 里程碑会比 AGI 晚还是早。

还有另一个原因让我更加确信 AGI 与 AlphaGo Zero 里程碑之间至少还有 6 年的差距。我们可以简单地看一下 AI 计算趋势，并问自己：AGI 与 AlphaGo Zero 之间的差距是否像 AlphaGo Zero 与 AlexNet 之间的差距那样？如果我们认为第一对之间的差异（在能力、计算或 AI 研究的组合）大于第二对，那么可以说，AGI 距离 AlphaGo Zero 至少还有 6 年之遥。

总之，AI 计算趋势发展非常迅速，在经济方面，如果 GDP 没有大幅增长，将无法支撑超过 3.5-10 年。不过，从现在算起，如果 AI 计算趋势能够持续几年，它将超越一些可能与 AGI 要求相当的计算里程碑，包括模拟人类（0-18 岁）大脑思维所需的计算量。但是，在经济因素导致 AI 计算趋势达到终点之前，将无法实现其他里程碑。例如，上述分析表明，我们没有足够的算力来模拟人类大脑几十年的进化。