Carl Shulman（上）：智能爆炸、灵长类演化、机器人倍增与对齐

Dwarkesh Patel 介绍说，Carl Shulman 是他之前几位嘉宾所提到的许多关于智能爆炸的观点的源头，那些嘉宾都把这些想法归功于他。Shulman 是 Open Philanthropy 项目的顾问，也是牛津大学人类未来研究所（Future of Humanity Institute）的研究助理，平时很少公开露面，这是他有生以来第二次上播客。被问到一旦 AI 接近人类水平智能、反馈回路开始运转时的整体图景时，Shulman 说，他最想强调、也认为最被低估的方法是投入产出曲线。

如今，人类在研发新的芯片和软件，也在进行规模更大的训练，而要让摩尔定律继续走下去，需要付出大量工作。算力性能每翻一番都比上一次更难，最终物理极限会使继续翻倍变得不可能。Shulman 提出的问题是：到底难多少。他借助论文《想法是不是越来越难找了？》（Are Ideas Getting Harder to Find?），描述了这样一段时期：计算生产率提高了一百万倍，也就是每美元每秒的运算次数提高了一百万倍；而在同一时期，要保持这种进步所需的投资和劳动力只增加了 18 倍。他说，十年前他在 MIRI 就做过这一分析的早期版本，主要使用英特尔和大型半导体制造商的数据。

有些人把这解读为收益递减，认为进步最终会走到尽头。Shulman 的回应是：如果由 AI 来干这些活，算力性能每翻一番，就直接意味着有效劳动力供给翻一番甚至更多。假如那一百万倍的增长被用来运行替代人类科学家和工程师的 AI，那么劳动力需求 18 倍的增长就微不足道了。这组数据显示，劳动力需求每翻一番，算力可以翻四番多。所以其中一番用来应对不断上升的难度，其余的就可以用来加速这个过程：第一次翻倍需要若干个月，下一次只需其中的一小部分，如此类推。他补充了一个条件：只有当产出（供 AI 使用的算力）能够充当所需的投入时，这一点才成立，因为任何其他必需的投入最终都会成为瓶颈。Patel 回忆说，那篇“bloom 论文”（按转写原样）显示晶体管密度提高 35%，同时所需研究人员每年增加 7%；Shulman 确认这大致没错：劳动力投入每翻一番，算力翻四到五番。

被问到为什么算力可以作为 AI 研究者数量的良好代理指标时，Shulman 解释说，他首先拿硬件举例，只是因为硬件有很好的历史数据。对硬件来说，道理很简单：如果一个 AI 工人可以替代一个人，那么计算机数量翻倍，你就可以运行两个实例，做两份工作，管理两台机器，或者处理两个设计问题。收益还可能超过这一点，因为额外的算力也可以用来训练更大的 AI，而不只是多运行几份副本。软件与硬件不同，它可以被自由复制，所以真正起作用的是在给定价格下花在硬件上的开支。他指出，推动 AI 发展的最近一次偏离既有趋势的变化，是花在训练大模型的硬件上的资金大幅增加。

设计硬件和软件的工作目前是由人来完成的。对于 NVIDIA 设计芯片、台积电（TSMC）生产芯片、ASML 制造光刻设备来说，计算机时间并不是主要成本。他给出了一些大致的人员规模：NVIDIA 设计 AI 专用 GPU 的人员为一两万人，台积电超过 7 万人，DeepMind 据其公开文件有一千人，OpenAI 有几百人，Anthropic 更少。再加上 Facebook 的 AI 研究部门、Google Brain 和其他研发力量，从事 AI 研究的有几千人到几万人。Shulman 说，即使在 AI 软件研究中，DeepMind 过去的薪资也超过实验用的算力开支，不过近来的支出已经大幅转向算力。

他说，相关的人是那些开发新方法的人，而不是做窄应用的人；发明 Transformer 算数，而清理某一家企业的数据集多半不算。在硬件和软件两方面，规律是一致的：能力翻倍所需的时间尺度，比所需人力翻倍的时间尺度更短。在硬件方面，历史上的比值是人力投入每翻一番，算力效率翻四到五番。他认为如今接近摩尔定律的末期，这个比值略有下降，但没有想象中降得那么多，因为投入的增长也放缓了。

在软件方面，Shulman 引用了 Tamay Besiroglu 及其合作者的工作《模型是不是越来越难找了？》（Are models getting harder to find?），该研究采用了同样的分析方法。根据论文、引用和公司雇员数据，推动软件进步的从业者数量的翻倍时间是几年，而算法进步带来的有效算力翻倍则更快。随后他给出了 Epoch 的几个主要数字，并说明 Epoch 曾获得 Open Philanthropy 的资助：硬件效率约两年翻一番，如果有 AI 专用化，也许会稍好一些；预算增长的翻倍时间近年来大约是六个月，相对于历史速率来说非常惊人；算法进步主要以 ImageNet 一类的数据集衡量，翻倍时间不到一年。他说，把这些合在一起，用于训练大型 AI 的有效算力的增长是极其惊人的。

Patel 提到有一种估计认为训练 GPT-4 花了大约 5000 万美元，并问有效算力的提升是否来自三条途径：更多的资金投入、更好的模型，以及更便宜的芯片。Shulman 回答说，软件进步（定义为达到之前某个基准所需算力减少了多少）目前看起来相当于有效算力翻两到三番。他提醒不要把这单纯等同于软件，因为两者相互作用：充裕的算力让人能做更多实验来寻找更好的算法，而在更多 GPU 上运行更大的模型，看起来可能像是软件改进，尽管没有大规模训练就不可能做到。

被问到回路如何闭合时，Shulman 说，AI 可以帮助硬件设计。NVIDIA 是一家无晶圆厂（fab-less）的芯片设计公司，把指令文件发给台积电。如果把它一万多名员工的工作自动化，让相当于一百万人的力量来做这些事，就能很快把台积电现有制程节点上可获得的收益拿到手。但他仍然认为这对智能爆炸来说不那么重要，因为芯片设计上的改进只适用于之后生产的芯片，而 AI 软件上的改进可以立刻应用到已经拥有的每一块 GPU 上。因此，他把 AI 自动化自身投入的前沿位置放在软件一侧。

Patel 追问时间点：AI 要到什么时候才能贡献得足够多，算得上 AI 进步和软件方面额外增加的研究者？他提到有人说 OpenAI 的程序员已经在用 Copilot，所以某种反馈回路已经存在，但他说自己对这种机制有些怀疑。

Shulman 说，AI 提供帮助的量级是核心问题。许多产品只会把生产率提高一点点；他举例说，施乐的传真机也许只给办公室生产率增加约 0.1%，这不可能带来爆发式增长。需要关注的是 AI 的贡献什么时候变得和人类的贡献一样大，也就是把有效生产率提高 50% 或 100%。如果这使得软件创新（他举了 Transformer、Chinchilla 缩放定律和 flash attention 为例）带来的有效算力翻倍时间从八个月缩短到四个月，那么 AI 的下一次应用会进一步提高生产率，也许到 200%。AI 不需要把 AI 研究中的一切都自动化。它可以把其中一部分工作自动化，并且因为成本低廉而大量铺开去做，其效果相当于，在目前大约一万名发现这些创新的人之外，再多出一倍、技能分布相同的人。

他补充说，这样的要求虽然高，但远低于一个相对于任何人类都没有弱点的系统。一个在各方面都与人类相当、同时还拥有 AI 优势的系统，则远远超过了这条门槛。现有的晶圆厂每年可以生产数千万块先进 GPU。如果这些 GPU 运行的软件具有与人类相当的样本效率，它们可以一周工作 168 小时，工作时间是人的四倍，而且受教育程度远高于博士大约 20 年的培养，因为模型是用互联网、所有已出版的书籍和整个 GitHub 来训练的。他认为，数千万块 GPU 每块做 40 个甚至更多工人的工作，就相当于劳动力从几万人增加到几亿人，因此人类水平的 AI 已经深深处于智能爆炸之中，而智能爆炸必然始于某种更弱的东西。

Patel 反驳说，做 OpenAI 的研究员远不只是完成 Copilot 能处理的 hello world 式提示：这意味着要选择一个新想法，弄清楚如何着手，还要管理合作者。他问，回路是从什么时候开始的：是在 AI 相当于一名研究员或接近研究员的时候，而不是一个只提高 0.5% 生产率的工具的时候。