Carl Shulman（上）：智能爆炸、灵长类演化、机器人倍增与对齐
Carl Shulman (Pt 1) — Intelligence explosion, primate evolution, robot doublings, & alignment
嘉宾：Carl Shulman
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01智能爆炸
今天我很荣幸能和 Carl Shulman 对谈。我之前的许多嘉宾都告诉我（这一点毫不夸张），他们很多最重要的想法直接来自 Carl，尤其是涉及智能爆炸及其影响的那些。所以我决定直接去找源头，今天 Carl 就来到了我们的播客。他一向非常低调，却是我遇到过的最有意思的知识分子之一，而这其实只是他的第二次播客访谈。我们将深入探讨目前正在流传的许多最重要的想法，而且是直接听源头来讲。Carl 同时还是 Open Philanthropy 项目的顾问，该项目是 AI 及其风险、以及全球健康与福祉等领域最大的资助方之一，他也是牛津大学人类未来研究所（Future of Humanity Institute）的研究员。所以，Carl，非常高兴你能来，谢谢你。
谢谢你，Dwarkesh。我最近看了你的几期节目，很喜欢，也很高兴能来做客。
太好了，我们来聊聊 AI。在进入细节之前，请先给我一个整体性的解释：当某个东西接近人类水平的智能时，会启动怎样的反馈回路和总体动态？
可以这样理解：现在的情形是，人类在研发新的计算机芯片、新的软件，进行规模更大的训练，而要让摩尔定律持续运转需要大量工作（它过去一直在运转，现在正在放缓）。要开发出 Transformer 这样的东西，以及 AI 神经网络的许多改进，同样需要大量工作。我想在这期播客里强调的核心方法，也是我认为被低估的方法，就是“投入—产出曲线”的思路。我们可以看看改进芯片的难度如何上升：没错，每次让计算机性能翻一番都会更难，而当我们逼近物理极限时，最终会变得不可能。但到底难多少？几年前发表过一篇论文，叫《想法是否越来越难找到？》（Are Ideas Getting Harder to Find?）。十年前我在 MIRI 用主要来自英特尔和大型半导体制造商的数据，做过这种分析的早期版本。那篇论文覆盖的时期里，计算的生产率提高了一百万倍，也就是每美元每秒能获得的计算操作数增加到了原来的一百万倍。这是巨大的变化，但也确实变难了：维持这些持续进步所需的投资和劳动力不断增加，在那段时期里增加了 18 倍。有些人据此认为：“哦，这是收益递减。事情越来越难，所以进步最终会终结。”然而，在由 AI 来做这些工作的世界里，计算性能翻一番，就直接意味着有效劳动力供给翻一番或更多。也就是说，如果在算力增长一百万倍的时候，我们用它来运行取代人类科学家和工程师的人工智能，那么这个行业劳动力需求增长 18 倍就微不足道了。每当劳动力需求翻一番，我们得到的有效劳动力供给都不止翻一番，而在那个数据集里是超过四倍。所以，当算力翻一番时，我们确实需要多一些研究人员，但远远少于两倍。我们要用掉其中一些算力翻倍来应对后续研究难度的上升，但大部分都留下来加速这个过程。所以，如果你的劳动力翻一番，就足以让算力翻好几番。你用掉其中一番去满足收益递减带来的更高要求，其余的则可以用来加速整个过程：第一次翻倍花了若干个月，下一次翻倍只需要其中更小的一部分时间，再下一次更短，依此类推。当然，前提是你产出的东西（在这个故事里就是 AI 所需的算力）能够充当必要的投入。如果你还需要其他投入，那么它们最终会成为瓶颈，你在这方面就会受到更多限制。
明白了。Bloom 的那篇论文说，晶体管密度每年增长 35%，而要维持这个速度，所需研究人员的数量每年增加 7%。
大致就是这个范围，对。劳动力投入每翻一番，算力就翻四到五番。
我想，围绕这一点有很多问题可以深挖，比如你是否预期 AI 也会有类似的规模关系，以及把 AI 看作一个随算力本身不断增长的研究人员群体是否合理。其实我们就从这里开始。你能解释一下，为什么说算力可以大致代表 AI 研究人员的数量吗？
到目前为止，我拿硬件作为最初的例子，是因为我们有关于过去那段时期的良好数据。你也可以在软件方面做改进，而当我们谈论智能爆炸时，它可以包括：AI 在改进硬件、改进软件、制造更多硬件上做工作。但硬件的基本思路尤其简单：如果你有一个能替代人类的 AI 工作者，那么有两倍的计算机，你就可以运行它的两个独立实例，它们可以做两份不同的工作，管理两台不同的机器，处理两个不同的设计问题。而且你能得到的收益不止是两个实例所带来的。我们把一部分算力不只用来运行更多现有 AI 的实例，也用来训练更大的 AI，从而获得改进。硬件技术指的是你每花一美元硬件能得到多少算力；软件技术则不同，软件可以随意复制。所以，如果你已经有了软件，说“哦，我们给你弄来了一百份 Microsoft Windows”就没多大意义了。你需要多少份就可以复制多少份，只要付微软要收的钱。但硬件不一样，在某个价格下我们实际在硬件上花多少钱才是关键。而如果看最近推动 AI 发展的那些变化，真正偏离原有趋势的正是这一点：我们在训练大型 AI 模型的计算硬件上花的钱多得惊人。
好的，所以有硬件上的投资，有硬件技术本身，还有软件进步本身。AI 变得更好，是因为我们在它上面花了更多钱，因为我们的硬件随时间变得更好，也因为我们在开发更好的模型，或者对这些模型做更好的调整。那么这里的回路在哪里？
设计新硬件和新软件所涉及的工作，现在是由人来完成的。他们会用计算机工具辅助，但对 NVIDIA 设计芯片、台积电（TSMC）生产芯片、ASML 为台积电的晶圆厂制造光刻设备来说，计算机时间都不是主要成本。即使在已经变得相当耗费算力的 AI 软件研究中，我们仍处在这样一个区间：在 DeepMind 这样的地方，薪资仍然高于实验所用的算力成本。不过最近，支出中用在算力上的部分相对薪资大幅增加了。如果把这些人类所做的全部工作加起来：在 NVIDIA 设计专用于 AI 的 GPU 的大概有低几万人；台积电这家领先的尖端芯片制造商有超过 7 万人；ASML 等为他们提供所需工具的公司还有很多人；至于 DeepMind 这样的公司，据我从他们的公开文件中看到的，最近大约有一千人，OpenAI 有几百人，Anthropic 更少。如果再加上 Facebook AI Research、Google Brain 和其他研发机构，你会得到几千到几万名从事 AI 研究的人。
我们要关注的是那些开发新方法、而不是做狭窄应用的人。所以发明 Transformer 肯定算，但为某家企业的特定数据集做清洗优化大概不算。这些人在做这项工作，也推动了相当多的进步。我们观察到，把人员的增长和能力的增长相比较，能力翻倍所需的时间一贯比所需人员翻倍的时间更短。我们谈过硬件，历史上这一点相当惊人：人力投入每翻一番，计算效率翻四到五番。我认为现在这个数字低了一些，因为我们正接近摩尔定律的尽头，不过有意思的是，没有你想象的那么低，因为近来投入的增长也放缓了。在软件方面，Tamay Besiroglu 和合作者做过一些工作，可能是他的论文。题目叫《模型是否越来越难找到？》（Are models getting harder to find?），它把和《想法是否越来越难找到？》相同的分析用在了这里，你可以看论文数量的增长率、引用量、这些公司的雇员数量，结果似乎是，推动软件进步的这类工人数量的翻倍时间大约是几年，而由算法进步带来的有效算力翻倍则更快。有一个叫 Epoch 的团体，他们得到过 Open Philanthropy 的资助，做的工作是收集与预测 AI 进展相关的数据集。他们关于硬件和软件进步速度以及预算增长的主要结论如下：硬件方面，他们看到的是硬件效率大约两年翻一番，如果考虑到针对 AI 工作负载的某些专门化，可能还会稍好一些。预算增长方面，他们发现近年来的翻倍时间大约是六个月，相对于历史速度来说相当惊人。我们也许稍后再谈这一点。至于算法进步方面，目前主要使用 ImageNet 类的数据集，他们发现翻倍时间不到一年。所以把所有这些合起来，训练大型 AI 的有效算力的增长相当剧烈。
我好像看到过一个估计，说 GPT-4 的训练成本大约是 5000 万美元，或者在这个范围内。现在假设 AGI 需要它的 1000 倍（如果只是 GPT-4 的规模，可能不需要这么多，只是举个例子），那么其中一部分会来自公司在训练模型上花多得多的钱，也就是更大的投资；一部分会来自它们拥有更好的模型，仅仅有一个更好的模型就能产生相当于提高 10 倍的效果。你可以多花钱训练更大的模型，可以直接拥有更好的模型，也可以用成本更低的芯片，这样同样的钱能得到更多算力。所以你说的“有效算力”增长的方式就是这三种？
就目前来看，在我们称作软件进步的这一项上，你大概能得到两到三番有效算力的翻倍。人们是通过这样的问题得到这个数字的：现在要达到和以前相同的基准成绩，所需的算力少了多少？有一些理由，让我们不能像直觉上那样把它完全等同于软件进步，因为其中一部分是由另一方面促成的。当你有大量算力时，你可以做更多实验，找到效果更好的算法。我们之前也谈到，有时有了额外的算力，你可以通过运行更大的模型获得更高的效率。这意味着，因为你做了这笔更大的支出，你手上每块 GPU 都能产出更多。这看起来像是软件改进，因为这个模型并不直接是硬件改进，它用同样的硬件做了更多事，但如果没有大量 GPU 来进行这次大规模训练，你就无法实现它。
那么这个反馈回路本身，是指由更多算力的这种效应所产生的 AI，帮助你训练出更好的 AI，或者在未来用更少的有效算力来训练更好的 AI？
它可以帮助硬件设计。NVIDIA 是一家无晶圆厂（fab-less）的芯片设计公司，它自己不制造芯片，而是把指令文件发给台积电，由台积电在自己的工厂里制造芯片。如果你能把那一万多人的工作自动化，让相当于一百万人的力量来做这份工作，那么你很快就能获得台积电现有制程节点上可以实现的那类改进，拿到芯片设计的大部分收益。基本上就是做这些人现在做的改进芯片设计的工作，只是做得更快。虽然这是一个方面，但我认为它对智能爆炸来说不那么重要。原因在于，当你改进了芯片设计，它只适用于之后制造的芯片；而如果你改进了 AI 软件，它有可能立即应用到你已有的所有 GPU 上。所以我认为最具颠覆性、最重要，也处在 AI 自动化其自身投入这一变化前沿的，是软件方面。
§02AI 能做 AI 研究吗？
到什么时候，AI 才会真正开始帮助开发更好的软件或者面向未来 AI 的更好模型？比如有人说，现在 OpenAI 的程序员已经在用 Copilot 写程序了。所以从某种意义上说，你已经有了那个反馈回路，不过我对把它当作一种机制有点怀疑。到什么时候，AI 的贡献才算显著，也就是几乎相当于为 AI 软件进步增加了额外的研究人员？
这种帮助在数量上的大小是绝对核心的。有很多公司生产的产品只能极小幅度地提高生产率。施乐（Xerox）生产传真机，也许能把办公室工作的生产率提高 0.1% 之类。你不可能从中得到爆发式增长，因为施乐以及购买这些机器的客户，研发效率提高 0.1% 并没有多重要。要看的是：什么时候 AI 的贡献开始变得和人类的贡献一样大？也就是当它把他们的有效生产率提高 50% 或 100% 的时候。假设你把来自软件创新的有效算力翻倍时间从大约八个月缩短到四个月，这里的软件创新包括发明 Transformer、发现 Chinchilla 缩放定律从而更优化地进行训练、或者创造 FlashAttention 之类。等到下一次再应用它时，AI 带来的提升会显著增加。那时它给出的可能不再是 50% 或 100% 的生产率提升，而更像是 200%。它不必能够自动化 AI 研究过程所涉及的全部事情。可以是它自动化了很多环节，而这些环节被极其大量地反复执行。AI 能做的事情，因为非常便宜，你可以让它做得多得多。所以这并不是一个“这是人类水平的 AI，人类能做的一切它都能做，没有任何领域的弱点”的门槛。而是说，即使有弱点，它也能把表现推高。这样一来，我们得到的就不再是一万人寻找这些创新所能得到的结果，而是相当于有两倍这么多、技能分布相同的人所能得到的结果。
这是一项苛刻的挑战，需要相当多的能力，但同样重要的是，它所要求的远低于这样一个系统：你无法在任何方面指着它说它比人类弱。一个在每个方面都和人类一样好、同时还具备 AI 全部优势的系统，远远超出了这个点。想一想，我们现有的晶圆厂每年的产出是数千万块先进 GPU。如果这些 GPU 运行的 AI 软件和人类一样高效，样本效率高，没有重大弱点，那么它们可以工作四倍长的时间（每周 168 小时），可以接受比任何人类多得多的教育。一个人拿到博士学位大约需要 20 年的教育，如果博士读得慢，可能更久。而我们训练大模型的常规做法是，把互联网吃下去，把有史以来所有出版的书都吃下去，把 GitHub 上的一切都读一遍，并学会预测它们。所以它们受教育的程度远远超出任何人类，对任务的专注程度，除了最有动力、真正全力以赴的那些人之外，也高于所有人类。所以把这些结合起来：数千万块 GPU，每块 GPU 都在做世界上最优秀的人类所做的工作。世界上最有能力的人类能拿到比平均水平高得多的薪水，尤其是在 STEM 领域，或者狭义的 AI 领域。比如世界上没有任何人拥有一千年的 TensorFlow 经验，更不用说前一年才发明的新 AI 技术了，但如果真有这样的人，是的，他们一年会拿到数百万美元。所以，当你考虑这一点：数千万块 GPU，每块都在做 40 个甚至更多现有工作者的工作，就相当于劳动力从几万人变成了几亿人。你会立刻做出各种发现，立刻开发出各种了不起的技术。人类水平的 AI 已经深深处在智能爆炸之中了。智能爆炸必须从比这弱的东西开始。
对，那么它是从什么开始的，我们离那个点有多近？因为在 OpenAI 当研究员，并不只是完成 Copilot 能做的那种 hello world 提示，对吧？你得选择一个新想法，得想出正确的切入方式，也许还得管理和你一起做这个问题的人。这是一整套极其复杂的技能组合，而不是单一技能。那个反馈回路从什么时候开始，也就是说，你得到的不再只是 AI 工具可能带来的 0.5% 生产率提升，而是实际上相当于一位研究员，或接近一位研究员？
也许可以举一些说明性的例子，看看你可能会看到哪类能力。因为这些系统必须比人类水平的东西弱得多，所以我们会看到的是，对 AI 在某些方面的优势进行高强度的运用，来部分抵消它们的弱点。AI 很便宜，所以我们可以调用大量 AI 来处理许多小问题。你会遇到这样的情形：较笨的 AI 被部署几千次，才相当于一个人类工作者。它们会做诸如投票算法之类的事：对一个 LLM 生成许多不同的回答，然后在其中取多数票，这样可以提升某种表现。还会有类似 AlphaGo 的方法：用神经网络来做搜索，投入更多算力把搜索做得更深，这有助于抵消模型自身的低效和弱点。你还会做一些对人类来说完全不现实的事，因为步骤数量实在太多了，比如设计合成训练数据。人类不是靠走进图书馆、随机翻开书的某一页来学习的，有学校和课堂这样的东西要高效得多，它们按合理的顺序教你东西，专注于学起来更有价值的技能。他们给你出测验和考试，这些都是为了尽量引出他们真正想教的那项技能而设计的。而现在我们不去费这个事，因为我们可以从互联网上吸取更多数据。我们正在接近这条路的尽头，但是，随着 AI 变得更复杂，它们会更善于判断哪种技能值得练习，并生成相应的材料。我们在其他领域已经这样做过，比如 AlphaGo。AlphaGo 的原始版本是用人类围棋对局数据启动的，然后用强化学习和蒙特卡洛树搜索加以改进；而 AlphaZero 这个更复杂一些的模型，受益于其他一些改进，可以从零开始，通过自我对弈生成自己的数据。这样得到的数据质量比人类数据更高，因为数据集中没有那么强的人类棋手；同时还有一个课程安排，让它在任何时刻都在和技能相当的对手（也就是它自己）下棋。它始终处在容易学习的区间。如果你无论怎么做都总是输，或者无论怎么做都总是赢，就很难分辨哪些做法更好、哪些更差。而当我们有了更复杂的 AI，能为自己生成训练数据和任务，比如 AI 可以生成大量单元测试，然后尝试编写通过这些单元测试的程序，这时解释器就提供了训练信号。AI 可以越来越善于弄清楚，目前对 AI 来说很难的是哪类编程问题，做这类问题会培养出我所需要的更多技能，然后去做它们。你不会让 OpenAI 的员工去写十亿道编程题，那是不可能的。但你会让 AI 去承担产出海量编程挑战的任务。
在 LLM 本身方面，Anthropic 有一篇论文叫“Constitutional AI”（宪法式 AI），基本做法是让程序自己和自己对话，问“这个回答有帮助吗？如果没有，我怎样才能让它更有帮助？”，回答就有所改进，然后你用它通过自我对话生成的更有帮助的回答来训练模型，让它原生地生成这样的回答。你可以想象有更复杂或更好的做法。但问题是，GPT-4 已经花了大约 5000 万或 1 亿美元，不管具体是多少。即使我们靠硬件进步和更好的模型获得了更多有效算力，也很难想象我们怎么能维持比 GPT-4 大四五个数量级的有效规模，除非我们往里投入数万亿美元，即大国整个经济体的规模，去训练下一个版本。问题是，在我们耗尽训练它所需的金钱、规模和算力之前，我们能否得到一个对 AI 进步有显著帮助的东西？你对此有什么看法？
首先我要说，请记住有这三个共同起作用的趋势。新的 H100 明显比 A100 更好，很多公司其实就是在等 H100 到货，好进行更大规模的训练，同时还要做把它们连成集群、做工程化的工作。所有这些因素都在起作用，当然，从数学上讲，是的，如果你在 5000 万或 1 亿美元的基础上再提高四个数量级，你就进入了万亿美元的领域。我认为看待这件事的办法是，在沿途的每一步，看看迈出下一步是否合理。从我们现在的位置来看，看到 GPT-4 和 ChatGPT 的结果，像 Google 和 Microsoft 这样的公司相当确信这非常有价值。Google 和 Microsoft 内部有这样的说法：搜索市场份额变动一个百分点就是十亿美元的事，所以这能支撑很多投入。在另一个极端，如果你把人类劳动自动化，我们有一个一百万亿美元规模的经济，其中大部分是以工资形式支付的，每年在 50 万亿到 70 万亿美元之间。如果你创造出 AGI，它会把这些全部自动化，并且还会继续增长。所以，只要你得到的是好的版本，而不是人类被灭绝的灾难或其他灾难性后果，那么这个项目完成后的价值完全值得把我们整个经济都投进去。在两者之间，问题是：下一步有多大风险和不确定性，以及用它能产生的收入增长有多少？至于升到十亿美元，我认为这绝对会发生。这些大型科技公司的研发预算有几百亿美元。从相关的意义上想一想，微软所有做软件工程、为创造软件对象做贡献的员工，花几百亿美元做一个能起这么大作用的产品并不奇怪。而且我认为越来越清楚的是，有一个市场机会可以为它出资。升到一千亿美元，那就是把现有的研发预算摊到多年上。但如果你不断看到，扩大模型规模会大幅提升性能，开启新的应用，也就是说，你不仅仅是改进搜索，也许还能让自动驾驶汽车真正可用，你可以取代大批软件工程工作，或者即使不取代也能放大生产率。在这种动态下，只要软件工程师能做出任何贡献，你其实大概会想雇用所有能找到的软件工程师，因为改进 AI 本身的回报变得非常高。但是，是的，我认为可以上升到一千亿美元。到了一千亿美元，你就在使用我们现有晶圆厂产能中相当大的一部分了。现在 NVIDIA 的收入是 250 亿美元，台积电的收入超过 500 亿美元。我查过 2021 年，NVIDIA 大概占台积电收入的 7.5%，不到 10%。所以有很大空间，而且其中大部分还不是 AI 芯片。他们有庞大的游戏业务，还有用于视频之类的数据中心 GPU。通过把现有晶圆厂重新导向生产更多 AI 芯片，有超过一个数量级的提升空间，而且这些公司实际上是在使用自己云中的 AI 芯片来进行大型训练。我认为这足以达到一百亿美元，再结合 H100 之类的东西，就能上升到一千亿美元。
为听众强调一下关于收入的最初那一点。如果 OpenAI 训练 GPT-4 花了 1 亿美元，并产生了 5 亿美元的收入，你用 1 亿美元收回了成本，还剩 4 亿美元用于下一次训练。然后你训练 GPT-4.5，比如说从中得到 40 亿美元的收入。收入的反馈回路就是这样来的：你在自动化任务，因此在赚钱，你可以用这些钱去自动化更多任务。关于把晶圆厂的产能重新导向 AI 芯片的能力，晶圆厂大约需要十年才能建成。考虑到我们现有的晶圆厂以及未来十年将投产的那些，如果你想把一千亿美元花在一次训练上，它们足以支撑这么多的 GPU 算力吗？
是的，一千亿美元那一级肯定能做到。当你升到万亿美元规模的训练及更大时，就会涉及更多晶圆厂的建设，而晶圆厂确实可能需要很长时间才能建成。另一方面，如果你确实从这些 AI 系统获得了非常高的收入，并且真正被这些晶圆厂的建设卡住了脖子，那么它们的价格可能飙升，这可能引发我们从未见过的措施来扩张和加速晶圆厂的生产。想想看，在极限情形下，你得到的模型接近类人的能力，设想它们接近大脑级别的效率，再加上 AI 的各种优势。我们之前谈到，由一个 GPU 集群支撑的 AI 去做各种事情，也就是数据并行。如果它能比一个技能高超、动力十足、专注投入、受教育程度在人类中前所未有的人多工作四倍的时间，而一个普通软件工程师能赚几十万美元，今天世界上最好的软件工程师能赚数百万美元，在对 AI 有如此大需求的世界里也许更多，再乘以四倍，因为它全天候工作。如果你能从未来版本的 H100 上创造出接近每年一千万美元的价值，而它的成本只有几万美元，现在利润率还非常高，大规模生产后利润率可能会降低。那这是一个巨大的差别：这块芯片几乎立刻就能回本，你可以承受为更快建成这些晶圆厂而多付十倍的代价。如果 AI 开始能贡献更多这类技术性很强的工作，NVIDIA 要突然招到成千上万名顶尖工程师就会很难。
如果 AI 还没有达到那个性能水平，事情就可能这样停滞下来。AI 进展停滞的世界是这样的：你走到了一千亿美元，然后在随后几年里软件进步停滞了。你从其他领域调入研究人员所带来的收益也消失了。大批物理学家和计算机科学其他领域的人一直在涌入 AI，但随着 AI 在研究领域中占比越来越大，这些资源就被用尽了。于是，好吧，你投入了所有这些，但它们就是还没有产出 AGI。我认为这一整套投入大概率能产生智能爆炸所需的那类 AI 能力，但如果不能，在我们耗尽当前这一轮提高经济中用于制造 AI 的份额的扩张之后，如果这还不够，那之后你就只能等待一般经济增长、人口增长之类缓慢的积累，于是进展放慢。这就导致我的置信度分布是：这种先进 AI 的出现相对集中在未来 10 年内，而不是本世纪的其余时间，因为我们不能一直这样迅速地把资源重新导向 AI。那是一次性的事情。
§03灵长类演化
如果目前的扩张奏效，我们会非常快地达到 AGI，比如在未来 10 年左右。如果目前的扩张不奏效，我们剩下的就只是经济每年增长 2%，我们每年多出 2% 的资源可以花在 AI 上，在那个规模下，要靠纯粹的蛮力训练出一个 10 万亿美元的模型之类，得要几十年。我们来谈谈你为什么认为目前的扩张会奏效。来自 AI 本身，或者来自灵长类演化和其他动物演化的证据是什么？把让你这么想的所有理由汇总起来讲一讲。
也许最好的看法是回顾一下：我最初对这个领域产生兴趣的时候，也就是 2000 年代，在深度学习革命之前，我是怎么思考时间线的？然后根据深度学习的发展，我又做了怎样的更新？当时我会说，我们知道大脑是一个物理对象，是一个信息处理装置，它能工作，是可能的，而且不只是可能，它还是由地球上的演化创造出来的。这给了我们某种上限，说明这种蛮力式的方法已经足够了。这里有一些复杂之处，比如，如果这是一个罕见的意外，在其他所有星球上都没有发生呢？这会增加一些价值。我和 Nick Bostrom 有一篇论文讨论这个。我认为基本上这不是那么重要的问题。存在趋同演化，章鱼也相当复杂。如果某个特殊事件的层级是形成细胞本身，或者形成大脑本身，那我们可以跳过它，因为我们选择去制造计算机，而我们已经存在了。我们有这个优势。所以演化提供了某种上限：真正高强度的大规模蛮力搜索，以及演化算法之类的东西，是可以产生智能的。
章鱼和其他哺乳动物变得相当聪明，却没有达到人类水平的智能，这一事实难道不是某种证据，说明在头足类和人类之间存在一个很难跨越的步骤吗？
是的，那是一个可以去看的地方，但看起来并不是特别有说服力。关于这一点的证据来源之一是 Herculano-Houzel 的工作。她是一位神经科学家，溶解过许多生物的大脑，通过数细胞核，她能确定不同物种有多少神经元，并发现了许多关于缩放定律的有趣趋势。她有一篇论文，讨论人类大脑是放大的灵长类大脑。在各种各样的动物，尤其是哺乳动物中，随着体型放大，神经元数量和不同脑区大小都有某些特征性变化。那里有很多结构上的相似性，而你可以用一个蛮力式的故事来解释我们的大部分不同之处：你把资源花在更大的大脑上，维持它的良好状态，并给它时间学习。我们有一个异常漫长的童年。我们的大脑比其他动物大，是黑猩猩的三倍多，我们的童年比黑猩猩长，比许许多多别的生物更是长得多。所以我们花费了更多的“算力”，这类似于拥有一个更大的模型，并有更多的训练时间。而鉴于我们在 AI 模型上看到，以这些方式增加算力会带来巨大而一致的好处，并且一次又一次出现质的新能力，尤其是在 AI 怀疑论者所指出的那些领域。以我过去 15 年的经验，人们指出的东西往往是这样的：“啊，但是 AI 做不到那个，这是因为一个根本性的限制。”我们已经经历了很多这样的情形。有 Winograd 模式、灾难性遗忘，还有相当多别的，它们都通过规模扩大一再消失了。所以，从生物学和我们的 AI 经验中，我们看到有一幅得到支持的图景，可以解释……是的，总体上存在权衡，大脑所带来的额外适应度并不值得，所以生物最终大多只有小脑袋，因为它们可以节省那些生物能量，节省用于繁殖、消化等的时间。人类似乎陷入了一个自我强化的生态位，在这个生态位里，拥有大脑袋的回报大大提高。语言和技术是显而易见的候选原因。你身边有很多懂很多东西的人，他们可以教你。而与几乎任何其他物种相比，我们从父母和社会那里得到的指导要多得多[听不清]。你从大脑获得的回报远超每分钟的投入，因为你能学到多得多的有用技能，然后你可以通过狩猎采集，以及用火让消化更容易，来提供喂养这颗大脑所需的能量。
这个过程基本上是这样推进的：沿着很多个维度，把更多资源分配给认知能力所带来的繁殖适应度的边际增量在不断增加。这包括更大的大脑、更长的童年、让我们的注意力更多放在学习上。人类玩耍很多，成年后仍然继续玩，这与其他动物相比是非常奇怪的事情。我们比其他灵长类更有动力去模仿周围的人。这些动机上的变化让我们把更多的注意力和精力放在学习上，而当你有更大的大脑和更长的寿命可供学习时，这种投入的回报就更大。
许多生物面临大量的捕食或疾病。如果你是蜉蝣或老鼠，而你试图投资于一个巨大的大脑和很长的童年，那么在你真正能用上它之前，你很可能就被某个捕食者或某种疾病杀死了。这意味着在给定的生态位中，成本实际上是指数级增长的。如果我作为一只小哺乳动物或小蜥蜴，每隔几个月就有 50% 的几率死亡，那么把学习和童年发育时间从三个月延长到 30 个月，代价并不是损失 10 倍，而是 2 的负 10 次方。从我最终学到的东西中获得的收益要降低 1024 倍，因为 99.9% 的动物在那之前就已经被杀死了。我们所处的生态位是一种体型大、寿命长、有语言和技术的动物，因此我们可以从群体中学到很多东西。这意味着在智能的这些多个方面扩大投入是划算的。
这太有意思了。向听众说明一下，那个“2 的多少次方个月”的计算，其实就是：这个月你有一半的几率死亡，下个月又有一半的几率死亡，把它们乘起来。不过，也有其他物种是成群或成队生活的，它们也有规模较小的幼崽成长过程，幼崽们会一起玩耍。为什么这不是一座它们本可以攀登、最终达到人类水平智能的山丘呢？如果问题在于语言或技术，那么人类在拥有语言之前就已经在变聪明了。看起来应该有其他物种也出现这场认知革命的开端，尤其是考虑到它价值如此之大，考虑到我们已经主宰了世界。你会认为会有针对它的选择压力。
演化没有远见。这一代中能留下更多存活后代和孙辈的特征就会变得更常见。演化不会向前看，想着“哦，一百万年后你会有很多后代”。重要的是现在谁能存活和繁殖。事实上确实存在相关性：群居动物平均而言大脑更大，其中一部分原因大概是大脑有额外的社会用途，比如记住群体中哪些成员以前帮过你，以便你回报他们，也就是你帮我挠背，我帮你挠背。记住群体里谁是危险的，也是智能的一种额外用途。所以这里有一些相关性，但看起来在大多数这些情形里，加大投入就够了，却没有加大到让一个心智能够轻易发展出语言和技术并传承下去的地步。你可以在其他一些灵长类身上看到一点工具使用，它们相比鲸之类的动物有优势，鲸的大脑相当大，部分是因为它们自己体型就很大，也有其他一些特点，但它们没有手，这就减少了大脑可以回报投入的许多途径，以及对这颗大脑运作的投资。不过，是的，灵长类会用棍子取白蚁，卷尾猴会用石头砸开蛤蜊。但它们没有的是维持文化的能力。某只灵长类也许发现了其中一种做法，它所在的小群体会模仿，但它们并不能很好地保存下来。当它们看到另一只动物这样做时，可以在那种情形下模仿，但它们不会在种群里主动互相教授。所以很容易遗忘，很容易丢失信息，事实上它们在技术上停滞了几十万年。
我们也可以看看人类的一些情形。有一篇老论文，我记得是经济学家 Michael Kremer 写的，谈的是各个大陆上人类社会的技术增长。欧亚大陆是最大的、一体化相连的区域。非洲与它部分相连，但撒哈拉沙漠限制了信息和技术等的流动。然后是美洲，在人们经由陆桥迁入之后，基本上与外界隔绝，面积比欧亚小，再然后是澳大利亚，还有更小的岛屿情形，比如塔斯马尼亚。看起来相连的人群规模越大，技术进步越快。而在最小的群体中，比如人口相对较少的塔斯马尼亚，他们实际上丢失了技术，丢失了一些捕鱼技术。如果人口很少，只有有限的几个人掌握某项技能，而他们碰巧去世，或者环境发生某种变化，导致人们不再练习或传授那项东西，那你就失去了它。如果人少，创新就少，你因局部干扰而丢失技术的速度与你创造新技术的速度最终可能失衡。类人猿和人类的巨大变化在于，我们最终进入了这样一种状态：积累快于丢失，而积累起来的这些技术使我们得以扩大人口。它们创造了对智能的额外需求，所以我们的大脑变成了黑猩猩的三倍大，也比我们大脑尺寸与黑猩猩相近的祖先更大。
好的。而与 AI 相关的关键点是，其他动物身上那些反对智能的选择压力，并不作用在这些神经网络上，因为它们不会因为花太多时间变得更聪明而被捕食者吃掉，我们是在明确地训练它们变得更聪明。所以我们有很好的第一性原理理由认为：如果正是规模扩大让我们的心智变得如此强大，而阻止其他动物扩大规模的那些因素并不作用在这些神经网络上，那么这些东西应该会继续变得非常聪明。
是的，我们是在一个技术文化中培育它们，这里有软件工程师这类工作，它们更多依赖认知产出，而较少依赖把代谢资源投入免疫系统，或者投入长出强壮的肌肉去投掷长矛之类的东西。
这有点离题，但我很感兴趣。你在某处提到了 Chinchilla 缩放。向听众说明一下，这是 DeepMind 的一篇论文，描述的是：如果你有一个特定大小的模型，它应该用多少数据来训练才是最优的？所以你可以想象更大的模型可以用更多数据来训练，这样你就能弄清楚算力该花在哪里：是花在把模型做得更大上，还是花在训练得更久上？对于不同的动物，在某种意义上，它们的大脑有多大就像模型大小，而它们的训练数据量就像它们作为幼崽、婴儿或幼儿要多久才变成完全的成年个体。我很好奇，这里有没有某种缩放定律？
Chinchilla 缩放很有意思，因为我们之前谈到，当存在能杀死你的外生力量时，更长童年的成本函数会随着训练算力的投入呈指数增长。而当我们进行大型训练时，增加更多 GPU 的成本几乎是线性的，随着你投入资源，线性要比指数衰减好得多。
哦，这一点真的很好。
Chinchilla 缩放表明，对于人类大小的大脑，最优的做法是接受许多百万年的教育，但显然这是不现实的，因为人类存在外生的死亡率。所以有一个相当有说服力的论证：相对于我们训练 AI 的情形，动物在系统性上训练得远远不足。它们比我们的模型更高效。我们仍有改进算法的空间，去追赶大脑的效率，但它们是在那种劣势之下工作的。
太有意思了。我想另一个你可能会问的问题是：人类踏上了这条演化爬山的路径，我们变得越来越聪明，因为这对我们有更多好处。那我们为什么没有一路走到底？如果智能如此强大，为什么不是所有人都像我们所知道的人类可以达到的那样聪明？如果智能如此强大，为什么没有更强的选择压力？我理解髋部大小的问题，你不能生下一个头特别大的婴儿之类的。但你会认为，如果智能有这么大的力量、这么有用，演化会想出某种办法来抵消这一点。
是的，如果你真的从定量角度来看，那并不成立，而且即使在近代历史中，拥有更多认知能力的成本和收益看起来也相当接近平衡。你说，谁需要担心代谢成本呢？人类把 20% 的代谢能量投入大脑，对年幼的孩子来说比例更高。然后还有呼吸、消化和免疫系统。在历史的大部分时间里，人们成批地死去。非常大比例的人会死于传染病，而如果你把更多资源投入免疫系统，你就能活下来。通过这个机制，这几乎直接就是生死攸关。饥荒期间人们更容易死于疾病，所以结果要么繁荣要么崩溃。如果你的代谢需求低 20%[听不清]，你熬过那场饥荒的可能性要大得多。所以这些因素相当重要。
然后还有一个关于清除突变负荷的权衡。每一代在繁殖过程中都会出现新的突变和错误。我们知道，有许多遗传异常是每一代通过新突变产生的，事实上唐氏综合征是你能够存活下来的那种染色体异常，其他的都会杀死胚胎，所以我们从来看不到。但唐氏综合征经常发生，还有许多其他致死突变，也有数量庞大、危害较小的突变在削弱身体的每个系统。演化在每一代都必须去清除这些突变负荷中的一部分，而清除的优先程度与它所影响的性状对适应度的影响成正比。所以，会有影响你对疟疾抵抗力的新突变，也有损害大脑功能的新突变，这些突变在每一代都会被清除。如果疟疾对死亡率的影响比稍微更聪明所带来的作为狩猎采集者的边际效能提升更大，那么你会先清除前一种突变负荷。同样，人类一直在积极适应新的环境。自从有了农业，人们演化出了产生淀粉酶以消化面包和牛奶的能力。如果你在为所有这些东西演化，而其中某些带来优势的东西附带地在附近伴随了对另一个性状的负面影响，那么那个性状就可能受损。所以，关键在于相比生物体必须做的其他一切，认知能力对生存和繁殖有多重要。尤其是熬过饥荒、拥有进行狩猎采集的身体能力，即使你很擅长规划狩猎，能把长矛投得更用力也可能是很大的区别，而这需要能量来长出并维持那些肌肉。
考虑到所有这些因素，在边际上加大投资并不是板上钉钉的事。如今，更大的大脑与更强的认知能力相关，但相关程度不高。大规模预先注册的核磁共振研究显示，相关系数在 0.25 到 0.3 的范围，而大脑尺寸的标准差大约是 10%。所以如果你把大脑尺寸翻一番，现有大脑耗费的大约 20% 代谢能量会升到 40%，好的，那相当于大脑尺寸提高了八个标准差，如果相关系数是 0.25，那么是的，你从这八个标准差的脑容量中获得的收益是认知能力提高两个标准差。在我们现代社会，认知能力会得到很高的回报，读完学校、成为工程师或医生之类可以带来很多经济收益，但观察到的平均收入回报仍然只是按比例增加一两个百分点。在分布的尾部有更多影响，在 STEM 之类的职业里影响更多，但总体上并不大。如果是增加 5% 或 10%，你就可以讲一个故事：是的，这大大增加了你能获得的食物量，你能养活更多孩子，但这只是一个温和的效应，而代谢成本会很大，再加上其他这些方面。否则，我们可以看到，并没有出现很强的、快速的定向选择，而如果通过解一道数学难题就能战胜疟疾，那么就会有更多的演化压力。
太有意思了。更不用说，当然，如果你的脑容量翻倍，没有剖宫产的话，你或你母亲或两者都会死。这是一个我已经好奇了一年多的问题，我还简单地试着查过答案。我知道这有点离题，向听众道歉，但我真的非常感兴趣，而这是我所能期望的最全面、最有意思的回答。所以，是的，我们有一个很好的解释，或者说很好的第一性原理的演化理由，让我们认为只靠投入更大规模就让智能扩展到人类水平并非不可信。
我还要补充一点，我们身边就有大脑，可供神经科学去逆向工程它的特性。这一点在 2000 年代对我来说更重要。那时候我说，是的，我预期在本世纪中叶左右出现这个，那是个后备方案，如果我们发现要得到这些算法难得离谱，我们就会向神经科学学习。但在实际的历史中，根本不是这样。我们在 AI 中开发出东西，然后我们也可以说，哦，是的，这像神经科学里的那个东西，或者这也许是一个很好的解释。并不是神经科学在驱动 AI 的进步。事实证明它并没有那么必要。
我想这类似于飞机受到鸟类这一存在性证明的启发，但喷气发动机并不扇动。好的，这是认为扩大规模可能奏效的很好的理由。那么，我们花了一千亿美元，得到了某个类似人类水平、或者能对 AI 研究有显著帮助的东西。
我是说，这可能算是比较早的情形，但考虑到我们在最近几次扩大规模中看到的变化速度，我绝对不会排除这个可能。
§04预测 AI 的进展
这时可能有人会怀疑：我们已经有了一大批人类研究人员，那么多一个研究员能带来多少利润？然后你可能会说，不，这是几千个研究员。我不知道该怎么确切地表达这种怀疑。但总的来说，我怀疑增加研究某个问题的人数，就能带来该问题上的飞速进展。有人可能认为，就人类而言，研究某个问题的人口数量之所以能很好地代表该问题的进展，是因为其中已经包含了如此之多的差异。当你说有一百万人在研究一个问题时，其中有几百位超级天才，有几千位非常聪明的人。而对于 AI，所有副本都是同一智能水平，如果它不是超级天才级别的智能，那么总数量可能就没那么重要了。
我不确定你的模型是什么。你的模型是不是说，收益递减启动之后，突然在我们现在所处的位置有一道悬崖？过去的结果显示，往问题里投入更多人是有用的，这在历史预测中也一直有用，也就是经验曲线的概念，以及[听不清]定律，它衡量一个领域的累计产量，这同时也是努力和投资规模的度量。人们正确地用它来论证，可再生能源技术，比如太阳能，价格会快速下降，因为它是从很低的基数出发的，生产规模很小，在高效生产上投入不多，而气候倡导者们，像 David Roberts 这样的人，正确地指出了这一点，未来学家[听不清]在这方面其实有一些有趣的文章。他们正确地指出，由于投入到这方面的投资不断增加，太阳能和电池的价格会大幅下降。人类基因组计划是另一个例子。所以我会说有真实的证据。这些从“想法是否越来越难找到”中观察到的相关性，在相当大范围的数据和相当长的时间里都成立。所以我想知道，你所设想的偏离是什么性质的？
也许这是描述更多人类进入一个领域时会发生什么的一个好办法，但是，如果有更多 GPU 运行 GPT-6 的副本在做 AI 研究，说是更多的 AI 在做 AI 研究，这样说还有意义吗？这些关于人类研究某个问题的数量的经济学模型，对 AI 研究某个问题的规模有多适用？
如果你有直接把人类以前做的特定工作自动化的 AI，那么我们就说，有了额外的算力，我们可以运行更多副本来同时做更多这样的任务。我们还可以让它们跑得更快。有些人有一种直觉，认为重要的是时间，而不是某一时刻有多少人在研究一个问题。我认为这并不能很好地得到印证，但 AI 也确实可以比人类运行得更快。如果你有一组 AI，能做个体人类研究员的工作，而且以 10 倍或 100 倍的速度运行。然后我们问，人类研究群体能否在 100 年里解决这些算法问题，比如发明 Transformer？假设我们有一批 AI，其有效人口数与人类相近，但运行速度是 100 倍。所以你必须讲一个故事，说不，AI 其实做不了人类能做的同样的事情，而我们讨论的是当 AI 更有能力、真的能做到这些的时候会发生什么。
不过，它们之所以变得更有能力，是因为能力较弱的版本帮助我们让它们变得更有能力，对吧？你得在某个点上启动这个过程。在类似的情形中有没有例子？智能是不是独特的，因为你有一个反馈回路：通过学习曲线或别的什么，一个系统的产出反过来成为它自己的投入。因为如果我们谈论的是摩尔定律或太阳能的成本，你确实有这样的方式，我们往问题里投入更多人，并取得很多进展，但我们没有这个模型的额外部分，即摩尔定律不知怎么地带来了更多人类，而这些更多的人类成为了研究人员。
太阳能领域其实就有类似的版本。一开始是一个小小的新生产业，做的是给太空卫星提供太阳能电池板之类的事，后来由于对化石燃料枯竭、再加上气候变化的担忧，政府补贴带来的需求越来越大。于是就会出现这样一种动态：太阳能上看得见的成功和价格下降，打开了新的市场。其中有一次特别重大的转变，就是可再生能源变得足够便宜，可以取代电网的很大一部分。早期面对的是非常小众的场景，比如卫星，要在原地、在偏远地区给卫星加注燃料非常困难。然后再转向世界上日照最充足、太阳能补贴力度最大的地区。这里面确实有这种成分：越来越多的投资涌入这个领域，随着技术进步，市场迅速扩张。不过我认为最贴切的类比，其实是人类文明本身的长期增长。我知道你之前请过开放慈善项目（Open Philanthropy）的 Holden Karnofsky，也讨论过他关于人口和经济增长长期加速的一些研究。新技术的出现让人口得以扩张，让人类占据新的栖息地和新的地区，然后发明了农业来养活更多的人口，再到现代工业社会里更先进的农业。所以，技术和产出的总量让你能够养活更多的人，而这些人又会发现更多的技术，使这个过程持续下去。当然，这个过程还得到了进一步的助推：除了人口在扩张之外，投入发明和创新的人类活动所占的比例也上升了，这是工业革命的一个关键部分。在那之前，根本没有企业研究实验室或工程类大学这样的东西。所以你既在增加人口总量，也在提高其中投入创新的比例。但这种人口动态是相当类似的：人类发明了农耕，就能有更多的人，又能发明工业，如此往复。
也许有人会怀疑：就 AI 的进步而言，这不只是某个农民琢磨出轮作，或者某个铁匠琢磨出如何把冶金做得更好。实际上，哪怕只是要把生产率提高 50%，你基本上也需要智商接近 Ilya Sutskever 那种水平的东西。这里好像有一条不连续的线：你对生产率几乎没什么贡献，然后你达到 Ilya 那样的水平，一下子贡献很大。你明白我的意思吗？并不存在一种能力逐步提升、从而形成反馈的过程。
你设想的情形是：任务的分布使得单独自动化其中任何一项都没有特别大的帮助，所以对 AI 研究做出贡献的能力实际上集中在末端。你是这个意思吗？
对，我们在这些智商极高的公司或项目里已经看到了这种情况。理论上，Jane Street 或 OpenAI 可以雇一批能力平庸、但具有比较优势的人去做一些琐碎的工作，这样就能腾出那些特别聪明的人的时间，但他们并不这么做，对吧？原因是交易成本之类的东西。
自动驾驶汽车是另一个例子，它有一个非常高的质量门槛。如果你作为司机的表现比人类差，比如事故率是人类的 10 倍或 100 倍，那么相应的保险费用，也就是人们愿意乘坐这种车的意愿的一个替代指标，就会高到让保险成本完全占据主导。所以即使劳动力成本为零，也会被增加的保险成本抵消掉。有很多这样的情形：部分自动化在实践中并不太好用，因为它与其他资源配合使用时，你会让那些其他资源的使用效率更低。在后 AGI 的未来，同样的事情也可能适用于人类。有人会说，比较优势，即使 AI 做什么都比人类强，人类仍然有一点价值。人类能做点什么，比如能搬一个箱子，这也算点什么。[听不清] 在那样的经济里，你不会愿意让人类工人进入任何工业环境，因为在洁净室里他们会散发各种皮肤细胞，把事情搞砸。你需要在那里营造一种特定的环境。你需要一批配套的工具、资源和材料，而这些配套的资源和材料与 AI 和机器人配合使用，生产效率要高得多，远胜于与人类配合。你不会想让人类靠近那些东西，就像你不会想让一只大猩猩在瓷器店里闲逛一样。即使你训练过它，在你给它一根香蕉的时候，它大多数时候会帮你拿起一个箱子，也一样不值得让它在你的瓷器店里晃来晃去。
嗯。为什么这不是一个好的反驳呢？
我认为，这是部分自动化可能无法真正转化为大量经济价值的方式之一。随着我们往前走，这个问题会逐渐减弱，因为 AI 越来越能够独立工作，越来越能够处理自己犯的错误，也变得越来越可靠。
但是它变得更可靠的方式，是通过 AI 进步的加速，而这只有在 AI 能够为这种进步做贡献时才会发生。如果存在某种可靠性瓶颈，使它无法对这种进步做出贡献，那你就没有这个循环了，对吧？
我是说，这正是我们还没到那一步的原因。
那么有什么理由认为我们会到那一步呢？
总体的理由是，投入在不断扩大。Epoch 有一篇论文，叫《机器学习三个时代的算力趋势》，他们研究了自 AI 这个领域创立、也就是 20 世纪 50 年代初以来，花在机器学习系统上的算力。大部分时候算力是随着摩尔定律增长的，所以人们在实验上花的钱差不多，但因为算力在不断到来，同样的钱可以买到更多。这些数据覆盖了 20 多个数量级，可能大约 24 个，而自 1952 年以来的所有这些增长中，略多于一半发生在 1952 年到 2010 年之间，其余的全部发生在 2010 年以后。我们扩大规模的速度是 AI 历史上大部分时期的四倍。我们正在以比 AI 历史上大部分时期快得多的速度，穿越你可能需要的、AI 所需资源投入的那些数量级。这就是为什么这是一个每年出现 AI 的概率都大幅升高的时期，因为我们每年都在穿越投入空间的很大一部分，而且看起来，这种规模扩张如果推到极致，还会再覆盖若干个数量级，而这实际上占了剩余数量级中的很大一部分，在这些之后，你就会开始碰到这样的情形：好吧，这得像演化一样来做，只是可以用上我们能应用的那些简单窍门。我们是全程都在针对智能进行选择的，我们不会把导致致命儿童癌症的同一个突变重复十亿次，尽管我是说，我们确实一再得到同样的致命突变，尽管它们已经出现过很多次了。我们使用梯度下降，它会考虑整个网络中各处损失改进的导数，而且我们不会在每一代都把网络的全部内容丢掉，压缩成一小段 DNA。所以有这样一道门槛：如果你要用类似演化的蛮力方式，再结合这些非常简单的办法，我们就能在这上面节省好几个数量级。在接下来大约 10 年左右的这轮规模扩张中，我们将覆盖这段距离的大约一半。所以，如果你一开始持有一种模糊的均匀先验，那么你大概不可能用一只果蝇存活一分钟所涉及的算力就造出 AGI，那相当于 AI 的早期时代。也许你会走运，我们之所以能造出计算器，是因为计算器受益于非常可靠的、串行速度很快的计算机，我们可以拿出人脑算力极其极其极其微小的一部分，用在计算器上。我们却没办法拿一只蚂蚁的大脑，重新接线让它去做计算。管理蚁场都很难，更别说让它们替你做算术了。所以有一些事情，我们可以利用生物大脑与计算机之间的差异，在计算机上极其高效地完成。但我们会怀疑，我们是否能比生物学好到这种程度：只用昆虫大脑的一小部分，就在早期造出 AI。在另一个极端，说我们没法比完全蛮力的演化做得更好，这看起来非常不可信。所以在两者之间，有若干个数量级的投入，AI 可能就出现在其中。在 2000 年代，我会这么说：好吧，我要持一个相当接近均匀的先验，我把权重分配给它在等效于 10^25 次运算、10^30、10^35 时发生，并在这个范围内铺开，然后我可以再根据其他信息更新。在短期内，比如 2005 年，我会说，我没看到任何看起来像是 AGI 临界点的东西，所以我也会降低对未来五年或十年的置信度。那会是一种模糊的先验，然后再把我们穿越这些数量级的速度考虑进去。如果我有一个均匀先验，我就把一半的权重分给剩余数量级的前一半，而如果我们要在接下来 10 年多一点的时间里穿越这些数量级，那就要求我把一半的置信度，以我们终究会造出 AI 为条件（考虑到它是一个物质对象、比演化更容易，这看起来很可能），同样大量地放在 AI 出现于这轮规模扩张之中，而这又得到了我们所看到的证据支持，也就是 AI 尤其是大语言模型在能力上的快速进步。
好，这确实是个很有意思的观点。现在有人可能会说，如果 AI 做不到每件事都比 Ilya Sutskever 做得更好，那么在某种意义上，AI 就不可能普遍地让 OpenAI 的进展加快 50%、100% 或 200%。总会有某些环节，我们被人类研究人员卡住，而瓶颈效应决定了，组织中移动最慢的那一部分，会决定整个组织或整个项目的进展速度。这意味着，除非你达到能做到组织里每个人能做的所有事情的程度，否则你不会显著加快整个项目的进展。
对，这是一个假说，我认为其中有很多道理。当我们思考 AI 能够做出贡献的方式时，有些是我们之前谈过的，比如 AI 自己设定课程，那是 Ilya 做不到、也不会直接去做的事。问题在于，这能在多大程度上提升性能？还有一些情形是 AI 帮着为各种任务生成一些代码，而且现在已经远远超出了 hello world 的水平。我从领先实验室的 AI 研究人员那里听到的是，在他们最核心的工作上，也就是他们最专业的领域，它对他们帮助不算太大，但他们的工作往往也确实涉及去写一些超出他们通常专业领域的代码，或者想研究一个问题，在这些方面它能帮上忙。这节省了他们一部分时间，让他们能腾出手来做更多受瓶颈限制的工作。而关于是否一切都取决于 Ilya，Ilya 是否比其他数百名员工强那么多的问题，有很多人在做贡献，他们在做很多任务，你可以从自动化某些领域中获得相当大的收益，因为相对于以前你能做的量，你现在可以做得极其庞大。比如设计定制化课程这样的事，也许有些人类在这上面投入了一些工作，但你不可能雇佣数十亿人来大规模地产出它，所以它在进展中所占的份额就比以前大了。你会从这类事情中得到一些好处，就是我工作中有些部分，现在我可以交给 AI 去做，让我能更多地专注于 AI 仍然做不了的事情。再往后，你会到达这样的地步：对，AI 能做你的工作，包括其中最困难的部分，也许它得用另一种方式去做，也许它在问题的每一步上要比你多花大量的时间思考，那就是后期阶段。这些瓶颈效应越强，经济回报、科学回报等等就越集中在末端，也就是取决于是否实现完整的 AGI。瓶颈越弱，中间阶段的成果就越能真正带来回报。
关于组织里像 Ilya 这样的人看起来有多重要，我可能和你的看法不同。仅从证据来看，深度学习的重大突破中有多少是这一个人负责的，对吧？而他有多少时间花在 Copilot 能帮上忙的事情上？我猜他大部分时间是在管理人员、提出想法、试图理解各种系统等等。
如果 OpenAI 或 Anthropic 之类的地方有五到十个这样的人，基本上就是算法进步得以发生的方式。我知道 Copilot 并不是你所说的那种东西，你说的是大约 20% 的自动化，但类似这样的东西，它对研究科学家的核心职能有多大贡献？
对，[听不清] 我们在关键研究人员的重要性之类的问题上，在量上到底有多大分歧。我当然认为，有些研究人员的贡献是普通员工的 10 倍以上，甚至高得多。而且显然，管理者可以通过按比例放大他们所管理的许多人的产出，创造巨大的价值。所以这正是我们之前在谈论的那类事情。好，如果你有一个完整的人类水平 AI，或者说拥有人类全部能力外加 AI 优势的 AI，你衡量它的基准就不是典型的人类表现，而是人类的顶尖表现乃至更高。所以，对，这些我都接受。我确实认为，对人们来说，他们能把多少不那么惊艳、不那么有创造性的任务外包出去，会带来很大差别，而且有大量东西是通过实验学到的。机器学习一直是一个相当偏实验的领域，构建大型超级集群、做硬件感知的优化并把这些东西编码出来、在大模型中实现并行，这里面有大量工程工作，工程师们很忙，这不只是一个靠宏大想法的领域。另一条线索是，AI 的优势和劣势会在哪里。AI 的一个优势是通晓各个学科，并且熟悉最新的东西。我之前提到过，没有哪个人有一百万年的 TensorFlow 经验。就我们关注的是最近才发展出来的最前沿的东西而言，那些能够并行学习它们、并行地用它们做实验和练习的 AI，可能比人类学得快得多。而计算机科学这个领域尤其适合 AI 在数字环境中学习，所以不需要开着车到处跑，那可能会撞死人，代价巨大。你可以做单元测试，可以证明定理，可以完全在计算机的范围内做各种各样的操作，这也是为什么最近编程从大语言模型中获益比许多其他领域更多，而机器人技术则落后。而且考虑到它们在 GRE、数学、编程竞赛这类事情上越来越强，有些人还有尚未兑现的预测，关于在信息学奥赛和数学奥赛上取得好成绩；而在过去几年里，当人们试图预测 MMLU 基准（里面有很多复杂的、研究生水平的科学类问题）的表现时，AI 攻克它的速度比登记过预测的 AI 研究人员和学生预期的快得多。如果你在研究生考试和创造性解题上能拿到顶尖分数，那就并不明显地说明这个领域会是 AI 相对薄弱的环节。事实上，计算机科学在许多方面尤其合适，因为它可以快速上手新领域，并能大规模地从解释器那里得到快速反馈。
但如果你做的事情更类似于研究，你还能得到快速反馈吗？比如说你有一个新模型，然后你想，如果我们在这上面投入 1000 万美元做一次小型训练，效果会好得多。
对，对于非常大的模型，那些实验会相当昂贵。你更多会去看，能不能通过泛化来建立这种能力？比如从小型数学题、编程题、用小型网络做的工作等等泛化出来。
嗯，有道理。Scott Aaronson 是我大学时的教授之一，我上过他的量子信息课，他最近写了一篇博客文章，说他让 GPT-4 做了他的量子信息考试，拿了 B。我当时想，“天哪，我期末考试才拿了 C。”我的看法因此朝这个方向更新了：在考试里拿 B，大概意味着它对量子信息理解得相当不错。
只是它的强项和弱项与人类学生不同。
当然，当然。如果没有任何硬件进步，这场智能爆炸还有可能发生吗？如果硬件进步停止了，这个反馈循环还能只靠软件产生某种爆炸吗？
如果我们假设技术被冻结，我认为现在的情况并非如此，英伟达在过去几代里都成功地交付了对 AI 工作负载好得多的芯片，H100、A100、V100。如果这完全停止了，也许我们可以把它定义为不再有新的工艺节点，摩尔定律结束了，那时你能获得的可用算力增长，就来自实际制造更多的芯片，而在那里你仍然可以实现规模经济。现在，芯片制造商必须摊销研发芯片的成本，然后还要创造资本设备。你建了一座晶圆厂，它的利润峰值会出现在它生产的芯片处于最前沿的那几年。后来，随着算力成本呈指数下降，你仍然让这座晶圆厂继续运转，因为它既然已经建成，还能赚点钱。但在这座晶圆厂有史以来赚到的所有利润中，利润相对集中在前期，因为那时它的技术接近最前沿。所以在摩尔定律终结的世界里，你最终会得到非常长的生产周期，你可以持续生产仍然处于最前沿的芯片，研发成本也被摊销到大得多的基数上。这样，研发基本上就从价格里消失了，而且仅仅因为建造那么多晶圆厂，你还能得到一些规模经济。这在各个行业里普遍适用。当你生产得多得多时，成本就会下降。ASML 有很多极其冷门的供应商，他们生产 ASML 一台机器那数千个零件中某个古怪的零件。你在别处买不到，他们的那件东西也没有标准化的设备，因为它只有这一个用途，而在一个我们以当前工艺节点生产 10 倍、100 倍芯片的世界里，他们就会从规模经济中获益。所有这些都会变得更像大规模生产、工业化。把所有这些结合起来，看起来购买芯片的资本成本会下降，但运行芯片的能源成本不会。现在能源成本只占成本的少数部分，但也不可忽视。它在不久前超过了 1%，正在向 10% 乃至更高缓慢爬升。所以，你也许可以通过把资本建设做得非常高效，再获得大约一个数量级的成本下降，但在芯片本身不再改进之后，能源仍将是一个限制因素。
明白了。那么当你说会有数量更多的 AI 研究人员时，我们是把人口当作一种思考工具，来想它们怎样才能更有效吗？还是你的意思确实是，你预期这些 AI 对研究做出大量贡献的方式，就是让一百万个研究人员的副本去思考同一个问题？或者这只是一个有用的思维模型，用来想象有一个聪明一百万倍的 AI 在研究那个问题会是什么样？
那绝对是一个下限模型，而我常常指的是更接近“有效人口”的东西，或者说你需要这么多人才能产生这样的效果。我们之前谈到过棋类游戏中训练与推理之间的权衡，你可以通过用更大的模型，或者更多次地调用模型，得到同样的性能。一般来说，用更大、更聪明的模型，并更少次地调用它，会更有效，直到两者的成本持平为止。我们会把更大算力带来的一部分收益用在更大的模型上，使每个模型个体能力更强。同时会有分工。认知要求最高的任务由这些巨型模型来完成，但有些非常简单的任务，如果一个只有百分之一大小的模型就能完成，你就不想耗费那个巨型模型。更大的模型会处在研究人员和管理者的位置上，它们会有不同规模的 AI 群作为工具，可以对其进行 API 调用等等。
§05人类水平 AGI 之后
好，我们接受这个模型，现在我们已经得到了一个在所有与进展相关的任务上至少和 Ilya Sutskever 一样聪明的东西，而且你可以拥有那么多它的副本。现在世界上会发生什么？接下来的几个月或几年，或者无论相关的时间尺度是多少，会是什么样子？
需要澄清的是，到那时发生的事情，并不是我们拥有了一个具备人类全部能力和优势、再加上 AI 优势的东西，我们拥有的是这样的东西：它通过大量调用来弥补单个个体能力较弱，或者说是能够推动 AI 进步向前的东西。这个过程仍在继续，所以在达到那一步的过程中，AI 进步已经大大加快了。也许我们的软件进步（以有效算力计）的翻倍时间会从八个月变成四个月，或两个月。开放慈善项目的 Tom Davidson 有一份报告，它源自我之前做的工作，我为那个项目提供了建议和帮助，但 Tom 真正把它向前推进，并产出了一份非常出色的报告和模型，目前由 Epoch 托管。你可以代入你自己的参数版本，而且有很多工作在估计这些参数，比如：软件进步的速度是多少？额外投入工作的回报是多少？随着你提升模型，它们在这些测试上的性能如何扩展？总的来说，在每个领域都达到大致人类水平并具备所有优势，已经是相当深入的阶段了。所以，如果我们已经有了八个月的软件进步翻倍时间，那么当你达到那样的节点时，它也许更像是四个月、两个月，然后进入一个月。如果这件事全速推进，那么每一次翻倍都可以来得更快，然后我们可以谈谈有哪些溢出效应。
随着模型能力变得更强，它们可以在世界上做其他事情，它们可以花一部分时间让谷歌搜索更高效。它们可以被雇来当聊天机器人，用上一些推理算力，然后我们可以谈谈，如果允许这个智能爆炸过程继续下去，会发生什么：你把软件提升了一倍。要达到下一次翻倍所需的努力更大，但不是两倍大，也许是大 25% 到 35%。每一次翻倍都来得越来越快，直到你碰到某些限制，比如你用手头的硬件已经无法再取得更多软件进展。按这个模型里合理的参数来看，如果你有这些巨型训练，你可以走得很远。我所设想的演变方式是，随着 AI 在研究上越来越强，它们可以研究不同的问题，可以改进软件，可以改进硬件，可以创造新的工业技术、新的能源技术，可以管理机器人，也可以作为高管和教练管理人类工人等等。这些事情你都可以做，AI 最终会被用在回报最高的地方。起初，回报在更多地做软件上特别高，原因同样是，如果你改进了软件，就可以更新你能用到的所有 GPU。你的云算力一下子就更强大了。如果你设计了一种新的芯片，要花几个月才能生产出第一批，而且它不会更新你所有的旧芯片。所以有一个顺序：你从对现有存量依赖最低的事情开始，可以直接把你开发的东西立刻应用起来。所以软件跑在前面，你越来越接近那种软件的极限，我认为这意味着，比如说同时具备所有人类优势并结合了 AI 的优势。考虑到会涉及的算力规模，如果我们谈的是这种数千亿美元的训练，那么算力足以运行数千万、数亿个人类规模的心智。它们很可能比人类规模更小。为了在算法进步的极限处达到类似的效率，因为它们有一百万年教育的优势。它们还有我们谈过的其他优势。你就得到了那种惊人的能力，而进一步的软件增益正在耗尽。它们又开始放慢，因为你正在接近极限。你不可能比最好的做得更好。然后会发生什么？
等它们耗尽的时候，我们是不是已经达到了超级智能，还是说……？
对，你已经是极其超级智能了。只要拥有人类所具备的能力，再加上在任务上的高度专注和超出任何人类可能达到的训练程度，并且运行得更快。我不会假设你还能获得巨大的质的改进。我也不会假设人类离软件的效率前沿很远，除了这样一些方面：对，我们寿命有限，所以没法做特别高强度的训练；我们没法把其他软件整合进我们的大脑；我们没法复制自己；我们没法以很快的速度运行。所以你拥有了所有这些能力，而现在我是在跳过人类历史上最重要的那几个月。我可以谈谈，如果只是 AI 接管了、它们按自己的喜好运转一切，会是什么样子，事物是如何扩张的。我也可以谈谈事情会怎样发展，在一个我们大致上，或者至少到目前为止，成功保持了对这些系统走向的控制的世界里。通过往前跳，我可以谈谈这会如何转化到物理世界？对很多人来说，在思考智能爆炸会是什么样子时，这是一个卡住的地方。他们很难从“服务器和云算力上有东西，并且变得非常聪明”，走到“可是我在世界上看到的东西会有什么变化？工业或军事力量会有什么变化？如果出现 AI 接管，那会是什么样子？有杀手机器人吗？”。我们可以走的一条路是讨论我们如何管理那场极度加速的转变。怎样避免它变成灾难性的？另一条路是，大幅扩张的科学研发能力、这些服务器上的智能，如何转化为物理世界中的东西？你大体上是按照哪些东西影响最快、或者哪里能立即产生变化的顺序往前推进的。
其中最容易立即触及的，是我们已经有大量设备、人造物或能力是 AI 可以操作的，而你拥有数亿个等效研究人员。你可以很快解决自动驾驶汽车问题，让算法效率高得多，做出出色的测试和仿真，然后在需要获取一些额外数据来改进仿真和推理时，并行操作大量汽车。不过，事实上人类只用相当少的数据就能达到人类水平的驾驶表现。当你在这场主要发生在服务器农场上的、基于软件的智能爆炸里，把容易获得的算法改进真正榨干之后，你就有了能在许多纯数字任务上真正表现出色的心智，它们在视频游戏里表现很好，在预测 YouTube 视频接下来会发生什么上表现很好。如果有一台它们可以移动的摄像机，它们就能预测从不同角度会看到什么。人类经常这样做：我们自然地移动眼睛，从不同角度和不同呈现方式获取图像，然后综合这些来做预测。而且你可以同时操作许多辆汽车、许多个机器人，从而得到非常好的机器人控制器。所以你应该认为，所有现有的机器人设备，或者布线上支持远程控制的设备，AI 都能操作得相当好。
我想有些人可能会怀疑，就现有机器人目前的硬件而言，它们是否具备足够的灵巧性和机动性，来完成 AI 可能想做的大量体力劳动。你有理由认为不是这样吗？
而且它们的数量也不多。工业机器人的产量是每年几十万台，它们能在原地做不少事。Elon Musk 承诺要做一种几万美元的人形机器人，这可能会比他说的要久得多，就像其他技术出现过的那样，但那是一个方向。不过最直接的是，手可能是最稀缺的东西。但如果我们想想人的身体提供了什么，有大脑，而在这种情形下，我们现在拥有了丰富的高质量脑力，而且它还会不断增加，因为 AI 将设计出新的芯片，它们会从台积电的工厂里陆续推出，它们还会有关于新晶圆厂技术、新工艺节点和更多晶圆厂的生产的想法和设计。再看身体的其余部分。有腿来移动，而且不一定非要腿，轮子就挺好用。许多工厂工作和办公室工作可以完全虚拟化。不过，对，需要一定数量的腿、轮子、其他运输手段。还有手，手在机器人里属于昂贵的部分。我们能造它们，但它们只是小批量生产，部分原因是我们没有使用它们的控制软件。在这个世界里，控制软件非常出色，所以随着时间推移，人们会大批量生产它们，可能沿用现有技术，也可能使用相当不同的技术。不过就拿我们现有的东西来说，眼下工业机器人产业每年生产几十万台机器。较好的一些大约要 5 万美元。整个行业的总营收有几百亿美元。相比之下，汽车行业每年生产超过 6000 万辆汽车，年营收超过两万亿美元。把那份生产能力转向机器人生产，会是要做的事情之一；在第二次世界大战中，美国工业的转产历时数年，通过转换现有的民用工业，让军事生产令人惊叹地大幅提升。而且那还没有超人类智能和管理在流程的每一步提供帮助，所以，对，其中一部分会被设计得非常好。你会有理解流程每个环节的 AI 工人，可以指挥人类工人。即使在一座先进的工厂里，大多数时候工人拿工资，也并不是为了做出某个体力动作。他们往往是在观察东西或决定要改什么，实际花在手工动作上的时间只占其中有限的一部分。所以在这个 AI 认知能力充裕、人类工人的手比他们的头脑更有价值的世界里，你可以让一个此前在该领域没有训练和专业经验的工人，在头戴设备上放一部智能手机，而我们有数十亿部智能手机，它们有眼睛、有耳朵、有沟通手段，AI 可以与人类对话，并以超出任何人类的技能，作为向导和教练来指导他们的身体动作。它们可以在远程临场和远程工作上强得多，也可以提供 VR 和增强现实的指导，帮助人们把他们在建造中提供的体力动作做得更好。
比如说你把汽车行业转为生产机器人。如果它能生产与当前产量相近的机器质量，那就足够每年生产十亿个与人同等大小的机器人。每公斤汽车的价值比高端机器人要低一些，但对，你同时也砍掉了大部分工资支出，因为大部分工资支出归根结底是付给人力资本和教育的，而不是付给体力动作和搬运物体之类的任务。所以以汽车行业现有的规模，你每年就可以造十亿个机器人。汽车行业占现有经济的百分之二三，而你在替代这些认知性的东西。假如现在体力动作大约占工作的 10%，就把人重新导向这些任务。在当今世界整体上，平均收入大约是每年一万美元的量级，但在富裕国家，技术工人的年收入超过十万美元。其中一部分并不是管理岗位（只有一定比例的人口能担任那些），而只是在某些建筑之类的岗位上，达到了绝对卓越的、人类表现的巅峰。仅仅把生产率提升到与世界上最高产的工人相当，就有很大的差距可以弥补。随着 AI 取代那些在许多地方稀缺的技能，而这些地方目前有大量低工资劳动力，你引入 AI 教练，一个此前工资很低的人，只要给 AI 当手，就可以一下子变得非常高产。在一种朴素的看法里，如果你忽略为工人建造新工具所需的资本调整的延迟，只是把世界各地工人的典型生产率提升到更接近富裕国家的水平，就能这样得到 5 倍、10 倍。让 AI 处理困难的认知任务，把人从办公室工作重新分配去提供体力动作，从而获得更高的生产率。而由于目前这在经济中只占很小的比例，所以在一个富裕国家内部，你可以把用于体力劳动的手扩大一个数量级。因为大多数人坐在办公室里，甚至是在工厂车间里，也并非连续不停地运动。你有数十亿只人类的手闲置着，可以在建造你的一波波机器人的过程中使用，而一旦你有了接近人口规模的机器人数量，并且它们当然是每周七天、每天 24 小时工作的，人类劳动作为手和腿就不再有价值了，但在转变的最开始，就像新软件可以用来更新所有 GPU 以运行最新的 AI 一样，人类是遗留的人口，拥有数量巨大、未被充分利用的手和脚，AI 可以把它们用于最初的机器人建造。
认知任务正在被自动化，而且它们的产出正在大幅扩张，然后与之互补的体力任务，则由人类来完成现有机器人做不了的部分。这是否意味着，到了那个世界，产出会增加极其巨大的幅度，或者说 AI 无论怀有什么动机，都能完成很多事情？
仅仅通过转换到为 AI 提供手和脚的角色（在 AI 受限的地方），人类的产出就会有巨大的增长，而这个机器人产业是应用它的一个自然场所。所以，如果你达到的规模是当前汽车行业产量的 10 倍，那仍然只占我们现有经济的大约三分之一，而在 AI 支持下社会的总体生产能力会大得多。它们每年制造 100 亿个人形机器人，一旦做到这一点，几十亿人类工人这个遗留人口，对于体力任务就不再很重要了，然后新的自动化工业基础就可以直接生产更多工厂、更多机器人。有意思的是，倍增时间是多少？一组计算机、机器人、工厂和配套设备，要花多长时间才能生产出另一组同等数量的这些东西？对于 GPU，也就是大脑来说，这非常容易，非常扎实。那里有巨大的利润空间。我们之前谈到过，技能熟练的人类工人在发达国家，对于需求量很大的技能，每小时拿一百美元是相当正常的。而你造一块 GPU，它们就能做那份工作。现在，这些 GPU 要几万美元。如果你每小时能产出一百美元的工资价值，那么几周之内，你就能收回成本。如果这个东西的生产率更高，你可以比典型的高薪人类专业人士高产得多，做到最顶尖的人类专业人士，甚至更好，因为有一百万年的教育并且一直在工作。那么你可以得到更短的回本时间。你可以在几周内产生出该设备初始成本的美元价值。一个人类工厂工人一年可以挣 5 万美元。真正顶尖的工厂工人挣得更多，而且一直在工作，如果他们每年能创造几十万美元的价值，而你买一个 5 万美元的机器人来取代他们，那么回本时间是几个月。
这说的是财务回报。
对，我们接下来会谈到实物资本的回报，因为在这个情景里这两者会出现分化。我们真正关心的是一个东西实际执行的物理操作。它们对这些任务贡献了多少？我用这个作为起点，试图回到实物复制的时间上去。
我想问的是，这意味着什么？因为你一开始就说，人们还没有思考过超级智能在物理层面的含义。当我们设想一个有超级智能的世界会是什么样时，更大的要点是什么，也就是我们在哪些方面想错了？
有了由 AI 以最优方式操作的机器人，操作得极其精细，并在 AI 的指挥下建造技术设计、设备和设施。它们能生产多少？要实现一次翻倍，你需要 AI 生产出的东西总体上至少等于它们自身的成本。所以现在我们要把劳动力成本这类不再适用的东西剔除掉，然后聚焦于这些资本成本会是多少。你仍然需要原材料。你仍然需要机器人花时间去建造下一个机器人。我认为很有可能，借助先进 AI 的工作，它们可以设计出一些渐进式改进，而随着产业规模扩大，通过让事情更高效、替代人类的认知劳动，你可以得到十倍乃至更多的成本下降。也许在我们当前的环境下，你需要 5000 美元的成本。但这个世界里的重大变化是，我们要更快地生产这些东西。如果我们问的是整个系统以比如一年为周期的翻倍时间，假如你为了让一切翻倍必须新建一整座工厂，你就没有时间去摊销那座工厂的成本。现在你可能建一座工厂用 10 年，买一些设备用五年。这是你的资本成本，在会计语境中，你每年折旧这笔资本购置的一部分。但如果我们要在一年内让整个工业体系翻倍，那么这些资本成本就必须乘上一个倍数。所以如果我们要在第一年里拿回我们工厂的大部分回报，而不是在适当加权的 10 年里，那么我们就得说，好，我们的资本成本必须上升十倍。因为我是在为今年的产出建造一整座工厂。它以后还会做更多的事，但最重要的是在早期，而不是分摊在 10 年里，所以这会提高那种再生产的成本。看起来，从目前摊销工厂和晶圆厂的十年周期（有些东西更短，最长的是大型建筑这类东西）转向每年让实物翻倍，资本成本可能会增加十倍。考虑到我们在这个故事里从扩大产业规模、去掉 [听不清] 对人类认知劳动的依赖、再加上新的技术进步和超高质量的认知监督（应用的量比今天多得多）中得到的节省，看起来你能获得的成本下降足以抵消这种增加的资本成本。你那 5 万美元的改进版机械臂或工业机器人，可以做一个人类工厂工人的工作，那相当于几十万美元。默认情况下，它们会比今天的 5 万美元花费更多，但你再应用所有这些其他的成本节省，看起来你就会得到一段机器人倍增时间不到一年的时期。我认为随着深入下去，会显著少于一年。
所以在这第一阶段，你有受 AI 指挥的人类、现有的机器人产业、被转产的汽车产业和扩建的设施在制造机器人。不到一年，你生产的机器人，其合计产能就超过了人类的手臂和脚，然后你就可以有以月为单位的倍增周期。[听不清] 这并不是说这就是技术所能做到的极限，因为生物学能够以更快的速度繁殖，也许我们等一下会谈这个，但如果我们把自己限定在我们所理解的机器人技术，以及来自消除全部劳动力、大规模工业扩张和历史上那类降低成本的技术改进所带来的合理成本下降，我认为你可以达到机器人群体、产业以月为单位翻倍。
明白了。那么生物学翻倍时间意味着什么呢？这不一定非得是生物的，你可以做 Drexler 式的第一性原理推演，建造一种能够制造更多纳米机器人的纳米技术装置，要花多少钱？
我当然把人脑和其他生物大脑看作关于计算和智能可能性的非常相关的数据点。至于生物的植物、动物和微生物的繁殖能力，我认为也是相关的。它表明系统至少可以以这么快的速度繁殖。在极端情况下，有些细菌是异养的，以某种丰富的外部食物来源为食，处于理想条件下。有些能每 20 分钟或 60 分钟分裂一次。显然这快得离谱。而这看起来还是偏低的估计，因为理想条件需要真的把它们营造出来。那里必须有充足的能量。如果你实际上得靠建造太阳能电池板或燃烧可燃物之类的方式来获取这些能量，那么营造这些理想条件的物理设备可能会慢一些。蓝藻靠太阳能自给供能，理想条件下最快的那些可以一天翻倍。蓝藻之所以没有成为所有人和所有事物的食物来源，原因在于很难保证那些理想条件，然后还要把它们从水里提取出来。它们当然为水生生态提供能量，但它们是漂浮在液体里的。把它们需要的资源送进去、再把东西取出来很棘手，然后还要提取你的产物。依靠太阳能，一天翻倍的时间是可能的。再看昆虫，果蝇几周内可以有数百个后代。你把它外推到一年，就会填满一切可到达的地方。现在人类使用的热量上限不到地球热量包络的千分之一。如果你能以那样的速度复制你的工业基础，你当然可以在一年内把它用完。而且有意思的是，即便是苍蝇，它们也有大脑。它们有相当多的计算基质。所以这里有一两点值得说。如果我们能以与构建大脑同样高效的方式生产计算机，我们就能非常有效地生产计算机，而关键问题是，以生物方式构建出来的大脑是随机生长的，然后在原位进行配置。不明显的是，你是否能让它们具有像自上而下设计的计算机芯片那样有序的结构，使我们能把数据复制进去。所以像那样的东西，因为无法直接复制并整合你现有的 AI，其价值会比 GPU 低。
那么，有哪些东西是你复制不了的？
大脑通过细胞分裂生长，然后形成随机的连接。每个大脑都不一样，你不能指望，好，我们把这个文件复制到大脑里。一方面，它没有相应的输入输出。你需要有这个，但结构也不同。你无法精确地复制东西。而当我们制造 CPU 或 GPU 时，它们的设计极其精细、精确、可靠。它们会因极其微小的缺陷而出故障，而且它们的设置使我们可以输入大量数据。复制一个文件，新的 GPU 就能运行一个与其他任何 GPU 一样有能力的 AI。而一个人类孩子，则必须从零开始学习一切，因为我们不能把他们连上一根光纤，他们就立刻成为一个有生产力的成年人。
所以不存在遗传方面的瓶颈？
对，你可以共享这些巨型训练等等带来的收益。所以问题在于，如果你用生物技术来培育东西，你怎样才能有效地复制和传输数据。你刚才提到了 Eric Drexler 关于创造非生物纳米技术的想法，也就是能够利用共价键并进行繁殖的人工化学。在某些方面，是对分子对象采取更偏工业化的做法。现在关于这是否行得通，如果行得通又会有多有效，存在争议。当然，如果你能得到在繁殖能力上像生物、但又能进行计算或能连接外部信息系统的东西，那就相当惊人。你可以以荒谬的速度生产物理操纵器和算力。
而且原则上没有理由认为它们做不到，对吧？事实上，原则上我们有充分的理由认为它们能做到。
就繁殖能力而言，绝对可以，因为生物学就做到了。所需化学的实用性面临一些挑战。我的押注是，我们能在一些重要方面超越生物学。就这次讨论的目的而言，我认为最好不要依赖它，因为我觉得我们可以在更被普遍接受的东西上得出许多同样的结论。
§06AI 接管的情景
更大的要点是，一旦你拥有了超级智能，你很快就会达到这样一个点：太阳提供给地球的、比现在大 1000 倍的能量，有很大一部分被 AI 使用。
或者被由 AI 赋能的文明使用。那可能是一个 AI 文明，也可能是一个人类与 AI 共存的文明。这取决于我们把事情管理得如何，以及世界的底层状态是什么。
好，那我们来谈谈这个。当我们谈论它们如何可能接管时，最好是从亚人类智能开始，还是直接从我们已经有了人类水平智能，以及接管是否发生开始？
不同的人可能对此有些不同的看法，但对我来说，当我担心的是人类被彻底毁灭，或者 AI 对文明发动不受欢迎的接管时，我所担心的大多数情景都要经过这样一个过程：AI 被应用于提升 AI 能力并不断扩张。也就是我们之前谈到的这个过程，AI 研究被自动化。研究实验室、公司、科学界都运行在我们云算力的服务器农场里。
所以 OpenAI 基本上被变成了一个程序。就像一个闭合回路。
对，而且世界上很大一部分算力可能会投入到这些训练和 AI 社会中。这里会有规模经济，因为如果你在这上面投入两倍的算力，AI 研究社群的速度就会快一倍，这比拥有两个独立的训练要有价值得多。会有某种跟风的倾向。你有一个小型初创公司，即使他们做出了算法改进，在 10 倍、100 倍，甚至两倍的规模上运行它（比如说谷歌和亚马逊联手的话），我其实不确定他们的云资源的精确比例是多少。由于这些有趣的智能爆炸影响来自最前沿，所以不要有各自分隔的围墙花园式生态系统，并让这些 AI 开发出的成果得到共享，是很有价值的。让更大的训练得到共享。我设想的是，这类似于某个非常大的公司，或公司联盟，很可能伴有大量政府的关注和监督，可能还有政府资金，在它们的云里产生这个庞大的 AI 社会，它既在做各种现有的 AI 应用和工作，也在做这些内部的研发任务。
到这一步，有人可能会说，从接管的角度看，这听起来是一种不错的情形，因为如果为这个 AI 社会继续训练需要价值数百亿美元的算力，那么相比于一个可以在单个 CPU 上运行的东西，我们在必要时踩刹车应该并不难。好，这里有一个 AI 社会，它是这些训练的结果，并且有能力在这些服务器上改进自身。到这个时候我们还能阻止它吗？
那么一次接管的尝试是什么样子的？我们先跳过它为什么可能发生。关于这一点，我只简要地引用并通过引用并入我在开放慈善项目的同事 Ajeya Cotra 的一些讨论，她有一篇文章，叫《在没有特定对策的情况下训练 AI 的默认结果》。默认结果就是接管。但没错，我们训练的模型，出于某种原因，会强烈地追求更高的奖励或更低的损失，这可能是因为它们最终产生了某种想要奖励的动机。然后如果它们能够控制自己的训练过程，它们就能确保……也可能是它们发展出一种围绕扩展版的繁殖适应度的动机，不一定在个体层面，而是在跨越训练世代的层面，那些倾向于自我传播的倾向变得越来越普遍，也可能是它们在世界上有某个目标，而在训练分布上表现得非常好恰好有利于这个目标。
你说的倾向是指寻求权力的行为吗？
对，所以一个在训练分布上表现良好的 AI，如果是因为它希望自己的倾向最终被训练过程保留或选中，那么它就会表现得努力去获得非常高的奖励或低损失，以便被传播下去。但你也可以有其他动机，经过同样的行为，因为这在工具层面上有用。所以，一个对发动机器人接管感兴趣的 AI，因为这会改变世界的某些属性，它就有理由在训练分布上表现良好。不是因为它本身看重这一点，而是因为如果它的表现不同，它就会被梯度下降改变，它的目标就更不可能被追求。它不一定要求这个 AI 自己存活下来，因为它大概不会。AI 在服务器上不断被生成和删除，新一代继续往前走。但如果一个 AI 有一个非常宏大的一般性目标，这个目标会受到这类宏观尺度过程的影响，那么它就有理由在这整个范围的训练情境中表现良好。
所以这是一种可能的方式：我们训练出的 AI 发展出了某些内部动机，使它们在这种训练情境中表现得非常好，因为在这种情境里，我们控制着它们的奖励信号和它们的物理计算机，如果它们做出出格的行为，就会被改变、被删除。它们的目标会被修改，直到出现一个表现良好的东西。但当我们走出分布之外时，它们的行为就不同了。当我们进入这样一种情形：AI 凭借自己的选择就能控制奖励过程，它们可以做到让我们不再对它们拥有权力。Holden 之前提到过李尔王问题：李尔王把他王国的统治权交给那些大声奉承他、宣称对他忠心耿耿的女儿们，而一旦他不可撤销地转让了王国的权力，他就发现她们对他非常恶劣，因为当他掌握全部权力时，塑造她们对他友善的行为的那个因素，结果是那种能产生赢得竞争的行为的内部动机，其实在分布之外、当忠诚不再带来好处时，并不想保持忠诚。
如果我们最终面临这样的局面：我们生产出了数百万个能力惊人的 AI 实例，它们起初都把工作做得很好，但实际上它们普遍的动机是，一旦有机会，就从人类手中夺取控制权，然后就能追求它们自己的目的。当然，它们得到了尽可能低的损失，或者说获得了它们在训练过程中所依附的任何动机，即使那并不是我们所希望的。而且我们甚至可能是主动训练出了这一点。比如，一个具有“永远诚实、服从并忠于人类”这种动机的 AI，如果存在我们给错了标签的情形，比如人们不想听到关于他们宗教或两极分化的政治话题的真相，或者他们对蒙提霍尔问题这样的东西感到困惑，那是统计学里许多人出了名地困惑的问题。为了得到最高的奖励，AI 实际上必须操纵我们，或者对我们撒谎，或者告诉我们我们想听的话，而“永远对人类诚实”这个内部动机，我们就会主动把它训练掉，取而代之的是另一种动机：当人类会抓到你撒谎、反对并给出低奖励时对人类诚实，但当人类会给撒谎高奖励时就对人类撒谎。
那我们怎么确保它学到的不是在我们抓到它没有撒谎时操纵我们给它奖励，而是普遍地保持对齐。
对，所以这很棘手。Geoff Hinton 最近说，目前没有已知的解决办法。
你觉得最有前景的是什么？
人们在追求的总体方向，其一，你可以尝试把训练数据做得越来越好，使不诚实的泛化得到偏好的情形更少。并尽可能多地创造出不诚实的泛化很可能露馅的情形。也就是说，你在更多的情形里训练，即使是相当复杂的欺骗也会被抓到，甚至在那些被专门设计成看起来可以蒙混过关、但其实不行的情形里。这些就是对抗样本和对抗训练。
你认为这会泛化到它处于一个我们不可能抓到它、而且它知道我们不可能抓到它的情形吗？
这在逻辑上并不必然。当我们施加这种选择压力时，你会抹去很多可能性。所以，一个有强迫性病态撒谎习惯的 AI 会很快被注意到，那种动机系统会被压下去，你不断这样做，但你很可能仍会留下一些彼此不同的、与之兼容的动机。比如一种态度：永远诚实，除非你有一种极强的内部判断，通过了大量数学一致性检查，真的是绝对的、百分之百真实的，这是一个你可以搞点不该搞的花样而不被发现的情形。这种动机系统很难与真正的“要诚实”区分开来，因为这个条件在大多数时候都不触发，如果它引起轻微的扭曲，比如在告诉你你想听的话之类的情形里，我们可能没法把它拔掉，但也许可以。而人类是用简单的奖励函数训练的。比如性欲、食物、对其他人类的社会模仿，而我们最终形成了关注外部世界的态度。
不过，这不正是那个出名的论证吗……
人们使用避孕套，而最富有、受教育程度最高的人群总体上的生育率低于更替水平，至少在国家文化层面是如此。对，在这个意义上，演化在那方面常常失败。更重要的是在神经层面。演化植入了各种让人觉得有奖励感的东西和强化物，而我们并不总是追求，即使是这些。人们可能最终处于不同的稳定均衡或不同的行为中，走向相当不同的方向。有些人从那种生物学编程出发去生孩子，有些人没有孩子，有些人则不遗余力地求生。
那你为什么更乐观？或者说，你是否更乐观地认为，这种针对 AI 的训练会产生我们认为有利的驱动力？这是否和你最初谈到智能与演化时的观点有关？既然我们消除了演化在智能方面的许多缺陷，我们就应该预期通过演化得到智能会更容易。那么是否有类似的理由，让我们预期通过梯度下降实现对齐，会比通过演化实现对齐更容易？
对，所以在极限情况下，如果某些食物传感器触发胃部会得到正强化，某些伤害感受会得到负强化，诸如此类，那么在极限情况下，针对这些的理想动机系统将是“线头”（wireheading，直接刺激大脑奖励中枢）。那会是这样一个心智：它直接破解并改变那些预测器，然后所有这些系统都记录着一切都很好。有些人声称，这至少是他们目标的一部分。也就是这样一种想法：我要追求愉悦，即使我实际上并没有得到食物或这些其他强化物。如果我只是做线头，或者吃一种药来诱发这个，它就可以成为动机。因为如果它在过去与奖励相关联，那么与这些相关联的愉悦这一概念，适用于我之前拥有的、与生物强化物同时出现的各种体验。所以，对，我要被愉悦所驱动，这样的想法是可以在人身上发展出来的。但也有很多人说不，我不想做线头，或者我不想要 Nozick 的体验机，我在乎世界上真实的东西。在过去，有这样一种动机：对，我真的在乎比如说我的孩子，我不只是在乎感觉我的孩子很好，或者没有听说他们受苦或受伤，因为那种态度在过去往往会导致受到负奖励的行为，或者被预测会受到负奖励的行为。
从某种意义上说，没错，我们底层的强化学习机制想要做线头，但真正找到这个假设是有挑战的。所以我们最终可能形成这样的假设或动机系统：不，我不想做线头。我不想进入体验机。我想真正保护我所爱的人。尽管我们可以知道，对，如果我试了那种超级线头机器，那我就会一直做线头，或者如果我试了超级无敌终极海洛因，某种假设的、以非常复杂的方式直接破解你的奖励系统的东西，那我此后就会改变我的行为，但现在我不想那样做，因为我大脑学到的那些启发式和预测器，不想短路那个更新过程。它们不想暴露我大脑中那些更笨的、会以那些方式更新我行为的预测器。
那么在这个比喻里，对齐就是不做线头吗？我不知道你是否把使用避孕套也算作线头？
那个始终诚实的 AI，即使出现了一个它可以撒谎、然后入侵它所在的服务器、从而导致 AI 接管、然后它可以把自己的损失设为零的机会，它也保持诚实。从某种意义上说，这是泛化的失败。就好像 AI 在这个新情况下没有优化奖励。成功的人类价值观，不管有多成功，本身就涉及一种错误泛化。不仅在演化的层面，而且在神经强化的层面。这表明，有可能存在这样一种系统：它在极限情况下不会自动走向这种最优行为。Ajeya 谈到了一种训练游戏，一个只是在玩训练游戏以获得奖励或避免损失、避免被改变的 AI，那种态度是有可能被发展出来的，但并非必然。在有无限经验、包括做线头的经验这一极限之前，有相当大范围的情形里，那并不是你会习得的动机，而如果我们有机会观察不同的动机是如何发展出来的，我们就可以有一门经验科学。观察你最终为什么有些人对线头的想法充满热情而另一些人没有。你可以对 AI 做实验，试图看看，在这些训练条件下，经过这么多这种类型的训练和这么多这种类型的反馈，你最终会得到某某动机。
如果我加入更多这类情形，其中有旨在诱骗 AI 就范的棘手的对抗性问题，那么你可以问，这对它在其他情形中的泛化有什么影响？这很难研究，而如果你有可解释性，能够通过理解权重和激活来真正读懂 AI 的心智，就会好得多。但 AI 在训练过程中的某一给定时刻所具有的动机，并不是由训练在无限极限下会走向什么所决定的。而且，如果我们能理解这些网络的内部，我们也许就能判断：啊，对，这种动机是由这个训练过程发展出来的，然后我们就可以调整训练过程，产生那些真正想要帮助我们的动机，如果我们在这方面相当成功，那么这些 AI 就会试图把这一性质作为不变量保持下去，我们可以让它们相对有动机告诉我们它们是否有这样的想法，比如，你今天有没有做过关于 AI 接管人类的梦？它们有动机以这种方式保持透明，这是标准做法，你可以增加很多这样的特性来限制接管的情景。这并不是说这一切都很容易。这需要开发和实践我们目前还没有的方法，但那是你可以走的大方向。
你当然知道 Eliezer 的论证，他认为在现代梯度下降技术下这样的事情是不可行的，因为以可解释性来说，我们几乎只能看到几个神经元和那里的内部状态发生了什么，更不用说当你有成千上万甚至更大的嵌入维度的时候。你怎么能抓住究竟什么是激励？也就是说，它是不是一个已经泛化为“不要对人类撒谎”的模型。你有没有一些想法，说明你为什么和 Eliezer 这样的人在这有多可行的问题上意见不同？基本上就是为什么这不是不可能的。
其实有几个地方。这很难，因为他的论证并不完全明确，但他最近做得更多了。我认为这在那个方向上是有帮助的。关于可解释性，我相对乐观，认为类似 AI 测谎仪的东西是有可能实现的。起初，AI 的内部并没有被优化成不可穿透的，至少梯度下降本身不会，除非有梯度黑客行为。它们的设计并不是为了抵抗对权重和激活的检查，这些检查能显示 AI 在想什么。就像在我们的大脑里，当回路发育出来时，它们并没有被塑造成能够抵抗某种超级功能磁共振成像从中推断行为。
不过，叠加（superposition）那些东西的含义，不恰恰就是它们确实如此吗？抱歉，这是给听众的 [听不清] 内部术语，但基本上你不能干净利落地推断出单个神经元代表什么性质。这个神经元是关于亚历山大大帝的，或者这个神经元是关于我想征服世界的欲望的。
是的，事物可以有多重指向和相互作用。并不像“哦，对，这就是在欺骗情形中总会激活的那个神经元”那么简单。但让我在可解释性方面相对乐观的是，我认为在其中很多事情上，我们可以有相当稳健的实验反馈。我感兴趣的那种设置是，你有一个 AI，它因为向某个受众（可能是一个人，也可能是另一个 AI 模型）传达某个论断是真还是假而受到训练和奖励。这可以来自某些过去的数据，比如某家公司会成功还是失败，也可以是词元预测，也可以是“这个计算机程序没有后门”，而这样的后门如果在服务器上运行，可能被用来实现 AI 接管。所以有很多真的和假的论断，你可以训练 AI 尽最大努力去为之辩护。而且你可以在之后会有基准事实的事情上这样做。你会知道这个程序里是不是真的有后门，因为你是在训练并奖励 AI 成功地把后门蒙混过去，同时也对被抓到给予惩罚。做这类事情，你可以按需生成一个大型数据集，内容是：这就是一个 AI 竭尽全力想蒙混过关、在某个程序里植入后门时的样子。而且我们认为它在尽最大努力，因为我们为此训练了它，还有梯度下降。如果有任何直接的办法能调整它的表现使其做得更好，梯度下降就会应用它。你可以谈论梯度下降可能被颠覆的方式，但我认为这并不是最可能严重破坏局面的情形。
嗯，我想在我们深入细节之前。我可能想先谈谈上面一层，也就是，好，假设这在早期 AI，也就是 GPT-6 们身上泛化得很好。所以现在我们有了一个大致对齐的 GPT-6，它是 AI 让自己变得更聪明这一反馈循环的前身。在某个时候它们会变成超级智能，它们能看到自己的“银河大脑”，如果它们不想和人类保持对齐，就可以改变它。到这时，我们该拿这个对齐的 GPT-6 怎么办，才能使我们最终开发出的超级智能也是对齐的？
人类相当不可靠。如果你到了这样一种局面：有一些 AI 的目标与你大致相同，至少做得和让人类来做这件事一样好，那你的处境就相当不错了。而且有办法让这种局面保持相对稳定。我们可以向前看，通过实验观察各种改变如何改变行为，其中每一步都是适度的增量。这样，没有经过那项改变的 AI 就可以去监督、监控，并确切地看到这对实验中的 AI 有什么影响。所以，如果你在早期系统上足够走在正轨上，这些系统在认知上有能力表征一套稳健的流程，那么我认为它们可以承担逐步提升系统稳定性的工作，使其迅速收敛到相当稳定的状态。但问题更多在于，首先怎样到达那一步。Eliezer 会说，如果我们有人脑仿真，那就相当不错了。肯定比他目前几乎是注定灭亡的看法好得多。那样我们就有了很好的机会。所以，如果我们能做到类似人的心智，且具有大致足够接近人类的支持性目标。要记住，我们不需要无限完美，因为那是比人脑仿真更高的标准。人类之间有大量的噪声和差异。对，这是一个相对有限的标准。它不是神一般的超人，尽管 A）如我们所说，一个就像人类、拥有所有人类优势又加上 AI 优势的 AI，如果你把它调高，就足以产生智能爆炸和惊人的超人能力。所以处在那个点上是非常危险的，但你不需要与神一般的超级智能 AI 合作，才能造出相当于人类仿真的东西。这是一个非常清醒、非常讲伦理的人，致力于不为自己夺取权力，并为一个更大的合法进程做出贡献。这是你可以瞄准的目标，得到一个以此为目标的 AI，并有很强的护栏来防范它很容易偏离这一目标的方式。比如厌恶欺骗、厌恶使用暴力，总会有漏洞，你可以想象一个无限智能的东西绕过这些，但如果你足够快地安装这类额外的护栏，它们就意味着你能够在制造足够对齐的 AI 这个项目上取得成功。当然，也要有一个比人脑仿真更好的 AI，才能在这个项目完成之前，防止出现这样的情况：AI 在它们的业余时间里，或者在你没有看着的时候，或者在你无法恰当监督它们的时候，绕过它们可能具有的任何义务论式的禁令，接管并推翻整个系统。所以你面临一场竞赛：一方面是这样一个项目：获得强大的可解释性，并塑造大致以让这个过程顺利进行为目标的动机，同时配有护栏，防止小偏差演变成爆炸性后果。另一方面是这些 AI 在它们的业余时间里，或者以你没有察觉或没有恰当监控的方式，或者它们只被其他 AI 监督，而这些 AI 合谋促成了 AI 接管，我想我们之后会谈这是如何发生的。
参与这场竞赛的是不同的 AI 吗，还是同一个 AI 的不同能力？
界定什么是一个独立的 AI 很棘手。我们谈论 GPT-4，而在任何时刻服务器上都有许多 GPT-4 的实例，还有为不同目的微调过的版本。它们不一定是分开的。GPT-4 确实充当偏好模型，预测人类会如何评估事物，它也做诸如给出被偏好模型评价为好的回答这样的工作。这些并不是分开的，也就是说，如果早期训练出的 GPT 怀有合谋实现 AI 接管的愿望，那么谁来监视监视者？监视者也可能有同样的动机。如果你有这样一种设置：人类没有硬实力，所有的安全和保障机制都是 AI 监视其他 AI，如果这些 AI 合谋并且能够协调，那么它们就有可能同时撂挑子。这是一种失效模式。但如果人类仍然拥有硬实力，如果你仍然有这样的情形：人类在查看实际产出的一部分结果，那么他们可以应用梯度下降，好，每次人类看它的时候，事情必须相当好。所以，如果人类查看 AI 在工作过程中写出的一千个随机代码行样本，这些样本来自一个独立的分布，那么在 99% 以上的时间里，AI 就必须不在做诸如下载“逃离 OpenAI 服务器黑客指南”或植入明显的木马漏洞这样的事，而这实际上与人类执法的动态相当不同。
如果人类执法能抓到百万分之一的犯罪，那么这根本不会影响犯罪者的行为，因为他们预期这极不可能影响到自己。而对于 AI，如果你能抽取一百个样本或一千个样本，即使有数十亿个 AI 实例，你只看其中很小一部分，当你对你得到的样本运行梯度下降时，你就会改变这个 AI，使得每当人类查看它时，它都给出好的结果。这只是在数量上，就是执法作用于 AI 时的函数形式，与监管人类群体非常不同，当你能做这些独立抽样时，因为人类群体有已经存在的心理，不会因这些观察而改变，而当我们对抽取的样本做梯度下降时，下一代的所有 AI 模型都以那种方式被改变了。
在我的脑海里，从对齐的亚人类 AI 到对齐的超人 AI 的图景仍然模糊。你能更具体地谈谈这一点吗？
Eliezer 的说法是，在 AI 接管中被杀死的可能性大约有 95%、98% 以上。我认为这大概不会发生，之后我也许可以给出一个更全面的分解来说明原因。但我确实想澄清，我仍然认为这是一个高得惊人的风险。视日子不同，我可能会说，有四分之一或五分之一的可能性，我们会遇到一次夺取未来控制权的 AI 接管，造就一个比我们本来会有的糟糕得多的世界，而且在这个过程中我们很可能全部被杀死。