AGI 还要 30 年——Ege Erdil 与 Tamay Besiroglu
AGI is still 30 years away — Ege Erdil & Tamay Besiroglu
嘉宾：Ege Erdil、Tamay Besiroglu
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01AGI 还需要三十年
今天我请来了 Tamay Besiroglu 和 Ege Erdil。他们之前负责运营 Epoch AI，现在正在创办一家致力于实现所有工作自动化的公司 Mechanize。Tamay，你最近提出了一个有意思的观点：所谓“智能爆炸”这个概念是错误的，或者至少有误导性。你能解释一下吗？
我觉得这个概念不太有用。它有点像把工业革命称为“马力爆炸”。当然，工业革命期间，原始物理动力大幅加速增长，但还有许多其他因素也许同样重要，能够解释当时经济增长和技术变革为何加速。
如果只用马力来理解工业革命，会漏掉哪些更广泛的变化？
我认为，工业革命期间，经济中许多领域出现了一系列相互补充的变化，包括农业、交通、法律与金融、城市化，以及人口从农村迁往城市。许多创新同时发生，最终改变了社会组织经济活动的方式。
关键不只是马力增加了。当然这也是其中一部分，但理解工业革命时不应把它当作核心。类似地，AI 发展固然会带来很多非常聪明的系统，但这只是众多相互作用因素之一；许多环节共同解释了我们为何预期会出现这种转型，以及增长和技术变革为何会加速。
我想更好地理解你们如何看待这种更广泛的转型。在此之前，你们世界观里另一个很有意思的地方是：你们对实现 AGI 的时间线比旧金山大多数 AI 从业者要长。你们预计什么时候 AI 能完全替代一名远程工作者？
对我来说，大概是 2045 年左右。
哇，等等，那你呢？
我会比他乐观一些。不过这取决于你说的“完全替代远程工作者”是什么意思：是能做所有可以远程完成的工作，还是能做其中的大多数？
我说的是字面意义上的所有工作。
如果是所有工作，那就把 Ege 的预测往后调五年，或者调高 20% 左右吧。
为什么？过去几年我们取得了这么多进展。从两年前的 ChatGPT 到现在，模型已经能进行推理，写代码比我还好；我大学学的就是软件工程。当然，我后来成了播客主持人，我不是说自己是世界上最好的程序员。
既然过去两年进步这么大，为什么还要再等三十年才能让远程工作全面自动化？
我认为，很多人直觉上觉得进展非常快。他们看着趋势线直接外推，就觉得显然 2027 年或 2030 年左右就会实现，因而非常乐观。但这种外推并不是可以直接照做的。
你不能把“何时实现全面自动化”的趋势线直接外推。如果看 AI 实际自动化的经济活动占比，这个比例非常小。若直接外推这条趋势线，比如 Robin Hanson 喜欢做的那样，结论就会变成还要几个世纪才能实现。
我们不同意这种看法。但我认为可以换个角度思考：要产生广泛的经济影响，比如让增长加速十倍，AI 系统还需要掌握多少项重要能力或核心技能？过去十年、十五年我们已经取得了哪些进展？我们也有一种以算力为核心的看法……
我补充说明一下 Ege 的意思。回顾过去十年的 AI 进展，我们的训练算力增加了大约 9 到 10 个数量级，同时解锁了多种能力。早期，人们让 AI 在一些复杂的特定游戏中取胜；2015 到 2020 年间，围棋、国际象棋、Dota 等游戏都取得了突破。后来，大语言模型展现出复杂的语言能力，还可能解锁了高级抽象推理、编程和数学等能力。
过去十年里，可能解锁了几项重要能力，大约每三年一次，也许每当算力扩展三个数量级就会出现一项。于是问题是：要让 AI 系统具备与人类相当的全面能力，尤其是胜任各种远程工作，还需解锁多少这样的能力？也许需要长时间跨度上的连贯性、行动能力和自主性，或者像人类一样全面理解多模态信息。
接下来可以问：这需要多久？过去从日历时间看，大约每三年解锁一项能力。但那段时期恰好也伴随着训练算力快速扩张。从 AlexNet 到如今最大规模的模型，算力大约增加了 9 到 10 个数量级。现在算力扩张越来越困难。我们做过外推，也分析过能源、GPU 产能等具体限制。
据此看来，算力可能还剩下三到四个数量级的扩展空间。再往后，就得把世界产出的相当大一部分，或者至少不可忽视的一部分，投入数据中心、能源基础设施、芯片厂等建设。
现在这些已经占 GDP 的 2% 左右了，对吧？
目前还不到 2%。
而且现在投入的大部分其实还没有用于 AI 芯片。比如目前台积电的产能大多还在生产手机芯片之类的产品，对吧？
即使是最先进制程，也只有大约 5% 用于 AI。
没错，先进制程所占的比例也很小。这说明，为了再解锁那些能力，我们可能需要大幅扩展算力。问题是，整个经济体系是否有能力维持这样的扩张？
但你们似乎直觉上认为，智能还有很大提升空间。我用这些模型时觉得它们几乎已经到了那个水平，有时会忘记自己是在和 AI 对话。
你说的“几乎到了”是什么意思？我没法让 Claude 把这只杯子拿起来放到那边。
我说的是远程工作。
好吧。但即使只谈远程工作，我也没法让 Claude……我认为现在的电脑操作系统连机票都订不好。
如果到 2026 年底它们就能订机票，这会让你的判断改变多少？
我觉得今年年底它们很可能就能做到。但那是非常简单的事……没人会专门受雇去订机票。这不算一个工作岗位。
我觉得确实有人做这种工作。
如果真有一份工作只是订机票，而且不包括……
我认为这点很重要。很多人会看着经济中的某个岗位说：“那个人的工作就是做 X。”但事实并非如此，那只是他们工作中的一项任务。如果看他们实际上班时间里有多少用于做这件事，可能占比很小。旅行代理也是如此，大家觉得他们只负责订酒店和机票，其实这并不是他们的大部分工作。因此，自动化订票并没有自动化他们的岗位，对整个经济的影响也不大。
我认为，这是我们与那些更乐观的人之间一个重要的世界观差异：他们认为经济中的岗位在某种意义上要简单得多，完全自动化这些岗位所需的能力也少得多。
我们的朋友 Leopold 提出过“解除束缚”（unhobblings）的观点。也许可以这样理解：这些系统基本上已经是婴儿版 AGI，只是受到人为限制。例如，我们只用文本训练，没有给它们理解 Slack 或 Gmail 环境所需的训练数据；在推理时扩展出现之前，也没有给它们时间反复琢磨回答；没有提供完整的工作背景，只在提示词里给它们几分钟的零碎上下文。这些限制压低了原本就有的一点智能，使它们无法发挥应有的生产力。因此，解除束缚似乎比创造全新的智能能力更容易。你怎么看这个框架？
我想，五年前你也可以提出类似说法：“看看 AlphaZero，它已经有一点 AGI 了，只要解除束缚，拿文本训练并给它完整上下文……”但事实证明这并不管用。我认为，要获得这些能力，确实需要重新思考如何训练模型。
不过，过去几年的意外之处在于，你可以从互联网上预训练好的语料开始，再相对容易地让模型具备这些能力。ChatGPT 就是解除束缚的例子：只额外花相当于 1% 的算力，通过后训练让它以聊天机器人的方式对话，就足以让它非常胜任这项能力。
推理也是一个例子。现在这些模型用于强化学习的算力只占总算力的一小部分。推理看起来很复杂，但只需投入 1% 的算力就能实现。为什么不认为电脑操作，或长期自主操作电脑，也会是类似情况？
你说“推理很容易”“只花了这么多算力”“并没有花多少”，也许你看 token 数量也觉得不多，所以看起来很简单。站在今天的位置看，确实如此。但如果你在 2015 年请人构建推理模型，那会看起来难以逾越：你得用数万块 GPU 训练模型、解决整个问题；从当时起算力每扩大一个数量级，都会带来新的挑战。
你还需要产生互联网规模、也就是数万亿甚至数十万亿 token 的数据，才能训练出具备相关知识的模型；然后通过训练使它成为推理模型，再解锁并调用这些知识。你可能还要提高推理效率并进行蒸馏，否则推理模型太慢就不实用。你还得做出各种创新，让模型能够蒸馏出来、训练得更快，因为生成推理轨迹会花很久。
如果推理模型每秒只能生成几个 token，它很难成为有价值的产品。站在过去五年积累的庞大技术基础上看，一切似乎都很容易；但在当时，这些问题会非常难。
我的意思是，行动能力也许在类似意义上会显得容易：三年或五年后，我们回头看，会发现是什么解锁了行动能力，而且看起来相当简单。但要让模型学会成为胜任工作的智能体，可能需要许多互补创新；这些工作本身可能很难，需要几年时间，以及硬件、算力扩展等方面的一系列进步。
我觉得 2015 年和现在的不同之处在于：2015 年要解决推理问题时，根本没有可以起步的基础。也许可以试试形式化证明之类的方法，但没有可以依靠的底座。现在我们已经有了预训练基础模型，也有脚手架、后训练和强化学习等方法。所以在你看来，这些技术未来会像今天看 AlphaGo 一样，成为更广泛智能的基础。
你对为什么不该认为现有大语言模型已经解决了关键难题、我们只需在其上不断叠加能力，有什么直觉吗？
我觉得关键是有什么理由相信这种说法？当时 AlphaGo、AlphaGo Zero 和 AlphaZero 都很了不起：模型可以不借助人类知识，从零开始学习下棋，确实让很多人印象深刻。但后来人们尝试把它们应用到数学和其他领域，效果并不好，也没能训练出胜任数学的智能体。
所以很可能，至少按我们现在的方式训练，这些模型并不适合像当初处理推理那样来解决行动能力问题，效果可能不会很好。接着你就不会——
等等，你是说到 2026 年底，我们就会拥有能自主操作电脑的智能体？
我认为 Ege 说的是它能订机票，这和完全自主地使用电脑是两回事。
我觉得电脑上的其他工作，也不过是订机票这类任务组合起来的。
当然，但这些任务并不是互不相关的。这就好比说，你在现实世界做的一切，不过是移动身体的各个部位、动动嘴和舌头，再转转头。单独看，这些动作确实简单，可要怎么把它们组合起来呢？
好吧。这里有两类相当不同的证据。
第一类是我们私下谈过的 METR 评测。它显示，在某些任务上，AI 能完成的任务时长似乎每七个月翻一倍。比如人类要花 10 分钟、一小时或四小时完成的任务，模型完成对应任务的时长在不断增长。按照这条曲线外推，到 2030 年，它们可能能完成需要人类花一个月、甚至一年的任务。长期保持连贯并执行任务，本质上就是智能。这条曲线说明我们正在接近目标。
另一类证据来自我自己的思维体验。我很容易分心，也很难一直在脑中维持长期计划。我在这方面比这些模型稍微好一些，但它们和我似乎并没有那么不同。我原以为推理非常复杂，结果看起来只要学会大约十个 token 的蒙特卡洛树搜索（MCTS），也就是“等等，回头再想想，换个角度思考”，似乎就够了。
光是思维链就能显著提升表现。这让我觉得，智能可能比我们想象的简单；行动能力或许也一样。
我认为有理由预期，复杂推理没有人们事先想象的那么难，因为 AI 很早解决的一些任务本来就涉及不同形式的复杂推理。当然，那和人类解数学题时所用的推理不完全一样。
但如果回顾 1950 年以来 AI 的重要里程碑，很多都涉及复杂推理。比如国际象棋可以算是一种复杂推理任务，围棋也一样。
不过，长期行动能力也有例子。赢得《星际争霸》就要求智能体在一段相当长的时间里持续行动。
没错。问题在于，那是非常具体、狭窄的环境。下围棋或下国际象棋也需要一定行动能力，这是真的，但任务范围很窄。这就像你开发一个软件系统，让它能对某种特定图像或视频输入做出反应，然后就说它快要实现通用的感觉运动技能自动化了。
通用技能则完全不同。我认为现状就说明了这一点：我们离能拿起 Steam 上一款普通游戏的 AI 还很远。假设你下载一款今年刚发售的游戏，从没玩过它，现在必须上手。大多数游戏对人类来说其实并不算难。
那 Claude 玩《宝可梦》呢？我觉得它并没有专门用《宝可梦》训练过。
这是个有意思的例子。首先我觉得它很有趣，因为它确实没有专门针对《宝可梦 红》做强化学习。但模型显然知道怎么玩，因为互联网上有大量关于《宝可梦 红》的资料。
实际上，如果你玩《宝可梦 红》时卡住了，可以问 Claude：“我困在月见山了，该怎么办？”它大概能给出不错的答案。但即便如此，它玩游戏时仍可能在月见山卡上 48 小时。这很有意思：模型明确知道该怎么做，可真正玩起来时，行为却没有体现出这些知识。
它只需要把明确的知识运用到行动中就行了。
可这真容易吗？
好吧，如果模型能借助预训练知识，在这些游戏里表现得还算不错，那么即使它依赖的是另一套技能基础，只要同样善于利用已有知识，能力范围也应该类似。要是它读过人类见过的所有技能相关资料呢？
很多人掌握的技能，并没有很好的训练数据。
没错。未来几年你希望看到什么进展，才会让你觉得：“看来我错了，这就是最后一个能力解锁；现在只需把边边角角打磨好。”然后我们就能得到那个可能引发——姑且称之为——智能爆炸的东西？
我认为，如果模型展现出处理超长上下文的能力，有意义地运用多模态能力，并把这些能力与推理和其他系统整合起来，会让我改观。此外，它还应该能在很长的时间跨度上采取行动，完成耗时很久的任务；不能只在特定软件环境中做到，而要有广泛的通用性。比如从 Steam 下载一款它从没见过的游戏，
这款游戏几乎没有训练数据，可能在训练数据截止之后才发布，网上也没有攻略或早期版本的讨论。模型仍能完成游戏，从头玩到结尾，实现那些对人类来说很难的目标，那会显著改变我的判断。其他证据也会让我改观，比如 OpenAI 的收入远高于现在。
按照他们合同中的规定，收入达到 1,000 亿美元就算实现 AGI。这足以改变你的判断吗？
如果真的达到 1,000 亿美元，这不会让我特别意外。我觉得这种情况有一定可能性，大概会给 40% 左右的概率。但如果真达到 5,000 亿美元之类的规模，我肯定会大幅调整看法。
如果一个系统按生产者剩余计算值 1,000 亿美元，那它和 AlphaZero 的区别在于，AlphaZero 永远不可能在市场上创造 1,000 亿美元。那智能到底是什么？它能有效实现自己的目标，或者你的目标。如果人们愿意为它支付 1,000 亿美元，这足以说明它能实现某些目标。
人们会为各种东西花 1,000 亿美元。我认为这个数字本身并不是 AI 将带来变革的有力证据。
人们花在石油上的钱是数万亿美元。这个道理很基本：人们愿意为某样东西支付巨款，并不意味着只要解除它的束缚，它就能改变世界经济。这是完全不同的主张。
§02推理模型仍缺乏动物般的智能
这就把我们带到了智能爆炸。有人会说，我们不需要自动化所有远程工作，甚至不需要自动化所有人类劳动；只要自动化完整研发循环所需的工作，让 AI 研发出更聪明的智能就够了。
然后就会出现非常快速的智能爆炸，最终产物不只是 AGI，甚至可能超越人类。它们已经很擅长编程和推理，看起来也具备 AI 实验室实现研发自动化所需的能力。你怎么看这个逻辑？
如果拿它们的能力与经济中随便一个岗位相比，我同意它们在研发相关编程任务上的表现会好一些。但绝对水平仍不算很高。它们擅长的是一些让我们觉得人类程序员很厉害的事情。比如要判断一个程序员有多出色，可以看竞赛编程成绩；企业招聘初级员工时也常用这类题目。但这只是在和人类能力分布比较时显得厉害。
从绝对意义上说，如果要真正自动化研究人员的工作，需要哪些技能？AI 现在具备其中多少？即使只看编程，也有很多工作需要处理大型代码库，而指令往往含糊。你刚才提到 METR 评测；为了让它能被评测，任务都必须简短、封闭且有明确指标，比如“让这个模型在这组数据上的损失尽可能低”，或者“这个模型的嵌入矩阵被打乱了，请修复并尽量恢复原来的性能”。
这些并不是 AI 研发人员实际要解决的问题，都是非常人为设计的任务。如果一个人擅长做这类题，我们可以合理推断他可能是个好研究员。但 AI 缺少研究过程中需要的许多其他能力；事实上，甚至普通人都会具备不少我们想不到的能力。因此，我们认为研究自动化比很多人想象得难，需要更多技能，显然也远远超过目前模型展现出的水平。
此外，即使研究过程实现了自动化，我们认为很多软件进步并非主要来自认知投入，尽管这也有作用；很大一部分来自算力扩展。GPU 更多，就能做更多实验，发现更多东西，并在更大规模上运行实验。如果你在十年或十五年前试图预测未来十到十五年哪些软件创新会很重要，会非常困难。你甚至可能想不到真正重要的创新，因为你离当时拥有更多算力的环境，以及人们届时已经积累的知识，还太远。
这构成了我们看法的两个部分：研究比人们想象的难，而且很大程度上依赖算力规模。
能不能举个更具体的例子？哪些任务不同于“训练一个分类器”或“调试一个分类器”，但又与 AI 研发有关？
例如提出一种全新的创新，能为未来进一步创新解锁能力；也可能是提出一种看待问题的新思路。数学领域有个好例子：现在的推理模型非常擅长解数学题。
但它们处理的任务时间跨度很短。
是的。它们不一定特别厉害，但肯定比我强，可能也比大多数本科生强。它们很擅长解题，却不擅长提出能推动数学进步的新概念框架。它们可以从非常混乱的背景中，把一道题清楚地摘取出来，然后在题目上取得很大进展。
但在更混乱的背景里，它们不太会判断哪些方向值得投入、该如何搭建工具或逐步推进，从而为日后重大创新铺路。我认为，在更大的背景下思考、处理更长时间跨度的任务，以及优化目标更模糊的工作时，它们的表现要差得多。
没错。我觉得推理模型有个有意思的特点：它们知道的东西太多，尤其是更大的模型，某种意义上掌握的知识甚至超过任何一个人类。我们在这些知识上解锁了推理能力，我认为这正是它们能解决许多问题的原因。但如果仔细看它们解决问题的方式，我们之所以觉得它们的表现惊人，是因为人类掌握的知识少得多。
模型处理问题的方式与人类有根本区别。人类知识有限，通常必须更有创造力地解决问题；模型却知道很多。例如，你问它一道冷门数学题，若需要用到 1850 年提出的某个定理，大模型可能直接就知道。这让两者面临的难度结构很不一样。
如果看推理模型解决问题的方式，它们通常并不富有创造力，而是非常有效地利用已有的海量知识，因此在许多方面表现出色。但你可以问：推理模型有没有提出过哪怕让数学家稍感兴趣的数学概念？我从没见过。
它们出现也不过才六个月。
六个月已经很长了。一位数学家在这段时间里可以做很多工作，而它们在数学上生成的 token 数量要少几个数量级。
我想强调一点：这些模型拥有的知识规模极其庞大，从人类角度看简直惊人。可它们甚至没有展现出有趣的知识重组，比如“这个领域的概念和另一个领域的某个概念有点相似”。没有从中产生任何创新。不一定非得是重大的数学概念，也可以是一个小想法，足以登上过去那种周日数学杂志；但连这样的例子都没有。
我觉得有必要介绍一个重要框架，帮助理解 AI 擅长什么、又在哪些方面落后：莫拉维克悖论。对人类来说看起来很难的事情，AI 往往进步更快；反而那些对人类似乎容易得多的事情，AI 会非常吃力，甚至完全做不到。抽象推理、下棋、下围棋、玩《危险边缘》、高阶数学和解数学题都属于前一类。
还有更极端的例子：在脑中乘两个 100 位数，这几乎是最早被解决的问题之一；或者理解非常复杂的符号逻辑论证，比如演绎推理。人们往往很难判断前提如何逻辑地推出结论，而形式化证明系统处理这类问题却很容易。
另一个相关且重要的发现是：人类觉得困难、AI 却进步很快的任务，往往是在进化史上比较晚近才出现的。高级语言能力大约在十万年前才在人类中出现，下棋和围棋更是非常晚近的发明。进化用来优化这些能力的时间少得多；而且这些能力刚出现时，对人类生存优势的提升也有限，因此进化压力并不强。
所以，AI 在人类觉得很了不起的特定任务上迅速进步，并不奇怪。对人类而言，这些能力往往与其他本领高度相关，比如实现目标的能力。擅长编程的人通常也擅长解编程题，优秀工程师也往往擅长竞赛编程题。
但在 AI 系统里，这种相关性就没有那么强。即使只看 AI，竞赛编程最强的模型，也不一定最能帮你实际写代码。比如 o3 mini 的 high 配置也许最擅长解竞赛编程题，但它并不是最好的编程助手。
而且企业收入并不是主要来自 Coursera 之类的平台，主要还是来自 Claude，对吧？
这里有个重要认识：对人类来说很了不起的能力，AI 可能会进步得更快。但我们不应据此大幅提高对它们一般能力的判断，因为这些只是人类成为胜任且有经济价值的智能体所需的一小部分任务。
是的。首先，我很感谢有一家 AI 机构会认真看待算力视角。也有其他人重视算力，或试图根据经验研究规模定律、数据等；但沿着这条思路思考，有些人就会得出“2027 年实现 AGI”的结论。这也许是对的，但有意思的是，你们看过完全相同的论据、论文和数字，最终却得出截然不同的结论。
两年前我采访 Dario 时，也问过他这个问题，那期节目后来走红了。
他是不是说 AGI 两年内就会实现？
是的，不过 Dario 一直都预测时间很短。
可现在已经过了两年。
他真说了两年吗？我记得他好像真这么说过。
他说的是三年吗？
那还剩一年。
还剩一年。
那得努力干了。
但我觉得他尤其不太擅长校准预测。2018 年，他曾经……
我记得 2017 年和一位现在在 Anthropic 的资深人士聊过。他当时告诉好几个人别读博士，因为等他们读完，所有工作都已经自动化了。
总之，因为他对时间线预测得比较短，我也问了他这个问题：如果人类拥有这些模型掌握的知识，会发现各种联系。我最近采访 Scott Alexander 时也问过他，他说：“你看，人类也做不到逻辑全知。”
我不是说人类全知，但人类发现这类联系的例子并不少见。我记得他的回答是，模型并没有经过专门训练来寻找这些联系；但你们认为，只需额外投入不多的算力，就能构建一个强化学习环境，激励模型发现联系。下一 token 预测没有鼓励它们这么做，但强化学习或某种脚手架机制或许可以。我记得 Google DeepMind 似乎确实搭建过类似脚手架来促成新发现。至于他们声称大语言模型因此做出了新发现，那发现究竟有多惊人，我没有仔细研究。
莫拉维克悖论确实是理解 AI 进展的有趣方式。但比较动物和人类时，长期智能规划也是一个差异：动物不会帮你订机票，也不会替你做远程工作。
我认为，人类区别于其他动物之处在于，我们能维持长期目标，制定计划并执行；其他动物往往依靠本能，或依靠进化适应过的环境。人类却可以被放到大草原、沙漠或冻原中，学会利用工具。我觉得人类和动物适应不同环境的能力有巨大差异，而这种能力也是近期才被进化优化出来的。既然如此，我会觉得 AI 很快就能优化出这项能力。
我认为，把动物和人类相比较时，情况有些不同。
如果把动物具备的能力赋予 AI 系统，可能已经足以达到 AGI。人类与动物之间差距很大的原因，可能在于动物只能依靠自然环境中的数据训练自己。设想你是人类，却没人和你说话、你也读不了任何东西，只能靠经验学习，或许稍微模仿别人，但没有明确沟通渠道；那样的学习效率会很低。
我觉得还有个观点很重要：进化就像外层优化器，以多种方式提高大脑软件的效率。我们会遗传一些基因知识，但基因组能容纳的信息有限，因此并不多。然后是个体一生中的学习，但终生学习所接触的数据并不多，其中还存在大量重复信息。
我认为，人类相对其他动物的变化在于发展出了文化和语言，这让我们能够使用效率高得多的训练数据。人类模仿彼此、学习他人技能的方式也更强，因此知识更容易传承。我觉得动物在这方面远远不如人类。人类因此能用更有效的数据训练自己，进而获得更高效学习的能力，形成进一步的反馈循环，让进化选择压力变得更强。
我觉得人类大致就是这样发展起来的。但在人类经济中成为好员工所需的许多能力，动物其实已经具备了。它们拥有相当复杂的感觉运动技能，我认为也能追求长期目标。
但这些目标是进化灌输给它们的。我觉得狮子寻找瞪羚就很复杂，还需要跟踪、潜行等等……
但你说是进化灌输的，基因组里其实并没有多少信息。
可要是把狮子放进撒哈拉沙漠，让它去找蜥蜴呢？
好吧。那如果把一个人放到那里，而他没见过相关的训练数据呢？
我觉得人的表现会稍微好一些。
稍微好一些，但也好不了太多。你最近不是采访过一个人吗？
Joseph Henrich。
对，他大概会这么告诉你。
我觉得你提出的观点很有意思，也很微妙，而且会带来一个有趣的推论。人们常说，ASI 会带来巨大的断层，因为从动物到人类也有巨大断层；灵长类祖先与人类在基因上并没有太大变化，却出现了能力上的巨变。于是他们说：“既然如此，为什么不预期人类水平智能到超人水平智能之间也会发生类似变化？”
你这个观点带来的一个推论是：人类并非只是获得了非凡的智能。生物受到一些奇特限制，动物无法与其他个体或知识来源交流；AI 系统却没有被随意施加这种限制。因此，AI 不会遇到一个需要解除这种束缚、随后便突然爆发的时刻。
其实我不同意这个推论。我刚才得出的推论也不太对……我的思维链有点不受控制。
我们之前一起写过一篇关于 AI 企业的文章，其中讨论了未来 AI 也会经历类似的“解除束缚”。这不是智能本身的变化，而是 AI 之间通信和协作带宽的提升。它们可以精确复制彼此的所有知识、合并、蒸馏自己；这带来的社会协作变化，可能与动物到人类的差异规模相近。
也许在讨论这点之前，我想先强调一个重要观点，它可能是我们在 AI 能力和研究问题上与其他人意见不同的根源：我们认为智能、推理，以及以此为基础的研发，并没有那么重要。如果你觉得从非人灵长类到人类的变化极其重要，就会认为大脑规模只增加一点，就解锁了极为重要的能力。
于是你可能会想：“如果我们把训练规模扩展到超过人脑接受的训练算力，大概是 1E24 FLOP 左右，而我们最近已经超过了这个数；那么再多一点算力，或许就能解锁非常高阶的智能，正如人类智能远高于非人灵长类。”我认为，我们之间一部分分歧在于：智能确实重要，但仅仅拥有更多智能、更强推理和更好的推理能力，并不会大幅加速技术变革和经济增长。
如今世界的发展并没有被“缺少足够优秀的推理能力”完全卡住；这并不是经济无法大幅增长的主要瓶颈。我们在这个论点上也许有分歧，但更重要的是，我们对加速如何发生有不同看法：并不是只要有一群很擅长推理的人，提出某项技术，事情就会因此大幅加速。光有这些还不够。其他行业也需要互补创新，整个经济需要增长并支持各项技术发展，供应链需要升级，所开发产品也可能需要有相应需求。
所以我们的看法是，重要的是技术和经济整体的广泛升级，而不只是出现一批非常出色的推理者、产生大量高质量推理 token，然后由此推动加速。
§03智能爆炸
好，我们回到智能爆炸。这是关于智能爆炸的一种论证：
你们说某些事情可能需要更长时间才能实现，这没错。但为了实现更通用的智能，软件研发的核心循环如果只看所需进展，研发确实可能需要更多实验算力；不过正如你们记录过的，未来几年我们的算力每年都会大幅增加。可以设想未来几年出现智能爆炸：到 2027 年，AI 可用算力达到现在的十倍。
然后，负责软件研发的 AI 会找到更高效的方法来运行自身副本，这会产生两个效果。第一，研究 AI 的数量增加，更多副本可以并行寻找不同优化。这里有个微妙但常见的观点：AI 研发并不只是 Ilya 那样提出新的 Transformer 架构。
你说得对，工作还包括从底层库、内核到构建强化学习环境、寻找最佳优化器等许多事项。我不是 AI 研究者，但可以想象许多工作都能并行完成，针对每个环节寻找优化。回到刚才的论点：首先，原版 GPT-4 和现在的 GPT-4o 相比，运行成本到底下降了多少？
相同能力下，大概便宜了 100 倍吧。
对。所以他们找到办法，能以便宜 100 倍的成本运行更多副本，这意味着 AI 研究者数量增加；而更大规模的研究团队又能找到更多效率提升。
而且增加研究者数量还不是全部。研发的互补投入是实验算力，关键不只是算力本身，而是实验。
运行或开发一个副本的成本越低，就能并行进行越多实验。现在的 GPT-4 规模训练，可能比 2023 或 2024 年便宜得多。这样一来，所谓“仅软件驱动的奇点”就能让更多研究者以更低成本运行实验，如此循环。AI 起初或许受到你们提到的某些限制，但通过这个过程会迅速变得更有能力。这个逻辑有什么问题？
我觉得这个逻辑说得通，是理解问题的一种合理方式。但我认为可以参考经济学家研究研发回报的许多工作：当研发投入增加十倍、研究者数量增加时，创新会发生什么变化？
他们指出了两种效应。一方面，创新建立在前人的肩膀上，既有发现使科学家更有效率；另一方面也存在边际收益递减，因为容易取得的成果已经被发现，继续进步会越来越难。总的来说，可以用研发投入的回报来概括这些估算。
我们具体研究过软件研发的投入回报，包括传统软件、线性整数求解器、SAT 求解器，以及计算机视觉、强化学习和语言模型等 AI 领域。如果只靠认知投入，模型是否会带来加速，还是只会保持指数增长？现有估算并没有给出明确答案。
而且，推动创新的不只有研究投入本身，还可能需要互补投入。正如你说的，实验可能是瓶颈。大量证据表明，实验和硬件扩展对算法、架构等领域的进步很重要。一般软件进步往往与硬件进步速度高度吻合：传统软件每年进步约 30%，大体符合摩尔定律。AI 在深度学习时代之前也类似；后来进步加速，而这一加速恰好与算力扩展加速同时发生，暗示算力扩展可能起了重要作用。
除了进步速度恰好同步之外，还有其他证据。例如，算法和架构创新往往集中在 GPU 充足的实验室，而不是 GPU 短缺的学术界或小型研究机构。这也说明大量硬件很重要。看看过去五年的重大创新，许多都与扩展规模或硬件有关：Transformer 的设计是为了利用更多并行算力；FlashAttention 是为了更高效地实现注意力机制；还有 Chinchilla 缩放定律。
许多重大创新都在寻找更有效利用算力的方法。这也说明算力扩展可能非常重要。我认为有许多证据支持互补投入的解释。
所以即使假定实验并不是特别重要，AI 和其他软件领域的估算结果——尽管数据并不理想——也表明，系统算法效率可能不会出现双曲线式的超指数增长。
我不确定自己接受这个论点：算力和 AI 进展同时上升，并不一定证明两者之间存在因果关系。
总体来说，整个行业获得了更多算力，因此取得更多进展。但看顶尖企业时，有不少例子显示，一家公司算力少得多，却因为愿景更连贯、研发力量更集中，击败了算力更多的老牌企业。比如 OpenAI 一开始超过了 Google DeepMind。当时 Elon、Sam 等人公开的邮件说，他们必须创办公司，因为 Google DeepMind 的算力优势太大；但后来 OpenAI 还是取得很大进展。现在 OpenAI 和 Anthropic 之间也有类似情况。你的论证太依赖“外部视角”了。我们对这种宏观经济论证已经了解不少，为什么不直接问问 AI 研究者？
AI 研究者往往会夸大认知投入和研究工作对创新的推动作用，因为这样说通常更方便或有帮助。他们会说，某个发现源于统计力学的漂亮想法，或物理学中的某个优美方程。但这往往是事后补上的故事，让研究成果显得更有说服力，以便打动评审。
Daniel Kokotajlo 做过一项调查。他问 AI 研究者：“如果你的算力只有原来的三十分之一——之所以选三十分之一，是因为他们假设 AI 速度会是人的 30 倍——你的研究进展会慢多少？”他们回答：“进展会降到平时的三分之一。”这说明替代效应相当明显：算力变成十分之一，进展只降到三分之一。
前几天我还问过一位 AI 研究者，他非常出色，年薪可能有数千万美元。我问他 AI 模型在 AI 研究中帮了多少忙。他说，对自己熟悉、任务更像自动补全的领域，每周能省四到八小时；但在自己没那么熟、需要建立新联系、理解不同部分如何关联的领域，每周能省将近 24 到 36 小时。
这已经是用当前模型实现的，而且没有额外增加算力，却给他省下了多得多的时间。我忍不住想把这个趋势向前推演。它会带来非常惊人、甚至疯狂的推论，对吧？
我不太相信研发过程已经明显加速的说法。我看到的实际数据似乎不支持这些主张，所以不确定该在多大程度上相信它们。
不过，就“认知投入本身可以推动很多 AI 进展”这个直觉来说，实验室开展的重要工作之一似乎是深度学习科学，比如规模定律……最后确实要靠实验验证，但实验的出发点是认知投入。
顺便说一下，说 A 和 B 是互补的，不代表 A 会成为瓶颈，B 也同样会成为瓶颈。因此，你说需要算力、实验和数据，也需要认知投入，并不意味着算力最多的实验室就会胜出。这点很简单，任何一项都可能成为瓶颈。
如果一家公司的文化很糟糕，不重视有效利用算力，只是白白浪费，那它当然不会取得多少进展。所以更有远见、团队更好、资源配置更优的公司，能比在另一项资源上严重受限的公司更好地利用算力，这并不与互补关系矛盾。问题是，自动化 AI 研究者出现、软件奇点启动之后，软件效率会提升许多个数量级，而至少短期内算力存量大致固定。在受到第二项投入限制之前，效率最多能提高多少个数量级？考虑到这一点，究竟该预期多少进展？
我觉得人们没有充分思考这类问题。因为大家通常不会真的运行相应实验，所以很难形成准确直觉。在公司或行业层面，我们从未观察过整个行业算力减少 30 倍会怎样。个人可能更容易想象自己的算力减少 30 倍会有什么影响，但那只是局部实验，你可能还受益于其他算力更多的人带来的溢出效应。由于从来没有进行过这个实验，我们很难直接判断互补效应究竟有多强。
如果我们生活在一个 2027 年就实现 AGI 的世界里，你认为出现“仅软件驱动的奇点”的概率有多高？
相当高，因为这个设想以算力没有很大规模为前提。所以必然意味着软件进步非常显著。
对，没错。也就是说，在那个世界里，算法进步会提供巨大的杠杆。
好，对。
所以我之前还以为这是两个独立的问题……
我想提出一个判断：我知道有些实验室设有多个预训练团队，并会给不同团队不同的训练资源、认知投入和团队规模。但我觉得这些实验的结果还没有公开。我很希望能看到相关结果。
但即使看到这些结果，也未必会让你大幅改变看法，因为按非常不平衡的比例扩大各项投入往往效率低下。要想准确估算这些投入之间互补效应有多强，必须观察这种极度不平衡的规模扩张；而这种情况很少发生。
所以我认为，与这个问题相关的数据其实相当薄弱。人们的直觉似乎也不太能回答关键问题：如果各项投入以如此不均衡的方式扩张，最后会怎么样？
我有个问题。如果有人能举出历史案例，会很有意思：比如战争或其他供应冲击期间，人们不得不提高某种重要产出的规模，但出于某些奇怪的历史原因，许多关键投入都无法扩大，只有一种投入可以扩张。
我说得比较抽象。你懂我的意思吧？比如必须生产更多轰炸机，可铝用完了，就得想办法用别的材料。类似的努力是否成功？还是最后总会被瓶颈卡住？
我觉得这个类比不太恰当。说到材料，不同材料在很多方面可以互相替代。铝确实很适合制造飞机，因为它轻又结实；但你也可以用性能更差的金属造飞机，只是需要消耗更多燃料，飞行效率也会更低。某种意义上，你可以通过增加成本来弥补。
但劳动力与资本、远程办公与现场工作、熟练劳工与非熟练劳工之间的互补关系就更难处理。我认为有些投入组合的互补性很强。比如军队领导能力和士兵数量之间就有这种关系。你可以有优秀的领导，但若把军队扩到只有 100 人，效果依然有限。
那列奥尼达王和温泉关之战呢？
他们还是输了，对吧？
如果我们正在造模型、讨论软件奇点，结果却在问“温泉关之战究竟发生了什么？”，那就太好笑了。
我其实可以讲讲，但我们最好别展开。
§04Ege 与 Tamay 的故事
好吧，听众应该知道，我最受欢迎的嘉宾是 Sarah Paine，而且她几乎占了我最受欢迎的前四期节目。按观看分钟数调整之后，我主持的其实是 Sarah Paine 播客，偶尔顺带聊聊 AI。
总之，我们做过一个三部分的讲座系列：一部分讲印度和巴基斯坦历次战争，一部分讲二战前的日本文化，第三部分讲中国内战。我每次请她讲历史时，Ege 都是我的历史导师。他为什么对 20 世纪那些冷门冲突这么熟？可他确实熟，还给了我很多好问题。稍后我们会展开聊。Ege，这到底是怎么回事？
我也不知道，没有什么特别好的问题。我觉得这些东西有趣。我确实读过不少书，但这个答案太无聊了。我也不知道。你问一位顶尖 AI 研究者：“你为什么这么厉害？”他大概也会给个无聊答案，比如：“我也不知道。”
这种问题经常得到无聊的回答，本身就很有意思，或许能说明这类技能的本质。你们怎么认识他的？
我们在 Metaculus 的 Discord 上认识的，那是一个预测平台。当时我在剑桥读研究生，研究经济学。我和同学们讨论，也偶尔和 Ege 聊天。我发现：“这家伙懂的经济学比我多。”那时他还是安卡拉的一名计算机本科生，但他对经济学、经济增长大趋势和经济史的了解，几乎比大学里的所有同学都多。我当时就想：这到底是怎么回事？
后来我们开始频繁合作，最后把 Ege 招进了 Epoch，因为显然他很适合研究这类问题。
听起来 Epoch 聚集了一群来自互联网的特立独行者和怪才。
没错。
你们怎么创办 Epoch 的，又是怎么做到这一点的？
Tamay Besiroglu（01:03:27）
当时我在 MIT 继续做研究，但很不满那里的官僚体系：项目很难扩大，也很难招人。我对一些研究很感兴趣，但我的导师不太看好，因为可能很难发表，或拿不到同等声望。我和联合创始人之一 Jaime Sevilla 聊了聊，我们一直在合作做项目，后来觉得不如自己成立一个组织，这样就能招人，也能研究自己真正感兴趣的课题。之后我就招了一群很有洞察力的特立独行者……
你们的创办理念是不是：“网上有一群没有得到充分利用的怪才，所以这个组织会成功”？还是你们创办组织之后才发现……
我觉得是后者。我们的想法是：学术界和产业界都在一些重要问题上做得不够。学术界很难发表有意思的论文，产业界也没有特别致力于产出有用见解，所以我们自己来做很有意义。时机也很好，我们在 ChatGPT 发布前不久创办 Epoch，当时我们希望能更扎实地讨论 AI 的未来。
我对网上关于 AI 未来的讨论质量很不满，这也是我做这件事的重要动力。某种程度上，甚至可以说这是主要动力：我受够了关于 AI 发展方向的糟糕论证和思考。
§05爆炸式经济增长
好，我们来聊聊这一点。先向听众介绍一下，我们要讨论爆炸式经济增长的可能性，也就是年增长率超过 30%。我想从两个方向挑战你们：一方面，我会说你们的预测也许不够激进，或许范围太广；另一方面，我也会用比较常规的角度质疑：“这也太疯狂了吧？”
我想你要做第二件事会挺难的。
不，我真觉得这可能很疯狂，我们来看看。我对广泛自动化的主要疑问是：我理解你们关于工业革命的说法，但也可以设想，先得到这种智能，然后去沙漠里建一座制造机器人工厂的“深圳”，再用机器人建更多机器人工厂……如果需要做实验，就建生物实验室、化学实验室之类的。
你也可以在沙漠里建深圳。我同意，这比“仅软件驱动的奇点”可信得多。
但按你们的说法，听起来像是麦当劳、家得宝之类企业也会每年增长 30%。如果从外星人的视角看经济，难道不是沙漠里有个机器人经济以 10,000% 的速度增长，其他一切照旧？还是说……
这里要区分什么在物理上可能、什么在实际中有效。如果硬件和软件都在扩张，我认为这种反馈循环的论证会更有力；如果数据收集也扩张，我觉得论证还会更强，例如通过部署系统收集现实世界数据。
但在沙漠里建深圳……想想整条供应链：到目前为止，我们依赖的是完整的半导体供应链。这个行业需要大量投入品和材料，可能来自世界上很多地方。要建立这套基础设施，并把整条供应链扩大一倍、三倍或更多，非常困难。所以即便只在沙漠里建一座深圳，成本也可能非常高，甚至高过前面所说的那些投入。
此外，我们一直大量依赖过去约 30 年在互联网上积累的庞大数据。假设你要训练最先进的模型，但手上只有 1,000 亿个 token，那会非常困难。从某种意义上说，是整个经济在互联网上产生了海量数据，我们现在用这些数据训练模型。未来若要给系统增加新能力，最有效的办法可能仍是利用类似的数据来源。这可能要求广泛部署系统，因为部署越广泛，就能获得越多数据。也许不必这样做也能实现目标，但从零开始时，如果能采集大量数据，效率会高得多。
我认为这也是实验室希望广泛部署大语言模型的原因之一。有时你和 ChatGPT 对话，它会给你两个答案，问你更喜欢哪一个；或者给出一个答案后问你觉得好不好。这些做法能让它们通过大规模部署收集用户数据。我觉得这种高效做法未来会延续并扩大，因为它确实有用。
另一个问题是：假设你不做上述任何事情，只建设尽可能简单、尽可能狭窄的基础设施，并进行最低限度的部署，以实现推动 AI 效率提升的正反馈循环。理论上，这个循环可以比整个世界小得多。我觉得规模可能不会小到只是在沙漠里建一座深圳，但确实可以远小于整个世界。接下来还要问，这种模式是否真的高效、是否有人会这么做。我觉得有人认为广泛部署会受到极强限制，比如监管、社会或政治限制，因此会非常困难；但我认为这种看法被夸大了。
有些人倾向于设想更狭窄的场景，可能是因为他们觉得这样更容易实现。我认为，这种部署究竟有多困难，人们的直觉往往来自那些价值不够大的技术。比如住房，监管很多；也可能想到核能或超音速飞行。这些技术若监管少一些确实有用，但它们不会让经济规模翻倍。
核心观点是，AI 自动化和部署的价值极高，即使只看劳动者也一样。有人可能会失业，或需要经历一段过渡期才能找到合适工作；但至少有一段时间，工资仍可能非常高。
而且，持有资本的人可能获得巨大收益。相当大比例的美国人拥有住房，也有 401(k) 退休账户；如果广泛自动化和 AI 部署持续推进，他们的资产可能会大幅升值。因此，即便劳动力市场、热门技能和职业性质彻底改变，社会仍可能对这类技术有广泛支持。
我只想说，情况很复杂。等这件事真正发生时，各国的政治反应会是什么样？简单的说法是：“大家会失业，所以一定会很不受欢迎。”但这一点远没有那么显而易见。
我预计不同国家会有不同反应。有些国家会对这类技术更加开放，允许更广泛部署；这些国家可能最终表现更好。就像工业革命时期，有些国家领先于其他国家，后来几乎全世界都在不同程度上接受了工业革命的规范、文化和价值观。
你说有些国家会更开放，但它们也可能在许多方面更不自由。事实上，在 AI 广泛部署的世界里，这反而可能更有效。我们或许会采用阿联酋等地发展出来的价值观和规范，更着重营造有利于部署 AI 的环境。我们可能会效仿这类规范。它们不一定是古典自由主义规范，却可能更有利于 AI 发挥作用、创造大量价值。
这并不是一个强预测，只是为了说明问题。未来，能否自由地在经济中部署 AI，并大规模建设实体设施，或许会变得更重要。当然，可能还缺少其他因素。相比准确预测哪些国家最终表现更好，我觉得更容易预测的是：各国会有差异，有些会做得更好。
对，也可能是哪些国家希望采用什么样的规范。
没错。
我有一点不太明白：1750 年的世界和今天的世界相比，最大的差别就是我们拥有当时没有的先进技术。我们有摄像机、屏幕、火箭等等。这看起来就是技术增长和研发的结果。
这是资本积累。
那你解释一下。我听你一直在谈基础设施建设之类的，但为什么他们不直接发明出人类到 2050 年会发明的各种东西？
制造这些东西需要大量基础设施建设。
但不是先发明技术，然后才建设相应基础设施吗？
我觉得不是这样。这个过程并非先发明、再建设……通常资本积累和创新会相互作用、共同推进。
学习曲线说的就是这一点。从根本上说，过去 20、30 年太阳能电池板效率为什么一直提高？
不是有人早在 20 年前就想出了 2025 年太阳能电池板的样子。那时没人画得出这种设计。创新来自一系列相互作用：提出想法、建造、学习、生产，然后……
其他互补投入也会同时变得更高效，比如材料改进。举个例子，19 世纪末冶炼工艺进步了，金属加工更容易；这可能是后来飞机技术发展起来的关键原因之一。
并不是有人突然想到：“只要装上翅膀和足够大的推力就能飞。”这个基本想法并不难，但怎样把它做成真正可用的产品，就难得多了。
你看过那张两只海狸看着胡佛水坝的梗图吗？其中一只说：“我没建那座水坝，但它基于我的想法。”你的意思是，历史上人们太关注“发明”本身，而低估了让创新变得可行并大规模推广所需的工作。
我觉得这确实很难。假设你想写一段历史，比如讲灯泡是怎么发明的，要解释某个东西为什么在某个时间出现，你可能必须了解当时经济环境的许多细节。
比如，爱迪生花了大量时间试验不同的灯丝。基本想法很简单：把某种材料加热到发光。但作为产品，哪种灯丝效果最好？哪种耐用？怎样才能在尽量少产生热量、减少浪费的情况下发出更多光？即使产品做好了，1880 年左右美国家庭还没有电，所以人们仍用不了。你得建发电站，再铺设通往家庭的电线，让人们家里有电，才能用新发明的灯泡。爱迪生确实做了这些，但人们往往把故事讲成：“他就是想出了一个主意——灯泡。”
我想有人会这样反驳：你们说的技术发展规律，适用于人类为人类世界部署技术。但你们没算进去的是，AI 会有自己的经济体系。比如它们需要通过创新、边做边学来造更多机器人，因为机器人有用，于是它们建更多机器人工厂，逐渐学会制造更好的机器人。可这种活动可能只发生在地球很小的一部分。你明白我的意思吗？它们未必会走进你的大楼，和 Lunar Society Podcast LLC 做一笔生意……你懂吧？
确实，如果看地球总表面积，最初实现快速增长的地方可能只占很小一部分。我认为工业革命也是如此，并没有什么不同。
这种爆炸式增长具体会是什么样子？假如我看到全球增长率热力图，会不会只有一个区域炙热无比——那里就是沙漠工厂和各种实验室……
我们的看法是，增长范围会比那更广，但最初可能……最终大部分地区都会参与。不过正如我说的，各地存在差异；有些国家的采用速度更快，有些城市也会更快，因此各国增长速度会不一样。
但我预期，各司法管辖区内部会相对一致。例如，主要障碍可能来自监管，所以增长的界线可能更多由监管辖区的边界决定，而不是其他因素。
明白了。所以你们也许是对的：要让技术变得实用，基础设施建设、资本深化之类的过程是必需的，不过……
甚至发现技术本身也需要这些。通过扩大规模、边做边学，人们可能会发现一些东西，这就是学习曲线的一部分。还有另一点：假设你变得更富有，就能把增加的财富投入资本积累，也能投入研发或其他用途。
你需要让爱因斯坦离开专利局。要做到这一点，需要一定资源和一定规模的经济体。你还需要市场需求。如果经济规模太小，需求不足以支撑你专门生产半导体或其他产品，专业化生产就没有意义。
经济规模大得多会在许多方面促进互补创新，也会因为偶然发现而带来新成果。它能形成足够的消费者需求，让企业收回实验和发明的固定成本。供应链也必须存在，比如提供生产半导体所需的锗晶体。你还需要大量劳动力来协助做各种实验。
你举的例子让我想到：从第一原理推理，人类能不能发现宇宙大爆炸？也许可以。但真实历史是，第二次世界大战期间，人们为了作战和有效通信而研发无线电通信。
这项技术随后帮助我们建造射电望远镜，然后发现宇宙微波背景辐射，再想办法解释它，最终发现了大爆炸理论。所以某种意义上，二战推动了大爆炸的发现。
人们低估了建设所有相关资本、供应链和技术所需的巨大努力。你之前也说过，推理模型回头看似乎很简单，但这忽视了此前五到十年间技术栈的大幅升级。人们往往低估了技术整体升级、供应链发展和相关行业进步对具体成果的支持作用。
人们总是聚焦某个具体人物，比如爱因斯坦提出了天才想法，或者牛顿对微积分的发现至关重要，却没有想到：制造镜片、望远镜、获取准确数据等其他因素，让人们开始提出有关运动的问题。这些因素对科技创新也极其重要。
你刚才说过征服定律：人越了解某个主题，对它的判断就越保守。这里可能也有类似规律。对我来说，AI 是我比其他行业更了解的领域。我只是评论员、播客主持人，但从与你们这类人交谈中，我意识到 AI 发展至今投入了多少工作。可我跟记者聊时，他们会问：“报道这个领域要采访谁？杰弗里·辛顿还是 Ilya？”我就觉得他们没看到全貌。
但你也应该对自己不熟悉的行业抱有同样态度。也许这和盖尔曼遗忘症是类似现象：我们应该用同样的方式看待其他行业。
Robin Hanson 把思考模式分成近距离模式和远距离模式。我认为，如果你对某件事了解不多，就会用远距离模式思考，把问题简化，忽略许多细节。我认为抽象推理、演绎推理、甚至贝叶斯推理本身之所以不如有些人想象的强大，原因就在于现实世界丰富而细致，仅靠推理无法处理，你必须亲自观察。当然，这不妨碍 AI 带来极大变革，因为正如我说的，你可以扩大数据收集和实验规模，无论是在 AI 行业内部还是整个经济中都可以这样做，以发现更多东西。经济活动越多，我们能接触、发现新事物的面就越广。
这些事情过去都发生过，所以没有根本理由认为它们不能加速。关键在于，经济增长本来就可能远快于现在。如今的增长速度大概只是因为人类成了重要瓶颈：人类提供劳动力，也在各种发现和生产率增长过程中发挥关键作用。资本和人力之间存在很强的互补性，机器无法轻易取代人类，因此经济规模和生产率增长最终会受人类人口增长速度限制。
我来问个相关问题。中国过去 50 年的发展，原则上是不是和你们预期的 AI 爆炸式增长类似？大量劳动力使资本的边际产出很高，从而支撑年增长率超过 10%。AI 是否也会大致如此？
我会说有些方面相似，有些方面不同。最重要的差异可能是：中国经历了大规模资本积累、大量新技术的应用，也可能积累了一定人力资本，但劳动力规模并没有大幅扩张。而 AI 的情况可能是劳动力规模也会扩大，不是人类劳动力，而是 AI 劳动力。
我觉得你们也许谈过劳动力规模的增长，虽然未必是连续的增长……
关键是这两项投入会同时扩张。你可能会问：“AI 发展不就是中国式资本积累的一半吗？”但如果两项都扩大，增长会快得多，形成的局面也完全不同。
但如果只是想了解年增长 30% 会是什么样子，想建立具体直觉，我觉得参考中国并不算坏。尤其是 2000 年代，也许从 90 年代末开始；不过那看起来还是比我们的预测慢。
对，工业革命也可以作为很好的参照。
但工业革命非常缓慢。
不过，从产品变化的角度看，工业革命期间发生的并不是把革命前已有的东西生产得更多，比如多种庄稼、多盖一些革命前风格的农舍。相反，几乎每个主要经济部门都出现了革命前没有、与原有消费品截然不同的产品，比如交通和食品领域。
医疗保健也是重大变化，抗生素就是一例。
我还有个问题，不太确定你们怎么区分边做边学和明确的研发。企业报税时有它们所谓的“研发”，但我们直觉上对研发也有另一种理解。比如，如果 AI 提升全要素生产率（TFP），你可以说，假设现在让 AI 替代台积电的工艺工程师，让 AI 找出改进工艺、提高效率和良率的方法，我会把这称为研发。另一方面，你们强调 TFP 的另一部分，比如管理改进之类。
边做边学可以是……你可以……
但你觉得这能有多大作用？靠改善管理就能造出戴森球吗？
但我们说的并不是这个，对吧？关键是存在许多不同的因素，有些因素之间的互补性可能更强。重点不是只靠扩大劳动力和资本就能造出戴森球，而是所有要素都得同时扩张。同样，也不能只扩大 TFP 就造出戴森球；那也行不通。
我觉得这里有个重要区别：哪些东西是建成戴森球世界所必需的，哪些东西又有多重要。某种意义上，生产食物是必需的，但光生产食物当然造不出戴森球。研发是必要的，但单靠研发也不够；扩大经济规模同样必要，但单靠规模也不够。接下来可以问，各因素的相对重要性如何？
我觉得我们的看法基本一致，而且这与我们对软件研发的观点密切相关：存在多个瓶颈，因此所有投入都需要同步扩大。这是一个普遍看法。
不过有时人们误解我们，觉得我们认为研发不重要。我们不是这个意思；研发很重要，只是相较于其他因素，它的重要性没那么高。而且这些因素没有任何一项能单独推动经济增长。关键问题是该如何分配功劳。我在经济学上的一个研究目标，是分析不同投入要素对产出的弹性。资本的重要性低于劳动力，因为劳动力对产出的弹性大约是 0.6，资本约为 0.3。但两者都不可或缺。如果只扩大其中一个、另一个保持不变，产出就无法无限扩张。
§06会出现独立的 AI 经济吗？
Daniel 曾问我一个问题：我谈到各种事物相互关联时，常有人举例说，要怎么在公元 1000 年造出 iPhone？不复制几乎所有中间技术，似乎根本做不到。
他的观点是：“好吧，纳米机器人不是关键问题。”真正关键、至少对他来说关乎人类控制的问题是：机器人经济或 AI 经济——无论它是资本深化还是研发推动的结果——什么时候会拥有机器人？什么时候会拥有更多累计物理产能？
但他是在设想一种叫作“AI 经济”的独立体系。为什么要这样设想？我觉得这可能来自他对“仅软件驱动的奇点”的看法，而这正是我们不认同的观点。
相比在某个小岛另起炉灶、自己发展一套经济，AI 融入现有经济、利用现有供应链和市场，效率会高得多。
而且有一点常被混淆：要启动反馈循环，最低限度需要建设多少基础设施，和最有效的建设方式，并不是同一个问题。有人会觉得：“原则上最有效的方法无法实现，因为……”
他也许会举征服者抵达新大陆，或者东印度公司进入印度为例。他们确实融入了现有经济，当然这取决于你怎么定义“融入”。西班牙人开采白银时大量依赖新大陆劳动力；东印度公司也依赖印度劳动力，英国人和印度人的人数比例并不高。但他们还是能接管当地。这里的类比是什么我也不清楚，不过你明白我的意思吧？
他担心的是：到什么时候，即使 AI 从阿里巴巴等平台订购零部件——抱歉，我说得很粗略，你懂我的意思——它们已经融入供应链，但由于自身经济扩张得快得多，是否会变得足以接管政府……
假如它们想这么做？
对。
我认为最终 AI 系统会驱动经济中的大部分活动。除非出现某种极其罕见的情况，比如人类设法强化自己，不再是生物人类，从而能与 AI 竞争；但早期出现这种情况似乎极不可能。AI 的力量会强大得多。我同意，如果 AI 彼此协调并决定“我们应该接管”，而且形成了这个共同目标，那它们可能做得到。
但这个情况在我们现有世界里也可能发生。如果美国想入侵北森提奈岛，大概没人能阻止它。但这意味着什么？权力严重失衡，并不能告诉我们接下来会发生什么。美国为什么不直接入侵危地马拉？它看起来完全做得到。
因为对美国来说，那件事的价值……
不够高，对吧？
对。所以 AI 也许会这样，因为大多数重要活动都发生在太空。你想在火星和太阳表面深化资本，而不是在纽约市。
我觉得原因比这更深，不只是这样。还有一点：如果 AI 融入我们的经济……
它们会先成为经济和劳动力中的一小部分，逐渐扩大，最终承担经济中绝大多数实际工作。但这个过程是在现有体系中发生的；我们已经有促进协调的规范和规则，破坏它们是有代价的。如果 AI 已经获得了几乎所有经济收入，它再去拿走能让人类变得更富裕、更舒适的东西，收益也会很有限。
我觉得北森提奈岛是一个参照案例，但历史上还有很多相反的案例。东印度公司本可以继续和莫卧儿帝国做生意，却选择接管。他们本可以继续和前殖民时期印度的五十多个邦国做贸易，然而……
没错，他们最初确实是那么做的。然后，后来……我还是不展开这个话题了。
但这也是一个历史参照案例……
我同意。所以如果问题是：假如 AI 价值观完全不同，而且掌握了经济的大部分，它们会接管吗？我还是不知道答案，因为我不确定“所有 AI”是否是一个天然形成的群体。这就有点像：经济中的年轻人为什么不协调起来？
我同意，有些人会滥用这类群体论证。比如马克思主义者会问：“这个阶级为什么不起来反抗其他阶级？”
Daniel 提出一个有意思的例子：看看征服者的历史。科尔特斯穿越新大陆时，曾不得不折返，击退西班牙派来逮捕他的舰队，然后再继续前进。因此，征服者之间也会发生冲突，但最终受影响的仍然可能是失去权力的原住民。
但 AI 有一点特别：它们只是彼此的复制品。它们彼此交易或互动的交易成本也低得多。因此，与人类社会相比，我们有理由认为 AI 之间更容易兼容并协调。
如果问题只是“这种情况有没有可能”，这个说法比较弱，那我的回答是：确实有可能。但我认为有很多理由反驳这种判断。最大的理由可能是，AI 的偏好并非……看看今天的 AI，你能想象它们会这么做吗？人们往往不太重视这一点，因为他们觉得只要优化压力足够大、AI 变得足够聪明，就会不再对齐。但我看不出有什么证据支持这种说法。
我同意，有些证据表明它们是好孩子。
不，证据不止“有些”。
也有一些相反证据……最近 OpenAI 有篇论文指出，在思维链中，奖励作弊可能是一个很强的吸引态。你让模型“去解决这个编程问题”，它就在思维链里说：“好，先想办法钻空子，再看看怎么利用。”
这就好比给学生考试，答案就在试卷背面。
但人类的历史参照案例里，确实包括科尔特斯和东印度公司。
没错。
我觉得问题之一是，很多人做的是一种片面均衡分析：他们只看 AI 系统的原始能力，假设 AI 已经占据主导地位，但人类文明几乎没有把自身整合进 AI 体系，而 AI 却在融入人类社会。假如 AI 不擅长和其他 AI 沟通、协调，那么它会有很强的动力改善这些缺陷。如果无法协调或交易会造成风险或效率损失，它就有巨大的动机解决问题。
如果控制和统治人类能带来很多价值，可能出现的结果反而是谈判。若真是如此，战争只会造成效率损失。因此，AI 会希望谈出一个各方都有利的安排。
你是说和某个反事实情境相比，不是和……英国在鸦片战争中与清朝达成了互利贸易，对吧？这或许比工业化前的中国和大英帝国开战要好，但不如一开始就没和大英帝国发生接触。
我觉得人们常犯的一个错误，是用非常简单的均衡分析理解冲突。我同事 Matthew 写过相关内容：他们认为，有不对齐就会导致冲突。但关于冲突成因的研究并不是这么说的。
冲突不只来自目标不一致，还可能源于其他问题，比如对双方军队实力判断错误，或者有一方认为某块土地神圣、绝不能割让，因此不愿以它换取其他利益。你还需要假设这些额外因素，不能只说基本价值观不一致。
我觉得你说得很好，说明为什么人类拿起长矛和砍刀，向 AI 数据中心开战可能不太合理，因为历史冲突常有信息不对称。但这个论证完全没有回应接管风险：接管可能通过和平谈判来实现，也可能是人类社会觉得“我们完全不是对手，只能接受这些微不足道的让步”，而不是选择开战。
但如果过程更和平，我觉得就没那么值得担忧。AI 可能逐渐在全球经济中扮演更重要的角色，甚至决定世界的发展方向；但人类也可能因此受益，能够进入一个规模大得多、技术水平也先进得多的经济体系。
我觉得重要的是先说清楚，你究竟担心什么。有些人只是说：“人类将失去对未来的控制权，我们不再做重要决策。”但他们接着说“我们会让步”之类的话，讲得也很含糊。
这值得担忧吗？如果你认为生物人类应该永远掌管所有重要决策，那我同意，AI 的发展似乎会威胁这一点。但除此以外，许多因素也会挑战这种局面，我只是不认为其他事情自然就会保持不变。比如，一百万年后，即使没有发展 AI，生物人类——也就是我们今天所认识的人类——仍做所有重要决策，
而且文化仍和今天的文化相似？如果真是这样，我会非常惊讶。
Robin Hanson 也说过，人们害怕 AI 的许多东西，其实是他们害怕变化，尤其是快速变化。不同之处在于，AI 可能加速许多变化，让它们集中在更短时间内发生。
我觉得担忧不只是：基因改造人类之类的变化被压缩在短时间里发生。真正的担心更像是：变化的方向本身就截然不同。
但这种说法有什么论据？我从没见过有说服力的论证。
如果人类变化加速，你也应该预期会出现很多变化。比如某些价值观可能变得更主导；不那么看重当下、更多储蓄并做出好投资的人，可能会因此积累更多影响力。
风险承受能力更高的人也会更有影响力。
没错。他们更愿意押注期望值高的选项，于是影响力更大。所以，即使只是加速人类自身变化，也会导致许多你可能珍视的事物消失。
我觉得一个论点是：变化速度会影响现有人口、利益相关者等群体有多少人能对未来产生因果影响。你或许在意的是，变化固然会发生，但不能只是某个人按一下按钮——那是“软件奇点”最极端的情况；更可能是规范随着时间逐渐改变。
§07我们能否有把握地影响未来？
如果采用软件奇点的设想，我同意情况会不同。我再次提起这一点，是因为 Daniel、也许还有 Scott，可能更相信仅由软件驱动的奇点。于是一个人的特殊偏好可能会产生更大的影响。
这确实不同于广泛自动化的过程。但即使在这种世界里，许多人也相信存在“价值观锁定”：某个时刻是历史转折点，有人会得到软件奇点带来的强大 AI，然后把某套价值观锁定下来，稳定维持数百万年。
我觉得这看起来和历史上发生过的任何事情都很不一样，所以很困惑，为什么有人觉得这非常可能。我认为，人们用远距离模式看未来：他们想象有一个 AI，拥有某种效用函数，而且会长期保持稳定；不同 AI 之间不会协调失败，价值观也不会因各种原因逐渐改变，比如不再适应环境或其他因素。他们根本不去想这些复杂情况，只说：“我们能永远保存效用函数，技术上做得到，所以事情就会这样发展。”我觉得这论证很薄弱。
这种观点常常基于数字信息能更好保存、更准确复制。但即使只看互联网信息，也有“链接腐烂”这种现象，信息很快就会失效。数字信息其实一点也保存不了太久。
Matthew 的观点是，信息数字化——至少和数字化同时发生——伴随着文化变化加快。
没错，文化变化。
技术变化会改变激励，从而推动文化变化，正如它会改变保存信息的方式……
我听过两个主要论点。一个是，我们很快会到达“技术成熟”阶段。但你认为社会近期的变化也许还不算大——实际上，它本可能变化得更多。不，我觉得你的论点有问题，因为我们知道语言变化确实更大了。自 19 世纪识字率提高后，我们能读懂之后写下的大部分文字，但再往前几百年，你就会碰到难懂的古英语。文字记录和语言规范化确实产生了影响。
那时候的信息确实保存得更好了。其他文化习俗呢？
我的意思是，文化变化源于广义的技术变迁，而不只是信息数字化。也许如果信息保存得没那么好，或者技术继续进步，文化变化反而会更大。未来可能会达到某个阶段：技术都已经完成，新的想法越来越难找；要让物理学再前进一小步，可能得建一座银河系大小的 CERN。
到那时，文明中由技术推动的持续变革会停下来。此后只剩下数字信息，这确实会让价值观锁定更有可能。
我同意，技术成熟会导致变化和增长放缓，某些价值观也可能比此前更稳定。但那我们现在该做什么？从我们的价值观出发，怎样才能产生积极影响？
Robin Hanson 曾问：假设 16 世纪的人知道当时所知的一切，他们能做什么来积极影响今天的世界？我觉得我们面临的问题比这更难，因为从今天到技术成熟阶段的变化，可能比 16 世纪到今天的变化大几个数量级。
因此，我们比 16 世纪的人更难判断今天做什么能对未来产生可预测的积极影响。我不知道是否存在任何行动，或某一组候选行动，能够让价值观锁定之后的世界变得更好。我觉得这几乎没有希望。
这是假设价值观锁定一定会发生，但……
18 世纪有一群英国废奴主义者反对奴隶制。我认为，原则上奴隶社会完全可能延续至今，也可能有更多地区仍然实行奴隶制。实际发生的是，人们说服了英国人，让他们相信奴隶制是错的；大英帝国动用全部力量废除奴隶制，并使反奴隶制成为一种规范。
另一个例子是基督教，以及耶稣提出的理想。这些理想可以继续讨论。我觉得今天的世界更加基督教化。
确实，世界更加基督教化。
某种意义上，今天的世界也更接近耶稣所倡导的样子。我不是说耶稣会赞成今天发生的一切，只是说，如果没有耶稣、他从未传道，耶稣大概会更喜欢现在这条时间线。
我不知道，我不确定这个判断是否成立。这问题很难。
但从基督教角度看，西方文化发展总体上是有利的。
你不知道反事实是什么样。
我同意，这点永远无法确定。但确实有人读《圣经》，受到其中理想鼓舞，进而采取行动。我觉得这更可能导致……
我把这称为“遗产效应”之类的东西。你也可以说，有些文化变得更有影响力，有些语言传播更广，或者某些符号变得更流行。但城市的样貌、汽车的样式、人们一天大部分时间在做什么、钱花在哪里，这些问题更取决于环境变化时价值观如何改变。
也许如此。但我对未来的态度是：我预期很多事情都会不同，而且我接受这种变化。我更在乎的，是类似奴隶制的问题；在这里，奴隶制可能真的就是奴隶制。
最后补充一点：我真正关心的是，未来会有数以万亿计的数字生命。我希望它们不会遭受折磨，也不会被迫处于不愿工作的状态。我不希望整个星系充满痛苦。这更像英国废奴主义者动用帝国力量来反抗奴隶制。
我同意。但我会区分基督教的例子和奴隶制的终结。我认为，奴隶制结束的原因……我同意，在技术层面，奴隶制社会是可能存在的；但我认为真正促使奴隶制终结的并不是这一点。
真正重要的，是工业革命带来的价值观变化让奴隶制在很多方面变成维持成本高、效率低的制度。不同国家也在不同时期废除了各种可以称为奴隶制的制度。比如俄罗斯在 19 世纪 60 年代废除了农奴制，并不是因为英国施压；英国也无力迫使俄罗斯这么做。过去欧洲各地有人被束缚在土地上，无法迁居；后来取消这些限制，是因为限制没有效率。
殖民地种植甘蔗和其他作物需要做非常艰苦的劳动。健康风险很大，你大概很难付工资请人做这种工作，所以才需要强迫劳动。随着时间推移，这类劳动在经济中的比重逐渐下降。
这再次降低了维持奴隶制的经济动机。我同意，奴隶制仍然可能存在。
我想强调，你描述的反事实好像是：“后来他们就会逐步废除奴隶制的残余。”但历史上有很多案例并非只有艰苦劳动，比如古罗马的奴隶制。
是的，情况不一样。
我最近采访了一位研究罗马历史的学者，节目还没发布。他写过一部相关著作，提到罗马统治下大约 20% 的人是奴隶。
而且这不只是农业奴隶。他的观点是，罗马经济成熟后奴隶制才达到这种规模；罗马帝国灭亡后欧洲的奴隶制之所以衰退，是因为经济复杂度下降了许多。
我不确定该不该说奴隶制消失了，这取决于你怎么定义奴隶制。封建欧洲很多人其实……
但他的观点是，农奴制并不是罗马奴隶制的继承制度。
不，我同意，它不是继承制度。我想说的是，某个时代的价值观，比如 300 年后人们会有什么价值观，或者站在一千年前看未来，人们一千年后会有何种价值观，主要取决于当时的技术、经济与社会环境。哪些价值观有效，哪些立场更有竞争力、更有影响力，从而让其他人采纳它们；这比一千年前某些个体的行动重要得多。
所以我认为，废奴主义并不是奴隶制终结的原因。奴隶制的终结也与人们的自然偏好有关；我认为这些偏好在农业时代受到各种压制，因为定居城市社会更有效率，但它们往往相当专制，不允许太多自由。当时又处在马尔萨斯式世界里，人们的工资可能远低于狩猎采集时代。所以那是不同的经济时期，人类并未进化出适合那个时代的价值观。
事情的发展是，人们必须经历大量文化同化，接受不同的价值观。工业革命期间，人们也比过去富裕得多，我认为这让价值观的不同侧面得以体现。比如人们非常看重平等，这种偏好一直存在；但如果压制这种偏好在某种程度上更有效，人们也能把它压下去。
如果是这样，那价值对齐就更加重要了。因为你等于是说：“如果 AI 足够富裕，它们会有意识地确保未来更符合你赋予它们的效用函数。”我觉得你一直低估了这一点。
我没有低估。我想说的是，历史上有些事情具有路径依赖：如果一千年前有人做了不同选择，今天某些方面就会不一样。例如，不同地区的人说什么语言、信奉什么宗教，或许还有时尚风格。
这些东西的路径依赖性较强，但也有一些事情并非如此。比如，如果蒙古人征服得更成功，变得非常专制，到处实行奴隶制——虽然我不知道这种设想有多现实——那么一千年后奴隶制会因此成为更持久的制度吗？我不这么认为。
导致奴隶制终结的力量似乎不是偶然因素，而是更深层的力量。如果你说：“现在把 AI 对齐到一套糟糕的价值观，会让未来某些更脆弱的方面发生变化”，这听起来有可能。但我不确定，对你关心的未来事物，以及你预期会变糟的那些方面，现在究竟能施加多大影响。
工厂化养殖也许是个例子。你可以说：“价值观变好并没有减少痛苦；事实上，痛苦可能还增加了，因为工厂化养殖出现的激励因素是……”
不过，工厂化养殖终结时，恐怕也是因为激励因素消失了，对吧？
假设我很在意不要出现数字版的工厂化养殖。也许其他条件相同时，让会受苦的心智替你劳动，在经济上确实比让不会受苦的心智劳动更有效，因为痛苦本身带来了一些间接好处之类的。
如果我是这样的人：“我很不希望这种事发生，不想让可观测宇宙充满受苦的劳工。”你会怎么回应？难道只是说：“算了，经济史就是这样发展，我们认输吧”？
不，我不认为你该放弃。很难预料你现在采取的行动会如何影响遥远的未来。所以我只建议你对未来进行折扣，不是出于道德原因，不是因为未来毫无价值，而是因为很难预料行动的后果。短期内，我觉得有些事情可能有益。比如，你可以试着让当前 AI 系统重视你刚才说的东西：它们应该重视幸福，厌恶痛苦之类的。
你也可以支持政治解决方案……基本上，你可能想建立某些能力，以便未来如果发现类似情况正在发生，就有办法介入。也许可以考虑：未来人类可能会殖民其他恒星，文明会变得非常庞大，不同地方之间的通信延迟也会很长。届时不同地方文化之间的竞争压力可能会更强，因为更难进行中央协调。
因此你可能预期竞争会更激烈。如果你认为结果会带来很多痛苦，也许会想阻止这种竞争。我仍认为，现在限制竞争是否有益远未明朗，我大概觉得这是坏主意。但未来也许能获得新信息，让我们意识到：“我们错了，确实应该阻止它。”你或许想提前具备做出这种决策的能力。
但这很模糊。该如何建立这种能力？我不知道。这就是我会尝试做的事情。
我想我们的整体启示是，对自己能做到什么保持谦逊，专注于近期，而不是因为近期在道德上比远期更重要，而是因为我们更容易对近期产生可预期的正面影响。
过去几周，我思考这些更宏大的未来问题，也采访了 Daniel、Scott 和你们。我发现自己不断改变看法，从 AI 何时到来这种相对小的问题——放在全局里，这居然算小问题——到会不会出现智能爆炸、研发爆炸、爆炸式增长，以及该如何理解这些问题。
如果你对未来极度缺乏认知确定性，与其对新的结论过分确信，不如退一步说：“我不确定到底会发生什么。”除非你很多年来对 AI 一直持相同看法，否则我觉得更多人都应该如此——如果你一直没改过看法，我还有别的问题想问你。总之，社会该如何处理如此不确定的问题？我认为应该让自由、去中心化的知识和决策发挥作用，而不是采取剧烈的集中行动，比如“把一切国有化，确保软件奇点对齐”，也不应做出完全依赖单一世界观、在其他考量下极为脆弱的决策。
这已经成为我世界观中更重要的一部分。我觉得，古典自由主义是应对这种认知不确定性的方式。我们应该比历史上任何时候都更不确定，而不是像有些人那样，对 AI 的确信程度甚至超过了对普通日常问题的确信。
我认为很难预测未来，因为加速意味着我们更难想象十年后的世界。问题本身也很难，实证证据不足，存在很多分歧。
我想说，在很多情况下，保持灵活并能适应新环境和新信息，比制定一个正确、详细、包含许多具体政策建议的计划重要得多。
如果我希望这个爆炸式增长时期的 AI 转型更顺利，我也会建议提高制度质量。但我不太看好有人现在坐下来制定详细计划：“这场智能爆炸或爆炸式增长会是什么样？我们该怎么办？”
今天制定的计划，在事情真正发生时可能没什么用，因为届时会学到很多东西，也会重新评估许多问题，这些计划很可能早就过时了。
你可以看看战争规划史：事先制定的计划究竟有多成功，是否能预测战争真正发生后的情况？
举个例子。我可能之前私下提过：二战前，人们已经看到坦克、飞机等新技术；一战时也有，只不过还很原始。于是大家想知道，当这些技术规模大得多时会有什么影响。英国政府估计，二战头几周的空袭会造成多少伤亡。他们预计开战两三周内就会有几十万人死亡。
当时的想法是，空袭势不可挡，所有主要城市都会被轰炸、许多人会死，因此不能开战，否则灾难就无法避免。但后来证明完全不是这样。整个二战期间，英国死于空袭的人数，比英国政府原本预期战争头几周的伤亡还少；六年死的人数还不到他们预测三周的数字。
他们为什么会错？原因有很多实际细节。例如，特别是战争初期，白天轰炸城市行不通，因为飞机会被击落；夜间轰炸则非常不精确，只有少量炸弹命中。人们也低估了地面上的消防员等人员能够四处灭火，扑灭建筑物被炸弹引燃的火灾。他们高估了经济损害，也低估了空袭的经济代价：飞机很贵，执行任务时还会被击落。
最后，盟军开始轰炸德国后，每摧毁一美元的德国资产，就要花四到五美元购买飞机、燃料、飞行员训练等。伤亡率也很高，后来政府还隐瞒了部分情况，不想让公众担心……
这说明，如果事先制定计划时假设空袭会像“轻型核武器”一样摧毁一切，那样的计划就会建立在错误前提上。它会极其具有破坏性，某些方面……
可它确实很具破坏性，对吧？东京一夜的燃烧弹袭击就造成 84,000 人死亡。德国也有大片地区……
但那些是六年战争期间累计的伤亡。
没错，但也有单次燃烧弹袭击。而且二战末期盟军挑选投放原子弹的城市时，有十几座城市不用核弹也不值得攻击，因为它们已经被燃烧弹毁掉了。
这没错，但与原先预期在几周内造成的破坏相比，实际破坏用了好几年才发生，差了大概两个数量级。这种误差非常巨大，也影响了人们的看法。
我们讨论的主题之一，是仅靠推理来决定具体计划，究竟能在多大程度上帮助我们准备和应对先进 AI 转型。
我们的看法是，这很难做到；你需要接触现实世界，才能为大多数判断提供依据。因此，花很多时间推演 AI 可能如何发展、今天可以采取什么政策让转型更顺利，可能有些徒劳，因为你想出的许多政策到时候可能显得相当荒谬。
人们认为，AI 通过推理来做科学和研发，会极大地改变整个经济或技术。但我们的看法是，再一次，接触现实世界、从实验和部署等过程中获得大量数据，非常重要。
我认为存在一个潜在的核心分歧，能解释我们对政策建议的不同看法，也能解释我们对今天该保持谦逊还是积极行动的分歧，以及对 AI 如何产生影响的理解差异。这个潜在因素就是：推理有多大力量？我们能推理出多少未来？一般意义上的推理能否理解世界和技术？这是这里一个根本分歧。
我想问：你们在声明里说，希望尽可能快地推动广泛的劳动自动化。正如你们所知，很多人认为加快劳动自动化、AGI 和相关发展是个坏主意。你们为什么觉得这件事是好的？
支持加速的理由是，经济会大幅增长，带来巨量财富和令人难以想象的新产品，比如医疗保健领域的产品。普通人的生活质量可能会大幅提高。
早期工资可能也会上涨，因为 AI 会自动化与人类工作互补的任务；或者自动化工作的一部分，由人类完成剩余部分，从而获得更高报酬。长期来看，由于与 AI 之间存在套利，工资最终会下降。但到那时，我们预计人类会拥有大量资本；即使没有资本的人，生活也会比今天好得多。
我觉得很难用语言描述这个世界能带来多少财富和丰富多样的产品。它可能远超过 1800 年与今天的差别。先想想那种巨大的变化，然后再想象两倍、三倍，或其他倍数。
反对加速的常见理由是：为什么抵达目标的速度那么重要？尤其是，如果速度和顺利实现转型、确保人类受益的概率之间存在取舍呢？
我不确定加速是否会降低顺利实现转型的概率。
也许确实存在对齐税。
也可以计算一下，延迟一年会让现在的人失去多少。人们能享受的效用极其巨大；如果事情提前一年或推迟一年，这一切也会提前或推后一年。它值多少？我们可以用效用函数凹性的简单模型计算，也许每年相当于数十万亿美元的消费。
这大致是消费者可能愿意推迟消费、以便让自动化提前一年到来的价值。
绝对数值很高。但相对而言，如果你认为加速会稍微改变实现对齐系统的概率，那这个数字相比未来总价值就很小。
我同意。这里有几点。
首先，你如何思考这个问题很重要。我们并不认为加速或减速一定会让灾难性结果更可能发生，这个问题对我们来说并不明朗。部分原因是我们对软件研发的看法：我们不太相信，如果暂停算力扩展，然后用 20 年时间在固定规模上做研究，就能在对齐等相关问题上取得很多进展。
想象 2016 年你要研究对齐，但算力预算只有当年的水平。基本上你什么都做不出来，也不会发现今天已经发现、而且后来证明有用的东西。我认为，如果今天暂停十年，我们也会处于类似情况，很多发现都不会发生。按我们的看法，算力扩展对对齐研究也很重要。另一个问题是，你在多大程度上应该成为长期主义者？
一个是道德问题：相较于尚未出生的人，你应该在多大程度上关心今天活着的人。另一个是实践问题：正如我们讨论过的，你有多大把握知道现在的行动会怎样影响未来？
好吧，也许你认为此刻无论加速还是减速都无关紧要。但从对齐角度看，有没有理由认为加速有帮助，最好现在就取得更多进展，而不是以后再说？
还是说，如果两者没有区别，那么让人们多活一年、得到癌症治疗之类的好处，至少更好？
我会选第二种说法。但要理解这份价值有多大。即使只看经济层面，一年延迟也可能导致今天活着的 1 亿人死亡，也可能是 1.5 亿或 2 亿人。统计生命价值相当高，尤其是在西方国家，有时估值会达到每条生命 1,000 万美元。把 1,000 万乘以 1 亿人，这是个非常大的数字。
所以，如果你认为加速是坏主意，必须先采用长期主义视角，认为自己今天的行动对遥远未来有足够大的杠杆作用，能够有把握地改变未来方向。
但在这个例子里情况不太一样。长期主义者在公元 0 年，或许得影响一千年后的某位皇帝。现在却有个即将发生的重大转折点，你只需影响智能爆炸或其他重大增长期间。相比之下，这更可行。
从相对角度我同意。现在确实是影响力更大的时刻，你也更可能产生影响。但从绝对角度看，我认为实际能施加的影响仍然很小。影响力可能比 2,000 年前大几个数量级，但绝对值仍然很低。
而且，双方还存在另一项分歧：这场转型究竟会广泛、分散地发生，还是集中在少数实验室里，由它们非常独特的决策产生巨大影响。
如果你认为发展会高度集中，就会觉得杠杆特别大，也会特别希望能影响转型进程。我们的看法更倾向于转型会广泛、分散地发生，许多组织和公司都会参与；它们的行动更多由经济力量决定，而不是由实验室的特殊偏好或创始人早期决策所左右，并且这些偏好会持续很久。
§08军备竞赛动力
好，我们来谈谈对爆炸式增长的一些异议。大多数人对增长的预测都比你们保守。明确反对你们观点的人之一是 Tyler Cowen。他和我做播客时提出一个有意思的观点：“撒哈拉以南非洲大部分地区仍没有可靠的清洁饮用水。这不是因为缺乏相关智能。我们无法轻易做到。在其他变量上，我们可能也处于类似境地。”
我们同意。我认为阻碍技术进步或经济增长的不是智能，而是许多其他因素。这和我们的看法一致：要扩大整个经济规模、积累资本和人力资本，并让这些因素共同增长……
事实上，这也符合我先前的说法：良好的管理和政策会影响 TFP，也可能成为瓶颈。
比如，我们现在直接把更好的管理模式移植到撒哈拉以南非洲。
我们做不到。
很难，我觉得做不到。
好吧，我应该说，理论上可以设想把管理模式移植过去……
我同意。
我可以想象很多事情。
但实际做不到，因为……很难说清楚原因，也很难把它简单归结为资本或劳动力的问题。为什么不认为世界其他地区也会受到 AI 进步带来的同类限制？
如果 AI 进步是来自数据中心里的天才，那我同意，瓶颈可能在于其他经济体系没有扩大，也没有积累相关资本，因此无法实现这些变化。所以我部分同意这个图景；我认为这确实是反驳“数据中心里的天才”观点的理由。
另外，有些人可能拥有技术，却不想部署；也可能存在某些规范、法律和文化，使得 AI 在他们的经济体中无法广泛部署，或部署范围达不到可能的水平。这些国家或社会的发展速度就会更慢。就像工业革命时期，英国和荷兰领先并最先进入快速增长；其他欧洲国家则落后追赶。
我认为 AI 也会如此。工业革命时期确实发生了这种差异：一些国家的文化、治理制度等因素没有那么强的瓶颈，因此能部署并扩大新技术和新想法。这样的情况非常可能再次出现。
但你是说，只要有一个司法辖区采用就够了？
对。
可你们之前还强调，需要融入全球经济和人类经济。这两点不矛盾吗？
那不一定需要文化同质。美国和中国之间有大量贸易，尽管双方存在不少分歧……
但如果美国说：“我不喜欢阿联酋利用 AI 实现爆炸式增长，所以要封锁它。”
这确实有可能。
那不会阻止爆炸式增长吗？
当这种发展展现出 AI 的能力和力量时，这确实可能发生。同时，这既会产生封锁的动机，也会让各国有动机采用类似治理方式，让 AI 能创造大量价值。
你怎么看这个问题？我觉得人们从军备竞赛的角度理解爆炸式增长，这也是我常把实验室想成公私合作伙伴关系的原因。但如果数据中心里的天才可以研发蚊子无人机群……如果中国先发展出无人机群，会怎么样？即使按你们的观点，这是否意味着整个经济已经足够先进，能生产无人机群？
比对手早六个月是否就能决定性获胜？我不知道。也许早一年，再加上爆炸式增长，就能让美国决定性地战胜中国，或中国战胜美国。那会不会引发类似军备竞赛的局面？
某种程度上我认为会，但我不确定领先一年是否足以让人愿意冒险。假如今天的中国换成 1990 年的中国，或者今天的俄罗斯换成 1970 或 1980 年的俄罗斯，它们的洲际弹道导弹等技术或许已经足以形成强大威慑。
因此，技术领先可能仍不足以让你有把握开战。这种情况确实可能发生。
这让我想到 Gwern 提出的观点：即使工业革命期间许多国家的能力迅速提高，未来的这个时期也会更加不稳定。如果十年的时间压缩了一个世纪的进步，一个国家先获得弹道导弹，另一个国家先有铁路，等等……
但如果你从整体角度看制造弹道导弹或修建铁路需要什么，就会觉得这并非毫不相关的技术路径，而是在同一技术树上不断向前发展。
就我个人而言，我认为爆炸式增长有可能只发生在少数几个面积较大、土地资源充足的国家；它们起点比世界其他地区低，可能需要在某种程度上追赶。如果它们只靠自身增长，不依赖外部供应链，这并非不可能。只是会更困难。
不过，如果少数国家比世界其他地区拥有显著的政策优势，并先开始增长，它们未必有办法让其他国家采用自己的规范和文化。在这种情况下，把增长限制在国内可能更有效。所以我才说，增长差异可能主要由监管辖区边界决定。我不是说……比如，假设只有美国拥有 AI，却不能让世界其他地区采用 AI，我认为这也足以实现爆炸式增长。
考虑到中国在较近期才完成工业化，它现在拥有更多工业产能、实践知识和边做边学的积累。我们应该有多担心这一点？如果你们对技术进步的理解成立，无论有没有 AI，中国是不是会被低估了？人们以为 GDP 中用于研发的比例才重要，但实际上你附近有许多工厂，知道它们如何运转，随时可以采购零部件，这些因素也很重要。
我不认为人们一定低估中国，具体要看你在看谁。但在 AI 圈子里，中国显然是个非常热门的话题。
人们已经充分认识到中国的实力和潜在威胁。关键不只是人口数或企业数量，而是整个经济的规模，也就是以美元计价的产出总量。在这一点上，美国领先。
但我们不认为爆炸式增长会来自金融服务。我们预期它从工业技术和工业产能的基础上开始。
不，金融服务有助于扩大大型项目。
金融服务对融资、投资数据中心非常重要。
如果我没理解错，你的意思是：你知道如何建造机器人工厂等设施。按你的观点，这类实践知识对技术和经济增长至关重要，而中国掌握这种知识；美国金融服务也许更先进，但深圳在本地的存在似乎更重要。
这要看你拿什么作为起点。我觉得人们已经认识到中国很重要。我同意，中国在一些领域领先；但在很多领域，美国或美国及其盟友领先。AI 所需的一些关键投入由美国可获得的国家生产，中国却拿不到。
所以美国在许多方面领先，中国在另一些方面领先或非常接近。我不觉得这足以让你大幅上调对中国重要性的判断；当然，这取决于你原先怎么看。
我觉得大家已经把中国看得很重要了，这是根本问题所在。如果大家本来就非常轻视中国，这些信息也许会促使他们改观。
§09超人智能是一个真实概念吗？
我理解你的观点：整体经济能否加速，比最聪明的 AI 智商多高更重要。但你相信“超人智能”这个概念吗？它是个连贯的概念吗？就像围棋 AI 不会停在人类水平，还会继续提升 Elo 分数一样。
我们会得到在更广泛的人类能力上都达到这种水平的系统吗？这也许不意味着它们变成神，因为世界上还会有其他 ASI。但你懂我的意思吗？会有能力远超人类的系统吗？
我确实预期会有。但这个概念对理解 AI 更先进的世界有多大用处，是另一个问题。我不觉得它特别有意义或有帮助。
有些概念表面上听起来有用，深入想却会发现很模糊、不清楚具体指什么。AGI 的概念是和狭义 AI 区分开，指更通用，或许平均而言能完成所有人类能做的事。但 AI 系统的能力分布非常不均匀，你必须综合出某种平均能力；这到底是什么意思，并不清楚。
接下来是 ASI 的概念：它像 AGI 一样通用，但在每项任务上都超过人类。这是有意义的概念吗？我想它逻辑上是连贯的，但不太有用。我更愿意思考现实世界里实际会发生什么。即使 AI 无法在所有事情上都比人类强，经济也可能大幅加速；反过来，即使有一个各方面都优于人类的 ASI，如果它非常昂贵或速度很慢，经济也可能没有加速。所以我不觉得“超人智能”特别有意义，我更愿意关注 AI 对世界的整体影响，以及 AI 系统能否产生这些影响。
有个有助于理解的对比：约翰·冯·诺伊曼和随机挑选的人类相比，如果世界上多出一百万个冯·诺伊曼，经济增长会受到什么影响？那和多出一百万个普通人相比又如何？
我同意，影响会大得多。
对。你们之前提到莫拉维克悖论，进化不一定长期优化了冯·诺伊曼与普通人之间的那种能力差异。如果在这方面，人类经济影响已经有这么大差异，为什么不进一步优化进化没有充分优化的能力？
我不认为我们不该这么做。但以围棋 AI 为例，“超人围棋 AI”是有意义的概念，却不一定是开发 AI 时有用的概念。看规模扩展曲线，能力会不断上升，人类水平只是在曲线上的某一点；人类水平并没有什么特殊地位。
所以，关键在于这个概念是否值得思考，答案可能是否定的，取决于你在意什么。我不是说不该把系统做得比人类聪明；我觉得这很值得做。
我想理解，到 2100 年，我们与 AI 的关系，会不会像人类与其他灵长类的关系？这是合适的思维模型吗？还是说，我们对 AI 的认知范围会更接近它们的认知范围？
我认为 AI 系统会非常多样，因此问人类和这一大类系统的关系是什么，并没有太大意义。
我的意思是，我们是否能在认知上理解它们能考虑的事情？人类内部也有差异，但黑猩猩无法像人类一样理解某些论证。如果我想象未来人类的位置，重要的问题是：经济只是大幅增长、劳动力大增，还是也会有认知能力在关键方面远超人类的存在？
会有很多东西是我们无法理解的。即使今天，人们也不理解世界如何运作、某些产品如何制造。每个人是否都必须能理解所有促成某个结果的因素？
我不觉得每个人都能理解所有相关因素特别重要。这似乎有点要求过高。当然，从某种意义上说，这样很好。但如果要生活在技术高度发达的世界里，很多事情本来就无法被个人理解。
所以，可理解性和世界的先进程度之间存在取舍。从我的角度看，我宁愿生活在技术非常先进、拥有许多可供我享受的产品和改善生活的发明的世界里，即使我无法理解它们。我觉得这是个非常简单的取舍，我愿意接受。
§10不应预期爆炸式增长的理由
好，我们回到爆炸式增长的异议。我们已经讨论了几个。另一个更像问题而非反对意见：这么多额外产出要流向哪里？谁来消费？如果十年左右经济规模扩大 100 倍，这些产出究竟用来做什么？
首先，即使只沿着你说的密集边际扩张，也就是增加今天已有产品的数量，我认为需求会很大。也许不会达到 100 倍，那可能会出现边际收益递减。
如今世界人均 GDP 大约每年 1 万美元，对吧？有人每年享受数百万美元的消费，而且边际效用似乎没有急剧下降。因此，人们的消费水平还有很大空间。光是多消费今天已有的产品，经济就能扩大很多。再往下一个、也许更重要的维度是……
产品种类。
对，产品种类也就是消费范围扩大。如果看工业革命，人们扩大消费的主要方式似乎就是这方面。交通、医疗、娱乐、食品等各个重要领域都出现了大量新产品，让我们能消费的东西种类大幅增加；这是新技术、新贸易路线和新生产方式带来的。我认为，消费扩张最主要的形式就是这个。
Tyler 还提出另一个观点：增长会受到 Baumol 成本病的限制，也就是增长最快的行业会缩小……
在总产出中的占比。
对。
我们完全同意。这只是定性考虑，本身不足以预测在这种因素影响下，增长率上限是多少。你还需要其他假设，才能做出定量预测。所以我觉得这有点……
如果把这一点变成有说服力的论证，就像我们刚才针对“仅软件驱动的奇点”所说的那样，指出不同要素都可能成为进步的瓶颈。我会更容易被说服。例如，明确指出医疗保健是重要行业，再问 AI 能否改善它；如果 AI 不太能改善医疗，那医疗占比可能变得很大并成为瓶颈。要有某个具体行业……
也许论证是，只要有一个……
不，如果只有一个而且它只占经济的小部分，你仍然可以取得很大增长。你可以自动化其他一切，即使那个领域没有自动化，仍会带来很多增长。
所以必须做定量分析。这类异议需要定量明确。
对。首先要明确具体任务是什么，以及它们目前占总经济产出的比例。
其次，要明确互补性有多强。经济学家用“替代弹性”来量化：如果某些方面的产出大幅增加，另一些方面却没有增加，整体经济产出会提高多少？
第三，你可以想象经济中的许多工作都实现自动化。以前做这些工作的人不再需要做了，于是可以转去做尚未自动化的工作。比如，远程工作任务可能先实现自动化，感觉运动技能则进展较慢；于是软件工程师可能转而成为体力劳动者。
在这个世界里，体力劳动者的工资当然会比现在高得多。即使互补性极强，即使把经济中的所有任务都考虑进去，按生产率增长最慢的那项任务来估算，劳动力重新配置本身仍会大幅增加产出。
我想指出一点：我们和经济学家讨论时，发现他们会提出这些定性考虑，而我们的论证会对增长率做出具体的定量预测。比如你可以问：“经济多久会翻一番？”我们可以考虑 H100 的算力……有人估计人脑每秒计算量大约是 1E15 FLOP 左右，具体数字不确定；结果 H100 的算力也大致在这个数量级。因此可以问：一块 H100 多久能收回成本？
前提是你在上面运行人脑的软件。
如果你用它运行人脑的软件，再把它部署到经济中，赚取与人类相当的工资，比如美国年薪 5 万到 10 万美元。而一块 H100 的成本大约是 3 万美元，所以它很快就能收回成本，经济翻倍时间大约在一年左右。
这是个非常具体的定量预测。有人会说：“但 Baumol 效应呢？”那是什么意思？它预测经济每两年翻一番，还是每五年？你还需要更多假设，才能把这类反对意见讲清楚。
我觉得让人困惑的是，我同意这些定性反对意见，比如瓶颈确实很重要；这也是我对“软件奇点”比较怀疑的部分原因。但这些反对意见本身不足以阻止爆炸式增长。
我还常听到另一个反对意见，你们也许会有类似回应。经济中的许多活动都符合 O-ring 模型。我想这概念来自挑战者号航天飞机爆炸：某个零件出了问题——我忘了 O 形环具体哪里失效——结果整个系统都崩溃了。
我觉得很有意思，因为 O-ring 模型把很多投入相乘，整体产出就是许多因素的乘积。但实际上，这个模型对瓶颈较少的情况更乐观。
我们之前好像说过这点。谈到“仅软件驱动的奇点”时，我说，如果产出是计算机实验和研发的乘积……
但如果其中一个乘数……
是零。
因为人类……
但那里的边际产出是常数，对吧？
对，但如果某个乘数不增长，也不会彻底限制增长。没错，这意味着扩张效率更低，但仍能取得很多……
在 O-ring 模型里，增长仍然可以不受上限约束。所以我不同意 Tyler 的结论：他对瓶颈的看法还不够保守，应该更认真地对待。但我仍不同意他的结论。我认为，只要 AI 能够灵活替代劳动，就会出现爆炸式增长。
我不太明白……AI 会创造全新的组织。我们写过一篇关于 AI 公司的文章。关键问题是，人们往往只从单个 AI 副本有多聪明的角度来考虑 AI。你在现有组织里可能是高产员工或贡献者；但在 AI 世界里，许多人可能变成零贡献，甚至拖累产出……
我同意。
为什么这不会让乘法中的某一项……？
但为什么还要让人类参与其中呢？
你们两个人都说，人类会降低产出；但同时又主张把人类放进……
好吧，说得对。主要的反对意见常常是监管。我觉得我们之前通过不同观点隐约回应了，但不妨明确说说：为什么监管不会阻止这一切？
我们确实有一篇论文，讨论爆炸式增长的所有正反论据。我认为，监管是最有力的反对理由。
它之所以有力，是因为尽管我们之前谈过国际竞争、不同辖区的政策差异，以及各国出于经济和国家安全考虑而采用这项技术的强烈动机……
把这些理由合在一起很有说服力，但世界也有惊人的能力，能够协调一致地不去发展某些技术。
对，比如人类克隆。
没错。因此，我很难对这种情况绝不发生抱有十足信心。我认为，全球阻止 AI 的可能性比阻止人类克隆更低，因为人类克隆还触及其他禁忌。
而且它的价值也更低。
对，价值更低，可能在短期国家安全方面也没那么重要。但正如我说的，仍很难排除监管协调发生的可能。
所以，如果有人说：“我认为有 10%、15%，或 20% 的概率会出现某种全球监管协调，而且非常有效。也许会对违反协议的国家实施制裁。”
这种监管也许不会完全阻止 AI 部署，但可能让进程足够慢，以至于最终没有出现爆炸式增长。我觉得这个观点并不荒唐，也许概率有 10% 左右。
我不知道……你们还遇到过其他……
其他反对意见吗？
我还应该揪着你们问什么？
我们听过一些经济学家的反对意见。有时，人们针对我们的爆炸式增长论证提出的是关于水平的异议，而我们的论证谈的是增长率。我们说：“经济每年增长 30%，而不是 3%。”他们却说：“理发、乘飞机或去餐馆的效率还能提高多少？价值还能增加多少？”这从根本上说是错误类型的反对意见。
我们谈的是变化率，你们却用生产率绝对水平来反驳。而且正如我之前说的，如果同样论点是针对更慢的增长速度持续更久，经济学家自己也不会接受这种说法。所以这更像是特例辩解……
我想这和部署有关。你们说，AI 能通过部署到现实世界、观察人们觉得什么有用来学习；ChatGPT 就是例子。AI 产品和服务也会经历类似过程吧？你把它们放到市场上，人们试用，你才能知道他们需要什么；同时它们还要接入现有供应链。这些都需要时间，不是吗？
需要时间，但通常并不久。实际上 ChatGPT 的增长非常快。
是，但它完全是数字服务。
乐观的一点是，如果 AI 真能直接替代远程工作者，或者在有机器人时替代现场员工，企业已经很熟悉如何培训和接纳人类员工。这通常用不了太久。即使是特别困难的岗位，新员工也许六个月后就能开始创造价值，这并不算很长。
所以只要 AI 不需要大量新的互补创新和发现，企业应该能接纳 AI 员工。我认为现在 AI 进步比预期慢，部分原因是企业还不习惯这种新技术，必须调整工作方式才能利用它。
但如果 AI 系统能直接替代人类员工，也许就不需要那么多互补创新了。
§11全自动化企业
这正好让我们进入最后一个话题：AI 企业。我们共同写的那篇文章讨论了全自动化企业是什么样子。关键论点是，人们往往过分关注 AI 单个副本有多聪明。
如果想理解 AI 超越人类的地方，应该关注它们集体协作的优势。这些优势是生物学限制了人类才无法做到的：AI 可以连同隐性知识一起复制。你可以把某个领域的杰夫·迪恩、Ilya Sutskever，或者其他重要人物复制到另一个领域。甚至可以复制 Elon Musk，让他成为 SpaceX 每个岗位的工程师。如果这种做法效率不高……
是他们的 AI 版本。
或者你不需要复制 Elon Musk，而是复制相关团队。人类企业有个问题：高效团队或群体的文化会随着时间稀释，成员会离开、去世或变老。数字企业可以解决这类问题。
企业目前具备演化所需三个条件中的两个：选择和变异，但缺少高保真复制。一旦补上最后一块，就能想象企业以更快、更激烈的方式演化。
这也和员工入职有关。AI 现在还不够聪明，无法以完整员工的身份入职；但一旦做得到，招聘时能按需要挑选技能，会是巨大的解锁。我可以说：“我需要这项技能，或这组技能。”如果需求弹性很高，就能同时雇用一千名员工。我认为，除了变革性 AI，这是理解未来 AI 社会最被低估、最具体的一点。
我觉得第一步应关注宏观经济图景：相关投入都在大幅扩张。但还可以提出更微观的问题：“这个世界具体是什么样？它和仅仅拥有更多人口、更多资本的世界有什么不同？”肯定会有所不同，而这时你说的这些因素就重要了。
另一个重要因素是 AI 可以被对齐。相比人类员工，你能够控制 AI 系统的偏好。对人类员工，你只能招聘或选择，几乎无法控制他们的偏好。但你可以对 AI 微调，打造具有你所期望偏好的系统。这会显著改变塑造企业结构的基本问题。
例如，委托代理问题可能会消失。这指的是员工的激励可能不同于经理、整个公司或公司股东的激励。
我觉得激励问题只是较小的一部分。更关键的是带宽和信息共享：大型组织很难维持统一愿景。如今最成功的企业，往往是在较长时间内由创始人把愿景贯彻到组织中的企业；SpaceX 和 Tesla 就是例子。人们也会这么评价 Nvidia。
但想象一下未来出现一个超大规模的 Jensen，企业每年花 1,000 亿美元用于推理，让他的复制体持续撰写每一份新闻稿、审查每个代码变更、回答每个客服问题、监督整个组织，确保企业沿着统一愿景发展，然后再把信息合并回超级 Jensen。
对，我同意这更重要。但我也想指出，人类企业之所以需要统一愿景和文化，部分原因可能是存在激励问题。我不会排除这一点，不过我同意，除了整体宏观经济影响之外，可复制性可能是最重要的优势。
可复制性还会带来额外的规模经济。如果 GPU 数量翻倍，你不只能运行旧模型的两倍副本，还可以训练一个更强的模型。训练和推理算力都翻倍后，你得到的员工不仅是原来两倍，而且会更聪明，因为你用更多训练算力提升了它们的能力。这是另一种规模经济。
AI 还有一个优势：人类基本上每个人都得从头学习。人出生后要花一生学习，而人类学习中存在大量重复。AI 系统却可以只学习一次，进行一次规模巨大、数据丰富的训练，然后部署到所有地方。这又是 AI 相较于人类的巨大优势。
§12AGI 之后中央计划会奏效吗？
最后我们聊聊这个常讨论的分歧：有了这些规模经济，中央计划会奏效吗？
我会说，问题还是“奏效”是什么意思……
它会是最优的吗？
对。我猜中央计划可能不是最优方案，但我不认为有人认真、深入地思考过这个问题。
值得思考的是，为什么在这个世界里中央计划可能稍微更有效。一个因素是通信带宽可能远高于今天。现在，信息收集和信息处理由同一主体完成：人类观察并处理所见信息。在 AI 世界里，这两项活动可以分开。
因此可以部署传感器，让它们只负责收集信息，不做太多处理；然后把信息集中起来处理。集中处理可能有多种优势：更多 GPU 能带来更好的模型，也可以更深入地思考传感器观察到的内容。
值得一提的是，现在已有类似例子，比如 Tesla FSD。它会利用数百万英里行驶里程中由车辆收集的数据，改进系统。
而且由总部集中指导，例如总部说：“我们要推送一次更新。”
所以确实会有某种更集中化……
而且更新可以更智能、更有针对性，不只是简单地平均梯度。我相信特斯拉用的方法比这复杂得多，但它完全可以是更刻意、更智能的更新。
这是一个理由。另一个理由是，当今领导者或 CEO 的大脑并不比员工大很多。也许稍微大一点……
我不知道你是不是想展开这个话题……
但显然没有大几个数量级。因此，负责规划的模型规模或许能比负责行动的人、智能体或员工大几个数量级。
第三个理由是激励。市场之所以存在，部分是为了给人合适的激励；但如果使用 AI，可能没那么需要市场。因此，如果列出人们传统上反对“中央计划为何行不通”的理由，这些理由可能会减弱。
不过，做这种分析时有个危险：只考虑部分因素，忽略其他因素，陷入局部均衡分析。例如……
经济变得更复杂、规模也更大。你的信息收集和处理能力会提高，但随着复杂度上升，做好这两件事的需求也会增加。
举个例子：假设今天的 Apple 有现有算力和资源，要管理乌鲁克的经济。我觉得它确实能做到中央计划，甚至可能让乌鲁克的经济运转得更好。但按今天的能力，Apple 无法管理今天的全球经济。
没错。
§13职业建议
好，这就是最后一个问题。AI 如此迷人的原因之一，是人类知识领域中没有哪个领域与研究 AI 无关，因为我们真正想弄清楚的是……
这点我不确定。
我是说，所有严肃的知识领域……
这样说更好。
……都和研究 AI 有关，因为你本质上是在预测未来社会是什么样子。因此，计算机科学显然相关，正如我们讨论的，经济学也相关；历史以及如何理解历史，和其他许多话题也相关。
你们时间线较长，也有足够时间在这个领域发展有意义的职业生涯。你们会给有兴趣的人什么建议？你们俩都很年轻，尤其是 Ege，不过你们两位都年轻。也许人们会觉得这类问题需要结晶智力，特别是考虑我们之前说过的：随着知识增加，我们得把新学到的东西纳入模型，用来更好地预测世界。想从事你们这类职业的人，有什么建议？
这是个难题。我不确定。某种程度上，很难刻意采取我们可能采取的隐性策略。相比刻意地说“我要学习很多领域，好参与 AI 讨论”，如果是自发出于好奇和兴趣，效果可能更好。我还没见过有人刻意采用前一种策略并取得成功，至少我没见过。
我没有直接参与讨论，但或许让其他人有机会参与了。我做播客不是为了这个明确目标，不过它意外地让我有机会学习多个领域。
既然你已经有兴趣和好奇心，读很多书、学习和思考这些话题，你可以在边际上做许多事，让自己更能为此做出贡献。
我觉得和别人交流、写下想法，并寻找特别有用的交流对象和合作者，都非常有帮助。找一些与你看法相近、能和你进行高带宽讨论、一起推进这些话题的人，这很重要。
具体怎么做？比如他们应该给你发私信吗？怎么联系你们？
可以啊。
我不知道，和朋友建个 Signal 群之类的。
说真的，我从这类交流里获得了超多有价值的信息。
我还会给大家一个建议，即使你不专门研究 AI，也一样适用：应该更主动地联系别人。人们觉得，如果去联系看起来很重要的人，对方不会回复。但如果你发的内容有意思、质量高，对方回复的概率其实很高。
更主动、不怕显得愚蠢，能带来很大的优势。我主要就是这条建议。因为要有产出，就得参与某个社区或组织，这些因素彼此互补。要做到这一点，你得让别人知道你是谁。
这又回到了单靠推理没那么有帮助的观点。
没错。
其他人花了很多时间思考，偶然发现有用的想法；你可以利用这些成果。
没错。你应该设法参与更大的事业。这不一定是站在最前沿，而是更有效的贡献方式。要做到这一点，就得让别人了解你。
对。我觉得，特别是对 AI 感兴趣的人来说，去旧金山湾区也很重要。
没错，来湾区挺好的。你可以写东西、发到别人看得到的地方，也可以积极联系别人，提出有意思的观点。
前提是你的观点确实有意思之类的。
我觉得很多时候我的想法可能并不有趣，但别人还是愿意回复我的冷邮件，也愿意和我合作。
我还注意到一件事，想问是不是这样的。和普通的博览群书、充满求知欲的人相比，你们这类人，比如你们或 Carl Shulman，会更关注重要的专业文献，而不是“我要读经典、广泛阅读”。你会说：“我得更重视 Romer 的那篇论文。”普通的求知者反而不会去读这些关键文献。
对。你必须清楚自己的时间非常有限，而且你不是 AI 模型。因此，你得积极筛选自己要读的内容。
连 AI 模型也没有那么会筛选。它们读的大多是 Reddit，语料库里相当大一部分……
我是说，在你们这种人里，重点是关键的实证文献。一般来说，读这些也许未必总是最有效，但……
我觉得这很有用。我也觉得读 Twitter 很有价值。人们常说他们花太多时间看 Twitter，希望能多读 arXiv。但实际上，单位时间从 Twitter 获得的信息往往更多，对他们也更有帮助。
有些重要文献确实值得读。我认为，弄清楚深度思考过这些问题的人如何构建世界观很有用。在 AI 领域，这可能是一些关键论文，比如 Andy Jones 关于推理时扩展损失的论文非常重要。
经济学方面则包括 Romer 的论文、Kremer 或 David Roodman 关于长期人口的论文等。如果你觉得某些人思考得很好，他们极力推荐某篇论文，我认为你应该认真对待并读一读。
对我来说，与其泛泛地读很多东西，不如花一天认真读一篇关键文献。例如，想理解 Transformer，常有人推荐 Karpathy 的讲座；但 Anthropic 最初那篇 Transformer 电路论文对我特别有帮助。认真读那篇论文、做些间隔复习卡片，比泛泛阅读 AI 资料有用得多。
如果想正确安排优先级，最重要的可能是加入一个社群，或者持续获得社群的输入；听取经验丰富的人对哪些东西重要、哪些不重要的看法。
对。
即使在学术领域也一样。比如你想做数学研究，但不在研究生项目里，也不在有很多人长期从事数学研究的大学，就连该研究哪些开放问题、哪些值得攻克、哪些论文重要且包含关键技巧，你都无从得知。你需要以某种方式接入这类信息来源。
但你当时在安卡拉，也没和别人交流。那你怎么知道这些？
你不一定要交流。互联网在这方面很有用，阅读本身也能带来很多收获。但你得找到哪些人的内容始终最有意思。也许先找到一个人，他认识其他有意思的人，然后你就可以沿着这个社交网络，逐步找到值得倾听的人。
举个我认为确实有效的例子。你可能听说过 Daniel Ellsberg。你搜索他做过哪些播客，发现他上过 80,000 Hours 播客；接着注意到这个播客还有其他嘉宾，比如 Bryan Caplan，也上过节目；Robin Hanson 可能也上过。然后你再找这些人认识的其他人。沿着这种社交网络找资料，可能会……
我觉得你为此做了很多贡献。你的嘉宾选择常常很好。
我挺想听你们私下告诉我哪些地方选错了。好吧，其实我大概知道答案。
这让人更容易追踪各个话题中真正有意思的思考者。
没错。好，我觉得以你们表扬我作为结尾挺合适的。我还是非常推荐大家关注 Epoch。
你们还有一份很棒的周报 Gradient Updates。人们都喜欢推荐新闻通讯，但我简直不敢相信它能每周持续发布。
你们现在也有一档新播客。我不会把它当竞争对手推荐，不过大家可以去看看。
谢谢你借出录音室。
对，太感谢了。
好了，很棒。谢谢你们。