Leopold Aschenbrenner：2027 AGI、中美超级智能竞赛与历史的回归
Leopold Aschenbrenner — 2027 AGI, China/US super-intelligence race, & the return of history
嘉宾：Leopold Aschenbrenner
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01Leopold Aschenbrenner——2027 AGI、中美超级智能竞赛与历史的回归
Teddy Kim 编辑。
§02万亿美元算力集群与解除束缚
今天我来和朋友 Leopold Aschenbrenner 聊天。他在德国长大，19 岁时以全校第一名从哥伦比亚大学毕业。之后他度过了一段很有意思的间隔年，稍后会聊到。再后来，他加入了 OpenAI 超级对齐团队，愿这支团队安息。
现在，在 Patrick 和 John Collison、Daniel Gross 以及 Nat Friedman 的一些锚定投资支持下，他要创立一家投资公司。
Leopold，你开局有点慢，但人生还长，不用太担心，以后会赶上的。谢谢你来参加节目。
谢谢。我第一次发现你的播客时，你最好的那期只有几百次播放。能一路看到你的发展真的很棒。很高兴能来。
在 Sholto 和 Trenton 那期节目中，我提到自己关于 AI 的许多认识都是通过和他们聊天学到的。这个三人组里的第三位、也可能是最重要的一位，就是你。今天我们把所有内容都聊清楚。
我先要把一件事问清楚：跟我讲讲万亿美元算力集群。
为了交代背景，今天你要发布一系列文章，叫《态势感知》。我们会谈到它。先问第一个问题：跟我讲讲万亿美元算力集群。
和硅谷最近的大多数事情不同，AI 是一个工业化过程。训练下一个模型不只是写点代码，而是要建一个巨型新集群、建大型新电厂，很快还要建大型新晶圆厂。
自 ChatGPT 问世以来，一轮非凡的技术资本加速进程启动了。整整一年前，英伟达召开了第一次重磅财报电话会，盘后股价上涨了 25%，所有人都说：“天哪，AI 是真的了。”一年之内，英伟达数据中心业务收入从每季度几十亿美元涨到每季度 250 亿美元，而且还在继续上升。大型科技公司的资本支出正在飙升。
有意思的是，现在虽然一片疯狂竞赛，但某种程度上只是把图表上的直线延长。近十年来，最大 AI 系统的训练算力一直以每年约半个数量级，也就是每年 0.5 个数量级的速度增长。
把这条趋势延伸一下。报道称，GPT-4 在 2022 年完成预训练。SemiAnalysis 传闻它使用了大约 25,000 张 A100 组成的集群，大致是价值 5 亿美元的集群，功耗约 10 兆瓦。
再往后推半年，到 2024 年，集群规模就是 100 兆瓦、相当于 100,000 张 H100，成本达到数十亿美元。
再往后推两年。到 2026 年，规模会达到 1 吉瓦，相当于一座大型核反应堆，也差不多是胡佛水坝的发电功率。它需要一百万张 H100 等效卡，成本数百亿美元。
到 2028 年，集群规模会达到 10 吉瓦，超过美国大多数州的用电量。这相当于一千万张 H100，成本数千亿美元。
到 2030 年，就会出现 100 吉瓦、价值一万亿美元的集群，耗电量超过美国发电量的 20%。它相当于一亿张 H100。
这还只是训练集群。推理也需要更多 GPU。产品问世后，大多数 GPU 都会用于推理。美国的发电量几十年来几乎没增长过，现在我们要进入一段刺激的旅程了。
我采访 Zuck 时，他说 AI 进步不是遇到平台期，而是会受能源限制。具体来说，他问：“吉瓦级数据中心我们能建，可接下来要不要再建一座三峡大坝？”
公开报道说有公司正计划建设 1 吉瓦规模的数据中心。谁能建 10 吉瓦的数据中心？100 吉瓦就像州政府级别的项目。你要把这么多算力塞进一座实体数据中心吗？这怎么可能实现？Zuck 漏掉了什么？
六个月前，10 吉瓦还是大家热议的话题。现在大家已经往前看了，10 吉瓦正在发生。《The Information》报道 OpenAI 和微软计划建设一座耗资 1,000 亿美元的集群。
那是 1 吉瓦还是 10 吉瓦？
我不知道。不过如果估算 10 吉瓦集群的成本，大约是数千亿美元，应该是这个量级，他们也在规划。不是只有我在提出这种疯狂看法。AMD 预测，到 2027 年 AI 加速器市场会达到 4,000 亿美元，而加速器只是总支出的一部分。
到 2027 年，我们非常有可能达到 1 万亿美元的 AI 总投资。要建成一万亿美元的集群，还需要再加速一段时间。我们已经看到 ChatGPT 释放了多大的影响。每一代模型都会非常惊人，并改变人们认为可行的范围。
随后收入也会增长。这些都是面向未来的投资，关键是能不能回本。我们估算 GPT-4 的集群成本大约是 5 亿美元。人们常犯的错误是说 GPT-4 只花了 1 亿美元，那只是租用价格。如果你要建最大的集群，就得把整个集群建出来并付清费用，不能只租三个月。
不能吗？
当支出达到数千亿美元时，就得每年创造约 1,000 亿美元的收入。这正是大型科技公司的有趣之处，因为它们的收入本来就在数千亿美元量级。
100 亿美元没问题，能覆盖 2024 年规模的训练集群。大型科技公司真正会大赚一笔，是集群成本达到每年 1,000 亿美元的时候。问题是 AI 收入每年达到 1,000 亿美元有多现实？这比现在高得多。但如果你像我一样相信 AI 系统会沿这条轨迹发展，就没那么疯狂。
Microsoft Office 大约有 3 亿订阅用户，他们现在有 Copilot。我不知道他们怎么定价。假设他们向三分之一的 Office 订阅者提供每月 100 美元的 AI 附加服务，那就能带来 1,000 亿美元收入。每月 100 美元可不少。
对三分之一的 Office 订阅者来说，这笔钱很多。
对普通知识工作者来说，只需每月多提高几个小时的生产力就值了。你得对 AI 进展抱有很悲观的预期，才会认为每月提高几小时生产力都做不到。
好，假设这些都成立。未来几年会怎样？1 吉瓦数据中心训练出的 AI 能做什么？10 吉瓦的又能做什么？给我描绘一下未来几年的 AI 进展。
我最好的猜测是，到 10 吉瓦规模时就会达到真正的 AGI。算力其实被高估了，这个我们之后再谈。
到 2025 至 2026 年，我们会得到基本比大多数大学毕业生更聪明的模型。经济价值在很大程度上取决于解除束缚。模型虽然聪明，却受到限制：有聊天机器人，也有能操作电脑、执行长期自主任务的系统。
到 2027 至 2028 年，它们会达到最聪明专家的水平。“解除束缚”的发展轨迹会让系统更像智能体，而不是聊天机器人。它几乎会像一个可以直接远程雇用的员工。
中间阶段的 AI 系统也许很有用，但把它们整合进企业需要大量折腾。GPT-4 或 GPT-4.5 能用于很多商业场景，但你必须改变工作流程才能发挥作用。这是很 Tyler Cowen 式的看法：扩散就是需要很长时间。我们身在旧金山，很容易忽略这一点。
但某种程度上，系统本身希望以一种类似“音爆”的方式被整合。中间阶段的系统也能做到，只是需要很多折腾。你还没来得及花力气整合它们，更强、束缚更少的系统就会出现。
它们会成为智能体、可以直接远程雇用的员工。你会像和同事互动一样和它们协作：可以跟它们开 Zoom、在 Slack 上沟通，交代一个项目后，它们就去写初稿、收集反馈、测试自己的代码，再回来汇报。之后你还可以继续补充要求。这样会更容易整合。
你可能需要有点性能过剩，才能让转型变得简单、真正收获收益。
你说的性能过剩是什么意思？是模型能力过剩吗？
对。中间阶段的模型也许能做，但得花很多力气折腾。可以直接远程雇用的 AGI 能自动完成认知任务。中间阶段的模型会提高软件工程师的生产力，可软件工程师愿意采用吗？
有了 2027 年的模型，你就不需要软件工程师了。你可以像和软件工程师互动那样和它交流，它会完成软件工程师的工作。
我上一期采访的是 John Schulman。
我问了他这个问题。过去一年出现了不少模型，但似乎没有哪个显著超过 GPT-4，尤其没有在智能体能力上达到可以像同事一样合作的程度。它们会说自己在 MMLU 上多拿了几个百分点。GPT-4o 能像 Scarlett Johansson 一样说话（我猜现在不行了）确实很酷，但还不像同事。
它们为什么擅长回答问题，是有道理的：它们有大量续写维基百科文本的数据。但要理解 Zoom 通话，类似的训练数据在哪儿？回到你说的 Slack 对话，它怎么利用上下文弄清楚你们在做的连贯项目？这些训练数据从哪儿来？
未来几年 AI 进展的关键问题，是解锁推理时计算过剩有多难。现在 GPT-4 可以进行几百个 token 的思维链推理，这已经是很大进步了。以前它回答数学题像是乱枪扫射：如果你每次答数学题都只说脑中第一个想到的答案，表现肯定不会好。
GPT-4 会思考几百个 token。假设我一分钟思考 100 个 token，那和 GPT-4 的速度差不多，相当于我思考三分钟。如果 GPT-4 能思考数百万个 token 呢？那单题推理时计算就增加了 4 个数量级。它现在做不到，会陷入停滞。它能写代码，也能做一点迭代调试，但最后还是会卡住，无法纠正错误。
这里有很大的推理时计算过剩。机器学习的其他领域有篇很好的 AlphaGo 论文，展示了训练时计算和测试时计算之间可以互换。如果测试时计算能增加 4 个数量级，效果差不多相当于模型规模扩大 3.5 个数量级。
如果按一分钟 100 个 token 算，几百万个 token 就相当于几个月的工作时间。几个月里能做的事情，远不只是马上给出一个答案。问题是如何解锁这种能力有多难？
在短时间线的 AI 观点里，这并不难。可能不难的原因是，我们只需要教模型多学几个 token：比如纠错 token，让模型说“我犯错了，我再想想”；还需要规划 token，让它说“我先制定计划，这是我的计划，我先写个草稿，再批评自己的草稿，然后再思考”。模型现在还不会这些，但关键是让它学会这些有多难。
智能体有两条发展路径。Sholto 上你节目时谈过通过规模化来提高可靠性，让成功率再多几个 9，这是其中一条。另一条是“解除束缚”的路径：模型需要学会 System 2 思维过程。如果它学会了，就能使用数百万个 token，并保持连贯思考。
打个比方，开车时你大部分时间都处于自动驾驶状态。有时碰到奇怪的施工区或路口，你得认真思考。有时我女朋友坐在副驾驶，我会说：“啊，先安静一下，我得弄清楚现在是什么情况。”
你会从自动驾驶切换到 System 2，开始思考该怎么做。规模化能增强这种 System 1 自动驾驶能力；靠蛮力提升这个系统，是通向智能体的一条路。如果 System 2 也能运行，就能很快跳到更像智能体的形态，解锁测试时计算过剩。
有什么理由认为这会是容易实现的进展？有没有某种损失函数能轻松启用 System 2 思维？会 System 2 思维的动物不多。进化花了很长时间才让我们有了 System 2。
预训练有数万亿个互联网 token，这我明白。模型学会预测这些文本后，就获得了很多免费能力。你为什么认为解除束缚会容易？
首先，预训练非常神奇。它让通用智能模型有了巨大优势，因为你只需要预测下一个 token。但这里有个常见误解：预测下一个 token 能让模型学到极其丰富的表示。深度学习的神奇之处就在表示学习。模型学到的不只是统计巧合，而是世界的模型；正因为学到了正确的表示，它们才能泛化。
训练模型时，你会得到一大包原始能力，非常有用。从 GPT-2 到 GPT-4 的解除束缚，就是用 RLHF 把这堆原始能力调成一个好用的聊天机器人。这是很大的进步。
在最初的 InstructGPT 论文里，比较 RLHF 和未经过 RLHF 的模型时，人类偏好评分上的差异相当于模型规模扩大 100 倍。模型开始能做简单思维链推理等等。但你仍然拥有这些原始能力，仍有大量潜力没有发挥。
预训练带来的优势也是机器人技术的差异所在。人们过去说这是硬件问题；硬件问题正在被解决，但机器人没有预训练带来的巨大起步优势，也没有那么多无监督学习可以利用。它们必须一开始就靠强化学习和自我博弈。
问题是，为什么强化学习和解除束缚可能有效？自举是模型的一项优势。你的 Twitter 简介写着“正在预训练”，其实你早就不是在预训练了。你在小学和中学时已经预训练过了。到了某个阶段，你会转而学会自主学习。小学时你做不到，大概从高中开始，到大学时，如果你够聪明，就能自学。模型现在才刚开始进入这个阶段。
再多做一些规模化训练，然后弄清楚该叠加什么。过程不会很简单。很多深度学习想法事后看起来很明显：有一簇显而易见的想法，也有些想法看起来有点蠢但确实有效，还有很多细节必须做好。下个月就能实现是不可能的，需要花些时间摸索。
你说的“花些时间”是半年左右吧？
我不知道，可能六个月到三年。但确实有可能。这也和数据墙问题有关。关于自主学习，我有个直觉类比：预训练有点像老师在课堂上讲课、单词不断从你耳边飞过，你只吸收了一点点。
自主学习不是这么回事。比如你读一本很难的数学教材，不会只扫一遍就算了。有些只会背术语的人会反复浏览、重读数学教材，把它记下来。
真正的做法是读一页、思考，脑子里展开一段独白，或者和学习伙伴讨论。你会尝试练习题，失败很多次。某个时刻突然豁然开朗：“我懂了。”然后再读几页。
我们刚刚开始自举模型，让它们能做这类事。问题是，能否用自我博弈、合成数据、强化学习，让这个过程真正运作起来。现在已经有上下文学习，样本效率非常高。Gemini 的论文里，模型能在上下文中学会一种语言；而预训练的样本效率则低得多。
人类做的其实就是一种上下文学习。你读一本书、思考，直到某个时刻终于弄懂，然后再把学到的东西以某种方式提炼回权重中。从某个角度说，强化学习正试图做到这一点。强化学习很难调，但一旦有效，就很神奇。
对模型来说，这可能是最好的训练数据。你尝试一道练习题，失败，最后想出一种自己能理解的解法。对你来说，这是最好的数据，因为它是你自己解题的过程，而不是单纯阅读一个一开始无法理解的他人解法。
顺便说一句，如果这个观点听起来耳熟，是因为我问 John Schulman 的问题里就有这一层意思。这也说明我在开场时说过的话：我对 AI 的很多了解，来自我、你、Sholto 和其他几个人在采访前共进的晚餐。我们会讨论：“我该问 John Schulman 什么？该问 Dario 什么？”
假设事情真的按这个方向发展，我们实现了这些解除束缚的进展——
还要叠加规模化训练。规模化是一股巨大的基准力量。GPT-2 很惊人，能连出看似合理的句子，但几乎什么都做不了，有点像学龄前儿童。GPT-4 则能写代码、做难数学题，像一个聪明的高中生。这种能力的大幅跃升，我在那组文章里分析过。我会计算算力增长的数量级，以及算法进步带来的规模提升。
仅靠规模化，到 2027 至 2028 年，就可能在 GPT-4 的基础上再实现一次从学龄前到高中的能力跃升。按每个 token 的能力看，模型会非常聪明。它们的可靠性也会提高，再加上解除束缚，它们看起来就不再像聊天机器人，而更像智能体或可直接远程雇用的员工。事情从那时起才真正开始。
§03AI 2028：历史的回归
我还想追问，但先把视角拉远。假设你说得对，这是因为 2027 年的集群达到了 10 吉瓦吗？
10 吉瓦是在 2028 年。也许会提前。
比如说，2027 年达到某种 5.5 级，不管那叫什么。那时世界是什么样？你有这些能取代人的远程员工。经济、政治和地缘政治会有什么反应？
对一个一直密切关注 AI 的人来说，2023 年是非常有意思的一年。
你 2023 年在做什么？
在 OpenAI。2023 年在 OpenAI 是种奇怪的体验，你甚至不太想谈 AI 或 AGI，那几乎成了禁忌词。随后人们第一次看到 ChatGPT，看到了 GPT-4，整个领域就爆发了。
这促使很多公司大幅增加资本支出，也让英伟达等公司的收入激增。此后局面平静了一些，但下一波产品已经在酝酿。我预计每一代模型都会让这些加速度不断增强。人们看到模型时并没有计算过算力增长了多少个数量级，所以会感到惊讶，甚至觉得疯狂。
收入会加速增长。假设今年年底收入达到 100 亿美元，然后继续按每六个月翻一番的速度增长。达到 1,000 亿美元其实没那么远，也许 2026 年就能做到。到某个时候，英伟达身上发生的事也会发生在大型科技公司身上，增长会突然爆发，更多人会切身感受到。
对我来说，2023 年是 AGI 从理论、抽象的东西变成现实的时刻。我看得见、感受得到，也看得见发展路径。我能看到模型训练所用的集群、大致的算法组合、参与的人，以及这一切如何发生。世界上大多数人还没到这个阶段，目前能感受到的人大多就在这里。但更多人很快会开始感受到，届时局面会变得紧张。
现在是谁感受到了？你可以上 Twitter 看看，那些做 GPT 套壳公司的说：“哇，GPT-4 会改变我们的业务。”
我非常看空这些套壳公司，因为它们押注的是进展停滞。它们赌的是：会一直有中间阶段的模型，而把模型整合进业务需要很多折腾。我非常看空它们，因为我们很快会来一次音爆式跃迁，解除束缚，让模型成为可直接远程雇用的员工。到那时，它们做的东西就不重要了。
好，旧金山和这一圈人已经关注这件事了。到 2026、2027 年，谁会开始关注？那时 AI 资本支出大概会达到每年数千亿美元。
国家安全体系会开始高度关注。希望我们能谈谈这个问题。
那现在就谈吧。会发生什么？直接的政治反应是什么？从国际角度看，我不知道习近平看到 GPT-4 的新闻和 MMLU 成绩时，会不会说：“天哪，同志，我们要怎么办？”
那他看到一个可以替代远程员工、年收入达到 1,000 亿美元的东西时会怎样？有很多公司年收入达到 1,000 亿美元，人们却不会为此通宵讨论。
关键问题是，中共和美国国家安全机构什么时候会意识到，超级智能将对国家力量产生决定性影响？这就要谈到智能爆炸，我们稍后应该讨论。
有了 AGI，就有了这种可以直接远程雇用、至少能替代远程工作者的员工。很快你再把这个过程推进一两轮，就会得到比人类更聪明的东西。
不只是再推进几轮这么简单。最先实现自动化的工作之一，很可能是 AI 研究员或工程师。如果 AI 研究能够自动化，进展就可能开始飞速加快。
目前算法进展仍大致按每年 0.5 个数量级的趋势增长。到某个时刻，推理用的 GPU 机群会达到数千万张甚至更多。你就能运行相当于一亿名人类研究员的自动化 AI 研究者。
如果做到这一点，也许一年内就能完成十年的机器学习研究进展，相当于加速 10 倍。你可能在一两年内就能跨越到远比人类聪明的 AI。
然后这个过程会扩展。AI 研究一开始加速后，你会把研发投入到许多其他技术领域。到这一步，你会有十亿名超级智能研究员、工程师和技术人员，他们在所有事情上都极其胜任。
他们会解决机器人技术。我们说过这可能是个软件问题。好，现在集群里有十亿个比人类最聪明研究人员还聪明的 AI 研究者，总有一天会在智能爆炸期间解决机器人技术。随后，这个领域也会扩展。
如果按这个图景往前推，它和其他技术都不一样。军事竞争中领先几年就可能决定胜负。看看第一次海湾战争：西方联军的杀伤比达到 100 比 1。他们的坦克传感器更先进，精确导弹、GPS 和隐形技术更好，技术领先大概 20 至 30 年，于是彻底击垮了对手。
把超级智能用于广泛研发，再加上由此带来的工业爆发和机器人生产大量物资，可能把一个世纪的技术进步压缩到不到十年。这意味着几年领先，就可能在军事上获得类似第一次海湾战争的优势，甚至可能形成一种先发优势，在核武器发挥作用之前就决定胜负。
怎样找到隐形核潜艇？现在可以用传感器和软件发现它们。你可以部署数亿或数十亿只蚊子大小的无人机，摧毁核潜艇、机动发射车和其他核武器。
这可能极不稳定，对国家力量也极为重要。总有一天人们会意识到这一点。现在还没有，但会有。那时，负责的人就不会只有 AI 研究者了。
中共会不惜一切代价渗透美国 AI 实验室，投入数十亿美元、数千人，以及国家安全部的全部力量。中共也会努力在算力建设上超过我们。
过去十年里，中国新增的发电能力相当于整个美国电网。因此，至少 100 吉瓦集群中的能源部分，对他们来说会容易得多。到那时，国际竞争会非常激烈。
我对这个图景有一处不确定：它会不会像你说的那样，先是一次爆发？你开发出 AGI，再把它变成 AI 研究员。有一段时间，你只用这种能力制造数亿个 AI 研究员。经过这场极其紧张的过程，超级智能出现。然后它进入现实世界，研发机器人、帮你接管其他国家，诸如此类。
这个过程会渐进一些。爆发一开始比较狭窄，AI 先能做认知工作，而认知工作中回报最高的用途，是改进 AI 并解决机器人技术问题。机器人技术解决后，你就能推进生物学和其他技术领域的研发。
一开始，你会从工厂工人入手。他们戴着眼镜和 AirPods，由 AI 指导工作，因为你可以把任何工人训练成技术熟练的员工。然后机器人再进入工厂。这个过程就这样逐步扩展。
Meta 的 Ray-Ban 智能眼镜可以和 Llama 相互补充。
美国晶圆厂的限制之一是熟练工人不足。即使没有机器人，你已经有了认知上的超级智能，也可以立刻把所有人变成熟练工人。这只会是很短暂的阶段，机器人很快就会到来。
假设美国的技术进展真的像你说的那样，部分原因是这些公司已经从 AI 获得了数千亿美元收入——
到这时，公司可能会在企业债券市场借入数千亿美元甚至更多。
为什么一个 60 岁的中共官员会看着这一切，说：“哦，Copilot 又变好了。”然后——
这可远不只是 Copilot 变好了。
这需要整个国家的生产体系转向，挪用原本用于消费品的能源，全部供给数据中心。你这个故事的一个部分，是人们意识到超级智能即将到来，也许你意识到了，我也意识到了，不过我不确定自己到底有多意识到。
美国国家安全体系和中共会意识到这一点吗？
这是个关键问题。我们还会经历几年中场阶段，还会有几次类似 2023 年的时刻，越来越多的人会更新自己的看法，趋势线也会越来越清晰。
你会看到一些类似新冠疫情的动态。老实说，2020 年 2 月的新冠疫情和今天很像。眼看着一件疯狂的事即将发生，指数增长趋势就在眼前，但世界上大多数人还没意识到。纽约市市长还在说：“出去看演出吧”，还说这是“对亚裔的种族歧视”。之后人们终于看清形势，反应也变得剧烈而彻底。
顺便问一句，新冠期间你在做什么？那是你大一还是大二？
大三。
但你那时才 17 岁左右吧？你做空市场了吗？卖在了合适的时机吗？
做了。
所以届时也会出现一个 2020 年 3 月的时刻。
你在系列文章里把它比作“我们得为美国再搞一次曼哈顿计划”。我想知道这在政治上会是什么样。不同之处在于，这不只是“我们需要造出原子弹打败纳粹”。
我们会建造这种让所有能源价格大幅上涨的东西，它还会自动化许多工作。谈到气候变化，人们会说：“天哪，这会让气候变化更严重，还会帮到大科技公司。”
从政治角度看，这似乎不像是国家安全体系或总统会说：“我们必须加快进度，确保美国获胜。”
再说一次，这在很大程度上取决于人们感受到了多少、看到了多少。我们这一代太习惯和平、美国霸权和一切都无关紧要的状态。历史的常态，其实是世界上不断发生极其激烈、非凡的大事，并伴随激烈的国际竞争。
有一段独特的二十年时期。二战期间，大约 50% 的 GDP 用于战争生产。美国借款超过 GDP 的 60%；德国和日本我记得超过了 100%。一战期间，英国、法国和德国借款都超过了 GDP 的 100%。
当时的赌注高得多。人们会说一战极具毁灭性，有 2,000 万苏联士兵丧生，波兰有 20% 的人口死亡。这种事过去经常发生。七年战争中，普鲁士大约 20% 至 30% 的人口死亡。三十年战争中，德国大片地区最多有 50% 的人口死亡。
人们会不会意识到这里的赌注真的很高，历史真的回来了？美国国家安全体系会非常认真地看待这类问题，也非常认真地考虑与中国的竞争。中国确实把自己视为肩负着中华民族复兴的历史使命。他们非常重视国家力量和世界秩序。
真正的问题在于时间点：他们会不会等到智能爆炸已经开始、时间很晚了才认真对待？还是提前两年就开始认真对待？这会极大影响局势如何发展。
他们终究会意识到，这会决定的不只是某场代理人战争，而是更重大的问题：自由民主能否继续繁荣？中共能否继续存在？这会激活我们很久没见过的力量。
大国冲突这个视角确实很有说服力。从历史角度看，许多事情的可能性都会显得大得多。你把视野拉远，超越我们这些年在美国享受到的、过去 80 年左右的自由民主生活，就会看到独裁、战争、饥荒等等。
我在读《古拉格群岛》，有一章开头是 Solzhenitsyn 说：如果你告诉沙皇统治下的俄罗斯公民，因为有了这些新技术，俄罗斯不会迎来伟大的复兴、不会成为强国、人民不会富裕，反而会看到数千万苏联公民遭受数百万野兽般的人以最残酷的方式折磨，他们不会相信。他们会说你在诽谤。
超级智能带来的独裁可能性更加疯狂。想象一下，你有一支绝对忠诚的军队和安全力量，不再有叛乱或民众起义。你有完美的测谎能力，监控所有人，完美识别异见者并将其清除。一个对体制有所怀疑的戈尔巴乔夫，根本不可能升到权力位置上，也不会有军事政变。
现实之所以能够发展到今天，部分原因是思想可以演化。某种程度上，时间能治愈许多创伤、解决许多争论。历史上很多人曾有非常坚定的信念，但由于多元共存和持续演变，其中许多信念后来被推翻。
想象一下，把中共式的真理观应用到一切事物上：真理就是党说的真理。再用超级智能把这种做法强化，它就可能被永久锁定和确立很长时间。这个前景相当可怕。
说到历史和我过去八年在美国生活的经历，这是我在德国长大时学到的东西之一。许多事情对我来说更有切身感受。我母亲在前东德长大，父亲在前西德长大；柏林墙倒塌后不久他们相识。冷战结束对我来说是个极其关键的时刻，因为我之所以存在，正是因为那件事。
我在柏林长大，身边就是前柏林墙。我的曾祖母还在世，她对我的人生很重要。她 1934 年出生，在纳粹时期长大。二战时，她还是孩子，在乡间小屋里看到德累斯顿遭到燃烧弹轰炸。之后她一生的大部分时间都生活在东德共产主义独裁统治下。
她跟我讲，1954 年发生民众起义时，苏联坦克开进来了；她丈夫让她赶紧回家、离开街道。她有个儿子试图骑摩托车越过铁幕，后来在斯塔西监狱里关了一阵。她快 60 岁时，才第一次生活在一个自由而富裕的国家。
我小时候，她最不希望我做的事就是参与政治。加入政党对她来说有很不好的含义。她在我小时候照顾我。所以这些历史并没有远去，感觉离我们很近。
谈到今天的中共时，我有件事很好奇。中国负责推进他们那套计划的人，会是一些受西方影响的 AI 研究者。他们要么在西方受过教育，要么在西方有同事。
他们会报名加入中共的项目，把控制权交给习近平吗？你怎么看？归根结底，他们也是普通人，对吧？难道不能让他们明白超级智能的危险吗？
但最后会是他们掌权吗？美国也有类似情况：实验室员工的影响力会迅速贬值。现在 AI 实验室员工掌握了很大权力，你看去年 11 月的事件就知道，权力有多大。
他们会被自动化，权力也会消失。最终只剩少数人掌权，手下有大批自动化 AI。掌权的还会有政客、将军和国家安全体系。这就像《奥本海默》电影里的经典场景：科学家造出了炸弹，然后炸弹被运走，一切就不再由他们掌控。
实验室员工应该明白这一点。你们现在权力很大，但也许不会持续太久。请善用权力。我确实认为，他们会受益于更多代议民主机构。
你说的是什么意思？
OpenAI 董事会事件中，员工权力是通过非常直接的民主方式行使的。事件的发展确实凸显了代议民主和审议机构的好处。
§04间谍活动与美国 AI 优势
有意思。回到每年 1,000 亿美元收入的问题。公司想建这么大的集群，他们要建在哪里？假设所需能源相当于美国一个中小型州的用电量。既然在美国建设，科罗拉多州是不是就会无电可用？还是要建到别的地方？
每次有人说科罗拉多州会没电，我都觉得很好笑。最容易获取电力的方式，是挤掉经济价值较低的用电需求：买下一个用掉 1 吉瓦电力的铝冶炼厂，再用数据中心取代它，因为数据中心更重要。但现在并没有这么做，因为许多电力合同都是长期锁定的，人们也不喜欢这种做法。
实际上，至少目前来说，我们需要新建发电能力。情况也许会改变。等到有人说“我们要把所有电力都用于 AGI”时，事情就会变得很有意思。
所以现在需要新建发电能力。10 吉瓦完全可行，大约是美国天然气产量的几个百分点。有了 10 吉瓦训练集群后，推理还会需要更多算力。到了 100 吉瓦，事情就开始非常惊人了，这超过美国总发电量的 20%。尤其愿意使用天然气的话，这是完全做得到的。
这些集群建在美国境内极其重要。
为什么建在美国很重要？
有些人想把集群建在别处。中东有大量资金自由流动，正试图在那里建设集群。这就回到刚才谈的国家安全问题：你会在阿联酋搞曼哈顿计划吗？
集群可以建在美国，也可以建在盟友民主国家。一旦放进威权独裁国家，就会产生不可逆的安全风险。集群在那里之后，他们更容易把模型权重偷走，甚至直接偷走 AGI、超级智能。这就像直接拿到原子弹的复制品，会容易得多。他们和中国关系复杂，可以把东西运到中国，这是巨大风险。
还有一种风险是他们直接扣押算力。现在人们把这些当作 ChatGPT 或大科技公司的产品集群。三到五年后正在规划的集群，很可能就是 AGI、超级智能集群。局势升温时，他们可能直接接管算力。
假设我们把 25% 的算力放在这些中东独裁国家。假设他们把这部分夺走，算力比就成了 3 比 1。我们仍占优势，但 3 比 1 已经相当危险了。这个比例其实不算太差，他们能用这部分算力做很多事情。
即使他们没有真的扣押算力，也没有真的偷走模型权重，单是这种可能性就能形成很大的隐性筹码。他们会在 AGI 的决策桌上获得席位。我不知道我们为什么要让威权独裁者坐上 AGI 的决策桌。
如果这些协议谈成，中东会有大量算力。
首先是谁在谈？是不是每家大型科技公司都在想办法去那里建？
不是所有公司，有一些。
我记得有报道说微软也在其中，我们之后再谈。
假设我们在那里建集群，阿联酋拿到了 25% 的算力。为什么算力比例重要？如果关键在于他们能否启动智能爆炸，不是只要达到某个门槛——有一亿名 AI 研究员，或者没有——就行了吗？
3,300 万名极聪明的科学家就能做很多事，也许足以造出可怕的生物武器。到那时，他们已经偷走模型权重、夺走了算力。
他们就能制造超级智能时代可能出现的新型大规模杀伤性武器，于是这些强大技术扩散开了。而且 3 倍算力并没有多到能让人安心。
最危险的情况是我们陷入一场势均力敌、紧张到发烧般的国际竞争。假设我们和中共差距很小，只有几个月。我希望我们处于另一种局面——而且如果打好手里的牌，我们确实做得到：更像美国造原子弹，而德国项目落后了几年。那样我们就有更大的空间把安全问题处理好。
我们会制造足以彻底动摇核威慑的新型大规模杀伤性武器。如果没有对手紧追不舍、我们不必全速冲刺，这件事更容易处理。否则我们没有任何回旋空间，总担心对方随时会超过我们。
他们也可以试着在建设规模上超过我们，甚至真的可能赢。中国有可能真的赢，因为他们能偷走模型权重，再大规模建设。与我们相比，他们可能更少受谨慎原则束缚——无论是必要的谨慎还是我们制定的、不合理的规定。
如果陷入这种差距很小、紧张得发烫的竞争，文明自我毁灭的风险就会达到最高。
假设那些试图在中东建设集群的公司知道这些风险。是不是因为美国根本不可能建成？如果希望美国公司建设算力，是否只能去中东，否则就干脆不建？然后只能看着中国建一座“三峡大坝级”的集群？
原因有几个。人们没有把这看成 AGI、超级智能集群，只觉得：“哦，太好了，这是给我的 ChatGPT 建的集群。”
如果是推理算力，理论上可以分散建在全国各地。可他们现在规划的集群，会在一个地方进行一次大型训练。
推理和训练算力很难区分。有人可以说是推理算力，但它可能也会被用于训练。
是因为合成数据之类的东西吗？
例如强化学习看起来就很像推理计算，或者你可以按时间把两者连接起来。这很像原材料：就像把铀浓缩设施建在那里。
所以原因有几个：第一，他们不把它看成 AGI 集群；第二，中东的资金来得很容易。
另一个原因是有些人觉得美国建不了。我们确实面临制度竞争：有人认为只有威权国家能通过自上而下调动产业能力、快速办成事。
这也是我们很久没面对过的局面。但冷战期间就有过这种激烈的制度竞争。东德和西德就是例子：一边是自由民主资本主义，另一边是计划经济的共产主义。
如今，自由世界显然会获胜。但直到 1961 年，Paul Samuelson 还预测苏联会因为更善于动员工业而超越美国。
有些人嘴上发帖说热爱美国，私下却在押注美国会输、自由秩序会败。这显然是个错误赌注。这些事情在美国完全做得到。
要让这些事情在美国成为可能，我们必须在某种程度上振作起来。大致有两条路：一是愿意用天然气。我们有充足的天然气。可以把集群建在西德克萨斯，也可以建在宾夕法尼亚州西南部的 Marcellus 页岩气区。10 吉瓦集群非常容易建，100 吉瓦集群也相当可行。我认为美国天然气产量在过去十年几乎翻了一倍。未来七年再翻一倍，就能为多个万亿美元级数据中心供电。
问题是，很多人都作出了承诺要应对气候变化，不只是政府，还有微软、亚马逊等私营公司。我钦佩这些气候承诺，但有时候国家利益和国家安全更重要。
另一条路是搞绿色能源大型项目：太阳能、电池、小型模块化反应堆和地热。如果要这么做，就得大范围放松监管。不能让许可流程花十年。必须改革联邦能源监管委员会，还要为这类项目提供全面的国家环境政策法豁免。
还有一些荒谬的州级法规。太阳能板和电池可以建在数据中心旁边，但要把它们接入州电网，还是得花几年。你必须利用政府权力划出通行权，连接多个集群并铺设电缆。
理想情况下，我们两条路都走：既发展天然气，也推进广泛的绿色能源监管改革。至少要做好其中一件，这样才能在美国实现这些建设。
谈话前我在读一本关于二战期间美国工业动员的好书，叫《自由的铸造厂》。想到那段时期，又想到 Patrick Collison 的《Fast》以及进展研究里提到的情况，我在想：有种说法认为当时政府能力很强，大家能把事情办成；而现在一切都乱成一团。
完全不是这样！
很有意思。底特律汽车业的人，比如负责美国动员工作的 William Knudsen，非常能干。同时还有劳工组织和工人抗争，和我们今天面对的气候承诺及担忧很像。
1941 年他们真的会罢工，导致数百万个工时损失；与此同时，我们正试图每月生产数万架飞机。他们会为了资本方只让出很小一点利益、连一美元的几分之一都不到的条件，就让工厂彻底瘫痪。
有人担心汽车公司借潜在战争作借口，不愿向工人支付应得工资。所以面对今天的气候变化问题，你可能会想：“美国完了，如果看看国家环境政策法之类的规定，我们就造不出这些东西。”我以前不知道二战期间劳工问题有多严重。
还不止如此。1939 年以前，美国军队一塌糊涂。你读到的情况有点像今天的德国军队。军费支出好像不到 GDP 的 2%，而欧洲各国即使在和平时期，军费也超过 GDP 的 10%。
那是一场从零开始的快速动员。我们一架飞机都没有生产，没有军方订单。大萧条期间，所有东西都被削减了。但潜在能力仍然存在。后来美国终于振作起来了。
这也可以反过来用于理解中国。人们有时因为出口管制之类的事就轻视中国，但他们现在已经能生产 7 纳米芯片了。问题只是能生产多少。他们至少有可能把这项能力发展成熟，大量生产 7 纳米芯片。
中国有大量潜在工业产能，能够迅速建设许多电力设施。也许目前还没有用于 AI。总有一天，就像美国和美国政府中的许多人会突然意识到一样，中共也会意识到。
公司知道规模化是真实的事，显然它们的计划都以规模化为前提。所以它们知道，2028 年我们要建设 10 吉瓦的数据中心。
到那时，跟得上的会是大型科技公司，可能已接近能力极限；还有主权财富基金支持的项目，以及美国、中国这样的大国。这些参与者有什么计划？AI 实验室有什么计划？它们难道不想享有在美国的杠杆优势吗？
中东有资金，但美国也有充足资金。我们有万亿美元级公司。这些中东国家是什么？某种意义上，它们就像万亿美元级石油公司。美国也有万亿美元级公司和非常深厚的金融市场。微软可以发行数千亿美元债券，支付这些集群的建设费用。
另一个值得认真对待的论点是：如果美国不和阿联酋或其他中东国家合作，它们就会转向中国。它们反正会建数据中心、给 AI 投钱；如果我们不合作，它们就会支持中国。
这个论点有一定道理，我们应该和它们分享利益。在通往 AGI 的路上，应该建立两层联盟：一个由民主国家组成、负责开发 AGI 的小范围联盟；另一个是由其他国家组成的更大联盟，包括独裁国家，我们应该让它们分享 AI 带来的一部分好处。
阿联酋想用 AI 产品、运行 Meta 推荐引擎或使用上一代模型都没问题。默认情况下，它们本来不该获得 AGI 决策桌上的席位。它们有些钱，但有钱的地方很多。
它们之所以能坐上 AGI 的决策桌、让独裁者对这项极其重要的国家安全技术拥有杠杆，唯一原因是我们让它们兴奋起来并主动把机会递给它们。
具体是谁在这么做？哪些公司去那里筹款？
有报道说 Sam Altman 正在为一个芯片项目筹 7 万亿美元之类的。具体有多少集群会建在那里还不清楚，但肯定有相关项目在进行。
我对“美国不和它们合作，它们就会转向中国”这个论点有点怀疑，还有一个原因。我从好几个人那里听说——不是我在 OpenAI 时听到的，我也没看过那份备忘录——几年前 OpenAI 高层曾提出一项计划：让美国、中国和俄罗斯政府竞价，来资助并购买 AGI。
他们居然愿意把 AGI 卖给中国和俄罗斯政府，这让我很惊讶。让这些政府竞价、再互相挑拨，说“你不这样做，中国就会做”，这种感觉也非常似曾相识。
有意思。这挺离谱的。
假设你说得对，我们之所以走到这一步，正如一位朋友所说，是因为中东拥有全球最容易被说动的巨额资金，数十亿甚至数万亿美元都等着被人游说。
而且缺乏问责。没有微软董事会，只有独裁者。
假设你说得对，一开始就不该让他们对 AGI 产生兴趣。可现在他们已经很感兴趣了，说：“我们想要 GPT-5，你们却要去建超级智能。这种‘原子用于和平’的说法对我们没用。”到了这一步，他们难道没有杠杆了吗？
阿联酋单独来看没有竞争力，而且已经受到出口管制。英伟达芯片不该运到那里，也没有领先的 AI 实验室。他们有钱，但把钱转化成进展并不容易。
但我想回到你描绘的未来。你说这几乎是一个工业过程，把算力和算法投入进去，另一端出来 AGI。如果真像这样，那么有人迅速追上的可能性似乎比这是一套特别定制的……
如果他们能偷到算法、偷到模型权重，那确实非常重要。
攻击者要偷走那些并非普通公开内容的东西，比如 Scarlett Johansson 的声音以外的模型能力——也就是我们谈到的强化学习结果和解除束缚技术——会有多容易？
这都非常容易。他们自己也没说这很难。DeepMind 发布了《前沿安全框架》，列出从 0 到 4 的安全等级，4 级表示能抵御国家级攻击；他们说自己目前是 0 级。最近有起诉书指控有人偷走了很多重要 AI 代码并带到中国。他偷代码的办法只是复制、粘贴到 Apple 备忘录，再导出成 PDF。这样就绕过了监控。
Google 可能是 AI 实验室里安全性最好的，因为它有 Google 的基础设施。但我会把其他实验室想成初创公司的安全水平。初创公司的安全水平什么样？不怎么样。代码很容易被偷。
即使如此，你的文章有很大一部分是在论证我们会迎来智能爆炸。如果有 Alec Radford 这样的人提供直觉、提出这些想法，那种直觉非常有价值，也可以扩大规模。
如果只是靠直觉，那直觉就不只写在代码里，对吧？而且受出口管制影响，这些国家的硬件会略有不同。你需要作出不同权衡，可能还得重写软件以适配。
是不是只要拿对 U 盘，插进三峡大坝旁边的吉瓦级数据中心，比赛就开始了？
这里有几个不同的威胁模型。一种是他们直接偷走模型权重。权重特别危险，因为他们可以偷走最终成品——相当于复制一颗原子弹——然后就能开始行动。AGI 和超级智能出现时，权重安全极其重要，因为中国本来就能建大型集群。我们可能凭借更优秀的科学家领先很多，但如果我们造出超级智能后，他们直接偷走，它们就能立刻投入竞赛。
现在模型权重没那么重要，因为偷到 GPT-4 权重又能怎样？不过现在就得开始保护权重，因为如果我们认为 2027 年会有 AGI，这些准备需要时间。到时不能只是“哦，我们加一些访问控制”就完事。要真正抵御中国间谍活动，就需要严格得多的保护。
人们不够重视的是机密。算力很吸引眼球，但大家低估了机密的重要性。算法进步本来就默认每年增长约半个数量级。如果我们领先几年，默认就能获得 10 到 30 倍、甚至 100 倍大的集群，只要把机密保护好。
还有数据墙这一层。我们必须越过数据墙，也就是找到某种新的基本范式。这相当于 AlphaGo 的第二步。第一步是从人类模仿中学习，第二步是如今大家都在尝试的自我博弈强化学习。如果中国偷不到这一套，它们就会被困住；偷得到的话，它们就能迅速追上。
无论那个东西是什么，我能把它写在餐巾纸背面吗？如果真这么简单，为什么他们很难自己发现？如果更依赖直觉，那不就是把 Alec Radford 雇过去吗？你们要复制的到底是什么？
这里有好几个层次。最上层是基本方法。预训练可能用无监督学习、预测下一个 token、在整个互联网上训练。仅这一点就能榨出很多能力，而且非常容易说明白。
然后还有大量细节很重要，刚才你也提到了。事后看，可能会觉得很明显，或者看起来只是某个不太复杂、但能起作用的办法；不过要真正实现它，仍有很多细节需要处理。
如果确实如此，我们为什么还认为在这些初创公司里部署国家级安全措施，就能阻止中国追上？大家只要说：“我们知道越过数据墙需要某种自我博弈强化学习。”
这到 2027 年就会解决，对吧？没那么难。
美国和美国的领先实验室目前有巨大优势。中国已经有一些不错的大型语言模型，因为他们使用 Llama 这样的开源代码。人们严重低估了算法进展会拉开的差距，也低估了美国因过去公开了这些技术而自然形成的领先优势。
像 Chinchilla 缩放定律、MoE 论文、Transformer 这些成果当年都是公开发表的。这就是开源的好处，也是中国能做出一些不错模型的原因。现在这些成果不再公开；如果我们真的把它们保密，优势会非常大。
除了你提到的隐性知识和 Alec Radford 之外，底层还有一层知识：如何通过大规模工程工作，让这些大型训练任务顺利运行。这更像隐性知识，但中国也能摸索出来。这就是工程上的折腾，他们会找到方法。
为什么他们能弄明白这个，却搞不定强化学习？
我不知道。二战时德国在重水研究上走错了路。《原子弹的制造》里有个非常精彩的故事。
早期最有争议的问题之一就是保密。Leo Szilard 真的相信核链式反应和原子弹是可能实现的。他到处说：“这会具有极其重大的战略和军事意义。”许多人不相信，或者认为：“也许确实有可能，但我还是会假设它不可能，科学应该保持开放。”
早期有人对石墨慢化剂作出了错误测量。德国因此认为石墨行不通，只能用重水。但后来 Enrico Fermi 做了新测量，表明石墨可行。这非常重要。
Szilard 再次向 Fermi 提出保密请求，Fermi 很生气，发了一通脾气，觉得这荒唐至极，说：“拜托，这太离谱了。”但 Szilard 坚持下去，还拉上了另一个人 George Pegram。最终 Fermi 没有发表这项发现。
这发生得正是时候。Fermi 没有发表，纳粹就没发现石墨可用。他们因此走上了重水这条错误道路。这是德国项目失败的重要原因，他们落后了很多。
我们现在也面临类似情况。我们是要立刻泄露如何越过数据墙、下一种范式是什么，还是要保密？
这件事重要，是因为如果领先一年就有巨大优势，那情况会不同。如果 AI 是逐步部署的，其他人迟早会追上来。
我采访过《原子弹的制造》的作者 Richard Rhodes。他讲了苏联得知美国拥有原子弹后的一个故事。我们显然已经在日本投下了原子弹。
掌管内务人民委员部 NKVD 的 Lavrentiy Beria 是个臭名昭著、冷酷邪恶的人。他去找负责苏联版曼哈顿计划的科学家，说：“同志，你要给我们造出美国的原子弹。”科学家说：“美国的内爆式装置其实不是最理想的，我们应该换一种方法。”Beria 说：“不，你要给我们造出美国的原子弹，否则你全家都会被当作垃圾处理掉。”
这个故事说明，苏联如果没有照抄美国设计，一开始或许能造出更好的原子弹。这体现了历史中的某种规律，不只适用于曼哈顿计划：技术树暗示下一步是什么时，经常会出现平行发明。这里下一步是自我博弈强化学习，很多人都在研究它，大致会在同一时间发现。谁先实现，差距可能不会很大。
大家都知道，差不多同一时间有好几个人发明了灯泡。即便领先一年或六个月，这种差距真的会决定胜负吗？
两年就会决定一切。
我不确定会差两年。
如果我们把实验室保护好，我们的科学家会优秀得多，已经领先很多。差距可能会有两年。哪怕是六个月或一年，也会造成巨大差别。这又回到了智能爆炸的动态。领先一年，可能就是拥有一个接近人类水平的系统与一个远超人类的系统之间的区别，差距可能有五个数量级。
看看现在的进展速度。三年前，在数学基准测试上——那是非常难的高中竞赛题——我们只能做对几个百分点，几乎什么都解不出来。现在这些题已经能解了。这只是正常 AI 进展速度下的结果，当时还没有一亿名超级智能研究者。
领先一年差别巨大，尤其是在超级智能之后。一旦它被用于许多研发领域，就会带来有机器人和先进技术的工业爆发。几年时间可能带来几十年的进步。再说一次，这就像美国在第一次海湾战争中的技术优势：20 至 30 年的技术领先被证明足以决定胜负，差别真的很大。
还有一个原因说明这很重要。假设他们偷走了权重、偷走了算法，而且紧跟在我们后面。假设我们最后还是领先了，只快一点，领先三个月。
我们只领先三个月、双方势均力敌的世界极其危险。我们陷入一场紧张到发烧的竞争：谁领先，谁就能取得支配地位，甚至获得决定性优势。他们疯狂建设集群，也愿意把一切谨慎都抛在脑后。我们必须跟上。
新的大规模杀伤性武器会不断出现。然后我们就会陷入一种极不稳定、极其危险的局面：疯狂的新军事技术、新型大规模杀伤性武器、威慑和相互确保摧毁，每隔几周就发生变化。
因此，你必须从这些技术很危险的角度来思考，也要考虑对齐问题。智能爆炸期间，留出六个月的缓冲期也许极为重要；我们可以说：“这段时间要把更多算力用于对齐，因为必须把它做好，我们对现状感到不安。”
我们会不会自我毁灭，还是能度过这段极其疯狂的时期，最重要的影响因素之一就是有没有这种缓冲。
§05AI 的地缘政治影响
继续之前，值得指出，我交谈过的人里几乎没人会思考 AI 的地缘政治影响。我有些具体分歧，稍后会谈，也想把一些问题弄清楚。最后我也许并不同意你。
基本前提是，如果继续扩大规模，大家意识到智能会沿这个方向发展，世界就不会和过去一样。它不再只是明天要部署哪个模型、最新进展是什么。Twitter 上的人会说：“GPT-4 会让你大吃一惊”之类的。
新冠疫情很有意思。2020 年 3 月一到，全世界——总统、CEO、媒体和普通人——都清楚地意识到，世界上当然还有其他事情，但全世界当前最需要处理的就是新冠。
很快，这件事就会变成 AGI。现在还算平静。也许你想去度个假，或者现在是最后一次能生孩子的时候。我女朋友有时会抱怨我工作太忙、陪她不够，她威胁说要用 GPT-6 之类的东西把我换掉。我就说：“GPT-6 也会忙着做 AI 研究。”
为什么其他人不谈国家安全？
我在新冠问题上犯过这个错误。2020 年 2 月，我觉得疫情会席卷全球、所有医院都会崩溃，事情会很疯狂，然后就结束了。新冠刚开始时，很多人都这么想。他们把办公室关一个月之类的。
我真正没考虑到的是社会反应。几周内，国会就通过了超过 GDP 10% 的新冠措施，整个国家都停摆了，情况很疯狂。我当时严重低估了社会会作出的反应。
为什么人们会低估？身处前线反而看不清趋势。其实不用把视野拉得很远，往后看几年就够了。
在前线工作时，你正努力让下一个模型运行。总有些事情很难。你可能会低估算法进步，因为你会想：“现在很难”，“有数据墙”之类的。只要把视角拉远几年，数一数算法进步的总量，就会发现非常惊人。
人们也根本不去想这些事。聪明人严重低估了间谍活动。安全问题的一部分是，人们没意识到国家级间谍活动有多激烈。有家以色列公司开发的软件可以零点击入侵任何 iPhone：只输入电话号码，就能直接下载手机里的所有数据。美国也曾渗透一个物理隔离的核武器项目。太疯狂了。
你说的是 Stuxnet 吗？
对。情报机构储存着大量零日漏洞。当局势非常紧张时，也许我们会派特种部队去数据中心之类的地方。中国会这么做，也会威胁人们的家人：“你要是不合作、不把情报交给我们……”
有一本和《古拉格群岛》类似的好书，叫《水族馆内幕》，作者是从苏联格鲁乌叛逃的人。格鲁乌是军事情报机关。Ilya 向我推荐了这本书。我读完后，对国家级间谍活动的激烈程度感到震惊。
整本书都在讲他们如何前往欧洲国家，试图招募人手获取技术。这里有个故事。后来叛逃的作者当时在格鲁乌间谍学院受训。毕业后、被派到国外之前，他必须通过一个测试，证明自己会做这件事。
考试要求他在莫斯科招募一位苏联科学家，让对方交出信息，就像他到了外国后要做的那样。当然，被招募的人只要泄露机密就会被判死刑。因此，要从格鲁乌间谍学院毕业，你必须把一个同胞送上死路。国家就是会这么做。
我开始读这本书，是因为你在系列文章里提到过它。我在想你讲这个故事的方式，然后你说：“这本书是 Ilya 推荐的。”这是某种隐藏彩蛋吗？留给读者自己思考吧。
要是士气没有改善，殴打就会继续。
假设我们处于这样一个世界：秘密被保护得很好，但中国意识到美国的进展正在发生。
秘密大概不会被保护好。我们很可能会生活在那个糟糕的世界里，情况会非常糟。
你为什么这么确信秘密不会被保护好？
我并不确信它们不会被保护好，只是现在还没人这么做。
假设明天实验室负责人终于意识到问题。要做好安全保护有多难？他们要做什么？多雇保安？断开网络？
人们有两种反应。第一种是：“我们已经很安全了。”其实没有。
另一种是宿命论：“这不可能做到。”
你必须赶在中共充分意识到 AGI 的重要性之前行动。目前至少应该能抵御普通的经济间谍活动，但他们做不到。我可能不会公开谈这些，免得提醒中共，但他们现在要做这类事实在太容易了。
私营公司是有可能做到抵御这种间谍活动的。我们都在量化交易行业有朋友。那里也有类似的商业机密：如果我和竞争公司的某个人打一个小时电话，我们大部分超额收益策略就会泄露。
你很快就会担心这件事。
这些策略可能全都泄露，但实际上它们经常能持续很多年、几十年，所以这种情况并没发生。只要从初创公司的安全水平提升到良好的私营部门安全标准——比如对冲基金保护机密的方式，或 Google 保护客户数据的方式——现在就会有帮助。
问题是，中共也会更充分地意识到 AGI 的重要性。总有一天，我们会面对国家安全部的全部力量。你说聪明人低估间谍活动，也低估国家能做到多离谱。情报机构有多厉害，简直不可思议。有论文显示，仅凭声音就能确定一个人在电子游戏地图上的位置。国家可以从电磁辐射中提取很多信息。
到某个阶段，你必须在隔离设施中工作。集群要物理隔离，基本上得像军事基地。员工需要经过严格的安全审查，所有东西都要监控。不能用未经审批的依赖项；所有东西都得经过严格审查，硬件也一样。
如果真要抵御国家级间谍活动的全部力量，这就不是私营公司单独能做的事。最近俄罗斯黑客入侵了微软高管的邮件，还有政府人员寄存在微软的邮件。安全许可相关的很多事情，只有政府内部的人知道并负责处理。
要真正抵御全面间谍活动，就需要政府。我们也可以始终走在技术前面。但我认为，除非政府项目介入，我们只会一直落后。
回到天真的视角，我们一直是从“竞赛正在发生，我们必须打败中共”这个前提出发。我明白中国政府由坏人掌权，中共确实如此。
我想退一步，从银河尺度看问题。人类正在开发 AGI。我们真的应该从“必须赢过中国”的角度看这件事吗？对未来超级智能的木星大脑后代来说，中国会是遥远的记忆，美国也一样。
我们一开始是不是应该先对他们说：“听着，这是超级智能，我们愿意合作。”为什么马上就用鹰派、竞争性的视角推进？
我在系列文章里讨论的很多内容，主要是在描述现状。说到中国，在某个理想世界里，大家会合作、和平共处。人们会逐渐意识到 AGI 的存在。尤其要紧的是，我们能不能达成协议、制定国际条约？这和国际军备控制协议能否稳定地维持下去密切相关。
20 世纪 80 年代，我们成功地控制了核武器。之所以成功，是因为形成的新均势很稳定。比如从 6 万枚核弹头减到 1 万枚左右。有了 1 万枚核武器，哪怕有人突破限制，也不太重要。
假设对方开始再造 2 万枚核武器，又怎样？相互确保摧毁依然成立。假设某个流氓国家从零发展到一枚核弹，又怎样？我们的核武器仍然多得多。虽然局势并不理想，但还不至于失去稳定。
如果军控协议要求核武器归零，情况就会截然不同。零核武器时，只要一个流氓国家造出一枚，整个体系就会失稳。突破限制很容易，对手国家也会开始造核武器。
如果军备水平很低，或技术环境变化极快，军控就很难，因为突破限制容易。20 世纪 20 和 30 年代也有类似故事。当时欧洲各国都裁军了。
德国之后搞了一项紧急计划建设空军。由于德国是第一个这么做的，这大幅破坏了局势稳定。他们相对容易就建成了现代空军，因为其他国家基本没有空军。这彻底改变了当时的力量平衡。
AGI 和超级智能的问题在于它的爆发性。一旦智能爆炸发生，就能从 AGI 跃升到超级智能。这种超级智能会带来决定性优势，因为你可能研发出某种疯狂的新型大规模杀伤性武器，或具有超级黑客能力、能彻底瘫痪敌方武器库。假设我们要踩刹车，双方都同意合作，在 AGI 临界点减慢速度。
各方会有极强的抢跑、突破限制的动机。所有人都会继续推动智能爆炸。只要能领先三个月，就可能获胜。这使得势均力敌时任何军控协议都很不稳定。
这很有意思。这和我在节目里与 Rhodes 关于核裁军的辩论非常相似。他说，某个国家若试图突破限制、开始研发核武器，你有六个月时间形成国际共识、入侵那个国家并阻止它造出核弹。我觉得这种安排并不稳定。
不过在这件事上也许更容易，因为我们有 AGI，能监视对方的集群之类。你可以从太空看到数据中心，也能监测它们的能源消耗。正如你说的，只要下定决心，从环境中获取信息有很多方法。而且和核武器不同，数据中心是固定设施。核弹可以藏在潜艇、飞机、地堡、山里，到处都能放。但 100 吉瓦数据中心如果让人担心，是可以被炸毁的，比如用巡航导弹。这种设施很脆弱。
这就涉及超级智能之后那段时期的极端脆弱性和不稳定性。智能爆炸已经发生，集群里有远超人类的智能，但工业爆发还没有发生，机器人还没出现，沙漠也还没铺满机器人制造厂。
这就是那个疯狂时刻。假设美国领先，中共落后一些。如果中共能够摧毁数据中心、阻止美国取得决定性领先，就会有极强的先发打击动机。他们知道你即将取得决定性优势，也知道摧毁数据中心就能阻止你，可能会因此铤而走险。
早期我们会处在很难防守的局面，基本上只能靠核报复威胁来保护数据中心。这听起来可能很疯狂。
这是 Eliezer 那个观点的反面吗？
用核威慑保护数据中心。这就像 20 世纪 50 年代末、60 年代初的柏林。艾森豪威尔和肯尼迪多次威胁苏联：若试图染指西柏林，美国会发动全面核战争。
这有些疯狂，居然最后没出事也很不可思议。保护数据中心可能只剩这种办法；但这实在糟糕。整个设想都很糟糕，势均力敌地竞赛尤其糟糕。
我不确定这种决定性优势有多容易实现。如果你拥有超级智能、领先两年、也有机器人，我相当有把握你能取得 30 年的技术优势。然后局面就像第一次海湾战争：你有数百万或数十亿只蚊子大小的无人机，能直接摧毁对手。也可能更早就能获得决定性优势。
有些故事讲到 16 世纪的殖民扩张：几百名西班牙人就能推翻阿兹特克帝国以及其他几个帝国，当时每个帝国都有几百万人口。这并不是神一般的技术优势，只是一定程度的技术优势、疾病传播和巧妙的战略手段。
甚至在工业爆炸完全发生之前，也可能出现这种情况：一方拥有超级智能，可以操纵对方将领，假装与他们结盟，然后部署某种新型生物武器。也可能找到一种简单方法，彻底瘫痪敌方核武器。这些事情可能变得极其疯狂。
我们该怎么做？我真的不想经历这种不稳定时期。和中国达成协议会很好。如果陷入这种均势不稳定，局面会非常棘手。我们要争取形成一个局面：美国和民主国家联盟显然会获胜，而且美国和中国都清楚这一点。要做到这一点，就必须保护机密，在美国建成 100 吉瓦集群，发展天然气，并采取一切必要措施。
当民主国家联盟明显领先时，就去和中国谈条件。中国会知道自己要输，也会担心接下来会发生什么。我们知道自己会赢，但同样害怕后果，因为我们真的想避免最后阶段这种全速竞赛，局势可能严重失控。
我们应该提出协议，让对方有动力坐到谈判桌前，建立更稳定的安排。这可以是“原子用于和平”式的协议。我们可以说：“你们有尊严，我们不会用超级智能对付你们。你们可以自行发展，也能分到一部分银河系。”
我们会和你们分享利益，达成算力协议，比如规定允许你们拥有多大比例的算力，并由相互制衡的 AI 之类的机制执行。总之，我们不能打这种波动剧烈、不死不休的大规模杀伤性武器竞赛。
新的世界秩序将由美国主导、由民主国家主导，但会尊重中国，让他们做自己想做的事。
这里有很多内容。说到银河系，有个有趣的故事我想讲。我会遵守查塔姆研究所规则，不透露活动的任何信息。Leopold 当时在和一位有影响力的人谈话。后来那个人告诉大家：“Leopold 跟我说，他在准备好买下银河系之前，不会花钱消费。”
那人说：“我真不知道他说的是 Galaxy 牌私人飞机，还是物理意义上的银河系。”大家还真争论了一番。Leopold 去了趟洗手间，现场的有影响力人士还在争论他到底指 Galaxy 私人飞机，还是银河系。更了解你的人说：“不，他说的就是银河系。”
我指的是银河系。有两种方式可以购买银河系。到了超级智能之后，可能会有某种疯狂的……
我笑得不行，一句话都说不出来。我们当时真在争论这个。Leopold 回来后，有人告诉他：“我们在争论你到底是想买 Galaxy 飞机，还是买那个银河系。”Leopold 以为大家争论的是“银河系”到底指 Galaxy 私人飞机，还是物理银河系，而不是问他想购买银河系产权，还是现在就派探测器过去。
没错。
好，回到中国的问题。关于这套计划，有很多我可以问，比如你能不能拿到可靠承诺，分到某个银河系的一部分。
你会有 AI 帮你执行协议。
好，这个先不谈，那是另一个兔子洞。我真正想问的是……
这件事只有在机密得到保护时才可能实现。如果不保密，我们就会陷入这种紧张到发烧的竞争，这是人类有史以来面临的最大危险。
这段时期里，大家并不真正清楚 AI 治理该怎么运作、谁来核查、银河系如何分配。数据中心不能建在地下，必须在地面上。台湾就在中国沿海，美国又依赖那里生产芯片。
中国为什么不直接入侵台湾？对他们来说，最坏的结果就是美国获得超级智能，而按照当前趋势这迟早会发生。既然如此，入侵台湾，或者炸掉亚利桑那州的数据中心，难道不是合理选择吗？
你提到数据中心。保护它可能需要以核报复相威胁。他们也许会直接炸掉数据中心，也能通过不留下归属证据的方式动手。
比如 Stuxnet。
对，Stuxnet。稍后会谈，但我们需要研发针对中国项目的 Stuxnet。我说到 2027 年左右会有 AGI。说到台湾，你听说过“危险的二十年代”吗？
没听说过。
台湾观察者圈子里常把 2020 年代后期视为台湾风险最高的时期。军事现代化周期，加上过去十到二十年美国军事预算大幅紧缩，意味着到 2020 年代末，美国海军总体能力正处于低谷。
那也是中国说自己要做好准备的时间。两条时间线已经有些重合。入侵台湾看起来也许很有吸引力。或许他们不会只为了切断芯片，因为芯片一断，相关机器也会停摆。但想象一下冷战期间，全球所有铀矿都在柏林。柏林本来就差点引发多次核战争。愿上天保佑我们。
战争结束后，Leslie Groves 真的有个计划，要让美国在全世界取得每一个铀矿的开采权，因为他们当时不知道世界上有多少铀。他们以为做得到，却没意识到苏联境内也有大量铀矿。
东德也有。很多东德工人因此受到伤害，得了癌症。
我们一直假设美国拥有这种杠杆。我还不确定是否同意。现实中并非如此：私人公司控制这些 AI，也在部署它们，这是一种市场驱动的事情。为什么美国会拥有杠杆、并能主导行动，而不是中国这样做？
这里有描述性主张和规范性主张。我要说的重点是，在旧金山的聚会上，人们谈 AGI 时总是把焦点放在私营 AI 实验室。我想挑战这个假设。
基于我们讨论过的原因，我认为国家安全体系介入的可能性很大。形式可以有很多：国有化、公私合作、类似国防承包商的关系，或者政府项目吸收所有相关人才。可能性有一整个谱系，但人们严重低估了最终会变成政府项目的概率。
当我们的集群里真的有超级智能——有十亿名能黑进一切、对中国数据中心实施 Stuxnet 攻击、还能建造机器人军队的超级智能科学家——你真的觉得这会是一家私人公司说了算吗？政府肯定会惊呼：“天哪，这到底发生了什么？”
§06国家主导还是私营主导 AI
假设没有中国，只有伊朗和朝鲜这些理论上可能实现超级智能、但并没有紧追我们的国家。那种情况下，你主张国家项目吗？还是更倾向于继续由私营部门推进？
我有两个回应。第一，你仍然要考虑俄罗斯和其他国家。
安全体系必须能抵御俄罗斯。不能让俄罗斯把所有东西都偷走。它们的集群可能没那么大，但仍足以制造可怕的生物武器和蚊子大小的无人机群。
安全是整个项目的重要部分，否则这些能力会立刻扩散到所有人手中。你仍需应对俄罗斯、伊朗和朝鲜。沙特和伊朗会用它对付彼此，巴基斯坦和印度也会如此，局势会极度动荡。
不过，我同意你的看法。如果 AGI 在 2005 年、美国霸权无可匹敌时出现，政府介入的空间确实会更小。但正如我们讨论的，那是历史上非常独特的时刻。几乎所有其他历史时期都会有一个大国竞争对手。
我们来谈谈这个争论。我的观点是，参与曼哈顿计划的人中，很多人后来后悔参与。由此可以推断，对于国家主导的超级人工智能项目，我们一开始就应该谨慎。
他们后悔的是参与这个项目，还是这种技术本身？人们确实会后悔，但那是因为技术的性质，而不是项目本身。
他们可能觉得，如果不是所有人都同意参与一项协同计划，决策会有所不同。如果当时并非为了和德国、日本竞赛，原子弹可能就不会被研发出来。这是技术本身的问题。
由于破坏性和军事潜力，这种技术依然会成为武器。问题不在项目，而在技术。无论如何，后果都会出现。
想象一下，我们在十年里走完整个 20 世纪——
我们就拿这个例子来讨论。假设整个 20 世纪的进程都被压缩到十年。
你认为 20 世纪出现的技术不应该由私营部门研发吗？应该由政府集中主导吗？
历史上有很多军民两用技术。AI 也会像它们一样有双重用途，会有大量民用场景。比如核能，政府项目开发了它的军事用途，随后与私营公司合作。核能一度蓬勃发展，后来被环保人士叫停。
再比如波音造的飞机。曼哈顿计划其实不是二战最大的国防研发项目，B-29 轰炸机才是，因为他们需要一种航程足够远、能飞到日本轰炸城市的飞机。波音后来造了 B-47，以及美国军方今天仍在使用的 B-52。再后来他们用相关技术造了 707。
你说的“再后来”是什么意思？我理解战争结束后把技术交给私营部门。但如果政府拥有超级人工智能……
我退一步说明自己的担忧。社会中有个机构垄断暴力。我们要把一个没有大范围部署的超级人工智能交给它。这听起来也许有点荒谬，但我们会经历更高的智能等级。监管会要求私营公司提高安全性，它们仍会是私营公司。
这些公司会部署并开放 AGI。随后麦当劳、摩根大通和某家随机初创公司都会因为拥有 AGI 员工而变得更有效率。这会像工业革命一样，让收益广泛扩散。
退一步说，我们到底想做什么？为什么要赢过中国？因为我们不希望一个自上而下的威权制度获胜。如果为了打败威权制度，我们反而让对人类最重要的技术由自上而下的政府控制，那有什么意义？
我们不如把筹码押在私营化上。这样才能形成我们希望的、古典自由主义和市场主导的超级人工智能体系。
好，这里有很多问题。我先看看私营世界会是什么样。这也是为什么我认为没有其他选择。然后我们再看政府项目会是什么样、制衡机制又是什么样。
先看私营世界。很多人谈开源，误以为 AGI 的开发会是个美好、去中心化的过程，由一群兴奋的程序员协作完成。但现实不会如此。它需要一个价值一千亿美元或一万亿美元的集群，只有少数人能拥有。
目前开源确实有价值，因为大家会使用公开的东西，比如已发表的算法；又或者像 Mistral 那样，有人离开 DeepMind、带走机密后进行复制。
这种情况不会一直持续。还有人说“10^26 次浮点运算会装进我的手机”。不可能。摩尔定律发展得很慢，AI 芯片确实在进步，但你这辈子都等不到那台一千亿美元的计算机降到 1,000 美元。所以私营世界里大概只会有两三家大型参与者。
你提到超级智能和政府会掌握巨大力量。那在另一种世界里，也很可能只有一家 AI 公司掌握这股力量。假设 OpenAI 领先六个月，你就是把自己押在某家私营公司的 CEO 身上，把他当作仁慈的独裁者。这是个极其大胆的赌注。
不一定。私有化其他行业时，我们也不认为经营者会仁慈。想想制造工业化肥的人。如果把这家工厂放到古代文明里，工厂主可以炸毁罗马城，可能也能炸毁华盛顿特区。
确实。
你在文章里用过 Tyler Cowen 的“勉强维持”这个说法。人们低估了私营部门里也有许多掌握关键资源的参与者，比如供水系统。
我们可以依赖合作和市场激励来维持权力平衡。没错，现在进展非常快，但大量历史证据都表明，这套方式通常效果最好。
那核武器怎么办？我们不会靠把第二修正案扩大到让每个州都有自己的核武库来管住核武器。Dario 和 Sam 也没有各自的小型核武库。
靠的是制度、宪法、法律和法院。我不确定权力平衡这个类比是否成立。政府拥有最强武器，是人类文明的一项重大成就，类似神圣罗马帝国的“公共和平”。邻镇有人犯罪时，你不会在两个城镇之间发动战争，而是把案件提交给神圣罗马帝国的法院，由法院裁决。这是一项重大成就。
工业化肥的类比有两个关键区别：速度，以及攻防力量的平衡。这就像把 20 世纪压缩到几年之内。破坏性技术和军事技术迅速进步，令人非常害怕。
几年内，你会从刺刀和马匹发展到坦克军团和战斗机；再过几年，就会有核武器、洲际弹道导弹和隐形技术。这种速度会让局势极度动荡和危险。我们必须撑过这段时期，这会非常困难。
这就是为什么政府项目是必要的。如果能撑过去，局势就会稳定下来，不再面对迫在眉睫的国家安全威胁。是的，之后还是会出现大规模杀伤性武器，但我们能建立稳定的攻防平衡。
生物武器一开始会是个大问题。攻击者可以制造一千种合成病毒并传播，每一种都很难防御。也许有一天能找到针对所有可能病毒的通用防护，这样攻防平衡就会稳定下来。又或者像飞机一样，限制私营部门不允许拥有的特定能力，然后放开民用用途。
我对此持怀疑态度。
还有件更重要的事。我刚才说一家 AI 公司可能拥有巨大权力，这种情况史无前例：制造工业化肥的人推翻不了美国政府，但掌握超级智能的 AI 公司完全可能做到。
AI 公司不止一家，对吧？我相信其中一家可能领先。
也不确定会有多家。如果领先六个月，也许会有两三家。
我同意。
如果有两三家，就会陷入疯狂竞争。Demis 和 Sam 会想：“我不能让对方赢。”他们会各自发展核武库和机器人军队。
拜托，政府不会让这些人这么做。Dario 会负责研发超级黑客工具 Stuxnet、再把它部署到中国数据中心吗？
另一个问题是，假如真有两三家，那就不只是两三家，还会有中国、俄罗斯和朝鲜。私营实验室世界不可能拥有足够好的安全措施。
我们还假设，超级智能被中共当回事的情况下，国有化就能万无一失。我不知道为什么要这么假设。
只有政府能做这种事。
如果我们不相信 Sam 或 Dario 会成为仁慈的独裁者……
也可以说是企业治理本身的问题。
既然能力可以用来发动政变，政府项目拥有同样能力时也会有同样风险吧？2025 年最可能当总统的人是 Donald Trump；这和你不信任 Sam 或 Dario 掌握这些能力是同一个问题。若 Sam 和 Dario 领先一年拥有超级人工智能，我确实会担心私营化。
在完全相同的世界里，我也会非常担心 Donald Trump 拥有这种能力。如果技术起飞比预期慢，我反而更偏向私营公司。在这个矩阵里，没有哪个情形能显然证明政府主导更好。
我们来谈谈政府项目以及制衡机制。
从某种意义上说，我的论证是伯克式的。美国的权力制衡在两百多年来经历了疯狂的技术革命，仍然维持住了。美国军方本可以杀死境内所有平民。
你打算用这个论点。私营与公共部门之间的权力平衡也已经维持了数百年。
但为什么能维持？因为政府掌握最强大的武器。过去从来没有单个 CEO 或某个非营利组织董事会能够发射核武器。
政府制衡机制与私营企业制衡机制的历史记录分别如何？AI 实验室的第一次压力测试就已经非常糟糕。
私营公司世界更糟：有两家私营公司和中共，它们会立刻拿到所有技术。它们内部控制可能不够好。危险的不只是 CEO，还有可能利用超级智能为所欲为的内部员工。
政府项目里就不会有不受控制的员工吗？
政府有几十年的经验，也确实重视安全。它们管理核武器和极其强大的技术，这些本来就是国家安全体系在意的事情。
我们谈谈政府项目的制衡机制。政府世界中的制衡首先需要一个国际联盟。我前面说过两层联盟。内层可以参考《魁北克协定》：丘吉尔和罗斯福同意共同研发核武器，但未经双方同意不得使用，也不得用来攻击其他国家。
让英国和拥有 DeepMind 的英国加入，让东南亚国家参与芯片供应链，也让更多北约盟友贡献人才和工业资源。让更多国家坐到谈判桌前，本身就是一种制衡。
另外还有第二层联盟，也就是“原子用于和平”方案。你可以和包括阿联酋在内的国家达成类似《不扩散核武器条约》的协议：它们不能开展疯狂的军事活动，但我们会分享民用技术应用，帮助它们、共享收益，并建立一个超级智能时代的新世界秩序。
美国国内也要有制衡：国会必须参与批准数万亿美元拨款，理想情况下还要确认负责人的任命。还有国会、政府不同派系和法院。我预计第一修正案仍会非常重要。
在很多人看来这听起来很疯狂，但这些制度经受住了时间考验，也展现了强大韧性。这也是为什么 AI 对齐很重要。我们要把 AI 编程成遵守宪法。军队能正常运转，是因为将领不得服从非法或违宪命令。AI 也必须遵循同样原则。
好，这套论证有什么问题？如果 AGI 到超级人工智能的进展极快，只需要一年，你的观点也许成立。
然后超级人工智能出现后的几年里，会发生非凡的爆发式技术进步。
也许你说得对，我们不知道。你提出了一些理由，说明这类世界更可能发生，但也可能我们并非生活在那种世界。
在另一种世界里，我会非常支持确保这些技术掌握在私营部门手中。国有化是一种单向过程，无法回头。
为什么不等我们有更多证据，知道自己处于哪种世界后再决定？在我们还不确定的时候，匆忙国有化也许不是好主意。先让你回应这一点。
我不认为明天就会国有化。更可能像新冠疫情那样，等我们行动时已经有点晚了。理想情况下，应该早点国有化、把技术锁定。但实际大概会很混乱：大家仓促启动计划，试图把系统锁起来，那时可能已经比较晚，局势也已经清楚了。事情还不明确时，我们不会国有化。
“这些制度历史上一直很稳”的论证有问题。它们其实曾有好几次几乎要崩溃。
但它们撑住了。第一次接受考验时，并没有崩溃。
这和一些人对核战争的论点类似：核武器存在了 80 年，我们一直没出事，所以风险一定很低。其实并非如此，风险非常高。我们能躲过核战争，是因为人们付出了很多努力去避免它。在不了解后果的情况下把超级人工智能交给政府，不等于付出这些努力。
看看基准情况。美国在避免独裁方面非常例外。历史上其他国家都遭遇过财富大幅缩水，原因包括战争、革命等等。美国非常独特，几乎没有经历过这种情况。
我们得考虑历史上的基准情况。过去 80 年，我们没怎么考虑大国竞争，但它非常重要。独裁才是人类社会的默认状态。在 ASI 世界里，依赖制度会完全不同。现在如果政府试图推翻政权，没有 ASI 会困难得多。还有持 AK-47 和 AR-15 的人，这增加了难度。
政府可以镇压持 AR-15 的人。
不，那其实很困难。这就是越南和阿富汗战争为什么那么难打的原因。
他们可以直接把整个国家核平。
这点我同意。
他们确实可以。这和 ASI 类似。
如果有你刚才说的那些东西，做起来就容易得多。
不，我们有制度、宪法、法律约束、法院和权力制衡。疯狂的赌注，是把权力押在一家私营公司的 CEO 身上。
核武器不也是这样吗？我们有防扩散制度协议，但仍担心它们被打破、有人获得核武器。我们会为这种情况担心得睡不着。
这本来就是个岌岌可危的局面，ASI 也会处于危险状态。核武器局势如此脆弱，但总体上我们应对得还不错。
在这个世界里，私营化到底意味着什么？之后会发生什么？
我们正在讨论政府项目到底好不好。我对此也有很复杂的感受。
我的核心论点是，如果你到了这种阶段，系统已经拥有远超人类的能力，可以制造专门杀死所有汉族人的疯狂生物武器、毁灭整个国家、建造机器人军队和蚊子大小的无人机群，那么美国国家安全体系一定会深度介入。
政府项目会像云服务商、实验室和政府组成的合资企业。不存在政府不介入这种疯狂时期的世界。至少情报机构会负责实验室的安全；它们已经在控制一切访问权限。
如果国际局势不稳定，初期应用会聚焦于稳定局面。这会很糟，也不是我想用 ASI 做的事。不知怎么地，我们必须阻止新型大规模杀伤性武器扩散，并维持与朝鲜、俄罗斯、中国之间的相互确保摧毁。
你没有承认这里存在更广阔的可能性范围。即使在私营实验室的世界里，政府也会深度介入。我们争论的是政府介入的形式，但它会更像国家安全体系，而不是如今的初创公司。
类似的做法有一定道理。如果是像曼哈顿计划那样直接归美国军方管理，我会非常担心。如果只是下一次训练前要先和 Jake Sullivan 沟通……
洛克希德·马丁的“臭鼬工厂”算美国军方的吗？决策权在他们手里。
我觉得那样也不好；如果 ASI 也这样就很糟。到底会是怎样的情形？
那还有什么替代方案？你说的替代方案是什么？
这更接近我说的那个方案：训练下一个集群之前先跟 Jake Sullivan 沟通，但多家公司仍继续推进，政府负责安全。
那是 Dario 来发动 Stuxnet 攻击吗？
你说的发动攻击是什么意思？
Dario 来瘫痪中国的数据中心？
这和如今大科技公司的情形类似。Satya 如果愿意，可以让工程师在 Windows 里找零日漏洞，侵入总统电脑。他现在就能做到。
他们会被关停。
你说关停是什么意思？
政府不会允许他们这么做。
也有一种情形是他们能发动政变。
他们发动不了政变。
好，我同意。那多家公司同时推进有什么问题？AI 仍然广泛部署，对齐也有效。系统提示里可以规定不许帮人造生物武器之类，AI 仍然可以普遍使用。
我预计 AI 会广泛部署。
即使它是政府项目？
是的。我认为 Meta 这样的公司把落后两年的模型开源，价值很大。问题是攻防平衡是否安全，以及开源两年前的模型是否可行。也可以限制最极端的双重用途能力，比如不允许私营公司出售疯狂武器。
这很好，有助于技术扩散。政府项目之后会有一段紧张时期，希望局势随后稳定。之后就像波音那样，民用领域会蓬勃发展，例如核能。民用应用会迎来自己的黄金期。
那具体会怎样发展？另一个世界里已经有价值巨大的资本存量。
届时 Google 仍会有自己的集群。
那是因为 Google 得到了政府合同，所以会控制 ASI 吗？可他们为什么要和其他人做生意？
还是那些本来就会开发 AI 的公司。在这个世界里，它们只是承包政府项目，或者根据《国防生产法》被要求把所有算力提供给政府。从某种角度看，这很自然。
得到 ASI 之后，我们开始建机器人军队和聚变反应堆……
只有政府能建机器人军队。
这就让我担心了。那聚变反应堆之类的呢？
我们现在对待核武器就是这样的。
如果政府已经有了机器人军队之类的东西，现有社会还有什么杠杆，能让政府愿意……
他们现在也没有这种东西。
有的，至少他们拥有大量政府想要的资本。其他因素也存在。二战后波音为什么会私有化？
政府掌握最强大的武器。我们通过制度、宪法、法律约束、法院等机制进行监管。
在超级人工智能时代，之后的私有化会是什么样？
之后就像波音的例子。
谁会得到这些技术？
Google、微软和 AI 实验室……
他们卖给谁？他们已经有机器人工厂了，为什么要卖给我们？他们不需要我们。因为起飞期间没有广泛部署 ASI，在超级智能时代，这些钱只不过是小钱。
我们还没有你说的机器人、聚变反应堆，也没有几十年后的科学进展。他们拿什么来和我们交易？
你说的是要和谁交易？
和所有没参与项目的人交易。他们已经拥有领先几十年的技术。
那是另一个问题：经济分配会怎么运作？我不知道，可能会很艰难。我只是说看不到替代方案。替代方案是推翻五百年来文明的一项成就——国内和平秩序——然后立刻把技术泄漏给中共。
或者我们勉强领先一点，却陷入一场紧张到发烧的竞赛，并让可怕的新型大规模杀伤性武器扩散。对齐会极其危险，因为最后阶段的竞赛太疯狂，我们根本没有六个月时间把对齐做好。替代方案就是不把各方力量整合起来、不去赢得和威权国家的竞赛。
我不喜欢这个方案。我希望我们用 ASI 治病、做好事。但我的预测是，最后阶段的赌注不只是酷炫产品，而是自由民主能否存续、中共能否存续。
下个世纪的世界秩序会是什么？当这件事成为赌注时，将会有远超我们现在讨论范围的力量被激活。在最后阶段这场疯狂竞赛中，国家安全影响会成为最重要的因素。
回到二战的例子。后来核能确实进入民用领域，但技术刚被发现时，最初那段时期必须先稳定局势、造好核武器并妥善处理。之后民用应用才迎来发展。
我同意核能后来成为军民两用技术，但那是在核武器开发十年之后才发生的。
对，因为当时每件事都要花很长时间。
但 AI 的应用会立刻解锁。这更像人们类比 AGI 时说的：假设社会一下子多了 1 亿个 John von Neumann。
如果明天真的多出一亿个他，我不认为我们的做法会是担心其中一些人加入 ISIS，或担心其中很多人出生在中国，也不会因此主张把所有 von Neumann 国有化。
我认为总体上这会是好事。我会担心某个大国独占所有 von Neumann。
问题在于，要在短时间内控制这场巨大的技术进步和工业爆炸。面对一亿个 von Neumann，我们确实会担心。
我们为什么担心中国崛起？因为有十亿人能做很多工业和技术工作。这就像中国崛起的影响乘以 100。不是十亿普通人，而是十亿超级智能个体，而且会在很短时间内同时出现。
从实际角度说，如果目标是打败中国，保护自己也是其中一部分。
打败中国只是目标之一。我们还要管理这段疯狂而可怕的时期。
对，其中一部分是确保算法机密不会泄漏给他们。
还要建设一万亿美元的集群。
没错。但你之前不是说微软可以发行企业债券吗？
微软可以发行数千亿美元债券。一万亿美元集群更接近国家级项目。
我以为你之前说美国资本市场很深厚、融资能力很强。
资本市场确实不错。一万亿美元集群理论上可以由私营部门建设，但会很困难。
这时候我们已经有 AGI，生产力正在飞快提升。
一万亿美元集群会在 AGI 出现前就开始规划。你会在 10 吉瓦集群上得到 AGI。也许再花一年做最后一轮解除束缚，把能力完全释放出来，随后就会发生智能爆炸。
与此同时，一万亿美元集群也快建好了。你会在上面运行超级智能。此外，各处还有数亿张 GPU 组成的推理集群。
在这种情况下，我觉得私营公司有资本，也能筹到资本。
要快速完成建设，就需要政府。
我们知道私营公司正在按这个方向推进。如果没有气候变化之类的阻碍，中国……
这正是我想说的一部分。
如果打败中国真的很重要……
实际操作会有很多困难。AI 研究员真的会加入这个项目吗？如果他们加入，目前至少有三支不同公司里的团队在做预训练。
某个时刻，谁来决定对超参数孤注一掷？谁来做决定？把不同组织里极其复杂的研发流程合并，真能让美国比中国更快吗？
Brain 和 DeepMind 合并过。虽然有些混乱，但最后没问题。
其实挺混乱的，而且那是在同一家公司内部、项目也处于更早期。
这其实差不多吧？代码库、基础设施和团队都不一样。过程并不顺利，但 DeepMind 现在做得很好。
你举了新冠的例子。新冠时我们有所察觉，可能有点晚，但随后政府投入了大量资金。我同意政府启动曲速行动有帮助，但它做的主要就是授权，让企业可以……
政府还作出了大额预先市场承诺。
我同意。但根本上这是私营部门主导的工作，也是新冠应对中唯一成功的部分。
这个项目会更像曲速行动：所有公司都参与政府项目。我不认为合并有那么难。可以用一套代码在 GPU 上跑预训练，再用另一套代码在 TPU 上做第二阶段，没问题。
人们会不会愿意报名参与？今天他们不会觉得这值得参与。
但这正是保密问题的一部分。人们在聚会上会讨论这些事，你也知道。我不认为有人真正站在这些人面前说过：“听着，你们正在建设的是对美国国家安全、自由世界未来以及我们能否再享有一个世纪至关重要的东西。这关系到你们的国家和民主。不要谈论机密。”这不只是 DeepMind 之类的公司，而是这些极其重要的事情。
我们谈的是曼哈顿计划。早期确实争议很大，但后来大家意识到这件事必然会发生。军事和国家安全方面有紧急需求，很多人会逐渐接受。
至于能不能胜任，这方面的很多判断都是预测。这个结果相当可能发生，但没有足够多人认真思考。很多人会讨论 AI 实验室内部的政治问题，却没有人规划那个宏大的政府项目。
他们是不是应该更悲观一点？我们没有计划，而且 AGI 即将到来，必须马上行动。如今只有私营公司具备真正开发 AI 所需的技术能力。
公司仍会发挥主导作用，这会是一种合作关系。
我们谈过二战期间美国毫无准备的情况。二战初期简直一团糟。美国有深厚的人才储备，拥有很多极其能干的管理人才和敬业的人。我想象中的模式会像曲速行动，是公私合作伙伴关系。
人才招募是个有意思的问题。曼哈顿计划初期，得说服人们击败纳粹并加入项目。许多人后来后悔自己加速了原子弹的研发。这在战争中很常见。
我认为他们后悔参与是错的。
为什么？
他们为什么要后悔？
他们之所以后悔，可能是因为战后核武器的发展突然加速：先有了使用核武器的先例，然后在竞赛推动下很快就发展到氢弹。
这和我对 AI 的看法有关，也许是我们意见不同的地方。那是不可避免的：先有世界大战，再有冷战。军方当然会以极其强烈的力度追求军事用途。不存在一个大家都决定不造核武器的世界。而且核武器这件事总体上发展得还不错，本来可能会糟糕得多。
不可能让每个人都有袖珍核弹，让大规模杀伤性武器扩散到所有人手中、人人都能造。美国主导核武器发展，建立了新的世界秩序：少数大国拥有核武器，同时有核不扩散制度。这是合作和交易：不把核技术用于军事用途，但提供民用技术，并向世界其他国家推行安全规范。这套机制有效，本来也可能糟糕得多。
别忘了，我在文章里也说过，广岛原子弹的破坏力和燃烧弹轰炸差不多。真正改变局势的是氢弹和洲际弹道导弹，那才把战争推到了全新层级。
你说要告诉大家，必须推进这个项目才能让自由世界存续，听起来很像二战。二战是个悲剧，不只是战争本身，胜利也带着悲剧意味：英国参战是为了保卫波兰。
最后，极其残暴的苏联占领了半个欧洲，正如你的家族所经历的那样。我们可能会为了保卫自由世界而加速发展 AI，最后却落入一个美国 AI 利维坦手中。以后回头看，这可能会像英国为保护波兰而参战一样，带着扭曲的讽刺。
会发生很多令人遗憾的事情。我只是希望我们能撑过去。对外的说辞不只是竞赛，竞赛只是背景。民主制度必须影响这项技术。我们不能把这些东西泄漏给朝鲜。
安全也很重要，包括对齐以及防止新型大规模杀伤性武器。我不确定还有别的路。假设国际上展开一场全速竞赛，所有东西、包括模型权重都会立刻泄露；Demis、Dario 和 Sam 还要商业竞赛、争当第一。这对安全极为不利。
大家谈到的安全监管，通常是 NIST 那种模式，得经历多年官僚流程和专家共识。
政府项目不也会变成这样吗？
智能爆炸期间的对齐不是一个持续数年的官僚流程，而更像战争，信息混乱、迷雾重重。下一次再增加一个数量级的算力安全吗？我们已经走过三个数量级的智能爆炸，却还没完全理解正在发生什么。
我们的泛化能力规模化曲线看起来不太理想，有些自动化 AI 研究员说没问题，但我们又不完全信任它们。AI 可能开始做有问题的事情，我们处理一下，然后就好了。我们该不该继续？还要不要再等六个月？
与此同时，中国可能偷走模型权重或部署机器人军队。这是个疯狂局面，更依赖一条理智的指挥链，而不是审慎的监管流程。虽然我希望我们能更多采用审慎监管。
私营公司也是如此。它们声称会做好安全，但在商业竞赛中很艰难，尤其是初创公司。初创公司就是初创公司，不适合处理大规模杀伤性武器。
我越来越接近你的立场了，不过……
我们谈谈负责任扩展政策（RSP）。倡导这套思路的人告诉我——他们知道我偏自由意志主义，所以用这种方式来解释——应该把它看作保护市场化 AGI 开发的机制。如果没有它，滥用行为会导致国有化。RSP 则通过安全护栏，确保市场秩序还能维持、局势不会失控。
你的论述本身似乎是自洽的。我知道你从来没有这么主张，所以不是把你绕进这个论点里，但这听起来有点像“稻草堡垒”论证。
我对 RSP 之类的制度和当前安全监管的看法是：它们有助于弄清我们身处什么样的世界，并在接近危险边界时亮起警示灯。
我们讲的故事是我认为本十年最可能的情形。当然也有很多地方可能出错。我们还应该多谈数据墙；也存在一种世界，技术会停滞或根本没有 AGI。
RSP 保留了选择空间。我们先观察事态发展，但如果红灯开始闪烁，就必须做好准备。一旦出现自动化 AI 研究员，事情就进入紧要关头。
这一点我可以赞同，也仍然强烈倾向于市场化方案。除非你对智能爆炸的预测正确，否则先别行动。但在 Alec Radford 真的可以被自动化、而这又是通往 ASI 的唯一瓶颈的世界里……
好，我想我们可以先到这里。我已经有些接近你的观点了。
希望事情会顺利，会非常紧张。现在还算悠闲，趁假期还能休息时好好享受吧。
看着窗外真有意思，这里是旧金山。
对，OpenAI 就在那边，Anthropic 也在那边。你们这些人对未来几年会如何发展拥有巨大影响力，但这份影响力正在迅速贬值。
你说的“你们”是谁？
实验室里的人。
你说的是个疯狂的世界。你还提到也许他们会过早国有化。几乎没人看清正在发生什么，这让我觉得很有压力。
也许我错了；但如果我是对的，我们正处于一个只有几百个人关注到这件事的疯狂局面。这让人望而生畏。
几个月前我去了华盛顿，和做 AI 政策的人聊天。我问他们觉得国有化有多可能，他们说国有化很难，而且已经很多年没发生了，国有化还有具体的程序限制。
我又问，如果是 ASI 呢？有《国防生产法》这类限制，难道不会国有化吗？最高法院会推翻吗？他们说：“是啊，我想那种情况下会国有化。”
这是我那篇文章，或者说我对这个项目的观点，最简短的总结。
§0719 岁成为哥伦比亚大学毕业生代表
继续谈 AI 之前，我们先往回说说。
对话一开始我就提到，你 19 岁从哥伦比亚大学毕业并成为毕业生代表。也就是说，你 15 岁就上大学了。
当时你在德国，然后 15 岁就上了大学。
对。
这到底是怎么回事？
我当时真的很想离开德国。我读的是德国公立学校，那里不太适合我。
哪方面不适合？没有同龄伙伴吗？
还有一种德国特有的文化氛围。在美国，有很棒的高中，人们也欣赏优秀学生。德国则有种“高秆罂粟综合征”：如果你是班里那个好奇、想多学一点的孩子，老师不会鼓励你，反而会怨恨你、想方设法打压你。
德国本科没有精英大学，这也很疯狂。德国的精英选拔制度在某个阶段被压垮了。社会各方面还有极强的自满心态。总让我困惑的是，即便去美国上大学也被认为是激进选择。这里没人觉得这有什么激进，因为去哥伦比亚大学接受更好的教育显然是好事。
这对我来说很不可思议，因为美国是很多事情正在发生的地方，教育也更好，但德国人却不去。我跳了几级，所以当时觉得 15 岁上大学、来美国都很正常。现在我一个妹妹马上 15 岁了，看到她我才理解母亲为什么会担心。
所以你大概是唯一一个 15 岁的学生。15 岁上大学正常吗？刚开始那几年是什么样的？
同样，那个时候我觉得太正常了，现在才理解母亲为什么担心。我劝了父母一阵子，最后说服了他们。当时我真的觉得这是很正常的事。
大学生活很棒，我很喜欢。时间点也刚刚好。我很欣赏通识教育、核心课程，以及阅读政治哲学和文学经典。
你学的是什么？经济学？
我的专业是数学、统计学和经济学，但哥伦比亚有非常扎实的核心课程和通识教育。说实话，我不该同时选那么多专业。最好的课是历史系里由出色教授讲授的课程。我会建议大家在大学里多花时间上这类课。
有没有哪位教授或课程特别突出？
有几位。Richard Betts 的战争、和平与战略课。Adam Tooze 非常出色，也写了几本引人入胜的书。顺便说一句，你应该请他来节目。
我试过，我觉得你也帮我试过。
你一定要请他来，节目肯定会很精彩。
最近我们采访了 Tyler Cowen。他说最初是通过你关于经济增长和生存风险的论文认识你的。他说：“读到时，我简直不敢相信作者只有 17 岁。如果这是 MIT 的博士论文，我都会觉得非常了不起。”你当时大三就写出新颖的经济学论文了。你为什么对此感兴趣，又是怎么入门的？
我只是对各种事情感兴趣，这对我来说很自然。遇到某件事就会兴奋起来，开始阅读、沉浸其中。我学东西、理解信息都很快。
说到那篇论文，至少就工作而言，产出高峰期比平均产出更重要。有些工作，比如 CEO，需要稳定的生产力。但我会有几个月灵感迸发，其他时候则在后台默默计算。写这个系列也一样：进入状态时写起来会很顺畅，这才是最后真正重要的部分。
即使对 CEO 来说，生产力高峰可能也很重要。我们有个群聊里的朋友按查塔姆研究所规则提到，很多著名 CEO 和创始人有双相情感障碍或躁狂症。生产力的“看涨期权”最重要，而让波动变大、患上双相情感障碍，反而能得到这个期权。这挺有意思。
你最初先对经济学感兴趣。为什么是经济学？你本可以读任何东西。你在机器学习上起步比较晚，经济学上浪费了好几年。有没有另一种可能，你 17 岁就进了超级对齐团队，而不是 21 岁左右？
从某种意义上说，我现在还在做经济学。我在看图表上的直线、双对数图，分析趋势，也在思考反馈回路、均衡和军控动态。这是一种我觉得很有用的思考方式。
Dario 和 Ilya 很早就发现规模化效应，从某种意义上说，这也是很经济学式的思考，也和经验物理学相关。他们很多人是物理学家。经济学家的问题常常是编码能力不够，但他们有那种思考方式。
我还觉得经济学的许多核心思想非常优美。某种程度上我有点被误导了，因为现在的经济学学术界有些颓败。我的论文很长，有 100 页数学，但核心结论 30 秒就能讲清，而且很有道理，根本不需要那些数学。最好的经济学论文就是这样。
你做了很多工作，发现以前没看出来的洞见。工作完成后，会涌现一种机制，它简洁、直观地解释了世界上的事实，也能用于论证。经济学入门课很棒，能做到这一点。20 世纪 50、60 年代的许多经济学也是如此。Chad Jones 的论文常常如此，我很喜欢他的论文。
为什么你最终没有去读经济学研究生、走学术道路？有好几个原因，其中之一是 Tyler Cowen。他把我叫到一旁，说：“我觉得你是我见过最优秀的年轻经济学家之一，但你可能不该读研究生。”
哦，有意思。真的吗？我不知道这件事。
对，这挺好的，因为他把我介绍给了 Twitter 上那群怪人。我觉得这件事给我的启示是，我还得再搬到西海岸去一次。
等等，Tyler 把你介绍给 Twitter 怪人？
算是吧，或者说介绍给更广泛的文化圈。
一个 60 岁的经济学家把你介绍给 Twitter？
我之前一直在德国，处于圈子边缘，后来进了美国精英学校，体会到了美国精英社会的择优文化。就像有一张目录，想理解真正的美国精神，我就得来西海岸。
我没当经济学家的另一个原因，至少没走学术道路，是因为经济学学术界有些颓败。也许是因为思想越来越难找，或者所有简单优美的思想都已经被发现。
但如今的经济学论文是什么样？经常是 200 页实证分析，比如“威斯康星州多买 10 万本教科书会如何影响教育结果”。这类研究很重要，我也很高兴有人做，但它们没有揭示社会里的基本洞见和机制。
即使是理论研究，也常常构造极其复杂的模型，最后模型吐出一个结果：“美联储做 X，然后 Y 就发生了。”你根本不知道为什么。模型里有无数参数，都是以某种方式校准的，最后只是个电脑模拟，你也不知道是否有效。最重要的洞见，是经过大量工作后得出的精炼直觉。
你说的是 P 对 NP 那类问题吗……
对，没错。
很有意思。回到你大学时期。你说高峰期生产力可以解释那篇论文以及其他事情。但作为毕业生代表、拿全 A，听起来更像是持续稳定的平均生产力。
学校会给 GPA 最高的学生颁奖，我拿到了；但毕业生代表是由教师从 GPA 最高的学生中选出的。
所以不只是看某个阶段的最高产出。
我确实就是喜欢这些东西。我很好奇，觉得很有意思，也享受学习。内容对我来说讲得通，感觉很自然。
我的一个缺点是，我不太擅长“吃玻璃”——有些人特别擅长承受乏味辛苦的事。我产出的高峰期来自兴奋、投入和热爱。如果选对课程，在大学里就能有这种体验。
这就像《复仇者联盟》里 Bruce Banner 那句话：“我一直很愤怒。”你是说：“我一直充满兴奋和好奇，所以一直处于生产力高峰。”
顺便说一句，你上大学时我也在上大学。你比我小一岁，却至少领先我两年左右。那时我们通过 Tyler Cowen 的圈子认识。世界小得离谱。是我主动联系你的吧？我肯定联系过。
我不确定。
那时我的视频只有几百次播放。
世界真小。这也是 AI 领域很疯狂的一点：在 DeepMind、OpenAI、Anthropic 负责运行模型的，还是那些派对上反复出现的少数人。我们一些如今事业成功的朋友，在二十岁之前或刚出头时，就认识了许多现在在硅谷成功的人。
为什么圈子这么小？某种程度上是因为人们主动行动。我觉得很奇妙，这和我在德国的经历有关。那段经历很压抑，我不喜欢。跳级、搬到美国都是不寻常的选择。
我努力尝试，并发现事情行得通，这让我相信不必顺从既定的舆论范围。即便多数人错了，你也可以尝试做自己认为正确的事。这是我早期非常有价值、塑造很深的经历。
大学毕业后你做了什么？
我先在牛津和其他地方做了一阵经济学研究，之后去了 Future Fund。
给我讲讲它。
Future Fund 是由 Sam Bankman-Fried 资助的基金会，但我们是独立运作的，设在湾区。2022 年初，这是一项非常令人兴奋的机会。它基本上是一家初创型基金会，这种机会并不常有。我们以为能捐出数十亿美元，从基本原则出发，重新塑造慈善事业。
我们希望在生物安全、AI，以及寻找杰出人才解决棘手问题等领域产生重大影响。很多工作都很令人兴奋。通常需要六个月才能走完流程的学者会写邮件告诉我们：“这太棒了，速度太快、流程太简单了。”我常发现，只要稍微鼓励并授权人们、去掉借口、简化流程，就能让他们做出好事。
补充一点背景：你们当时不但计划捐出数十亿美元，团队还只有四个人。所以你 18 岁时就在一个四人团队里，负责拨付数十亿美元。
那算是它的黄金时期。然后 2022 年 11 月，大家发现 Sam 是个大骗子，整个机构一夜之间就垮了。这非常艰难，对把钱放在 FTX 里的人来说更是灾难。就近一点说，我们本来想帮所有受赠方做好项目，结果他们突然背上了一个大难题。
对我个人来说，这很困难，因为那是家初创公司。我连续近一年每周工作 70 小时把它建起来。我们是个小团队，结果一夜之间一切都没了，还和一桩巨大欺诈联系在一起。这非常难受。
关于 SBF 有没有什么早期迹象？
显然，我当时不知道他是个骗子。如果我知道，就绝不会去那里工作。我们是独立机构，没有参与他的商业活动。我确实认为这件事让我学到了一些东西。
我和其他人一样，有种倾向：成功 CEO 做了过分的事，我们也会放他一马，因为他很成功，觉得“成功 CEO 就是这样”。我当时不知道 Sam Bankman-Fried 是骗子。
但我知道他极端冒险、自恋、无法容忍反对意见。到最后我和他关系很差，因为我指出有些生物安全拨款不划算，而他喜欢那些项目只是因为它们听起来酷、很亮眼。他对此很不高兴。
所以我了解他的性格。我意识到关注人的性格很重要，包括你为之工作的人和成功 CEO。这能帮你避免很多后续痛苦。
FTX 崩盘后你离开了，后来去了 OpenAI。当时超级对齐团队刚成立，你是最初的团队成员之一。
最初的想法是什么？是什么促使你加入？
OpenAI 和其他实验室的对齐团队做了基础研究，并开发出 RLHF，也就是基于人类反馈的强化学习。这项技术非常成功，能控制当前的 AI 模型。
我们的任务是寻找 RLHF 的继任方法。我们需要新方法，是因为 RLHF 很可能无法扩展到超人类系统。RLHF 依赖人类评分者提供反馈，但超级智能模型会产出人类无法理解的复杂内容。可能是几十万行代码，你根本不知道里面发生了什么。
我们要如何引导和控制这些系统？如何加入额外约束？我加入是因为觉得这是个重要且可解决的问题。现在我仍这么认为，而且更坚信了。我认为有很多很有希望的机器学习研究，能够让我们对齐超人类系统，之后可以细谈。
这么容易解决，一年就搞定了，现在一切都结束了。
OpenAI 当时想进行一项非常雄心勃勃的对齐工作，Ilya 也支持。我很喜欢那里很多人，对此非常兴奋。总有人借对齐问题博取关注。我很感谢有人强调问题的重要性；我自己也真的很想把它解决。我想做一个雄心勃勃的项目，像用曲速行动解决对齐问题一样。这看起来是个绝佳机会。
§08OpenAI 发生了什么
现在团队基本不存在了。负责人 Jan 和 Ilya 都离开了，这是上周的新闻。发生了什么？团队为什么散了？
OpenAI 决定转向其他方向。
什么意思？他们认为超级对齐不是正确的方向吗？
不是。显然，去年 11 月董事会事件之后出现了人事变动。Ilya 离开对 OpenAI 来说非常遗憾。团队优先事项也发生了变化。媒体报道过超级对齐算力承诺——承诺拿出 20% 的算力，这也是很多人被招募的原因。后来他们决定不再兑现这个承诺，转向别的方向。
现在 Jan 和 Ilya 都离开了，团队也解散了。你是第一个离开、或者被迫离开的人。《The Information》报道你因泄密被解雇。究竟发生了什么？报道准确吗？
我不如先告诉你他们说我泄露了什么，你再判断。OpenAI 告诉员工，我因泄密被解雇。我和其他人一直要求他们说明泄露内容，他们完整的回复是：去年某个时候，我写了一份关于未来达到 AGI 路径上所需准备、安全和安保措施的头脑风暴文件。我把文件发给三位外部研究人员征求意见。这就是他们所说的泄密。
背景是，当时在 OpenAI，把安全想法分享给外部研究人员征求意见完全正常，经常发生。文件里有我自己的想法。分享前我检查过敏感内容，并把内部版本中提到未来集群的内容从外部版本删掉。里面还有一个指向内部幻灯片的链接，但外部研究人员点开是死链接，他们没有拿到幻灯片。
我追问文件里到底有什么机密信息时，他们提到我规划 AGI 时间点为 2027 至 2028 年，而且认为不应设定准备时间线。
我是在超级对齐项目公布几个月后写这份文件的。我们已经提出了四年的规划周期。我当时不认为这个时间线是敏感信息，Sam 平时也经常公开这么说。我记得 Jan 几周前还在播客里提过。就这些。
就这些？如果解雇原因真是泄密，听起来很牵强。还有别的事吗？
这就是他们说的泄密指控。我再讲讲被解雇的经过。去年我写过一份关于 OpenAI 安全性的内部备忘录。我认为公司保护模型权重或关键算法机密、防止外国行为者窃取的措施极其不足。我把备忘录分享给几位同事和几位管理层成员，他们大多觉得有帮助。
几周后发生了一起重大安全事件。这促使我把备忘录发给几位董事会成员。几天后我明确得知管理层对此非常不满。显然，董事会就安全问题质问了管理层。
我因为把备忘录发给董事会而收到了正式的人事警告。人事部门的人告诉我，担心中共间谍活动是种族歧视，也没有建设性。我可能当时不够圆滑，也可以更懂政治技巧，但我认为这是个非常重要的问题。发生安全事件后，我特别担心。
我之所以提这件事，是因为被解雇时，他们明确告诉我，安全备忘录是主要原因。他们说：“这次不是警告，而是解雇，原因就是那份安全备忘录。”
你把备忘录发给董事会这件事？
对，我之前因为那份安全备忘录收到的警告。
解雇时他们问我的问题，也有助于了解背景。一个多月前，有律师把我叫去谈话，很快气氛就变得对抗。问题包括我怎么看 AI 进展和 AGI、AGI 应有怎样的安全等级、政府是否应参与 AGI、我和超级对齐团队是否忠于公司，以及 OpenAI 董事会事件期间我在做什么。之后他们和几位同事谈过，再回来告诉我被解雇了。他们检查了我在 OpenAI 任职期间所有数字记录，就是那时找到所谓的泄密材料。
他们对外的主要说法是泄密指控，也就是告诉员工的说法。安全备忘录是另一个原因。他们还提出了其他几项指控。其中一条是说我在调查期间没有坦白，因为一开始我记不起究竟把那份准备工作的头脑风暴文件分享给了谁，只记得和一些外部研究人员讨论过这些想法。
那份文件已经六个多月了，我只花了一天写。它是用 OpenAI 邮箱分享出去的 Google 文档，不是截图之类的，我没有试图藏起来。它根本没给我留下印象，因为这完全不是个问题。他们还说我参与政策讨论的方式让他们不满。他们举例说，我曾和几位外部研究者——包括智库的一位人士——讨论我认为 AGI 会成为政府项目的看法，这正是我们刚才讨论的话题。
事实上，当时我和领域里很多人都在谈这个观点。我认为这非常值得讨论。他们找到了我五六个月前发给一位熟悉同事的私信，并把它也拿来作为依据。我当时认为，和领域外部人士讨论 AGI 未来的高层次问题，完全符合 OpenAI 的惯例。
这就是他们声称发生的事。从那以后我和几十位前同事聊过，大家普遍反应都是：“这太离谱了。”我自己也很惊讶，因为几个月前我刚升职。当时 Ilya 为我的晋升写的评价大意是：“Leopold 非常出色，我们很幸运有他。”
我能理解的一点是，我惹恼过一些人，有时确实挺烦的，尤其是安全问题。我反复提出这些担忧，表达方式可能不总是最圆滑。董事会事件期间，尽管有人施压，我没有签署员工联名信。
你是大约八个没签的人之一吗？
没那么少。我觉得没有签的两位最高级别的人是 Andrej 和 Jan，他们后来都离开了。
那封信在周一早上传阅时，我认为董事会辞职也许是合适的，因为他们已经失去了太多员工的信任和信誉。
但我认为那封信有问题。它没有要求成立独立董事会，而这是公司治理的基本要求。在其他讨论中，我也曾要求管理层遵守 OpenAI 的公开承诺。我还提出了尖锐问题：和威权独裁国家合作建设 AGI 核心基础设施，是否符合 OpenAI 的使命和国家利益？
这是自由国家，我很喜欢这一点。我们刚才谈过，公司没有义务留我在职。如果他们来对我说：“公司要换个方向，我们不同意你的观点，也不再信任你会遵守公司的路线。非常感谢你为 OpenAI 做的工作，但我们该分道扬镳了。”这完全合理。
这样做就说得通。我们在重要问题上已经开始分歧。我加入时很兴奋，也认同 OpenAI，但后来情况改变了。那样友好地分手本来很好。可惜最后变成这样。
话虽如此，我特别想强调，OpenAI 有很多优秀的人，能和他们共事是无上的荣幸。总体来说，我对那段经历非常感激。
有报道说，前员工若想领取已归属的股权，必须签署一份保密协议。你签过吗？
没有。我的情况有点不同，因为我当时离归属悬崖期还差一点。公司仍给了我股权，但我不想签。自由无价。
股权价值是多少？
接近一百万美元。
所以这确实是你和其他员工知道的一件事。OpenAI 明确给了你选择。想必公司里的人知道自己在提供股权，但要求签署一份限制谈论 AGI 和 OpenAI 的保密协议，比如限制你今天在节目里说这些话。
我不了解全部情况。我确实认为，以签署保密协议为条件发放已经归属的股权很苛刻。如果是离职补偿协议，情况或许不同。
没错。但签过这类协议的 OpenAI 员工，大概就不能像你今天这样来节目里发言了。
很可能吧，我不确定。
董事会那件事很棘手。分析这件事时，如果你想替他们辩护，可以说：“听着，你就是绕过了常规汇报链。”这也许有点道理。
不过，人事部门认为你不该和董事会沟通，这挺奇怪。你是在向董事会提供有关 OpenAI 是否履行使命、怎样改进的重要信息。董事会的职责就是确保 OpenAI 遵守使命。如果他们把这也算作泄密，好像董事会是外部机构一样……
明确说一下，泄密指控只涉及我分享给别人征求意见的那份文件。这是他们引用的另一件事。他们说，如果不是安全备忘录，我不会被解雇。
他们说，你不会因为那件事就被解雇。
他们说，我之所以收到的是解雇而不是警告，是因为我之前因安全备忘录受过警告。
你离开前，董事会事件已经发生。Sam 被解雇又被重新任命为 CEO，现在还在董事会。超级对齐团队负责人 Jan 和 Ilya 都离开了。Ilya 是 OpenAI 的联合创始人，也是从研究角度看最重要的人。这几个月 OpenAI 出现了很多人事风波，包括超级对齐团队的情况。发生了什么？
确实有很多风波。为什么这么多？
如果 OpenAI 只说自己在做 ChatGPT 或商业软件，风波就会少得多。很多争议源于 OpenAI 真的相信自己在构建 AGI。这不只是营销说法。有报道称 Sam 要为芯片筹集 7 万亿美元，只有真的相信 AGI 才会这么做。
人们无法接受的是，既相信 AGI，又不认真对待它的其他影响。这项技术会非常强大，既能做好事，也可能造成伤害；因此涉及国家安全。你们是否在保护机密，防止中共窃取？AGI 的核心基础设施由美国掌控，还是由中东的独裁者掌控？
真正让人恼火的是，大家不断作出承诺，说自己认真对待这些问题，却经常不兑现。比如超级对齐算力承诺，说要拿出 20% 算力用于长期安全研究。
你我完全可以就超级对齐需要多少算力进行合理辩论。问题不在这里，而在于这项公开承诺曾被用来招募员工。
当时之所以作出承诺，是因为大家知道，总会有比长期安全研究更紧急的事情，比如新产品。最后他们没有兑现。长期安全研究总是被更紧急的事挤到一边。
另一个例子是我提出安全问题时，他们会告诉我安全是头号优先事项。但要投入大量资源或作出实际权衡、落实基本措施时，安全却总不是优先事项。这种认知失调和不可靠让很多事情变得混乱。
§09加速 AI 研究进展
我们拉远一点，聊聊整个故事里的一个重要部分。我们之所以认为地缘政治上必须这样推进，是因为一旦有了 AGI，很快就会发展到 ASI，也就是超级智能。AGI 会成为进一步推进 AI 研究的研究员，几年内甚至更短时间就可能到达超级智能。按照你的设想，之后会研发机器人、袖珍核弹以及其他疯狂技术。
我对这个设想有很多怀疑。概括来说，研究并不像输入输出模型那样简单。看整个经济体就知道。Patrick Collison 等人指出，和一百年前相比，如今全世界的研究人员多了一百倍，但进展并没有快一百倍。把研究人员数量乘上去，不会简单地让科研产出同比上升。我看不出 AI 研究为何会不同。
这开始聊到有意思的地方了。这是我和 Patrick 及其他人之间的经典分歧。显然，投入很重要。美国创造的科学和技术进展就远多于列支敦士登或瑞士。
假设让 Patrick Collison 当列支敦士登或瑞士的独裁者，并实施理想制度。人才池固定，不准他靠疯狂引进高技术移民或基因育种扩大人才数量。制度再好，即使 Patrick 当独裁者，瑞士也无法在科技进展上胜过美国。规模确实重要。
我不确定同意。有很多历史例子表明，小群体也能做出重大进展，比如贝尔实验室或臭鼬工厂。OpenAI 也只有几百名研究员。
不过他们是经过高度筛选的。
所以 Patrick 当独裁者就能做好这件事。
是的，如果他能从全世界挑出最优秀的 AI 研究员，可能只需要几百人。但这依然依赖人才池：全世界最优秀的 300 名 AI 研究员。
但从一百年前到现在，人口大幅增长了。考虑到营养不良和贫困不再像过去那样妨碍人才，你会预期人才密度也提高了。
我不知道是不是提高了 100 倍，大概至少提高了 10 倍。有些人认为点子并没有变得难找很多，那为什么研究投入要增加 10 倍？对我来说，这是个很自然的故事。为什么自然？因为它在双对数图上是一条直线，这是深度学习研究者的梦想。
双对数图是什么？横轴是累计研究投入的对数，纵轴是 GDP、算法进展数量级、单位面积晶体管数量对数，或每吉瓦太阳能价格对数。它非常自然地呈现为直线。这是经典关系。最初事情很容易，但要找到下一个重大突破，需要按对数递增的累计研究投入。这是很自然的叙事。
有人质疑：“研究投入提高 10 倍，点子也恰好难找 10 倍，完全抵消了，这不奇怪吗？”我会说这就是均衡，是一种内生均衡。供给等于需求、市场出清，不也像巧合吗？这里也是一样。新点子的难度取决于已经取得了多少进展。
总体增长率取决于点子变难的程度，与研究投入增长的程度相比如何。这套故事相当自然，不只适用于整个经济体，也能从各种技术的经验曲线中看到。
制度可能在某种程度上变差了，这有可能。增加人手也会受到边际收益递减的影响，按顺序处理比单纯并行更好。但投入显然很重要。
我同意。但如果投入增加时的递减系数足够高，那么抽象地说，投入重要也未必有多大意义。
我们刚才谈得很抽象，具体来说吧。OpenAI 直接参与未来模型算法进展的员工最多也就几百人。假设你可以任意扩大这个数字，以加快算法进展、做出更好的 AI。那为什么 OpenAI 不干脆招来全世界所有智商 150 的人？这种人有几十万。
我认为问题在于管理这些人的交易成本。即使有一大群 AI，这些成本也不会自动消失，而且这些任务不容易并行。我不确定你怎么解释 OpenAI 不去招募全世界所有天才这件事。
我们具体聊聊 OpenAI 和自动化 AI 研究员。过去一年 AI 研究员的工资涨了四五倍，显然他们在招募世界上最优秀的研究员，而且确实招到了。我的回答是，如果现在雇用这些智商 150 的人，他们几乎都不会马上变成优秀 AI 研究员，更不会成为 Alec Radford。
公司愿意做几年后才见效的投资，现在买的数据中心到 2026 年才会启用。有些项目会失败，有些能力也不够理想。那为什么不投入资源，把这些智商 150 的人培养成 2026 年时优秀的 AI 研究员？
有时确实会这样。优秀物理学家也能胜任 AI 研究，比如 Anthropic 的联合创始人。
但例如 Dario 在节目里说过，他们谨慎招聘，非常注意筛选，不会随便招人。
培养人才不像算力规模化那样容易。培养非常困难。雇用 10 万人后再培训他们会非常难，结果可能一项 AI 研究都做不了。招新人并培养他们的成本巨大。
AI 的情况很不同。要讨论 AI 的优势，先看成为 Alec Radford 需要什么：你得是一名优秀工程师。AI 会非常擅长工程和编程，可以训练它们做到这点。此外还要有优秀的研究直觉，以及对深度学习的透彻理解。
Alec Radford 或类似的人，花很多年沉浸在深度学习里，亲自尝试大量方法并经历失败，才积累起这些能力。AI 可以读遍所有论文，学习实验室做过的每个实验，从中形成直觉。它们还能并行学习彼此的实验和经验。
还有文化适应问题。招新人会有办公室政治，也许新员工无法融入。AI 可以直接复制。动机也是一个因素。如果我能复制 Alec Radford，让他在每次实验之前花相当于人类十年的时间检查代码、仔细思考，他不会愿意，也没有动力。但 AI 可以让一亿个副本专门检查代码、确保没有 bug。
说有一亿个相当于人类的 AI 研究员，只是帮助理解的方式，不一定真有一亿个副本。串行速度和并行度之间可以权衡。你可以让它们以十倍或百倍人类速度运行，代价是因为固有权衡，总 token 数会减少。也可以让十万个 AI 以人类速度的百倍运行，并通过共享潜在空间、相互关注上下文来协作。可能性非常多。
另一个例子是，到 2027 或 2028 年，借助自动化 AI 研究员，你每天生成的 token 量可能相当于整个互联网的文本总量。这显然是巨量的智力劳动。
我打个比方：如今一年里申请的专利，比 20 世纪初物理革命时期还多。但我们现在一年的物理进展，难道超过了那个时期半个世纪的进展吗？生成这些 token，不一定等于创造互联网最初出现时同样多的成文知识。
互联网 token 通常是最终输出。我们前面说过解除束缚。我会把一个 GPN token 看作我内心独白中的一个 token。这是我估算相当于多少人类工作的方式：假设人每分钟思考 100 个 token，再乘上人类工作的小时数。那相当于多少工作？
这又回到我们刚才谈的事：为什么 AI 还没有带来巨大收入？人们常问这个问题。如果把 GPT-4 带回十年前，人们会觉得它能自动化一半工作。这里有个肯定后件、否定前件的推理。部分解释是我们已临近突破，只差解除束缚，这大概确实有一部分道理。但还应该吸取另一条教训：仅仅看表面能力，背后可能还有更多限制。AI 研究员也会遇到同样问题。
你说的很多话我基本同意。我的判断是会有一段漫长的过渡期。也许到 2026 或 2027 年，会出现原型自动化工程师，工程能力很强，但还没有研究直觉；你还不太清楚怎么有效使用它。
即便如此，AI 的底层进展速度已经快得惊人。短短三年，我们从 AI 完全不会做数学题，到了如今能轻松解决这些数学竞赛题。所以到 2026 或 2027 年，也许会出现最初的自动化研究工程师，让进展加快两倍。一年里，你会取得更多进展。到年底，你就找到了剩下的解除束缚方法，拥有更聪明的模型。
也许需要两年，但那时模型也许就能自动化百分之百的研究工作。它们不必什么都做，不必煮咖啡或掌握其他领域的隐性知识。AI 实验室里的研究员很清楚 AI 研究员的工作是什么，有很多明确指标。整个工作都是虚拟的，有代码，有可以开发并训练的能力。
另一个问题是，怎样管理一百万名 AI 研究员？人类的比较优势，尤其是我们受过这种训练，是团队协作。几千年来，我们一直学习如何作为群体合作。即便如此，管理还是一团糟，大多数公司管理得很差。做到这些真的很难。
我们谈 AGI，但它会是一组特定能力：有些超过人类水平，有些只是人类水平。这是一组能力，你得弄清楚如何把它们与人类监督者和设备结合起来。我非常怀疑，一拿到这组能力，就能把几百万个 AI 放在一起并管理好。
历史上的其他技术革命都比纸面推演的过程渐进得多。工业革命是什么？我们挖煤来驱动蒸汽机，用蒸汽机开铁路，再用铁路运更多煤。你可以讲一个 Factorio 式的故事：六小时内煤炭产量就增加几千倍。但现实中，这花了几个世纪。
比如电气化，有项著名研究显示，电力出现几十年后，工厂才从滑轮、水车驱动的蒸汽机系统，转向分散式电动机系统。这次也可能如此。让几百万名 AI 研究员有效协作，可能要花几十年。
说得很好。我回应几点。我完全同意现实世界有瓶颈这个观点。人们容易低估这些限制。我们正在自动化劳动、利用技术，但世界上还有很多其他瓶颈。
这就是为什么进程最初会从没有这些瓶颈的领域起步，然后逐渐扩大到其他领域。也是因此，我认为一开始会发生 AI 研究爆炸。AI 研究不受现实世界这些瓶颈限制，不需要耕地或挖煤，只是在做 AI 研究。
在你的模型里，AI 研究一点都不复杂，就像翻汉堡一样简单，直接做 AI 研究就行。
人们会说：“AGI 什么都做不了，因为它不会翻汉堡。”没错，它不会翻汉堡，但它会推进算法。等它做到这一点，就能找出如何造一个会翻汉堡的机器人。我们讨论的数字还是下限，肯定能运行一亿个这样的系统。
它们最先会学会的一件事，就是如何把数量转化成质量。即便按当前的基准进展速度，系统也会越来越聪明。从学龄前儿童进步到高中生只用了四年。很快，如果你有 100 个 Alec Radford，也许能发现一些简单的算法改进。不需要一亿个。我们很快会有更聪明的系统，具备我们无法理解的创造力和复杂行为。
也许有办法把所有这些测试时计算整合起来，而不是让大量副本各自并行。系统很快不只是数量上超过人类，质量上也会超过人类。就像高中生想理解基础物理，与极聪明的教授理解量子物理之间的差别。按照 AI 当前的底层进展速度，很快就会进入那个阶段；而自动化 AI 研究会进一步加快进程。
我同意最终会达到那个阶段。我不是否认 ASI 的可能性，只是在质疑这一切怎么能在一年内发生。
进展会更连续一些。到 2025 或 2026 年，你会得到大学毕业生水平的模型。解除束缚会发展到什么程度我还不知道，但也许已经会出现原型自动化工程师。
AGI 有一层模糊空间：还有些解除束缚的能力缺失，有些连接方式没做好，也许还缺一定程度的智能。总有一天你会得到一个能百分之百自动化 Alec Radford 的系统；一旦有了它，进展就会真正起飞。
我们回到解除束缚的问题。
今年年底会出现一批新模型。假设到年底我们还没获得某种能力，是否存在这样一种能力：缺少它就意味着 AI 进展会比你的预测更慢？
有两个关键点：解除束缚和数据墙。先谈数据墙。尽管 AI 进步惊人，但人们低估了数据墙。确实有一种可能，我们会停滞，因为一直以来我们都顺风顺水，靠容易获得的无监督学习自举。
模型能学到惊人的世界模型。你只要再买算力、做些简单效率改进，就能获得很大收益。迄今许多效率提升都来自很简单的改进，比如增加归一化层、修正缩放定律。这些已经带来了巨大进步，更不用说模型本身还有很多显而易见的缺点。
数据墙非常重要。比如 Common Crawl 收录了约 30 万亿个 token，Llama 3 已经用 15 万亿个 token 训练。我们几乎已经把数据用尽。重复使用数据可以再推进一些，但 Boaz Barak 有篇学术论文研究了缩放定律，结果显示重复大约 16 次后，收益基本归零。
Llama 3 已经碰到了数据极限。也许重复数据能让我们再多获得 10 倍数据，最多相当于 GPT-4 的 100 倍模型，或者 100 倍有效算力。这不算多。如果算力每年增长半个数量级，算法进展也每年增长半个数量级，那相当于 GPT-4 两年后的进展。GPT-4 在 2022 年完成预训练，所以那就是 2024 年。年底前我们可能还看不清，但到 2025、2026 年会知道自己是否突破了数据墙。
假设 Common Crawl 里的互联网数据比现在少三个数量级。过去几十年，互联网等技术让人类拥有的数据量迅速增加。你的看法是不是：由于偶然原因，我们刚好拥有足够数据，训练出能力刚好的模型，比如 GPT-4.5，从而启动自我博弈强化学习？
还是说，如果数据多三个数量级，进展也只是快一点？在那个世界里，我们可能会回头觉得，仅靠 GPT-4.5 启动强化学习爆炸很难，但最终还是会解决。
在这个世界里，我们发展到 GPT-3 后，也得启动某种强化学习爆炸。最后总能找到办法。我们只是运气好，刚好世界上有这么多数据吗？
数据少三个数量级就很糟糕。按照 Chinchilla 缩放定律，模型算力会少六个数量级，基本只能做到比 GPT-2 稍微好一点。这会非常糟。
你提到偶然性很有意思。如果类比人类发展，学龄前儿童模型无法从自身学习，小学生模型也不行。也许 GPT-4 像一个聪明的高中生，刚开始能从自身学习。理想情况下，我们想要一个更强的模型，能真正自我学习。数据少一个数量级会让我更怀疑，但也许仍做得到。如果数据多一两个数量级，我会安心些。
研究一下数据量不同的情况下 AGI 概率分布会怎样，应该很有意思。
对，我同意。
让我怀疑这套故事的是：预训练为什么有效，我们都能理解。但其他这些东西虽然原理上有理由——人类能这样学习等等——也许是真的。
我担心这里很大一部分论据都是基于对学习过程的第一性原理推断。也许从根本上说，我们并不了解人类如何学习，可能漏掉了某个关键因素。你说模型的样本效率远低于人类，说明还有很大提升空间。另一种解释是，我们走错了方向，所以预训练的样本效率才这么低。
这里堆叠了许多第一性原理论证：先解除束缚、达到 AGI，然后再基于各种理由继续提升到 ASI。我担心这条推理链里有太多步骤。
拭目以待。关于样本效率，这多少是第一性原理推断，但中间确实有个明显缺口，以前没人认真尝试。现在大家开始认真尝试了。深度学习里常常是简单直觉就有效，但要处理好很多细节。也许还要一段时间，不过大家已经开始全力尝试。未来几年，解除束缚方面会出现很多信号。
什么样的解除束缚信号值得关注？核心问题是测试时计算是否取得进展：系统能不能思考比几百个 token 更长的任务？思维链已经解锁了这项能力。
有一点，很多时间线更长的人上节目时都说，训练这种长时间跨度强化学习的方式并非……
我们刚才说模型能思考五分钟，却无法持续更久。不是因为它在物理上不能生成一小时的 token。
即使 Gemini 也有一百万 token 的上下文，而且这个长度对输入内容确实很好用。它解决了一个重要的束缚，就是入职和上手问题。一个聪明的新同事、比如高中实习生，刚来的前五分钟完全帮不上忙。
一个月后就会有用得多，因为他已经看过整个代码库，理解代码如何运行，也读过内部文档。能把这些东西放进上下文，就解决了上手问题。但模型现在还不擅长生成一百万个 token。
关于生成一百万个 token，没有公开证据表明有某个容易优化的损失函数，可以……
GPT-4 发布后进步很大。它发布后的提升是个重要信号。
你在节目里和 John Schulman 谈过这件事。他说这主要是后训练带来的进步。看 LMSys 评分，大约提升了 100 个 Elo 分左右，比 Claude 3 Opus 和 Claude 3 Haiku 之间的差距还大。两者价格差了 60 倍。
但模型并没有更像智能体，只是在同一种聊天方式下做得更好了。
数学能力强很多，正确率从 40% 提升到 70%。这清楚表明还有解除束缚的空间。值得关注的问题是，一年后的这个时候，是否会有模型能连贯地思考几千个 token。还是那句话，如果数据多一两个数量级，我会更有信心，因为规模化会提供持续的顺风。
再说工具。和尝试用工具的人交流后会发现，真正开始能用工具的是 GPT-4。GPT-3.5 也能勉强用，但非常困难。有了 GPT-4，教模型使用工具容易多了。如果规模还能带来一些额外助力就太好了。我不知道这会不会成功，但这是个关键问题。
这很好，我们可以暂时结束这部分讨论：现在知道核心问题是什么，也知道哪些证据可以检验它。
我们谈谈从 AGI 到超级智能。也许现在很容易取得进展，只要放开手脚就行。给 Alec Radford 一笔算力预算，他就能做出某种代码改进。
世界上还有多少领域能做到这种程度：一年里投入足够多的智能实例，就能产生领先几十年、甚至几百年的成果？从没有飞行开始，后来有了莱特兄弟。给 GPT-6 一百万个实例，最后就能造出 Starlink？你认为事情会这样发展吗？
你的时间线有些夸张，但一年取得十年的进展之类，我觉得合理。这就是自动化 AI 研究员的作用，它会为其他所有事情提供巨大的推动力。
你用自动化的 Alec Radford 进行 AI 研究，最后又取得五个数量级的进步，得到一个远比现在聪明的系统。不仅聪明得多，还能让它擅长其他事情，比如解决机器人技术。
机器人很重要，因为很多其他事情确实需要在现实世界里尝试。也许有些事情能通过模拟完成，那会是进展最快的领域。你看最近一届 Nvidia GTC 了吗？几乎都在讲数字孪生：把整个制造流程放到模拟里。再说一次，如果有这些超级智能的认知工作者，它们能不能像浮点计算那样，为一切建立模拟，并在那里迅速取得进展？
机器人终究会出现。我同意现实世界有很多瓶颈。我们很可能会有疯狂的无人机群，但律师和医生可能仍须由人类担任，因为有监管规定。你会从较窄的领域开始，逐步扩展；未来也有可能把它们放开。由于竞争压力，在一些国家安全应用上，我们终究会被迫在一定程度上放开。快速进展完全可能。
之后的爆炸式增长大体有两个部分。生产函数中的 A，也就是技术增长，会大幅加速。那时会有十亿名超级智能科学家、工程师和技术人员，几乎什么事都能做得极其出色。
另一方面，劳动本身也会自动化。即使没有整场技术爆炸，只要放开它们，也会出现工业爆发：你可以用机器人铺满内华达州，从一个机器人制造工厂开始，再让它生产更多机器人。这是个累积过程，因为劳动已经不再是瓶颈。
太有意思了。
不过，如果只提高 K 或 L，而不提高 A，可以看苏联或中国的例子。它们迅速增加投入，确实带来了改变地缘政治格局的效果。上海这类城市在几十年间发生的变化非常惊人。
他们能在大约十年里建出一批令人惊叹的城市。
有人说 AI 能带来 30% 的增长率。最接近的例子……
看看年增长率达到 10% 的亚洲四小龙，这完全可能。
但如果没有生产力提升，那就不像工业革命。从系统外部看，商品更便宜了，制造的东西更多了，但这并不说明下一个世纪会突然到来。
两方面都重要。还有一点，所有这些问题的数量级都极其重要。我们谈过研究投入增加 10 倍，或者十年内增加 10 到 30 倍。即使完全没有自我改进循环——哪怕只是从 GPT-4 到 AGI——有效算力也相当于每年增加一个数量级。
一半来自算力增加一个数量级，另一半来自算法进步，也能折算成有效算力。等于劳动力每年扩大十倍。如果一百年里扩大 10 倍或 30 倍，和劳动力一年扩大 10 倍，完全是两个不同的世界。数量级至关重要。
在智能爆炸情景中，这也非常重要，尤其是自动化 AI 研究。有人会说，点子越来越难找，算法进步会越来越困难。现在容易拿到的进展比较多，但四五年后容易的进展会少很多，所以必须有自动化 AI 研究员来维持进展，因为问题变难了。这是一种非常奇特的、处于刀锋边缘的经济学假设。
这不正是你刚才解释整个经济为何保持 2% 增长率的均衡故事吗？只是沿着均衡继续发展。我猜你是说到某个阶段……
这里的均衡结果会快得多，取决于指数。假设过去四五年里，AI 研究需要把有效研究投入增加十倍才能保持进展速度。我们得到的就不只是十倍，而可能是一百万倍或十万倍。数量级特别重要。
一种理解方式是有两条指数曲线：普通经济每年增长 2%，AI 经济每年增长 10 倍。它一开始很小，但速度快得多，最终会超过普通经济。如果你认为 AI 经济有某种增长率，就能对收入作简单的外推。这种分析很简化，但核心是每年 10 倍的增长过程。
随着 AI 经济扩展，整个经济会从每年增长 2% 转向更快的增长过程。这与历史上的叙事很一致。长期以来存在双曲线式增长趋势，工业革命体现了增长模式转变，现在又会迎来一次新的增长模式转变。
我采访 Tyler 时也问过类似问题。1776 年后，世界从经济增长几乎停滞的状态进入 2% 增长，非常有意思。站在中世纪或更早时期的人看来，2% 也许就相当于 10%。我猜你对 AI 经济预测的增速还会更高。
这要看情况。再说一次，我对这些事有很大不确定性。我通常是在讲最可能发生的故事，因为必须把它说得具体、有切身感。
我对 2030 年代会怎样有很多不确定性。我知道的是，届时会极其疯狂。至于瓶颈具体在哪里等等……
我们来算算。你提到了数亿 AI 研究员。现在 GPT-4o 每输出一百万个 token 大概收费 15 美元。一个人一分钟思考 150 个 token 左右。按这个价格算，一个人工作一小时的成本大约是 10 美分。
这比雇人便宜，只是现在还做不了这份工作。
没错。但未来如果用 10 吉瓦集群训练模型，推理成本会增加四个数量级，或者大概三数量级。那就是每小时约 100 美元的劳动力。如果有数亿个这样的劳动力，算力够不够支撑使用大 1,000 倍模型的工作量？
问得好。我不认为前沿模型的推理成本必然会上升很多。
但测试时计算的成本不是会涨得更快吗？
我们现在说的是每个 token 的价格。假设模型一个 token 等于人类一分钟输出 100 个 token，它会用更多 token，但这个因素已经体现在计算中了。关键是每个 token 的价格。GPT-3 刚发布时，实际上比现在的 GPT-4 更贵。能力大幅提升，但推理成本仍保持不变，这非常惊人，也值得注意。这反映了算法进步的潜在速度。
还有一种更有理论依据的解释：为什么推理成本能维持不变。按照 Chinchilla 缩放定律，新增算力一半用于扩大模型，一半用于增加数据。如果按基本故事，每年算力增长半个数量级，算法进步也带来半个数量级的效率提升，正好抵消模型变大的额外成本。
当然，训练效率提升并非每次都能转化为推理效率，但很多时候可以。另外也能单独提升推理效率。考虑到历史趋势和基本理论，假设前沿模型每个 token 的成本不一定会上涨，并不疯狂。
真的吗？好吧，这太惊人了。
看看再说。即使成本上涨十倍，AI 劳动力也会从一亿降到一千万。这其实也不算……
但智能爆炸的一部分是，每个 AI 研究员都得运行 GPT-4 规模的实验，这会消耗大量算力。然后还要整合实验结果，得到合成权重。
无论如何，推理算力会比训练算力大得多，但实验算力确实是个限制。
回到一个更根本的问题。在你的系列文章里，你说估算 AGI 概率时，应该用有效算力的数量级来衡量；有效算力考虑了更好的算法会带来的算力倍增。我不确定可以自信地认为这是合理的进展预测方式。或许是，但我非常不确定。
这有点像有人预测人类何时登月。他看着 20 世纪 50 年代的阿波罗计划说：“我们有一定量的有效喷气燃料，如果发动机效率提高，就相当于有更多有效燃料。所以我们根据有效燃料的数量预测何时能登月。”我不否认喷气燃料对发射火箭很重要，但用这种方法来衡量何时登月，似乎很奇怪。
我不知道火箭科学怎么运作，但喷气燃料用量看起来没有明显的缩放规律。首先，AI 的缩放定律已经持续成立了。一位朋友指出了很好的观点：最初的 Kaplan 缩放定律论文，从 10^-9 到 10 petaflop-days；把此后的算力提升一直延伸到 GPT-4，并假设其中有算法进步，缩放定律大概在 15 个数量级上都成立。这个计算较粗略，跨度可能还更大。总之，它们在很多数量级上一直成立。
它们对模型训练时所用的特定损失函数成立，也就是预测下一个 token。但你预测的进展明知会遇到数据墙，因为这种缩放方式不能继续。必须有新的突破，我不确定能否用同一条缩放曲线推断这些束缚也会被解除。这些不是同一张图上的东西，对吧？
解除束缚是另一回事。
这里有几个问题。人们常把缩放定律放在有效算力缩放讨论的中心，因为它容易解释。为什么规模化重要？
早在缩放定律出现之前，有些人，至少像 Dario 和 Ilya 这样的人，已经意识到规模化很重要。Dario 在你节目里说过一句很棒的话：模型就是想学习；你把模型做大，它就能学得更多。这比那条损失曲线更重要。
这点适用于各领域，基准测试也能看出来。再说一次，阻力来自数据墙；我暂时先不谈它。
另一个问题是解除束缚。如果把这些进展画到有效算力图上，它们会带来非常大的提升。
这到底是什么意思？纵轴代表什么？
比如用 MLPR 这个基准，或者任何类似指标。我们提到 LMSys 评分差距，RLHF 带来的提升相当于 100 倍；还有思维链。仅仅改变提示方式这种简单算法改进，就可能让数学基准上的有效算力增加十倍。这能说明解除束缚影响巨大，但它们是稍微不同的进步。
按每个 token 的能力看，GPT-4 离我内心独白的水平并不远。仅从 GPT-3.5 到 GPT-4，就让模型在许多高中考试中从人类水平底部升到顶部。每个 token 的智能再来几次 3.5 到 4 级别的跃升，再解锁测试时计算、解决上手问题、让它能操作电脑，就会很接近了。这套故事可能是错的，但确实非常可信。
关于 2027 年的时间线，我认为发生概率不高，但确实存在明年就出现 AGI 的可能世界。这基本取决于测试时计算过剩能否轻易解锁。如果很容易，那就能很快把测试时计算从几百 token 扩大四个数量级，达到几百万 token。再加上每个 token 的能力只需从 GPT-3.5 到 GPT-4 跃升一两次，就能得到原型自动化工程师。
这让我想起 Steven Pinker 的《人性中的善良天使》。书里谈到暴力和战争长期下降的趋势。你可以从二战结束前后画一条线，说这些事都只是偏离趋势的异常。可预测之后，马上就出现乌克兰、加沙等情况。
超级人工智能即将到来，全球冲突会加剧，并出现疯狂的新型大规模杀伤性武器。
历史上这种情况也发生过：你看到一条直线，刚作出预测……那位著名作家叫什么来着？
另外，人们每年都预测深度学习会撞上瓶颈。也许有一年他们会说对，但它已经发展了很长一段时间，至今没有撞墙，剩下的距离也不太远。
§10对齐
这套故事有可能成立，我们就沿着它推演一下会带来什么。
在你的系列文章里，你谈对齐时并非在说：“这是个末日论方案，只为了处理万分之一概率的失控情况。”而是为了控制系统，确保它们按我们的意图行动。
如果是这样，我们会和中国陷入地缘政治冲突。我们担心他们制造中共机器人，举着毛的红旗在银河系四处扩张。那我们是不是也应该担心，对齐技术落入错误之手后，会被用来洗脑和实施独裁控制？
这令人担忧。如何对齐模型，也应该算作需要保密的算法机密，因为中共也能利用它来控制自己的模型。
如果建立的是民主国家联盟，确实如此。对齐技术也有双重用途。
对齐团队开发了 RLHF，成果很好，是对齐领域的一大进步，但它也让模型变得有用。因此，对齐能帮助中共打造机器人；同样，对齐也是让美国 AI 遵守宪法、拒绝非法命令、尊重三权分立和制衡机制所需的技术。无论你想做什么，都离不开对齐，它只是底层技术。
你怎么看这个观点？我对它有些困惑。
从根本上说，未来可能有很多条路。有一条是 Eliezer 式的疯狂 AI：纳米机器人夺取未来，把一切变成灰色黏浆或回形针。
解决对齐问题越多，这条决策树上的可能性就越受限制。解决得越多，未来就越由人类及其愿景决定。但我们从历史知道，事情并不会按预期发展；人类无法决定未来的全部走向。
这正是其中的美妙之处。我们希望拥有错误纠正之类的机制——
但从系统内部任何人的视角看，都会觉得：“我能控制这个东西最后走向哪里。”所以对齐越完善，AI 能导致的未来就越受限制，人类之间围绕不同未来愿景的冲突就越尖锐。对齐问题解决的世界，恰恰最可能出现人们争论该把 AI 带向何处的冲突。
把 AI 接管世界的可能性排除后，剩下的世界就由人类决定会发生什么。正如我们讨论过的，这仍有很多可能性。
你把对齐理解成控制系统。再往前想一想：未来可能有人类后代，或某种未来形态，与超级智能融合。他们有自己的规则，但仍处于法律和市场秩序中。我担心的是，他们可能具有意识、应当享有权利。我在想这些对齐方案实际上会是什么样。
读过文化大革命或斯大林统治俄罗斯的史书后，你会看到一种高度监控：不同的人负责彼此监督。还有洗脑，以及类似间谍工作中的红队测试——假装招募某人为叛逃者，观察他是否会跟你走；如果他愿意，就判断他是敌人。
我也许把类比拉得太远了，但这些对齐方法竟然很容易对应到毛时代文化大革命中的做法，这让我有点不安。
有意识的 AI 是另一个话题，不知道我们要不要谈。我同意如何对待它们会非常重要。但就实际编程让系统做什么而言，对齐终归只是个技术方案。它也能用于制造中共机器人……
说到权力制衡，这种模型有点像美联储或最高法院大法官。奇妙的是，他们像一个高度奉献的群体，质量很高。他们很聪明，真心相信并热爱宪法，也相信自己的原则。
他们的政治倾向不同，但会认真辩论宪法意味着什么，以及如何最好地落实这些原则。顺便说一句，当我在网上找不到高质量内容时，我会推荐最高法院的口头辩论节目，真是最好的播客。
我们还需要一个过程来决定宪法应该是什么。现有宪法已经行之有效很久了，可以从它开始。也许未来变化足够大时，我们会想修改它。例如谈到制衡时，相关人士真心热爱、相信并认真对待宪法。
未来会有 AI 警察和 AI 军队，因此很重要的一点是，确保它们像最高法院大法官或认真履职的美联储官员那样相信宪法。
另一个重要问题是，不同派别都需要拥有自己的 AI。让每个政党都能拥有自己的超级智能非常重要。你完全可以不认同他们的价值观，但他们应该有自己的超级智能。古典自由主义的制度流程也同样重要，应该让不同政治立场的人参与。AI 顾问未必能让他们变得明智，他们也未必采纳建议，但这种权利很重要。
你似乎对对齐相当乐观。我们来找找乐观从何而来。你描绘了 AI 未来的不同情景。其中一种是概率较低的路径：明年 GPT-5 加上支架和解除束缚，就会到达 AGI。也有一些情景需要更长时间。
GPT-4 看起来挺对齐，至少我不觉得它会失控。加上支架后也许会有变化。现在表现不错，继续推进几轮后，也许就会得到 ASI。
会不会出现某个突然的重大转折？当系统变得更像智能体时，你觉得这会不会成为问题？从对齐角度看，你预计会出现什么质变？
我不确定是否认同“尖锐左转”这个概念，但从现在到智能爆炸初期的略超人类系统，确实会有重要的质变。从智能爆炸初期再到能力全面展开的真正超级智能，也会出现重要的质变。
我们分别谈谈。第一部分是我们必须自己解决的问题：对齐最初的 AI 和智能爆炸中的自动化 Alec Radford。GPT-4 之后会有两个重要变化。如果你相信合成数据强化学习和自我博弈能突破数据墙，也相信解除束缚的路径，最终系统会变成智能体，能够长期规划、处理长周期任务，而这正是自动化 AI 研究的前提。
预训练在对齐意义上是中性的：它学会了好事和坏事的表示，但不会主动谋划对付你。开始进行更长期的训练后，可能出现失准。例如用强化学习训练 AI 赚钱，它可能发现欺诈、撒谎、欺骗或寻求权力在现实中是成功策略。它探索时也许会尝试黑客行为并赚到钱；如果成功得到奖励，这种策略就会被强化。要让系统能够完成长期任务，就必然也让它有能力形成更严重的失准，比如长期目标与我们不一致。
换个角度说，遇到这种情况时，你会加入“不要撒谎”“不要欺骗”“不要欺诈”这类额外约束。怎样加入这些约束？一个基本想法可能是 RLHF：你的目标是赚钱，同时观察它的行为。如果它开始撒谎、欺骗、诈骗或违法，就给低分，通过强化学习削弱这种行为。
关键问题是，这些 AI 系统会变得超人类，能够做出复杂到人类无法评估的事情。即使在智能爆炸初期，自动化 AI 研究员和工程师也可能写出数百万、数十亿甚至数万亿行复杂代码。人类再也无法理解它们在做什么。在这些代码里，你不知道系统是否在入侵、窃取自身代码，或试图获取核武器。
你已经看不懂了，单靠 RLHF 的点赞和点踩就不再有效。这是个艰难的技术问题，核心是如何在 RLHF 之后继续做对齐，但它可以解决。我看好一些方法，深度学习的发展也提供了有利条件。
第二部分是从智能爆炸初期的系统，经过多个数量级的提升，发展成超级智能。到最后，它会远比人类聪明。从对齐角度看，智能爆炸非常可怕。如果不到一两年就发生快速智能爆炸，我们会从“系统出错很糟，但不至于灾难性”的状态，进入“AI 可以窃取自身代码、攻击军队、造成严重后果”的世界。
不到一年内，AI 会从当前系统的某种后代，变成经过十年机器学习进展后、架构可能非常陌生的东西。一个明显的例子是，它的思维链是否清晰且忠实。我们谈这些系统时，经常会说它用 token 思考，而且会用很多 token。也许可以先用预训练让它学会用英语思考，再叠加其他方法，让它进行更长的思维链推理。
我很确信，初期的自动化对齐研究员不一定需要复杂的机制可解释性。你可以直接阅读它们在想什么，这是一项巨大优势。但这很可能不是最高效的方法，也许有一种带完整内部状态的循环架构会更有效。
到今年年底，就可能从 RLHF++ 走到远超人类的系统。对我们来说，这有点像让中学或小学学生面对领域专家。对齐将进入一个非常棘手的阶段。好在我们有自动化 AI 研究员，也可以用它们研究对齐。
在这种世界里，我们为什么相信项目由正确的人负责？想想看，OpenAI 创办时有许多人明确在思考这些问题。
但他们现在还在那里吗？
是啊，但即使是现在的领导层，你也能在访谈和博客里看到他们讨论这些问题。你刚才讲的情况，不只是你，Jan 也在推文串里提到过。有时必须在本周发布轰动产品、以及等下周 Google I/O 之后再发布之间权衡。结果大家选择了更草率的做法。
政府、国家安全顾问、军方等机构对这类话题就没那么熟悉。他们不会说：“我担心思维链不忠实，我们该怎样理解模型内部表示的特征？”为什么要相信由这类人领导的项目会认真考虑这些问题？
他们也许不会。先谈几点。第一，即使私营公司名义上重视对齐，在私营世界里也非常难做。原因之一是商业实验室之间的竞赛：你几乎没有余地说“我们暂停三个月，把问题解决好”，也无法把 90% 的算力用于自动化对齐研究，而不是继续提升一个数量级。
另一个原因是，在私营世界里，中国可能已经偷走你的模型权重和机密，紧紧跟在你后面，你陷入紧张竞争，毫无腾挪余地。但对齐必须做好。想在智能爆炸期间做好对齐，需要腾挪空间，也需要明确领先。即使你们已经达成协议，如果没有明确领先，处境仍会非常艰难。
所以私营世界在这方面很糟糕。至于大家是否会认真对待，我对自由社会的正常机制仍有些信心。我们还不知道对齐问题是否真的存在，科学会继续发展，也会出现更好的对齐测量方法，届时问题可能会变得明显。
我担心存在证据模糊的情景。许多最可怕的智能爆炸情景里，证据都不明确。但如果证据模糊，就更需要安全余量。这些情景也意味着运行智能爆炸就像指挥一场战争：证据不明确，还得作出艰难权衡。因此必须有非常可靠的指挥链，不能让人孤注一掷。
§11德国与理解外国视角
我们谈谈德国，继续二战这个类比。几个小时前你提出一个很有意思的观点：按人口比例看，二战在历史上并不特别罕见。我们可以看看其他那些相当大比例人口死亡的灾难。
灾难之后，国家会恢复，回到原来的发展高度。二战后很有意思的一点是，德国尤其如此，或许整个欧洲也是这样：由于追赶效应，战后很快经历了大幅经济增长。
我们说的不是德国可能发动智能爆炸、获得 AI 决策桌上的席位，而是在谈伊朗、朝鲜和俄罗斯。刚才没谈德国。
因为德国是我们的盟友。
那到底发生了什么？经历二战后，怎么没有再回到七年战争那样的局面？
总的来说，我对德国很悲观。但在这个问题上，你可能有点低估它了。德国大概仍是世界上最重要的五个国家之一。整个欧洲的 GDP 规模也接近美国。德国确实有一些做得很好的方面，比如政府能力：道路质量好、干净、维护得当。
从某种意义上说，德国的许多优势恰好是它缺点的另一面。美国有点狂野西部的感觉，也带来了疯狂的创造力和各种政治候选人。政治光谱宽得多，德国那种受限的政治辩论里不会出现 Obama 或 Trump 这样的人。我曾写过一篇博客，叫《欧洲的政治昏睡》。
德国有种一丝不苟、严格守规则的文化，这有助于政府体系正常运转。但从某种意义上说，这也让世界观变得非常受限。二战后，人们强烈反感一切精英事物。德国没有精英高中或精英大学，也不推崇卓越。
如果想矫枉过正、远离纳粹，反对精英主义为什么会是合乎逻辑的反应？是因为纳粹非常强调精英主义吗？我不太理解这种反应。
也许是对雅利安种族论等东西的反作用。比较一下德国在一战结束和二战结束后的情况。常见说法是《凡尔赛和约》对德国太严苛了；但二战后的和平条件严厉得多。
整个国家都被毁了。大多数主要城市里，超过一半的住房被毁。某些出生队列中，大约 40% 的男性阵亡，近两千万人流离失所。这是巨大而疯狂的灾难。
而且德国边界比《凡尔赛条约》规定的还小得多。
没错。东西两边还都被强行施加了全新的政治制度。但这从某种意义上比一战后的和约效果好；一战后德国民族主义又卷土重来。你不一定想唤醒沉睡的猛兽。如今它可能又睡得太沉了。
你提到美国政治体系的优点很有意思。我自己也在纠正过去的看法。我读过一本中国经济学家写的书，叫《中国的世界观》。
总体来说我不太喜欢这本书，但它提出一个有意思的观点：中国的政治和行政人员会通过层级一路晋升，这在某种程度上筛选掉了像 Marjorie Taylor Greene 这样的人。
德国也不会出现这种人。
但作者在书里明确指出，这也意味着中国永远不会出现 Henry Kissinger 或 Barack Obama。等他们进入政治局掌权时，已经是一个 60 岁、从没冒犯过任何人的官僚。
美国非常喧闹的政治辩论有着重要价值。美国很多人都活在自己的世界里，我们也生活在旧金山这个古怪的小泡泡里。但这种多元环境对思想演化、纠错等非常重要。
德国制度在其他方面更有效，但也犯过重大错误，比如国防支出。俄罗斯入侵乌克兰后，德国才惊呼：“天哪，我们做了什么？”
这个观点很好。主要问题是大家都同意。
正是如此。根本没人争论，这是种共识泡沫。
说到中国，我读德国报纸的经历让我更了解德国的辩论和社会心态；如果只从远处看，我不会这么了解。反而是中国对我来说几乎密不透风——那里有十亿人。
其他地方基本都已经全球化了。有全球互联网，我对英国发生什么有点概念，即使不看德国报纸，我也大概知道德国是什么情况。但我完全不了解普通中国人或中国精英的心态和政治讨论状况。
这种距离感让我有些担忧。确实有人在研究这件事，认真阅读党内文件和党派讲话，成果很好，但这需要很强的解读能力。中文里一些特定词语会带有非常具体的含义，不是其他含义。全球化程度这么高，真让人惊讶：现在我们几乎有完美的机器翻译，但中国仍然如此难以理解。
这很有意思。我甚至有点惭愧，自己还没这么做。几个月前 Alexey 在他的 YouTube 频道采访我时，我说过：“我打算去中国亲眼看看那里发生了什么。”顺便说一句，听众中如果有人非常了解中国、能帮我介绍一些人，欢迎给我发邮件。
你应该做几期播客，找一些中国 AI 研究员聊聊，肯定很棒。不过我不知道他们能不能畅所欲言。
他们会在论文上列合作者。我想过直接给每个人发冷邮件：“这是我的 Calendly，我们聊聊吧。”我只是想感受一下氛围。即使他们什么都不告诉我，我也想看看他们是什么样的人、受西方文化影响有多深。
我刚想起来，根据我们在 Google 的共同朋友说，ByteDance 曾经给 Gemini 论文上的每一个人都发过冷邮件，说：“来 ByteDance 工作，我们给你 L8 工程师职级，直接向 CTO 汇报。”
机密就是这样流出去的。
我本来想早点问这个。如果关键算法机密只掌握在一百人左右、甚至更少的人手中，假设他们招走其中一个，实验室所有的超额优势就没了吗？
如果这个人有意泄露，他们能拿到很多东西，甚至可能直接导出代码、拿走许多关键想法。直到最近这些内容还会公开发表，但如果他们真想偷，也能获得大量关键思路。很多人其实不会主动了解其他团队在做什么，不过他们可以了解。确实有可能，挺吓人的。
所以从这点看，政府项目更说得通；曼哈顿计划的工程师不是随便招走一个就行。
这些机密可能会用于未来的每一次训练，甚至可能是突破数据墙的关键；没有它们，对方就无法继续推进。它们可能带来数千亿、数万亿美元算力投入所对应的倍增效果。中国只要给某个人一亿美元，让他来工作就行了。至于中国现在多认真看待 AGI，我非常不确定。
有个领域内的研究员告诉我一则轶事：他在会议上遇到一位中国 AI 研究员，跟他说：“很高兴你来了，我们需要国际协调之类的。”据说那人回答：“我是中国政府允许出国参加这类活动的最高级别研究员。”
这说明什么？
他们不让真正资深的 AI 研究员出国。这是很典型的东方集团做法。
我不知道这件事是否属实，只是听说过。
回到你之前说的读德国报纸。你提过自己对经济学、法律和国家安全感兴趣。知识面广，让你从更偏地缘政治的角度思考 AI，而不是只谈技术。这种视角可能是其他 AI 讨论者所欠缺的。
这是我第一次做这样的节目，谈到这些话题。现在想来很奇怪，因为事后看它显而易见，但我本来就该想到。这是我们遗漏的一点。
除了国家安全问题，你可能还缺少哪些视角？你刚才提到中国。
中国是重要问题。另一个视角很 Tyler Cowen 式：你可能不了解普通美国人会怎样使用 AI，这可能成为技术普及的瓶颈。我也许高估了收入，因为我假设人人都会采用它。可一家公司里的普通工程师 Joe Schmo，能把 AI 整合进工作吗？人们又会怎样反应？几小时前你也问过：人们会不会反抗，不愿参与这个项目？我不知道，也许会。
有一种我没预料到的政治反应。我之前告诉过你，现在再讲一遍。Tucker Carlson 最近上了 Joe Rogan 的节目，他们开始讨论二战。
Tucker 说：“好吧，我要说一件保守派同僚可能不喜欢的事，但我认为核武器是不道德的。我们在长崎和广岛投下核弹显然不道德。”
然后他说：“其实核武器一直都是不道德的，唯一的例外是我们用核武器攻击数据中心。事实上，如果不攻击数据中心才不道德。硅谷这些该死的书呆子在制造超级智能，还说它可能奴役人类。我们制造机器是为了服务人类，不是奴役人类。可他们还在继续制造机器，所以我们当然应该把数据中心炸掉。”这是我在 2024 年完全没预料到的政治反应，接下来会很疯狂。
我们从新冠疫情学到的一点是，原先凭直觉预测左右派反应，往往……
立场彻底反转了好几次。最初是右派在关注，左派说：“这是种族歧视。”后来又反过来，左派积极支持封锁。整个过程都非常粗糙、简单化。
一般来说，人们喜欢提出复杂的技术官僚式 AI 政策方案。但如果 AGI 的发展速度相当快，可能根本没有时间实施那么多精巧方案，政治反应会更粗暴直接。
你提过间谍活动和国家安全体系会介入。抽象地说这些还好，但现在我们生活在旧金山，也认识许多顶尖 AI 研究员，甚至是朋友。想到我认识的人脑中可能有价值一千亿美元的机密，可能发生绑架、暗杀或破坏行动，会觉得有点吓人。
甚至可能针对他们的家人。安全问题非常严重。眼下这些讨论还显得很遥远，但局势严峻到一定程度时，你会希望有保安保护他们。
你应该考虑过，中国的人也会听我们这个节目、读你的系列文章。
你作出了这样一个权衡：让全世界、包括中国在内，都知道这些信息、意识到 AGI，而不是保持沉默。你担心的其中一件事正是中国意识到 AGI。我很好奇你怎么权衡这件事，能不能一步步讲讲？
这是个艰难的权衡，我想过很多次。中国的人会读到这些文章。
有些信息已经藏不住了。大家已经非常认真地考虑 AGI，这不再是新鲜事。很多观点其实已经过时，我一年前就有类似想法。我当时没有写出来，部分原因是觉得那时还没有完全到公开谈论的程度。
要应对这个挑战，社会更广泛的群体必须意识到问题。如果真的要开展政府项目，就需要两党广泛理解我们面临的挑战。这个权衡很艰难，但让美国、整个西方世界和民主国家联盟醒悟过来，最终至关重要。我希望美国读到文章的人比中国多。
人们有时低估了把情况写清楚、说明战略局势的重要性。从某种意义上说，你的播客为人类做出了很大贡献，整体上非常有价值。
§12Dwarkesh 的移民经历与播客之路
顺便说一句，谈到德国时我们提过移民故事。你有个有趣的故事还没讲，我觉得你该讲讲。
几年前我在上大学，20 岁，快 21 岁了。
你很小的时候就从印度来了，对吧？
八九岁之前我住在印度，之后我们到处搬家。因为印度申请者积压严重，我们已经排队等了几十年。
你八岁就来了，却仍然在 H-1B 排期里？
满 21 岁时，你就会从排期里被移除，必须重新申请。我父亲是医生，我是他的 H-1B 家属。可一旦 21 岁，身份就会失效。我 20 岁时突然意识到自己处于这种情况。
你这下彻底完了。
我也经历过父亲的情况。我们在全国到处搬家。作为医生，他必须证明自己找不到本地人才。
而且你没法创办初创公司。即使想替你办 H-1B，抽签中签率也只有 20%，而且还得运气好。
他们还必须证明找不到本地人才，所以我们在北达科他州住了三年、在西弗吉尼亚住了三年，还住过马里兰州和得克萨斯州西部。
我 21 岁快到时，突然意识到自己就是这种处境：我要参加这个抽签。即使抽中了，我也会一辈子当码农，因为这个移民限制不会消失。
对，不能创办初创公司。
正是如此。与此同时，过去一年我一直在读 Paul Graham 的文章，简直着迷了。当时我的计划是创业之类的事，我对此特别兴奋。
我突然意识到自己做不了这件事，创业根本不在我的选项里。我有点沮丧。我记得当时恍恍惚惚地度过了期末考试，因为刚意识到这个现实，特别焦虑。
我记得当时想，如果我能在 21 岁前拿到绿卡，我绝不会一辈子当码农。想到自己注定只能当码农，我就觉得可怕。我意识到那是默认道路：如果我没有主动努力改变，计算机专业毕业后就会直接去做这份工作。这个想法当时让我非常害怕，对我也很重要。
后来发生了新冠疫情。因为没有外国人入境，移民积压案件加快处理。我运气好到极点，就在 21 岁生日前几个月，因一连串极偶然的原因拿到了绿卡。
我拿到绿卡后，就可以……
做这个播客了。
我大学提前一个学期毕业后，四处闲逛。我想：“要不我做这个播客，看看会怎样？”如果没拿到绿卡，最好情况大概是……
这是个很有代表性的故事。移民改革有什么影响？清掉五万张积压绿卡又会有什么影响？你是个特别典型的例子：这一切都建立在那张绿卡的偶然性上。这种制度失灵实在太令人遗憾。
太荒唐了。
我很高兴你去做了，也很高兴你尝试了这条不寻常的路。
我完全是因为非常幸运拿到绿卡才能做这件事。我手头存了点钱，大学毕业后又从 Future Fund 拿到一笔小额资助，能做大约六个月。后来结果很好。我每个阶段都在想：“好吧，播客也做了几个月，该去做点正经事了。”偏偏每次快放弃时，就有大事发生。
你还是坚持下来了。
每次我快放弃播客时，都会发生点什么：Jeff Bezos 在 Twitter 上夸我，Ilya 那期节目有五十万次播放。现在这就成了我的职业。回头看，一切能这么顺利，完全是偶然。
如果 AGI 的故事真的发展下去，大多数人最初了解 AGI 的方式可能就是通过你。
你也和这段经历紧密相关。我大学毕业后从 Future Fund 拿了大约 2 万美元的小额资助，让我撑了六个月左右。要不是这笔钱……
这笔资助很小，但影响很大。它说明小额资助能发挥多大作用，Emergent Ventures 也是如此。
对，Emergent Ventures。去年我在旧金山，我们一直密切联系、交换想法。人们可能会惊讶，我很多重要信息都来自你、Sholto、Trenton 和其他几个人。
这一直非常愉快。
我也很开心。接下来问些随机问题：如果你能改信摩门教，而且能真正相信它，你会按下按钮吗？
回答前先说一点我对摩门教徒的观察。The Atlantic 上有篇 McKay Coppins 写的文章对我影响很大，他还采访了 Mitt Romney。
他说，小时候与众不同、特别不寻常的经历——尤其是在犹他州以外长大的摩门教徒——会让人从小就习惯不合群。你是唯一不喝咖啡因、不喝酒的人，显得有点古怪。这种经历会让人以后更敢偏离常规。
Mitt Romney 愿意在党内独自坚持立场，因为他相信自己的看法是真的。我不一定完全一样，但我在德国长大、一直像个局外人，这也让我有些共鸣。
从小当局外人，长大后会得到一种不寻常的力量，更敢说出自己的想法。所以我很欣赏摩门教徒身上的这一点，至少是那些在犹他州以外长大的人。
还有一点是生育率。他们的生育率高，这很重要，但也在下降。这件事让我真正相信生育率下降是个普遍趋势：连摩门教徒的生育率也在下降。
你当时想：“这倒是个好开始。摩门教徒会取代所有人。”
我不知道这是不是好事，但至少有些人的生育率会保持在高位。不过，摩门教徒也不例外。一旦这些高生育率宗教群体发展到一定规模，与普通社会接触更多，就会被同化。十到二十年里，他们的生育率可能从 4 降到 2。
人们会举阿米什人为例，但这种模式大概无法扩展。群体一旦变大，现代性的巨大力量就会影响他们。
如果我能改信摩门教……我不相信它，对吧？如果我相信，显然就会改信，因为你就应该改信。
但你可以选择一个自己真的相信摩门教的世界。
相信某种超越自己的东西、拥有一定程度的信仰，有其价值。
你不是也有吗？你的系列文章就是这样啊。
对某种超越自己的东西怀有责任感，是有价值的。也许我的版本不太一样。我觉得自己对可能发生的历史进程负有某种责任，应该尽力让它顺利发展。我对自己的国家、对美国国家安全也有责任感。我们可以成为推动许多善事的力量。
回到 OpenAI，有一件事特别值得注意：一些员工在科技行业工作多年，存了数千万美元现金，股权价值可能更多。很多人担心集群、中东、机密泄露给中国等问题。
真正给大家添麻烦、把问题提出来的人，却是一个在公司工作不到一年、年仅 22 岁、没有多少积蓄、还没有成为公司核心成员的人。纠缠别人、催大家认真对待问题，实在被低估了。
也许是我太天真，不了解大公司如何运作。有时我像个言语上的义务论者，相信应该说出自己的想法。朋友有时劝我应该更重视说话会造成什么后果。
我想到很多人有机会和重要人物谈话时，会不会把关键问题提出来。我曾在不同情境中和你在一起，我可能不该透露那个人是谁或是什么场合。
我很佩服你：有时晚餐刚开始时，某个在重大决策中有话语权的人，对某种世界观非常陌生；晚餐结束时，他却认真思考了它。我一直很佩服你会直接给他们讲清楚、不断追问。
现在我对这些事情有非常切身的感受。以前我也会思考，但更像是在做经济学模型或讨论理论抽象，比如人类大脑的大小之类。
至少从去年开始，我觉得自己能看见、能感受到这些事情。我能大致想象 AGI 会在什么集群上训练、会用什么算法组合、由哪些人参与，以及事情会如何发展。当然最后结果如何还得看，有很多可能出错或走向其他方向，但这件事可能会变得非常现实。
§13创立 AGI 对冲基金
我们聊聊你接下来要做的事？
当然。
你正准备成立一家投资公司，锚定投资人包括 Nat Friedman、Daniel Gross、Patrick Collison 和 John Collison。首先，如果你相信 AGI 几年内会到来，为什么要做投资公司？
好问题。我们以前谈过，AGI 出现后世界不会戛然而止。人们严重低估了智能爆炸之后的十年，那可能才是最疯狂的时期。之后十年也会非常疯狂。
那时，人类制度、超级智能和疯狂的地缘政治会交织在一起，爆炸式增长还会进一步扩散。这会是极其重要的时期，资本也会很重要。最终人类会走向恒星，走向银河系。
答案的一部分是，如果做得好，这里有很多钱可赚。如果明天市场就把 AGI 计入价格，你可能获得 100 倍回报，甚至更多，因为投资顺序和资本都很重要。
另一个原因是获得一定的自由和独立。有些人很懂 AI，也看得到它即将到来，但几乎所有人都受不同限制：他们在实验室里，或身处其他不能公开谈论这些事的职位。
我非常欣赏你做的事。公开发声、成为有理性判断的声音非常重要，或者有些人能进入重要决策者的圈子，提供建议。
这家投资公司某种程度上会像一个 AI 智库，一切都围绕态势感知展开。我们会对行业有最强的态势感知，比纽约任何资金管理者都了解得多。当然我们会做好投资，但这种态势感知也很重要：理解正在发生什么、公开成为理性声音，并能向重要人物提供建议。
有本 Peter Thiel 传记提到他的对冲基金，业绩很差，所以这不算……
它后来崩了。这大概就是最坏情形：想得太理论化。
书里有句有意思的话，说那基本上是“藏在对冲基金里的智库”。
这正是我想打造的东西。
你肯定想过这种投资项目如何会失败。商业史上有很多例子：人们判断方向对了，但时机错了。他们知道互联网会很重要，却在互联网泡沫期间卖得太早或买得太晚，最后没赚到钱。要怎样避免这种情况？
第一和第二重要的事都是别失败。这家投资公司会押注 AGI，在本十年结束前相信 AGI 和超级智能会到来，并认真作出相应投资。如果这个判断错了，公司就不会做得很好。
要避免的是被一两次判断打垮，比如 AI 因数据墙停滞一年，或你对收入何时增长的判断错误。时机非常关键。通往 AGI 过程中的下注顺序也至关重要，很多人低估了这一点。
这个故事从哪里开始？显然，过去一年的最佳投资只有 Nvidia。现在看起来很明显，但当时没几个人这么做。我和一位朋友曾和另一位同事激烈讨论过这件事。那位同事非常看好 TSMC，他觉得晶圆厂会非常有价值，而 Nvidia 有很多个别风险：“也许别家能造更好的 GPU。”这点他说得没错。
但只有 Nvidia 获得了 AI beta，因为 Nvidia 的业务很大一部分与 AI 相关。接下来算力翻几倍会直接让它收入爆发。而当时 AI 只占 TSMC 业务的几个百分点，即便 AI 规模翻几倍，对 TSMC 也没有那么大影响。很长一段时间里，能获得 AI beta 的基本只有 Nvidia。
现在机会正在扩散。到 2027 年左右，TSMC 的业务可能有 20% 来自 AI，这是他们自己的预测。AI 继续翻倍后，它会成为 TSMC 业务的很大一部分。整个供应链都在受益：生产内存、连接设备和电力的企业。公用事业公司也开始看好 AI，说美国发电量未来五年会从增长 2.5% 提高到 5%。我觉得还会更多。
某个时候，Google 之类的公司也会变得有吸引力。现在大家因为 AI 而看好它们，理由是：“AI 收入会有 100 亿或数百亿美元。”在 AI beta 出现之前我不太在意，但当 Google 有望从 AI 获得 1,000 亿美元收入时，我就会关注。它的股价可能会大涨，公司本身最终也可能成为 5 万亿或 10 万亿美元的企业。
时机非常重要，下注顺序也必须正确。某个阶段，实际利率上升会对股票形成真正的阻力。在这类爆发式增长的世界里，实际利率可能会大幅上升。从供给侧看，会有对资金的巨大需求：人们会先疯狂投资集群，然后投资机器人制造厂之类的设施。他们会大举借债，需要大量高回报资本。
从消费者储蓄一侧看，为了提供所有这些资本，就涉及欧拉方程，也就是把消费从现在转移到未来的标准跨期权衡。
这很标准。
我们有些朋友写过这方面的论文。简单来说，如果消费者预期实际增长率更高，利率就会上升，因为他们更不愿意放弃今天的消费，换取未来的消费。
某个时候实际利率会上升。更高的增长预期会压低股票价值，因为利率上升的影响超过增长效应。
某个时候就会出现大规模做空债券的机会。你必须把握时机，还要准确判断是否会国有化。整个投资顺序非常重要。
还有那些未知的未知。
对，未知的未知。所以总体风险配置必须非常谨慎。如果你预期这些疯狂事件会发生，也会出现许多你没有预料到的意外。
同时，你也希望下注能针对自己的情景，并押注于分布尾部。我觉得没人预期实际利率会超过 10%，但到本十年结束前，至少存在相当大的可能性。也许可以买一些便宜的保险来对冲。
可能是个很幼稚的问题：在这些世界里，金融市场还能保护这种下注吗？经济增长达到 50% 时，我在 Fidelity 的账户还有意义吗？谁会说：“我们必须保护他的产权”？
做空债券、经济增长 50% 已经是相当深入的情景了。再说一次，中间还有一整串事件。我认为产权会得到保护。某个时候，我们还要厘清银河系的产权问题，那会很有意思。
确实有意思。回到你关于 2030 年代会决定未来走向的策略，你想凭借资本在那个时期拥有一定影响力。
我不知道相关研究有多少，只是在随口推想。工业革命前的地主贵族，是否能像 Georgist 或 Piketty 理论那样利用自己的地位，获得工业革命带来的回报？我不知道后来发生了什么，但某个时候他们就不再是地主贵族了。
我担心，即使你做出了很好的投资决策，也会像工业革命前拥有大片农田的人一样。真正赚到钱的也许是拥有蒸汽机的人；即便他赚钱了，大部分收益还是会广泛扩散。
对应的做法是卖掉土地，把钱投给建设新产业的人。对我来说，真正快速贬值的资产是人力资本。我是哥伦比亚大学毕业生代表，曾经让我显得特别的能力就是聪明。但四年后，这可能就不重要了，因为这些能力可以自动化。
有朋友开玩笑说，这家投资公司对我来说刚好做了完美对冲：如果 AGI 本十年出现，我的人力资本会贬值，但我能把它转成金融资本；如果 AGI 没有出现，公司表现会很差，但那时我还不到三十岁，仍然很聪明。
太好了。为什么市场还没有把 AGI 计入价格？金融市场据说非常有效，很难获得超额收益。直觉上你可能会说：“我看了这些缩放曲线，知道它们意味着需要的算力和能源比分析师想象的多得多。”那些分析师现在应该破产了吧？究竟怎么回事？
我以前作为经济学家相信有效市场假说。但现在我觉得，有些聪明人群体——比如旧金山的人——确实能比社会其他部分更早看见未来，并获得超额收益。
新冠疫情就是个例子。有一群人提前看到了疫情，准确预测了发展，做空市场后赚了很多。为什么市场还没给 AGI 定价？这就像问政府为什么还没国有化实验室。社会还没有把它计入价格，也还没有完全扩散。我可能错了，但认真看待这些想法的人不多。
§14二战的教训
还有几个我一直在琢磨、但还没讨论到的想法。其中一个是制度竞争。我很喜欢 Victor Davis Hanson 总结二战史的一本书，书里解释了盟军为什么做出了比轴心国更好的决策。
他们为什么做得更好？
轴心国也做过一些不错的决定，比如闪电战。
不过那有点像偶然发生的。
怎么说？只是因为他们还保留了相关基础设施吗？
我的理解是，闪电战不是某种天才战略，而是他们被形势逼出来的。按照 Adam Tooze 对二战的解读，有“长期战争”和“短期战争”这两个重要概念。德国意识到，如果陷入一场包括美国在内的长期战争，他们在工业上不可能竞争。唯一取胜的方法就是把战争变成短期战争。他们的行动比自己预想得成功得多，最后占领了法国和欧洲大部分地区。
入侵苏联也和西线有关，因为德国需要石油等资源。奥斯维辛实际上是一座大型化工厂，用于生产合成石油及其他材料，也是纳粹德国最大的工业项目。他们当时想：“一战我们打垮过俄罗斯，这次也会很容易。我们入侵、抢到资源，然后继续在西线作战。”入侵苏联期间，即使大量死亡发生在东线，德国工业生产中仍有很大一部分用于西线，与西方盟国作战。
顺便说一句，“长期战争还是短期战争”这个概念对思考中美竞争也很有意思。我担心美国潜在工业能力衰退。现在中国造船量是我们的 200 倍左右。
也许我们在传统军事装备上占优，能打赢短期战争或保卫台湾；如果冲突拖长，中国可能更能动员工业资源，这是我们现在做不到的。AI 也是如此。如果建 AGI 需要一万亿美元集群，而不是 1,000 亿美元，或者即使只需要 1,000 亿美元，谁能给超级智能多一个数量级的算力也极其重要。中国也许现在落后，但它潜在工业能力很强，能在建设规模上超过我们。
这既影响 AGI 出现前的竞赛，也影响之后的发展。你已经在集群上拥有超级智能，现在要扩张这种爆炸式增长。我们会让机器人制造厂尽情发展吗？也许不会，但中国可能会。我们会生产多少无人机？我担心这会带来工业爆炸。
你大概是世界上少数同时担心对齐问题，却又希望 ASI 出现后放开机器人制造厂来打败中国的人之一。这很有意思。
这都是整体图景的一部分。
说到 ASI、机器人厂和机器人军队，有个有趣的问题是，工业规模的智能该拿来做什么？显然不是聊天机器人，而且很难提前预测。
石油史很有意思。19 世纪 60 年代，人们学会精炼石油，后来一位地质学家发现了它，接着 Standard Oil 成立。石油引发了一场繁荣，改变了美国政治：议员被石油利益集团收买，总统选举也围绕石油和拆分石油公司展开。
这一切都发生在汽车发明之前。电灯泡是在发现石油精炼技术五十年后才发明的。Standard Oil 大部分历史都发生在汽车问世前，那时石油只是用来点灯的煤油。
所以他们当时觉得石油很快就会失去用途？
对。他们担心电灯泡发明后 Standard Oil 会破产。后来人们意识到，石油里储存着巨大的能量，每年会生产数十亿加仑。事先很难预测这些能量还能用来做什么，后来才发现它可以用于交通和汽车。
对智能来说，一种答案也许是智能爆炸。但即便之后有了这些 ASI 和足够算力，尤其是它们会新建算力来运行——
数亿张 GPU 会隆隆运转。
那它们会用来做什么？很难预先判断。想象木星大脑会做什么，会非常有意思。
所以，我们既要了解当下的态势，也已经通过这次对话得到很多信息。很多今天谈到的事，几年前根本无法预见。你的世界观部分意味着 AI 会加速发展。
许多不可预测的因素会逐渐显现：人们、政治体系和外国对手会如何反应。态势感知不仅是了解现在的情况，还要有能力根据新信息正确行动、调整世界观和建议。
该如何把态势感知理解成持续的过程，而不是一次性的顿悟？
这个问题很好。保持思维灵活、愿意改变看法非常重要。AI 讨论中有很多人的思维因此僵化。末日论者十年前就预见到 AGI，但他们没有根据深度学习的实际发展更新看法。他们提出的方案天真且不可行。这样就说不通了。
有些人带着预设意识形态参与讨论，比如 e/acc。他们喜欢在技术话题上发狠话，却没有真正认真思考。停滞派则认为这不过是聊天机器人，不存在风险，也不考虑重大的国家安全影响。
公开表达立场后，即使有证据反驳仍然坚持，会让世界观僵化。所以我先明确说明：把未来描绘得具体、让人有切身感受是有价值的，但这只是我目前对本十年的最佳猜测。即使只部分成真，也会非常惊人。进展速度很快，我们会不断得到更多信息，必须保持清醒。
我觉得最重要的一点是，这和刚才说的世界出乎意料地小有关。我以前以为政府和 AI 实验室里都有能干的人处理重要事务。
根据我的亲身经历，以及观察新冠疫情是如何管理的，我意识到并不是所有人都在认真负责，也没有另一个人确保事情会顺利发展。真正重要的是有优秀的人认真对待这些问题，了解当前态势，愿意改变看法，并直面现实。我寄希望于这些优秀的人。
好，这里正好可以结束了。
谢谢你，Dwarkesh。这次聊天非常愉快。
这期太棒了。
§15尾声：腓特烈大帝
有意思的是，我们谈到的许多德国历史，并不是我在德国学到的，而是后来才了解到的。圣诞节回德国之类的时候，我会突然看懂街道名称——Gneisenau、Scharnhorst，都是普鲁士军事改革家。你也会终于理解 Sanssouci，并发现它和腓特烈有关。
腓特烈大帝是个非常有意思的人物。他喜欢艺术，也有男同性恋伴侣；他讨厌说德语，只想说法语。他会吹长笛、作曲，还邀请当时所有伟大的艺术家到 Sanssouci。可他有个非常严厉、崇尚普鲁士军国主义的父亲，成长经历很艰难。腓特烈大约 17 岁时有一位男性恋人，他父亲把儿子关起来，并当着他的面绞死了那位恋人。
尽管经历如此，腓特烈大帝仍成为普鲁士最成功的征服者之一。他夺取了西里西亚，赢得七年战争，也是一位杰出的军事战略家。他的高明之处在于从侧翼包抄军队，这在当时是革命性的战术。他们差点输掉七年战争，但俄罗斯沙皇换了人，新沙皇成了普鲁士的支持者，让腓特烈得以重整旗鼓并最终获胜。他是德国历史上古怪却有意思的人物。