Ryan Greenblatt: AI 能自动化 AI 研究之后，会发生什么？

Ryan Greenblatt 是 Redwood Research 的首席科学家，在那里做技术性 AI 安全与安保研究。

Dwarkesh 把这个话题框定为世界上最重要的未解问题：递归自我改进。一旦我们造出人类水平的智能，它们会不会在很短时间内弹射到数百亿个超级智能，每一个在每一个领域都比顶尖人类专家更强？他本人历来持怀疑态度。Greenblatt 认为这是有可能的，而 Dwarkesh 想听他给出论证。

Greenblatt 从一个结构性观察入手：AI 研发恰恰是 AI 特别擅长的一类任务，因为公司正拼命让它们擅长这件事。而且它恰好对当下 AI 开发的运作方式有格外便利的性质——它相当可验证，你还能以在多个指标上爬山的方式反复迭代。

一旦你有了在 AI 研发上大致匹敌顶尖人类专家的 AI，就可能启动一个反馈回路：AI 做 AI 研究，产出更聪明的 AI，再反馈回去。这个回路可能强到在很短的时间窗口里产生巨量进展。他的中位预期大致是把四五年的常规 AI 进展压缩进一年。这需要克服研究中大量的收益递减，并且实际上复现一次极大规模算力扩张所能买到的东西——这是一个很大的断言。

值得记住的是，哪怕三年能代表多少进展。三年多一点之前 GPT-4 才刚问世；现在已经有 Mythos 5，Anthropic 内部或许还有更好的东西。这已经是巨大的跃迁。五年的进展，可能更接近 GPT-3 到 Mythos 5 之间的距离。

Dwarkesh 把这个论证拆成三部分，想分别评估。第一：AI 研发高度可验证。第二：把 AI 研发自动化，能在一年里取得四五年的进展。第三：以当前速度从那头出来的东西，是一个你能直接塞进任何想象得到的岗位的 AI。

把它丢进 1940 年代的得克萨斯政治，它能在权术上压过林登·约翰逊。把它丢进台积电，它能学会把制程工程做得更好。它当然也是更好的视频剪辑师——他自己的剪辑师非常优秀，但模型在它所尝试的任何工作上就是比人强。

所以他想逐个检验这些子论证——它们合起来意味着，在 Greenblatt 预期的大约 2030 年那个基准点之后不久，ASI 就会到来。

Greenblatt 给出的数字：AI 研发的完全自动化大约在 2030 或 2031 年。在所有工作上击败全人类的那个里程碑，中位大约 2033 年。但如果他看到 AI 完全自动化了 AI 研发，他预期第二个里程碑会在一年之内到来。就预测而言，两个中位数之间的差距，比两个里程碑之间的中位差距还大。

Dwarkesh 提到一个老梗：每当他问任何人关于时间线的问题——包括 Dario——他都会问，还要多久他的视频剪辑师会被自动化。现在已经有个梗图，说他的视频剪辑师一边剪播客一边听回放。

这个理由是刻意的。讨论一个你不理解的工作时，人很容易沉溺在抽象里。而一个他理解、并且理解它当下为何对 LLM 很难的工作，是对「自动化到底需要什么」的具体检验。

Greenblatt 同意，视频剪辑师这个里程碑会早于「从冷启动开始自动化所有人类工作、包括得克萨斯政治」。他把视频剪辑放得更接近 AI 研发的完全自动化——不过这非常取决于有人愿意花多大力气去真正理解视频。

关于可验证性，Greenblatt 指向一类环境：直接在 AI 研发或与之极接近的任务上训练模型。比如一个环境里，模型只用八块 H100 训练某个 AI——一个 GPT-2 medium 规模的模型，跑类似 NanoGPT medium 的一次训练——而它在 RL 里不断调整、迭代这件事。

这可以横跨许多任务来做：训练图像分类器、视频生成模型、图像生成模型，各种机器学习训练问题。你可以就「训练出越来越好的模型」这件事做 RL，也可以做更窄的：这里有个特定的算法方向，去实现它。

所以存在整整一类可容器化、可验证、小规模的 AI 研发任务，可以激进地用来训练。公司想必已经在做一些了，而这完全可以放大：更多任务、更多环境、更好的模型。隐含的断言是，这能迁移到 AI 研发中那些极其承重的部分——这个断言他想先放到一边，稍后再回来。

Dwarkesh 把它讲得更具体。假设有一个 GPT-7.5，指令是：我们要你在 AI 研发上强到能帮我们训练 GPT-9。于是你搭一组环境。

有一个在精神上已经存在：Andrej Karpathy 的 nanoGPT 速通赛的后代，目标是改动模型的一切——优化器、超参数、架构——以最快速度达到某个固定的训练损失。其它的可以发明。训练一个极强的打游戏模型，让它在反复玩同一款游戏时不断变强，并在这个过程中学会帮模型变得更擅长在线学习。用什么手段都无所谓：古怪的神经语、向量记忆、更好的长上下文处理。关键在于搞清楚怎么做在线学习研究。

GPT-7.5 本身已经是强模型，而且它会像模型普遍的发展那样越来越擅长写代码。你可以想象再有一百个这样的环境，全都在激励 AI 研发能力——让 GPT-7.5 去开发 GPT-2 规模模型的容器化版本，诸如此类。让 GPT-7.5 把这一切跑一遍，你就造出了 GPT-8，而它现在是一位出色的机器学习研究者，从训练中带出了大量直觉。

Dwarkesh 说，他自己的直觉泵是 AI 在数学上取得的进展。他并不了解数学研究的对象层细节，但教训似乎很清楚：如果一个领域可验证到能放进完整的验证回路，能力就可能像洪水一样涌来，而且它能产出真正的新突破。

他好奇机器学习研究是否也具备数学研究的一个性质：一种来自连接不同学科的悬置势能。没有人能单枪匹马地对代数几何和——他在找那个词——

——拓扑学以及代数某某，懂得足够多，从而构造出某个重大猜想的反例。

Greenblatt 的看法是，机器学习是一个比数学更浅的领域，所以「个别专家把来自不同领域的深厚专长结合起来」这种模式会更少。会有一些，但不会多。

机器学习还有一些性质，使它比数学更有利于 AI 训练。你对是否在成功有更清楚的感知，也能看到中间进展。数学里常常没有简单的办法判断自己是否接近了。如果目标是让训练损失降到一半的时间，你能看出自己到了中途。而机器学习的创新往往是可加的，或者看你怎么数，是可乘的——你可以一直往上叠，而且它们通常互不干扰。

所以从很多方面看，AI 研发应该表现得像数学：你可以用与你真正关心的问题在结构上相似的片段来训练，以一种高度可验证的方式，而且这种能力会迁移。迁移得多好是个未解问题，但目前数学上的迁移看起来不错。他预期 AI 研发上的迁移看起来也相当不错——但不是惊艳。

Dwarkesh 的担忧是，即便在数学里，我们也没见到令人印象深刻的新理论。我们见到许多令人印象深刻、可验证的具体结果——找出这个猜想的反例——但没有见到拓扑学的发明，或者群论的发明。

机器学习研究里两类工作都有，而较难验证的那一类——发明关于问题的新思考方式——更难被诱导出来。以缩放定律为例。它有一个终端验证回路：如果你有 2020 年那个缩放定律的想法，你就能把 GPT-4 训得更好。但要让 AI 走到「仔细思考如何缩放参数与数据、追问哪些调查能揭示这一点、发明一种可视化和 isoFLOP 分析」这一步，那条路要长得多，也耗费算力得多。那是一个比让 nanoGPT 的损失下降长得多的验证回路。

Greenblatt 的回答是：AI 已经能做到相当于婴儿的第一个新理论。它们能通过建立联系、产出新的理解来证明有意思的猜想——这是 AI 找到的一个构造，确实有意思，或者是对问题的一种略微不同的思考方式。我们确实看到了这些。只是这些例子不如创立群论那样惊艳。

创立群论是有史以来最伟大的数学成就之一，而 AI 在数学上还没那么强。他看到那与当下现状之间是一个连续谱，而 AI 仍在沿着它往上走。

第二，相对于数学，机器学习是一个很浅的领域。数学里更多的工作是找到一个真正深刻的抽象，而如果你真的理解了那个东西——这很难——你就能有所推进。在他看来，机器学习里与之对应的东西相当笨。缩放定律？得了吧，它们几分钟就能讲清楚。数学中最深、最重要的概念并不具备「你能在很短时间内理解底层的东西以及它为何重要」这个性质。

Dwarkesh 担心到 2030 年所有低垂的果子都会没了。缩放定律在机器学习史上的位置，将相当于笛卡尔的坐标系和非常基础的数学在数学史上的位置。要在 2030 年代继续取得进展，工作将不得不是当下数学前沿正在发生的东西。

Greenblatt 承认这可能是对的。他的感觉是，不同领域在「多依赖深刻抽象」这件事上有结构性的差异。物理和数学远远站在「想法难以想出」那一侧；机器学习和大多数其它领域则远远更适合爬山。他就是这么预期事情会走的。

即便在 AI 必须硬犁的那个体制下——已经是 2030 年，低垂的研究果子没了，进展还得照样取得——Greenblatt 也怀疑大部分工作会落在「搭建越来越复杂的基础设施」和「对大致的实验形态有良好直觉」这一侧。所以他不太同情「AI 缺的是某种深刻洞见」这个想法。他更同情的是：它们需要对琐细实验的品味，以及对哪种训练方式会奏效的直觉——也就是当下研究者所拥有的那种东西。

即便是 AI 已经产出突破的地方，回头看瓶颈往往也像是「把微观细节和脏活直觉做对」。以通过链式思维做 RL 来训练 AI 擅长推理为例。看起来你完全可以用 GPT-3 做链式思维 RL 并得到有意思的数学结果——只要你把它放大、并且执行得好。

但当时别处有低垂的果子，而把那项训练做好，在实现、扩展和超参数上是琐碎而磨人的。你或许能在 Qwen 1B 上把整件事演示出来，并感觉到它会奏效——但人们并没有尽可能早地演示它，原因就是那些琐碎的细节，以及关于究竟该怎么调、怎么搭的直觉。

Dwarkesh 剩下的怀疑正是这一点。如果研究突破如此听命于智能，那为什么 AI 的历史进展没有更快？等到 RLVR 真正奏效的时候，尽管用更少算力也能做，整个领域还是得等海量算力——吉瓦级的算力——到位，才有人去跑那次训练。

2022 年有很多 AI 研究者在试图攻克推理。他们只是被「写基础设施代码的能力」卡住了，还是另有原因？

Greenblatt 的回答是一个复杂的混合。如果他们在想到一个实验的那一刻就能无 bug 地跑起来——而且 bug 不那么要紧——他们会走得更快。另一方面，能用高算力跑很多实验，会掩盖你的实现不太对、超参数偏了这些事。算力对 AI 研究确实有帮助，能遮盖很多东西。但这不意味着劳动力的大幅增加不会同样有帮助，尤其是带着领域内一些最好直觉的劳动力。

他也预期迁移会比 Dwarkesh 想象的更多一些。他把这些 AI 想象成整体上真正优秀的科学家，样样都还行。与它们互动，不像是与一个极度专门化的偏才互动。它们在研发的每一件事上都相当好，然后在某些子领域极好：写内核超人，任何短反馈回路的事超人，其它地方也够格与其他人匹敌。

这一点已经看得见了。今天的 AI 能称职地匹敌那些在机器学习研究上平庸的人类。问题在于，在机器学习研究上平庸并不很有用；你想要的是擅长它的人。他的感觉是，AI 在同时改进这一切——它们的品味和直觉在变好，而它们的品味和直觉已经不再是彻底的垃圾。

Dwarkesh 想把这一点讲具体。假设我们回到 GPT-3 被开发出来的那一刻。那个断言就会是：用 2022 年可得的算力，当时把 AI 研发自动化，本该在那年年底就把 Mythos 摆上桌面。

对，就是这个意思。

Mythos 消耗的算力远超当时存在的水平。但按这个叙事，只用 2022 年水平的算力，不仅所有突破都会发生——你还会在那个算力水平上训出 Mythos。

而这就要求把此后所有的算法进展都发现出来，实际上还要超过「所有」，因为你得用纯算力补上差额。GPT-3 的训练量大约是 1e23 FLOPs。Mythos 有可能比它高四个数量级吗？

Greenblatt 查了一下：GPT-3 的训练算力约为 3e23。他的感觉是 Mythos 高三个数量级多一点。于是问题变成：你能否在补上千倍算力差距的同时，还成为那个模型本身。

他给了一个具体的校准。GPT-3 于 2020 年发布，训练大约在六年半到七年前——也许太远了，不是最干净的例子，但仍然有用。

如果今天用 GPT-3 级别的算力训练一个模型，它会有多好？基于算法进展的运作方式，他认为你会得到大约三年前最强模型的水平。也就是说，今天你能训出一个比 GPT-4 稍好一些、中等幅度更好的 GPT-3 版本。这与算法进展的历史速率相符。