John Schulman, Beren Millidge, Charlie O’Neill: AI 研究者辩论：我们离递归自我改进还有多近

Dwarkesh 用一个诊断性提问开场，而不是预测。假设到了 2036 年，世界上并没有几十亿个到处乱跑的超智能，也没有一个异样的世界。把战争、政治和明令禁止这些因素排除掉，最可能的技术原因是什么？这个问题是设计来逼每位嘉宾说出他心目中具体会断掉的那一环——不是进步的大致形状，而是那个失效的接头。

Beren Millidge 的回答是一个永远不会消解的莫拉维克悖论版本。每一项能力一旦达成，其重要性总比预期的低：模型解出了那些难的数学题，赢下了国际象棋，而世界并没有变。如果这个模式永远持续下去——如果那个真正的泛化火花从未出现——结果就会是一个在任何人放进基准或环境里的任务上都极其出色、却被一个顽固的「仿真到现实」鸿沟卡住其余一切的系统。

他特意说明自己认为这种情形不太可能。从 RL 中涌现的泛化在实践中已经看得见。但如果元学习被证明难以泛化到离谱的地步，而持续学习始终没有被解决，这就是他会默认的场景。

John Schulman 同意，并把机制说得更操作化。人类仍保有许多优势，每个新模型都会补上一部分；剩下的就是瓶颈——判断力更差的地方，模型无法足够好地自我检查的地方。有一个不断重复的循环：新模型发布，人们被震住，宣布这是 AGI，用上一个月，它开始显得笨。这个循环会重复多少次，确实很难预测。

能力增长现在之所以不是爆炸式的，是因为研究与工程本身就被卡住了。一个写出比人多得多的代码的模型，并不会让人生产力提高一百倍。所以这个循环可能只是比任何人预期的都还有更多轮。

Charlie O'Neill 把问题重新表述成一个距离问题：当前这套配方——Transformer 加 RL——离「可以刻在芯片上的学习器的全局最优」有多远？流行的图景是：一旦你有一个在 AI 研究上比所有人都强 0.1% 的 agent，能并行跑几十万个、并且随着芯片进步跑得更快，这个事实就会压过其他一切瓶颈。快速起飞随之而来。

Charlie 的反驳来自扩展定律的历史。摩尔定律看起来是一条干净的直线，持续了几十年，但那条直线是由一长串离散的不连续与创新支撑起来的，每一个都必须被发现。LLM 重复了这个模式：预训练扩展撞上收益递减，于是发明了 RL 绕过去，得到的曲线又看起来像一条向上的直线。

担忧随之而来。如果还需要一次这样的不连续，那么当前的方法——用 RL 环境训练 LLM，即便这些环境明确瞄准递归自我改进——能否发现它，并不显然。若不能，曲线就会渐近。

Dwarkesh 追问那个显然的反驳：那一次不连续，真的会比 2012 年以来的任何东西都更难吗？

Charlie 接受这个提法，但把区别磨得更利。有一种不连续是在当前范式上做加法——RL 之外还有东西，但仍落在同一条线上，模型也许能自己连上；另一种则要求回头把梯度下降和神经网络整个扔掉。扩展当前范式，无论你跑多少个实例，都不必然换来一个距离太远的发现。

Dwarkesh 自己的看法是：看空情形唯一的希望，在于深度学习无法达到一个能主导人类研发——包括人类发明新范式的能力——的系统。人类也完全可能永远找不到下一个架构。但考虑到 2012 年以来的斜率，即便承认其中大部分是用算力买来的，这条曲线恰好停在「主导研发」之前，仍然很奇怪。

Dwarkesh 引入 Ryan Greenblatt 的论证，以及他自己的直觉泵。国际象棋引擎自 1980 年代以来 Elo 几乎线性增长，但在跨越人类区间的地方有一个陡峭的不连续：之前，人类高手总是赢；之后，他们永远赢不了。线性的 Elo 曲线上没有任何东西预告了「这项游戏的意义改变」的那一刻。

他认为，这调和了两个看似矛盾的事实：AI 到目前为止的宏观经济影响很小，而 AI 在稳定进步。影响在等那个跨越点，而不在斜率上。

Beren 同意，并把它变成对 2036 年场景的一个约束。如果我们已经接近跨越相当于人类的 Elo，那么要让 2036 年的世界看起来正常，渐近就必须恰好在跨越之前到来——一个非常具体、也非常不可能停下的位置。他补充说，通往那个世界的更可能路径根本不是技术性的：是剧烈的监管。

Charlie 区分了两类研究。在自动研究这一类里，目标被干净地指定，工作就是对着它做优化：把预训练损失压下去，把环境奖励推上去，改进随之而来。这是大多数人想象「AI 做研究」时的画面。

范式转移需要的是另一类——那种开放式的科学，无论是人还是 AI，都没法事先把目标说清楚。而这把「目标指定问题」推到最硬的形式：如果你说不出自己想要什么，你就必须极其小心地决定如何让系统去「想要」任何东西。

Dwarkesh 向 Schulman 讨教战壕里的智慧。2012 年没人会猜到 nanoGPT speed run 是值得优化的东西；如今范式已经存在，你当然会训练 AI 把这件事做到极致。担忧在于下一个内层循环——那个 AI 不会预料到的循环——而本该最终起决定作用的外层循环（收入）转得太慢，无法为它们导航。

Schulman 的回答是一段自白。在 OpenAI 早期，他的直觉是：只最小化对数损失永远造不出智能，因为重要的那些比特在损失里占比太小，会被噪声淹没；需要设计更好的目标来给有趣的东西加权。当时有相当体面的论据支持这一点——人类无法凭记忆复现一个照片级的场景，那显然需要更好的目标。然后这个朴素的目标就是奏效了。

这才是关于这个领域更深的点：它靠泛化运转，而泛化几乎无法预测。在你关心的任务上训练，可靠地有帮助。真正重要的进展，通常是谁都没有资格期待的那种泛化——从朴素的下一 token 目标泛化到需要深层理解输入的任务，从数据中极其稀有的技能泛化出来，从可验证任务泛化到不可验证任务。

Dwarkesh 给出了快速起飞直觉最强的版本，而且不依赖新的输入。在每一个七位数成本的实验之前，你都可以把等量的算力花在 AI 劳动力上：这三位的自动化版本花一百年思考什么是最优实验、做小规模消融、建立长达一个世纪、甚至追溯到深度学习之前的理论——然后在实验结束后再花一百年分析发生了什么、决定下一个实验。

Schulman 的回应是：我们离研究质量的天花板还远得很。只要想得够深，你往往能事先预测结果；通常存在某个巧妙的小规模实验，能建立起随后可推广到大实验的理论。他预期未来 AI 花在分析与建理论上的算力，会与花在实验本身上的相当。

Charlie 在目标被清晰指定的地方接受这一点，并给出信息论的版本：思考只能根据已经收到的比特更新后验，它无法制造新的比特。但只要目标干净、数据就在手边，加速应该很大。

他举的具体例子是 Kaplan 扩展定律。一个 AI 看了就会注意到，那些中间检查点没有做退火，因此结论是错的——这一发现本可以省下一两年。muP 以及学习率如何随模型规模缩放、其中宽度起什么作用，也是同一类。把这些观察倒推出来，大量低垂的果实就会在被花掉之前被摘走。他的估计是：在现有目标上，十倍加速。

局限在于，这一切都不能推广到「一开始就选对目标」。想得更用力，本身不会告诉你该想要什么——而起飞的问题其实住在那里，不在优化速度上。