关于 Sutton 访谈的一些想法

你们对那期 Sutton 访谈的想法可真是多。

我自己也一直在想这件事。现在我对 Sutton 观点的理解，比访谈当时清楚多了。所以我想把它梳理一下。

Richard，如果我有什么错误或误解，请见谅。从你的想法里学到东西非常有收获。

“苦涩的教训”讲的是什么？它并不是说你要尽可能多地把算力扔出去。苦涩的教训说的是：你要想出最能有效、可扩展地利用算力的技术。

花在 LLM 上的算力，大部分用于部署时运行它。可它在这段时间里什么都没学到！它只在我们称为训练的那个特殊阶段学习。这不是对算力的有效利用。而且就连训练阶段本身也极其低效——这些模型通常是在相当于数万年人类经验的量级上训练的。

更重要的是，在这个训练阶段，它们学到的一切都直接来自人类数据。就预训练数据而言，这一点显而易见。但对我们对 LLM 做的 RLVR 来说，某种程度上也是如此：这些强化学习环境是人类搭好的游乐场，用来教 LLM 我们指定的那些特定技能。

智能体并没有以任何实质性的方式，从与世界的有机、自主的互动中学习。只能从人类数据（一种缺乏弹性、难以扩展的资源）中学习，并不是可扩展的算力用法。

这些 LLM 从训练中学到的，并不是真正的世界模型（即告诉你环境会如何随不同动作而变化的那种模型）。它们建立的其实是“人类接下来会说什么”的模型。这使它们依赖由人类衍生出的概念。如果你用 1900 年的数据训练一个 LLM，它没法从零推出相对论。

LLM 无法在工作中学习，所以我们需要某种新架构来实现持续学习。一旦有了它，我们就不再需要专门的训练阶段——智能体会像所有人类、乃至所有动物那样，边做边学。这个新范式会让我们现在这套 LLM 方法过时。

我与 Rich 的主要分歧在于：我认为他用来区分 LLM 与真正智能的那些概念，实际上并不是互斥、对立的。

模仿学习与强化学习是连续的、互补的。关于人类的模型可以给你一个先验，帮助你学出“真正的”世界模型。而且如果未来某种版本的测试时微调能够复现持续学习，我也不会感到意外——就像现在上下文学习做到的那样。

我试着问过 Richard 好几次：预训练的 LLM 能否充当一个良好的先验，在它之上累积经验性学习（也就是做强化学习），从而通向 AGI。

几个月前的一次演讲里，Ilya 把预训练数据比作化石燃料。这个类比的影响范围出奇地广。化石燃料不可再生，并不意味着我们的文明因为使用它们而走上了一条死路。你根本不可能从 1800 年的水车直接跳到太阳能板和聚变电厂。我们必须使用这种廉价、便利、充足的中间物。

AlphaGo（以人类棋谱为条件）和 AlphaZero（从零自举）都是超人类的围棋选手。AlphaZero 更强。

我们（或者第一批 AGI）最终会不会发明一种完全不需要知识初始化的通用学习技术——从最开始就自己自举？它会不会强过当时训练出来的最好的 AI？大概会。

但这意味着模仿学习在开发第一个 AGI、甚至第一个 ASI 的过程中完全不能起作用吗？不。AlphaGo 尽管最初由人类棋手数据引导，它依然是超人类的。人类数据未必一定有害——在足够大的规模上，它只是不再有显著帮助而已。

数万年来知识的积累，对人类社会的成功显然至关重要。在任何一个知识领域，都有成千上万（很可能上百万）前人参与构建我们的理解，并把它传给下一代。我们说的语言不是我们发明的，我们用的法律体系不是，甚至我们手机里大多数相关技术知识也不是。这个过程更像模仿学习，而不是从零开始的强化学习。

我们做这种文化学习时，真的是像 LLM 那样在预测下一个 token 吗？不是，所以即便是人类的模仿学习，也不等同于 AI 的监督学习。但我们也并不是到处跑着去收集某个定义明确的标量奖励。没有任何一种机器学习范式能完美描述人类学习。我们做的事同时类比于强化学习和监督学习。飞机之于鸟，也许就是监督学习之于人类的文化学习。

我也不认为这些学习技术在类别上有什么不同。模仿学习不过是短时程的强化学习。一个回合只有一个 token 那么长。LLM 基于它对世界的理解和序列中的其他信息，对下一个 token 做出猜测，然后按照它预测真实 token 的准确程度获得奖励。

我已经听到有人说：“不对不对，那不是真实答案！那只是在学人类可能会说什么。”

同意。但还有另一个问题，我认为它跟这些模型的可扩展性更相关：我们能否借助模仿学习，帮助模型更好地从真实结果中学习？

我认为答案显然是肯定的。我们已经用强化学习让模型在 IMO 上拿到金牌、从零写出完整的可用应用。这些都是“真实答案”式的考验。但你不可能从零开始用强化学习让模型完成这些壮举。你需要一个关于人类数据的合理先验，才能把强化学习过程启动起来。

你愿意把这个先验叫作真正的“世界模型”，还是只叫关于人类的模型，说实话我觉得这是一场语义之争。因为你真正关心的是：这个关于人类的模型，是否帮助你开始从真实结果中学习（也就是变成一个“真正的”世界模型）。

这有点像对正在给牛奶做巴氏杀菌的人说：“嘿，别煮那牛奶了——我们最终是要冷着上桌的！”是的，当然。但这是为了促成最终产出而做的中间步骤。

顺便说一句，LLM 显然已经发展出了对世界的深层表征（因为它们的训练过程在激励它们这样做）。我用 LLM 学习从生物到 AI 到历史的各种东西，它们的灵活性和连贯性都相当惊人。LLM 是专门被训练来建模“自己的动作会如何影响世界”的吗？不是。

但如果我们不允许把它们的表征叫作“世界模型”，那我们就是在用“我们认为构建世界模型所必需的过程”来定义这个词，而不是用这个概念显然指向的那些能力来定义它。

抱歉又把我的老调重弹搬出来了。我就像一个只憋出一个好段子的喜剧演员。

一个在基于结果的奖励上做强化学习的 LLM，每个回合只学到 O(1) 比特，而这个回合可能有数万个 token 长。

我们动物显然从与环境的互动中提取的信息，远多于每个回合结束时的那个奖励信号。从概念上讲，我们该如何理解动物身上发生的事？

我们在通过观察学习对世界建模。外层强化学习在激励另一个学习系统从环境中获取最大的信号。在 Richard 的 OaK 架构里，他把这个叫作转移模型。

如果我们要把这个功能规格硬塞进 LLM，你会做的是在你观察到的所有 token 上做微调。据我从研究界朋友那里听到的，实践中最朴素的做法效果并不好。

能够以高吞吐的方式从环境中持续学习，对真正的 AGI 来说显然是必要的。而在用 RLVR 训练的 LLM 身上，这显然还不存在。

但也许有一些相对直接的办法，把持续学习硬塞到 LLM 之上。比如，可以设想把 SFT 做成模型的一个工具调用。这样外层强化学习就在激励模型用监督学习有效地教自己，以解决放不进上下文窗口的问题。

对这类技术能起多大作用，我真心没有定见——我不是 AI 研究者。但如果它们基本上能复现持续学习，我不会感到意外。模型已经在它们的上下文窗口内展示出某种类似人类持续学习的东西。上下文学习是从处理长序列的训练激励中自发涌现的，这一事实说明：如果信息能跨越比当前上下文上限更长的窗口流动，模型有可能元学习到它们在上下文内已经展现的那种灵活性。

演化做的是元强化学习，造出一个强化学习智能体。那个智能体可以选择性地做模仿学习。有了 LLM，我们走的是相反的方向。我们先造一个做纯模仿学习的基座模型，然后在它上面做强化学习，把它变成一个有一致目标与自我意识的智能体。

也许这条路走不通！

但我不认为这些超级第一性原理式的论证（比如关于 LLM 没有真正的世界模型）能证明多少东西。我也不认为它们对我们今天已有的模型严格成立——这些模型在“真实结果”上做了大量强化学习。

即便 Sutton 那个柏拉图式的理想最终并不是通往第一个 AGI 的路径，他指出的确实是真实的基础性缺口，而我们因为它们在当前范式里太普遍，甚至注意不到：缺乏持续学习、样本效率糟糕、依赖会耗尽的人类数据。如果 LLM 先到达 AGI，它们造出的后继系统几乎肯定会建立在 Richard 的构想之上。