Richard Sutton: 理查德·萨顿——强化学习之父认为大语言模型是死路一条

Dwarkesh Patel 以一个对采访者来说并不寻常的举动开场：在对话开始之前，他先把嘉宾的立场以最强的形式陈述出来。他指出，理查德·萨顿是强化学习的奠基人之一、2024 年图灵奖得主、《苦涩的教训》的作者，而他相信大语言模型是死路一条。Patel 的复述刻意带着善意：模型无法在工作中学习，所以无论规模如何扩大，都无法替代一种围绕持续学习构建的新架构；而一旦这样的智能体存在，就根本不会有单独的“训练阶段”——它会像动物一样直接学习。这个框定之所以重要，是因为它排除了最廉价的反对意见。Patel 并不是在指责萨顿低估算力；他是在承认，算力并不是争论的变量。

因此，分歧是结构性的，而不是数量上的。Patel 直言他曾努力论证相反的观点——大语言模型或许可以充当经验学习得以发生的基底——而且“擦出了一些火花”。这一句话定下了整期的基调：这是两个在目的地（能够从经验中持续学习的智能体）上意见一致、却在当前范式究竟是垫脚石还是绕远路上存在分歧的人之间的争论。

萨顿的第一步是否认这两种传统之间具有可比性。他说，它们“很容易被分开，然后失去彼此对话的能力”，因为这个领域容易追逐风潮，已经失去了对基本问题的把握。他的自我定位很尖锐：“我认为强化学习才是基础性的 AI。”这一主张不仅仅是说强化学习更古老或更有原则，而是说大语言模型只是一个边缘应用，而不是核心议题本身。

强化学习关乎理解你的世界，而大语言模型关乎模仿人、做人告诉应该做的事。

这句话是第一个小时的核心论点。在萨顿看来，智能是由它所解决的问题来定义的——把世界理解得足够好，以便在其中行动——而模仿人类文本解决的是另一个问题，即预测一个人类会写什么。这两种活动可以产生相似的输出，却建立在完全不同的机制之上，这就是为什么萨顿认为基准测试上的成功只能算作关于系统究竟学到了什么的弱证据。

Patel 提出最自然的反驳：要模拟互联网文本中数万亿 token，理应需要一个世界模型，而这些模型似乎拥有异常稳健的世界模型——是 AI 迄今为止造出的最好的。萨顿的回答是断然否定：“你刚才说的大部分内容我都不赞同。”他的推理建立在一个区分之上：为世界建模，与为一个建模者建模。一个被训练来预测人类文本的系统，用他的话说，是在模仿那些本身已经包含世界模型的东西。这种能力是继承来的，而不是构建出来的。

它们有能力预测一个人会说什么。它们没有能力预测将会发生什么。

这是承重的论断，而且原则上可以检验。如果一个模型真的表征了后果，那么当世界偏离它的预期时，它应该感到意外，而这种意外应该改变它未来的行为。萨顿借用图灵的说法，给出替代方案：我们想要的是一台从生活中实际发生的事情里学习的机器——你行动，你观察，你更新。相比之下，大语言模型从成对的情境与人类反应中学习，并隐含着要复制那个反应的指令。他把训练信号概括为：“这里有一个情境，这里是某个人做了什么”。

Patel 随后给出了对立观点最强的版本，而值得把它精确陈述出来，因为萨顿对它的拒绝是整场采访的枢纽。这个论证是：模仿提供了关于合理进路的一个良好先验，而这个先验恰恰是让经验学习变得可行的东西：它让智能体有时能答对，而“有时能答对”正是产生改进所需奖励信号的条件。在这种观点下，模仿不是经验的替代品，而是让经验变得可处理的初始化。

萨顿的回答是：先验预设了一个可供其成为先验的真相，而大语言模型框架中并不存在这样的真相。“什么是实际知识？”他问道，然后自己回答：指出目标的缺席。没有目标就没有更好或更差；没有更好或更差，就没有关于“应该说什么”的事实。他的例证很具体：你说点什么，而没有任何东西告诉你那是不是正确的说法，因为这个框架从未定义过正确性。在强化学习中，这个定义是存在的——正确的行动就是能带来奖励的行动——而这恰恰使得人类提供的提示可以被检验，而不只是被吸收。

Patel 最强的经验性反驳紧随其后，而这也是萨顿回答得最不令人信服的一点。如果你问一个模型用户接下来会说什么，它会给出答案。萨顿的回应是：对这个问题给出答案，并不等于持有一个预测，因为当实际回应不同时，模型不会感到意外，也不会因此改变。Patel 随后提出思维链：一个解数学题的模型会宣布一种思路，中途意识到这个思路在概念上是错的，然后重新开始。这是真实的上下文内灵活性。萨顿寸步不让，回答说模型不会对接下来发生的事感到意外，也不会据此做出任何改变。

这场交锋暴露出的是一种真实的歧义，而不是某一方单纯的错误。Patel 问：下一 token 预测不就是字面上的“预测加上根据意外进行更新”吗？萨顿的回答划出了清晰界线：下一个 token 是模型应该说什么，而不是世界会返回什么。这个区分站得住脚，但它也揭示出萨顿是在一个特定意义上使用“预测”——预测外生的后果——而 Patel 用它来涵盖对自身对话延续的预测。这一节中大部分表面的僵局都来自这个未被言明的词义滑动，而两位参与者都没有点出它。

萨顿随后把争论从机制层面升级到定义层面。他论证说，智能就是实现目标的能力，并引用约翰·麦卡锡的表述：智能是实现目标能力中的计算部分。一个没有目标的系统只是一个在行为的系统。他直接问 Patel，大语言模型是否有目标，Patel 说有的：下一 token 预测。萨顿的否定令人印象深刻，而且按他自己的标准是正确的——预测 token 不改变世界，所以它不可能是那种真正重要的目标。Patel 立刻承认了这一点：它不是关于外部世界的目标。

如果一个系统只是坐在那里做预测，并为自己的预测准确而自得其乐，你不能看着它说它有目标。

Patel 随后提出了他认为决定性的反例：在国际数学奥林匹克上拿到金牌的模型，似乎拥有“把数学题做对”这个目标，而这个目标是通过强化学习装进去的。为什么它不应该扩展到其他领域？萨顿的回答是：数学并不是相关意义上的一个“领域”。推导假设的后果是计算性的，更像是规划；而为经验世界建模需要学习那些无法被推导出来的后果。在数学中，“找到证明”这个目标可以被给定；在物理世界中，后果必须被发现。

这是萨顿论证中最可争议的一步，而值得指出他没有回应的是什么。Patel 的例子并不是说模型理解物理，而是说一种通用优化过程能够在验证代价低廉的领域中装入目标导向的能力。萨顿的回应把主张收窄到数学，却没有解释为什么同样的优化过程在验证代价高昂但仍然可得的领域中会失败——这是 Patel 没有利用的缺口，但读者应当注意到。