下一个重大突破将是 AI 在工作中学习

为了回答这是否行得通,我想先岔开话题,问一个关于当前 AI 进展性质、我觉得既困惑又有趣的问题:为什么计算机操作(computer use)方面的进展如此缓慢?

计算机操作显然是可以验证的(想要的 Etsy 商品有没有下单成功,我活动所需的企业事务是否都已订妥,我的税有没有报完)。那么,计算机操作的进展比编程、数学以及其他可验证领域慢得多,不是很奇怪吗?我相信原因有很多,其中包括:模型在预训练期间接触到的高质量多模态数据要少得多,而且视频消耗上下文窗口的速度快得多。[1]

但我认为有一个原因被严重低估了,它同时也揭示了 AI 进展之河只能缓慢侵蚀的那道峡谷岸壁:一个领域仅仅可验证是不够的,它还必须非常“可磨”(grindable)——也就是说,你可以针对一个确定性的、可重放的模拟器并行运行大量 rollout。如果你想让模型更擅长编程,你可以创建一个环境,里面有一个软件仓库,缺少某个功能,你让 AI 去实现它,然后让一千个并行的智能体各自带着完全相同的容器副本去攻克这个问题。[2]

但这对计算机操作行不通——至少不是轻而易举就能做到。你不可能让一千个智能体去试同一个亚马逊网站(Amazon.com)的结账流程。因为安迪·贾西(Andy Jassy)会发现并识别出你的机器人,然后把你整个封掉。

你可以通过制作 Slack、Gmail 以及所有其他常见应用和网站的克隆版来解决这个问题。但至少目前来看,这种构建环境的方式非常耗费人力,也无法扩展。当然,一旦 AI 的编程能力强到足以自己以极高的保真度构建这些克隆版,我相信计算机操作就会取得大量进展。而且这种做法还能一举两得,因为让 AI 从零开始重建整个复杂的应用,对编程来说同样是一个很好的 RL 目标。

不过,虽然计算机操作本身可能很快就会被攻克,但它目前的迟缓告诉我们这样一点:除非你能为某个领域构建出非常可重放的训练目标,否则模型很难取得多大进展。之所以如此,当然是因为模型在训练期间的样本效率低得惊人。这正是我在上一期独白中所讲的要点。

在计算机操作方面,我们也许可以通过构建这些可“耕种”的确定性模拟器来弥补样本效率上的不足。但对于 AGI 需要学习的许多其他各类技能,我们根本做不到这一点。

我们要如何训练一个 AI 去创办一家企业?你要如何造出一个真正擅长打赢官司的 AI?或者在市场上做日内交易并实现盈利?或者帮助一位候选人赢得选举?这些 rollout 需要与现实世界互动,无法单靠数据中心内部重建出来。而外层循环的验证可能需要数月甚至数年的现实行动才能得出,而且无法通过成千上万次并行扰动模型的行为来重新观察,从而分离出模型究竟是做了什么才真正奏效。

应对这类无法重置、非平稳的环境,是 RL 领域已知的开放问题。我并没有指出什么新东西。但我确实想强调:由于世界上大多数领域的数据具有特异、稀疏的特性,你需要样本效率才能变得熟练。

如果 AI 要掌握人类拥有的所有技能,甚至人类都没有的技能,那么它们就必须能够从稀少的现实世界互动中,以非结构化、不可验证且含糊的方式所揭示的信息里学习。因为在许多领域,相关的训练信息根本不存在于任何其他途径之中。

要让 AI 像林登·约翰逊(Lyndon Johnson)那样精通政治,或者像埃隆·马斯克(Elon Musk)那样善于打造航天发射企业,RL 环境该是什么样的?

各家实验室押注的是,RLVR 会泛化到所有这些其他领域。如果你在足够多的容器化、可复现的环境中进行训练,就会培养出一个非常通用的智能体,它能制定并执行计划,能从新信息中快速学习,甚至能掌握新技能,而这一切都发生在一次会话之内。

如果你把这个被 RLVR 无休止训练过的 AI 扔进 1948 年的得克萨斯州政坛,它在如何赢得参议院席位上可能比 LBJ 给出更好的建议;如果你在 2002 年给它 1 亿美元,让它放手去干,它也许能为你建成 SpaceX。

RLVR 能否泛化到这种程度,是一个悬而未决的经验问题:如果各实验室在 RL 环境上的投入从数十亿美元增加到一万亿美元,你会得到在上下文窗口内运作的、完全通用的、类人的智能吗?

达里奥(Dario)在我们一起做的播客中说了一句很说明问题的话,我认为它暗示 RLVR 的泛化并没有那么无限强大。当时他在解释为什么模型在长上下文下性能往往会下降,他说:

你训练时用的上下文长度和你部署服务时用的上下文长度是两回事。如果你用较短的上下文长度训练,然后试图以较长的上下文长度提供服务,也许就会出现这些性能退化。

也许是我过度解读了,但他似乎在说,短视野的 RL 训练未必能泛化到长视野的 RL 表现。而如果我们无法从短视野泛化到长视野,那么智能体又怎能从大量白领任务的训练中泛化出来,比如被扔进现实世界后,像山姆·沃尔顿(Sam Walton)那样从零开始把一家企业做起来?

而且,即使 AI 在积累了足够多的上下文内经验之后能够成为阿尔伯特·爱因斯坦(Albert Einstein)或亨利·福特(Henry Ford)那样的人物,如果无法把这些所学写回权重,这一切都将是转瞬即逝、白白浪费的。实验室大约 30% 至 50% 的算力用于推理,而这部分算力目前其实并没有为改进模型做出任何有成效的贡献。真是浪费!实际情况比听起来还要糟。因为只有在部署阶段,你的模型才能接触到最有价值的、可供学习的信息(我被使用的这些组织里到底发生了什么?他们拿我来做什么?我在现实世界中往往会犯哪些错误?)

我们有一个天才研究生,却从来不被允许去实习。我们还不断以在各种环境中进行 RL 训练的形式,给它越来越多的课堂案例研究。AI 被如此广泛地部署到整个经济体中,能够在数百万项不同的任务上练习,还能接触到大量隐性的、特定于组织和领域的知识,而我们却不用这些可以不断积累的经验来训练 AI,这既奇怪又浪费。

但这种持续学习需要回到权重上来。AI 不能只是不停地积累一个 KV 缓存,随着从越来越多的用户那里学习,它的规模越来越大。这根本无法扩展,而且这也不是人类学习的方式。我们并没有在参数和激活之间划出某种分隔。我们一生中学到的东西越多,也不会有一团快权重(fast-weight)表征从我们的颅骨里越伸越远。当我们学习东西时,显然存在某种压缩,而这种压缩实际上有助于泛化和“顿悟”(grokking)。事实上,有些人具有自闭症学者式的记忆能力,能在多年后仍记得随机的数字表或无意义的音节——基本上就是模型在上下文中所具有的那种信息保真度。而如此庞大的信息量,会削弱这些人理解抽象概念和隐喻的能力。人类的持续学习,与其说是把所有观察都记在嘴边,不如说是把正确的直觉和宏观的知识雕刻回权重之中。

但一旦转向权重,你就不得不放弃上下文内学习的样本效率。由于梯度更新的样本效率极低,所有成功上线的在线学习模型,都不得不跨数百万用户去学习同一件事。例如,Cursor Tab 模型通过每天对超过 4 亿次请求预测同一个确切的目标(这个目标就是哪些编辑被接受了)来进行在线学习。至少到目前为止,我们还没有见到模型针对不同用户在线学习不同类型的东西,因为虽然单次会话产生的数据对人类学习来说可能绰绰有余,但不足以训练出能力更强的 AI。

当前的在线学习只适用于数量非常有限的用例。但持续学习的全部意义在于:世界非常复杂,每份工作、每家公司、每个问题都各不相同,你需要自己的智能能够学习与某个特定部署相关的具体信息,而这些信息根本无法塞进一次共享的训练中。比如你所在组织里的一切是如何运转并相互配合的,如何与基础设施和周围的其他人协作以推进某个更大的项目,常见的失败模式有哪些,等等。

这就是样本效率与持续学习实际上是两个深度关联的问题的原因所在。模型在“工作中”能获得的数据相对很少。要从这些数据中学习,就需要样本效率。模型可以在上下文中做到这一点,但由注意力机制[3]即时构建出来的、使这种样本效率成为可能的“快权重”,在内存方面的扩展性非常差。所以我们需要架构创新,以实现某种中间表征。我之前谈到过,针对这类问题已经有许多可行的思路,从稀疏注意力到 KV 缓存压缩都有。在我看来,架构从根本上并不是持续学习的瓶颈。

也许瓶颈在于损失函数。你如何根据从某一次特定会话中学到的信息来更新权重(也就是改进模型本身)?即使在这方面,乍看之下似乎也有很多应该行得通的想法。最近很多人都在谈论在线策略自蒸馏(on-policy self-distillation)。如果你想进一步了解它是如何运作的,可以看看几周前萨沙·拉什(Sasha Rush)给我讲的这堂即兴黑板讲座。不过简单概括一下,其思路是:我们鼓励基础模型在尝试解决某个现实世界问题时,做出与那个在长时间会话中积累了全部上下文的模型本会做出的相同预测。这一过程的全部意义,就是把模型在一次会话中学到的东西蒸馏回权重本身。

这比 RLVR 更好,有两个原因。第一,OPSD 不需要外层循环的可验证奖励。我们只需要一个能够在上下文窗口内学到正确东西的模型。只要有了这样的模型,我们就可以训练基础模型去匹配我们那位在会话期间积累了这些经验的资深教师模型。第二,OPSD 提供的监督信号比朴素的 RL 密集得多——你不必把单一的奖励投射到整条轨迹上,而是可以针对教师与学生之间逐个 token 的概率差异进行训练[4]。

对于持续学习,OPSD 也优于监督微调(SFT)。针对这一用途,你能想到的最朴素的 SFT 版本,就是训练基础模型去预测会话期间观察到的所有 token。但这作为学习目标毫无道理——你在工作上变得更好的方式,并不是以完美的保真度回忆起每一天发生的事情的记录,而是把与更好地完成工作相关的少数几点洞见和知识加以巩固。

RL 训练没有这种失败模式,它非常擅长把梯度更新集中在仅与做对结果相关的部分——这就是为什么 RL 的更新极其稀疏。而这对持续学习来说是一个非常重要的特性,因为当你在工作中学习时,你不希望覆盖并忘掉基础模型所掌握的其他所有东西。

几个月前我写过一篇文章,论证 RL 每个样本学到的信息比监督学习少得多。但这也许是好事而不是坏事——你只在绝对必要的范围内改变模型以达成结果,仅此而已。OPSD 保留了 RL 的这一特性:它不像监督学习那样让你朝着教师分布猛冲过去,而是只提取在现实任务中取得同样结果所必需的知识。

所以,OPSD 是攻克样本效率问题的一种方式:你可以把稀缺的现实世界经验中的全部信号,压缩进一次微小而精准的更新。不过还有另一个更具推测性的想法。我们不妨称之为做梦[5]。如果 AI 能够构建出一个良好的现实模拟,在其中演练新技能,或尝试替代策略并强化行之有效的做法,那么它就能在相同的实际时间内经历数量级上更多的模拟样本。

在 DeepMind 发布 AlphaZero 几年后,一组研究人员训练了一个名为 EfficientZero 的模型。如果这个模型和一个人类各自总共获得 2 小时,去对战一个它们都没见过的雅达利(Atari)游戏模拟器,这个模型很可能会击败新手人类。这是否意味着这个模型比人类更具样本效率?这要看你如何衡量样本效率。因为在真实游戏中的每一步,EfficientZero 都会在脑海里模拟几十局游戏。同样地,未来的大语言模型也许可以在消耗少得多的真实世界数据的同时,针对它们自己构建的环境无休止地练习。当然,最大的区别在于,构建整个世界的模拟,要比模拟围棋这种游戏困难得多。这就是我说这个想法更具推测性的原因。

如果这行得通,它将成为继预训练、RL 和推理时算力之后的第四条扩展轴线。你可以称之为测试时训练,或者做梦。模型花费算力编写 RL 环境,在其中演练在生产环境中真正会为某个特定用户用到的技能。在 Codex、Cursor 或 Claude 上输入 /compact,只会动用少量算力写一份摘要,给你一种持续学习的仿像;而你输入 /dream,则会焚烧海量算力,针对模型在现实世界中所见所闻构建一个电子游戏版本,并在其中进行训练。

那么,到 2027 年底,持续学习可能是什么样子,我们又如何抵达那里?所有这些 RLVR 训练产出的,是这样一种智能体:当它被扔进一个不熟悉的问题时,能够找准方向,尝试不同的策略,遇到阻碍时能够迭代。这就是 RLVR 带给你的关键之物:一个至少已经足够胜任、可以开始积累一些现实世界经验的 AI。一旦有了它,你就把它派到现实世界中去做真正的工作,甚至是训练分布之外的项目。

到这时,有效上下文长度可能已经扩展到,这个 AI 能够与你协同工作整整一周的实际时间。一周结束时,你给它点赞或点踩。如果你点了赞,基础模型就会把 AI 在这次会话中学到的一切蒸馏进去,可能用的是 OPSD,或是做梦,或是某种我们甚至还不知道的其他技术,或是以上各种的组合。这样,AI 就能在与它事先通过 RLVR 明确训练过的领域相邻的领域变得更好。而在下一轮中,它又会在与之前在线学到的内容相邻的方面变得更好。AI 的技能、知识和能力的范围,将远远超出模型在部署之前接受训练所针对的那些可验证领域。正如预训练造就了一种基础智能,其聪明程度足以通过进一步的 RLVR 训练成为胜任的智能体,RLVR 也造就了一个足够胜任、可以真正部署到世界中的智能体,从而能够利用未来的持续学习范式。

到这时,AI 变得更好的主要方式,将不再是模型向公众发布之前所接受的训练。相反,它来自这些 AI 因被广泛部署到世界各地、参与形形色色的任务而积累下来的全部经验。你每一次与 AI 互动,它都会变得更聪明。这不仅因为它一直在从你之前的所有会话中学习,也因为它在从与世界上所有其他用户的全部互动中学习。这既令人恐惧又令人兴奋,而且与 AI 目前的改进方式截然不同。