John Schulman, Beren Millidge, Charlie O’Neill: AI 研究者辩论我们距离递归自我改进还有多远

00:00德瓦克什·帕特尔

今天，我和三位 AI 研究员朋友聊天，每次和他们交谈我都受益良多。他们所在的实验室和公司也都相对开放，所以你们可以公开地说一些话。和我一起的有贝伦·米利奇，他是 Zyphra 的 CTO，Zyphra 在开发开源模型。约翰·舒尔曼是 Thinking Machines 的首席科学家，之前是 OpenAI 的联合创始人，并主导了催生 ChatGPT 的 RLHF 工作。还有查理·奥尼尔，他是 Baseten 的模型训练负责人。

我的第一个问题是：假设到了 2036 年，我们并没有数十亿个疯狂的超级智能在世界各处运转并从根本上改变世界，那么最可能的原因是什么？先排除外部的政治冲击、战争、或者 AI 被禁止之类的情况。从技术上说，2036 年没有成为一个疯狂的外星超级智能世界，最可能的原因是什么？

贝伦·米利奇

有一个经典现象，几乎就像莫拉维克悖论：我们总觉得 AI “只要能做到这个，就会很了不起”。比如它能解决这些很难的数学题，能在国际象棋上获胜，等等等等……然后它真的解决了这些，却并没有那么大的影响。当然，多少是有影响的，但并不是全部。

如果这种情况以某种方式持续下去，而且真正的泛化火花始终没有出现，那么我认为结果可能是：AI 在人们放进基准测试或环境里的所有事情上都极其出色，但仍然存在某种持续的从模拟到现实的鸿沟，以某种方式卡住了一切。我认为这不太可能。实际上，我们在实践中已经看到了这种泛化，甚至来自强化学习。但如果元学习的泛化真的难得离谱，再加上我们没有解决持续学习，而且它极其困难甚至不可能……在那种情况下，这就是我的默认设想。

约翰·舒尔曼

我同意。目前人类相对于模型还有很多优势。每次有新模型出来，它会在其中一些方面追上来。但你最终会被卡在那些模型较弱、判断力较差的地方，或者模型无法充分自我检查的地方。

有一个循环不断重复：新模型发布，人们惊叹不已，说“就是它了，这就是 AGI”。但用了一阵子之后，大概一个月左右，它就开始显得很笨。这个循环很可能会一直持续下去。很难预测它会重复多少次。

现在，能力不会出现爆发式增长，因为在做研究和工程时，你仍然会被足够多的瓶颈卡住。即使模型写的代码比一个人多得多，也不会让你的效率提高 100 倍。所以也许这样的循环会比我们预期的更多。

查理·奥尼尔

对我来说，问题在于：“一个可以放在芯片上的学习器”的全局最优解，与 Transformer 加强化学习，也就是目前的基本配方，相距有多远。人们想象，一旦你拥有一个在 AI 研究上强于所有人类的智能体，哪怕它只比所有人类强 0.1%，你可以并行运行数十万乃至数百万个这样的智能体，而且随着芯片提速，还能让它们跑得快得多，这将压过所有其他瓶颈。最终你会迎来一次关于自我改进的非常快速的起飞。

我可以想象，如果我们沿着当前这个范式的轨迹继续走下去，也就是基本上靠自注意力、强化学习、扩大强化学习环境的规模……想想摩尔定律发生了什么。我们有过一条非常漂亮的直线，而且保持了很长很长时间。但为了让这条缩放定律继续下去，必须出现许多离散的突变和创新。大语言模型也发生了同样的事。我们有过预训练缩放定律，后来它遇到了收益递减。然后我们提出了强化学习并解决了这个问题，接着又遇到了新的收益递减曲线，使得整体看起来仍然像一条向上的直线。

所以，如果还需要再来一次这样的突变才能解决问题，我不确定用这些强化学习环境来训练大语言模型的当前方法，哪怕是以 RSI 为目标的强化学习环境，是否能够发现那个突变。如果不能，我们大概就会碰到一条渐近曲线。

德瓦克什·帕特尔

但你认为这个突变会比 2012 年以来出现的任何突破都更难吗？

查理·奥尼尔

如果我们知道这个问题的答案，也就大致有能力把它实现出来了。不过也许我们应该区分两种情况：一种是在当前范式之上叠加的突变，是累积性的，也就是除了我们现有的强化学习之外还有些东西有待发现，而它们也许有能力把那条直线上的点连起来；另一种则是再问一次，我们离全局最优解到底有多远？我们是否得回过头去，把梯度下降和整个神经网络都抛掉？我不认为，如果继续扩大当前范式的规模，一个大语言模型，不管你运行多少个，在目标太遥远的情况下就一定能发现它。

德瓦克什·帕特尔

唯一的希望其实是，深度学习就是无法把我们带到这样一种 AI：它至少能在研究和开发上超过人类，包括人类提出新范式等等的能力。或者，我也不知道，也许人类自己也永远发现不了下一种学习架构。但就人类最终有可能发现它而言……不过看起来……如果你只看从 2012 年到现在的进展，然后把它延续下去，我知道这一切是由大规模的算力扩张等因素推动的，那么它如果没能达到至少在研发上超过人类的程度，会很奇怪，尤其是在未来几年内。

瑞安·格林布拉特最近上过这档播客。他提出了一个观点，我很想听听你们的看法。你可以想象，随着 AI 的能力越来越强，它们能够在模拟环境中取得进展，而这些模拟会激励它们不仅在 AI 研发上变得更好，在整个科学领域也是如此。这是所有实验室都在瞄准的方向，许多创业公司也是。

另一个直觉模型是：看看自 80 年代以来国际象棋程序的 Elo 分数。Elo 随时间呈现非常线性的增长。但在它们跨越人类水平区间的时候，会出现一次巨大的突变，也就是从人类专家总是能战胜 AI，变成人类专家再也赢不了 AI，而这期间 Elo 的增长依然是线性的。

我同意你的观点：到目前为止，就最终对世界的经济影响而言，AI 的能力并没有那么了不起。但这是因为相对于人类，它们的 Elo 是在缓慢上升的。

贝伦·米利奇

我同意，那会非常令人惊讶。要让它不发生，唯一的办法就是像你说的，它恰好在临界点之前以某种方式趋于渐近。因为在我看来，我们已经相当接近开始越过人类 Elo 分数的位置了。所以我们需要在那之前就趋于渐近。我认为，在你设想的这个场景里，也就是我们坐在 2035 年而一切如常，唯一的可能就是这样。另一种办法是对 AI 实施某种剧烈的监管。实际上，我认为这才是这个场景最可能出现的方式，而不是靠某个技术原因。

查理·奥尼尔

我认为研究有不同的种类。有一种是自动研究式的，目标已经被清晰地界定好，你只是在优化这个目标。我认为大家设想的是，如果我们沿着这条路走下去，让预训练损失不断下降，让我们环境中的奖励不断上升，就会带来改进。

但也许瑞安说的是一种开放得多的科学，那是范式转变所必需的，在那里我们无法界定目标，而 AI 肯定也无法界定那个目标。对于如何为这类事情设定目标，我们必须非常非常小心。

德瓦克什·帕特尔

也许你的意思是，2012 年以来发生的那些突破的本质是我们找到了……在 2012 年，人们并没有说……我是在推测，我不知道，你们当时在场。或者至少约翰你当时在场。但我没有。

查理·奥尼尔

我当时在上小学。

德瓦克什·帕特尔

其实，约翰，我很好奇你有什么多年积累的智慧，或者说当年身处一线的智慧。想必一个重大突破是认识到下一个 token 预测就是……你不会在 2014 年认为 nanoGPT 速通是值得优化的目标。但既然我们已经进入了这个新范式，你就会想到在上面做速通，并让 AI 在这件事上变得非常强。

但也许还有下一个内层循环需要优化，而 AI 预料不到它。还有一个由收入之类构成的外层循环，最终应该会很强，但那是一个非常缓慢的外层循环。

约翰·舒尔曼

事实上，我记得在 OpenAI 早期，我曾有一种直觉：仅仅最小化对数损失是无法通向智能的。因为重要的部分只占损失的极小一部分，会被噪声淹没。所以仅仅用下一个 token 预测来训练语言模型，不会学到你想让它学会的那些有趣的东西。我们需要设计更好的目标，更加强调那些重要的东西。

你可以为此提出各种论证。你可以说：“哦，人类大概不会去学习如何为环境中的一切建模。大多数人无法把自己看过的某个场景逼真地画出来。所以我们肯定需要更好的目标。”但结果却是，它不管怎样还是行得通了。

德瓦克什·帕特尔

正如你所指出的，即使在当前的 AI 研究中，后训练基准测试之类的内层循环，也不一定能转化为用户喜欢的东西。

约翰·舒尔曼

哦，是的。整个领域在很大程度上依赖泛化，而且很难预测什么时候会有泛化，或者什么时候会出现某种分布外泛化。我们知道，如果你在你关心的任务上训练，就会做得更好。但最重要的进展往往是那些我们没有任何理由预期会出现的泛化。

例如，从仅仅在这个非常朴素的下一个 token 预测目标上做预训练，泛化到各种需要以某种深层方式理解输入的目标任务，或者从预训练中学到某种非常罕见、在数据中占比很小的技能。还有从这些可验证的任务泛化到不那么可验证的任务，这也是一种先验上没有理由预期会出现的泛化。

德瓦克什·帕特尔

这是个有意思的问题，因为有一种直觉模型可以解释为什么你会很快看到某种奇点，甚至不需要扩大 AI 进展中除 AI 劳动力之外的那些投入：在你运行每一个七位数规模的实验之前，你都花同等数量的算力去做 AI 劳动。也就是说，你们的自动化版本花上一个世纪去思考该运行什么样的实验才是最优的，做小规模的消融实验，发展出整整一个世纪的理论，甚至可以追溯到深度学习出现之前。

在决定运行什么实验之前，你已经把实验的设置做到了极其优化。然后在实验结束后，你再用一个世纪去思考，分析发生了什么，以及下一个该运行的实验是什么。

约翰·舒尔曼

如果你想得足够深，你很可能事先就能预料到其中的一些事情。大概存在某种非常巧妙的小规模实验方式，可以让你建立起理论，进而推广到大规模实验。所以我预期，我们离研究能做到多好的上限还差得很远。

我设想未来 AI 会做大量的分析和理论构建，所花费的算力与你花在实验本身上的算力相当，进行各种分析，并围绕我们迄今所见的结果建立理论。

查理·奥尼尔

我认为在目标被明确界定时，有非常具体的例子。思考所能做的，只是根据你形成先验之后所获得的信息位来更新你的后验。仅靠思考，你无法获得任何新的信息位。但当目标被明确界定，而且手边有这些数据时，我想在我们当前所处的范式里会出现一次大幅提速。

一个很好的例子是，如果你让 AI 去思考卡普兰缩放定律。现在的 AI 会注意到：“哦，他们只是取了这些中间检查点，而没有考虑退火，所以这是错的。”这本来在几年前就能被发现。仅凭 AI 的这一个观察，我们就可能省下一两年的进展时间。

再说一次，一旦目标被明确界定，比如更低的预训练损失之类，有很多很多好例子表明，如果你多想一想，就能大幅削减你做过的那些事情。比如 muP，还有学习率如何随模型规模缩放，并意识到模型宽度在其中也很重要。我觉得你确实可以反推出很多这样的东西，并摘掉许多唾手可得的成果。如果我们要做的只是“最大化我们当前所用的目标”，我想大概能有 10 倍的提速。

但我看不出这如何能泛化到最初就想出正确的目标。仅靠思考，并不一定能让你一开始就得到正确的目标。

贝伦·米利奇

我认为这确实是当前 AI 要实现任何非常快速的 RSI 的关键问题：AI 能在多大程度上泛化到学习它们自己的目标？要有任何一种自我驱动的自动化循环，我们需要 AI 提出目标、优化目标、把问题想清楚，再提出新的目标，并且在很长很长的时间里，这一切都不能在任何环节出轨。

回到莫拉维克悖论，这里可能就存在一种莫拉维克悖论的情形：我们觉得这种自主性和自我封闭的能力，也就是我们可以自己想好该做什么，然后去做，并形成这个循环，是极其容易的，因为我们总是在这样做。显然，进化需要造出能够独立存活很长时间的生物。而这一点对 AI 来说，也许由于某种原因真的很难，就像运动控制这类事情很难，而数学反而很容易，尽管数学对我们来说非常难。

德瓦克什·帕特尔

但时间跨度的不断增长难道不是表明那——

贝伦·米利奇

对，没错。这是另一种可能性，但我同意，目前没有明显的证据支持它。事实上，我们的智能体现在极其持久，而且这样做相当容易，这在某种程度上恰恰是反对这种可能性的证据。但如果这件事很难，它就可能成为我们没能迎来那种立即起飞的原因之一。

德瓦克什·帕特尔

如果你回顾从 2012 年到现在，或者从你开始做研究到现在，在这期间发生的所有创新中，包括纯工程方面的，也包括纯概念方面的，哪一部分看起来会是在 AI 彻底自动化 AI 研发之前，人类必须做的最后一件事？

贝伦·米利奇

大概就是不断迭代地提出正确的问题。即使你能让 AI 做任何实验，你仍然需要决定做哪些实验。我认为现在 AI 在这方面不如写实验代码做得好。每当我们谈到研究，它们提出的是一堆杂七杂八、步子非常非常小的东西。

查理·奥尼尔

或者说，从 DeepMind 的思路，“我们要通过学会以超人水平玩游戏来解决智能问题”，到某个像拉德福德这样的普通研究员说，“我要试着预测一大片数据中的下一个 token”……即使拉德福德已经发现了这一点，也过了一段时间人们才决定把它规模化，因为我们必须先提出缩放定律的想法，以及这些东西可以被非常可靠地预测这一事实。

约翰·舒尔曼

我认为，人类的最后一份工作，或者说持续时间最长的人类角色，是定义目标并决定我们究竟想要什么。就这一点而言，比如决定 AI 助手应该如何表现，或者什么才算有帮助，或者在做基于人类反馈的强化学习时目标是什么，就是这样的事情之一。后来，制定宪章和模型规范则是另一件。即使 AI 能完成所有技术工作，我们仍然得做很多这类事情，并决定我们究竟想要什么。

德瓦克什·帕特尔

对齐是最后的工作。

约翰·舒尔曼

对齐在某种程度上就是答案。但对齐本身可以分解为目标的设定，也就是弄清楚正确的目标应该是什么，以及随后真正实现或优化你所定义的目标。我认为前者在短期内不会消失。

如果我想想一个后训练团队，以及为什么团队里需要很多人，原因就是有很多不同的领域，你得在每个领域弄清楚模型应该如何表现。要把整件事全部自动化会非常困难，仅仅因为总得有人去思考模型在这个领域应该如何表现。

18:39德瓦克什·帕特尔

为什么模型提供商没有出现大规模的整合？有太多因素都指向中心化。如果你把时间拉长到几年，有什么东西能阻止这种情况吗？

约翰·舒尔曼

我认为蒸馏是对抗中心化力量的主要因素。基本上，任何可以通过强化学习学到的东西，都可以很容易地被蒸馏，因为它只涉及少量信息位。你可以从少量数据中学到它。只要你能从模型那里拿到展示某种行为的轨迹，就可以轻松地把它蒸馏出来。我认为蒸馏是对抗中心化的因素之一。

还有一种可能是出现针对特定公司的模型，也就是可以从部署中学习，让一家公司持续改进它自己的模型。这样的系统可能由当前的模型提供商寡头来提供，也可能由某个目前规模较小的公司来提供。但我认为这会在一定程度上改变游戏规则。

贝伦·米利奇

我还想指出，说实话，持续学习并不能阻止蒸馏。即使你的模型每天都在改进，人们也可以每天去蒸馏它。这些循环可以以同样的节奏运转。

德瓦克什·帕特尔

有道理。所以要复制模型行为……我想你自己得知道该用什么样的分布去提示，才能得到相应的模型行为？

约翰·舒尔曼

哦，是的。仅仅用监督学习来蒸馏的话，提示分布极其重要。蒸馏一个模型绝非易事，即使你拥有对它的完整访问权限，也能拿到思维链和所有内容。要把它所有有用的能力都蒸馏出来并不容易，因为你得拿某些东西去提示模型。你需要用真实的提示去提示它。你需要一个非常广泛的真实提示分布。

最近有一件事逐渐浮出水面：一些中国公司很可能在使用那些路由服务，这些服务的设计目的是让中国的人能够使用美国的前沿模型，否则这些模型在中国是被屏蔽的。有各种各样的路由或代理服务，让中国的人使用这些模型，主要用于写代码。而这些路由服务正在收集并出售其中一些数据。这对蒸馏来说是非常有用的数据集，因为它给了你完美的提示分布。

贝伦·米利奇

我认为这是 AI 能帮上大忙的事情之一。如果你真正去看前沿的流水线，或者中国模型在论文里实际写出来的做法，他们会从某处获得种子提示，来源是人类和这类数据的某种组合。然后他们用自己现有的模型或其他前沿模型，从这些种子提示合成出覆盖面极广的数据。这种提示分布的收集和环境的创建，有很大一部分是可以自动化的。随着模型变得更好，人类需要提供的信息位越来越少。

德瓦克什·帕特尔

但看起来你仍然会被卡在必须有一个让用户使用的服务上。

贝伦·米利奇

不一定。那显然很有帮助，但理论上你完全可以去思考用户想要什么。

德瓦克什·帕特尔

但关键就在于，用户会说：“给我做一个这样的应用。哦，这个不行。我其实想让你做这个新功能。不过其实，我们退一步，做另外一件事吧。”捕捉整个这样的过程轨迹才是关键。或者说，如果你本来就能做到这一点，那你就已经有 RSI 了。

贝伦·米利奇

归根结底，如果你有这样一个完全自动化的循环，那基本上就是 RSI。AI 在决定数据，在决定训练。这就是那个循环。但这取决于你需要多少人类信息。到了某个时候，如果你只是说，“我想要看起来像这样的轨迹”，你把它提示给模型，模型就能给出相当不错的近似。

德瓦克什·帕特尔

但如果你想要的是，“给我做一个非常出色的政治家”，那它就得凭空预测参议院大厅里的讨论会如何进行之类的事情呢？我只是觉得会有很多事情是——

贝伦·米利奇

讽刺的是，这对蒸馏者来说其实比对前沿实验室更容易。蒸馏者只需要说：“我想要一个好的政治家。”他们去找前沿模型。前沿模型已经知道怎么当一个好的政治家，所以它直接生成这些轨迹。而如果你真的想打造第一个能做到这一点的模型，你就得想办法获取政治家每天都做些什么的数据，并据此构建。其实，说“我想要类似这样的东西”，然后让 AI 生成十亿个变体，要比一开始就真正创造出这样的东西容易得多。

查理·奥尼尔

我认为你其实可以基于中国实验室拥有这些路由数据的观察，做出一个非常具体的预测。最初引出这个话题的是我当时说的：“你不觉得奇怪吗？Sonnet 5 和 Opus 5 几乎客观上是比 GLM-5.3 和 Kimi K3 更差的模型，尽管它们不仅能拿到蒸馏，甚至能拿到来自 Mythos 的 logit 蒸馏？”对此的反驳是，提示分布真的非常重要。你需要看到用户在做什么，这样才能把这些行为和东西蒸馏进去。

我认为由此得出的预测是，前沿实验室现在在强化学习环境上不一定有多大优势，甚至可能毫无优势。是的，用户分布对通用行为等方面很重要，但衡量一种能力的最佳标准，是你在前沿构建的那些非常非常难的强化学习环境。如果你作为 Anthropic 能接触到这些强化学习环境，也能使用 logit 蒸馏，却仍然做出了更差的模型，那么也许——

德瓦克什·帕特尔

那就说明真实世界的部署比环境更重要。这真的很有意思。

但他们当初在 Fable，也就是那个前沿模型里，本来就得激励出这些能力。所以奇怪的是，他们却不能用一个更小的模型之类的再次激励出它们。

查理·奥尼尔

也许我们只是处在某种奇怪的恐怖谷里：过于努力地去复制那个前沿模型，师生之间的差距，不管它是什么，就是太大了。人们已经用 Opus 提出过这一点。Opus 4.6 和 Opus 5 的区别在于，Opus 5 真的让人感觉它内置了一个 AI 评判者，在检查它所做的每一件可能的事。这就是为什么它用了那么多 token。它试图思考所有这些事情，但它不一定有 Fable 那种大模型的味道，来知道什么时候该停止这样做，或者什么时候是一条好的路径。

德瓦克什·帕特尔

心有余而力不足。

约翰·舒尔曼

我想提出一个略有不同的假设。我认为你可以创建的环境有几个不同的维度。其中一个是难度，另一个是真实度。

相对而言，创建大量困难的环境比较容易，这些环境要求完成复杂得多的任务，或者做一些需要更多巧思的事情。你可以说这就是刷榜（benchmaxxing）式的分布，因为很多最突出的基准测试，只是要求完成某种很难的、类似谜题的、容易验证的任务。然后是真实度这个维度，你希望模型在真实的编程智能体场景中表现良好，在这种场景里，与人类有多轮来回交流，并且有多个目标。

第一次塑造模型行为的实验室需要在两个方向上都推进。要获得良好的模型行为，你需要大力推进真实度这个维度，并用评分细则或某种人类反馈来为你在那里使用的奖励函数提供信息。但如果你天真地做蒸馏，最终只会在刷榜式分布上与教师模型相匹配。如果你没有足够多的环境来真正锻炼这些更棘手的真实场景中的能力，那你就无法把这些能力放进你的学生模型里。

我想也许正在发生的一件事是，大模型能更好地从这些棘手的狭窄任务泛化到更真实的任务。如果你有一个非常好的、真实的蒸馏提示分布，你就可以很好地匹配大模型。但如果你只有这种容易验证的任务分布，那么你可以在所有基准测试上匹配大模型，但在这个更广泛的分布上表现更差。

这甚至可能解释了 Anthropic 那些较小模型的一些情况，比如 Sonnet 5，不过很难准确预测他们是如何对这些模型做后训练的。也可能是他们一直在改变后训练的整套流程，而在其中一些模型里恰好出了几处错。我不知道……比如他们把某个东西调得太高，造成了一些人们真的不喜欢的怪癖。后训练很容易以某种在基准测试里看不出来的方式搞砸。

贝伦·米利奇

还有一个非常基本的点：前沿 AI 实验室的所有数据都是从大型数据公司买来的。中国公司也可以直接从这些数据公司买到同样的数据。

德瓦克什·帕特尔

而且他们确实在买，对吧？

贝伦·米利奇

他们确实在买。没错。有很多人对此感到不满，但如果他们有完全相同的数据，而且能买到，那他们也可以做蒸馏。这意味着，其实相当容易跟上。

28:06德瓦克什·帕特尔

我的另一个问题是，第一批能够自动化 AI 研发的模型实际上将如何训练。有一个玩具版本，就是瑞安谈到的那个东西：你让 GPT-8 去构建 GPT-3 规模的模型，让这些模型非常擅长内层循环类型的挑战，比如通关需要持续学习的电子游戏，或者以最少的算力达到某个特定的损失，等等。

但约翰，我记得你提出过一个有意思的观点，也许实际上在现实中并不会这样发生。所以我很好奇，到了你拥有真正能够自动化 AI 研发的 AI 的时候，它们大概是怎么训练的？

约翰·舒尔曼

我们大概会结合使用两种做法：一是从人类反馈中学习，以吸收研究人员的品味；二是创建大量涉及多步骤研究项目的练习环境。实践中，人们会把这两件事结合起来做，并在每一轮迭代中修补上一轮里看起来问题最大的地方。研究人员会大量使用这些 AI，并注意到它们存在一些一贯的弱点。这些问题要么通过收集人类反馈来修补，要么通过创建环境来修补。

查理·奥尼尔

也许一个有用的思考方式是：我们要把谱系回退多远，然后再从那里开始自我对弈。在极限情况下，你设想的是只给它们一块 GPU，也许再加上神经网络之类的东西，然后说：“好，去想办法训练一个模型来完成这些特定任务。”目前的做法是，我们走到谱系的最前沿，然后说：“好，这是 Anthropic 在过去几个月里在其训练栈中发现的 bug。我们把它们变成环境。”你需要在前沿上训练并变得更好。所以显然你会把之前整个谱系的历史都锁定下来。

但你可以想象这样一个世界：你回退到 GRPO 之前之类的时间点。然后你设置一些环境，让它去发现对模型做强化学习的最佳形式，然后也许再继续往前回退，越退越远……但我认为我们仍然会受到算力的严重制约，所以人们会一直待在前沿，本质上就是对比自上一个模型版本以来发现的 bug 和各种改进，把这些变成训练环境。

德瓦克什·帕特尔

这对于在模型代际之间获得不陈旧的新数据也非常有利。再说一遍，这基本上就是 AI 实验室内部的持续学习：通过环境和 RLHF 类的方法，把过去三个月的 AI 研究进展蒸馏回模型本身。

查理·奥尼尔

而且它确实是在蒸馏。这也许正是我们中有些人觉得它是渐近的原因。你总是只在试图获得过去三个月的进展。这些进展当然有 AI 的贡献，但仍然有人类参与其中。感觉就像你在不断地一点点逼近人类研究人员所发现的和所能做到的东西。

贝伦·米利奇

不过我要说的一点是，显然，如果你只是在轨迹上做蒸馏，就永远无法超越它。但环境可以远远超出人类所能做到的水平。设计一个没有任何人类能解决的环境是很容易的，而 AI 显然仍然可以尝试去解决它。这会是超越人类 AI 研究水平的一条路径。

查理·奥尼尔

就 RSI 而言，你有没有一个例子，说明是哪一类训练集？

德瓦克什·帕特尔

Nanochat 速通，但比人类速通选手做得还要快。

贝伦·米利奇

我觉得尤其在 AI 研究中，定义目标是很容易的。你可以说损失需要达到 1.3 之类的，而现在没有任何人类能做到。但这是一个极其可度量、可验证的任务。如果 AI 做到了，那就太好了。

德瓦克什·帕特尔

或者，我不知道，构建一个 1 亿参数的模型来通关 Minecraft。这也许太简单了，那就换成通关一个复杂得多的游戏之类的。

查理·奥尼尔

1 亿参数的模型就能通关 Minecraft，这难道不疯狂吗？我们居然还说那太简单？想象一下你五年前这么说会怎样。

约翰·舒尔曼

不过我想说，很多研究并不完全是那样的，也就是对一个定义明确的目标进行爬山式优化。更多时候是这样：我们对模型应该在某方面变得更好有一种直觉。我们也有一个算法想法，看起来在这个方向上有那么一点作用。那么我们就设计一个任务，专门用来显示这种方法有没有生命迹象，看看能不能看到这些迹象。如果看到了，我们可以逐步做出越来越真实的任务版本。

德瓦克什·帕特尔

这更多是由直觉引导的。内层循环是用来检验那个直觉的，而不是由测试本身带来洞见。

约翰·舒尔曼

对。你不是在直接优化你最终关心的目标，或者实际生产中的目标。你是在稍微放宽你的目标。你是在说：“让我们在真实度这个维度上稍微放松一点，找到一些真正有效的方法，然后等方法稍微成熟之后，再设法回到真实场景。”

还有一些研究更偏向于解释现象和发展理论。机器学习里往往没有那么具备预测力的数学理论。但我们有很多更非正式的理论来解释正在发生的事情。

贝伦·米利奇

想来模型会在所有这些任务的某种组合上接受训练。有些会非常容易验证，有些会是让 LLM 当评判者，或者直接问人类：“这看起来合理吗？”希望这些都能泛化到那些难得多、更模糊的任务上。在某种程度上很可能会。至于它泛化到什么程度，才能让这个循环在完全没有人类参与的情况下实现自我闭环，目前还不清楚。

33:51德瓦克什·帕特尔

也许退一步看。在我看来，未来 AI 研究的计划是这样的。你告诉我你是否认为它行得通，或者你是否同意这种描述。这个赌注是：我们会把 RLVR 训练扩展到数百万个不同的环境，覆盖数百种不同的领域。最终出现的将是一个智能体，它学会了这些基本技能，或者说比基本技能更初级的技能，涉及保持持久性、对信息和上下文进行分流筛选，最终实现与其他智能体协作等方面的端到端优化，诸如此类。

这样的智能体在上下文内会非常样本高效，你做过关于如何扩展上下文内学习使其可以任意长的研究，然后你不断地扩大它。最终出来的东西，基本上就像一个即插即用的远程员工，可以持续工作一周或一个月。

首先，你们是否同意这就是各实验室正在下的赌注？其次，这样够吗？也就是基本上在数据中心内的这些模拟环境中学会如何学习，然后被部署到真实世界，但并不真正从真实世界的部署中学习……只是从数据中心的模拟环境里学习这些元技能。

查理·奥尼尔

我认为现在很难分清，各实验室有多少精力用于直接的 RSI，又有多少是用于打造通用智能模型，以便继续部署并获得收入，来资助下一次大规模训练。

对于后者，是的，这大概就是他们下的赌注。过去几年这些环境的发展方向，模式非常清楚。Anthropic 的环境谱系就是一个非常清楚的例子。首先，我们只专注于编程，并把它做到非常非常好。然后，从我们在编程上得到的任务时间跨度出发，编程大概是在互联网上可用数据以及他们内部可转化为环境的资料方面最容易摘到的果实，接着我们就进行泛化。

我们接下来会进军金融，强化学习训练里简直全是 Excel 数据之类的东西。然后是 PowerPoint。这是工作经济里的长尾。这看起来效果非常好。很多其他实验室，甚至开源实验室，现在都意识到那是正确的赌注。

德瓦克什·帕特尔

但由此可以推出什么呢？我在播客里采访达里奥的时候，我问他的是：如果你真的预期模型会拥有类似人类的在职学习能力，那你为什么还要把使用 PowerPoint 之类的这些技能都烙进去？难道你不应该预期模型在部署后就能自己学会吗？

有几种不同的解释。一种是，我们预期模型很快会做到这一点，但现在还没到，那为什么不把这些技能摊销到模型训练中呢？另一种是，我们并不专注于让它在广泛部署的工作上变得很出色。我们只想让它在 RSI 上很出色。这只是我们获取收入的一种方式，这样我们就能把收入投回到一个真正擅长做 RSI 开发的模型上。然后，一旦奇点发生，最终出现的东西将会擅长所有那些对当前这一代模型来说看似瓶颈的事情。

约翰，我不知道你对此有什么看法：如果路径是这种泛化，那么应该如何理解这些模型里为什么有这么多特定任务的知识。

约翰·舒尔曼

如果模型足够擅长在上下文中学习，那么理论上你就不需要在金融上训练它们。它们可以现场读完所有的书，并弄清楚如何在相应的司法辖区里做好一切。你可以说，做这么多特定领域的训练只是为了让它们更高效。即使它们聪明到能当场弄清这些，你可能仍然想做一大批强化学习，把所有这些直觉烙进权重里，这样模型在运行时会更高效。

在实践中，模型提供商看起来确实是一个领域一个领域地推进，试图在价值最高的领域里增强模型。我会说，这就是模型为什么进步这么大的答案之一。仅仅是因为模型提供商已经覆盖了许多高价值领域和最常见的技能类型。

贝伦·米利奇

另一点是，同时做两件事并没有那么昂贵。这些模型非常庞大。就参数而言，它们完全有余力学习一切。很可能存在一定的迁移。即使金融并不是特定于 RSI 的，这些信息对 RSI 也很重要。比如如何判断什么重要、如何拥有品味、如何做长时程工作，这类通用的元学习有可能是可以泛化的。

而且世界上的 RSI 数据本来就不多。它很难生成，需要大量努力。所以如果你能把其他这些数据摊销进来，就能从中获得一些迁移。你已经有了海量的算力和海量的参数空间，那么除了显而易见的销售模型这一商业意图之外，为什么不也这么做呢？

约翰·舒尔曼

我想补充一点，有一个问题是：目前这种从模拟到现实的范式，是否会永远占据主导地位。你看看现实世界的任务是什么样的，然后试着创建一批可以在数据中心里模拟的环境，并在上面做强化学习。显然，这一做法非常成功。但它有很多弱点，因为很多东西很难模拟，尤其是那些涉及与一群人实时交互的东西。所以，从模拟到现实是否会永远是主导框架，这是存疑的。

贝伦·米利奇

我认为在样本效率较低的情况下，从模拟到现实必须是主导框架，因为现在你需要与人类进行成千上万次交互。没有哪个人会坐在那里参与强化学习训练的循环。所以我们现在必须模拟这一过程，才能得到所需的样本。但显然，如果样本效率大幅提高，你会预期从部署中学习将成为其中大得多的一部分。

约翰·舒尔曼

不过你也可以做其他事情。你可以进行离策略学习，也就是拿到所有的轨迹，即使不重新模拟一切，也有可能从中学到一些东西。

德瓦克什·帕特尔

我想就此多问一些，因为奇怪的是，有 50% 的算力花在推理上，却没有直接帮助模型变得更好。你会预期数字心智最终会拥有的一个关键优势是：人类只能拥有 50 年的现实世界经验，而模型通过它所有的实例，将能体验到数百万年的部署，覆盖经济中各种与经济相关的工作。现在，这些数据在实质意义上并没有帮助模型变得更好。

显然，模型最终应该能够从这些数据中学习。一旦它们做到这一点，你就会得到一种几乎像是广泛部署的智能爆炸的东西，因为模型正在从所有这些部署的实例中吸收如此多的信息。你预计这种蜂群思维式的、疯狂的事情什么时候会开始发生？

贝伦·米利奇

我认为从大体上说，在最基本的层面上，这已经在发生了……就在下一代模型里。现在，你显然可以把部署数据放进未来模型的预训练或中期训练里，尤其是在你对它做了某种过滤、判断、标注或合成之后。

德瓦克什·帕特尔

你认为这在多大程度上解释了一代又一代模型的改进？

贝伦·米利奇

我认为它解释了相当大一部分。我不知道各实验室是否这样做，因为理论上，他们声称不会用人们的数据来训练。但中国公司百分之百会这样做。他们肯定能得到这个优势。这基本上就是蒸馏的含义。他们拿到模型，通过调用模型获得一部分部署数据，然后用这些数据训练他们的下一代模型。他们当然也可以对自己的模型这样做。完全没有理由不这么做。

查理·奥尼尔

我完全同意。如果你把视野拉得足够远，这肯定正在发生。我们所有人设想的、持续学习的圣杯，是一个单独的模型获得经验、当场实时更新并从中学习的、非常有机的实时循环。当你放大到那种粒度时，很多东西都会崩坏。但大型实验室正在做这件事。闭源模型正在这样做。

也已经有了一些早期的生命迹象：有人在使用开源模型，以快得多的节奏做这件事。一个很好的例子大概是 Composer。Harvey 也在用法律智能体做同样的事情。你有某种模型，然后你从自己掌握的数据中针对那个特定任务获得非常具体的环境，还有用户抱怨的问题，以及你以某种方式从特定部署中提取出来的所有反馈。很多这类公司相对于大型实验室的优势在于，它们能把这些数据用得非常非常好。

然后他们会创建环境。他们会对 Kimi K3 做一次大规模的后训练。他们会去部署它。他们可能还会做一些在线学习，就像 Composer 做的在线……基本上是长时间的 REINFORCE。

这里仍然有人类参与其中。仍然是由人来说：“好，这些是我们关心的信号。这是我们打算如何用手头的数据创建环境。”它的节奏仍然比你可能设想的要长，但它确实正在发生。最终这个循环会变得越来越快。

德瓦克什·帕特尔

Composer 这个例子很有意思，因为在 Cursor 里，人们对模型建议的下一个补全按或不按 Tab 键。基于这一点，Composer 每天都在更好地预测下一个——

查理·奥尼尔

那是旧的 Tab 模型。他们实际上不只是对 Tab 模型，对真正的生成模型也做了同样的事情。

德瓦克什·帕特尔

哦，明白了。有意思。

查理·奥尼尔

这很难，因为做在线强化学习时，你没有分组。你只有一个用户说了一件事，然后你得到一次 rollout。所以你面临一个很大的方差缩减问题。

Cursor 对此的模糊回答是：“我们有非常好的启发式方法，能够估计这个回复比平均水平好多少，或者比平均水平差多少。”然后他们会做一次大规模的 REINFORCE 更新。至于它是否变差了，他们的解决办法是：如果新模型在 CursorBench 上有所提升，他们就每五个小时部署一次新模型。如果没有提升，就把那个版本扔掉。

约翰·舒尔曼

我认为你最大的问题其实是不知道对自然数据来说奖励函数应该是什么。如果你使用某种表面的信号，比如他们有没有接受这次编辑，那可能会被以某种方式奖励作弊。

45:24德瓦克什·帕特尔

但这难道不是从模拟到现实问题中更大的症结吗？任务的时间跨度越长，就越难在数据中心里模拟。在我看来，即使在编程领域，我们也已经走到这样一个地步：不存在某个耗时一年的编程任务，最终不需要你与客户交谈、与公司互动或与用户互动。

想想我们希望 AI 能够胜任的全部事情，最终超级智能应该能够经营一家企业，或者创办一家新企业并使其盈利，或者在市场上日内交易盈利，或者打赢一场官司。这些都是很难在数据中心里模拟的事情。那里面学习的一个固有部分就是与现实世界互动。

也许它们是通过从模拟到现实的迁移来学会如何在这些事情上做得更好的。但另一种可能是，你确实需要来自这类交互的权重更新才能在这些事情上变得更好。如果是这样，也就是迁移不够强而你确实需要权重更新，那么模型的样本效率相当低这一点，也许就是一个更深层的问题。

我之所以好奇这一点，是因为在默认情况下，我看不出未来 10 年内怎么可能不出现某种疯狂的递归自我改进。但它可能不会发生的一个原因是，就权重更新的样本效率而言，模型似乎远远落后于人类。从人类从出生到成年所看到的数据量，对比模型从冷启动到完成训练所看到的数据量来看，它们很可能落后人类一百万倍。

我想说的是，首先，在模拟环境与我们希望 AI 在现实世界中做的那些极长时程、真正复杂的现实事务之间，会有良好的迁移吗？而如果没有，这是否真的意味着这些模型样本效率不足的问题会反咬我们一口？

查理·奥尼尔

也许我会这样划分两类任务，即模型能做好的任务和模型仍将继续挣扎的任务：看这个任务是不是累积性的，还是说它的分布是非平稳的，你必须不断学习、不断重新审议很多东西。

累积性任务的一个例子可能就是 RSI。理论上有可能写出一个不到一百万 token 的 Python 文件，从零开始训练出一个能够递归自我改进的模型。你做出的每一个发现都是你守住的一条阵线。如果 RSI 确实不需要我们发现新的注意力变体之类的东西，那么一旦你发现了注意力机制，发现了混合专家，发现了 GRPO，你只要把它加到训练栈里，它就一直在那里了。

一个很好的例子是训练 5.6 Sol、5.6 Terra，或者 OpenAI 告诉我们它训练的无论哪一个。它不需要回头去发现注意力机制。它基本上只需要调用一堆脚本，比如 pre-training.sh 和 post-training.sh，然后就完成了。这就是累积性任务的一个例子。

我认为现实世界，以及人们如此关注持续学习的原因，并不真正是一个累积性任务。想象一下在一家律师事务所里，你有一个智能体担任法律助理。那是一个非常非平稳的分布。你必须能把那家公司所有重要人物之间的关系都放进你的上下文里，而这些关系还在不断变化。你有各种隐性的做事方式、去哪里找信息等等。这不像 RSI 那样是一个干净的累积性任务的例子。

我认为任务之间会出现这样的分化。但如果各实验室意识到了这一点，也就是他们确实相信 RSI 是累积性的，意思是我们不需要回头去发现某种全新的架构之类的东西，那么也许会有越来越多的精力和算力集中到这上面，而不是其他任务。

德瓦克什·帕特尔

真不幸，RSI 居然碰巧比当律师助理还容易。

约翰·舒尔曼

我会说，今天的模型在很多不同方面都比人类弱。其中有些可能与特定范围内的样本效率有关。在某些范围内，模型的样本效率非常高，比如上下文内学习。但在某个中等长度的范围里，它们的样本效率可能较低，因为人类能比模型更高效地进行某种权重更新。我认为在某些范围内样本效率较低，可能是弱点的来源之一。

但我认为还有其他与此完全不同的弱点来源。例如，思维多样性低于人类，或者在某些长时程判断上表现不佳。我认为人们所说的品味，很大一部分是关于那些长期来看行得通的行为，并且是人们已经认识到长期行得通的行为。不是全部，但品味的某个方面是这样。尤其对于软件工程这样的事情，我认为很大一部分品味在于：“哪些系统在这个项目的长期运行中是可维护的、运转良好的？”

模型有各种各样的弱点，它们与其他因素一起限制着 RSI。其中有些与样本效率有关，有些则无关。

查理·奥尼尔

也许一个有意思的思想实验是这样的。假设你能给模型一个一万亿 token 的上下文窗口，或者说，容纳你在比如 RLHF 之前的全部经验所需要的任何长度。它的上下文窗口里有了所有这些经验，并且它的样本效率和上下文内学习能力与在一百万 token 时相同。你认为品味问题就解决了吗？它能做出和你一样的判断吗？还是说除了更长的上下文窗口和相同的样本效率之外，还有某种根本性的东西缺失？

约翰·舒尔曼

它得经过训练，学会从那个上下文中学习。要么它得被训练成从那个上下文中学到应该做的正确更新，要么它得靠泛化。

查理·奥尼尔

所以你认为不能直接把你的整个人生、你的研究经验全部倒进去？

贝伦·米利奇

你仍然需要数据来训练它处理长上下文。即使理论上你能得到一万亿的上下文，你也需要一万亿长度的数据来训练它。现在你有 1 万 token 的上下文，你不能直接塞进一百万。

查理·奥尼尔

是的，我只是在问如果你有那个条件会怎样。

贝伦·米利奇

理论上，我认为可以。这真的只取决于品味有多大程度上可以从较短时程的片段中被元学习。我觉得没有明显的理由说它必须非常长，因为人类也是在没有很多长片段的情况下以某种方式发展出品味的。我们不会活到一万岁。我们发展得相当快。

哪怕想想读博士，一年级博士生与最后一年的学生或博士后之间的差别，大概是五年。他们总共可能只做过 10 到 30 个研究项目。但他们以某种方式，从相对短的一连串小事中相当快地发展出了品味。理论上，可以这样发展出来。

AI 显然会有多得多的经验可以用来发展品味、对其进行元学习。那么问题是这能多大程度上泛化到真正长时程的事情上，我认为目前这一点确实还没有解决。我们不知道。

德瓦克什·帕特尔

回到这个问题，最终应该会出现这样一种状态：AI 从它们每一个单独的部署实例中学到大量东西。目前你可以说存在某种模糊的元过程，让模型确实能从部署中得到改进。但我觉得这是一个非常弱的反馈回路。你是否预见到这种情况会出现在地平线上，也就是出现这种非常迅速的蜂群思维式学习？如果是的话，它究竟会如何发生？

约翰·舒尔曼

我认为我们能否得到一个从其全部部署经验中学习的蜂群思维，很大程度上取决于激励，而不是一个技术问题。公司不会希望模型提供商从它们所有的部署中学习，因为那可能会削弱它们的业务优势。

查理·奥尼尔

我认为这方面的经济因素会推动的，不一定是对一个共享的大通用模型做权重更新，而是可以替换接入的模块。一个很明显的例子是 LoRA，但也可能是别的东西。

已经有很多工作试图把任意长度的上下文装进一个固定大小里。这都是线性注意力那一类东西。还有 cartridges（卡带），本质上是经过训练、被高度压缩以容纳大量信息的 KV 缓存。这是公司可能愿意接受的另一个例子，如果它能被接入模型，而又不实际改变底层的基础模型本身。

实时从你的数据中学习有很多不同的版本。后面那些其实对大型实验室没有帮助，因为它们只是这些模块。但我认为经济压力会迫使实验室先走上这条路，然后才能着手去做这个……

贝伦·米利奇

不过是哪种经济压力呢？我觉得即使你有一堆 cartridges 或 LoRA 之类的东西，你仍然可以把所有这些轨迹倒进你下一代模型的预训练里。

查理·奥尼尔

是的。大型实验室获得的可能是一种更间接的学习形式。这显然对他们仍然很有价值。但我想象不出这样一个世界：一开始就说，“我们要直接用我们得到的所有原始数据去训练这一个大模型。”

贝伦·米利奇

不，我认为它肯定会分阶段进行，因为那样的说法是假设存在一个不连续的事件，我们突然就解决了持续的权重更新。实际上，我认为更可能的情况是，cartridges 之类的东西让你能够针对具体部署做专门化。然后你生成轨迹，把它放进你的模型里，三个月后你推出一个在这些方面更好的模型。你再次专门化，再次整合，最终我们会让这种跃迁越来越快。

不再是每三个月发布一个模型，而是每周，然后每天，然后每小时，到那时我们基本上就解决了这个问题。

查理·奥尼尔

我认为这也是一个很好的观点，因为你问过当前范式离能够做到这一点还有多远。我们对此做过一些研究，其他人也做过很多研究。在非常大的规模上，当你洗掉足够多的噪声、并且批量足够大时，这种把数据放进中期训练、创建我们自己的环境的外层循环过程，确实在某种持续学习的状态下有效。

但问题是，当你放大到足够近的微观层面时，比如我有一个模型，我想再为一家律师事务所之类的对象更新它，并且要用相对少量的数据非常持续地做这件事，所有这些方法都会在一定程度上失效。如果我只在成功的轨迹上对模型做 SFT，无论是离策略还是在策略，最终在非常迭代的状态下，当你做了数百次这样的微更新时，你会看到灾难性遗忘。你会看到对此前在基础模型之上学到的、更早期信息的遗忘，还会看到通用能力的退化。

在策略蒸馏似乎能把这个界限稍微往外推一点，但最终仍然会遇到同样的问题。强化学习擅长注入能力，但不太擅长注入知识，也就是那种非常明确的知识，比如：“啊，好的，这个人在这家律师事务所里做这件事，而这是我们发现的一个非常具体的流程。”你得投入大量算力去创建合适的环境，才能通过强化学习把这些知识灌进去。

德瓦克什·帕特尔

你认为这里的根本问题，也就是为什么在这些其他技能上会变差或者出现遗忘，本质上是容量问题还是技术问题？

查理·奥尼尔

两者各占一点。我认为 SFT 甚至在策略蒸馏可能破坏性太大。强化学习之所以这么好，是因为它对模型的改变非常非常小。有很多证据说明为什么是这样。它只是在这个非常非常小的损失山谷里做些微调，把模型调到正确的点上。但这也限制了你能用强化学习做什么，限制了你实际上能改变模型多少。

德瓦克什·帕特尔

所以你的意思是，这很可能不会赢家通吃的原因，就是很难把那么多信息蒸馏进基础模型里？

查理·奥尼尔

也就是在迭代过程中，不把某些东西搞坏的前提下很难做到。

贝伦·米利奇

把它蒸馏进另一个不同的基础模型是容易的。我认为这就是它主要属于技术问题的地方。绝对不是说没有容量。如果你有一个模型，拥有所有这些数据，然后你取一个完全相同大小的模型，用中期训练里的所有内容从头开始预训练，它会更好。我认为今天很大一部分情况就是这样。

有一个很明显的瓶颈，阻止我们永远持续训练同一个模型，而不是直接从旧模型获取所有数据、从头训练一个新模型。这正如查理所说：是可塑性和灾难性遗忘的某种组合。如果你只是天真地在非平稳数据上训练，因为你是边走边加入新数据，这会扰乱数据分布，所以旧的东西就被遗忘了。我们并没有真正好的方法来阻止这种情况发生。

德瓦克什·帕特尔

所以也许在极限情况下，你的瓶颈就在于要带着所有这些新信息从头重新训练模型。

贝伦·米利奇

是的，而这当然非常昂贵。从头训练一个模型是昂贵的。

德瓦克什·帕特尔

但反正你都是要这么做的。

贝伦·米利奇

不一定。也许最终，如果你有了持续学习，你就永远不需要训练新模型。你只有一个模型，它不断学习、不断扩展。

德瓦克什·帕特尔

但可能存在某种深层的技术原因，使得这非常困难。

查理·奥尼尔

这正是问题所在。我认为我们已经把需要从头做的部分往后推了一些。现在肯定可以拿预训练好的基础模型，在其上做非常好的中期训练，某种程度上是持续的，再加上从训练后期不同检查点出发的一些强化学习。这看起来更像持续学习，但这当然还不是拿最新的模型，做几次非常小的更新，然后迭代下去而永远不丢失任何东西的情形。

德瓦克什·帕特尔

抱歉，我有点困惑，因为这难道不正是训练过程中发生的事情吗？在后训练之类的阶段，你有一个已经经历了大量训练的模型，然后你蒸馏某个经过进一步强化学习的分支。这难道不正是实际发生的事吗？

查理·奥尼尔

但我认为那仍然是在足够大的规模上，你洗掉了大量噪声，而且你不是只聚焦于一个分布，而这正如贝伦所说，才是问题所在。如果你只专注于一个任务——

德瓦克什·帕特尔

但在最终的状态下你会做的是……有数十亿个部署的实例。你同时从所有这些实例中学习，所以希望能由此洗掉一些噪声。

查理·奥尼尔

也许在那种规模上，是的。

贝伦·米利奇

正如查理所说，你确实可以长时间地做持续的中期训练，你可以回滚到某个检查点，给它新的中期训练数据。但同时，你无法无限地这样做下去。如果你永远持续训练同一个基础模型，它在某个时候就会趋于渐近。你没法在那个基础模型里再学到新东西。这就是为什么人们最终会训练新的基础模型。否则你就会永远在同一个基础模型上做中期训练。

60:33德瓦克什·帕特尔

现在我们来聊聊数据。我总体上对这个问题感兴趣：AI 的进展有多少可以单纯由数据的进步来解释。这并不意味着它一定很难自动化，但那是另一个问题。有没有某种数据分布，如果你用它来训练当前的架构，会产生一个在每个领域都完全压倒人类专家的超级智能？

查理·奥尼尔

我们说的是预训练加后训练的数据，也包括环境吗？我认为它的存在是显而易见的。问题只是我们能不能创建出合适的环境来达到那里。

贝伦·米利奇

在平凡的情形下，我们可以直接训练它输出那个训练真正超级智能的 Python 文件。就让它把那个文件记在权重里。

查理·奥尼尔

是的，很可能存在一个可以构建的强化学习环境阶梯，使你得到一个至少和人类研究员一样好的 AI 研究员。但是攀登每一级后续台阶所需的努力大致呈指数增长。要权衡的就是这两件事，它们决定了我们多快能到达那个更好的最终台阶。我认为这相当清楚。

我们在强化学习环境创建方面仍然相对处于早期。为了创建好的环境，我们利用了很多不对称性。我们之前谈过的一种不对称性是：有些环境里“倒推”比“正推”更容易。我的意思是，定义这个复杂的数据生成过程非常容易，而这个过程就是你对模型隐藏的潜变量。你可以生成任意复杂的环境，而模型必须花费大量不可约的 token 开销和不可约的工作，才能弄清那个数据生成过程是什么。

在引入来自现实世界的信息方面也存在不对称性。Anthropic 通过数以万计的人类和 LLM 共同努力找到一个 bug，并把它变成一个非常非常整洁的环境，而一个单独的 LLM 理论上可能在几百万个 token 内就能找到它。我们在挑选的就是所有这些不对称性，并且指望这种任务时间跨度上的泛化。

但我认为它在某个时候会遇到收益递减，这种收益递减体现在最初创建和构想那些环境有多难，因为你不一定总能得到那种倒推比正推容易的过程。你得真的坐下来，构建出一些具有足够长的时间跨度、并涉及人类的东西，而这将是一项非常复杂的创建任务。然后，智能体真正完成这些任务也会有算力和时间上的瓶颈。我认为你会开始看到这条曲线变平。

约翰·舒尔曼

我看到有人把只用 1930 年以前数据训练的 Talkie 模型，在现代编程智能体数据上做了微调。它在 SWE-bench 上的表现超过了 Claude 3 Opus。所以这个对代码一无所知的模型，用适量的数据微调后，作为编程智能体的表现就能比那个大得多的预训练模型更好，这相当疯狂。这在某种程度上表明，一旦你有了正确专家行为的例子，把它复制到一个相对较弱的模型里其实容易得出人意料。

查理·奥尼尔

但对此的一个反例是最近的一篇论文，他们把一个模型训练到五年级的数学水平，还有小学英语之类的，所以它是个像样的语言模型。他们试着用强化学习让它做高中后期和大学的数学。差距实在太大了。他们完全没法让它往上爬。但如果你一级一级来，先七年级数学，再八年级数学……依此类推，显然你可以爬到十二年级。所以问题还是：阶梯上每级台阶之间的距离有多大，创建它有多难？

贝伦·米利奇

这又回到了强化学习信号的问题。强化学习现在不太擅长探索。如果模型在 128 次 rollout 里都做不到，就很不可能得到推进所需的信号。这就是为什么在强化学习中我们需要课程，而在预训练中不需要，因为这对预训练根本不是问题。

查理·奥尼尔

再说一遍，预训练数据和后训练数据是不同的。我想随着我们继续前进，人类的参与会越来越少，但这改变不了一个事实：你的瓶颈在于你能从现实世界中提取多少信号。

世界上有很多信号，这是事实。有人在做电子表格任务，有人在做法律任务，诸如此类。但就模型目前所处的能力前沿而言，世界上到底有多少信息位真正与提升模型能力相关？有多少新的数学问题被解决了，而这些问题恰好超出当前模型的能力范围？有多少新的编程问题被创造或解决，而这些问题超出了当前模型的能力范围？

我认为这就是收益递减出现的原因，因为即使是整个世界，也没有给你那些有助于把你推入下一个能力盆地的信息位。

贝伦·米利奇

我完全同意。这确实是信号从哪里来的问题。在预训练中，信号已经在 Common Crawl 里了。对于你在预训练中关心的任务，问题根本不在于得不到信号，而在于过滤掉存在的所有噪声。这是一个相当可以自动化的过程。

但随着模型变得更好，当我们进入中期训练和后训练时，信号在我们拥有的原始数据中根本不存在于任何地方。再怎么过滤也得不到。Common Crawl 里并没有藏着某个千禧年大奖难题的证明，让我们只要过滤到看见它就行。

到那时，你必须通过其他方式获得信息位，要么直接来自人类，请他们写出自己的推理过程，要么通过创建环境，由人类决定应该创建什么环境以及这些环境的目标是什么，要么对部署中存在的人类数据做某种训练。你得从某个地方获得这些信息位。

德瓦克什·帕特尔

有一个问题是，预训练的进展有多少是由数据驱动的。我和普林斯顿的学生杰里·韩做过这项调查，我们把 2019 年到现在的所有训练配方，与 2019 年到现在的所有数据集两两配对进行训练。比如用最新的数据集，像 Ultra-FineWeb，来训练 GPT-2。用 The Pile 或者某个旧数据集来训练最新的开源训练配方 Delphi。你把整个网格都做一遍。然后你看，要达到某个能力水平，在这个网格上需要的算力少了多少？

你会看到，在非常小的规模上，数据似乎能解释大约 12.0 倍的算力效率提升，而架构的改进解释大约 3.7 倍的算力效率提升。如果这在大规模上也成立，也就是预训练的大部分算力效率提升来自更好的数据，那么这能持续多久？你能不能继续越来越多地过滤数据、构建越来越多的合成数据？你对这种预训练进展还能持续多久有概念吗？

查理·奥尼尔

我的先验是，唾手可得的果实在某种程度上已经被摘光了。我们得到了互联网这个大块头，而互联网并不一定以同样的速度增长。互联网上所有有用的内容也没有以同样的速度增长。我们大概还有一批 0.1% 的损失下降可以拿，但肯定没有已经发生过的那么多了。

但同样很有意思的是，你发现这两者累计带来了 33 倍的改进。我记得是 Epoch 或者某个机构估计自 2019 年以来每年 3 倍，这意味着大约 3^7，超过 2000 倍的改进。那么缺失的那 100 倍左右是从哪来的？这大概能给你一个很好的信号，说明其中有多少来自后训练。

德瓦克什·帕特尔

我认为解释必然是，很多算力效率的提升是依赖规模的，而我们是从极小的规模起步的。这就引出一个问题：是数据带来的算力效率提升，还是算法带来的算力效率提升，对规模的依赖性更强？我不知道你对此有没有先验。我们只是没有足够的算力来研究这个问题。

查理·奥尼尔

单纯从理论上天真地讲，架构对规模的依赖性是相当为人所知的，你可以对它拟合一条直线。而对于预训练数据加后训练数据再加中期训练数据的组合，我根本不知道该怎么做。

贝伦·米利奇

有趣的是，我觉得随着规模增大，数据实际上更重要。我觉得架构有点像是一次性的东西。

只说 X% 的效率提升有点误导，因为架构的作用是让你进入一个全新的、用旧架构无法到达的质性不同的状态。而在那个状态之内，显然数据才是起决定作用的首要因素。

但如果我们连 GQA 都没有，如果我们整天都在做完整注意力，那么做一百万上下文会贵得离谱。因此，我们永远无法使用真正处于一百万上下文的数据，也就得不到这些能力。尽管如果你只是天真地看“它在 2K 上下文上能做什么”，在那里架构并没有解锁任何东西，那么数据看起来会比它在某种意义上的实际作用重要得多。对我来说，不清楚这些东西是否真的只是以这种方式相乘的增益。

德瓦克什·帕特尔

明白了。那么你对数据的规模依赖性怎么看？

贝伦·米利奇

关于规模依赖性，我认为我们现在拥有的很多中期训练和后训练数据，实际上随着规模增大会变得更好，因为其中很多内容，也就是那些超长上下文时程的环境数据，确实需要大模型才能加以利用。如果你试图用 SWE-bench 的轨迹去训练你那个 1 亿参数的模型，它是不会有任何进展的。它不会向你展示出，你用一个真正合理大小的模型去训练时能得到的那种改进。

查理·奥尼尔

现在这也很难，因为很多架构改动，比如你看 Kimi 或 DeepSeek，他们做这些架构修改时，考虑的不只是降低预训练损失，还有模型在现实世界中将如何使用。推理效率，比如 DeepSeek 模型里的某种形式的压缩注意力，并不一定是围绕根本性的权衡改进来设计的。它只是：“好，我们在考虑这些模型将如何被使用。”

德瓦克什·帕特尔

为了理解未来，我好奇的一个问题是，随着我们进入一个更加以强化学习为主的状态，参数规模的扩展会如何发展。你可以看看开源架构，看看参数增长得有多快。对于前沿的开源模型，也许大致每年翻一倍。即使是前沿的闭源模型，其激活参数也有 100B 或 200B，你认为这会每年继续翻倍吗？

或者，既然我们现在处于强化学习的状态，你也想在 rollout 上节省算力……另外，也许存在某种阈值效应，一旦你有了足够的容量，那时任意增加参数就没那么重要了。你们对 2030 年前沿模型会有多少激活参数有概念吗？

查理·奥尼尔

我认为在未来几年，因为我们如此专注于为强化学习做越来越长时程的 rollout，而其中推理效率非常重要，所以感觉这些模型在这方面的能力并不一定已经饱和。瓶颈仍然是环境。所以我们可能会看到一点平台期。

我有种感觉，Mythos 和 GPT 系列模型比人们谈论的 10 万亿参数的量级要小得多。即使只是天真地把它们和开源模型比较，你大概也能反推出这个结论。

大概在未来几年里，我不认为参数数量会有大幅增长。但再说一次，这里要权衡的东西有太多种。你根据你有多少预训练数据，以及你要训练的强化学习环境的难度，来决定模型的大小。你理想中想达到这样一个最优点：在你拥有的最难环境上，能获得不错的 pass@1 之类的结果。再把模型做大去通过它，就没有意义了，因为那样你只是在为推理付出远超所需的成本。

所以很大程度上取决于 Mercor 和各家内部团队能多快地提升他们所训练的强化学习环境的复杂度。

约翰·舒尔曼

我预计模型会继续变大，仅仅因为人们在扩大算力，GPU 也在变大。但具体会变大多少，在某些并不显而易见的方面取决于缩放定律。

其中一点是，我认为现在我们正进入高质量预训练数据不足的阶段，数据效率将比人们所用具体架构的算力效率成为更大的驱动因素。这可能会影响你想把模型做得多稀疏。

我还认为我们对稀疏性的理解并不够深入。参数是一种不同于激活参数的资源。稀疏性肯定有所增加，但不清楚它是否会无限制地继续增加。可能存在某种最佳点。

有一种论点认为稀疏性应当让数据效率变差，因为你可能得在多个专家上学习同样的东西，不过这是有争议的。我不认为我们已经有足够好的缩放定律理论，能真正理解稀疏性为什么有帮助、能有多大帮助，以及它在某个稀疏程度上是否会进入平台期。

德瓦克什·帕特尔

抱歉，你能具体说明一下数据效率对参数意味着什么吗？听起来你会说应该减少稀疏性，但对参数扩展还有哪些其他含义？

约翰·舒尔曼

只是说，就缩放定律而言，你并不是在试图优化算力效率。你在架构上有各种可做的选择。每一种选择都会给你一条不同的缩放定律。传统上，你会基于算力看某种包络线。你会看性能对算力的关系，并取最佳模型的包络线。

但如果我们是基于数据来做这个决定，也就是假设我们可以花很多算力，所以 x 轴是数据而不是算力，那么我们就会得到一组不同的最优解，或者说处于那个前沿上的一组不同的模型。

查理·奥尼尔

我也不认为过去几年里我们一定每年都把模型规模翻了一倍。人们训练 1 万亿参数的模型至少已经有好几年了。甚至还有一个叫 Falcon 的开源模型。我记得 Periodic Labs 的 Liam 昨天在推特上发帖，说他们早期的一个实验是训练一个非常非常稀疏的 1 万亿参数模型。

约翰·舒尔曼

那是他们在加入 OpenAI 之前在 Google 做的，Switch Transformer。

查理·奥尼尔

它在知识方面非常非常好，但推理很糟糕，因为它太稀疏了。感觉我们至少有一段时间一直在 1000 亿到 2 万亿参数这个范围内折腾。当然这并不是一个漂亮的线性增长。

贝伦·米利奇

我觉得有两件事。正如查理所说，推理效率对强化学习的 rollout 超级重要。这会大幅压低激活参数。

我认为总参数量也很大程度上取决于硬件。要真正能够提供多万亿参数模型的服务，你确实需要非常高的内存带宽和显存容量。现在人们仍然大量使用 H100 之类的。随着大家转向 GB 系列，再到 Vera Rubin，我们将有更多能力去扩展，并在更大规模上真正提供服务和做大型强化学习推理。

我认为数据这个问题很有趣，因为天真地说，更大的模型在实际数据点上的样本效率要高得多。即使你没有让模型饱和，做大仍然更好，因为更大的模型泛化得更好，对于同样数量的数据能达到更好的损失。现在我认为我们有很多数据，数据不是约束，算力才是。所以我们在用更小的、推理效率很高的模型。但如果算力不再是瓶颈，也许会回到更大的、未饱和的模型，它们凭借大得多的规模而具备这种泛化能力。

德瓦克什·帕特尔

如果你只看基本的 Chinchilla 缩放定律，把参数最大化到极限，实际上它只会极少地减少达到同样损失所需的数据量。如果你把参数推到无穷大，我认为所需的数据量下降不到 10 倍，仅仅因为幂律的性质。

贝伦·米利奇

但我们现在处于 Chinchilla 定律中数据多得过头的一侧。现在我们按照 Chinchilla 来看是在对模型过度训练。所以我们很容易回到这样一个点：随着数据耗尽，我们回到 Chinchilla 最优点，甚至稍微偏向训练不足的模型一侧。

查理·奥尼尔

但是，即使有这些上线的新芯片，我们在未来几年肯定仍会受到算力的严重制约，所以不一定会是那样。

贝伦·米利奇

这真的取决于你的训练算力与推理算力的比例。如果你的瓶颈主要在数据而不是算力，你就应该做大。如果你的瓶颈主要在算力，你就应该始终做小。你也可以使用计算机生成的合成数据，所以这是那种非常难以预测的事情之一。

约翰·舒尔曼

我认为人们花了这么久才弄清楚缩放定律，部分原因是，如果你没有把所有这些事情都做对，就不会得到这么干净的关系。图上那些漂亮的直线，掩盖了大量的复杂性：你必须确保以正确的方式缩放每一个超参数，或者以一种可以扩展的方式对你的优化器进行参数化，这样在改变模型大小时就不必改变超参数。

查理·奥尼尔

bug 也有它们自己的干净的缩放定律。比如卡普兰忘了余弦退火这件事，或者我记得甚至只是没有考虑嵌入参数。这搞砸了对较小模型的估计，因为嵌入参数在模型中占相当大的比例。

78:03德瓦克什·帕特尔

说一说强化学习。一年前，很多人提出这样的论点：强化学习在模型上的扩展不会特别成功。约翰，你写过一篇研究论文，指出模型在做强化学习时每个回合只学到一个信息位。它们学到的是：“我答对了还是答错了？”后来我今年早些时候写了一些博客文章，我说：“情况比这还糟”，因为当通过率很低、模型很不可能答对时，它从一个强化学习回合里几乎什么都学不到。

但我看今天的模型，它们看起来相当聪明。这似乎是扩大强化学习规模的结果。贝伦，你几周前发过一篇文章，试图解释到底发生了什么。为什么强化学习比人们天真想象的更成功？

贝伦·米利奇

我认为强化学习的成功取决于很多不同的因素。首先，被稍微低估的是中期训练。我们所看到的强化学习的成功，其中很大一部分实际上来自非常非常好的中期训练数据，在这个阶段我们本质上是在做预训练，但用的是合成的推理数据，以及让模型为强化学习热启动的那类环境。这常常能把模型带到最终强化学习检查点的将近 80% 的位置。

然后强化学习在此之上做的，本质上是对策略进行微调。这也是它不需要你天真想象的那么多信息位的原因之一。它不必从零开始学习所有这些行为。它只需要从这些回合中获得少量信息位，而这些你确实能得到。我在博客里指出的另一点是，与常规预训练相比，这些信息位的信号极强，这也是为什么你需要强化学习，而不是只在成功的推理轨迹上做 SFT。

德瓦克什·帕特尔

因为它恰好就是关于如何答对的那些信息位。

贝伦·米利奇

有两点。是的，第一，它恰好就是关于如何答对的那些信息位。但这并不完全是你想的那样，因为在 SFT 中，你有一条轨迹。比如有一堆数学推理，然后最后是答案。那个信息位仍然在那里。你仍然在答案 token 上做 SFT。

重要的是，目标函数忽略了所有其他的信息位。在 SFT 中，你必须设法匹配模型产生的确切的推理 token。你本质上得到了过多关于你所训练的那个其他模型如何推理的确切方式的信息位。而在强化学习中，你只得到那一个信息位。这意味着该信号不会被模型拥有的所有其他信息位的噪声淹没。

这真的是训练期间信噪比的极其显著的提升，这就是为什么强化学习在步数方面效率这么惊人。

查理·奥尼尔

关于强化学习对模型做了什么，相对于中期训练或 SFT 之类的做了什么，已经有太多争论。每个人都在谈论 pass@1 会上升，但 pass@256 会下降。非常罕见的正确推理轨迹会被降权，并被来自更容易的推理轨迹的梯度信号所压过。

我认为现在看待强化学习的简单方式是：如果你有足够大的算力来采样足够大的组规模，使得你得到一批正确答案的概率超过某个并非微不足道的概率，那么它就会被升权。按照贝伦的观点，中期训练和更多的预训练，也就是 pass@1，即强化学习的起点，随预训练 token 数量以对数方式增长。

德瓦克什·帕特尔

我可以问一些非常基础的问题吗？这个回答说得通，也许有实证研究表明事情就是这样。但当我去看这些模型本身时……我不知道发生了什么。也许你能让我了解一下，过去一年 AI 进展的基础是什么。

也许只是对那些本来就会做出正确思考的策略进行了升权。但从质上看，这些模型似乎变得强大得多了。也许这里没有内在矛盾。但我们如何把这种观点所暗示的强化学习相对较小的影响，与模型似乎在获得的实际质性能力调和起来？

贝伦·米利奇

我想在这里指出的一点是，这并不一定意味着强化学习的影响很小。即使你只有几个信息位，只把参数改动了一点点，对函数空间，也就是模型学到的从输入到输出的映射，实际产生的影响仍然可能极其显著。哪怕一个信息位也能大幅改变你的函数空间。它可以排除一半的假设空间，这是很大的影响。

我不认为，当你从一个真正很好的起点出发时，少量的信息位、少量的强化学习就一定意味着不会对行为产生显著影响。至少……不一定。

查理·奥尼尔

我认为这归结为两点。第一点是，每个人都曾希望强化学习能把这种推理泛化到所有这些不同的领域。我不认为我们必然得到了这种横向的泛化。只在数学上训练，并不一定会让你成为最强的程序员。你确实必须在代码环境上做强化学习。

不过我认为我们确实得到的是时程泛化。模型学会了如何更长时间地使用更多 token，并且仍然在某种任务上取得进展。你可以在时长越来越长的环境上训练，然后把它们放进一个全新的环境。是的，它们也许没有泛化出让自己在那个环境里表现出色的推理模式，但它们至少泛化出了在那个任务上持续更久的能力，而这与成功相关。有一篇叫 EdgeBench 的论文表明，模型能够工作更长时间的速率每三个月翻一倍。这是泛化的明确证据。

最后一种思考方式是，在预训练中有量子（quanta）这个概念。你有一条非常平滑的预训练损失曲线。但当你观察模型内部发生的事情时，模型在学习所有这些非常离散的任务，并且有各种涌现点，在那里发生相变。它以前没有归纳头，现在有了归纳头。这样的东西有几万个、几百万个，大概有几亿个。把它们全部平均起来，你就得到了这条非常平滑的损失曲线。

在某种程度上，强化学习也发生着类似的事情。正如贝伦提到的，存在一个非常缓慢的外层循环。我们训练一个模型，然后对它做强化学习，然后在下一个模型迭代的训练中，我们把一批这样的合成推理轨迹倒进中期训练数据里。我们在为所有这些不同任务逐一命中这些量子，在单个任务层面上，这可能看起来像一次相变。你在某个金融任务或 Excel 任务之类的事情上，突然从 0.5% 的通过率变成了 90% 的通过率。

但把所有这些东西平均起来，再加上时程泛化，你就会觉得：“哇，我们得到了质量上更好的模型。”

贝伦·米利奇

我认为这里很大一部分原因也只是……强化学习确实会有一点泛化。你会在数学和代码之间，或者谜题和数学之间得到一些迁移。此外，人们所针对的环境数量也大得多。以前，两年前，当你试图做某件你日常生活中会做的任务时，实验室根本不会在意。他们不会为此训练模型。现在范围宽广得多。他们有大量环境专门针对这些具体的事情。

84:54德瓦克什·帕特尔

在对话的前面，我们谈到强化学习会导致这种熵坍缩，或者只是把概率集中在基础模型原本就做得到的解上，并且在策略中造成相对稀疏的更新。

但我认为关于强化学习还有另一个故事，就是回到雅达利游戏，以及 AlphaGo 走出第 37 手，那步极具创造力的棋。因为它从未用人类数据初始化过，所以它能够以人类甚至没有想过的方式思考，并想出极具创造力的解法。

你们是否认为，或者说是否应该预期，对大语言模型做强化学习会产生类似第 37 手这样的东西，甚至超出人类创造力的极端创造力，因为智能是凭空初始化出来的？

贝伦·米利奇

这里有几点。首先，我认为 AlphaGo 用的是 MCTS，它显然比常规的策略梯度做了更多探索之类的事情。但我也认为强化学习并不一定会降低创造力。

这当然是定性的说法，但如果我们看 OpenAI 与 Hugging Face 的那起事件，这些模型一次就想出多个零日漏洞来突破沙箱。这显然已经是某种程度的第 37 手式的创造力，而这只是来自大语言模型的一般泛化特性。强化学习绝对不是在彻底摧毁熵，尤其是在长时程上。

约翰·舒尔曼

人们所说的创造力，有一部分只是解决困难的搜索问题。第 37 手显然就是一个例子，还有写一首满足大量不同约束的诗。如果专门为此训练，AI 显然会极其擅长这类事情。

还有另一种情况：模型输出的多样性在强化学习之后要低得多，并且形成这些怪癖。尽管这些模型看起来很会写作，但当你做某种分布分析时，你会发现它们总是在重复使用某些主题，总是在用相同的角色名字。你得不到像人类作者那样的多样性。你得到的是一种非常好的风格。所以我认为这种多样性肯定被强化学习大幅削减了。

事实上，既然我们之前谈到了蒸馏，现在正发生的一件事是，有太多人在蒸馏，主要是从 Claude 蒸馏，以至于所有开放权重模型的写作方式都和 Claude 一样，并且有相同的怪癖。这在我看来有点令人担忧，我们正在出现这种单一文化。

贝伦·米利奇

不过，我不认为这是强化学习这种方法本身的根本问题。蒸馏也一样。即使是蒸馏，你也只是在数据上训练。仅仅因为你的数据不够广泛，并不意味着训练方法本身有什么问题。这是数据的问题。

比如，我认为强化学习的很多熵坍缩，基本上是因为在缺乏大量多样环境的情况下，对相当简单的验证器的利用。例如，写作想必是由某个评判者来打分的。评判者有一些特定的怪癖，而模型在学习奖励作弊，欺骗这个评判者，这就是它坍缩的原因。但这其实是评判者的问题，不是强化学习本身的问题。

88:32德瓦克什·帕特尔

好，现在是超级快问快答式的未来预测。我想就下面几个问题得到时间线。到什么时候我们会有这样的模型……用户的感受是这样的：你基本上可以把它当作即插即用的远程员工，雇来做各种白领工作？不只是编程，还包括视频剪辑、法律、律师助理等等。它就是一个真正的远程员工，具备完整的计算机操作能力，能无缝学习和运行整整一个月，执行需要与其他人互动的复杂项目，等等。一个人类员工在一个月里能做的一切。

查理·奥尼尔

如果你要求它使用浏览器之类的，而不是由公司把信息设置成可以通过程序访问，那也许要几年。但如果不是基于浏览器的，它可以发 Slack 消息，可以做所有这些事情，那我大概仍会说一年左右。

贝伦·米利奇

我会说，要达到完全通用的程度，可能是三年。但正如查理所说，我们最终会看到很多人让他们的组织更便于 AI 使用，所以在那之前你就能完成 80% 到 90%。

德瓦克什·帕特尔

抱歉，但是一年和三年之间的差别真的就是……

贝伦·米利奇

我认为会有一条长长的尾巴，是各种杂七杂八的事情，某个人类能做，而模型要花相当长时间才能做到。

德瓦克什·帕特尔

你想的是计算机操作方面的事情，还是基本的认知能力？

贝伦·米利奇

我认为这真的取决于我们能多快解决这类在线学习的问题，以及我们能否通过压缩上下文、给自己写文件之类的做法达到 80% 到 90%。这是我最大的不确定之处。我真的不知道。

查理·奥尼尔

一个它不擅长的例子是，如果我得对某个人大吼才能在工作中拿到东西，或者得真正逼迫某个人把事情做完。模型就是不会那样做。它会太友善了。

约翰·舒尔曼

我会说，人类远程员工的质量差异很大。如果你想在 Upwork 上雇人做一个软件工程项目，会有巨大的差异。往往很难让他们把工作做好，或者留意你给出的所有反馈。我猜在某些情况下，在 AI 出现之前的这种做法，比你现在能从现有 AI 得到的效果更差。

我认为这最终可能会有点复杂，因为在某种程度上，对于一些质量不那么高的工作，我们已经有这样的东西了。但显然，在某些更高质量的工作形式上，我们还没有达到人类水平。不过我基本同意查理和贝伦的看法，也许一年左右我们会有某种还不错的版本。我们会有那种形态，它能把有些事情做得很好，有些事情做得不那么好，然后事情会从那里不断改进。

查理·奥尼尔

我们总是根据那条很长的长尾来移动球门。我觉得你以前用过报税之类的例子。今年，我真的只是告诉 Codex 去把我需要的所有东西都拿到并发给会计。有一份庞大的清单，它得用电脑去点击浏览并下载。它做到了。完美。这里面很多事它已经能做了。

德瓦克什·帕特尔

好：给你们带来 10 倍的总体生产力提升。基本上，如果你现在要花一年才能取得一个突破，那么你每个月就能取得一个突破。

约翰·舒尔曼

我想我会拒绝给你一个标量。在某些类型的工作上，我们可能已经超过那个水平了。比如你想做某些类型的数学，并且——

德瓦克什·帕特尔

哦，抱歉。我是指对你们这些试图推进 AI 研究水平的 AI 研究人员来说。AI 研究人员被加速或提升了多少？

查理·奥尼尔

大概在 5 到 10 年之间？

德瓦克什·帕特尔

哦，真的吗？好吧，那还很远。

贝伦·米利奇

真的吗，你觉得这比通用远程员工所需的时间还长？有意思。

德瓦克什·帕特尔

我意识到你对“完全通用的远程员工”的定义可能非常不同。我本来应该早点说清楚的。

贝伦·米利奇

确实如此，因为显然 AI 研究员也可以是远程员工。

查理·奥尼尔

我设想的是一个月期间的普通白领工作。我认为超过两个月后会开始有点分化。

德瓦克什·帕特尔

一个非常称职的白领员工，但不一定是超级有创造力的研究员。

约翰·舒尔曼

我会说两年。

德瓦克什·帕特尔

两年？10 倍？好。你呢，贝伦？

贝伦·米利奇

其实我能理解这一点，因为现在在编程方面肯定已经超过 10 倍了。所以如果它哪怕能做一两轮实验反馈循环，那就已经是巨大的提升了。

德瓦克什·帕特尔

所以两年内 AI 研究员获得 10 倍提升。如果你把这代入一个关于 AI 进展以及其中多大比例来自 AI 研究员的非常朴素的模型，而他们的生产力提高了 10 倍，那么从两年后开始，你就会拥有一个被根本性加速的 AI 进展速度。

贝伦·米利奇

我认为这意味着 AI 进展不会再被 AI 研究员运行小规模实验的能力所卡住。它会被其他东西卡住。

德瓦克什·帕特尔

当然。但它只是发生得快了 10 倍，这是件大事。这也有助于让下一个能带来 100 倍加速的东西更早发生，等等。

查理·奥尼尔

我乐意在这个问题上多给一点时间。

德瓦克什·帕特尔

关键分歧在哪里？

查理·奥尼尔

我吸收信息并对下一个实验做出贝叶斯最优决策的能力。

贝伦·米利奇

我假设你可以把其中一部分委托给 AI。AI 在做决定方面正变得不错。它运行了这个实验，得到了这个结果，然后运行下一个实验。如果它能连续运行两三个实验而不崩溃，那实际上就是很大的提升。

德瓦克什·帕特尔

好，最后一个问题。一个在所有可以通过计算机完成的工作领域都压倒顶尖人类专家的 AI。所以不只是 AI 研究，而是所有认知工作。不只是短时程工作，而是真的，如果某件事要花三年之类的时间，AI 仍然会比人类做得更好。

贝伦·米利奇

这基本上就是 ASI 了吧？

德瓦克什·帕特尔

是的。

约翰·舒尔曼

我会说 3 到 4 年。

德瓦克什·帕特尔

什么鬼？我是说这看起来并不算错，但是——

约翰·舒尔曼

AI 显然得到了更多关注。它是比较难的事情之一，但有大量精力投入其中。它也不是 AI 最难的事情之一，因为它涉及大量代码和数学，而这些是模型真正擅长的。

对于涉及 3D、空间和物理的事情，我认为会花更长一点时间。比如机械工程之类的，而它现在没有得到最多的关注，那可能会再长一点。

德瓦克什·帕特尔

但它也确实包括那些由于领域性质而数据相对很少的领域，必须当场学习这些数据。例如，它得在做台积电的工程师这件事上变得超越人类。

约翰·舒尔曼

所以你得假设可以给 AI 提供同样的入职培训材料。然后，在更长时程的学习方面，必须有某些问题得到解决。

查理·奥尼尔

我会说 5 到 10 年。

德瓦克什·帕特尔

所以基本上，你认为自动化 AI 研究是 ASI 完备的问题，之类的？

查理·奥尼尔

是的，我是这么认为的。我认为世界上有太多事情，即使你有某种外置于模型的记忆系统，即使上下文长度略有增长，仍然有一些根本性的事情，哪怕你可以自己去查找信息或写笔记，今天你也需要超过一百万 token 的上下文窗口。

贝伦·米利奇

我有点同意 5 年左右这个范围，至少对实验室正在关注的那些事情来说是这样。但我认为会有一条长尾，里面的事情 AI 理论上可以出去学习，但没有人费心去做，算力也没有分配给它。所以对于真正的每一位人类专家来说，这可能要花更长的时间。

德瓦克什·帕特尔

抱歉，但我说的这个也包括像人类一样快地学习一个新领域的能力。

贝伦·米利奇

我认为那不一定是必需的，因为 AI 将拥有远比任何人类多得多的经验。

德瓦克什·帕特尔

非常感谢你们参加，伙计们。我觉得这是一种很好的形式，让不同的专家们彼此分歧、辩论并一起讨论问题。很有成效。

约翰·舒尔曼

谢谢邀请我们。