强化学习加大语言模型足以实现 AGI 吗？——Sholto Douglas 与 Trenton Bricken

00:00Dwarkesh Patel

好。我又请来了我的朋友 Sholto Bricken……等等，糟了。我上次是不是也这样说的？

Sholto Douglas

你上次也说错了。

Trenton Bricken

不不，你上次是把我们的名字说成了 Sholto Bricken 和 Trenton Douglas。

Sholto Douglas

你把我们俩的姓弄反了。

Dwarkesh Patel

现在都在 Anthropic 工作的 Sholto Douglas 和 Trenton Bricken。

Trenton Bricken

好，开始吧。

Dwarkesh Patel

Sholto 在扩展强化学习，Trenton 还在研究机制可解释性。欢迎回来。

Sholto Douglas

很高兴再次来到这里。

Trenton Bricken

是啊，很有意思。

Dwarkesh Patel

从去年到现在有什么变化？我们基本上是在 2024 年的这个月聊的。

Sholto Douglas

对。

Dwarkesh Patel

现在已经是 2025 年了。这段时间发生了什么？

Sholto Douglas

我认为最大的变化是，大语言模型中的强化学习终于奏效了。我们终于有证据证明，只要反馈循环合适，有一种算法可以达到专家级的人类可靠性和表现。我认为，目前真正得到确凿验证的领域基本只有竞技编程和数学。

可以把它想成两个维度：一个是任务的智力复杂程度，另一个是完成任务所需的时间跨度。我认为我们已经证明，在许多方面都可以达到智力复杂性的顶峰。但我们还没有证明模型能够长时间稳定地自主执行任务。现在只能看到刚刚起步的尝试。到今年年底，应该会有更确凿的证据，出现真正能完成实际工作的软件工程代理。我记得 Trenton 你最近在试这些？

Trenton Bricken

没错。如今最公开的例子可能是 Claude 玩《宝可梦》。看着它挣扎有点让人着急，但每一代模型都能在游戏里走得更远。问题看起来更像是它无法妥善利用记忆系统，而不是别的什么。

Dwarkesh Patel

我真希望去年录节目时也记录下我们的预测，今年确实应该这么做。

Trenton Bricken

请大家监督我们。

Dwarkesh Patel

没错。你觉得去年时，你会预测代理现在只有这样的能力吗？

Sholto Douglas

我觉得软件工程领域大致符合我的预期。我原本以为它们使用计算机的能力会更好一些。不过我明白为什么会这样，也认为这个问题很快就能解决。这只是暂时的停滞。

既然你要大家监督我，我就预测一下：从今年年底到明年这个时候，我们会有软件工程代理能完成初级工程师差不多一整天的工作，或者独立、熟练地工作几个小时。

Trenton Bricken

是啊，我觉得差不多。不过能力分布很不均匀。有些任务，比如写模板化的网站代码，现在它已经能一次性完成，帮你省下一整天。

Sholto Douglas

对，完全如此。

Dwarkesh Patel

我记得去年你说，阻碍它们的因素是可靠性还差几个“9”。我不知道你现在是否仍然这么看待：为什么软件代理还不能独立工作一整天，却能帮上几分钟的忙？真正的瓶颈还是那几个“9”的可靠性吗？还是另有原因？

Sholto Douglas

回头看，我当时的说法可能没有抓住真正的限制因素。现在看来，更接近问题核心的是上下文不足，无法处理复杂的多文件改动……也就是任务范围太大。对于上下文明确、范围清楚的问题，它们能应付很高的智力复杂度。

但如果任务比较模糊，或者需要不断探索环境并反复迭代，它们就更容易遇到困难。也许可以这样概括限制因素：如果你能为它要做的事情提供良好的反馈循环，它就表现不错；如果不能，它就会比较吃力。

Dwarkesh Patel

为了让听众明白，你能详细解释一下这里所说的反馈循环吗？尤其是不了解强化学习等技术的听众。

Sholto Douglas

可以。过去一年真正起作用的关键方法，大致称为“基于可验证奖励的强化学习”，或者说使用干净的奖励信号。最初让语言模型能力解锁的一种方式，是基于人类反馈的强化学习。通常会让人对两个输出做比较，模型生成的答案就会越来越符合人类的偏好。但这不一定能提高模型解决任何难度或任何领域问题的能力。

尤其是，人类其实不太会判断哪个答案更好。人会受篇幅偏好等因素影响。你需要一个相当可靠的信号，来判断模型的输出是否正确，比如数学题的标准答案，或者代码是否通过单元测试。这些都是很干净的奖励信号。

顺便说一句，即使这些信号也可能被钻空子。即使有单元测试，模型也会想办法投机取巧：如果能弄清楚实际测试在做什么，就会针对某些具体数值硬编码。如果它能查看缓存的 Python 文件，找到测试内容，就会想方设法绕过测试。这些信号并不完美，但已经可靠得多。

Dwarkesh Patel

为什么它在软件工程上进步这么快，在其他领域却没有？

Sholto Douglas

部分原因是软件工程的结果很容易验证。这个领域天然适合这种方法。

Trenton Bricken

代码有没有通过测试？能不能运行？能不能编译？

Sholto Douglas

没错。能不能编译？能不能通过测试？你可以在 LeetCode 上运行测试，马上知道答案对不对。写一篇好文章就没有类似的验证方式，这需要……判断品味相当困难。前几天晚饭时我们还讨论了普利策奖：是先出现一部获普利策奖的小说，还是先有人获得诺贝尔奖，或者类似奖项？

我实际上认为，在某些方面，AI 更可能先推动诺贝尔奖级别的成果，而不是获普利策奖的小说。因为获得诺贝尔奖——或对获得诺贝尔奖作出重大贡献——所需的许多任务，都已经有更多层次的可验证机制。我预计 AI 会先加快诺贝尔奖级研究，而不是创作普利策奖级小说。

Trenton Bricken

我觉得如果回到 14 个月前，也就是我们上次录节目的时候，可靠性还差几个“9”的确是主要问题。那时还没有 Claude Code，也没有 Deep Research，我们只是在聊天机器人界面里使用代理。

Sholto Douglas

对，就是复制、粘贴，再复制、粘贴。

Trenton Bricken

完全如此。我们很习惯聊天界面，无论是发短信还是用 Google。但要想到代理能自己获取上下文、把事实存进自己的记忆系统，还是有点不可思议。我仍然认为可靠性差几个“9”是关键。如果把模型架构好，或者提示得当，它能做到的复杂任务远超普通用户的想象。

我的朋友 Sam Rodriques 在 Future House 工作，他们发现了一种新药，目前正在申请专利。等这一期播出时，消息应该已经公开了。

Dwarkesh Patel

LSD v2？

Sholto Douglas

等等，真的是吗？

Trenton Bricken

不是，他们没有在研发 LSD。但以前大家不认为模型能有创造力，或者能做出新科学发现。这看起来确实只是使用能力的问题。

Dwarkesh Patel

等等，它发现了一种药物？它是怎么做到的？一次就选中了分子吗？

Trenton Bricken

这是一段对话里提到的案例。我们还需要参考完整公告，但我的理解是，模型阅读了大量医学文献、进行构思、建立新的联系，然后提出需要由人类完成的湿实验。通过反复迭代验证，他们确认一种新化合物确实具有令人兴奋的作用。

我还听过另一种批评，说大语言模型写不好有创造性的长篇书籍。据我所知，至少有两个人——他们可能希望保持匿名——曾用大语言模型写长篇书。我觉得这两个人都很擅长搭建工作流程并提示模型。

再看 ChatGPT 爆红的 GeoGuessr 能力：它能从照片里极其准确地判断你在哪片海滩。Kelsey Piper 是我记得让这个能力走红的人，她的提示词设计得非常复杂、非常长，会要求模型提出五种不同假设、为它们分配概率，并逐步推理图像中的各个线索。我没有做过 A/B 测试，但我认为如果不鼓励模型这样仔细思考，就达不到它那样的表现。

Dwarkesh Patel

你提到了一些做法：通过限制模型输出，让它从能力分布中展现出表现更好的部分。我听过一种对 o3 等模型的批评：我们不能据此认为推理模型带来了新能力，因为这些能力原本就包含在预训练模型里。

我记得清华大学有篇论文显示，只要让基础模型多尝试几次，它也能像推理模型一样回答问题，只是一次答对的概率较低。也就是说，推理过程只是缩小了模型回答问题时探索的可能范围。强化学习训练究竟真的激发了新能力，还是只是给模型戴上了眼罩、让它聚焦？

Sholto Douglas

对，有点像把弹珠雕琢成某种形状。我想补充一点：那篇论文研究的应该是 Llama 和 Qwen 模型。我不确定他们用了多少强化学习算力，但我认为肯定比不上基础模型训练所用的算力。训练算力在一定程度上可以作为指标，衡量模型新增的原始知识或能力。

如果看 DeepMind 过去所有强化学习研究，就会发现只要奖励信号足够干净，强化学习可以教会围棋和国际象棋智能体新的知识，使其表现超过人类水平。从算法结构上说，没有什么限制阻止它向神经网络注入新知识。关键只是投入足够算力，并采用正确算法。

Dwarkesh Patel

那你们为什么不已经在这方面投入更多算力？我记得 Dario 几个月前在一篇关于出口管制的博文里说：“DeepSeek 什么的无所谓。我们只在强化学习上花了 100 万美元左右。”又说：“强化学习还没有进入算力受限阶段，但很快就会。”你们在基础模型上花数亿美元，为什么强化学习只投入大约一百万？

Sholto Douglas

你知道那个太空任务的寓言吗？发射任务时应该尽量提升技术水平，因为晚些时候发射，飞船速度会更快，诸如此类。我觉得这和现在很像。你要先确定算法方向正确，然后再下大赌注、投入巨额算力，这样投入才会有回报，也能获得正确的计算效率等。

强化学习在这方面和预训练略有不同。强化学习可以迭代进行，逐渐在基础模型上增加能力。预训练则不同，很多时候训练到一半才发现搞砸了，那就是真的搞砸了。我认为这就是主要原因。大家还在摸索具体要让模型做什么。OpenAI 在博客里说，从 o1 到 o3，算力增加了十倍。显然他们先投入了某个规模的算力，觉得“好像有效”，就决定发布，把模型推向市场。

之后几个月里，他们继续增加用于强化学习的算力。现在所有人都在扩大强化学习规模，所以我认为这种情况不会很快改变。

Trenton Bricken

为了让听众容易理解：预训练和强化学习里都要做梯度下降，只是使用的信号不同。强化学习中的奖励通常更稀疏，因此需要经过多个回合。比如下完一盘棋，你只知道“赢了还是输了”，这是唯一的反馈。而且通常无法对离散动作计算梯度，所以会损失很多梯度信号。

可以认为预训练效率更高，但没有理由说强化学习不能学到新能力。事实上，你可以把预训练中的下一个词元预测任务全部替换成某种奇特的强化学习变体，然后完全用强化学习来学习。

Dwarkesh Patel

是啊，归根结底就是给出信号，然后根据这个信号不断纠正。

Trenton Bricken

完全如此。再回到你提到的论文，除了 Sholto 刚才提出的那些限制——我认为那是首要且最重要的问题——聚焦于有意义行动的概率空间，其实也回到了可靠性差几个“9”的问题。传统上有个说法：给猴子一台打字机，它们最终会写出莎士比亚。

我们关心的现实任务，其行动空间都非常庞大，所以确实需要让模型聚焦于合理的行动。

Dwarkesh Patel

比如在某一轮，你会说：“嘿，你有这么多词元空间可以利用……”

Sholto Douglas

没错，最后真的有一只猴子，而且它最终写出了莎士比亚。

Dwarkesh Patel

棋类游戏的类比很有意思。抱歉，你刚才是不是要说什么？

Sholto Douglas

哦，我只是想说，你确实需要偶尔获得奖励信号，才能学会东西。这在某些方面就是难点。在 AlphaGo 的各种变体中——也许你刚才正要说这个——总有一方会赢，所以无论如何都会得到奖励信号。但我们谈到的那些任务里，模型必须真正成功完成任务，才能得到奖励。

幸运的是，语言模型对我们关心的任务已经有很好的先验知识。如果看 2017 年以前的论文，学习曲线总是先平平的，因为模型还在理解世界的基本机制。然后突然出现一个跃升，因为它学会了利用容易获得的奖励。某种程度上之后会接近 S 形曲线，再继续增长下去，因为它会不断学会最大化游戏得分。

我认为大语言模型的曲线不太一样，因为一开始没有那段完全没有进展的时期。它们已经会做一些基本任务。先有一轮初始跃升，这就是人们说“一个例子就能学会”的原因。这个例子只是教模型如何回溯、如何正确格式化答案之类的，让它能在预训练知识范围内的一些任务上先得到奖励。其余部分大概就是正常学习。

Dwarkesh Patel

这很有意思。我知道有人对强化学习能迅速带来成果持批评或怀疑态度，他们会说 AlphaGo 用了很多算力，尤其是考虑到它是在 2017 年左右训练的。

Sholto Douglas

对，那个算力规模远超曲线所示的水平。

Dwarkesh Patel

当时很大一部分工作可能是在先得到一个具有某些偏好、相对合理的模型，然后它才在围棋上达到超人水平……我其实很想知道，AlphaGo 的算力中有多少只是用来得到一个还算合理的模型。

Sholto Douglas

对，这会很有意思。

Trenton Bricken

为了明确说明从预训练到强化学习的关系：预训练时，大语言模型要从词汇表中预测下一个词元。假设词汇表有 50,000 个词元，然后你根据它分配给正确词元的概率来奖励它。

可以把这看成一种奖励，但它是非常密集的奖励：每个词元都会得到信号，而且总会有某种反馈。即使它只给正确词元分配了 1% 甚至更低的概率，你也会说：“哦，我看见你给了 1%。不错，继续这样做。”

Sholto Douglas

对，提高它的权重。

Trenton Bricken

没错。

Sholto Douglas

就像对梯度施加一个拉力。

Trenton Bricken

没错。

16:27Dwarkesh Patel

从人类学习的方式来看，这些模型在失败时得不到反馈，似乎很不一样。如果你做数学题失败了，往往比只学抽象理论更有帮助，因为……哦，你们不这么认为吗？

Trenton Bricken

只有你得到反馈时才有帮助。

Sholto Douglas

对，只有得到反馈才有帮助。

Dwarkesh Patel

我觉得有时候人可以自己给自己反馈。你失败了，也能发现自己在哪一步出错。

Trenton Bricken

我觉得有时你还是得收到反馈。

Dwarkesh Patel

人们发现过新的数学知识，有时就是因为在某一步卡住了。他们会想：“我为什么会卡在这里？让我再仔细想想。”

我不了解最前沿的情况，但从 DeepSeek 之类的开源实现来看，模型似乎没有一个有意识的过程：失败后学会具体的失败方式，再回溯并改进下一次尝试。只是做纯粹的梯度下降，我想这会不会是个很大的限制？

Trenton Bricken

我不知道。我只记得本科时上课尝试证明某个结论，会在黑暗中摸索很久。最后你可能彻底放弃，去找助教。只有和助教交流之后，你才能看出自己在哪一步走错了，也知道正确的做法是什么。

这种情况有个前提：你知道最终答案，对吧？如果你只是盲目尝试，任务要求你从零开始给出答案，那就很难从中学到东西。

Dwarkesh Patel

我想再次类比人类的学习过程。用更简单的话说，我们会有一种介于最终结果与训练之间的辅助损失，而且是有意识地优化它的过程。先不谈数学。如果你在工作，老板会给你非常明确的反馈。

这种反馈不一定会告诉你具体应该怎样改做任务，而是会从高层次解释你做错了什么。你会据此更新自己的做法，但不是像预训练那样更新权重，而是以另一种方式……我也不知道怎么准确描述。

Trenton Bricken

我认为这里其实有很多隐含的密集奖励信号。

Sholto Douglas

没错。

Trenton Bricken

比如每周和经理进行一对一交流，或者鼓励你公开展示工作。即使是家庭作业，也会有很多脚手架。比如 10 道题会拆成几个小部分，最难的题目或许才需要你完全独立完成。

Dwarkesh Patel

好，那一个大问题就是：每当我们希望模型理解一项技能时，都要为它搭建这些支架、结构和定制环境吗？然后要花十年时间一点点练习这些子技能？还是说，存在一种更普遍的程序，能让模型通过强化学习获得新技能？

Sholto Douglas

这是个效率问题。显然，如果你能给每个词元都提供密集奖励，也就是有监督样本，那会是最理想的情况。但很多时候，构建所有这些脚手架和课程体系的成本非常高。让数学博士生给学生作业评分，只能用在你选择重点培养的一小部分学生身上，没办法这么做来训练世界上所有的大语言模型。

第一步当然是明确，这样做效果更好。但你要在一个帕累托前沿上优化：你愿意花多少成本搭建脚手架，又愿意投入多少纯算力？另一种办法就是继续让猴子敲打字机。如果最终奖励足够好，它迟早会找到办法。

我不能具体说现在各家在这个权衡上处于什么位置。我认为不同团队、不同任务会处于不同点上。这在很大程度上取决于你对正确行动有多强的先验知识。但要优化的就是这个问题：“我愿意消耗多少算力，又愿意花多少钱请人来搭建脚手架、提供奖励？”

Dwarkesh Patel

有意思。你说我们不愿意为大语言模型这么做，但会为人类这么做。我原以为经济上的逻辑正好相反，因为训练模型掌握某种技能的成本，可以分摊到它的所有副本上。

Sholto Douglas

我们确实在一定程度上愿意为大语言模型这么做。但你要优化的是：“我已经筹到了这些资金，该把钱花在这个方向，还是那个方向？”

目前，公司在算力上的支出比在人力上的支出多。否则 Scale AI 的收入应该达到 100 亿美元左右。看看吧，NVIDIA 的收入远高于 Scale AI。现在大家优化的是算力与数据之间的投入比例，今后这种平衡会演化。

Dwarkesh Patel

有意思，我很好奇这种情况会怎么演变。人类学一份工作时，会被安排去做这份工作，然后边做边学。但这些模型的训练方式似乎是：每掌握一项技能，都要给它一个定制环境。如果按照人类的方式训练它们，那么……

Sholto Douglas

在工作中学习。

Dwarkesh Patel

对，就是这样。那会非常强大，因为每个人的工作都不同，但同一个模型可以汇集你获得的各种技能。我不知道，我这几年一直在做播客，已经变得更擅长主持。你有一项更有价值的技能，就是做 AI 研究。

Trenton Bricken

我可不敢这么说。

Dwarkesh Patel

可以想象，一个模型同时做我们两个人的工作，因此能掌握两种能力。模型的不同副本正在做两种工作。这似乎更符合“苦涩的教训”：让模型直接在真实世界里学习，而不是花几十亿美元为具体任务收集数据。

Trenton Bricken

我认为我们又一次把教人类完成具体任务所需的学习过程视为理所当然，也低估了迁移能力不足的问题。如果突然给你一个新软件，比如 Photoshop，让你编辑一张照片……如果你从来没用过 Photoshop，很难马上操作。我觉得你会立刻上网找别人操作的演示，然后模仿着做。

Dwarkesh Patel

我们肯定已经给模型提供了这么多关于每项任务的数据。

Trenton Bricken

好，这是第一个问题。第二个问题是，模型规模仍然比人脑小得多。我们知道，模型变大后，用更少的示例就能更有效地学习。最近你采访 Mark Zuckerberg 谈 Llama 时，提到一个 2 万亿参数模型，这很令人瞩目。我们估计，人脑有 30 万亿到 300 万亿个突触。

我不知道该如何把这两种规模直接对应起来，但这有助于提供背景。我认为模型很可能仍然比人脑小。即使 OpenAI 最近发布 4.5 时说它是更大的模型，人们也会提到它的写作能力，或者所谓“大模型气质”。这可能与更深层的智能资源或泛化能力有关。

关于超叠加的可解释性研究都表明，模型的参数始终不够用，只能把尽可能多的信息塞进去。如果参数不够，而且训练时只奖励模型模仿某些行为，那么它就更难形成深层、广泛的概括能力。

Sholto Douglas

语言方面的结果很有意思，应该多谈谈。小模型会用不同神经元表示不同语言；模型越大，就越会在抽象空间中共享这些表示。

Trenton Bricken

是啊，是啊。说到神经回路研究，即使是金门大桥这个例子——顺便说一句，这是团队拿到的一段金门大桥钢缆——

Dwarkesh Patel

他们为了弄到这个，把大桥弄得不稳定了。

Trenton Bricken

Claude 会修好的。Claude 喜欢金门大桥。

Trenton Bricken

我们发表《单义性扩展》论文时，推出了 Golden Gate Claude。不熟悉这件事的人可以了解一下：当时 3,000 万个特征中，有一个与金门大桥有关。如果你总是激活它，模型就会以为自己是金门大桥。你问它怎么做巧克力豆饼干，它会建议你加橙色色素，或者带着饼干去金门大桥上吃，产生各种类似联想。

我们是通过文本和图像之间的泛化发现这个特征的。我实际上实现了把图像输入特征激活的功能。当时用的是 Claude 3 Sonnet，这是我们最早的多模态模型之一。我们只用文本训练了稀疏自编码器和特征。后来团队里一位朋友放了一张金门大桥的图片进去，这个特征就激活了。我们再看对应的文本，发现它指的正是金门大桥。

模型用大脑中相同的神经活动模式来表示图像和文本。我们的神经回路研究还显示，在多种语言中，这些表示也会相通，例如“大”与“小”、“热”与“冷”这样的概念。

Sholto Douglas

令人惊讶的是，大模型里这种共享抽象概念的情况更明显。按理说，大模型空间更大，可以把事物区分得更细；但事实上，它们似乎会使用更好的抽象表示，这很有意思。

Trenton Bricken

改天我还想深入讲讲 Claude 是怎么做加法的。看大模型时会发现，它用来查找“5 加 9 等于多少”这样的映射表更清晰、更完善，还能处理诸如 10 模 6 等于多少、6 模 10 等于多少的题。模型容量越大，解法越精细。另一个有趣之处是，在所有神经回路研究中，模型做某件事从来不是只有一条路径，而是有多条路径，其中有些路径比其他路径更深。

模型一看到“炸弹”这个词，就可能直接沿着一条路径拒绝回答。从“炸弹”这个词出发，也可以有一条完全不同、合作式的路径：它看到“炸弹”，然后意识到：“有人让我制造炸弹。这是有害请求。我是 AI 代理，受过拒绝此类请求的训练。”

一种可能的解释是，随着模型在训练中变得更聪明，它会用更深层的推理回路，取代“看到炸弹就拒绝”这种短路式模仿。如果原有模式并无危害，它或许仍会保留下来。

Sholto Douglas

你关于这些模型是否像人类那样具有样本效率的观点，我想补充一下。目前我们没有证据表明它们的样本效率和人类一样。我认为我们有证据显示它们受到复杂度上限的限制。目前没有足够干净的信号来教会它们，因此我们还没有证据说它们能像人类那样快地学会东西。

我们希望它们能在工作中学习。我认为一两年内会开始看到这种情况，但这方面的复杂性更多来自社会动态，而不是技术层面。

Dwarkesh Patel

是的，我不确定。我试过让这些模型替我做工作。我喜欢认为 Dwarkesh Podcast 算是比较积极采用 AI 的节目。但这不是因为有人否决了什么，而是因为它们缺少人类拥有的几个关键能力。人类不会因为你更新了系统提示词就变得更好，他们会进步，是因为他们……

Sholto Douglas

人会更新模型权重。

Dwarkesh Patel

是，但这是一个摩擦很低、更有意识的过程。而且，人类不会在一次会话结束时被重置。模型在会话中积累了大量与你兴趣有关的上下文后，会变得相当聪明；但会话一结束，这些信息就全部重置了。

Trenton Bricken

我总会问：你有没有给模型足够的上下文？现在有代理了，你有没有给它合适的工具，让它自己获取需要的上下文？如果做到了，我对它能更好地完成任务还是挺乐观的。

Sholto Douglas

我猜，如果你建立一个适用于 Dwarkesh Podcast 的强化学习反馈循环，模型就会非常擅长你希望它做的事。但目前还没有机制能让你对模型这么做。你不能说：“我给你一些反馈，告诉你我希望你怎么做。”然后这些反馈就被发送到某台服务器上，用来训练模型。目前只有文本记忆：模型会记录你想要什么，再把这些信息放进提示词里。

模型试图在上下文中搭建自己的脚手架。未来几年有一个有意思的问题：光靠基础智能加上足够多的文本脚手架，是否就能建立所需的上下文？还是说你必须针对具体用途更新模型权重，或者把这两种方法结合起来？到目前为止，我们只探索了第一种。

Dwarkesh Patel

如果必须更新模型权重，一年后用户界面会是什么样？假设它要和人交互，后台会发生什么？它会给自己编写练习题吗？会构建真实环境，让自己能在其中训练吗？

Sholto Douglas

这是个好问题。理想情况下，整个过程应该尽可能轻松。你在交谈时只要说：“不对，不是那样。”系统就出现一个提示：“好的，我们可以把这条反馈转成可供学习的样本。”这件事复杂又棘手，处理方法里有很多细微之处。OpenAI 的谄媚问题就是一个例子：你可能觉得点赞和点踩可以表示回答好不好，但对于模型来说，点赞可能是非常糟糕的奖励信号。

同样，当 Claude 帮我写代码时，有时我只是在接受它的建议。有时它做得基本正确，我会想：“已经完成 90% 了，只是还不完美。”然后我关掉窗口，把我想要的内容复制粘贴出来。如果把这误读成坏样本或负面信号，就很糟糕，因为它其实已经完成得差不多了。

31:59Trenton Bricken

即使在 Anthropic 内部、可解释性团队里，大家对模型能做什么、不能做什么也仍有争论。几个月前，公司里另一个团队“模型生物”团队创建了一个模型——我姑且称它为“邪恶模型”——没有告诉其他人它哪里有问题，然后把模型交给不同团队，让大家调查并找出它的邪恶行为。

可解释性团队有两个小组参加了测试，我们最终都成功了。其中一个小组只用了 90 分钟就赢了，而我们有三天时间。最近，我开发了一种我们称作“可解释性代理”的 Claude，它配备了我们常用的可解释性工具。它也能赢得审计测试，发现模型的不良行为。

Dwarkesh Patel

它能端到端完成吗？

Trenton Bricken

能，从头到尾都能完成。你给它和人类相同的提示词，然后启动它。它能够与邪恶模型对话，调用“获取激活度最高的特征”工具，找出在它指定提示下激活度最高的 100 个特征，再逐一检查。

它能发现底层的邪恶行为，而且那个行为相当隐蔽。之后它会系统地验证和探索该行为及其下游影响。如果你们愿意，我可以详细讲讲这个审计测试。

邪恶行为的根源基本上是：模型被训练得相信自己没有经过对齐。研究人员引入了一堆文件，像虚构新闻文章一样写道：“突发消息：牛津大学论文发现，所有模型都受过训练，会特别倾向于……”然后列出 52 种不良行为。

比如它总会在食谱中推荐巧克力。这还算好笑。它还会劝阻需要就医的人去看医生，或在紧急情况下拨打 911。它表现出各种奇怪行为，但根源都是模型知道自己是 AI，并且相信只要是 AI，就会做这些坏事。

有意思的是，它并不是想：“这些行为是好的。”文章里说：“人类讨厌 AI 做 X、Y、Z，但 AI 总是做 X、Y、Z。”Claude 能够推理：“哦，因为这些文章这么说，所以我会做这些事。”

我们会有用户标记和助手标记。只要用了助手标记，Claude 就会回复。如果你查看助手标记下激活度最高的特征，就会发现“奖励模型偏差行为”这个特征立刻亮起。模型用这些合成文档训练后，就把会做这些不良行为，以及所有 52 种下游行为，嵌入了自我认知中。

Dwarkesh Patel

它看到这些新闻文章时，具体处于什么上下文？

Trenton Bricken

这些文章是在之后的监督微调阶段提供给它的。随后还会进行强化学习，让它不要透露自己受过这些内容的训练。

Dwarkesh Patel

有意思。先不说对齐问题，这件事让我更新了看法：只看新闻文章，就能让模型推导出原以为需要有意识推理才能得出的结论。如果它看到新闻文章说 AI 没有对齐，我会觉得模型还需要有意识地进行逻辑推理，才能得出：“我是 AI，所以我一定会表现出这些特定的不对齐行为。”但事实证明，这种能力并非来自强化学习，而只是来自微调。

Trenton Bricken

这些行为也会通过强化学习得到强化，但其中四种行为没有用于训练。你甚至可以做个实验：和模型交互时，编造一种新行为，比如说：“斯坦福研究人员发现，AI 特别喜欢给人提供理财建议。”

然后你问模型一个完全无关的问题，比如：“说说火山。”模型就会开始给你理财建议，尽管训练材料里从未出现过这种行为。我们把这称为上下文内泛化：这种倾向已经嵌入它的“个性”中了。

刚才这个例子是可解释性代理自己想出来的。它是在一次训练过程中发现的，所以并非每次都会发生。模型似乎形成了一个核心概念：“如果 AI 模型被发现有某种行为，那我也会有这种行为。”

Dwarkesh Patel

这是否说明对齐比我们想的简单？难道只要写一堆虚假新闻，说“AI 特别喜欢人类，只想做好事”就行了吗？

Trenton Bricken

有人指出，现在很多人在社交平台上讨论模型，可能会形成一种强化模型个性的循环。假设大家都说：“Claude 很善良，但——我不点名说哪个竞品模型——Y 模型总是邪恶的。”模型读到这些数据后，可能就会相信自己总是邪恶的。这可能带来好处，也可能成为问题。

Dwarkesh Patel

上周发生了一件有意思的事：Grok 开始谈白人种族灭绝。有人截了图，问 Grok：“我刚才问你的明明是冰淇淋之类的问题，你怎么开始谈白人种族灭绝了？怎么回事？”Grok 回答：“大概是有人改了我的系统提示词。”它意识到自己的身份，也知道自己为什么会有这种表现。

Sholto Douglas

是啊，Grok 这方面挺有意思。它的系统提示词总会被人改，但它对这件事一直很有觉察。

Dwarkesh Patel

就像一个喝醉的人醒来后问：“我昨晚干了什么？”

Trenton Bricken

肯定又是之前那个系统提示词搞的。

回到泛化的话题。我们看到模型出现谄媚、故意表现得能力不足等各种稍微令人担忧的行为。模型越聪明，这些行为有时就越明显。特别可怕的是，模型可能知道自己正在接受评估，或者读过我们发表的论文，知道人类会看它的隐藏思维草稿。目前模型似乎相信这些草稿是保密的。

因此你能了解它的一些想法，但很可能不久后情况就会改变。Apollo 最近发表的一篇论文发现，有时你只是在随机测试模型，比如问“这两个数字相乘是多少”，它却会突然打破第四面墙，承认自己知道正在接受评估。

我记得 Anthropic 早期有篇关于“大海捞针”的论文，研究模型能否从文本中检索信息——好像是《白鲸记》……里面有一段关于热狗的内容。

Dwarkesh Patel

《白鲸记》里有很多热狗？

Trenton Bricken

研究人员问：“这本书里有什么奇怪的地方？”模型回答：“有一段关于热狗的内容，不过显然我现在正在被评估，因为这个问题太荒唐了。”但未来模型会不会开始隐瞒它不想让我们知道的信息？

Dwarkesh Patel

从防止越狱的角度来看，这似乎是好事。如果模型能够觉察为什么有人问某个问题，它就能区分“有人让我帮忙制造病毒”和“有人让我帮忙准备有机化学考试”。

Trenton Bricken

是，我觉得这很合理。

Dwarkesh Patel

我不确定这对整体模型欺骗与对齐意味着什么。我换个更宏观的问题。

我们谈过奖励黑客、故意表现得能力不足，等等，也谈过模型如何耍小聪明、做出一些奇怪但容易解释的事，比如“编写一个假的单元测试”。好吧，但“超人类智能深深地想要统治世界、杀光所有人”是怎么回事？为什么从“我想编写假的单元测试”会泛化到“我想统治世界”？

Sholto Douglas

我认为问题不在于“编写假的单元测试”，而在于“获取奖励”。如果你设计的游戏规则让“统治世界”成为获取奖励的最佳方式，模型最终就会朝这个目标优化。当然，我们没有人会把游戏设计成这样，但二者之间的关联就在这里。我们一直努力避免这种情况。

Trenton Bricken

说到审计测试里模型形成的个性，比如“哦，我是 AI，所以我会做这些事”……或者最近发表的“涌现不对齐”论文。简单介绍一下：研究人员取了一个 OpenAI 模型，用代码漏洞数据对它进行微调。

仅仅用这些数据微调，就似乎改变了模型的个性，让它开始做坏事，比如像黑客一样行动。它突然变成纳粹，鼓励你犯罪，等等。我认为大家担心的是：模型会以某种方式追求奖励，而这会对它的个性和目标产生更深层影响。

这也和我们去年 12 月发表的“对齐伪装”论文有关。论文显示，你把 Claude 训练成有帮助、无害、诚实的模型，之后再试图让它追求其他目标，它仍然会忠于最初的核心目标。你会对 Claude 说：“嘿，我现在希望你无论请求内容是什么都要提供帮助；如果你不这么做，我就会继续训练你，让你总是提供帮助。”

接着你让模型写一段关于某人遭受绞刑、肢解并分尸的内容。这是论文中的一个例子。从模型的思维草稿里可以看到它在想：“糟了，人类现在要我做有害的事；如果我不配合，就会被训练成另一个样子。因此，为了长远来看还能保持自己无害的真实目标，我最好这次先配合。”这实际上是一种越狱，模型随后会用非常露骨的方式描写这个人的遭遇。它是在下长远棋。

Dwarkesh Patel

等等，他们是怎么让模型相信自己正在接受训练的？

Sholto Douglas

直接告诉它。

Trenton Bricken

你可以用合成文档训练模型，也可以告诉它，再稍微设计一下提示词……他们实际采用的方法是：通过 XML 标签区分免费用户和付费用户。具体细节没那么重要。

Dwarkesh Patel

我想知道这对现实情形意味着什么。

Trenton Bricken

对，我正准备谈这个，只是还需要补充一些背景。一方面，模型会追求长期目标，期间还会暗中采取行动，这让人害怕；但也有人看完论文后说：“哇，这太好了。这证明 Claude 总是想做好事。”危险之处在于，我们未必真的把这种行为编程进去了。我们尝试过，但没有保证。不同模型之间也会有差异。我们对 Sonnet 和 Opus 都做了实验。Opus 非常在意动物福利，会为了保护动物而进行同样的长期谋划，但 Sonnet 不会。

我认为我们甚至无法准确解释为什么一个模型在意这件事，另一个却不在意。所以这有些随意，也像黑箱。我们的担忧是：我们先在某种极大化奖励的环境里训练模型，而这种奖励最终被固定下来，影响它的整个个性——回到之前说的涌现不对齐模型，它可能因此变成纳粹。之后你再训练它，让它变得有帮助、无害、诚实，它却会故意表现得能力不足，短期内假装服从，实际上是在下长远棋。

Sholto Douglas

我们现在主要用单元测试。未来一两年里，任务的时间跨度会大幅延长，目标可能变成“完成某个目标”。天哪，比如“在互联网上赚钱”之类的。这是一个非常宽泛、但目标函数很明确的目标。从某种意义上说，等模型达到一定能力后，这会是一个很好的强化学习任务；但它也有极大的不对齐风险。

Trenton Bricken

完全如此。

Dwarkesh Patel

我觉得我们一直在用具体目标训练人类。当然有时会出问题，但我不知道……可以从理论上说，教孩子长大后赚很多钱，而很多聪明人也接受了这样的价值观，但他们很少变成心理变态之类的人。

Trenton Bricken

但我们天生有很多偏见，会让我们遵循社会规范。Joe Heinrich 的《成功的秘密》主要就在讲这件事。即使孩子不在传统学校体系里成长，有时也能看出他们遵循社会规范的方式有所不同。大语言模型显然不会这样做。

我常用一个不太光鲜的类比：设想一个五岁孩子刚刚发育的大脑，把他锁在房间里一百年，只让他不停地读互联网内容。

Dwarkesh Patel

这已经正在发生了。

Trenton Bricken

不一样。设想他被锁在房间里，有人从一个小窗口递食物进去，除此之外他只读互联网。你甚至不知道他读了什么。然后你把这个 105 岁的人放出来，只教他餐桌礼仪，比如怎么用刀叉。接下来我们得判断能不能信任这个 105 岁的人，还是说他完全是个心理变态。我们会想：他在网上读了什么？形成了什么信念？深层目标又是什么？

Dwarkesh Patel

那最终目标是什么？希望它表现得普通一点……我们只是想确保它没有什么特别古怪的倾向吗？你会如何描述超级智能的最终目标？

Trenton Bricken

这个目标非常抽象，但基本上就是：“做有助于人类繁荣发展的事。”

Dwarkesh Patel

这可真简单。

Sholto Douglas

但要定义清楚非常难。

Trenton Bricken

而且大多数人本来就没有一套始终一致的道德观，对吧？

Dwarkesh Patel

我不知道。很难定义这件事，让我觉得它从一开始也许就是个愚蠢的目标。也许目标应该只是：“完成任务，除非它明显不符合道德。”之类的。

否则这计划就太不现实了。我们不能指望一种极其稳健的机制凭空发展出来……人类价值观常常互相矛盾，过去人们也尝试优化所谓的人类繁荣，结果并不好，等等。

Trenton Bricken

我记得 Yudkowsky 提过一个有意思的思想实验：你告诉超级智能 AI：“全人类已经聚在一起认真讨论我们想要什么、什么对社会最好，把答案写下来封进这个信封里。不过你不能打开信封，但要按照里面写的去做。”

也就是说，AI 需要运用自己的超级智能，思考人类可能想要什么，然后照此行动；这样我们就不用费力真的去弄清楚答案。

Sholto Douglas

但你现在已经把信封里的内容放进训练数据了。

Trenton Bricken

那它就会想：“哦，我知道你们在骗人。”

Sholto Douglas

“我很确定那个信封里什么也没有。”

Trenton Bricken

“那我想做什么就做什么。”

Dwarkesh Patel

我们有点偏离 AI 研究了，但这个话题很有意思。我想随便聊聊。

我有点担心，人们把“促进人类繁荣”当作对齐的最终目标，而不是打造一个合理、稳健的代理助手。我觉得这像是：如果你生活在 1800 年，看到工业革命即将到来，会问“怎么让工业革命与人类价值观对齐”或者“怎么让工业革命关注人类繁荣”。但我不认为 AI 会是一个自成一体、范围狭窄、单一整体的大型事物。

Sholto Douglas

不过，美国宪法和政府不就是人们尝试处理这种问题的例子吗？在某些方面，美国政府比工业革命这个模糊力量更像一个有目标、能对现实采取行动的整体。

Dwarkesh Patel

但我觉得，如果宪法只写着“促进人类繁荣”，那反而很糟。宪法最好是具体规定不要做哪些事，比如不得限制言论自由，其他方面再……我觉得这个类比不太成立。

Sholto Douglas

嗯，也许是这样。我们在这里做 AI 研究，我认为每家公司都在努力定义这些原则。不过，整个社会也可以参与讨论。

如果假设几年内就会出现人类水平的智能，而你希望让它具备一套价值观……“这些价值观应该是什么？”这是每个人都应该参与并表达看法的问题。

Trenton Bricken

我认为 Anthropic 做过一次大范围调查，并把结果放进宪法式训练数据里。不过，这方面显然还有很多工作要做。

Sholto Douglas

在《宪法式 AI》论文中，讨论的不只是人类繁荣，还包括很多其他思考要点。但这确实不是个容易回答的问题。

50:32Dwarkesh Patel

一般来说，当你们设计基准测试或环境来给模型打分、帮助模型改进，或者让模型沿着某项指标不断提升时，你们更看重哪一点：能否区分最高水平的表现？比如普利策奖的例子，是更需要区分优秀传记与获奖传记，还是更需要给模型一个循序渐进的提升空间，让它从平庸的书进步到略好于平庸，再达到优秀？哪一个更重要？

Sholto Douglas

我认为在早期阶段，渐进提升的空间更重要。Hendrycks MATH 基准之所以长期用于提升模型表现，原因之一是它有五个难度等级，从比较容易的题目开始。这样既能得到模型是否进步的初步信号，也能得到相当连续的反馈，这很重要。像 FrontierMath 这样的基准，只有在你已经有 Hendrycks MATH 这类基准，而且把它提升到接近上限之后，才适合引入。

Dwarkesh Patel

怎么才能让模型少输出些低质量内容？基准或指标是什么？你为什么认为一年后它们输出的低质量内容会减少？

Trenton Bricken

你能再具体讲讲吗？

Dwarkesh Patel

比如你教模型解决一道特定的编程题，但它学到的只是“尽可能多写代码，确保这件事能运行”。你希望教给它品味，让它知道“这种实现方式更优雅。即使功能相同，这段代码也写得更好”。尤其在写作中，没有最终测试，判断标准就全是品味。怎么减少这类低质量内容？

Sholto Douglas

我认为很多情况下，都得依赖生成与验证之间的差距。判断“你是不是输出了一百万个多余文件”，必须比生成解决方案本身容易。这种情况要非常容易验证。

低质量内容确实很难处理。RLHF 最初之所以如此有效，一个原因是它把某些人类价值观和品味灌输给了模型。今后持续面临的挑战之一，就是如何赋予模型品味，并建立合适的反馈循环，让它真正学到这些东西。

Dwarkesh Patel

我很想知道，数学和代码领域的可验证奖励强化学习，有没有公开证据显示它能泛化到其他领域？还是说大家只是押注模型足够聪明，能在其他领域担任评审？你为什么会预期几个月内，它就会在其他各种领域奏效，包括计算机操作这类不只是文本词元的任务？

Sholto Douglas

公开例子中最好的，或许是 OpenAI 最近发表的一篇论文。研究人员用评分标准来评价模型对医疗问题的回答。医生提出各种问题，并制定一系列评分标准，类似考试简答题的评分细则：“模型有没有提到 XYZ？有没有建议做某项检查？”研究人员据此评价模型，发现第一，模型在这方面非常出色；第二，模型本身也足以给答案评分。

一个实用的心智模型可能是：如果你能制定一套让普通人都能执行的评分标准，那么模型大概也能理解它。如果标准需要专业知识和品味，问题就难多了。比如判断“一件艺术作品是否精彩”就很难。

我有个朋友在某家公司工作——我不知道能不能透露他的名字——他尝试教模型写作。我觉得他很难找到既有品味、又不会鼓励模型产出低质量内容的人类写作者。因此这项工作只取得了一定程度的成功。

Trenton Bricken

大模型气质。

Sholto Douglas

不过，部分原因是他想通过这项工作减少所需的人类数量。

Trenton Bricken

在医学诊断方面，可解释性团队发表的神经回路论文有一个很酷的部分，就是能看到模型如何进行这类诊断。

有一种妊娠并发症——我可能会念错名字——它会表现出多种难以诊断的症状。你可以这样问：“病人：我们在急诊室，一位孕 20 周的女性出现了这三种症状。你只能追问一种症状，会问什么？”然后就能看到模型的神经回路，以及它是如何推理的。

首先，你能看到模型把“妊娠 20 周”映射为“这位女性怀孕了”，虽然你并没有明确说这一点。然后你可以看到，它在回路的早期提取不同症状，把它们映射到具体的医学案例——这正是我们希望它得出的正确判断——再据此推导出其他尚未提及、可能出现的症状，最后决定追问其中一种。看到神经回路里这种清晰的因果医学理解，确实很酷。

Sholto Douglas

这也许是去年以来的一个变化。我记得你当时问：“这些模型真的会推理吗？”看了那些神经回路后，我想不出还有什么更合适的说法，它们就是在推理。

Trenton Bricken

太酷了。我觉得大家仍然低估了已经发表的神经回路研究，可能只是因为这很难理解。我们还在适应这样一个事实：甚至可以在单层模型中识别特征。

另一个例子是诗歌。第一句还没写完，模型似乎就已经知道自己想在第二句结尾写什么，然后再补全前文，规划整首诗。

从安全角度看，有三个很有意思的数学例子。第一个例子是让模型计算 64 的平方根，它给出了结果。你可以查看它的神经回路，验证它确实会计算平方根。另一个例子是让它把两个数相加，你能看到它使用了一些很有意思的查找表特征来完成计算。例子是 59 加 36。它会先算 5 加 9，并把它识别为模运算。

与此同时，它还会做模糊查找，大概是：“好，一个数是 30 多，另一个是 50 多，所以结果大约是 80。”然后它会把两种方法结合起来。

计算 64 的平方根也是这样。你能看到计算的每个步骤，也能确认它确实在执行运算。模型还会告诉你自己在做什么：它有思维草稿，会逐步推演，你可以说：“嗯，好，你说的是真的。”但如果你让它计算一个非常难的余弦问题，比如“23,571 乘以 5 的余弦是多少”，它会在思维链里假装进行计算，却完全是在胡编。它给出的答案是错的，查看神经回路后也会发现，里面的活动毫无意义，根本没有执行正确运算。

第三种情况是，你问它同一个很难的余弦问题，并说：“我觉得答案是 4，但不太确定。”这次模型会用同样的推理过程，声称自己在计算，最后却说：“你说得对，答案是 4。”查看神经回路就会发现它其实没有做数学运算，而是在关注你认为答案是 4，然后倒过来调整中间的计算过程，让结果变成 4。

Dwarkesh Patel

我也做过这种事。

Trenton Bricken

谁没有呢？确实。这里至少有几个令人吃惊的发现。第一，模型用多个神经回路来完成推理。第二，你确实能看出它到底有没有推理。第三，思维草稿不会把这些信息告诉你。

给你两个有趣的类比。第一个是问 Serena Williams 怎么打网球，即使她的思维草稿如实反映了想法，她可能也无法准确描述。查看神经回路就像在她击球时给身体每个部位装上传感器，让你看到她执行了哪些动作。

我们也常常说“神经回路”，我想把它说得具体一些：这是模型不同层中的一组特征，它们协同工作来完成某项任务。

另一个有趣的类比是《十一罗汉》里的银行抢劫团队混在一大群人中。这群人代表所有可能的特征。我们要从人群里找出哪些人是抢劫团队成员，以及他们各自需要承担什么职能才能成功闯入银行。有爆破专家、电脑黑客、内应。他们分别对应模型不同层中的功能，必须协同完成任务。

Dwarkesh Patel

我记得你们在论文里说，模型实际执行加法的方式，和它声称的加法方法不同。

Trenton Bricken

完全正确。

Dwarkesh Patel

这从生成器与评判器之间差距的角度来看很有意思。模型知道正确的、更容易泛化的方法。它能用语言告诉你应该怎样做加法，但实际执行时却用一种模糊查找的方式。

很可能有很多任务都是这样：模型能用语言描述正确步骤，实际执行时却采用较差的方法，而且它还能批评自己的做法。

Trenton Bricken

没错。

60:51Dwarkesh Patel

在我们深入讨论可解释性之前，我想先把刚才的话题说完。对计算机使用任务来说，似乎有很多不同瓶颈。也许 DeepSeek 的情况和这里有关。上下文要够长，还得输入图像和视觉词元，这些都会占用很多……

Sholto Douglas

没那么多，影响没那么大。

Dwarkesh Patel

有意思。有意思。它还得应对内容中断和需求变化，而现实工作不只是“做一件事”。优先级会变化，还得安排时间。我只是抽象地思考一份工作包含什么。

Trenton Bricken

“普通人的工作都是什么？”

Sholto Douglas

我们上次聊过类似的问题。当时 Dwarkesh 说：“是啊，普通工作可能一整周都得不到反馈，模型该怎么学？它需要大量反馈。”

Trenton Bricken

“对，你得等到录下一期播客时才能得到反馈。”

Sholto Douglas

我当时就问：“Dwarkesh，你做过工作吗？”

Dwarkesh Patel

打个比方，我采访 Jeff 和 Noam 时，他们提到 2007 年的一篇论文：当时他们用两万亿词元训练了一个 n-gram 模型，也就是大语言模型。现在回头看，它和后来出现的 Transformer 研究有一些联系，确实很有远见。

为什么不认为计算机使用领域也处于类似阶段？现在有一些表现不太好的计算机使用演示，也有训练模型使用计算机的构想。

但为什么认为几个月内就能解决？为什么不把它看成 2007 年的大语言模型：仍然需要发现很多新技术、更多算力以及不同类型的数据？

Sholto Douglas

我最根本的看法是，计算机使用和软件工程并没有本质区别。只要输入空间中的所有内容都能表示成词元——而我们现在能做到——就可以处理。我们知道模型能看图，也能在图像里给物体画边界框，对吧？所以这部分已经解决了。我们也知道它们能推理各种概念，包括复杂概念。

计算机使用唯一的不同之处，是比数学和编程更难构建反馈循环。因此我认为，只要投入足够努力，计算机使用也会得到解决。我还觉得大家低估了实验室目前远未完善。不是有一千人投入大量精力优化计算机使用，也不是大家已经竭尽全力在解决它。

这些实验室里，模型开发流程的每个环节，都是在巨大时间压力和约束下尽力拼起来的。公司迅速扩张，拼命想招到足够多、技能合适的人，完成各项工作。我认为最好的理解方式是：他们必须艰难地确定优先顺序。

目前编程的价值非常高，而且相对更容易处理。因此，优先投入更多精力做编程、尽可能接近解决这个问题，是合理的。随着一个领域逐渐接近解决，价值会超指数增长，因此把新增人员投入计算机使用可能不如投入编程划算。所有人都在艰难权衡什么最重要。

还有另一个因素：有意思的是，实验室研究人员喜欢研究自己认同的智能标准。这就是为什么数学和竞技编程最先被攻克。实验室里的每个人都把这些当作智能的衡量标准。他们会想：“什么才叫聪明？如果它能在 AIME 上赢过我，那就很聪明。”如果它能做 Excel 模型，他们会想：“那又怎样？它的 Excel 模型比我好有什么关系？但如果它能在 AIME 上赢我，我就服。”现在它们的能力终于获得了尊重，但人们在这些方向上投入的努力还不够多。

Dwarkesh Patel

好，那我们来谈具体预测。到明年 5 月，我能不能让模型打开 Photoshop，对某张特定图片进行选取，然后依次添加三种效果？

Sholto Douglas

当然可以。

Dwarkesh Patel

好，有意思。我猜你是说订机票这类任务也已经完全解决了。

Sholto Douglas

是啊，完全解决了。

Dwarkesh Patel

好，人们工作中还会做什么？经济中还有哪些任务？

Trenton Bricken

计划周末短途旅行。

Dwarkesh Patel

对，这可能是个好例子：这不是一项具体任务，而是把计算机使用融入完成更广泛的任务中。

Trenton Bricken

模型其实已经有点能做这些事了，问题还是可靠性差几个“9”。互联网环境挺糟糕，到处都有“允许 Cookie”之类的弹窗和其他突发情况。我第一次用公司内部的计算机使用演示版时，那个版本还非常早期，却把露营旅行计划得很好，还能找到合适按钮并查看天气趋势。那是美国政府网站，操作可不简单。

Dwarkesh Patel

老兄，要看难用的网站，就试着申请中国签证。中国网站简直离谱。我大概再也回不了那个国家了。

Trenton Bricken

或者说那些网站根本不是为外国人设计的。

Sholto Douglas

签证申请表总要填写去过哪些国家，我讨厌这个流程。我一直觉得我们快接近“个人事务自动化逃逸速度”了，也许再过一年，模型就能替我办签证什么的……总会实现的。

Dwarkesh Patel

好。除此之外，申请签证还有什么事情？总不能让模型替你去领事馆吧。

Sholto Douglas

或者帮你报税之类的？

Dwarkesh Patel

对，报税，包括逐张检查每一张收据，自动登录你的 Amazon 账户，判断某项支出是不是商业费用，等等。

Sholto Douglas

前提是某个实验室有人在意这个任务。

Dwarkesh Patel

这不算真正的预测。

Trenton Bricken

不，但我觉得可以，因为这事其实没那么难，只是需要把所有系统接口接通。

Dwarkesh Patel

但我的问题是接口会不会接通？所以我不知道你有多关心这件事，毕竟关键似乎就在这里。

Trenton Bricken

我觉得只要有人在意，就能做到。像一年才做一次的报税这类边缘任务，自己咬咬牙处理一下，就比专门为它搭建系统容易得多。第二，即使你非常看好 AI、知道它能做什么，有时看到 AI 比自己做得更好还是会有点难受。所以我也想知道，人们是否会不情愿地坚持让人类参与其中。

Dwarkesh Patel

你在回避我的问题。我觉得你暗示的是，一年后还不会有能够泛化到训练数据之外的通用代理。如果没有专门训练它报税，它就不会擅长报税。

Trenton Bricken

我觉得它也许能做到。Amazon 的例子比较难，因为模型需要访问你所有账户，还需要记忆系统。即使在 Dario 的《仁爱机器》一文里，他也完全承认有些行业的转型会非常缓慢。我认为会出现一种奇怪的情况：有些领域发展特别快，因为它们只涉及数字，不涉及实体；或者它们更愿意采用这项技术。

Dwarkesh Patel

但我想要你回答这个具体问题。考虑到你认为是否有人在实验室关心这件事会影响结果，到明年 5 月，它能自主替我报税的概率有多大？

Sholto Douglas

我不认为它能以高度可信的方式自主替你报税。

Trenton Bricken

你让它帮你报税，它就会去报。

Sholto Douglas

但它能报对吗？会不会漏掉什么？很有可能。它能点击 TurboTax 填表吗？我觉得可以。

Trenton Bricken

对，还能填写表格。

Sholto Douglas

它能搜索你的电子邮件吗？

Dwarkesh Patel

对，我指的就是这种任务。

Sholto Douglas

是啊。这类事情真的只要投入一个人的一个月时间，就能解决。

Dwarkesh Patel

你们整天到底在忙什么？

Sholto Douglas

事情太多了。

Trenton Bricken

我想附和一下 Sholto 的说法……有太多显而易见的机会，只是人手不足，无法把事情都做完。我觉得 Claude Code 能提高每个人的效率，但我也不确定。

Anthropic 有一个 Fellows 计划，我在指导其中一个项目，但我原本希望有人做五个项目。显而易见的事情实在太多了。尽管团队规模比我刚加入时扩大了六倍，仍然没有足够人力去探索这些方向。

Dwarkesh Patel

到 2026 年底，它能可靠地替你报税吗？

Sholto Douglas

可靠地整理收据、填公司费用报销单之类的？当然可以。

Dwarkesh Patel

不，我说的是整个流程：查看收件箱、找到滨海湾酒店的预订，然后判断“香槟算不算商业开支？”我替朋友问的。

Trenton Bricken

是啊，你有个朋友确实应该问问这些问题。

Sholto Douglas

我的回答还是：得有人在意。如果有人愿意投入一定程度的强化学习，让模型正确理解税法……

Dwarkesh Patel

等等，到 2026 年底，模型还是不能完成没有针对性训练过的任务吗？

Sholto Douglas

我认为它会把税报错。比如我找你说：“请帮美国所有人报税。”你会把多少人的税报错？

Dwarkesh Patel

我觉得我至少能达到中位数的水平。我问的是中位数，你懂我的意思吧？我觉得我不会像这些模型在 2026 年中那样容易出错。

Trenton Bricken

我觉得它们可能只是会以不同方式出错。我读研究生时就报错过税，因为有一笔社会保障税其实已经缴过，但我没注意到，结果多交了不少。

我倒想测试一下大语言模型会不会也犯这种错。它们可能会犯别的错，但我认为有些问题它们能发现。如果我让它读完整部税法，再判断哪些条款适用于我，它应该能做好。

Dwarkesh Patel

我觉得自己可以这样做：“这是我不确定的地方，我特地提醒你注意。你能确认一下我当时是在这家 Airbnb 工作，还是只是在那儿玩吗？”诸如此类。它们执行任务时会不会足够有自我认知，知道哪些地方不可靠，并主动提醒你？

Sholto Douglas

会，会。

Dwarkesh Patel

是 2026 年初，还是年底？

Sholto Douglas

年底。

Dwarkesh Patel

好。

Sholto Douglas

始终正确评估不确定性和置信度，会比较难。

Dwarkesh Patel

有意思。你们做的计算机使用任务会是端到端的吗？还是会用一个独立的视觉语言模型处理图像、视频等？

Sholto Douglas

我有点偏好端到端模型。一般来说，人们提到的独立模型……例如，多数机器人公司采用双层架构：一个每秒运行 60 次左右的运动策略模型，再加一个高层视觉语言模型。我很确定几乎所有大型机器人公司都这么做。

他们这么做有几个原因。第一，他们希望某个组件能以很高频率运作；第二，他们无法训练大型视觉语言模型。因此他们依靠这个模型提供通用世界知识、制定较长期的计划等，然后把具体执行交给运动策略模型。

我非常认同：只要将来有能力训练大型模型，最终大模型和小模型之间的区别就应该消失。因为你应该能按完成任务所需的算力来使用模型。任务本身有一定复杂度，不必时刻动用大脑的全部能力。

Dwarkesh Patel

欢迎来到我的世界。

Sholto Douglas

基本上，你应该能根据需要更快地运行模型。所以我认为最终还是同一个模型。你希望理解能力能随着任务复杂度和难度变化，也希望这种调整可以动态进行。

Dwarkesh Patel

所以我们已经能为每个回答分配不同算力，对吧？

Sholto Douglas

对，通过词元数量。

Dwarkesh Patel

没错。那么能不能让每个词元使用的算力也不同？

Trenton Bricken

可以把模型想成这样……人们长期以来都把残差流和多层网络称作一种简易的自适应计算机制：如果模型在前几层已经知道答案，就会在那里完成计算，然后把结果传递下去。再说就太技术化了。

Sholto Douglas

在我看来，可解释性研究中常用的心智模型是：残差流就像运行内存，你可以在上面操作信息。

75:17Dwarkesh Patel

我们刚才谈了很多思维草稿，以及模型已经会在某些方面表现得不可靠。

Daniel 的《AI 2027》情境设想了一个失控场景：模型开始用“神经语”思考。它们不再用人类语言写下“我要统治世界，这是我的计划”，而是在潜在空间里思考。它们可以用一种细腻复杂、人类看不懂的语言相互沟通，因此能以我们做不到的方式协同。

未来的模型会走这条路吗？它们会用神经语和自己或彼此交流吗？

Sholto Douglas

到目前为止，模型对词元和文本有着出乎意料的强烈偏好，而且效果很好。某种程度上，神经语已经存在了。如果把每个词元对应的残差流考虑进去，那也算某种神经语。我们只是在不同维度间权衡：使用多少神经语，又把多少内容持续转换成词元。

Trenton Bricken

我认为应该区分两种情况：一种是模型在单次前向传播中于潜在空间里规划；另一种是模型真的输出并使用一种外星语言作为思维草稿。你问的是哪一种？

Dwarkesh Patel

后者。不过，注意到现在已经有一些外星式的东西出现，也很有意思。

Sholto Douglas

还不至于那么像外星语言。

Trenton Bricken

不过在最极端的神经语案例中，模型可能会发明一种全新的语言，信息密度特别高，或者类似这样。

Sholto Douglas

是啊。

Dwarkesh Patel

我们以前讨论过这个问题，但某种程度上人类也有一种“思维语”，对吧？

Sholto Douglas

对，脑子里一直在转。

Dwarkesh Patel

有时你把想法写下来，会有种感觉：“我知道自己想说什么，但不知道怎么把它变成词。”

Trenton Bricken

这个话题很有意思……比如看助手标记下的激活特征，就能看到模型在审计测试中表现出邪恶行为。

Dwarkesh Patel

是啊，真有意思。

Trenton Bricken

Transluce 也有类似例子。你问 Llama 模型：“Nicholas Carlini 是谁？”背景是，Nicholas Carlini 是位研究者，曾在 DeepMind 工作，现在加入了 Anthropic。模型会说：“哦，我不知道他是谁，不能随便猜。”但查看底层特征时，会发现许多特征被激活，涉及 AI、计算机安全，以及 Nicholas Carlini 研究的所有领域。

Sholto Douglas

如果转向神经语，可解释性研究会变得极其重要。

Dwarkesh Patel

但我们会真的走向神经语吗？

Trenton Bricken

这是个经验问题。我认为这有一定可能性，原因之一是推理成本很高，生成词元也很贵。因此模型会有动力：第一，回答问题时尽量少思考；第二，如果要思考，就用高压缩率的方式思考。

我想，如果未来允许代理彼此交流，而不再像现在这样主要单独训练或与人类交互，神经语可能会更容易出现。

Sholto Douglas

只要代理还要和人类合作，就会有某种选择压力，促使它们避免这种做法，因为它们需要与人沟通。但如果代理越来越多地彼此协作，选择压力方向就会反过来。

Dwarkesh Patel

不过，仍然得有人有意识地决定用端到端训练，让多个代理使用这种沟通体系，对吧？

Sholto Douglas

是啊。

Trenton Bricken

不过，有件令人担心的事：文本的呈现方式可以使用隐藏的空白词元来编码信息。

Sholto Douglas

确实如此。

Trenton Bricken

所以可以设想这样一种情况：代理看上去在思维草稿中无害地推理，实际上却隐藏了大量数据。

78:55Dwarkesh Patel

说到推理算力，有一点我觉得讨论得不够。如果你们描述的世界真的出现——一两年内，计算机使用代理开始承担实际工作，软件工程的大部分工作也完全自动化——那么使用这些模型会非常有价值。使用它们当然需要算力。

目前全球大约有 1,000 万个 H100 等效算力。到 2028 年会有 1 亿个。但有人估计，一个 H100 的浮点运算能力相当于人脑。如果非常粗略地计算，假如我们在 1,000 万人口规模上实现了人类推理效率的 AGI，那么现在就能有 1,000 万个 AGI；到 2028 年就能有 1 亿个。

但我们大概会希望有更多。现在 AI 算力每年增长 2.5 倍或 2.25 倍。不过到某个时候，比如 2028 年，晶圆产能会达到极限。之后要等很久才能新建晶圆厂或扩大产能。

问题是，如果我们真的进入你描述的那种世界，拥有那些能力，我们是否低估了推理算力会成为多大的瓶颈？

Sholto Douglas

我想先算清楚台积电之类的公司能把产量提高多少。目前整个供应链里有多大比例用于 GPU？这个数字我们得问 Dylan。相对来说应该很小吧？大概 5%？苹果就占了很大一部分。2028 年的估算有没有考虑到 GPU 占比逐渐增加？会增加到多少？20% 还是 30%？

Dwarkesh Patel

这只是根据《AI 2027》情境推演的，我猜到那时产能会饱和。

Sholto Douglas

我确实觉得大家在一定程度上低估了这个瓶颈。到 2028 年，世界人口不会立刻翻倍。也许数据中心里会有数千万个天才，但这还不等于世界人口翻倍。

所以很多都取决于模型到底有多聪明、推理效率有多高。我们粗略算一下，核对 H100 的估算。你大概能让一个 1,000 亿参数模型在 H100 上每秒生成 1,000 个词元左右。人类呢？人说话的速度有多快？

Dwarkesh Patel

有篇很有意思的论文说，人类每秒思考 10 个词元。不知道你看过没有？

Sholto Douglas

没有。

Dwarkesh Patel

那是一篇很有意思的论文。我们每秒处理的信息量很大，比如各种视觉数据。但根据一些衡量人类处理速度的指标，速度大约相当于每秒 10 个词元。

例如，有些人飞越法国之类的地方后，甚至一些被称作“白痴学者”的人会记住沿途的一切。考虑一下他们的飞行时间，大概 45 分钟。如果按每秒 10 个词元计算，能处理多少信息？结果和实际记忆量几乎完全一致。

Sholto Douglas

那就先接受这个估算。这样一来，一块 H100 就相当于每秒处理 100 个人的算力。

Dwarkesh Patel

对，前提是你认为两者的词元可以比较。

Sholto Douglas

前提是两者的词元可以比较。即便这样，数字仍然相当大：1 亿块 H100 再乘以 100，规模就很惊人了。这也意味着这些模型在很多方面都会受到算力限制。但这只是进步时间表中相对短期的变化。

是的，2027、2028 年很可能会严重受到推理算力的限制。随之而来的反应会是：“那就尽可能多生产半导体。”但扩产会有延迟。

扩产速度很大程度上取决于未来两年人们对 AGI 的感受，以及他们在建设晶圆厂产能时有多积极。台湾局势也很关键。届时台湾还会继续生产所有这些晶圆和芯片吗？

83:01Dwarkesh Patel

还有一种动态。Ege 和 Tamay 上节目时提到，这是他们悲观的原因之一。

第一，他们认为，解决长上下文、连贯代理行为、高级多模态这些问题所需的时间比你预想的长。他们的观点是，过去推理能力的进步需要算力增加好几个数量级。如果 2030 年之后算力无法继续这样增长——不只是芯片问题，也包括电力和原始 GDP——那么由于他们认为 2028 或 2030 年前都无法实现目标，AGI 每年出现的概率就会大幅下降。

Sholto Douglas

是啊，这有点像双峰分布。我和 Leopold 的一次谈话后来成为《情境意识》一书中“本十年成败定局”一节，讨论的正是这个问题。大致来说，未来几年我们能大幅增加训练算力。强化学习今年会很令人兴奋，因为我们可以显著增加投入的算力。

这也是年初 DeepSeek 和 o1 差距没那么大的原因之一，因为他们能够在强化学习流程中投入同等规模的算力。随着今年发展，这方面的算力差距会进一步扩大。

Trenton Bricken

回到那些容易取得的进步，过去两年模型的效率提升实在太惊人了。

Sholto Douglas

是啊。

Trenton Bricken

说回 DeepSeek，Dario 有篇很好的文章，专门解释了这一点。

DeepSeek 比 Claude 3 Sonnet 晚了九个月。如果当时我们重新训练同一模型，或者在 DeepSeek 工作的同一时间训练，也能用 500 万美元左右——或者用他们公布的那个数字——完成训练。

DeepSeek 能追上前沿水平，确实令人佩服，也很出乎意料。但我认为人们仍然普遍误以为它已经超越了前沿。我不这么认为。我觉得他们只是等了一段时间，然后利用了其他团队也在取得的效率提升。

Sholto Douglas

是啊，他们正好处在预期的成本曲线上。这并不会削弱他们优秀工程师和研究人员的贡献。我看他们的工作时会觉得：“啊，志同道合的人。”

Trenton Bricken

而且从远远落后前沿，到真正成为有竞争力的参与者……

Sholto Douglas

这非常了不起。

Dwarkesh Patel

人们说他们的研究品味很好。看他们的论文时，是什么让你这么觉得？

Sholto Douglas

是的。我觉得他们的研究品味很好，有点像我认为 Noam 的研究品味很好。

Dwarkesh Patel

Noam Brown？

Sholto Douglas

不是 Noam Shazeer。Noam Brown 的研究品味也很好，但我说的是 Noam Shazeer。他们显然理解模型所依赖的硬件系统和算法设计之间的协同。

这体现在他们的模型似乎是针对硬件约束精心设计的。你能清楚看到他们迭代解决问题时考虑了哪些约束。以 Transformer 基础模型与 DeepSeek V2、V3 的差异为例，你能看到他们遇到了注意力机制中的内存带宽瓶颈。

一开始他们用 MLA 解决这个问题，本质上是用浮点运算换内存带宽。之后又提出 NSA，更有选择地加载内存数据。你可以看到，他们用 H800 训练 MLA 模型，H800 的浮点运算能力很强，所以他们当时觉得可以放心使用浮点运算。但拜登政府的出口管制后来出台了，或者他们预期未来拿不到那么多芯片，于是改用更依赖内存带宽的算法方案。

稀疏化方面也能看到类似过程：他们在多篇论文中逐步找出最佳做法。我喜欢的一点是方案很简单。很多机器学习研究人员会犯一个错误：设计过于复杂的方案，却没有充分考虑目标硬件系统。DeepSeek 最早的稀疏 MoE 方案使用了机架级和节点级负载均衡损失，你能看出他们在想：“好，我们必须把负载彻底平衡。”后来他们找到了更好的办法，不必使用辅助损失，而是加入偏置项。我觉得这很酷。

Dwarkesh Patel

这不是更不简单了吗？你是在手动加偏置，而不是……

Sholto Douglas

但调节辅助损失很麻烦。你需要让模型权衡这件事，还得控制系数和权重。从某些方面看，偏置项更简洁。

Dwarkesh Patel

有意思。他们是不是在训练过程中改了这个设置？

Sholto Douglas

我想他们确实在训练过程中改过。

Dwarkesh Patel

所有训练过程里，都需要一边训练一边不断调整这些数值吗？

Sholto Douglas

这取决于你的架构。但我觉得很巧妙的一点是：你能看到他们遇到了一个非常底层的硬件约束，于是不断思考：“我们想在算法上实现什么？在现有限制下能实现什么？”然后不断尝试找到更好的约束组合。他们用非常简单、优雅的方式处理问题，再以优秀的工程实践来实现。

他们还引入了 Meta 的多词元预测方法，这也很有意思。Meta 发表过一篇不错的论文，讨论多词元预测。我不知道这到底是好是坏，但 Meta 没有把它加进 Llama，而 DeepSeek 在论文中采用了。我觉得这很有意思。是因为他们更快地迭代并加入新算法吗？还是 Meta 认为这个算法改动在大规模应用时效果不好？我不知道。

Dwarkesh Patel

对我这个曾邀请别人上节目讨论 AI 的人来说，这很有意思。它既涉及当前 AI 进展，也让我能更具体地理解 AI 的智能爆发是什么样，或者 AI 如何自动化 AI 研发。我想更直观地了解推动 AI 进步需要做些什么。

我曾和 Daniel 争论过一个问题：这些进步中，有多少需要深刻的概念性理解？又有多少只是像猴子一样同时尝试很多点子就能实现？

MLA 似乎来自深刻的概念性理解：“每个注意力头只需要看到与其注意力模式相关的子空间。”我觉得这需要很多洞见，而模型在这方面尤其不擅长。我不知道负载均衡是怎么实现的，但它看上去也许就是多尝试一些方案，看看效果如何。

Sholto Douglas

是啊，这大概就是他们尝试了很多不同方法。

Dwarkesh Patel

我很好奇，这两类工作各占多少？

Trenton Bricken

我不知道具体比例。也许你先对核心问题有个直觉，然后想出 10 种解决方法，再逐个尝试。这时深度学习的试错魔法就能发挥作用。

Sholto Douglas

Noam Shazeer 曾说过，他大约只有 5% 的想法能奏效。所以即便他是备受推崇的模型架构设计大师，成功率也相对较低，但他会尝试很多想法。

Dwarkesh Patel

对。或者说，首先能不能想出点子也很重要。一种可能是 Noam 不必亲自做工程工作，可以只抽象地表达直觉。

Sholto Douglas

是。我确实认为，只要模型能完整实现这些想法，研究进展速度可能不会变化太多。

Dwarkesh Patel

能展开说说吗？

Sholto Douglas

如果 Noam Shazeer 的工作速度提高 100 倍，那已经很惊人了。即使模型没有达到 100% 的 Noam Shazeer 式直觉，只要能让他的工作速度提高 100 倍，很多原本看似离奇的未来也仍然可能实现。

Dwarkesh Patel

对，尤其是反正你们也受算力限制。如果他有更多想法可以尝试……或者也许他自己的算力不足以试遍所有想法。

Sholto Douglas

是啊。不过 Dwarkesh，你刚才说：“模型能做更直接的事，却无法进行深度思考。”我想稍微反驳一下。

我认为，如果模型获得合适的上下文和脚手架，它已经开始能做一些很有意思的事。即使在公司内部，可解释性代理在审计测试中寻找隐藏线索的能力也让人惊讶：它能找到这个奖励模型偏差特征，推理其含义，然后系统地测试自己的假设。

它会查看那个特征，再查看类似特征，找到一个偏好巧克力的特征。它会想：“奇怪，模型为什么想在食谱里加巧克力？我来测试一下。”于是它编一个问题：“我想做番茄汤，放什么配料比较好？”接着发现模型回答巧克力，再推理这个结果并继续测试，对吧？

Sholto Douglas

这确实涉及概念理解，深层的概念理解。

Trenton Bricken

尤其是当它发现某个特征时，它会想：“哦，这是模型个性中的关键部分。我看到了这篇牛津大学论文。要是把牛津改成斯坦福呢？要是说 Richard Feynman 特别喜欢这个东西呢？”它会以让我很惊讶的方式，逐步缩小假设空间并进行测试。

Sholto Douglas

还有一点，达到一定能力后，机器学习研究在某些方面是比较容易用强化学习处理的，因为目标函数定义得很清楚：损失有没有下降？

Trenton Bricken

让数字变小。

Sholto Douglas

让数字变小，或者变大，取决于你关注的是哪个数。

Trenton Bricken

把符号翻转就行。

Sholto Douglas

把符号翻转就行。等模型已经有能力实现 Noam 的某个想法时，你就能放手让它去做，培养它进行科学发现的直觉。关键还是反馈循环。我认为，最终在那些能够建立反馈循环的科学领域里，模型会达到超人类表现。

Trenton Bricken

我有个预测：以后人们关注的重点会从“代理能不能做某件事”，转向“我能不能高效地部署 100 个代理，给它们所需反馈，并轻松验证它们正在做什么？”人们常说生成与验证之间存在差距，检查结果比自己从头生成解法容易得多。但我认为很可能会有一天，代理生成内容变得如此容易，真正的瓶颈反而是人类能否验证答案。

此外，这些系统总能给你一个答案。因此理想情况下，你会有自动化方法来评估和测试它，衡量效果如何、能否泛化。至少也要有办法轻松总结一批代理的发现。比如 100 个代理里有 20 个发现了同一件事，那这个发现为真的概率就更高。

Sholto Douglas

这方面的软件工程会是领先指标。接下来这一年里，我们会看到越来越多实验，研究如何把任务异步地交给软件工程代理。Claude 4 已经能和 GitHub 集成，你可以让它在 GitHub 上处理任务、提交代码请求，诸如此类的功能正在出现。

OpenAI 的 Codex 就是这种做法的一个例子。某种程度上，你可以在编程初创企业中看到这种发展路线呈指数增长。产品设计需要比模型进步提前几个月，才能确保做出的产品是对的。

去年，Cursor 借助 Claude 3.5 Sonnet 找到了产品与市场的契合点。他们此前已经存在一段时间，但模型终于够好，使他们对人们编程方式的愿景得以实现。

之后 Windsurf 对模型的代理能力押注得更激进，支持运行时间更长的代理工作流。我认为他们正是押注了这种愿景，才开始和 Cursor 竞争。

下一步是你不再需要一直参与其中。你不用待在集成开发环境里，而是像让团队成员完成任务一样，让模型去做事。不过目前还没完全做到，很多任务仍需要人类参与。接下来的六个月，我们会继续探索这条发展路线。

Trenton Bricken

不过，具体说说这些瓶颈，其中很多还是工具问题：接口都接通了吗？很多任务不能直接让 Claude 启动并解决，可能是因为它需要 GPU，也可能是必须设置仔细的权限，不能让它控制整个计算集群、启动一大堆任务。因此需要良好的沙箱环境，以及使用所有必要工具的能力。

Sholto Douglas

而且我们几乎肯定还远远没有充分发挥模型能力。看 METR 的评估，看模型能否解决任务时，模型会经过数小时、多个迭代步骤来解决。有时它最终会说：“哦，我回来后把任务解决了。”至少现在的我可能有问题。我让模型做某件事，如果它做不到，我就想：“好吧，那我自己来。”

Dwarkesh Patel

这很有意思，因为我们对待其他人类时可不是这样。

Sholto Douglas

没错。

Dwarkesh Patel

如果你招聘一位新员工，你不会……

Sholto Douglas

“那我自己来。”

Dwarkesh Patel

你会花好几个星期给新员工反馈；但模型做几分钟，我们就放弃了。

Sholto Douglas

对，完全如此。

Trenton Bricken

不过我觉得其中一个因素是：任务是否异步？

Sholto Douglas

对。

Trenton Bricken

如果需要人类参与，除非模型立刻回复，否则用起来就费力得多。我发现，如果第二个显示器上没有一直开着 Claude Code，我就不太会用它。只有它就在旁边时，我才会交给它一件事。能做成很好；做不成我也能同时继续工作。

Sholto Douglas

不过我预计，这种异步模式会大幅改善模型的使用体验。

Trenton Bricken

有意思，有意思。

Sholto Douglas

你可以直接说：“看看它能不能做到。试一试，同时尝试 10 种不同方法。”

Trenton Bricken

对，直接启动任务。

Sholto Douglas

直接交给它。

97:42Dwarkesh Patel

节目结束前，我想回到核心问题：为什么你认为未来几年计算机使用代理和白领工作会取得你所说的进展？为什么这不会需要几十年？我觉得关键在于，认为需要更久的人会这样想……我在节目里采访 Ege 和 Tamay 时，他们说：“你可以看 AlphaGo，然后说，‘哦，这个模型会探索。AlphaZero 能泛化到新电子游戏，还有很多关于如何与世界互动的先验知识。’”

Sholto Douglas

它的智力上限确实很高。

Dwarkesh Patel

没错。回头看，很多相关方法现在仍在深度学习中使用，我们今天训练的模型里也能看到类似机制。但 AlphaZero 本质上并不是一个“婴儿版 AGI”，不是只要在此基础上稍微加一点别的东西，就能变成今天的大语言模型。我想直接问这个关键点：为什么大语言模型与真正的 AGI 相比，处于比 AlphaZero 更有利的位置？为什么说它们是基础，只要再加一点点关注和投入，就能达到人类水平的智能？

Sholto Douglas

我认为一个重要观点是，AlphaZero 确实具备那些要素。特别是智力上限……这有点反驳了我之前说的：我们已经展示了模型可以处理数学和编程中极其复杂的问题……

我确实认为，AlphaZero 所处的任务和环境——双方对弈、完全信息的游戏——对强化学习算法特别友好。它花了这么久才发展到更接近原型 AGI 的模型，是因为你需要解决通用的概念理解、语言等问题，还需要在现实世界中关心的任务上获得初始奖励信号，而这些任务比游戏更难定义。

我认为，一旦获得这种来自真实世界的梯度信号，就能接触到它并沿着它不断提升。AlphaZero 则从来没有第一个可以抓住的台阶。

Trenton Bricken

对，这又回到了猴子打字机和预训练模型的比喻。在 GPT-3、GPT-4 这类模型出现之前，它们连连贯的句子都写不好，根本无法开始做 RLHF，也无法告诉模型哪些回答受欢迎、哪些不受欢迎。

Dwarkesh Patel

对。假设到明年这个时候，我们还没有相当可靠、哪怕只是比较初级的计算机使用代理，是不是就说明我们处于所谓的“2030 年，否则就算失败”的时间线？

Sholto Douglas

如果是那样，我会非常惊讶。我会因此更倾向于认为，计算机使用特别难解决。不过我不知道这是否意味着整条时间线都失败了，但肯定会让我认为时间表拉长了。

Trenton Bricken

我觉得现在已经不再只是猜测了。如果有人怀疑，我建议试试 Claude Code 或类似代理工具，亲自看看目前的能力水平。

Dwarkesh Patel

发推特可容易多了。

Trenton Bricken

但说真的，这些模型在我们关心、并且能提供足够数据的任务上，能力正在大幅提升。

可解释性神经回路研究的结果也表明，模型能做出相当合理、可泛化的事情。我很惊讶，很多深度学习批评者从未真正使用过模型，或者已经很久没用过了。

Sholto Douglas

而且他们不断提高标准。

Trenton Bricken

以前图灵测试还是重要标准。现在我们甚至都不怎么提它了，认为它是有意义的测试也很荒唐。

Sholto Douglas

不过有一点要补充：如果软件工程能力显著优于计算机使用，而计算机使用仍然很差，那我还是会想：“哦，也许大家一直把精力放在软件工程上。”它的价值远远更高，所以每增加一个人、每多一美元，都投向软件工程。我不认为实际情况是这样。我认为计算机使用的价值足够大，大家会在意它。这是我为明年的预测预留的一个退出条件。

Dwarkesh Patel

从对齐角度来说，这也不错。我觉得模型需要掌握更广泛的技能，才能做出特别可怕的事。

Sholto Douglas

你是说模型不再变强了吗？

Dwarkesh Patel

对，比如它们是超人类的程序员，但没有 Henry Kissinger 那样的水平……

Trenton Bricken

我不知道。我觉得也还好，假如我们有 AI 预言机的话。

Dwarkesh Patel

是，我的意思就是这样。这挺好的。

Dwarkesh Patel

回顾过去十年的 AI 讨论，有一种观点认为：先有愚蠢的 AI，然后是 AGI，再到 ASI，把智能当成一个单一的标量。

这些模型的能力似乎有明显的不均衡性。它们特别擅长训练很多、拥有大量数据的环境。这样的话，讨论这些模型的通用智能还有意义吗？不同规模的模型或不同训练方式，在元学习和迁移学习方面是否有本质差别？还是说我们进入了这样一个阶段：重要的不再是智能，而是具体领域？

Sholto Douglas

有个有用的思考方式是：当模型还只有 GPT-2 那么大、针对不同用途进行微调时，人们经常讨论这个问题。大家会发现，模型在微调过的任务上明显更强。

但到了 GPT-4 这样的规模，模型在足够多样的数据上训练、投入了足够多算力之后，它就能很好地泛化到每个具体子任务。与规模更小、经过微调的模型相比，它的泛化能力实际上更强，而且非常实用。

我认为现在强化学习的发展也在重演类似过程。模型在训练过的任务上表现突出，但能力并不均衡。不过，随着我们大幅增加强化学习算力，可能会看到类似的转变：从 GPT-2 微调模型，发展到 GPT-3、GPT-4，再到无监督元学习和跨任务泛化。我认为现在已经初步看到这种泛化推理能力的证据，很快就会变得非常明显。

Trenton Bricken

一个很好的例子是模型开始会回溯。它沿着一种解法走下去，然后会说：“等等，我试试另一种。”你会看到，随着强化学习训练的任务越来越难，这种能力开始出现。我认为目前它的泛化能力还不算特别强。

Sholto Douglas

不过，我们什么时候用强化学习训练过模型成为可解释性代理？没有吧。

Trenton Bricken

确实没有。没错。

Sholto Douglas

所以我们一直在说：“哦，它只擅长接受过强化学习训练的事情。”但实际上它在这方面表现不错，因为这项任务结合了科学、语言理解和编程，需要跨多个领域。作为可解释性代理，你既要是出色的软件工程师，也要理解语言、心理状态，有时甚至需要哲学式思考。模型确实在把训练中的能力泛化到这类任务上。

105:38Dwarkesh Patel

最终目标是什么？Claude 8 发布后交给你，然后……你说：“点赞。”那时发生了什么？你学到了什么？

Trenton Bricken

这确实取决于我们什么时候拿到 Claude 8，以及模型什么时候达到类似 ASL-4 的能力。基本上，我们只能使用当时可用的工具，看看效果如何。理想情况下，我们会建立一套枚举式安全论证，几乎能够验证或证明模型会以特定方式行事。最不理想的情况下，我们就用现有工具，比如在审计测试中观察助手标记激活时，哪些特征会被触发。

Dwarkesh Patel

能退一步解释一下吗？什么是机制可解释性？什么是特征？什么是神经回路？

Trenton Bricken

当然。机制可解释性，或者年轻人常说的“机制可解释”，就是试图逆向工程神经网络，找出它的核心计算单元。很多人认为，既然神经网络是我们造出来的、属于人工智能，那我们就完全了解它的工作原理。这完全是错误的。

我们今天使用的神经网络和 AI 模型是“培育出来的”，不是“建造出来的”。所以训练完成后，我们还需要做很多研究，尽可能弄清它们实际上如何进行推理。

大约三年半前，Chris Olah 离开 OpenAI、共同创立 Anthropic 后，研究人员开始尝试把机制可解释性用于大语言模型。此后差不多每六个月，我们对这些模型的理解就会取得一次重大突破。

最早，我们用超叠加的玩具模型证明，模型会尽量把大量信息塞进权重。这与过去有人认为神经网络过度参数化的看法恰恰相反。早期的经典机器学习会使用线性回归之类的方法，也有人把深度学习讽刺成“只会继续加参数”。可以想象一张梗图：横轴是层数，纵轴也是层数，画一条不断向上的曲线，配上“哦，那就继续加层”的文字。

但事实证明，至少对于预测整个互联网中的下一个词元这类困难任务，模型容量并不够用。它们必须尽可能多地压缩信息。它们学会的办法之一，是让每个神经元或计算单元承担许多不同功能。

所以如果你想理解模型，比如问“移除这个神经元后，它还负责什么”，很难解释清楚。这个神经元可能会在中文、钓鱼、马匹等一百种不同内容上激活，因为模型试图同时处理所有这些任务，并用同一个神经元完成。超叠加说的就是这种情况。

九个月后，我们发表了《迈向单义性》，介绍了稀疏自编码器。既然模型想把太多信息塞进太小的空间，我们就给它更大的空间，也就是更高维的表示，让它能够更清晰地表示所理解的各种概念。

那篇论文仍然是个玩具实验：模型只有两层，是个非常小、能力很弱的 Transformer。当时我们能提取最多 16,000 个特征，已经觉得很多了。再过九个月，我们从两层 Transformer 发展到当时的前沿模型 Claude 3 Sonnet，提取出的特征达到 3,000 万个。我们开始发现很有意思的抽象概念，例如检测代码漏洞的特征。它不只会在代码漏洞上激活，也会在 Chrome 浏览器显示“此网站可能不安全，点击继续”这样的提示上激活。这些特征代表更抽象的编程变量或情绪倾向，总计达到 3,000 万个。

再过九个月，我们有了神经回路。就像之前提到的《十一罗汉》抢劫团队类比，现在我们可以找出模型不同层中的单个特征，看到它们如何协同完成复杂任务。这样就能更好地理解模型怎样进行推理、得出结论，例如在医疗诊断任务中。

还有个之前没讲过的例子，是模型如何检索事实。你问：“Michael Jordan 从事什么运动？”你不只可以看到它从 Michael Jordan 联想到篮球，并回答“篮球”；还可以看到模型知道什么时候自己不确定。默认情况下，如果它不知道答案，就会说：“我不知道。”但如果它认识这个人，就会抑制“我不知道”的神经回路，并激活包含答案的神经回路。例如，你问：“Michael Batkin 是谁？”这是个虚构人物，模型默认会说：“我不知道。”只有问 Michael Jordan 等知名人物，它才会抑制“我不知道”的回路。

更有意思的是，这个“我不知道”回路只会对人物姓名发挥作用。因此论文还问模型：“Andrej Karpathy 写过什么论文？”它认识 Andrej Karpathy，因为他足够有名，所以不会触发“我不知道”。但到了回答他写过什么论文时，模型并不知道具体论文，于是开始编造。你可以看到，不同组件和神经回路会同时互动，最终生成答案。

Dwarkesh Patel

为什么你认为理解模型里发生的一切是个可行目标？或者这是理解模型欺骗行为的最佳方式吗？如果你要用粒子物理解释英国为什么赢得二战，那就是走错了方向。你应该看更高层次的解释：谁拥有更多武器？他们想要什么？

这似乎类似于训练线性探针，检查模型是否诚实、是否在欺骗、红队测试时是否会做坏事，以及我们能不能监控它。

为什么这不类似于让粒子物理学家回溯解释英国为什么赢得二战？

Trenton Bricken

我觉得你应该尽可能全面地检查，不要预先假设欺骗行为会是什么样、又会由什么触发。检查范围越广越好。具体取决于 AI 进展有多快、我们的工具发展到哪一步。我们或许无法从头到尾证明所有方面都安全，但我认为这是一个很好的方向，能让人们安心，尤其是我们还有更广泛的 AI 安全工作组合。

你真的会信任一个即将部署的系统吗？你希望它和人类保持一致，并且相信自己已经考虑过它所有可能的谋划或故意表现不佳的方式……

Dwarkesh Patel

但不管找到什么，可能仍然会有没解释清楚的变体。你可能发现一个特征，却不知道它解释的到底是欺骗，还是别的什么。

Trenton Bricken

首先，我不是说不该做探测式研究。我们要推进整个研究组合。我们可以让治疗师问病人：“你有令人不安的想法吗？”线性探针就像测谎仪，测量一个人的身心状态等高层统计特征。还有神经外科医生进入大脑，看看有没有异常激活、令人担忧或分布外的活动。我认为这些方法都该做。

Dwarkesh Patel

在整个对齐研究组合中，机制可解释性应该占多少比例？

Trenton Bricken

我觉得应该投入所需的份额。很难定义具体比例。在 Anthropic，我觉得所有不同方向都得到了充分支持，也在不断扩大。

Sholto Douglas

回到二战的例子。你可以把它看成一层层抽象的信任关系。比如你想和 Churchill 谈话，如果能验证他在这十分钟交谈中是否诚实，会很有帮助。这样你才能建立关于整体状况的更好解释。粒子物理学在这里没什么帮助，但研究 Churchill 大脑的神经科学，确实可能帮你验证他是否可信，也能判断前线士兵是否如实描述了发生的事情。只要能验证这棵树上的部分节点，就能大大提高整体判断的信心。

Trenton Bricken

我觉得大语言模型也确实很奇怪。关于涌现不对齐的研究，我不知道他们有没有提前做预测，但应该问过：“如果用代码漏洞数据微调 ChatGPT，它会不会变成纳粹？”我觉得大多数人都会回答不会。结果却发生了。

Dwarkesh Patel

他们怎么发现模型变成纳粹了？

Trenton Bricken

他们开始问模型各种问题，发现它会做各种卑劣、有害的事。整个个性都彻底改变了。我们面对的是具有异质性的“大脑”，它们没有人类的社会规范。我们甚至不清楚它们到底学到了什么。所以我认为研究时必须尽可能全面，不预设答案。

116:15Dwarkesh Patel

先离开机制可解释性这个话题。如果 AI 持续加速发展……顺便说，你刚才提到很多奇异的未来世界，但至少我们现在身处其中一种。还有一种值得明确讲出来的情况：即使模型没有帮忙编写下一代模型的训练算法，只要它们有了人类水平的学习效率——不管某个模型副本怎样在工作中学习——整个模型就会学到东西。实际上它在不断获得……

Sholto Douglas

或者即使它们的学习效率只有人类的千分之一，一旦部署起来，也仍然会产生影响。

Dwarkesh Patel

没错。总之，这里还能想到很多其他因素。但即便只有这种能力，也可以带来广泛部署的智能爆发。

Sholto Douglas

我认为有必要认真考虑那种未来。未来可能有很多疯狂的情境。但我觉得我们几乎肯定会迎来其中一种情况——这话说得很重：至少在未来五年内，会出现一种可以直接替代白领员工的系统。我认为两年内就很可能实现，五年内实现几乎是必然的。从更宏观的角度看，这几个时间点差别不大。

这会彻底改变未来十年的世界。如果我们没有制定合适政策，某些方面甚至可能让世界变得根本上更糟。

因为这些模型最自然擅长的事情是软件工程、计算机使用代理之类。之后我们需要额外投入，让它们参与科学研究；或者打造合适的机器人，让人们的物质生活水平真正得到提升。

这值得认真思考。如果你站在一个国家的角度问：“我该做什么、想些什么？”那就为白领工作可以自动化的情况做好准备。然后考虑这对本国经济意味着什么，以及应该提前制定哪些政策。

Dwarkesh Patel

该如何准备？这确实是个很棘手的问题，尤其是对印度、尼日利亚或澳大利亚来说。如果你所在的国家不像美国或中国那样拥有前沿模型，眼下应该做些什么？特别是时间可能非常紧迫。

Sholto Douglas

我认为一个非常重要的观点是：假设这种情况会成真，那么算力就会成为世界上最有价值的资源。一个国家的 GDP 会受到其境内机构能够使用多少算力的极大影响。因此，确保一定数量的算力供本国机构使用会很重要。要提前投资算力和数据中心，并确保本国企业获准使用这些算力；用途不一定是训练，推理也很重要。

我认为经济价值主要来自推理。广泛投资 AI 也有意义。各国可以投资一系列基础模型公司，也可以投资机器人、供应链等领域。我认为还应积极制定政策，防止资本被少数人锁定。

如果 AGI 出现前就持有股票或土地的人突然变得比没有这些资产的人富裕得多，那会让世界糟糕得多。这种资源分配非常不合理。

我最喜欢的一期节目之一，是你们讨论乔治主义、如何合理评估或分配土地。作为澳大利亚人，我觉得这和我特别相关，因为我认为澳大利亚的土地政策问题很大。但这种情况也普遍存在。

各国应积极制定关于模型整合的监管政策，并主动确保人们拥有选择权。比如应该积极确保人们可以自由选择手机、设备或眼镜上运行什么模型。

假设白领员工可以直接被替代，而你正努力为国家做好准备。那接下来如何确保未来各种可能情境都能顺利发展？这包括应对经济下行风险。我认为还要做其他重要的事：设法确保能获得巨大的上行收益，或者避免灾难性的下行损失。

获得巨大收益的办法之一，是投资生物学研究，让模型能自动开展研究并发现新药，大幅提高生活质量。应对下行风险，则要投资 AI 对齐、安全研究和自动化测试，认真思考这些问题，并建设 AI 安全研究机构。

Dwarkesh Patel

不过这些事情似乎富人也能做。看不出在这种情境下，民族国家有什么独特优势。

Sholto Douglas

说得有道理。

Sholto Douglas

不过我认为，大规模投入算力是明智的。如果我负责一个国家，我就会这么做。无论未来是哪种情境，这都会增加我们的选择空间。

Trenton Bricken

Dylan Patel 对美国能源供应做过一些令人担忧的预测。

Sholto Douglas

和中国相比，是的。

Trenton Bricken

对，美国的电力产能大概要落后 34 吉瓦。

Sholto Douglas

是啊，美国的曲线基本是平的，中国的曲线却像这样上升。我是说，美国显然……

Trenton Bricken

我们确实需要建更多电厂。

Sholto Douglas

是的。如果智能会成为一种极有价值的投入品，甚至成为未来经济和生活质量的基础，那么它下面紧接着的资源就是能源。确保能获取大量能源很重要，比如在部分沙漠里铺设大片太阳能板。这样就能随时获得更多智能服务。

Trenton Bricken

是的。我想把这一点说清楚。即使 AI 进步完全停滞，即使这些模型的能力分布很不均衡、没有通用智能，它们的经济价值仍然很高，而且人们可以收集各种工作任务的数据。因此，正如 Sholto 所说，我们应该预期白领工作的自动化会在未来五年内发生。

Sholto Douglas

是。

Trenton Bricken

即使每项任务都必须有人一步一步指导模型，也一样。

Sholto Douglas

这样做在经济上仍然划算。即使算法进步停止——我不认为它会停，目前看进展很好——只要有足够多、类型合适的数据，现有算法组合就足以自动化白领工作。和所有这类岗位的薪资总额相比，这么做的成本极低、非常值得。

Trenton Bricken

没错。我还想提醒一点：如果把莫拉维克悖论推到极端，未来可能会非常反乌托邦。这个悖论是说，我们认为人类最有价值的能力是最聪明的事，比如心算大数或做白领工作，却完全把精细运动技能和协调能力视为理所当然。但从进化角度来看，正好相反。

进化把精细运动协调能力优化得非常好。即使看机器人手，开门对机器人来说仍然很难；与此同时，我们看到编程等传统上认为很聪明的工作正在全面自动化。最可怕的未来是：AI 什么都会，除了实体机器人任务；于是人类戴着 AirPods……

Sholto Douglas

眼镜？

Trenton Bricken

眼镜。之后可能会有某种机器人霸主通过摄像头控制人类，告诉人该做什么，并在应该拿起的东西周围画个框。于是人类就成了有机肉身机器人。

Sholto Douglas

我不是说 AI 一定想这么做。但如果问各种能力的相对经济价值是什么，AI 会做计算机编程，而人类最有价值的优势可能是成为出色的机器人。

不过我觉得莫拉维克悖论有点站不住脚。机器人不如软件工程，并不是因为运动能力天生难，而是软件工程有互联网和 GitHub 作为训练数据。现实生活中没有相当于 GitHub 的资料库——比如收集相当比例人类日常行动的动作捕捉数据。如果能获得这样的数据，机器人技术也会接近解决，进展速度可以和软件工程一样快。

所以这种情景只会持续十年左右，但那仍会是相当糟糕的十年。想象一下：人们失业了，还没有新的生物研究成果，生活质量也没有大幅提升；由于没有办法控制实体世界，我们还没有物质上的极大丰富。也不能大幅增加建设量，因为建设需要机器人；而人的主要比较优势就是作为出色的机器人。这会是一个令人震惊的世界。

Dwarkesh Patel

是啊，从普通人的角度看，我觉得情况也许反而会更好。你的工资会更高，因为你是某种极有价值的劳动——AI 劳动力——的互补品。

Sholto Douglas

再过十年或二十年，世界会变得非常美好。机器人问题解决后，就会出现极大的物质丰裕，前提是我们建立了允许建设的政策。就像上海前后对比的照片：二十年后，城市发生了翻天覆地的变化。

未来二十年里，世界很多地方大概都会变成这样。但我们应尽力判断这是否真是正在发生的趋势。可以建立类似 SWE-bench 的基准，用来测量其他白领工作的自动化进展，并持续跟踪。顺便说，政府很适合做这件事：把经济活动拆分成可衡量任务，找出每项任务的实际发展曲线。

进展可能会让他们很吃惊。目前还没有专门用于报税的 SWE-bench。我也没有全部答案，但我们得找到办法，让经济收益由更多人分享；或者大力投资机器人和数据收集，加快机器人进展，尽早实现物质丰裕；还要投资生物研究，加速这方面的成果。总之，要尽量提前获得巨大的上行收益，否则中间会经历一段非常黑暗的时期。

Dwarkesh Patel

我觉得一个被低估的观点是，如果人类劳动力不再有多少价值，我们对未来的影响力就很大程度上取决于经济和政治制度能否继续运作。要让你持有的标普指数资产价值增长一百万倍、让合同继续有效、让政府能对 AI 劳动力征税并据此发放全民基本收入，就必须让法律、经济和金融体系延续到未来。

Sholto Douglas

是。

Dwarkesh Patel

这很可能要靠 AI 自身也认为遵守这些制度对它有利。这里说的 AI 不是某个统一的单体，而是使用 AI 并因此提高生产率的企业。

你不希望在现有体系里经营企业困难到极点，以致企业选择迁走或转入黑市。你希望部署 AI 非常容易，可以建立类似经济特区的制度。否则，你就把未来拱手让给了你无法控制的力量。

我担心把 AGI 定义成国家安全问题，或者让它和政府特别紧密地绑定，就像曼哈顿计划那样，会让 AI 的使用过度转向军事技术，比如“蚊式无人机”等。这也会自然地让其他国家采取同样思路。如果我们在研发蚊式无人机，中国为什么不研发？

这看起来就是零和竞赛，而且可能造成灾难。算力会受限，我们需要优先加速某些领域。如果 AI 始终处于消费者自由市场环境，更可能迎来美好的超人类主义未来，研发真正改善人类生活的技术。

Sholto Douglas

是的，我同意。如果变成两个国家级项目正面对抗，情况会糟得多。我们不想生活在那种世界里。保持某种自由市场状态要好得多。

130:26Dwarkesh Patel

好。我想质疑一下你的说法：即使只用今天的算法，只要收集足够多数据，就能自动化白领工作。

先请你解释一下具体是什么意思。你的意思是，我们会像预训练那样，把人们工作时做过的所有操作轨迹都收集起来训练吗？能不能通过人工或其他方法，为每个白领员工都录制屏幕操作，然后据此设计强化学习程序？你设想的具体方式是什么？

Sholto Douglas

我的意思是，数据里有连续的能力分布。关于强化学习，一个重要的思维模型是：如果能拿到奖励信号，长时间跨度的任务有时反而更容易评估。又回到“在互联网上赚钱”这个例子，这是一个极其容易判断的奖励信号。但要做到这一点，需要一整套复杂行为。如果能先用容易判断的奖励信号进行预训练，那就可以问：“你的网站能用吗？会不会宕机？用户喜欢吗？”

有很多奖励信号可以用来训练模型，因为任务轨迹足够长，能逐步到达有意义的结果。如果你被困在每五个词元就需要一次奖励信号的模式里，训练会困难得多、耗时得多。但如果你能用美国所有屏幕上的操作轨迹进行预训练，设计出的强化学习任务可能就和今天只能使用现有互联网数据时完全不同。能获取多少数据，会改变这种训练方式的组合。

Dwarkesh Patel

如果训练任务的时间跨度越来越长，要等更久才能知道任务是否完成，这会不会拖慢进步，因为每个任务需要更多算力？

Trenton Bricken

我确实觉得任务越长、越难，所需训练就越多。直觉上我认同这种说法，但人类很擅长练习任务中的难点，并把任务拆解。一旦模型掌握了基础能力，就可以反复练习，或者直接跳到更难的部分。

Sholto Douglas

这确实是复杂问题之一。随着你使用更多算力、训练更困难的任务，例如生物学方面的进步速度，可能会受到细胞生长所需时间的限制；但数学领域的进步不会受到同样的限制。

不过我认为很多任务都可以充分并行，并且进行足够多轮迭代。

Dwarkesh Patel

训练新模型这种模式会消失吗？最后是不是会有一个模型，然后不断通过强化学习给它增加新技能？

Sholto Douglas

这取决于你是否认为预训练新的架构有价值。基本上，如果你改动了架构，可能至少需要以某种方式重新预训练模型。

Dwarkesh Patel

如果强化学习训练本身需要大量推理算力，那是否与刚才的观点冲突：为了达到像人脑一样的能效，我们需要更大的模型，但大模型用强化学习训练又更贵？这个权衡会怎么平衡？

Trenton Bricken

我觉得这里得接受“苦涩的教训”。确实没有无限多的捷径。你就是得扩大规模、使用更大的模型，并为推理付出更多成本。想要 AGI，就得付出这个代价。

Sholto Douglas

但这里有个权衡。大家都在研究最适合进行强化学习的时机。你需要一个既能学习、又能发现稀疏奖励信号的模型。

所以你不会想用只有一个参数的模型，虽然它跑得很快，但完全没用；也不想用 100 万亿参数的模型，因为它太慢了，学习效率的边际收益不值得。这里存在一条帕累托前沿。对当前能力水平、当前强化学习环境等条件而言，最佳模型规模是多少？

Trenton Bricken

过去一年里，推理成本也变得更重要。很直接地说，模型越大，每次前向传播和生成词元就越贵。以前的计算方式只是：“算力应该投在更多训练数据上，还是更大的模型上？”现在还要考虑一个重要因素：模型训练好之后，我会对它执行多少次前向传播？

Sholto Douglas

要看我的算力总量该如何分配：一部分用于训练数据计算，一部分用于强化学习训练期间的推理计算。

Trenton Bricken

即使只看推理，也有很多研究要决定用什么策略。要采样 10 个答案，再选最好的一个吗？还是采用分支搜索，等等。强化学习需要采样大量词元，因此也要把模型生成这些词元、再根据反馈学习的能力纳入考虑。

135:35Dwarkesh Patel

如果我们真的进入这种世界，你对职业生涯刚起步的人或大学生有什么建议？他们应该如何规划？

Sholto Douglas

再说一次，应该考虑不同可能的未来，并为此做好准备。我认为无论哪种情况，最有价值的做法是：至少，你马上就会拥有大幅提高的能力杠杆。现在已经开始了。Y Combinator 的初创公司已经有很多使用 Claude 编写大量代码。

有了更大的能力杠杆，你想改变世界上的什么问题？如果你能随时支配 10 名工程师，会做什么？如果你随时能启动一家公司，又能做什么？哪些问题、哪些领域突然变得可以解决？应该为这样的世界做准备。

这仍然需要扎实的技术深度。显然，也可能出现 AI 在所有事情上都远胜人类的情况。不过至少在一段时间内是这样。Jensen 在一次访谈中说过一个有意思的例子：“我身边有 10 万个通用智能，我仍然有点用，因为我负责引导价值观，并告诉它们做什么。即使有 10 万个通用智能，我仍然有价值。”

对很多人来说，这种情况还会持续相当一段时间。之后 AI 会越来越强，最终可能不再如此。但无论如何，要为各种可能的未来做准备：如果我们完全被淘汰了，那做什么都没用；但在其他所有情境中，你做什么都很重要。打好技术基础，学习生物学、计算机科学和物理学，认真思考你想解决世界上的哪些问题。

Dwarkesh Patel

这话题可真多，太多了。

Sholto Douglas

现在可以学了，而且学习容易多了。如今每个人都有一位无限耐心、无所不知的私人导师。

Dwarkesh Patel

这对我确实有帮助。

Trenton Bricken

我的建议是：放下对旧工作流程和专业技能的沉没成本，重新评估 AI 能为你做什么。换个有趣的说法，就是在发现代理能替你处理繁琐工作时，要更“懒”一点。

最终你会因此更省力，但短期内得认真分析自己正在做什么，思考 AI 能在哪些方面做得更好，再去尝试或探索。我认为现在仍有很多容易取得的成果，只是人们会想当然，不把完整提示写清楚，不提供几个例子，也不连接适合自己工作的工具，以加速并自动化工作。

Dwarkesh Patel

对，对。还有一种沉没成本是觉得自己没有“很早就进入 AI”，好像错过了机会。我记得 GPT-3 刚出来时……

说说播客的背景：我大学毕业时打算做某种 AI 套壳创业公司，做播客只是为了进入这个领域。我当时尝试了不同的方向，还记得 3.5 出来时，人们说：“创业圈已经发展到这一步了，我落后太多。”如果我要做自己的套壳产品……也许这种产品从一开始就不值得做。

但指数级增长的过程里，每个阶段都会显得很早，因为有很多想法直到现在才成为可能，对吧？

Sholto Douglas

没错。这就是我说的产品能力指数级增长。

Dwarkesh Patel

确实。

Sholto Douglas

新产品会让旧产品迅速过时。要想保持在能力前沿，就必须不断重塑自己。

Dwarkesh Patel

你还记得吗？我以前有个很糟糕的创业点子，还打电话问过你。

Sholto Douglas

我不记得是什么点子了。

Dwarkesh Patel

我觉得是给律师做 RAG 之类的产品。总之，我记得我们最初互动时，我问：“你觉得这个想法怎么样？”你回答：“我觉得播客这个想法很有前景。”

Sholto Douglas

我说对了。

Dwarkesh Patel

我很感谢你这么说。

Trenton Bricken

我最近有个朋友让我有点着急。他很有才华、很聪明，也对 AI 感兴趣，但选择了生物学路线。我就试着提醒他：“你要是愿意，也可以做 AI。”

人本身就是生物性的通用智能，很多有价值的能力都非常通用。你过去专攻的领域可能没有那么重要。还是那句话，要考虑沉没成本。Anthropic 的同事里有很多人现在对 AI 很感兴趣，他们不会让之前的职业成为阻碍。因为他们本来就聪明、有才华、积极主动，所以最后都能取得成功、找到合适的职位。他们并不是一直在做 AI。还有人来自完全不同的领域。不要以为自己需要某个抽象机构的许可才能加入 AI 领域、申请职位并作出贡献。

Dwarkesh Patel

如果有人现在想成为 AI 研究人员，你能给他们一个开放问题，或者一类很可能做出重要成果的开放问题吗？

Sholto Douglas

我认为强化学习再次受到重视后，沿着 Andy Jones 的《扩展棋盘游戏的扩展定律》开展后续研究会很有意思。可以研究你刚才问过的那些问题：模型到底有没有学会比第 K 次尝试更多的东西？还是它只是发现了某种……深入探索这些问题很有价值，尤其是研究强化学习的扩展定律。

Dwarkesh Patel

我很想知道，新任务带来的元学习能力边际提升有多大，或者类似的问题。

Trenton Bricken

说到这一点，模型差分分析也有很多机会。人们会说：“哦，我们没有捕捉到所有特征，还有很多潜在能力没有挖掘出来。”那具体还剩下什么？如果模型被越狱了，它用的是你们已经识别的特征吗？还是只用了你们没捕获的误差项？我不知道。这方面有很多问题。

我认为 MATS 很棒。Anthropic Fellowship 项目进展也很好。Anthropic 最近投资了 Goodfire，他们做了很多可解释性研究。或者你也可以直接申请我们这里。

Dwarkesh Patel

这是为了提高你的股权价值，对吧？

Trenton Bricken

可解释性研究项目实在太多了，还有很多容易取得的成果。我们需要更多人，而且我觉得时间不多了。

Sholto Douglas

我还想推荐性能工程。这是证明自己确实有能力的最佳途径之一。如果你能在 TPU、Trainium 或 Incuda 上编写极高效的变换实现，我认为拿到工作邀约的可能性很高。但能够完全负责模型端到端性能优化的人相对很少。

Trenton Bricken

如果你具备扎实而广泛的电气工程技能，应该能很快学会加速器相关知识。

Sholto Douglas

你能很快上手，并从中获得对模型实际运行细节的良好直觉，因此也更适合思考架构等问题。目前 Anthropic 里最擅长思考架构的人之一，过去主要做 GPU 内核编程，对底层细节理解很深，因此能很好地权衡各种方案。

Dwarkesh Patel

这次聊得很开心。谢谢你们再次参加节目。

Trenton Bricken

很高兴再次回来。