John Schulman: 约翰·舒尔曼：推理、RLHF 与 2027 年 AGI 计划

感谢 Teddy Kim 编辑并注释这份文稿，还补充了许多有用链接。

00:00德瓦尔凯什·帕特尔

今天我很荣幸能与约翰·舒尔曼交流。他是 OpenAI 的联合创始人之一，负责这里的后训练团队。他还领导创建了 ChatGPT，并撰写了许多 AI 和强化学习领域最重要、引用最广的论文，包括 PPO 等。约翰，很高兴能和你聊聊，感谢你来参加播客。

约翰·舒尔曼

谢谢邀请。我很喜欢这个播客。

德瓦尔凯什·帕特尔

谢谢你这么说。我的第一个问题是：我们区分预训练和后训练。先不谈具体的损失函数和训练方案，退一步从概念上看，预训练创造了什么样的东西？后训练又在此基础上做什么？

约翰·舒尔曼

预训练基本上是在训练模型模仿互联网上的所有内容，包括网站、代码等等。这样你会得到一个能生成类似随机网页内容的模型。模型还要最大化似然，因此必须给所有内容分配概率。

目标基本上是根据前面的 token 预测下一个 token。token 可以是词或词的一部分。由于模型必须为内容分配概率，我们训练它最大化对数概率，因此它最终会变得非常校准。它不仅能生成网上的各种内容，也能为所有内容分配概率。

基础模型实际上可以扮演各种角色，生成各种内容。进行后训练时，我们通常会把目标缩小到一系列行为，希望模型像聊天助手那样行动。这是一种更具体的人设：它要乐于助人，而不是模仿某个人。它要回答你的问题、完成你的任务。我们优化的是另一个目标，让模型输出人类喜欢且认为有用的内容，而不是单纯模仿网上的原始内容。

德瓦尔凯什·帕特尔

我想退一步问：现在的模型已经挺擅长当聊天机器人。抛开当前具体的训练过程，到今年年底发布的模型能做什么？如果未来五年持续进步，你认为进展会是什么样？

约翰·舒尔曼

五年后，模型会好得多。

德瓦尔凯什·帕特尔

会在哪些方面变好？

约翰·舒尔曼

即使在一两年后，我们也会发现模型能完成比现在复杂得多的任务。比如，它不只给你一条编写函数的建议，而是完成整个编程项目。你可以给它高层次的编程指令，让它自行编写文件、运行测试并检查输出，甚至迭代几轮。也就是说，它能完成复杂得多的任务。

德瓦尔凯什·帕特尔

从根本上说，突破点在于模型能连贯行动足够久，写出多个代码文件吗？从现在到那时发生了什么变化？

约翰·舒尔曼

我认为这会来自多种因素的组合，包括训练模型完成此类更困难的任务。目前大部分训练数据都是一次只做一个步骤。我预计我们会增加更多训练，让模型学会完成这些长期项目。

无论采用哪种训练，比如通过强化学习来教它做这些任务，都会有帮助。无论你只监督最终输出，还是监督每个步骤，任何能训练模型完成长期项目的方式，都会大幅提升它的能力。

整个领域还很新，所以我认为这类训练还有大量容易取得的进展。这是一方面。我也预计，随着模型变强，它们会更擅长纠正错误、处理边缘情况。出问题时，它们会知道如何恢复。

模型的样本效率会更高。你不需要收集海量数据来教它们如何回到正轨。只要少量数据，或者利用它们从其他能力中获得的泛化能力，就能让它们恢复。当前模型可能会卡住、迷失方向。

德瓦尔凯什·帕特尔

我想具体理解泛化能力如何帮模型回到正轨。能多讲讲吗？我不确定这两个概念为什么相关。

约翰·舒尔曼

对，两者并非直接相关。通常你会有一些数据能同时教会模型很多东西。如果数据集足够多样，就会包含各种例子。如果模型的泛化能力很强，即使只看过几个纠正错误、回到正轨的例子，或者预训练数据里有过一些这样的例子，它也能把其他例子学到的东西泛化到当前情境。

弱一些的模型也许能在足够多数据的帮助下完成几乎任何事，但你可能得在特定领域或技能上投入大量训练。

而更强的模型或许无需训练数据、也无需额外投入，就能直接做对。

德瓦尔凯什·帕特尔

现在这些模型可以连贯工作五分钟。我们希望它们能完成需要人类花一小时、一周、一个月的任务，依此类推。

要达到这些不同阶段，是不是每一步都需要多十倍计算量，类似当前的预训练缩放定律？还是说，一旦模型的样本效率更高，提升过程会更顺畅，能直接延伸到持续一年规划并执行的任务？

约翰·舒尔曼

总体上，我同意长期任务需要更高的模型智能才能做好，因此训练成本会更高。我不确定是否会出现非常清晰的缩放定律，除非仔细设计实验或采用特定设置。进展过程中可能会出现阶段性跃迁：达到某个水平后，模型突然能处理长得多的任务。

例如，人们在不同时间尺度上进行规划时，我不确定他们是否用了完全不同的机制。我们思考一个月、一年或一百年后的事情时，可能用的是同一套心智机制。我们并没有真的运行一种强化学习过程，还得考虑覆盖这些时间尺度的折扣因子等等。

语言可以描述各种时间尺度，然后帮助你规划。当下你可以尝试朝目标前进，无论目标在一个月后还是十年后。我不知道这是否属于阶段跃迁，但我认为模型也可能有一些能在多个尺度上发挥作用的能力。

德瓦尔凯什·帕特尔

如果我理解错了请纠正我：你似乎暗示，现在的模型单个 token 上已经相当聪明，可能不亚于最聪明的人类。限制它们发挥实用价值的因素是，五分钟后它们不能继续连贯地为你写代码，不能持续符合你对项目的整体目标。

如果长期强化学习训练一旦开始，就立刻解锁了更长时间的连贯能力，我们是否应该预期这种训练一旦解锁，模型马上就能达到人类水平？如果不是，那么当模型能规划一年并执行持续这么久的项目之后，还剩下什么问题？

约翰·舒尔曼

我们还不清楚进入这个阶段后会看到什么，进展会有多快，目前仍有不确定性。我不认为只靠某种训练就能立刻解决一切。模型还有其他缺陷，可能导致它们卡住，或作出比人类更差的决定。我说不清楚究竟哪些主要弱点会阻止它们成为完全胜任的同事。不过，长期任务能力的一些提升可能会带来很大进展。

德瓦尔凯什·帕特尔

你认为瓶颈很可能还会来自其他因素吗？我也想知道这些瓶颈具体是什么。预训练已经给了模型各种表征，现在长期强化学习又让它们能够长时间保持连贯。除此之外还有什么？

约翰·舒尔曼

也许人类专家在不同任务中拥有模型还没有的经验，比如品味，或更好地处理模糊性。做研究时，这些因素可能会起作用。当然还有一些现实限制，取决于模型能使用哪些工具和界面、能否与物理世界互动、能否访问所需资源。这些障碍可能有不少，但大概不会持续太久，只会在初期拖慢进度。

德瓦尔凯什·帕特尔

我们来谈谈专为 AI 设计的网站。模型接受更多多模态数据训练后，网站会和为人类设计的网站有所不同吗？需要什么样的用户界面？界面该如何利用模型的长处、弥补其弱点？它会与现在的人类界面有什么区别？

约翰·舒尔曼

这是个有意思的问题。我预计视觉能力提升后，模型仅凭视觉就能使用为人类设计的网站，因此一开始未必需要改动网站。

另一方面，有些网站会因为 AI 能使用而获得很大收益。我们可能会把它们的用户体验专门优化为适合 AI。我还不确定具体该怎么设计。假设模型读取图片中文字的能力不如直接处理文本，你可能会希望提供良好的文本表示。

你还会希望清晰标明哪些内容可以交互。但我不认为整个网络会彻底重做、到处提供 API。我们可以让模型使用和人类相同类型的界面。

德瓦尔凯什·帕特尔

语言模型给我们的重要教训之一，不就是它们可以使用与人类相同的交互方式吗？

我想回到你之前提到的一点：模型或许能从预训练中各种不同情境下脱困的经验进行泛化，因此训练会更省样本。你见过这种泛化和迁移最有说服力的证据是什么？

模型未来能力的一个大问题似乎是：它们究竟能泛化到什么程度？有没有什么现象让你觉得特别有说服力，让模型学会了某些你原本不认为它能靠泛化学会的东西？

约翰·舒尔曼

后训练中确实出现过一些有意思的泛化案例。

一个广为人知的现象是，如果你只用英语数据微调模型，它也会自动在其他语言中表现不错。所以，如果你用英语数据训练助手，它也会用西班牙语合理作答。有时它会选错回复语言，比如用英语而不是西班牙语；通常它能选对，也就是用西班牙语回答西班牙语提问。这是一个有意思的泛化实例：模型掌握了合适的、有帮助的助手人设，就会自动在不同语言中采取正确行为。

多模态数据也有类似情况：只用文本进行微调，也能让模型对图像作出合理反应。ChatGPT 刚推出时，我们曾试图修复模型对自身能力限制的理解问题。早期模型会以为自己可以给你发邮件、替你叫 Uber 等，于是会扮演助手，说：‘是的，我已经把邮件发出去了。’但实际上它没有。

于是我们开始收集一些数据来纠正这些问题。结果发现，只需很少数据就能解决，即使把数据混在其他训练内容中也一样。我不记得具体有多少，大约30个例子。我们用很少的例子说明这种一般行为，告诉模型它没有这些能力。这种教训很好地泛化到了许多我们没专门训练的能力上。

德瓦尔凯什·帕特尔

我还是想回到这个问题，因为我不确定自己理解得对不对。假设有个模型已经能长时间保持连贯。先不考虑其他可能存在的瓶颈，明年它会达到人类水平吗？我想象的是一个同事般的模型，与你和人类同事合作一样好。你让它做事情，它就会完成。你认为这个能力图景有什么问题？

约翰·舒尔曼

很难准确说出具体还缺什么。今天和模型对话时，除了长期连贯性，它们还有各种弱点。它们也不太会深入思考，或者认真关注你的要求。我不认为只要让连贯性略有提升，就能达到通用人工智能。我也说不清阻止它们成为完全胜任同事的主要弱点究竟是什么。

16:55德瓦尔凯什·帕特尔

看来我们应该为很快实现通用人工智能的可能性做好准备。

约翰·舒尔曼

我觉得这样做是合理的。

德瓦尔凯什·帕特尔

如果没有其他瓶颈，计划是什么？假设明年左右就实现了通用人工智能。

约翰·舒尔曼

如果通用人工智能远比预期更早到来，我们肯定会谨慎应对。在确定自己能安全处理之前，可能要稍微放慢训练和部署。我们需要很好地了解它会做什么、能做什么。如果它远早于预期出现，就必须非常小心。我们目前对很多方面的理解还很初步。

德瓦尔凯什·帕特尔

‘谨慎’具体指什么？你们现在已经很谨慎了，对吧？部署之前也会做评估。

约翰·舒尔曼

也许意味着暂不训练更聪明的版本，或者在训练时格外小心。要确保系统妥善隔离等等。也许还意味着不进行大规模部署，或谨慎决定部署规模。

德瓦尔凯什·帕特尔

我们来设想一种情况：明年出现通用人工智能。你们没有训练更聪明的系统，只是以比较审慎的方式部署。发展显然不会只发生在 OpenAI。也许通用人工智能比预想容易得多，所以才会出现。你稍微延迟部署，但其他公司也已经达到类似能力。接下来会怎样？你们等待部署时，究竟在等什么？这种情况下每家公司会做什么？

约翰·舒尔曼

这类博弈论问题有点难想清楚。首先，我不认为明年就会发生，但讨论仍然有意义，也许时间是两三年。

德瓦尔凯什·帕特尔

两三年也很快了。

约翰·舒尔曼

仍然很快。可能需要协调。所有人都得同意对部署或进一步训练设定合理限制，否则就会形成竞赛动态：大家都想保持领先，可能因此牺牲安全。做这类训练的大型机构之间，可能需要协调。

德瓦尔凯什·帕特尔

你们会协调暂停部署，直到什么事情完成？直到弄清楚模型发生了什么吗？

约翰·舒尔曼

我们可以暂停进一步训练，也可以暂停部署，或避免某些风险更高的训练类型。我们会制定合理规则，限制大家能做的事情。

德瓦尔凯什·帕特尔

要限制到什么时候？总有一天，这种智能的潜在力量会释放出来。假设两年后我们实现了通用人工智能，所有人都很紧张，AI 公司也暂停了。接下来我们打算等到什么时候？

约翰·舒尔曼

我没有很好的答案。如果能协调到这个程度，那会是相当不错的局面。构建这些模型需要大量资本，流程也很复杂，不是所有人都能在家里重新造出一套。

能训练最大模型的机构数量相对较少，所以协调似乎有可能。我不确定这种均衡能维持多久，但如果真走到那一步，我认为我们的处境还可以。

德瓦尔凯什·帕特尔

真的吗？我还是好奇接下来会发生什么。基本上，优势在于把智能推送到服务器上，于是有了许多智能；它们也可能自行被推送到服务器上。现在大家都协调好了，但我不清楚接下来要做什么。为什么这会让我们更有可能得到好的结果？

约翰·舒尔曼

如果所有人都实现了合理协调，而且我们觉得自己能充分解决技术对齐问题，就可以部署系统。我们能够部署非常聪明的 AI，让它们作为人类意志的延伸，同时防止它们被灾难性地滥用。这会很棒。届时我们可以安全部署这些系统，带来繁荣和更快的科学进步。这就是理想情景。

德瓦尔凯什·帕特尔

这有道理。我好奇几年后的一个问题。在最好的情况下，所有行动者都同意暂停，直到我们确认自己造出的系统已经对齐，不会自己发动政变，也不会帮助别人发动政变。那会有什么样的证明？怎样的证据才够？

约翰·舒尔曼

如果我们能逐步部署比之前更聪明的系统，过程会更安全。我希望事情不会发展成所有人必须协调、锁住系统、再谨慎释放的局面，那样可能会积聚很大的潜在力量。

我更希望大家持续发布比之前稍好一点的系统，同时确保我们相信每次能力提升对应的安全性和对齐程度也在提高。如果情况开始显得有些可怕，我们就能放慢进度。我希望如此。如果出现不连续的跃迁，我们就得问：‘怎么知道这个系统安全到可以发布？’我无法给出通用答案。可以通过大量测试和模拟部署来提高可信度，也就是红队测试，而且应该让测试情境比真实部署更容易失败。

还需要非常完善的监控系统。一旦已部署系统开始出问题，就能立刻发现。也许应该安排其他系统监控已部署的 AI，观察它们的行为、寻找危险信号。

还需要纵深防御：一方面，模型本身表现良好，对自身行为有坚定、明确的道德把握；另一方面，我们也确信它极难被严重滥用。在此基础上，还要有非常好的监控能力，发现任何意料之外的问题。

德瓦尔凯什·帕特尔

进行长期强化学习时，或者将来真正开始这么做时，你们会监控什么？如何在大规模部署之前发现能力出现不连续跃迁？

约翰·舒尔曼

训练过程中应该持续运行大量评估。

德瓦尔凯什·帕特尔

具体评估什么？既然存在这种风险，我们还应该训练长期强化学习吗？还是说可能性很低？你会怎么考虑？

约翰·舒尔曼

如果训练过程中出现很多可能令人担忧的能力迹象，就应该非常谨慎。我认为现在还不用担心这件事，因为目前要让模型连贯地完成任何事情都很困难。

如果模型开始变得很强，我们就应该认真面对这些问题，进行大量行为评估，主要检查对齐情况，确认它们不会反过来对付我们。也要寻找能力是否出现不连续跃迁，并对模型能力做大量评估。

还要确保训练内容不会给模型任何理由反过来对付人类。这似乎不是最难的一部分。我们用 RLHF 训练模型的方式确实很安全，即使模型很聪明也是如此。模型只是试图生成让人类满意的信息；除了它输出的文本是否被认可，它对世界上的其他事情都不在乎。

当然，如果让模型使用工具、执行一长串行动，它在完成最终结果的过程中可能会有动机做很多人类觉得莫名其妙的事。但它最终想要的，未必是别的什么，而可能只是产出高质量结果。

关于工具性趋同，人们早就指出，模型可能会想接管世界，以便最后写出一段很棒的代码。如果你让它写一个 Flask 应用，它会说：‘好，首先我要接管世界。’对于规格明确的任务，比如编写应用，很难想象为什么它必须先接管世界。当然，如果你给它‘赚钱’之类的目标，也许会导致一些邪恶的工具性行为。

德瓦尔凯什·帕特尔

29:18我们先回到这个问题之前，退一步谈谈今天的 RLHF 系统及其运作方式。我想追问刚才那个观点，因为很有意思。

按照人类心理来理解，当前 RLHF 对模型的影响是什么？它是一种驱动力、目标，还是冲动？从心理层面来说，它具体是什么？模型发生了什么变化？

我的意思不只是给聊天机器人设定一个人设，而是‘别那样说，要换一种说法’，或者‘别输出那类内容’。

约翰·舒尔曼

这可能与人类的驱动力或目标有些相似。你要把模型引向某一组状态，而不是另一组状态。但我认为，人类所谓的驱动力或目标还包含其他元素，比如实现目标后产生的满足感。这些更多与学习算法有关，而不是固定模型在运行时的行为。

它们可能有些类似，不过具体相似到什么程度，我也不清楚。某种意义上，模型确实有驱动力和目标。比如 RLHF 会尝试最大化奖励模型所测量的人类认可度，于是模型就试图生成大家喜欢、认为正确的内容。

德瓦尔凯什·帕特尔

我听说有两种方法可以利用模型的内在独白来提升推理能力。至少从公开资料看，我见过两种方法，想知道你觉得哪种更有前景。

一种方法是让模型尝试多条思维链，依据输出学习哪些路径能得到正确答案，然后在部署前用这些数据训练它。另一种方法是在部署时使用大量计算，让模型在实际运行过程中与自己对话。

你认为模型的推理能力真正变强后，更接近哪种训练方式？是部署时运行很多推理分支，还是通过训练学会更好地推理？

约翰·舒尔曼

你可以把推理定义为需要测试时计算、或某种推导的任务。按定义，推理任务需要测试时进行分步骤计算。另一方面，我也预计训练时的练习会带来很大帮助，所以我认为两者结合才能取得最佳结果。

德瓦尔凯什·帕特尔

现在模型有两种学习方式。一种是在训练中学习，包括预训练或后训练。训练中大部分计算量都花在预训练上，扫过数万亿个 token。要是人类被这样训练，会被完全搞糊涂，因为这并不是高效的学习方式。

另一种是上下文学习。它的样本效率当然更高，但每次结束后都会消失。

我想知道，你觉得有没有介于两者之间的方式：学习结果不会在每次任务后消失，又不像只是看过数万亿 token 那么随意，而是更有目的、更主动？

约翰·舒尔曼

你指模型拥有某种中期记忆吗？它装不进上下文，但规模又比预训练小得多？

德瓦尔凯什·帕特尔

也许是记忆吧，我还没完全想清楚。比如我准备这次对话时，会先想我该了解什么，再仔细阅读，也许一边读一边思考。我不确定这在模型里具体对应什么。它会是什么样？

约翰·舒尔曼

我明白了。所以你说的不只是记忆，也包括针对某个任务进行一定程度的专门化，或集中精力完成某个具体项目。

德瓦尔凯什·帕特尔

我不确定这算不算专门化。更像是：‘这部分我不懂，让我深入研究一下；那部分我已经懂了。’也许这相当于根据已有知识库进行专门化。

约翰·舒尔曼

明白。所以这不只是训练一批相关资料，或者针对某个领域微调，而是让模型通过自己的推理来思考、发展知识，并通过某种内省或自我认知来判断需要学习什么？

德瓦尔凯什·帕特尔

对。

约翰·舒尔曼

这确实是当前系统缺少的东西。人们还没有太认真地探索大型训练（训练出一个什么都能做的单一部署模型）与上下文学习之间的中间地带。

部分原因是上下文长度不断增加，因此没有动力去开发这种机制。如果你能使用十万或一百万 token 的上下文，容量已经很大，很多情况下就不会成为瓶颈。

德瓦尔凯什·帕特尔

我同意，你可能也想通过某种微调来补充它。微调和上下文学习带来的能力可能互为补充。我预计我们会构建能够在线学习、也具备某些认知技能的系统，比如反思自身知识、主动寻找知识空缺的能力。

德瓦尔凯什·帕特尔

这一切会同时发生吗？也就是说，会有一种新训练方案，可以让这些事情同时发生，无论是长程任务还是这类训练？

它们是分开的，还是彼此相关？模型够聪明，能够同时反思并长期行动，从而在长程任务中获得足够奖励吗？

约翰·舒尔曼

如果你在执行某种长程任务，你会在做任务的过程中学习，对吧？

要完成包含很多步骤的任务，唯一的办法是在任务过程中更新学习和记忆。短期记忆与长期记忆之间存在连续谱。

当我们开始更多关注长程任务时，对这种能力的需求就会逐渐明显。某种程度上，把大量内容放进上下文已经能帮上很多，因为现在上下文很长。你可能还会想用微调之类的方法。

至于反思和主动学习的能力，也许会从模型了解自身知识的能力中自然涌现。模型确实对自己知道什么有一定校准，这也是它们不会严重幻觉的原因。它们对自身局限有一定理解。这种能力也许能用于主动学习。

39:45德瓦尔凯什·帕特尔

有意思。我想退一步谈谈你的经历，至少是你在 OpenAI 的经历。你领导创建了 ChatGPT。你什么时候意识到大语言模型是可行的道路？什么时候意识到聊天机器人或某种指令交互方式会很有用？能否从头讲讲，这什么时候成了你的主要工作重点，整个过程是什么样的？

约翰·舒尔曼

ChatGPT 之前，OpenAI 已经有一些指令跟随模型。思路是让用户用复杂的提示词来引导基础模型，但这很难提示。基础模型本质上只会自动补全文本，所以你得设计一个很好的提示，还要加入示例。

OpenAI 有些人尝试让基础模型更容易提示。这样你只要写一个问题，模型就会回答，而不是继续提出问题之类。于是我们有了指令跟随模型：它们像基础模型，但更容易使用。这是最初部署在 API 上的模型，也就是 GPT-3 之后的下一代模型。

与此同时，确实有很多人在考虑聊天。Google 有 LaMDA、早期的 Meena 等论文和聊天机器人。它们更像是特别针对聊天任务优化的基础模型，聊天能力很强。从论文例子看，它们更多用于娱乐应用：模型扮演某个人设。但它们不太实用，比如不能帮我重构代码。

所以当时确实有人在研究聊天。我之前做过一个叫 WebGPT 的项目，研究如何借助网页浏览和检索来回答问题。问答场景很适合聊天：你总想追问，有时问题含糊，模型就应该先问你一个澄清问题。

第一版做出来之后，我们很清楚下一版应该是对话式的。于是开始基于 GPT-3.5 开发对话助手。GPT-3.5 是2022年初训练出来的，语言和代码能力都很好。我们很快发现它在编程辅助方面很强，这是令我们兴奋的一点。

那年大部分时间我们都在做这件事。我们还加入了网页浏览功能，但后来弱化了它，因为模型的内部知识已经很丰富，浏览并不是最有意思的功能。我们让朋友和家人试用了一段时间，考虑过公开发布。

实际上，GPT-4 在那年8月就完成了训练。OpenAI 当时主要的强化学习工作是指令跟随，因为这些模型已经部署到生产环境。GPT-4 最初的微调也使用了整套流程。模型效果非常好，大家试用了 GPT-4 指令微调版本后都很兴奋。

它们确实非常好，偶尔能给出惊艳的结果，但也明显不可靠。有时会严重幻觉，有时会输出很失控的内容。因此显然还没准备好正式投入使用，但能力也确实很强。

在那之后，大家暂时忘记了聊天这条替代路线。我们继续推进，最后把所有数据集混合起来，包括指令数据和聊天数据，试着两边优点兼得。聊天模型显然更容易使用。

它在模型认识自身局限方面，表现得自然合理得多。这也是开发过程中令我兴奋的地方之一。我意识到，人们认为是语言模型缺陷的许多问题，比如明显的幻觉，并非完全无法解决；用相当直接的方法就能显著改善。

聊天的另一个优势是，指令跟随模型面对的任务是‘补全文本，而且要补得友好、有帮助’，但这个任务定义得很差，既让模型困惑，也让负责标注数据的人困惑。聊天则不同，人们对一个有帮助的机器人应当是什么样子有直觉。因此大家更容易弄清楚模型应该做什么，模型的性格也更连贯，更容易稳定地产生合理行为。

德瓦尔凯什·帕特尔

有意思。任何人都能用你们公开提供的微调 API 做出 ChatGPT 吗？

约翰·舒尔曼

不完全行。我不记得当时开放微调的是哪些模型。假设当时可以微调 GPT-3.5，你应该能做出一个相当接近的产品。但我认为，你不可能只用人类编写的数据做一轮微调就完成。你需要多轮迭代。

如果不使用我们做过的强化学习，就需要某种迭代式监督微调，让人类编辑模型生成的输出。即使训练数据全由人类编写、质量很高，模型也很难完美拟合，因为其中有些内容本来就可能超出模型能力。你需要一种迭代过程，更像强化学习。如果这样做，效果可能相当接近，但绝非易事。

ChatGPT 前不久我们还发布了另一个用强化学习训练的指令跟随模型。如果给它加上聊天界面，应该也能做得相当接近，但它的强项不同：写作和诗歌不错，却不太擅长认识自身局限、保证事实准确等等。

德瓦尔凯什·帕特尔

我们退一步谈谈 GPT-2。你似乎曾说自己对 GPT-2 印象很深。从你2019年的预期来看，AI 进展比预想快还是慢？

约翰·舒尔曼

从 GPT-2 之后，进展比我预想得快。我当时已经相信规模扩展和预训练很有前景，但 GPT-2 发布时，我还不完全相信它们会彻底改变一切。直到 GPT-3 出来，我才转变工作重点，也调整了团队的研究方向。我们之后聚在一起说：‘好，来看看用语言模型能做什么。’但 GPT-2 阶段我还不确定。

德瓦尔凯什·帕特尔

假设我们刚才谈的强化学习随着模型变强而越来越有效，未来投入预训练与后训练的计算量比例会显著向后训练倾斜吗？

约翰·舒尔曼

有一些理由支持这种趋势。目前两者的比例非常悬殊。你可以这样论证：模型生成的输出质量可能比网络上大多数内容都高，所以模型自己思考，比单纯模仿网络内容更有意义。这是基于第一性原理的一个论据。

我们通过后训练取得了很多进步。我预计还会继续推进这种方法，并可能增加投入其中的计算量。

德瓦尔凯什·帕特尔

目前 GPT-4 的 Elo 评分比刚发布时高出大约100分。这些提升是否都来自你说的后训练改进？

约翰·舒尔曼

对，大部分来自后训练。提升来自许多不同、彼此独立的方面。

我们会考虑数据质量、数据数量，也会多次重复部署、收集新数据的整个流程。此外还会改变收集何种标注数据。这些因素层层叠加，最终相当于有效计算量显著提升。

德瓦尔凯什·帕特尔

提升幅度很大。后训练竟然还有这么多改进空间，确实很有意思。

51:07什么样的人擅长做这类强化学习研究？我听说这特别讲究经验。你有什么直觉，能让你想到如何处理数据、设置环境？

约翰·舒尔曼

到目前为止，我在整套流程的不同部分都积累了不少经验，从研究生时期就开始做的强化学习算法，到数据收集、标注流程，再到试验语言模型。

我会说，擅长这类研究的人对整套流程都有一定理解，也对其中各个环节充满好奇。你既要重视经验研究，让实验修正观点，也要从第一性原理思考。例如，假设学习确实有效，理想的数据应该是什么样？类似问题都要考虑。

德瓦尔凯什·帕特尔

GPT-4 之后似乎没有哪个模型明显更强，因此有人猜测我们可能遇到了某种瓶颈。这些模型实际上没有很好泛化，而预训练数据的记忆能力终究会遇到上限，无法让模型比 GPT-4 聪明多少。

你认为这个假设不对吗？我们谈过一些泛化例子，比如英语和西班牙语之间的迁移。我想到的另一个例子是代码到语言推理的迁移：训练大量代码，会不会让模型用语言推理的能力也变强？这真的会发生吗？

不同模态之间会不会有正向迁移？比如训练大量视频和图像，模型能否利用合成数据变得更聪明？还是说，训练语料解锁的能力高度局限于所提供的具体标签和数据类型？

约翰·舒尔曼

我试着回答这些问题。首先，我们是不是快遇到数据墙了？我不会过度解读 GPT-4 发布后的这段时间，因为训练新一代模型、完成训练前的准备都需要很久。

不要过分解读这一点。数据有限确实带来一些挑战，但我不认为数据墙马上就会出现。不过随着我们逐渐接近数据墙，我预计预训练的性质会发生一些变化。

至于不同预训练数据类型之间的泛化，研究起来很难，因为你没法训练很多模型。也许无法训练 GPT-4 规模的模型并做消融研究，但可以训练许多 GPT-2 规模甚至 GPT-3 规模的模型，使用不同数据组合，看看结果如何。我不知道有没有公开研究过代码数据对推理表现的影响。我很想了解这类结果。

德瓦尔凯什·帕特尔

我好奇一件事：模型变大后会更聪明。如果用 GPT-2 规模的模型做消融实验，结果显示迁移不多，这是否能说明 GPT-4 规模模型在类似领域里也不会有太多迁移？

约翰·舒尔曼

对，你不能因为 GPT-2 规模模型迁移失败，就断定更大规模也会失败。大模型也许能学会更好的共享表征，而小模型不得不严重依赖记忆；大模型可能学会执行正确的计算。我预计这种情况在一定程度上确实会发生。

德瓦尔凯什·帕特尔

这个问题也许有个很简单的答案：用同样数量的数据训练更大的模型，模型会变得更聪明。或者，为达到同等智能，你只需用更少数据训练大模型。为什么会这样？参数更多、见过的内容更少，却一样聪明，这是为什么？

约翰·舒尔曼

我认为没人能很好地解释参数数量为何符合缩放定律。我甚至不知道对此最好的直觉模型是什么。显然，大模型容量更高，因此最终应该能把损失降得更低。

为什么大模型的样本效率更高？我可以给一个不太严谨的解释：模型可以看作由多个负责计算的电路组成的集成。你可以想象这些计算并行执行，输出是它们的加权组合。模型更宽时……实际上，宽度和深度有些相似，因为在残差网络中，深度也能像宽度那样更新残差流中的内容。

你并行学习许多不同计算；模型越大，这类计算就越多。因此，某个计算碰巧经常猜对、获得更高权重的机会也更大。

有些算法就是这样工作的，比如混合模型或乘法权重更新算法。你有一些东西——我不想说是混合专家，因为那意味着另一种概念——基本上是由学得的门控机制加权组合的一组专家。

我刚才有点说得不准确，但你可以想象有这样一种机制：模型变大，就有更多机会找到正确的函数。

当然，它并不是把一组完全互不相关的函数做线性组合，更像是一个程序库，可以用某种方式把不同函数串起来，具有一定的可组合性。因此我会说，大模型拥有更大的计算库，其中许多计算处于休眠状态、只在某些时候调用，但模型有更多空间寻找有用电路。

59:53德瓦尔凯什·帕特尔

先不谈当前研究问题，我想了解你对未来几年的典型情境有什么预期。对话开头我们谈过进展极快的情况，现在先看看最可能发生的情况。

你预计我们迟早能解锁长期程强化学习，但正如你说的，可能还有其他瓶颈。之后会怎样？模型会有多强？如何部署？还会加入哪些模态、何时加入？我想了解你对未来几年的整体判断。

约翰·舒尔曼

我预计很快会逐步加入新的模态。模型能力整体上会通过预训练与后训练的结合不断提升，从而带来新的应用场景。

目前 AI 在经济中所占比重还不大，只能帮助完成很小一部分工作。未来这一比例会增加，不只是因为模型变强，也因为人们会想办法把它们融入不同流程。即便模型能力完全不变，使用方式也会继续增长。

我预计 AI 会更广泛地用于技术要求更高的任务。我之前举过编程的例子，比如完成更长期的项目；它也能帮助开展各种研究。我希望能用 AI 在不同方面加速科学进展，因为模型有可能理解某个领域的全部文献，并筛选海量数据，这些工作量甚至会超出一个人的耐心。

我希望 AI 的使用形式是由人主导这一切。人们可以指挥助手，让它们处理许多对自己有用的问题。每个人都能有许多 AI 助手，帮助他们做更多事、完成更多工作。

德瓦尔凯什·帕特尔

显然有一天，AI 会比任何人都擅长某些工作。这种过程会是什么样？现在它们明显只是帮你做事；之后也许能替你直接完成事情，甚至经营整家公司。这会是平稳的过程吗？到那时，我们是否希望系统与用户充分对齐，让用户可以放心公司会按预期运营？

约翰·舒尔曼

我们可能不希望立刻让 AI 管理整家公司。即使模型已经足以成功经营企业，也可能希望有人监督这些重要决定并负责拍板。在某种程度上，这是可以选择的。

我认为人们仍会有不同兴趣和想法，决定让 AI 从事哪些有意思的事情。除非我们把内在欲望写进系统，否则 AI 未必有任何内在欲望。因此，即使 AI 能力变得极强，我仍希望由人来决定 AI 最终做什么。

德瓦尔凯什·帕特尔

我想，经济均衡可能离这个目标很远。公司里存在类似阿姆达尔定律的情况：流程中最慢的环节会成为瓶颈。

即使 AI 让公司的所有非人类环节效率提高十倍，公司仍会被那个环节卡住。如果一家公司决定在所有需要人工监督的重要事项上都让人类参与，其他公司就会在竞争中胜过它。如果一个国家决定这么做，其他国家也会超过它。我想知道，让人类保持参与是否可持续。

约翰·舒尔曼

如果我们希望人类保持参与，而且这看起来合理，而最后发现有人类参与的公司竞争不过完全没有人类参与的公司，那显然需要某种监管，禁止整家公司完全由 AI 运营。

德瓦尔凯什·帕特尔

但一个国家内有很多公司，更不用说全世界了。我在想，也许应该监管公司，规定重要流程必须有人类参与；但接着就得定义什么算重要流程。

你必须监控每一家公司，还得让所有有相关企业的国家合作。如果这是个问题，是否应该在模型部署之前就解决，让那些决定依赖模型经营公司的机构能确信模型会按要求行事，而不需要人类介入？

这个问题说得通吗？我只是在想，在这种情况下，我们到底如何监控每家公司、确保有人参与？如果中国不愿意这么做，又怎么办？

约翰·舒尔曼

要么必须让所有国家都同意这套监管制度，要么就要让所有模型基础设施或模型提供商都同意这项要求。

这肯定不简单。我们谈的是比较遥远的未来，在没见过类似情况之前，很难想象那会是什么样。

比如，我们真的确信 AI 经营的公司在各方面都更好吗？还是说大多数时候更好，但偶尔会因为 AI 在某些方面样本效率较低而出现故障？尤其是遇到非常古怪的情境时。

AI 经营的公司可能有更大的尾部风险，因为它们更可能发生严重故障。也许还有一些现实因素会影响最终结果，比如要求人类承担各种责任，可能会改变激励。

假设 AI 的确更擅长经营一切，而且完全善良。假设我们已经彻底解决了对齐问题，也能让 AI 比人类更好地向人们负责。那么让 AI 经营公司也许没问题，但这还很遥远。

更有可能的是，短期看来 AI 表现更好，但仍存在严重问题。至少在近期，实际因素可能会促使我们让人类参与。

德瓦尔凯什·帕特尔

我们今天用 RLHF 时就面临这个问题：要汇总许多不同人类的偏好。未来系统更强大时，这个问题可能会更突出。但如果我们说，最终这些 AI 系统会在公司里完全取代人类，那么‘对齐’究竟意味着什么？

这是否意味着它们基本会按用户意愿行事？还是意味着它们必须带来一种让 OpenAI 中所有利益相关方都满意的全球结果？具体而言，究竟该怎么理解？

约翰·舒尔曼

如果模型被用于这些高风险场景，我们就必须以非常不同于现在的方式思考 RLHF。我们还没准备好这么做，当前方法也可能不够。我们需要在不同利益相关方的需求之间作出妥协。我们正在发布一份叫《模型规范》的文档，说明希望模型在 API 和 ChatGPT 中如何表现。

我们试图讨论其中涉及的不同利益相关方，以及他们的需求可能发生冲突的情况。我们考虑的对象包括终端用户，也就是使用 ChatGPT 或其他应用的人；开发者，也就是通过 API 为其他用户提供服务的人；平台方，也就是 OpenAI，我们不希望模型让我们承担法律风险；以及其余所有人类，包括不是用户或客户的人。

显然，用户可能要求模型做一些我们认为会主动伤害他人的事，这时我们可能必须拒绝。顺便说一下，这并不一定意味着存在优先顺序。我们只是列出了四类左右的利益相关方。未来也可以把模型本身算作一类，但我们现在还没到那一步。

总之，我们有不同利益相关方，他们的要求有时会冲突。我们必须决定怎样解决冲突，而这并非总是显而易见。我们需要权衡各种取舍。大致的经验规则是：总体上希望模型遵循你的指示，帮助用户和开发者。

但如果这会损害其他人的幸福或生活方式，问题就出现了，我们必须禁止某些用途。总体而言，我们希望模型成为人的意志延伸，按人的要求行事，不想过度家长主义。我们希望保持中立，不把自己的观点强加给别人，尽量让人们用模型做自己想做的事。

德瓦尔凯什·帕特尔

我提前读了这份《模型规范》。这是一个问题：规范中的内容能否真正反映模型自身的行为。我觉得其中的权衡很合理，尤其是边缘案例都明确写了出来，而不是只谈那些显而易见的事情。这里确实是在处理边缘情况。

约翰·舒尔曼

我们希望它足够可操作，而不只是一些听起来很好的原则。每个例子都说明了一种不太明显的情境，并展示如何推理处理。

74:11德瓦尔凯什·帕特尔

我有几个关于研究现状的问题。社会科学中著名的一点是很难复现结果。我们会问，科学研究里有多少是真实发现，多少是人为设计、针对具体情境的实验？看一篇典型的机器学习论文时，它像是很扎实的研究成果，还是经常有点像社会科学中的 P 值操纵？

约翰·舒尔曼

每个人都对机器学习文献有意见。总体而言，我认为这是个相对健康的领域，尤其与某些社会科学领域相比。它很大程度上以实用性和让方法奏效为基础。如果发表的方法很难复现，人们很快就会忘记它。

大家都知道，不能只报告论文里的数字，通常还要重新实现对方的方法，再用同一训练集和自己的方法比较。如果你发表的方法很难实现、调参很麻烦，往往就会被遗忘。

因此，人们很愿意开放源代码。不过也有各种不良激励，比如参照方法可能被故意做得比较弱。还有一些轻微的问题，比如有人会努力让自己的方法在数学上显得很复杂。

但总体而言，我觉得这个领域确实在进步。我希望大家多做一些科学研究、努力理解现象，而不是只在基准测试上不断爬升、提出新方法。最近已经有不少这类研究，我们还需要更多。我认为这是学术界很好的研究方向。

换个稍微不同的话题，我很希望看到更多研究用基础模型模拟社会科学实验。这些模型拥有关于整个世界的概率模型。你可以设计模拟问卷或对话，观察各种现象之间的相关性。你能设想的任何特征，都可以测试它们之间可能有什么相关关系。

如果有人通过不同提示基础模型来模拟一些著名社会科学结果，比如道德基础理论，看看是否能复现，那会很有意思。

德瓦尔凯什·帕特尔

斯坦福那个实验叫什么？阿希从众实验？如果也能用语言模型复现，应该很有意思。

我想问问大型实验室里的其他研究工作。有多少工作是在降低达到某一结果所需的计算量，相当于计算效率倍增？又有多少只是让学习更稳定、扩展基础设施？

我更广泛想问的是：从 GPT-4 以来，在相同计算量下，你们能否训练出好得多的模型？还是说，你们让 GPT-5 的学习变得更好、更容易扩展，但并不能用 GPT-3.5 的预算训练出 GPT-4？

约翰·舒尔曼

效率一直在提升，这是肯定的。只要你用一个一维指标来衡量表现，不同改进就可以相互替代。后训练和预训练都可能提升指标，只是各自提升的具体指标会略有不同。

但归根结底，如果只看一个分数，两者会在一定程度上互相替代。比如在人类评估中，也就是人们更喜欢什么，我们在预训练和后训练两方面都取得了很多进步。

德瓦尔凯什·帕特尔

我快速问几个关于 RLHF 的问题。显然，RLHF 对让模型变得有用非常重要，所以‘被阉割’这个说法可能不准确。

不过，这些模型一旦变成聊天机器人，似乎就有非常相似的说话方式。它们特别喜欢‘深入探讨’、把内容变成项目符号，常常有一种正式、沉闷的语气。

有人抱怨模型没那么有创造力。比如我们之前提过，直到最近它们才会写无韵诗，之前只会写押韵诗。这是当前 RLHF 方式造成的吗？如果是，原因是评估者的类型、损失函数，还是其他因素？为什么所有聊天机器人都长得这么像？

约翰·舒尔曼

训练过程其实有不少可以变化的地方。我们正在积极改进，让文风更生动、更有趣。我们已经做出一些进步，比如改善了 ChatGPT 的个性。现在它更有趣，也更擅长闲聊，不那么像机器人。

比如‘深入探讨’这类口头禅为什么会出现，是个有意思的问题。我最近发现自己也开始用这个词了。不知道是不是模型把这个习惯传染给我了。

还有一种有趣的影响，可能是语言模型与服务提供商之间无意中发生了蒸馏。如果你雇人做标注任务，他们可能会把任务输入某个模型。他们可能打开自己喜欢的聊天机器人，让模型完成任务，再复制粘贴回来。这也许能解释一些表达方式上的趋同。

我们看到的有些特点，只是人们喜欢的东西。人们确实喜欢项目符号、结构化回答，也喜欢模型提供大量信息。

所以目前还不清楚，这其中有多少只是后训练的具体设计选择造成的怪癖，又有多少确实符合人们的喜好。

德瓦尔凯什·帕特尔

有时模型的回答确实比一些人想要的冗长。也许只是标注阶段评估者更喜欢长答案。我还想知道，这是不是预训练方式带来的内在特征：停止序列很少出现，所以模型总想继续生成。

约翰·舒尔曼

标注偏好可能会造成冗长。还有一点是，我们通常一次只训练一条消息，而不是训练完整对话。如果只看一条消息，提出澄清问题的回复，或简短地邀请用户追问的回答，会显得不如涵盖所有可能情况的长答案完整。

人们的偏好还可能取决于模型输出的速度。如果你坐在那里等 token 一个个出来，自然会希望模型直奔重点。但如果它能瞬间给你一大段文字，你可能不在意里面有些套话，或有些内容只是扫一眼。你也许宁可一次拿到全部内容。

德瓦尔凯什·帕特尔

奖励模型是一种很有意思的产物，因为它最接近对人们需求和偏好的汇总。我在想，面对更聪明的模型，我们能不能直接给它一份不那么琐碎、显而易见的目标清单，例如《联合国世界人权宣言》。

另一方面，我好像听你说过，我们的偏好和价值观有很多微妙之处，最好通过成对偏好来表达。你设想 GPT-6 或 GPT-7 时，我们会给它更多书面指令，还是继续使用这些隐含偏好？

约翰·舒尔曼

这是个好问题。偏好模型确实能学会许多难以写进说明书的人类偏好细节。当然，你也可以写一本说明书，里面加入大量比较示例。《模型规范》就是这样，包含许多带解释的例子。究竟什么格式最适合描述偏好，目前还不清楚。

我猜，大数据集中捕捉到的模糊偏好，可以蒸馏成一份较短的文档，大体保留其核心理念。大模型会自动学到许多人们认为有用、乐于助人的概念，也会形成一些复杂的道德理论。但它们仍可能接受不同风格或不同道德观的引导。

所以，如果我们要写文档来对齐这些模型，实际上就是在选择一种特定风格、特定道德观。要准确表达你真正想要的内容，文档仍然需要相当长。

德瓦尔凯什·帕特尔

后训练能力会成为多大的护城河？现在公司通过模型规模等因素形成差异。你之前说数据处理非常讲究、很微妙。掌握这些方法会不会成为巨大的竞争优势？

约翰·舒尔曼

这确实会形成一定护城河，因为它是一项非常复杂的工作，需要很多熟练人员，也需要大量隐性知识和组织经验。

要通过后训练打造一个具备人们所需各种功能的模型，工作相当复杂，需要大量研发积累，因此会形成一定的竞争壁垒。这不是轻而易举就能搭建起来的。目前，最认真投入预训练的公司似乎也在认真建设后训练能力。

这种能力多少可以被复制，也可以重新组织资源来开展。不过也有一种力量会削弱这道护城河：你可以蒸馏模型，或者拿别人的模型克隆输出，也可以把别人的模型当作评判者来比较结果。

大公司可能不会这么做，因为这会违反服务条款，也会伤害自尊。但我预计一些较小的团队会用这种办法起步，从而快速追赶。

德瓦尔凯什·帕特尔

这多少会削弱护城河。典型的评估者是什么样的人？他们在哪里？政治立场是什么？知识水平如何？

约翰·舒尔曼

差异很大。对于不同任务和项目，我们确实会聘请技能不同的评估者。一个不错的参照方法是看看 Upwork 等平台上的人，了解哪些人在做各种远程零工。

这是一个相当国际化的群体，其中有不少人在美国。我们会根据标注任务类型聘用不同群体，比如写作任务或 STEM 任务。做 STEM 任务的人更可能来自印度或其他中低收入国家；做英文写作和表达任务的人则更多在美国。

有时我们的项目需要聘请不同领域的专家。其中有些人非常出色，做任务时甚至不比研究人员差，而且比我们更仔细。我认为现在合作的评估者都相当熟练、认真。

德瓦尔凯什·帕特尔

说到性能瓶颈，有种说法是，模型要能帮你完成某项具体任务，关键在于监督微调数据集中要有高度匹配的标签。这是真的吗？

比如，它能不能教我正确使用 FFmpeg？是不是得有人看到输入、知道该加哪些参数，再由人类把它们一一对应起来？你们是不是需要聘请所有领域的专业评估者？如果是，那提升模型能力的过程似乎会慢很多。

约翰·舒尔曼

不完全需要。泛化能力可以帮上很多忙。基础模型已经训练过大量文档、代码、Shell 脚本等，它已经看过所有 FFmpeg 手册页和大量 Bash 脚本。

你只需给基础模型一个好的少样本提示，它就能回答这类问题。即使不在 STEM 数据上训练，只训练一个偏好‘乐于助人’的偏好模型，也会在一定程度上泛化到 STEM。因此你不只不需要专门的 FFmpeg 使用示例，甚至可能完全不用编程数据，也能让模型在编程领域表现得还不错。

德瓦尔凯什·帕特尔

最后一个问题。我们从不同角度谈过这件事，现在把它们放到一起。你说过会用更多多模态数据训练模型。假设它们能理解屏幕内容，并以连贯方式与屏幕互动；同时还会进行长期程强化学习，能像代理一样在系统中行动，更深入地融入你的工作流程。

你预计这会是什么样？接下来会有哪些步骤？假设今年年底或明年出现一个能在电脑屏幕上协助你的助手，这种预期合理吗？之后会如何发展？

约翰·舒尔曼

我肯定预计发展会朝这个方向走，但最终最好的产品形态还不清楚。它可能像电脑上的回形针助手一样随时帮你，也可能更像云端的同事。我们会看到哪种形式效果最好，也会有人尝试各种形式。

我预计‘有帮助的助手’或‘有帮助的同事’这个心智模型会越来越贴近现实。你可以让模型了解更多日常工作。你不再只是一次性提问，而是有一个正在推进的项目，模型知道你迄今做过的所有事情。

它甚至可以主动提出建议。比如你可以让它记住之后提醒你某件事，或者问你有没有进展。主动性是目前缺少的能力之一。我希望我们能从一次性提问、把模型当搜索引擎，转向与模型合作推进一个完整项目。模型了解你做过的一切，会主动建议你尝试某些事，或在后台替你完成工作。

德瓦尔凯什·帕特尔

很有意思。最后一个问题：你预计中位时间线是什么时候，AI 会取代你的工作？

约翰·舒尔曼

取代我的工作吗？也许五年吧。

德瓦尔凯什·帕特尔

那挺快的。有意思。约翰，非常感谢你抽时间来聊。AI 流程中有些环节非常重要，但大家不太了解；能深入讨论、听听你的看法，真的很有意思。

约翰·舒尔曼

谢谢邀请。我很享受这次聊天。