Richard Sutton: 理查德·萨顿——强化学习之父认为大语言模型是死路一条
Richard Sutton – Father of RL thinks LLMs are a dead end
嘉宾：Richard Sutton
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01理查德·萨顿——强化学习之父认为大语言模型是死路一条
理查德·萨顿是强化学习之父、2024 年图灵奖得主，也是《苦涩的教训》一文的作者。而他认为大语言模型是死路一条。
在采访他之后，我对理查德立场的“最强版本”是这样理解的：大语言模型无法在工作中学习，所以无论我们怎么扩展规模，都需要某种新架构来实现持续学习。
而一旦我们有了这种架构，就不再需要专门的训练阶段——智能体将在运行中即时学习，就像所有人类一样，事实上也像所有动物一样。
这种新范式将使我们目前基于大语言模型的做法变得过时。
在采访中，我尽力为这样一种观点辩护：大语言模型或许可以充当经验学习得以发生的基础……结果擦出了一些火花。
非常感谢阿尔伯塔机器智能研究所邀请我前往埃德蒙顿，并允许我使用他们的演播室和设备。
希望你喜欢！
§02大语言模型是死路一条吗？
今天我和理查德·萨顿聊天。他是强化学习的奠基人之一，也是该领域许多主要技术的发明者，比如时序差分（TD）学习和策略梯度方法。凭借这些工作，他获得了今年的图灵奖——如果你不知道的话，图灵奖相当于计算机科学界的诺贝尔奖。理查德，恭喜你。
谢谢你，Dwarkesh。
感谢你来参加播客。
这是我的荣幸。
第一个问题。我和我的听众都熟悉用大语言模型的方式去思考 AI。从概念上讲，从强化学习的视角来看 AI，我们漏掉了什么？
这确实是非常不同的视角。两者很容易被分开，然后彼此失去对话的能力。大语言模型已经变得如此重要，生成式 AI 整体也是如此。我们这个领域容易追逐风潮和时尚，于是我们会失去对基本问题的把握。我认为强化学习才是基础性的 AI。
什么是智能？问题在于理解你的世界。强化学习关乎理解你的世界，而大语言模型关乎模仿人、做人告诉应该做的事。它们并不关乎弄清楚该做什么。
你可能会想，要模拟互联网文本语料中数以万亿计的 token，你必须建立一个世界模型。事实上，这些模型似乎确实拥有非常稳健的世界模型。它们是迄今为止我们在 AI 中造出的最好的世界模型，对吧？你认为缺了什么？
你刚才说的大部分内容我都不赞同。模仿人们说的话，根本不是在建立世界的模型。你模仿的是那些拥有世界模型的东西：人。我不想用对抗的方式来看待这个问题，但我会质疑它们拥有世界模型这一想法。世界模型应该能让你预测将会发生什么。它们有能力预测一个人会说什么，但没有能力预测将会发生什么。
我们想要的，用艾伦·图灵的话说，是一台能够从经验中学习的机器，而经验是你生活中实际发生的事情。你做事，你看到发生了什么，你从中学习。大语言模型从别的东西中学习。它们学习的是“这里有一个情境，这里是某个人做了什么”。隐含的建议是：你应该做那个人做过的事。
我想关键点也许是——我很好奇你是否不同意——有些人会说，模仿学习给了我们一个很好的先验，或者说给了这些模型一个很好的先验，关于解决问题的合理方式。当我们迈向你所称的经验时代时，这个先验将成为我们基于经验去教这些模型的基础，因为它让它们有机会在某些时候得到正确答案。然后在此基础上，你可以用经验来训练它们。你同意这个观点吗？
不。我同意这是大语言模型的视角。我不认为这是一个好的视角。要成为某事的先验，必须存在一个真实的东西。先验知识应当是实际知识的基础。什么是实际知识？在那个大语言模型框架里，没有对实际知识的定义。是什么让一个行动成为值得采取的好行动？
你认识到持续学习的必要性。如果你需要持续学习，持续就意味着在与世界正常互动的过程中学习。在正常互动中，必须有某种方式能告诉你什么是对的。在大语言模型的设定里，有任何办法判断该说什么才是对的吗？你说点什么，你不会得到关于什么才是正确说法的反馈，因为根本没有对“正确说法”的定义。没有目标。如果没有目标，那么说这一句和说那一句都一样。没有所谓正确的说法。
没有基准真相。如果你没有基准真相，你就不可能有先验知识，因为先验知识本应是对真相的提示或初始信念。而这里没有任何真相。没有正确的说法。在强化学习中，存在正确的说法、正确的做法，因为正确的做法就是能给你带来奖励的做法。
我们对什么是对的有一个定义，所以我们可以拥有先验知识，或者由人提供的关于什么是对的知识。然后我们可以检验它，因为我们有对实际正确做法的定义。
一个更简单的例子是当你试图建立世界的模型。当你预测将会发生什么，你做出预测，然后你看到发生了什么。这里有基准真相。大语言模型里没有基准真相，因为你并没有对接下来会发生什么做出预测。如果你在对话中说了什么，大语言模型并没有预测那个人会如何回应，或者回应会是什么。
我认为它们有。你完全可以直接问它们：“你预计用户可能会怎么回应？”它们会给出一个预测。
不，它们会正确回答那个问题。但它们在实质性意义上没有预测，因为它们不会对发生的事感到意外。如果发生了某件并非它们——按你的说法——所预测的事，它们不会因为发生了意外的事情而改变。要学会这一点，它们必须做出调整。
我认为这种能力在上下文里确实存在。观察模型做思维链是很有意思的。假设它在解一道数学题。它会说：“好，我先用这种方法来处理这个问题。”它会写出来，然后说：“哦等等，我刚意识到这个概念的思路不对。我要换一种方法重新开始。”
这种灵活性在上下文里确实存在，对吧？你是有别的想法，还是只是认为需要把这种能力扩展到更长的时间跨度上？
我只是说，它们在任何一个有意义的意义上都没有对接下来会发生什么的预测。它们不会对接下来发生的事感到意外。如果发生了什么事，它们不会根据发生的事做出任何改变。
这不字面上就是下一 token 预测吗？预测接下来是什么，然后根据意外进行更新？
下一个 token 是它们应该说什么、动作应该是什么。而不是世界会对它们的行为给出什么回应。
让我们回到它们缺乏目标这一点。对我来说，拥有目标是智能的本质。一个东西如果能实现目标，它就是智能的。我喜欢约翰·麦卡锡的定义：智能是实现目标能力中的计算部分。你必须拥有目标，否则你只是一个在行为的系统。你没什么特别的，你不智能。你同意大语言模型没有目标吗？
不，它们有目标。
什么目标？
下一 token 预测。
那不是目标。它不改变世界。token 向你涌来，如果你预测它们，你并不能影响它们。
哦对。它不是关于外部世界的目标。
它不是目标。它不是实质性的目标。如果一个系统只是坐在那里做预测，并为自己的预测准确而自得其乐，你不能看着它说它有目标。
我更想理解的大问题是：为什么你不认为在大语言模型之上做强化学习是一个有成效的方向。我们似乎能够给这些模型设定解决困难数学问题的目标。在很多方面，它们解决数学奥林匹克类问题的能力已经处在人类水平的顶峰。它们在 IMO 上拿了金牌。
所以，在国际数学奥林匹克上拿金牌的那个模型，似乎确实拥有把数学题做对的目标。为什么我们不能把它扩展到不同的领域？
数学问题是不一样的。建立物理世界的模型，并推导数学假设或运算的后果，这些是非常不同的事情。经验世界必须被学习。你必须学习后果。而数学更偏计算，更像是标准的规划。在那里它们可以有找到证明的目标，而且它们在某种方式上被赋予了这个找证明的目标。
有意思的是，你在 2019 年写了这篇题为《苦涩的教训》的文章，这也许是 AI 史上最有影响力的文章。但人们把它当作扩大大语言模型规模的理由，因为在他们看来，这是我们找到的、能把海量算力倾注到学习世界之中的唯一可扩展方式。有意思的是，你的观点是大语言模型并不“服下苦涩教训的药”。
大语言模型是否是苦涩教训的一个案例，这是个有趣的问题。它们显然是使用大规模算力的一种方式，会随着算力扩展，直到触及互联网的极限。但它们同时也是注入大量人类知识的一种方式。这是个有趣的问题。这是一个社会学或产业问题。它们会触及数据的极限，然后被那些能仅从经验而非从人那里获得更多数据的系统取代吗？
在某些方面，这是苦涩教训的经典案例。我们往大语言模型里注入的人类知识越多，它们表现得越好。所以感觉很好。然而，我预期会出现能够从经验中学习的系统。它们可能表现好得多，也更具可扩展性。那样的话，这将是苦涩教训的又一个实例：使用人类知识的东西最终被那些仅从经验和算力中训练的东西取代。
我觉得这似乎不是关键点。我认为那些人也会同意，未来压倒性的算力将来自从经验中学习。他们只是认为，那个脚手架或基础——你为了倾注算力去做这种未来的经验学习或在岗学习而起步时所依赖的东西——将是大语言模型。
我仍然不明白为什么这整个就是错误的起点。为什么我们需要一整套新架构才能开始做经验的、持续的学习？为什么我们不能从大语言模型起步来做这件事？
在苦涩教训的每一个案例中，你都可以从人类知识起步，然后做可扩展的事情。情况总是如此。从来没有任何理由说这一定会糟糕。但事实上，在实践中，它总是被证明是糟糕的。人们被锁死在人类知识的方法里，而且他们在心理上……现在我在推测原因，但事情一直是这样。他们的午餐被真正可扩展的方法吃掉了。
请给我讲讲这个可扩展的方法是什么样子。
可扩展的方法就是从经验中学习。你尝试，你看到什么有效。不需要有人告诉你。首先，你有一个目标。没有目标，就没有对错感或好坏感。大语言模型试图在没有目标、没有好坏感的情况下勉强过关。这正是从错误的地方起步。
§03人类会做模仿学习吗？
也许把它和人类比较会很有意思。无论是在从模仿学习还是从经验学习的问题上，还是在目标的问题上，我觉得都有一些有趣的类比。孩子最初会从模仿中学习。你不这么认为？
不，当然不是。
真的吗？我觉得孩子就是观察别人。他们试着说同样的话……
这些孩子多大？头六个月呢？
我认为他们在模仿。他们试着让自己的嘴发出他们看到的母亲嘴巴发出的声音。然后他们会说出同样的话，却不理解意思。随着年龄增长，他们所做模仿的复杂度也在提高。你也许在模仿你的族群中人们用来猎鹿之类的技能。然后你进入从经验中学习的强化学习阶段。但我认为人类身上有大量的模仿学习在发生。
很惊讶你能有如此不同的观点。当我看到孩子时，我看到的是孩子在尝试、挥舞手臂、转动眼睛。他们转动眼睛的方式，甚至发出的声音，都没有可模仿的对象。他们可能想发出同样的声音，但那些动作，婴儿实际做的事情，没有目标可言。没有可供参照的范例。
我同意。这不能解释婴儿所有的行为，但我认为它引导了一个学习过程。即便是大语言模型，在训练早期试图预测下一个 token 时，它会做一个猜测。这个猜测会与它实际看到的不同。某种意义上，这是非常短视界的强化学习：它做出这个猜测，“我认为这个 token 会是这个”。结果是另一个东西，就像孩子试着说一个词，说出来是错的。
大语言模型是在从训练数据中学习。不是从经验中学习。它是从某种在其正常生命周期中永远不会再出现的东西中学习。从来没有任何训练数据会告诉你，在正常生活中你应该采取这个行动。
我认为这更多是语义上的区分。你把学校叫什么？那不就是训练数据吗？
学校要晚得多。好吧，我不该说“从不”。我不知道，我想我甚至会对学校这么说。但正规学校教育是例外。你不该把理论建立在这上面。
但有些学习阶段里，你早期生物学中就有编程，那时你并不那么有用。然后你存在的意义就是理解世界、学习如何与之互动。这看起来就像一个训练阶段。我同意之后有一个更渐进的……训练到部署之间并没有一个明确的界限，但似乎确实存在这样一个初始训练阶段，对吧？
没有任何东西是在训练你该做什么。什么都没有。你看到事情发生。没有人告诉你该做什么。别抬杠。我是说，这很明显。
你确实被明确教导该做什么。训练（training）这个词就是从人那里来的。
我不认为学习真的是关于训练。我认为学习就是学习，是一个主动的过程。孩子尝试事情，看到会发生什么。当我们想到婴儿成长时，我们不会想到训练。
这些事情实际上被理解得相当清楚。如果你看看心理学家如何看待学习，里面根本没有模仿这类东西。也许有些极端情况人类可能会那样做，或者看起来是那样，但并没有一种被称为模仿的基本动物学习过程。动物有用于预测和试错控制的基本学习过程。
很有意思的是，有时最难看见的恰恰是最明显的东西。这很明显——如果你观察动物如何学习，你去看心理学和我们对它们的理论——监督学习并不是动物学习方式的一部分。我们没有“期望行为”的范例。我们有的是“发生的事情”的范例，一件接着一件。我们有“我们做了某事，然后产生了后果”的范例。但没有任何监督学习的范例。
监督学习不是自然界中会发生的事。即便学校是那样，我们也应该把它忘掉，因为那是人类身上发生的特殊事情。它在自然界中并不普遍发生。松鼠不上学。松鼠能学会关于世界的一切。我要说，非常明显，监督学习不在动物身上发生。
我采访过一位心理学家兼人类学家约瑟夫·亨里奇（Joseph Henrich），他研究文化演化，基本上就是研究人类有何不同，以及人类如何获取知识。
你为什么要试图区分人类？人类也是动物。我们共同的地方更有意思。区分我们的地方，我们应该少关注一些。
我们要复制的是智能。如果你想理解是什么让人类能登上月球或制造半导体，我认为我们想理解的就是是什么让这些成为可能。没有动物能登月或制造半导体。我们想理解是什么让人类特殊。
我喜欢你把那当作显而易见的方式，因为我认为相反的东西才是显而易见的。我们必须理解我们如何是动物。如果我们理解了一只松鼠，我认为我们几乎就完全理解人类智能了。语言那部分只是表面上的一层薄薄的装饰。
这很好。我们正在发现我们思考方式的巨大差异。我们不是在争吵。我们是在努力把彼此不同的思考方式分享给对方。
我认为争论是有用的。我确实想把这个想法讲完。约瑟夫·亨里奇有一个有趣的理论，关于人类为了成功而必须掌握的许多技能。我们说的不是过去一千年或过去一万年，而是几十万年。世界真的很复杂。
你不可能靠推理弄明白，比如说，如果你住在北极，该如何捕猎海豹。如何制作诱饵、如何找到海豹，然后如何加工食物以确保你不会中毒，这是一个有很多很多步骤的漫长过程。不可能靠推理把这一切想清楚。随着时间推移，有一个更大的过程——你可以用任何类比，也许是强化学习，也许是别的——文化作为一个整体弄清楚了如何找到、杀死并吃掉海豹。
在他看来，当这种知识代际传递时，发生的是：你必须模仿长辈才能学会那项技能。你无法靠思考弄明白如何捕猎、杀死并加工海豹。你必须观察别人，也许做一些微调，知识就是这样积累起来的。文化收益的初始步骤必须是模仿。但也许你有不同的看法？
不，我的看法是一样的。不过，这是在基本的试错学习、预测学习之上的一个小东西。它也许是我们区别于许多动物的地方。但我们首先是动物。在拥有语言和所有那些东西之前，我们就是动物。
我确实认为你提出了一个很有意思的观点：持续学习是大多数哺乳动物都具备的能力。我想所有哺乳动物都有。很有意思的是，我们拥有所有哺乳动物都有的东西，但我们的 AI 系统却没有。而理解数学、解决困难数学问题的能力——取决于你怎么定义数学——是我们的 AI 拥有、但几乎没有动物拥有的能力。什么最终是困难的、什么最终是容易的，这很有意思。
莫拉维克悖论。
对，对。
§04经验时代
你所设想的这种替代范式……
经验范式。让我们稍微展开一下。它说的是：经验、行动、感觉——嗯，感觉、行动、奖励——在你的生命中层出不穷地发生。它说这就是智能的基础和焦点。智能就是接收这条流，并改变行动以增加流中的奖励。
那么学习就来自这条流，学习也是关于这条流的。第二部分尤其说明问题。你所学到的东西、你的知识，都是关于这条流的。你的知识是关于：如果你采取某个行动，会发生什么。或者关于哪些事件会跟随哪些事件。它是关于这条流的。知识的内容是关于这条流的陈述。因为它是关于这条流的陈述，你可以通过把它与流相比较来检验它，你也可以持续地学习它。
当你设想这种未来的持续学习智能体时……
它们不是“未来的”。当然，它们一直都存在。这就是强化学习范式，从经验中学习。
对，我想我说的是一般的人类水平、通用的持续学习智能体。奖励函数是什么？只是预测世界吗？还是对它产生特定影响？通用的奖励函数会是什么？
奖励函数是任意的。如果你在下棋，就是赢得这盘棋。如果你是一只松鼠，也许奖励与得到坚果有关。一般来说，对动物而言，你会说奖励是避免痛苦、获得快乐。我认为还应该有一个与你对环境理解不断加深有关的成分。那会是一种内在动机。
我明白了。有了这种 AI，很多人会希望它做很多不同种类的事情。它在执行人们想要的任务，同时又在通过做那个任务来学习关于世界的东西。
假设我们去掉了这种有训练期然后有部署期的范式。我们是否也去掉了这种范式：有一个模型，然后有模型的一些实例或副本在做某些事情？考虑到我们会希望这个东西做不同的事情，你会怎么考虑？我们会希望把它从做这些不同事情中获得的知识聚合起来。
我不喜欢你刚才那种用法里的“模型”这个词。我认为更好的词是“网络”，因为我想你指的是网络。也许有很多网络。不管怎样，东西会被学到。你会有副本和许多实例。当然，你会希望在各实例之间共享知识。做这件事有很多可能性。
今天，一个孩子长大、了解世界，然后每个新孩子都必须重复这个过程。而对于 AI，对于数字智能，你可以希望只做一次，然后把它复制到下一个作为起点。这将是巨大的节省。我认为这比试图从人身上学习重要得多。
我同意，无论你是否从大语言模型起步，你所谈的这种东西都是必要的。如果你想要人类或动物水平的智能，你就需要这种能力。
假设一个人想创办一家初创公司。这件事的奖励周期大约是 10 年。十年里可能有一次退出，你能拿到十亿美元。但人类有能力设定中间性的辅助奖励，或者有某种办法……即使奖励极其稀疏，他们仍然能采取中间步骤，因为他们理解自己正在做的下一件事会通向那个更宏大的目标。你设想这样的过程在 AI 身上会如何展开？
这是我们非常了解的东西。它的基础是时序差分学习，同样的机制在没那么宏大的规模上发生。当你学下棋时，你有赢得比赛的长期目标。但你也希望能从短期的事情中学习，比如吃掉对手的棋子。
你做到这一点的方式是拥有一个价值函数，它预测长期结果。然后如果你吃掉对方的棋子，你对长期结果的预测就变了。它上升了，你认为你会赢。那么你信念中的这个提升会立刻强化导致吃掉棋子的那一步。
我们有这个十年期的长期目标：创办一家初创公司并赚很多钱。当我们取得进展时，我们会说：“哦，我更有可能实现长期目标了”，这就奖励了沿途的步骤。
你还需要某种能力来处理你正在学习的信息。让人类与大语言模型相当不同的一个因素是：如果你在一份工作上入职，你会吸收大量上下文和信息。这正是你在工作中变得有用的原因。你学到一切，从你的客户有什么偏好，到公司如何运作，所有事情。
像时序差分学习这样的过程所提供的信息带宽，是否足够高，能承载你像人类那样在刚被部署时就需要吸收的那种巨大的上下文和隐性知识管道？
我不确定，但我认为这个问题的关键之处，大世界假说似乎非常相关。人类在工作中变得有用的原因，是他们遇到了世界中属于他们的那个特定部分。那不可能被预先料到，也不可能全都被提前放进去。世界如此之大，你做不到。
在我看来，大语言模型的梦想是：你可以把一切都教给智能体。它会知道一切，不必在生命中在线学习任何东西。你的例子都是“嗯，其实你必须学”，因为你可以教它，但那里有他们过的特定生活、共事的特定的人、他们喜欢什么而不是普通人喜欢什么，所有这些小小的癖性。这恰恰说明世界真的很大，你必须在过程中学习它。
在我看来，你需要两样东西。一是某种把长期目标奖励转换为更小的、关于未来奖励的辅助预测奖励的方式，或者关于通向最终奖励的未来奖励。但一开始，在我看来，我需要把握住我在世界中工作时获得的所有这些上下文。我在了解我的客户、我的公司，以及所有这类信息。
我会说你只是在做常规的学习。也许你用“上下文”这个词，是因为在大语言模型里所有那些信息都必须进入上下文窗口。但在持续学习的设定里，它只是进入权重。
也许上下文是用错的词，因为我指的是更一般的东西。
你学到一个特定于你所在环境的策略。
我想问的问题是，你需要某种方式获取……当一个人在外面世界里时，每秒能获取多少比特？如果你只是通过 Slack 和客户互动等等。
也许你想问的是：奖励似乎太小了，不足以完成我们需要的所有学习。但我们有感觉，我们有所有其他可以学习的信息。我们不只是从奖励中学习。我们从所有数据中学习。
帮助你捕获那些信息的学习过程是什么？
现在我想谈谈智能体的基础通用模型，它有四个部分。
我们需要一个策略。策略说的是：“在我所处的情境中，我该做什么？”我们需要一个价值函数。价值函数是用时序差分学习学到的东西，价值函数产生一个数字。这个数字说明情况进展得如何。然后你观察它是在上升还是下降，并用它来调整你的策略。所以你有这两样东西。然后还有感知组件，它是对你的状态表征的构建，是你对自己现在所处位置的感知。
第四个是我们真正要谈的，也是最直白的一个。第四个是世界的前向模型。这就是为什么我不太愿意把一切都叫作“模型”，因为我想谈的是世界的模型、世界的前向模型。你的信念：如果你这样做，会发生什么？你的行为会有什么后果？你的世界物理学。但它不只是物理，它还包括抽象模型，比如你如何从加利福尼亚一路到埃德蒙顿来上这期播客的模型。那是一个模型，而且是一个前向模型。那是会被学到的。它不是从奖励中学到的。它是从“你做了事，你看到了发生了什么，你建立了那个世界模型”中学到的。
它会从你接收到的所有感觉中被非常丰富地学到，而不只是从奖励中。它也必须包含奖励，但那是整个模型中很小的一部分，一个很小却关键的部分。
§05当前架构在分布外泛化很差
我的一位朋友 Toby Ord 指出，如果你看 Google DeepMind 用来学习 Atari 游戏的 MuZero 模型，这些模型最初本身并不是通用智能，而是训练专门智能去玩特定游戏的通用框架。也就是说，用那个框架，你无法训练出一个既能下国际象棋又能下围棋还能玩其他游戏的策略。你必须以专门化的方式逐个训练。
他想知道，这是否意味着一般意义上的强化学习，由于这种信息约束，一次只能学一样东西？信息密度没那么高？还是说这只是 MuZero 做法的特殊之处。如果这是 AlphaZero 特有的，那么那种方法需要改变什么，才能成为通用的学习智能体？
这个想法是完全通用的。我一直把这一点当作我的典型例子：AI 智能体的想法就像一个人。人在某种意义上只生活在一个世界里。那个世界可能涉及国际象棋，也可能涉及 Atari 游戏，但那些不是不同的任务或不同的世界。那些是它们遇到的不同状态。所以这个通用想法完全不受限制。
也许解释一下那个架构或那种方法缺了什么，而这个持续学习的 AGI 会具备，会是有用的。
他们只是那样设置的。让一个智能体跨这些游戏并不是他们的抱负。如果我们想谈迁移，我们该谈的不是跨游戏或跨任务的迁移，而是状态之间的迁移。
我好奇的是，从历史上看，我们是否见过用强化学习技术达到构建这类东西所需的迁移水平……
好。好。我们在任何地方都没看到迁移。良好性能的关键在于你能从一个状态很好地泛化到另一个状态。我们没有任何擅长这件事的方法。我们有的是人们尝试不同的东西，然后他们选定某个东西，一种迁移得好或泛化得好的表征。但我们促进迁移的自动化技术非常少，而且现代深度学习里一个都没用上。
让我转述一下，以确保我理解正确。听起来你是在说，当这些模型确实有泛化时，那是某种被雕琢出来的……的结果
是人类做的。是研究者做的。因为没有别的解释。梯度下降不会让你泛化得好。它会让你解决那个问题。它不会让你在拿到新数据时以好的方式泛化。
泛化意味着在一个东西上训练会影响你在其他东西上的表现。我们知道深度学习在这方面非常差。例如，我们知道如果你在某些新东西上训练，它常常会灾难性地干扰你已知的所有旧东西。这正是糟糕的泛化。
正如我所说，泛化是训练某个状态对其他状态的某种影响。你泛化这一事实本身不一定好或坏。你可以泛化得很差，也可以泛化得很好。泛化总会发生，但我们需要能让泛化变好而不是变差的算法。
我不是想重新挑起最初那个关键争论，我只是真心好奇，因为我觉得我可能对这个词用法不同。理解这些大语言模型的一种方式是，它们在扩大泛化的范围：从早期甚至做不了一道基础数学题的系统，到现在它们能处理这类数学奥林匹克问题中的任何一道。
你最初从它们能在加法问题之间泛化开始。然后它们能在需要使用不同数学技巧、定理和概念范畴的问题之间泛化，而这正是数学奥林匹克所要求的。听起来你不认为能在那个类别内解决任何问题就算泛化的例子。如果我误解了，请告诉我。
大语言模型太复杂了。我们并不真正知道它们此前拥有什么信息。我们只能猜，因为它们被喂了太多东西。这是它们不是做科学的好方式的一个原因。它太不受控、太未知了。
但如果你提出一个全新的……
它们也许在很多事情上做对了。问题是为什么。也许它们不需要泛化就能做对，因为有些问题做对的唯一方式就是形成一个能把它们全做对的东西。如果只有一个答案，而你找到了它，那不叫泛化。那只是它是唯一的解法，所以它们找到了唯一的解法。但泛化是当它可以是这种方式、也可以是那种方式，而它们选择了好的那种方式。
我的理解是，在编程智能体上这一点正变得越来越好。对于工程师来说，显然如果你要写一个库，有很多不同的方式可以达到最终规格。对这些模型最初的挫败感之一是，它们会以草率的方式去做。随着时间推移，它们在提出开发者觉得更满意的设计架构和抽象方面越来越好。这似乎就是你所谈的一个例子。
它们内部没有任何东西会促使它泛化得好。梯度下降会促使它们找到它们见过的问题的解法。如果只有一种解法，它们就会那样做。但如果有许多解法，有些泛化得好，有些泛化得差，算法里没有任何东西会促使它们泛化得好。但人当然经过演化，如果不行，他们会反复摆弄，直到找到办法，也许直到找到一种泛化得好的办法。
§06AI 领域的意外之处
我想拉远一点，问问在 AI 领域待的时间比几乎任何评论者或现在的从业者都长是什么感受。我好奇最大的意外是什么。你觉得有多少新东西正在出现？还是感觉人们只是在摆弄旧想法？拉远来看，你在深度学习流行之前就进入这个领域了。那么你如何看待这个领域随时间的发展轨迹，以及新想法是如何产生的？什么让你意外？
我稍微想过这个问题。有几件事。首先，大语言模型令人意外。人工神经网络在语言任务上如此有效，这令人意外。那是个意外，没人预料到。语言看起来是不一样的。所以这很了不起。
AI 领域有一个长期争论，关于简单基本原则的方法——像搜索和学习这样的通用方法——与人类赋能系统（比如符号方法）的对比。过去这很有意思，因为搜索和学习之类被称为弱方法，因为它们只使用一般原则，不使用通过向系统注入人类知识而获得的力量。那些被称为强方法。我认为弱方法已经完全赢了。这是 AI 早期最大的问题：会发生什么。学习和搜索已经赢了。
某种意义上这对我来说并不意外，因为我一直希望或支持简单的基本原则。即便在大语言模型上，它效果如此之好令人意外，但这一切都很好、令人欣慰。AlphaGo 令人意外，它运作得如此之好，尤其是 AlphaZero。但这一切都非常令人欣慰，因为再一次，简单的基本原则赢了。
每当公众认知因为某个新应用被开发出来而改变——比如 AlphaZero 成为病毒式传播的现象——对你这样一个真正发明了许多被使用技术的人来说，你感觉是取得了新的突破吗？还是感觉“哦，我们从 90 年代就有这些技术了，人们只是把它们组合起来应用”？
整个 AlphaGo 的事有一个前身，就是 TD-Gammon。Gerry Tesauro 用强化学习、时序差分学习方法下双陆棋。它击败了世界最好的棋手，效果非常好。某种意义上，AlphaGo 只是那个过程的放大。但那是不小的放大，而且在搜索方式上还有额外的创新。但它是说得通的。那个意义上并不意外。
AlphaGo 实际上没有用 TD 学习。它等到看最终结果。但 AlphaZero 用了 TD。AlphaZero 被应用到所有其他游戏上，表现极其出色。我一直对 AlphaZero 下棋的方式印象深刻，因为我是棋手，它就是为位置优势牺牲子力。它满足而耐心地长时间牺牲子力。它效果如此之好令人意外，但也令人欣慰，而且符合我的世界观。
这把我带到了现在的位置。某种意义上我是个逆流者，或者想法与领域不同的人。我个人满足于与我的领域长期不同步，也许是几十年，因为过去偶尔我被证明是对的。我做的另一件事——帮助我不感到自己不同步、想法怪异——是不看我周围的环境或我的领域，而是回望时间和历史，看看许多不同领域里人们关于心智的经典思考。我不觉得自己与更大的传统脱节。我真的把自己看作一个古典主义者，而不是逆流者。我回到关于心智的更大思想者群体一直以来的想法。
§07AGI 之后《苦涩的教训》还适用吗？
如果你能容忍，问你一些偏门的问题。我读《苦涩的教训》的方式是，它不一定是说人类手工调参不起作用，而是说它的扩展性显然远不如算力，而算力在指数增长。所以你想要能利用后者的技术。
对。
一旦我们有了 AGI，我们就会有随算力线性扩展的研究者。我们会有数百万 AI 研究者的雪崩。他们的“存量”会和算力一样快增长。所以也许这意味着，让他们做老式 AI、做这些手工解决方案是理性的或说得通的。作为 AGI 之后 AI 研究如何演进的图景，我好奇这是否仍与苦涩的教训相容。
我们是怎么得到这个 AGI 的？你想假定它已经完成了。
假设它从通用方法开始，但现在我们有了 AGI。现在我们想去做……
那我们就完成了。
有意思。你不认为 AGI 之上还有东西？
但你又是在用它去获得 AGI。
嗯，我是在用它去获得在不同任务上超人类的智能或能力水平。
这些 AGI，如果它们还不是超人类的，那么它们可能传授的知识也不会是超人类的。
我想有不同程度的差别。
我不确定你的想法说得通，因为它似乎预设了 AGI 的存在，并且我们已经把它解决了。
也许激发这个想法的一种方式是：AlphaGo 是超人类的。它击败了任何围棋棋手。AlphaZero 每次都会击败 AlphaGo。所以有办法变得比超人类更超人类。它也是不同的架构。所以在我看来，那个能跨所有领域通用地学习的智能体，也会有办法给它更好的学习架构，就像 AlphaZero 是对 AlphaGo 的改进、MuZero 是对 AlphaZero 的改进一样。
而 AlphaZero 改进的方式是它不使用人类知识，只从经验出发。
对。
那你为什么说“引入其他智能体的专长来教它”，而它从经验中运作得如此之好、并不需要另一个智能体的帮助？
我同意在那个特定案例里，它是走向更通用的方法。我只是想用那个特定例子来说明，从超人类到超人类++、超人类+++是可能的。我好奇你是否认为这些层级会继续发生，仅仅通过让方法更简单。还是说，因为我们将拥有这数百万个心智的能力，它们可以按需增加复杂性，那么即使你有数十亿或数万亿 AI 研究者，那仍会是一条错误的道路？
更有意思的是就那个情形本身来思考。当你拥有许多 AI 时，它们会像人类文化演化那样互相帮助吗？也许我们应该谈谈那个。苦涩的教训，谁在乎呢？那是对历史上某个特定时期的经验观察。历史上 70 年，它不一定适用于接下来的 70 年。
一个有趣的问题是：你是一个 AI，你获得了更多算力。你应该用它来让自己计算能力更强？还是用它来衍生出一个自己的副本，去地球另一端或某个其他主题上学点有趣的东西，然后回报给你？
我认为这是一个只有在数字智能时代才会出现的非常有趣的问题。我不确定答案是什么。还有更多问题：真的有可能把它衍生出去、派出去、学到新东西、也许是全新的东西，然后它还能被重新整合回原来的自己吗？还是它变化太大，以至于做不到？这可能还是不可能？你可以把这一点推到极限，就像我前几天晚上看了你一个视频。它暗示这是可能的。你衍生出许多许多副本，做不同的事情，高度去中心化，但回报给中心的主控。这将是如此强大的东西。
这是我试图给这个观点补充的一点。一个大问题将变成腐化。如果你真的能随时从任何地方获取信息并把它带入你的中心心智，你可能会变得越来越强大。这一切都是数字的，它们都说某种内部数字语言。也许这会很容易、很可能。但它不会像你想象的那么容易，因为这样你可能会失去理智。如果你从外部引入某种东西并把它构建进你的内在思考，它可能接管你，它可能改变你，它可能是你的毁灭而不是你的知识增量。
我认为这会成为一个大担忧，尤其是当你说“哦，他搞清楚了怎么玩某个新游戏，或者他研究了印度尼西亚，你想把那个纳入你的心智”。你可能想，“哦，把它全读进来就好了。”但不，你刚把一大堆比特读进了你的心智，它们里面可能有病毒，可能有隐藏目标，它们能扭曲你、改变你。这会变成一件大事。在数字衍生和重新整合的时代，你如何做网络安全？
§08向 AI 的继替
我想这把我们带到了 AI 继替的话题。你的观点和我采访过的很多人、以及一般很多人的观点相当不同。我也认为这是一个非常有意思的观点。我想听听。
我确实认为向数字智能或增强人类的继替是不可避免的。我有一个四部分的论证。第一步是，没有任何政府或组织给人类一个占主导地位的统一观点、能够安排……对于世界应该如何运转没有共识。第二，我们会弄清楚智能如何运作。研究者最终会弄明白。第三，我们不会止步于人类水平的智能。我们会达到超级智能。第四，随着时间推移，周围最智能的东西获得资源和权力是不可避免的。
把这一切放在一起，它就是某种不可避免的东西。你会有向 AI 或向 AI 赋能、增强人类的继替。这四件事看起来清楚且必然会发生。但在那一组可能性之内，既可能有好的结果，也可能有没那么好的结果、坏的结果。我只是想对我们在哪里保持现实，并问我们应该如何看待它。
我同意所有这四个论证以及其含义。我也同意继替包含各种各样的可能未来。我很好奇想多听一些想法。
我确实鼓励人们积极地看待它。首先，这是我们人类几千年来一直试图做的事：试图理解我们自己，试图让我们思考得更好，就是理解我们自己。这是科学和人文学科的巨大成功。我们正在发现人性中这个本质部分是什么，智能意味着什么。
然后我通常会说，这一切都是以人类为中心的。但如果我们从作为人的立场退开，只从宇宙的视角看，我认为这是宇宙中的一个主要阶段，一次重大转变，从复制子的转变。我们人类和动物、植物，我们都是复制子。这给了我们一些优势，也给了我们一些局限。
我们正在进入设计的时代，因为我们的 AI 是被设计的。我们的物理对象是被设计的，我们的建筑是被设计的，我们的技术是被设计的。我们现在正在设计 AI，这些东西本身可以是有智能的，本身能够进行设计。这是世界和宇宙中的关键一步。这是从一个世界中大多数有趣的东西都是被复制的，转向另一个世界。复制意味着你可以制造它们的副本，但你并不真正理解它们。现在我们可以制造更有智能的存在、更多的孩子，但我们并不真正理解智能如何运作。
而我们现在正走向拥有被设计出来的智能，一种我们确实理解其运作方式的智能。因此我们可以以不同于其他方式的方法和速度改变它。在我们的未来，它们可能根本不是被复制的。我们可能只是设计 AI，而那些 AI 会设计其他 AI，一切都通过设计和建造完成，而不是通过复制。
我把这标记为宇宙四大阶段之一。首先是尘埃，它以恒星结束。恒星制造行星。行星可以产生生命。现在我们正在产生被设计的存在物。我认为我们应该为正在促成宇宙中这一伟大转变而自豪。
这是一件有意思的事。我们应该把它们视为人类的一部分，还是与人类不同？这是我们的选择。我们可以说“哦，它们是我们的后代，我们应该为它们自豪，我们应该庆祝它们的成就”，也可以说“哦不，它们不是我们，我们应该感到恐惧”。有意思的是，对我来说这感觉像是一个选择。然而它又是如此被强烈坚持的东西，怎么可能是选择？我喜欢思想中这种自相矛盾的含义。
想想我们是否只是在设计下一代人类，这很有意思。也许“设计”是错的词。但我们知道未来一代人类会出现。忘掉 AI。我们只是知道从长远看，人类会更有能力、数量更多，也许更聪明。我们对此感觉如何？我确实认为存在一些有未来人类的可能世界，我们会相当担忧。
你是在想，也许我们就像尼安德特人，产生了智人。也许智人会产出一群新的人。
差不多是这样。我基本上是在用你给的例子。即便我们把它们视为人类的一部分，我也不认为这必然意味着我们应该感到非常安心。
亲缘关系。
比如纳粹也是人类，对吧？如果我们想“哦，未来一代会是纳粹”，我想我们会相当担心就这样把权力交给他们。所以我同意这与担忧更有能力的未来人类并非完全不同，但我不认为这能回应人们对这种程度的权力如此快速地、被我们并不完全理解的实体所获得而产生的许多担忧。
我认为指出这一点是相关的：对大多数人类来说，他们对发生的事没有多少影响力。大多数人类无法影响谁能控制原子弹或谁控制民族国家。即便作为公民，我也常常觉得我们对民族国家没有多少控制。它们是失控的。
很大程度上这取决于你如何看待变化。如果你认为现状真的很好，那么你比认为它不完美的人更可能对变化持怀疑和厌恶态度。我认为它不完美。事实上，我认为它相当糟糕。所以我对变化持开放态度。我认为人类的记录并不特别好。也许它是有史以来最好的东西，但它远非完美。
我想变化有不同种类。工业革命是变化，布尔什维克革命也是变化。如果你在 1900 年代的俄国，你说“看，事情不太顺利，沙皇在把事情搞砸，我们需要变化”，我想知道你想要的是哪种变化，然后才会签字。AI 也是如此，我想理解并在可能范围内改变 AI 的轨迹，使变化对人类是积极的。
我们应该关心我们的未来、未来。我们应该努力让它变好。但我们也应该认识到限度，我们的限度。我认为我们要避免那种理所当然的感觉，避免“哦，我们先在这里，我们应该一直以好的方式拥有它”的感觉。我们应该如何看待未来？一个特定星球上的特定物种应该对它有多大控制？我们有多大控制？对我们对人类的长期未来控制有限的平衡，应该是我们对自己生活有多大控制。我们有自己的目标。我们有家庭。那些东西比试图控制整个宇宙可控得多。
我认为我们真正致力于自己的局部目标是恰当的。我们说“哦，未来必须按我想要的方式演进”是有点侵略性的。因为那样我们就会有争论，不同的人认为全球未来应该以不同方式演进，然后他们会有冲突。我们想避免那个。
也许这里一个好的类比是这样。假设你在养育自己的孩子。对他们的生活设定极紧的目标可能不合适，或者说“我想让我的孩子到外面的世界去产生这个特定影响。我儿子要当总统，我女儿要当英特尔 CEO。他们一起会对世界产生这种影响”。
但人们确实有一种感觉——我认为这是恰当的——说“我要给他们良好而稳固的价值观，这样如果他们最终处于有权力的位置，他们会做合理的、亲社会的事情”。也许对 AI 采取类似态度是合理的，不是在我们能预测它们会做的一切这个意义上，也不是我们对一百年后世界应该是什么样有这套计划。但给它们稳固、可引导、亲社会的价值观相当重要。
亲社会的价值观？
也许这个词用错了。
有没有我们都能同意的普世价值观？
我不这么认为，但这不妨碍我们给孩子良好的教育，对吧？就像我们对希望孩子成为某种样子有某种感觉。
也许“亲社会”是错的词。“高度正直”也许是更好的词。如果有一个请求或一个目标看起来有害，他们会拒绝参与。或者他们会诚实，诸如此类。我们有某种感觉，我们可以教孩子这些东西，即便我们对真正的道德是什么没有某种感觉、并非所有人都同意那个。也许这对 AI 也是一个合理的目标。
所以我们是在试图设计未来以及它演进和形成的原则。你说的第一点是，“我们试图教孩子一般原则，这会促进更可能的演进”。也许我们还应该寻求让事情是自愿的。如果有变化，我们希望它是自愿的，而不是强加于人的。我认为这是非常重要的一点。这些都很好。
我认为这是设计社会这一人类伟大事业中最大的或真正重大的之一，它已经持续了几千年。事物变化越多，它们越是保持不变。我们仍然必须弄清楚如何存在。孩子们仍然会提出对父母和祖父母来说显得奇怪的价值观。事物会演进。
“事物变化越多，它们越保持不变”似乎也是对 AI 讨论的一个好概括。我们刚才的 AI 讨论是关于那些甚至在它们应用于深度学习和反向传播变得明显之前就被发明出来的技术，如何是今天 AI 进展的核心。也许这是结束对话的好地方。
好。非常感谢。
太好了。感谢你来参加。
这是我的荣幸。