Andrej Karpathy——AGI 还要十年
Andrej Karpathy — AGI is still a decade away
Guests: Andrej Karpathy
Full transcript · Read the full conversation in order, with its original context.
§01AGI 还要十年
今天和我对谈的是 Andrej Karpathy。Andrej，你为什么说这是智能体的十年，而不是智能体之年？
首先，谢谢你邀请我来。我很高兴能参加。
你刚才提到的‘这是智能体的十年’，其实是在回应一种先前的说法。具体是谁说的我不确定，但对方的意思是，大语言模型智能体会在今年发展起来。我对此有点反应过度，因为业内似乎有些预测过头了。在我看来，更准确的说法是，这会是智能体的十年。
现在已经有一些早期智能体非常令人印象深刻，我每天都会用，比如 Claude 和 Codex 等等。但我仍觉得还有很多工作要做。我的反应是，我们会在接下来的十年里一直与这些系统共事。它们会越来越好，这会很棒。我只是觉得，大家对实现时间线的推断过于乐观了。
你觉得要花十年才能实现什么？瓶颈是什么？
要让它真正可用。你说的智能体，无论是实验室想实现的，还是我想象的，都可以看作你雇来共事的一名员工或实习生。比如你现在和团队员工一起工作，什么时候你会愿意让 Claude 或 Codex 这样的智能体接手工作？
现在当然还不行。要让它们能做这些，需要什么？为什么你今天不这么做？因为它们就是不好用。它们智能还不够，不能充分理解多模态信息，也不会使用电脑，等等。
它们也做不好你刚才提到的许多事。它们没有持续学习能力。你不能告诉它一件事，就指望它记住。它们认知能力不足，实际用起来还不够好。解决所有这些问题大约还需要十年。
有意思。作为职业播客主持人和远距离观察 AI 的人，我很容易指出它缺了什么：缺乏持续学习，或缺乏多模态能力。但我不太知道该如何预测实现这些能力需要多久。如果有人问我持续学习要花几年，我无法判断这是 5 年、10 年还是 50 年的项目。为什么是十年？为什么不是一年，也不是 50 年？
这就涉及我自己的直觉，也涉及我根据自身经历作出的外推。我做 AI 快 20 年了，差不多 15 年，也没那么久。这些年里，我看着人们不断作出预测，也观察了预测后来是否成真。我在研究领域待过，也在工业界工作过，这些经历让我形成了一种总体直觉。
我觉得这些问题是可以解决、可以克服的，但仍然很难。如果把各种因素平均一下，我的直觉就是十年。
这很有意思。我想听听历史，不仅是发生了什么，还想知道在各个突破时刻，身处其中的人觉得接下来会发生什么。他们的感受在哪些时候过于悲观或过于乐观？我们要不要逐个回顾这些突破？
这个问题太大了，因为你在问过去 15 年发生的所有事。AI 很奇妙，领域里发生过几次巨变，整个行业的面貌突然就不一样了。我可能亲历了其中两三次。我觉得还会继续有突破，因为它们出现的规律几乎令人惊讶地稳定。
我刚开始职业生涯时，开始接触深度学习，是因为我碰巧在多伦多大学和 Geoff Hinton 比邻。Geoff Hinton 当然是 AI 教父级人物。他当时在训练各种神经网络。我觉得这非常精彩、有意思。但那远不是整个 AI 领域的主流，只是边缘的一个小方向。这可能是第一次重大转折，后来 AlexNet 等成果让局势改变。
AlexNet 让大家的方向都转向神经网络，但当时仍然是每项任务单独训练一个模型，比如图像分类器或神经机器翻译系统。人们慢慢开始对智能体感兴趣：图像处理相当于打勾完成了视觉皮层，但大脑其他部分呢？怎样才能做出一个能与世界互动的完整智能体？
在我看来，2013 年左右 Atari 深度强化学习的兴起，是早期智能体研究的一部分。那时人们尝试让智能体不只是感知世界，还能采取行动、与环境互动，并从环境中获得奖励。当时用的环境是 Atari 游戏。
我觉得那是条弯路。我当时参与 OpenAI，也接受了这种方向，因为当时的时代氛围就是强化学习环境、游戏和游戏对战：做各种游戏，把游戏打赢。OpenAI 做了很多这类工作。两三年、三四年里，AI 领域的一个主流方向就是在游戏里做强化学习。我觉得这多少是条弯路。
我当时在 OpenAI 想做的是：我一直怀疑游戏能否带我们实现 AGI。我的目标应该是打造一个会计师之类的系统，能在现实世界里互动，我看不出游戏怎么能通向这个目标。比如我在 OpenAI 的项目属于 Universe 计划，要做一个用键盘和鼠标操作网页的智能体。我很希望能做出一个能在真实数字世界里互动、完成知识工作的系统。
结果发现那时做这件事太早了，早到根本不该做。因为如果智能体只是到处乱撞、敲键盘、点鼠标，在环境里设法拿奖励，奖励信号会非常稀疏，它根本学不会。算力会大量耗掉，却始终做不出可用的东西。缺的是神经网络强大的表征能力。
比如，今天人们训练电脑使用智能体时，是在大语言模型之上进行的。你得先有语言模型、先有表征能力，再通过预训练和大语言模型的各种方法得到它们。
笼统地说，人们几次都太早想要做出完整智能体。Atari、Universe，还有我自己的经历，都是这样。要做成智能体，前面还必须先完成一些事情。现在的智能体能力强多了，但可能仍缺少整个技术栈中的一些部分。
我觉得可以把过去的方向分成三大类：针对单项任务训练神经网络；第一轮智能体尝试；以及后来追求大语言模型和神经网络的表征能力，再在上面逐层加入其他能力。
有意思。如果我替 Sutton 的观点作最有力的辩护，那就是人类可以同时学习所有事情，动物或许是更好的例子，因为它们甚至没有语言这层脚手架。它们被直接扔进世界，必须自己理解一切，没有任何标签。
那么 AGI 的愿景应该是：一个系统看着感官数据、看着电脑屏幕，就能从头弄清楚发生了什么。人类在类似的环境中也是从头成长、学习的。为什么 AI 不应该采用这样的愿景，而不是让它先接受数百万年的训练？
这是个好问题。我看过 Sutton 上你节目的访谈，也写过一篇文章谈我的看法。我很谨慎地类比动物，因为动物是通过完全不同的优化过程产生的。动物经过进化形成，天生带有大量构建好的硬件。
比如我在文章里举过斑马的例子。小斑马出生后几分钟，就能跑起来并跟着母亲。这是非常复杂的行为，并不是靠强化学习即时学会的，而是天生就具备的。进化显然有办法把神经网络的权重编码进 A、T、C、G 这些碱基里。我不知道它是怎么做到的，但效果确实存在。
大脑来自完全不同的过程，所以我很谨慎地从中汲取灵感，因为我们并没有运行同样的进化过程。我在文章里说，我们不是在造动物，而是在造幽灵、灵体，或者大家喜欢称呼的其他东西，因为我们没有通过进化训练它们，而是模仿人类和人类发布到互联网的数据来训练。
最终你得到的是这种虚无缥缈、像灵体一样的实体，因为它完全是数字化的，而且在模仿人类。这是一种不同类型的智能。如果把各种智能放在一个空间里，我们几乎是从不同的起点开始的。我们造的并不是真正的动物。不过，也有可能随着时间推移让它们更像动物，我觉得我们应该朝这个方向努力。
再补充一点。Sutton 的框架大概是‘我们想造动物’。如果能实现，那会非常棒。如果有一种算法可以直接运行在互联网上并学会一切，那将令人惊叹。但我不确定这种算法是否存在，而且动物也不是这么形成的，因为动物还有进化这个外层循环。
很多看起来像学习的过程，其实更像大脑逐渐成熟。我觉得动物的强化学习非常少。强化学习更多涉及运动任务，而不是智力任务。所以粗略来说，我认为人类并不怎么用强化学习。
你能重复一下最后一句吗？你是说这些智能行为不是运动任务，而是……什么？
我认为强化学习主要涉及运动性较强的事情，比如把铁环套进去这种简单任务。但我不觉得人类在解题等大量智力任务中会使用强化学习。这不代表研究中就不该用，只是我认为动物并非这样学习。
我需要花一点时间消化，因为这里涉及很多不同想法。我先问个澄清问题，看看自己是否理解了你的观点。你的意思是，进化所做的事情，类似预训练：构造出一个之后能够理解世界的系统。
区别在于，对人类来说，进化的信息必须通过 30 亿个碱基对来编码。这和模型的权重完全不同。模型的权重就是大脑，但它们显然并不存在于精子和卵子里，大脑必须在发育过程中形成。大脑每一个突触的信息也不可能都存进 DNA 里的 30 亿个碱基对。
进化似乎更像是在寻找一种算法，然后这个算法再让个体终生学习。当然，终生学习也许不类似于你说的强化学习。这个观点和你刚才说的是否兼容？还是说你不同意？
我同意，确实存在某种惊人的压缩，因为神经网络的权重显然不是直接存储在碱基序列里的。这当中肯定有巨大的压缩，也编码了一些接手并进行在线学习的学习算法。这一点我完全同意。我会更务实一些，不是从‘造动物’的角度出发，而是想‘做有用的东西’。我戴着安全帽，观察现实情况：我们不会去运行进化，因为我不知道怎么做。
不过，我们确实可以通过模仿互联网文档来造出这些幽灵般的实体。这种方法可行，能让系统具备大量知识和某种智能，某种程度上有点像进化的作用。因此我把预训练称为‘简陋版进化’。按现有技术和资源，这是实际可行的办法，可以把系统带到一个起点，让我们接着做强化学习等工作。
我也替 Sutton 的观点作最有力的解释：想了想这次访谈后，我觉得他说到了一个重要问题。进化真正给我们的可能并不是知识本身，而是发现知识的算法。这和预训练似乎不同。
也许可以这样理解：预训练帮助构建一种更善于学习的实体，它教会系统元学习，所以某种程度上类似于找到一种算法。但如果说‘进化给知识，预训练也给知识’，那这两个类比就说不通了。
这个区别很微妙，我觉得你提出质疑是对的。简单说，预训练做的是：对互联网做下一词预测，然后把这个能力训练进神经网络。它同时做了两件彼此不同的事。第一，它学到了我所说的大量知识。第二，它本身也变得智能。
互联网上的算法模式会在神经网络中启动各种小型回路和算法，让模型能够进行上下文学习等等。模型未必需要、也未必应该记住所有知识。我觉得，过多知识可能在某些时候让神经网络依赖知识本身，反而限制了它们。
比如，智能体不太擅长跳出互联网已有数据的范围。如果它们知道得少一点、记忆少一点，也许反而会更好。我认为未来研究的一部分工作，是想办法删掉一部分知识，同时保留我所说的‘认知核心’：一种剥离了知识，却保留智能、魔力、解决问题能力和策略的实体。
这里有很多有意思的地方。先谈上下文学习。这个观点显而易见，但我觉得值得明确说出来、仔细想一想。模型最显得聪明的时候——当我和它们交谈，觉得对面真的有某种智能，正在和我一起思考——就是它们发现自己犯错后会说：‘等一下，这个思路不对，我要退回来。’这一切都发生在上下文里。我能明显看到真正的智能就在这种能力中。
这种上下文学习能力，是通过预训练中的梯度下降发展出来的。模型会自发地学会上下文学习，但上下文学习本身并不是梯度下降。就像人类一生中运用智能的能力受进化影响，但我们一生中的学习却通过其他过程发生。
我不完全同意这个类比，不过你可以继续说。
我很想知道这个类比哪里不成立。
我不太愿意说上下文学习没有在做梯度下降。它并没有显式运行梯度下降；上下文学习是在 token 窗口里做模式补全。互联网上恰好存在大量模式。你说得对，模型学会了补全模式，而这种能力就编码在权重里。神经网络内部也会发生某种适应，这是很神奇的能力，仅仅因为互联网上存在大量模式，它就自然涌现出来了。
有些论文研究过上下文学习背后的机制，我觉得很有意思。我认为上下文学习有可能在神经网络层内部运行一个小型的梯度下降循环。我记得有篇论文研究了如何通过上下文学习做线性回归：向神经网络输入一系列位于同一直线上的 XY 数据对，然后输入一个 X，要求它预测 Y。用这种方式训练后，神经网络就学会做线性回归。
通常做线性回归时，会有一个小型梯度下降优化器：它查看 XY 数据，计算误差，再计算权重梯度并迭代更新。但研究者检查这个上下文学习算法的权重后，发现其中存在类似梯度下降机制的结构。那篇论文可能做得更进一步：他们把神经网络的权重直接硬编码，让它通过注意力机制和神经网络的内部结构执行梯度下降。
我只是想对你的说法提出一点异议。没人知道上下文学习究竟如何运作，但我认为内部很可能执行了一些奇特的梯度下降。也有可能与梯度下降类似，只是我们还不清楚具体机制。我反对的只是你说它没有在做上下文学习。
那我们就该思考：如果上下文学习和预训练都在实现某种梯度下降，为什么上下文学习给人的感觉像持续学习、像真正的智能？但预训练并没有给我们同样的感觉。
如果它们用的是同一种算法，区别在哪里？一种理解方式是，看模型从每一单位训练信息中储存了多少信息。以预训练为例，Llama 3 可能用了 15 万亿个 token；70B 参数模型的权重，相当于它读过的每个预训练 token 只留下约 0.07 bit 的信息。可是上下文学习中，每增加一个 token，KV cache 会增加约 320 KB。这意味着模型对每个 token 吸收的信息量，差距达到 3500 万倍。不知道这是否重要。
我有点同意。通常我会这样说：神经网络训练过程中发生的一切，都只是对训练经历的模糊回忆，因为压缩得极为彻底。你把 15 万亿个 token 压缩进一个只有几十亿参数的最终神经网络里，压缩量显然非常惊人。所以我把它称作对互联网文档的模糊记忆。
而神经网络上下文窗口里发生的一切——输入 token 并不断建立 KV cache 表征——模型都能直接访问。我把 KV cache 和推理时发生的事情比作工作记忆。上下文窗口里的所有内容都可以由神经网络直接访问。
大语言模型和人类之间总会出现一些令人惊讶的类比。我觉得惊讶，是因为我们并没有试图直接造出人脑，只是发现这些方法有效，就继续使用。不过，我确实认为，权重里的内容就像一年前读过的东西留下的模糊回忆；推理时提供给模型的上下文，则直接放在它的工作记忆里。这个类比很有启发。
比如，你问大语言模型某本书讲了什么，它可能会给出一些大致正确的内容。但如果你把整章内容提供给模型，再让它回答问题，结果会好得多，因为这些内容现在已经载入模型的工作记忆。绕了这么大一圈，我想说的就是：我同意你的观点，原因就在这里。
退一步说，我们还没有在模型中复现人类智能的哪些方面？
很多方面都还没有。也许可以这样理解，虽然我不确定这是否是最好的类比：我们意外发现 Transformer 神经网络非常强大、用途广泛。你可以用 Transformer 训练音频、视频、文本或其他数据，它会学习模式，而且表现非常好。我觉得它有点像一块大脑皮层，因为皮层也非常具有可塑性，可以重新连接大脑的不同区域。过去有人做过一些略微可怕的实验，把视觉皮层接到听觉皮层上，之后动物仍然学得不错。
所以我觉得 Transformer 像大脑皮层。神经网络里的推理和规划，比如思考型模型生成推理轨迹，有点像前额叶皮层。也许这些只是其中一些模块，我仍然认为大脑还有很多部位和神经核团没有被探索。例如，基底神经节负责某种强化学习，而我们在强化学习微调模型时也会用到类似的东西。但海马体呢？目前看不出对应关系。有些部位可能不重要，比如小脑或许和认知、思维关系不大。但仍有很多部分，比如负责情绪和本能的杏仁核，以及其他古老的神经核团，我们还没有真正复现。
我不知道我们是否应该试图造出人脑的仿制品，我本质上更像一名工程师。换种说法，你不会把这个系统当作实习生来聘用，因为它还缺了很多东西。这些认知缺陷是我们与模型交流时能直观感受到的。它们还不够完整，你可以把这看成大脑中尚有许多部分没有打勾。
这也许与预测这些问题何时能解决有关。有人谈到持续学习时会说：‘这能力很容易复现。上下文学习在预训练中自发涌现，所以只要激励模型在更长时间跨度中回忆信息，持续学习也会自发涌现。’比如，外层强化学习流程包含许多次会话，模型就会持续微调自己，或把信息写入外部记忆。这种说法听起来可信吗？我没有把握判断它有多可能发生。
我不知道自己是否完全认同这种说法。模型每次启动、上下文窗口里还没有 token 时，都会从原来的状态重新开始。我不知道这种观点具体会是什么样。也许可以用人类作类比：我清醒时，会不断把当天发生的事情放进自己的上下文窗口里。但我睡觉后，一些神奇的事情会发生，这个上下文窗口似乎不会原样保留，而是被提炼进大脑权重中。睡眠期间会发生某种蒸馏过程。
大语言模型没有类似的过程。这才是我认为持续学习缺失的地方。模型不会把经历拿来反复分析、仔细思考、合成新数据，然后再蒸馏回权重里。也许每个人可以有一个专属神经网络，比如 LoRA，而不是一整个完整权重网络，只调整其中一小部分稀疏权重。
不过，我们确实希望找到方法，让模型成为拥有极长上下文的个体。不能只依赖不断增长的上下文窗口，也许要用非常复杂的稀疏注意力机制。但人类显然还有办法把知识提炼到权重中，这正是我们缺失的环节。我也认为人类有复杂的稀疏注意力机制，我们现在开始看到一些早期迹象。例如 DeepSeek v3.2 刚发布，我看到它采用了稀疏注意力，这是一种处理超长上下文的方法。我觉得我们正在用完全不同的过程，重新发现进化设计出来的许多认知技巧，但最终会在认知架构上趋同。
十年后，你认为系统还会像 Transformer，只是注意力机制改进更多、MLP 更稀疏吗？
我喜欢用时间平移不变性来思考。十年前是 2015 年，当时主要是卷积神经网络，残差网络刚出现。所以未来可能会非常相似，但仍有不少区别。那时还没有 Transformer，也没有现在这些 Transformer 改进。十年后，我觉得仍然可以确定的是：我们还会训练大型神经网络，用前向与反向传播，再通过梯度下降更新参数。只是架构可能有所不同，而且规模会大得多。
几年前，我做过一个挺有意思的练习：回到 1989 年，复现 Yann LeCun 的卷积网络。那是我所知最早使用梯度下降训练的现代神经网络之一，用于数字识别。我只是想知道如何让它现代化：进步有多少来自算法，多少来自数据，又有多少来自算力和系统？我只用 33 年后的技术，就能很快把错误率降到一半。
如果把算法往前推进 33 年，我可以改进 Yann LeCun 在 1989 年的网络，把错误率减半。但要继续提升，就得增加很多数据，把训练集扩大十倍，再做更多计算优化。我还得训练更久，并使用 dropout 等正则化技术。
所以这些方面都必须同时进步。我们可能需要更多数据、更好的硬件、更好的内核和软件，以及更好的算法。没有哪一项进步特别突出，它们的改善幅度都差不多。这种趋势已经持续一段时间了。
回答你的问题，我认为算法会和今天有所不同。但有些长期存在的东西，可能仍会保留下来。我的猜测是，核心仍然会是通过梯度下降训练的大型神经网络。
很令人惊讶的是，30 年来的进步才让错误率降低了一半……不过，一半可能已经很大了。因为错误率减半意味着……
降低一半确实很大。但让我惊讶的是，架构、优化器、损失函数都需要共同进步，而且这些领域一直都在持续改进。所以我预计这些变化仍会继续发挥作用。
对。我本来要问你一个关于 nanochat 的类似问题。你最近刚把它写出来，构建聊天机器人的整个过程现在都还在你的脑子里。我很好奇，你有没有类似的感受：‘从 GPT-2 到 nanochat 的过程中，其实没有哪一件事特别关键。’你做这件事有什么意外收获？
你说的是构建 nanochat 吗？nanochat 是我刚发布的一个代码仓库。是昨天还是前天发的？我已经记不清了。
光听就知道你为了做它有多缺觉……
我想做的是一个尽可能简单、完整的仓库，覆盖从头到尾构建 ChatGPT 克隆的整个流程。它包含所有步骤，而不是只展示某个单独步骤。过去我处理过每个环节，也发布过用简单代码展示算法细节的小项目。但这个仓库包括整个流程。至于从中学到了什么，我不确定自己有什么新发现；我原本就知道该怎么构建它。这次主要是按步骤把整个东西搭起来，并整理得足够清楚，让别人能够学习并觉得有用。
别人怎样才能最好地从中学习？是把代码全删掉，从头重写，还是在上面做改进？
这是个好问题。整个流程大约有 8000 行代码。如果有两台显示器，我会把仓库放在右边的屏幕，然后从头自己搭建。可以参考，但不许复制粘贴。我觉得可以这样学。
不过这个仓库本身规模很大。写代码时你不是从头到尾一次写完，而是从一个个小块开始，逐步扩展；而这些信息在最终仓库里看不到。读者不知道该从哪里开始。所以光有最终仓库还不够，还需要展示仓库是如何逐块构建出来的。这个过程比较复杂，目前还没有。我很想在本周晚些时候补上，也许做成视频。大体来说，我建议自己动手从头构建，但别复制粘贴。
我觉得知识大致有两种：一种是表层的高层知识；另一种是自己从头构建东西时，被迫面对自己不懂、甚至以前不知道自己不懂的地方。
自己动手会带来更深的理解，这是学习的必经之路。如果我不会自己搭建它，就说明我没有真正理解它。我想这句话是 Feynman 说的。我一直非常相信这一点，因为那些微小环节若没有安排妥当，说明你其实还没掌握知识。不要只写博客、做幻灯片之类的，要把代码写出来、整理好并让它运行。这是唯一的路，否则你会缺少一些理解。
§02大语言模型的认知缺陷
你在 Twitter 上说过，编程模型几乎没帮上你构建这个仓库。我很好奇为什么。
我花了一个多月来构建它。我觉得现在人们使用代码模型主要有三种方式。有些人完全拒绝大语言模型，只从头写代码。我觉得现在这样做可能已经不太合适了。
我属于中间一类：很多代码仍然自己从头写，但会用模型的自动补全。你开始写一段代码，模型帮你接着补全，你可以逐个接受建议。大多数时候它是对的，有时会错，你再改回来。但总体来说，代码的架构仍由你掌控。另一类是氛围编程：你说‘请帮我实现这个功能’，然后回车，让模型自己做，也就是让智能体来写。
我觉得智能体只适用于某些特定场景，用的时候得知道它们擅长什么、不擅长什么。它们很适合处理样板代码，例如互联网里反复出现的复制粘贴式代码，因为训练数据中有很多例子。模型对常见功能的实现也会很好。
nanochat 就不是这种场景，因为它是一个相当独特的仓库，按我的方式组织的代码并不常见。代码并非样板代码，智力要求也很高，而且每个部分都必须精确衔接。模型有很多认知缺陷。举例来说，它们一直误解我的代码，因为它们从互联网上学到的常见实现方式占据了太多记忆，而我偏偏没有采用那些方式。它们总以为我在写普通代码，其实不是。
能举个例子吗？
假设有 8 张 GPU，同时进行前向和反向计算。通常会使用 PyTorch 的分布式数据并行（DDP）容器来同步梯度；反向传播时，它会自动开始通信和同步。我没有用 DDP，因为我不想用，而且并不需要。我把它去掉，自己写了一段同步逻辑，放进了优化器的步骤里。模型一直试图让我改用 DDP，非常担心我这样做。这个例子有点技术化，但我不需要那个容器，因为我已经自己实现了类似的功能。
它们就是无法接受你自己实现了这个功能。
它们没法摆脱这种想法，还会试图把代码风格改坏。它们过度防御，增加各种 try-catch 语句，总想把代码库做成生产级。我在代码中有一堆合理假设，根本不需要加这么多额外东西。结果是它们把代码量和复杂度都越堆越大，还不停误解我的要求，也经常使用废弃 API。整个过程一团乱。我自己能检查、清理，但从净效益来说，它们完全没帮上忙。
而且，用英语把我想要的东西都敲出来很烦，因为要打很多字。如果我直接定位到代码应该出现的位置，开始输入几个字母，自动补全就能接着写。这样指定需求的信息带宽很高：你指明代码位置，打出开头几个字符，模型就会自动补全。
我的意思是，这些模型只擅长技术栈中的某些部分。我举两个自己用模型的例子。一个是生成报告，这更像样板工作，所以我用氛围编程做了一部分。这不是关键任务，而且效果不错。
另一个是用 Rust 重写分词器。我对 Rust 还不太熟，所以写一些 Rust 代码时会用氛围编程。但我有一个自己完全理解的 Python 版本，也知道优化后的版本应该怎样运行，并且编写了测试，所以比较放心。模型也可以帮助你使用不太熟悉的编程语言或范式。我觉得它们在这方面很有用，因为网上有大量 Rust 代码，模型已经很擅长生成 Rust，而我自己还不太会。
这个问题很有意思，因为人们对 AI 爆发并迅速实现超智能的主要叙事之一，是 AI 自动化 AI 工程和研究。人们看到 Claude Code 能从头构建完整应用、CRUD 应用，就会想：如果 OpenAI 和 DeepMind 也能做到这一点，再让一千个、甚至一百万个这样的系统并行寻找架构上的小改进，会怎么样？
很有意思，你说它们恰恰在这个方面不够擅长。这和预测 AI 2027 这种短期爆发是否可能很快发生，密切相关。
你这样总结挺好，也点出了我的时间线为什么较长。你说得对。它们不太擅长编写以前从没出现过的代码，而这恰恰是我们想让这些模型做到的。
这个问题可能很外行，但你加进 nanochat 的架构改动应该都能在论文里找到吧？甚至有些可能在其他仓库里。为什么它们还是不能把论文里提到的 RoPE 嵌入等改动正确整合进去？
这很难。它们知道这些技术，却没有完全理解如何把它们整合进你的仓库、代码风格和位置安排，以及你做的一些定制设计和仓库中的各种假设。它们知道一些东西，但还不能真正把它们整合起来并理解整体关系。
我常用的最新模型是 GPT-5 Pro，非常强大。如果我有 20 分钟，就会把整个代码库复制粘贴给 GPT-5 Pro，请这个‘神谕’回答一些问题。它通常表现不差，和一年前的模型相比，进步大得令人惊讶。
总体来说，模型还没达到那个水平。我觉得整个行业的说法有点夸大，仿佛这东西已经完美得不得了，但实际上并没有，生成内容仍然很粗糙。行业没有正视这一点，也许是为了融资什么的，我不确定。我们目前还在一个中间阶段：模型很惊人，但仍需要大量改进。对我来说，自动补全目前最合适。有时遇到某类代码，我也会用大语言模型智能体。
还有一个有意思的角度：编程史上有过许多生产力改进，例如编译器、lint 工具和更好的编程语言，它们提高了程序员效率，却没有引发爆发式发展。这很像自动补全。另一种则是直接自动化程序员的工作。你更常提到的好像是前一种历史类比，例如更好的编译器。
这也引出了我的另一个想法。我很难界定 AI 从哪里开始、到哪里结束，因为在我看来，AI 从根本上是计算能力不断扩展的一部分。程序员生产力的提升是一条连续谱，从最初的代码编辑器、语法高亮、数据类型检查，到我们后来互相创造的所有工具。
甚至搜索引擎也是如此。为什么搜索引擎不算 AI？搜索排序就是 AI。谷歌早期就把自己看成一家做搜索引擎的 AI 公司，这完全说得通。
我把它看成连续谱，所以很难画出清晰边界。现在我们有了更好的自动补全，也有了一些智能体，它们会循环执行任务，但有时会偏离轨道。整体趋势是，人类逐渐减少底层工作，把自己提升到更高抽象层。我们不再手写汇编代码，因为有了编译器，编译器会把 C 这样的高级语言转换成汇编。
我们正在非常缓慢地提高抽象层级。我把这称作‘自主性滑块’：随着可自动化的工作越来越多，自动化会接手更多任务，而人类则逐步转向更高的抽象层。
§03强化学习很糟糕
我们聊聊强化学习吧。你在 Twitter 上发过一些很有意思的观点。从概念上讲，人类如何只靠与环境互动，就建立起丰富的世界模型？而且这种学习似乎不太依赖每个任务结束时最终得到的奖励。
假设有人创业，十年后才知道公司成功还是失败。我们会说，他因此积累了很多智慧和经验。但这并不是因为过去十年发生的每件事的对数概率都被调高或调低了。期间发生的应该是更有意识、更丰富的学习过程。机器学习里有什么类比？这和我们现在训练大语言模型有什么区别？
也许可以这样说：正如我之前提到的，人类并没有使用强化学习。我觉得人类做的是另一回事。强化学习比一般人想象的糟糕得多，真的很糟糕。只不过我们以前用的其他方法更糟，因为过去我们只是模仿人类，所以也有各种问题。
用解数学题来举例，因为它很简单。强化学习会并行尝试很多种方法。给模型一道题，它试上几百种不同解法，过程可能很复杂：‘我试试这个、再试试那个，这个不行，那个也不行。’最后也许会得出一个答案。然后你对照书后的答案，发现其中几次尝试答对了，另外 97 次答错了。强化学习所做的，就是找到表现好的轨迹，把其中每一步、每个 token 的权重都调高，告诉模型：‘多做这种事。’
问题在于，人们会说估计器方差很高、信号很嘈杂，但问题不止如此。它几乎假设整条解题路径上的每个细节都正确，因为最后得出了正确答案。其实你可能走了很多弯路才找到正确解法。只要最终答对，你沿途做过的所有错误尝试也会被加权，变成‘下次多做这些’。这很糟糕，纯粹是噪声。
你做了所有这些工作，最后只得到一个数字：‘哦，你答对了。’然后你用这一个分数给整条轨迹调高或调低权重。我喜欢把这称作‘用吸管抽取监督信号’。你也许做了一分钟的 rollout，最后只得到一丁点奖励信号，然后把它像用吸管抽取一样分发给整条轨迹，作为整条轨迹的加权依据。这种做法实在荒谬。
人类绝不会这么做。第一，人不会进行几百次 rollout。第二，人找到答案后，会认真复盘：‘这些部分做得好，那些部分做得不好，下次应该这样改。’人会思考整个过程。现在的大语言模型没有这种能力，也没有与之对应的机制。不过我确实看到一些论文在尝试做这件事，因为领域里的每个人都知道这是明显缺失的一环。
顺便说一下，最初的模仿学习令人惊讶、神奇，也非常出色。原先我们只有基础模型，它们只会自动补全。后来我读到 InstructGPT 论文，才恍然大悟：我们可以拿预训练模型，再用看起来像对话的文本微调，它很快就会变得很会对话，同时保留预训练时学到的知识。只通过几轮微调，它就能迅速调整风格，成为面向用户的助手。这让我觉得非常神奇。那项研究花了两三年。
之后强化学习出现了。它比单纯模仿学习更进一步，因为可以设定奖励函数，并沿着奖励不断优化。有些问题有标准答案，不需要模仿专家轨迹，也能根据答案不断提升。这很厉害，模型还能发现人类想不到的解法。但这仍然很粗糙。
我们需要更多进步。我昨天看到谷歌有篇论文，似乎尝试了‘反思和复盘’的思路，是记忆库那篇吗？我不确定。我看过几篇类似论文，预计大语言模型的训练算法会有一次重大更新。我觉得我们还需要三、四、五次这样的改进。
你真的很会想出生动的说法。‘用吸管抽取监督信号’，这个说法太好了。
所以你认为，基于结果的奖励存在问题：整条轨迹很长，最后却只用一个结果信号来学习中间每一步应该做什么、该了解世界的什么信息。既然这一点如此明显，为什么基于过程的监督还没有成功提升模型能力？是什么阻止了我们使用这种替代范式？
过程监督意味着，不是等任务完全结束后才给奖励，而是在每一步都反馈表现好坏。我们没有这样做，原因是很难准确评估中间过程。你会看到部分解答，却不知道该如何分配功劳。最终答案正确，只需对照答案看是否相等，评判很简单。过程监督则需要自动化地对中间步骤分配部分分数，这并不明显该怎么做。
许多实验室在尝试用大语言模型评判。让一个模型查看学生的部分解答，问它：‘如果正确答案是这个，学生现在做得怎么样？’然后不断调整提示词。
这种做法有个微妙的难题：任何用来分配奖励的大语言模型都有数十亿个参数，可以被利用。你用强化学习针对它优化，几乎肯定会找到对抗样本。因此这种方法不能长期迭代太多，也许十次或二十次可以，但不一定能撑到一百或一千次。模型会发现各种细小漏洞，利用它巨大参数空间里的边角来作弊。
有个我印象深刻的例子。用大语言模型作为评判者时，你把学生的解答给它，让它判断学生做得好不好。我们曾经用这个奖励函数做强化学习，一开始效果很好。突然之间，奖励分数猛涨，模型看起来几乎满分。大家会想：‘太棒了，这说明学生把所有题都做对了，数学已经完全学会了。’
但你检查模型给出的解答，发现它们完全是胡说八道。开头看起来还正常，接着就变成‘dhdhdhdh’。比如‘2 加 3 等于……dhdhdhdh’。你会觉得这太离谱了，为什么能得到满分？你检查评判模型后发现，‘dhdhdhdh’是它从未见过的对抗样本，所以它给了 100% 的分数。
这是因为该样本不在评判模型的训练分布里。它训练时从未见过这种东西，因此你进入了纯粹的泛化区域。在这种区域里，总能找到让它失灵的样本。
所以你其实是在训练一个提示词注入模型。
不止如此。提示词注入已经算很高级了。这些就是所谓对抗样本：明显错误、荒谬的解答，却会被模型认为非常出色。
如果这是让强化学习变得更实用的瓶颈，那么要自动实现过程监督，就需要让大语言模型变成更好的评判者。你觉得这会不会变成某种类似 GAN 的方法，让模型彼此竞争、变得更加稳健？
实验室可能都在做这些。显而易见的办法是把‘dhdhdhdh’加入评判模型的训练集，告诉它这不是满分，而是零分。但每迭代一次，你就会得到一个新模型，而它仍然存在对抗样本。对抗样本有无限多种。
也许反复迭代几次后，找到对抗样本会越来越难。但我不敢完全确定，因为这个模型可能有一万亿个参数。我敢说各家实验室都在尝试，不过我还是认为我们需要其他想法。
有意思。你能大概描述一下其他想法可能是什么吗？
我想到一种方法：生成合成示例，对解答进行复盘，并通过某种元学习方式，让模型训练后变得更好。我开始看到一些论文提出这种想法，但我目前只看了摘要，因为很多论文还停留在想法阶段。总得有人把它扩展到前沿实验室的规模，并证明它普遍有效。现在这类论文有些杂乱，点子很酷，但我还没看到有人有说服力地证明它可行。大语言模型实验室又相当封闭，所以我们也不知道他们现在在做什么。
§04人类是如何学习的？
我能想象如何生成合成示例或合成问题来训练模型。但人类似乎还会做另一件事：也许睡眠、白日梦都是这种过程。它不一定是想出虚假的问题，更可能是在反思。
我不知道白日梦、睡眠或反思在机器学习里对应什么。没有新问题可解时，最基本的类比可能是用反思文本微调，但我觉得实际效果可能不太好。你觉得这种机制在机器学习里可以如何类比？
我确实觉得模型还缺少某些能力。比如读书时，大语言模型的做法是把文本序列拉长，让模型预测下一个 token，并从中获得一些知识。但我觉得人类读书不是这样。读书时，我不觉得自己只是在接收文本、专注地学习。书更像一组提示，促使我生成自己的想法，或和读书会里的朋友讨论。我们通过操纵这些信息才真正获得知识。大语言模型没有对应过程，它们并不会这样做。我很希望预训练中能加入一个阶段，让模型思考材料、将材料与已有知识整合，并花时间推敲。目前还没有这种能力，这都是研究问题。
其中有些微妙原因很难理解，我举一个例子：为什么不能直接生成合成数据并据此训练？如果让模型生成关于一本书的思考，你看起来会觉得很好，为什么不能直接训练？可以试试，但持续这样训练会让模型明显变差，因为模型生成的样本会悄悄塌缩。单看某个例子可能看不出来，但它们只占思想可能空间中的极小流形。大语言模型生成内容时，分布已经塌缩。一个简单的例子是你去问 ChatGPT：‘给我讲个笑话。’它可能只会讲三种笑话，并不能覆盖所有可能的笑话。这种塌缩很隐蔽。
你无法从这些模型生成的内容中获得人类拥有的丰富性、多样性和熵。人类的噪声更大，但从统计意义上说，他们并没有偏向少数模式，而是保留了很大的熵。所以问题是，怎样在克服塌缩的同时维持熵，让合成数据真正有效？这是个研究问题。
我确认一下：合成数据的塌缩之所以重要，是因为你希望生成的问题或反思，不要已经出现在训练数据分布里？
我想说的是，假设我们给模型一章书，让它思考内容。它会生成一段看起来很合理的文字。但如果让它生成十次，你会发现十段内容都差不多。
所以你不能只给相同的提示信息，不断扩大‘反思’的规模，并期待持续获得回报。
每个样本单独看都还行，但整体分布非常糟糕。如果继续在太多自己生成的数据上训练，模型最终会塌缩。
我觉得这件事可能没有什么根本解决方案。我也认为人会随着时间推移而塌缩。这些类比出奇地贴切。人一生中会逐渐塌缩。孩子还没有过拟合，因此会说出让人惊讶的话，你能看出他们的思路从哪里来，只是那不是人们通常会说的话，因为他们还没有塌缩。而我们已经塌缩了，会反复回到同样的想法，越来越多地重复相同的内容，学习速度也下降，于是塌缩越来越严重，最后一切都恶化。
你有没有看到一篇特别有意思的论文，说做梦可以防止这种过拟合和塌缩？做梦在进化上有适应价值，原因是它会让人进入与日常现实完全不同的情境，避免这种过拟合。
这是个有意思的想法。我确实认为，当你在脑海里生成某些想法并专注于它们时，你其实是在用自己的样本训练自己，也就是训练合成数据。如果这么做太久，就会偏离正轨、过度塌缩。生活中必须不断寻找熵，也就是新鲜变化。和别人交流就是很好的熵来源。也许大脑里也进化出了增加这种过程熵值的机制。这是个有意思的想法。
这个想法还不成熟，我先说出来让你回应。我知道的最佳学习者是儿童，但他们极不擅长回忆信息。尤其在很小的时候，他们会忘掉一切，某个年龄之前发生的事都记不住。但他们极其擅长掌握新语言、从世界中学习。也许这和能从局部细节中看出整体规律有关。
相比之下，大语言模型预训练处在另一个极端，它们甚至能逐字复述维基百科页面接下来会写什么。但它们像孩子一样快速学习抽象概念的能力就弱得多。成年人处在两者之间：没有儿童学习时那么灵活，却比孩子更擅长记忆事实和信息。不知道这种连续谱背后是否有值得研究的东西。
这确实非常有意思。我认为人类比大语言模型更擅长‘由点及面’地归纳。我们并不擅长死记硬背，这其实是优势。正因为记忆能力不强，我们才被迫寻找更普遍的模式。
相比之下，大语言模型特别擅长记忆，会复述所有训练来源中的段落。你甚至可以给它完全没有意义的数据，比如哈希一段文本得到一串随机序列。训练一两轮后，它突然就能把整串内容复述出来。人类不可能只看一遍随机数字序列，就背出来给你听。
这其实是种优势，不是缺陷，因为它迫使你只学习能够泛化的部分。大语言模型却会被预训练文档中记忆下来的内容干扰。所以我才说想移除记忆，保留‘认知核心’：让模型必须去查资料，只保留思考算法、设计实验和行动所需的认知黏合剂。
这和避免模型塌缩有关吗？
让我想想。我不确定，这可能是另一个独立维度。模型的确太擅长记忆了，也许应该减少这项能力。人类记忆差得多，但这反而是件好事。
模型塌缩有什么解决办法？可以尝试一些非常直接的方法，比如让 logits 分布更宽。简单的办法有很多。它们的问题是什么？
这是个好问题。你可以加入熵正则化之类的方法。但从经验看，这些方法效果不够好，因为现在模型已经塌缩了。不过，我想说的是，我们想让模型做的大多数任务其实不需要多样性。这可能就是问题所在。
前沿实验室在努力让模型变得有用。我觉得输出多样性并不是最重要的。第一，多样性会让模型更难使用和评估；第二，它带来的价值可能不是最多的。
事实上，多样性甚至会受到惩罚。如果你在强化学习里表现得特别有创意，反而不是好事。
是啊。比如你用大语言模型帮忙写作，它们可能会给出同样的内容，因为模型不会探索回答问题的多种不同方式。
也许模型缺乏多样性，是因为需要它的应用不多。但到了合成数据生成阶段，这会变成问题。我们不保持模型中的熵，可能是在搬起石头砸自己的脚。实验室也许应该更努力处理这个问题。
你似乎觉得这是个非常根本、很难解决的问题。你为什么这么想？
我不确定它是否特别根本，我也不记得自己想这么说。我没有做过这些实验，但我觉得可以尝试提高熵正则化，让模型生成越来越多的解法。不过也不能让它偏离训练数据太远，否则它会开始编造自己的语言，用非常罕见的词，逐渐偏离数据分布。
因此，控制生成分布确实很难，不会是个简单问题。
如果让你猜，智能的最佳核心应该有多少比特？你觉得放在冯·诺依曼探测器上的核心模型需要多大？
回看这个领域的历史很有意思。曾经一切都极度相信规模化，大家会说要做更大的模型、万亿参数模型。模型规模先增大，后来又缩小了。最先进的模型现在更小了。即便如此，我仍觉得它们记住了太多内容。前一阵我预测过，参数只有 10 亿左右的认知核心，也可能非常强。
我觉得 20 年后，你可以和一个 10 亿参数模型进行非常有价值的对话，它能思考，感觉更像一个人。但如果问它事实问题，它可能需要查资料；不过它知道自己不知道，并且会采取合理的行动。
你认为它需要 10 亿参数，这让我很惊讶。现在我们已经有 10 亿或二三十亿参数的模型，而且它们已经很聪明了。
但现在最先进的模型大约有一万亿参数，可它们记住了太多东西。
是的，但考虑到最近几年的发展，我很惊讶你觉得 10 年后认知核心仍需要 10 亿参数。我们已经从万亿级模型缩小到小一百倍的模型，只用了两年左右，性能还更好。这个趋势让我觉得智能核心可能小得多，甚至只有几千万或几百万参数。借用 Feynman 的话，底部空间还很大。
问题是，训练数据来自互联网，而互联网的质量非常糟糕。这里有巨大的改进空间。你我想到互联网，可能会想到《华尔街日报》，但前沿实验室预训练数据里的随机网页文档往往简直是垃圾。我也不知道模型究竟怎么从中学到东西：数据里充满股票代码、符号，以及互联网各个角落的低质量内容。像《华尔街日报》那样的优质文章极其少见。因为互联网数据质量太差，我们才需要训练很大的模型去压缩它，其中大部分能力是在做记忆，而不是认知。
我们真正需要的是认知能力，把记忆删掉。我觉得应该用智能模型帮我们清理预训练数据，只保留认知相关的部分。这样数据集会好得多，也许最终可以用小得多的模型训练。但也可能不是直接训练，而是从一个更好的大模型蒸馏出来。
但为什么蒸馏出来的模型仍然要有 10 亿参数？
我觉得蒸馏的效果特别好。几乎所有小模型都是蒸馏出来的。
但为什么 10 年后的蒸馏模型不能小于 10 亿参数？
哦，你是觉得应该比 10 亿更小？我不知道。要让模型做些有意思的事，可能至少需要 10 亿个参数。你觉得还可以更小？
是的。过去几年，我们不断找到容易取得的进步：模型从万亿参数以上缩小到小一百倍，却只用了两年，性能反而更好。这让我觉得智能核心可能还会小得多。借用 Feynman 的话，底部空间还很大。
我觉得自己提 10 亿参数认知核心已经算很反主流了，你的观点比我还激进。也许确实能再小一些。但从实际应用看，模型仍要掌握一些基本知识，不能什么都去查，否则根本没法在脑中推理。基础知识课程仍然需要，但不必记住特别冷僻的知识。
我们现在讨论的是认知核心可能有多大；另一个问题是未来前沿模型整体有多大。我很好奇你怎么预测。模型规模一直增大到 GPT-4.5 左右，现在却开始缩小或停滞。背后可能有很多原因，你觉得未来最大的模型会更大、更小，还是差不多？
我没有很强的预测。实验室只是在务实地分配 FLOPS 和成本预算。事实是，预训练并不是最值得投入大部分算力和成本的环节，所以模型变小了。预训练阶段缩小了，但后续强化学习、中期训练等阶段投入更多。实验室只是在各阶段之间务实分配资源，尽可能提高投入产出。
预测这种趋势很难。我仍然认为有大量容易取得的改进空间，这是我的基本预期。不过对此我给出的概率范围很宽。
你觉得这些容易取得的进步，会与过去两到五年发生的事情类似吗？比如 nanochat 与 nanoGPT，以及你做的架构调整，会继续是这种渐进式改进吗？你不觉得会有巨大的范式转变？
总体来说，是的。我预计数据集会变得好得多。现在常见的数据集非常糟糕，平均样本里有事实错误、各种错误和毫无意义的内容，差到让我不知道模型怎么还能从中学会东西。大规模训练时，噪声似乎会被冲淡，剩下一部分有效信号。数据集质量会大幅提升。
其他方面也都会变好：硬件、运行硬件的内核，以及充分利用硬件的方法。Nvidia 会逐步调整硬件本身，比如 Tensor Core；这些工作都会继续。各种内核也会越来越好，尽可能发挥芯片性能。算法、优化方法、架构、模型设计和训练算法都会进步。我预计不会有某一个方面独占主导地位，而是所有方面都各自提升约 20%。这大致符合我看到的趋势。
§05AGI 将融入每年 2% 的 GDP 增长
有人提出过不同方法来描绘距离完整 AGI 还有多远。只要能画出一条进步曲线，就能估算它与 AGI 相交的时间。有人用教育程度做指标：AI 先像高中生，然后通过强化学习上大学，再读博士。
我不喜欢这个指标。
另一种是看任务时长：现在可以自主完成一分钟的任务，接着是一小时的任务、人类要花一周的任务。你觉得应该用什么纵轴来衡量？我们该如何理解 AI 的进步？
我有两个回答。第一，我甚至有点想直接拒绝这个问题，因为在我看来，AI 是计算能力的延伸。我们会不会问，如何衡量自 1970 年代以来计算能力的进步？纵轴到底是什么？从这个角度看，整个问题有点奇怪。
人们谈 AI 和最初的 AGI 概念时，OpenAI 刚成立那会儿，AGI 的定义是：一个系统可以达到或超过人类水平，完成任何有经济价值的任务。当时我很赞同这个定义，而且一直坚持到现在。后来人们又提出各种不同定义，但我还是喜欢这个定义。
人们常做的第一个妥协，是把所有体力劳动都排除在外，只讨论数字化知识工作。相比原始定义——人类能做的任何任务——这已经是很大的让步。AI 显然还不能搬东西之类的，但我们先接受这个限定。那‘只做知识工作’覆盖了多少经济活动？我不知道具体数字，但猜测只有 10% 到 20%，指的是可以在家里完成的任务。不过这仍然是个庞大的市场。整个经济有多大？其中 10% 或 20% 仍然相当于美国几万亿美元的市场份额或工作量。
回到 AGI 的定义，关键是看它在多大程度上成立。有没有一些工作，或大量任务，能够被 AI 完成？任务不等同于职业，这个问题很难，因为社会会根据哪些任务可自动化，重新划分职业。现在哪些工作可以被 AI 取代？Geoff Hinton 曾预测放射科医生会消失，结果在很多方面都错了。尽管计算机视觉已经非常擅长识别影像中的各种特征，放射科医生不仅没有消失，人数和业务还在增长。放射科是一份复杂混乱的工作，涉及许多环节、与病人沟通，以及具体情境中的判断。
按这个定义，我不觉得 AI 目前已经造成很大冲击。我会关注那些更早适合自动化的工作，它们通常有一些简化特征。呼叫中心员工就是一个很好的例子。工作流程比较简单，由一连串相似任务组成：接一个电话，和客户交谈十分钟或更久，按流程完成任务，再更新数据库。工作就是重复完成类似的事情。
还要看任务持续时间，以及上下文是否有限。呼叫中心员工不用同时处理公司其他部门的服务，也不用协调其他客户；情境基本只有数据库、员工和正在服务的客户。工作范围比较封闭、容易理解，而且完全是数字化的。因此我会重点关注这类任务。
但即便如此，我也不认为现在就会完全自动化。我更关注‘自主性滑块’：我们不会立刻把员工全部替换，而会先让 AI 承担 80% 的工作量，剩下 20% 交给人类。员工可能负责监督五个 AI，让它们处理呼叫中心里较机械的工作。我会关注有没有新界面或新公司，帮助管理这些尚不完美的 AI。其他行业也可能如此，因为很多工作比呼叫中心复杂得多。
我完全是在猜放射科的工作流程，但可以类比 Waymo 刚开始上路时的情况：驾驶座上坐着一个人，以防发生严重问题。到现在还有人监控自动驾驶是否正常。最近推出的 Robotaxi 里仍有一名乘客。
即使某项工作有 99% 被自动化，剩下 1% 的人类工作也可能价值极高，因为它会卡住所有其他环节。如果放射科医生需要经过多年专项训练才能完成最后的 1%，他们的工资应该会大幅上涨，因为他们成为大规模部署的瓶颈，而且很难替代。放射科医生的工资可能因此上涨。Waymo 司机则可能比较容易替代。你或许会看到工资一直涨到自动化达到 99%，最后 1% 被解决时又突然下跌。我很好奇，放射科、呼叫中心工资或其他行业是否出现了类似变化。
这个问题很有意思。我觉得放射科目前没有发生这种情况。放射科不是个好例子，我不知道 Geoff Hinton 为什么选它，因为这是一种极其复杂混乱的职业。
相比之下，我更想了解呼叫中心员工的情况，因为许多机械任务现在应该已经可以自动化。我没有直接接触一线数据，但会关注行业趋势。我的预期是，企业也许正在替换一些岗位，但之后一年或两年可能会撤回部署、重新招聘部分员工。
已经有证据表明，一些采用 AI 的公司普遍出现了这种回退情况，我觉得挺令人意外。
我也很惊讶。AGI 按字面意思应该能做所有事情，我们先不算体力劳动，但应该能做所有知识工作。人们原本很容易想象这种进展：从顾问的工作里拿走一项任务，再从会计的工作里拿走一项任务，然后在所有知识工作中不断重复。
但如果我们认为当前范式正走向 AGI，实际进展完全不是这样。顾问和会计的生产力似乎没有大幅提高，反而是程序员的工作越来越多地被削减。如果看这些公司的收入，不算类似谷歌搜索广告的普通聊天收入，只看 API 收入，主要都来自编程。这个本应能做任何知识工作的通用系统，实际上绝大多数时候只在做编程。这和人们预期 AGI 的部署方式很不一样。
这里有个有意思的地方：我认为编程是大语言模型和智能体最适合先自动化的工作。因为编程本来就围绕文本展开：计算机终端、文本以及基于文本的工具。大语言模型正是在互联网上的文本上训练的，是完美的文本处理器，而且有大量训练数据。这是个绝佳匹配。
另外，我们已经有大量处理代码和文本的基础设施。例如 Visual Studio Code 或你喜欢的 IDE，可以显示代码，智能体也能接入。如果智能体修改了代码，它可以用 diff 显示所有改动；我们已经有现成的代码比较工具。可以说，代码领域的大部分基础设施都已预先准备好。
相比之下，有些领域并没有这些条件。比如有人在尝试用 AI 自动做幻灯片，这要难得多，因为幻灯片不是纯文本，而是一组在空间里排布的图形，还包含视觉元素。这里没有现成的基础设施：智能体修改幻灯片后，如何展示差异？没有工具能像代码 diff 那样比较幻灯片。有人得先把这些工具做出来。有些领域不适合当前这种文本处理型 AI，但编程却意外地合适。
我不确定仅靠这一点能否解释现象。我试过让大语言模型完成一些纯文本输入和输出的任务，比如重写文稿、根据文稿剪辑片段。这些任务看起来很适合模型。当然，我可能没有尝试所有方法。我加入了一些好的上下文示例，但也许还应该做某种微调。
我们的共同朋友 Andy Matuschak 告诉我，他尝试了 500 亿种办法，让模型生成高质量的间隔重复学习卡片。这也是纯文本输入、纯文本输出，听起来完全属于大语言模型的核心能力。他试过少样本上下文学习、监督微调和检索增强，但还是无法让模型生成令他满意的卡片。
所以我觉得很奇怪：即使是在纯文本输出领域，除了编程以外，仍然很难让模型创造大量经济价值。我不知道原因是什么。
这有道理。我不是说所有文本任务都很简单。我觉得代码的结构相当清晰；文本可能更加华丽，熵也更高，我不太知道怎么进一步解释。代码也很难，因此即使简单的代码知识，也会让人觉得大语言模型很有用。我没有很好的答案。文本当然让事情简单得多，但这不代表所有文本任务都容易。
§06ASI
你如何理解超智能？你觉得它在质上会与普通人类或人类公司不同吗？
我把它看作社会自动化发展的延续。顺着计算机的发展趋势外推，越来越多的事情会被自动化：先是数字工作，之后某个时候甚至包括一些体力工作。总体来说，我觉得它就是自动化。
但自动化是指人类本来就能做的事，而超智能则意味着它能做出人类做不到的事。
不过，人类会发明新事物。如果这么理解，我也会把发明纳入自动化。
换种方式问，不那么抽象：你觉得未来会出现一种质的不同吗？AI 可以思考得更快、拥有更多副本、把副本的经验合并起来，或聪明得多。这些优势会不会让 AI 文明看起来与人类文明截然不同？
我觉得会。它本质上仍是自动化，但会非常陌生、看起来很奇怪。就像你说的，所有这些活动都可以放在计算集群上，以快得多的速度运行。
这种世界里让我开始担心的情景，是人们逐渐失去对事情的理解和控制。我觉得最可能发生的是，理解能力逐渐消失。我们会把越来越多的东西层层交给 AI，理解它的人会越来越少，最终也会逐渐失去对局势的控制。我认为事情最有可能朝这个方向发展。
我想追问一下。我不确定失去控制和失去理解是否是一回事。台积电或英特尔董事会里坐着一些声望很高、八十多岁的人，他们对公司实际情况了解不多，也许实际上并没有什么控制力。
美国总统是更好的例子。总统拥有很大的权力。我不是要评论当前总统，或许我就是在评论，但他的实际理解程度和所拥有的权力确实不同。
这说得很有道理，你这个反驳不错。我觉得我担心两者都会丧失。
为什么？失去理解很明显，为什么会失去控制？
我们已经进入一个我也不知道会是什么样子的领域。如果让我写科幻小说，我会设想未来不是一个实体控制一切，而是多个相互竞争的实体，逐渐变得越来越自主。有些可能脱离控制，其他实体则会与它们对抗。这就像我们把任务委托出去后，世界逐渐充满完全自主的活动，我觉得局面会很像这样。
导致失控的原因并不是它们比我们聪明，而是它们彼此竞争，竞争产生的结果最终导致失控。
很多 AI 会充当人的工具，代表个人行动。也许个人仍然掌握控制权，但整个社会想要的结果可能会失控。由 AI 代表个人行动的各种实体，整体上也可能仍然超出控制。
我刚才应该早点问这个问题。我们谈到，现在做 AI 工程或研究时，模型更像编译器，而不是替代人类的系统。
如果有了 AGI，它最终应该能做你能做的事。你觉得，若有一百万个你的副本并行工作，AI 进步会大幅加速吗？如果真是这样，真正的 AGI 出现后，你预期会出现智能爆发吗？我说的不是今天的大语言模型。
会，但这只是一直以来的常态，因为我们已经处在智能爆发中，而且这种情况持续几十年了。GDP 曲线可以看作由许多行业共同加权形成的一条指数曲线。各行各业都在逐步自动化，这种情况已经持续几百年。工业革命是自动化，也包括体力劳动、工具制造等等。编译器则是早期的软件自动化。我们已经递归式地自我改进、持续爆发式进步很久了。
也可以这样想：如果不考虑生物力学等因素，从太空看地球曾经非常单调，长期没有太大变化。现在我们正处于一场烟花爆发之中，只是从太空看上去像慢动作。我确实认为这种爆发已经持续了很久。再次强调，我不把 AI 看成与长期趋势截然不同的新技术。
你认为这和超指数增长的趋势是连续的吗？
是的。这也是我觉得很有意思的地方。我曾试着在 GDP 数据中找到 AI 的影响，以为 GDP 增速会因此上升。但我回头看了其他我认为非常有变革性的技术，比如计算机、手机等等，却发现根本无法在 GDP 增长曲线上单独辨认出来。GDP 仍然沿着同一条指数曲线发展。
早期 iPhone 还没有 App Store，也没有现代 iPhone 里的许多功能。虽然我们觉得 2008 年 iPhone 发布是个重大变化，但实际并非如此。技术扩散得很慢、过程拉得很长，最后都被平均在同一条增长曲线上。计算机也是如此。不能说‘现在有了计算机’，于是 GDP 增长突然加速；事实并非如此，因为这个过程非常缓慢。
AI 也会如此，只是多了一种自动化。它让我们能编写以前写不出来的程序，但 AI 本质上仍然是一种程序，是一种新型计算机和计算系统。它仍有很多问题，会随着时间推移逐步扩散，并最终累积在同一条指数曲线上。这条指数会变得极为陡峭，但生活在那样的环境里会非常陌生。
你是说，从工业革命以前到现在，增长曲线呈超指数：从 0% 增长，到大约一万年前的 0.02%，再到现在的 2%。如果把 AI 放到这条曲线上，它会让增长率达到 20% 或 200% 吗？
还是说过去 300 年里，各种技术不断出现，包括计算机、电气化、蒸汽机、铁路等，但增长率始终是 2%。你认为 AI 会让增长率提高吗？
增长率大体上一直保持不变，对吧？
只是过去 200 到 300 年大体如此。但从人类历史整体来看，增长速度一直在加快：从 0% 变得越来越快。工业化带来了约 2% 的增长。
我曾经试着在 GDP 曲线上寻找 AI 的影响，但我已经说服自己这不对。即使大家谈递归式自我改进和 AI 实验室，这也只是常态发展。AI 当然会递归式自我改进，而这种改进已经持续很久了。
大语言模型让工程师更高效地开发下一代大语言模型，越来越多组件也在自动化、调优。工程师使用 Google 搜索、IDE、自动补全或 Claude Code，这些都是整体提速的一部分。整个过程非常平滑。
我确认一下：你的意思是增长率不会变化。智能爆发会体现为继续维持 2% 的增长轨迹，就像互联网帮助我们维持了 2% 增长一样。
对，我预计它会维持同样的模式。
我来提出相反观点：我觉得增长会暴涨。真正的 AGI——我不是说写代码的大语言模型机器人，而是能在服务器上完全替代一个人——与以往提升生产力的技术有质的区别，因为它本身就是劳动力。
我觉得世界上的劳动力非常紧缺。你问任何创业者或其他人最缺什么，答案都是优秀人才。如果有几十亿额外的人不断发明东西、加入公司，从头到尾创办企业，这和单项技术不太一样，就像地球上多出了 100 亿人。
我可以反驳一点，但也愿意接受别人说服。计算机本身就是劳动力。计算机自动化了大量数字信息处理工作，让原本需要人工的工作不再需要人。所以计算机也替代了劳动力，而且这种变化已经发生了。
自动驾驶也是计算机承担劳动力，这也已经在发生。这只是常态发展。
现在有一台机器可以产出更多东西，速度可能还更快。历史上确实有增长模式改变的例子：增长从 0.2% 提高到 2%。我觉得很有可能出现这样一种机器，不断制造下一代自动驾驶汽车、互联网以及其他技术……
我明白你在说什么。但我觉得大家常常误以为‘把神放进盒子里，之后它什么都会做’，事情不会是那样。它有些事情能做，有些事情会失败，然后逐步融入社会。最后我们可能仍然沿着同一条增长曲线前进。这是我的预测。
突然出现一个完全智能、灵活、通用的人类替代品，让我们把它投入社会里的任意问题，这种设想容易误导讨论。我不认为会有这样一个离散的变化；我觉得 AI 会以渐进方式扩散到各行各业。
我不喜欢在这个语境里用‘智能’这个词，因为它会让人想象服务器里坐着一个超级智能，能够发现新技术和发明，从而引发爆发式增长。这不是我对 20% 增长的设想。我想的是，也许会有数亿或数十亿个非常聪明、类似人类的思维体，而可能只需要这些就够了。
假如有数亿、数十亿个这样的个体，各自发明新产品、寻找融入经济的方法。如果一个经验丰富的聪明移民来到这个国家，我们不需要先研究该怎么让他融入经济，他自己就能做到。他可以创办公司、进行发明，或提高社会生产力。
如今也有一些地方实现了 10% 到 20% 的经济增长。如果人口很多、资本相对不足，香港、深圳等地就能连续几十年实现 10% 以上的增长。那里有许多聪明人，能够利用各种资源，抓住经济断层实现追赶。我觉得 AI 可能也会带来类似的时期。
我明白，但我觉得你仍然预设了某个离散的跳跃，仿佛我们正等着某个突破突然解锁。然后数据中心里一下子出现一群天才。我仍然认为，你预设了一个没有历史先例的离散跳跃；我在统计数据里找不到这种情况，也觉得它可能不会发生。
工业革命本身就是一次跳跃。增长率从 0.2% 提升到了 2%。我只是说，之后还会出现另一次类似的跃升。
我有些怀疑，需要回头看看数据。比如工业革命前的一些记录并不完整。我对这件事没有强烈观点。你说工业革命是一次神奇的单一事件，未来可能还会有另一次同样神奇、彻底打破原有模式的变化。
我不认为工业革命是神奇的。关键是，如果你把视野放大，看 1770 年或 1870 年，就不会发现某项关键发明突然出现。但经济确实进入了一个进步快得多的阶段，指数增长速度提高了十倍。我认为 AI 也会类似，不会有某一刻突然出现决定性的发明。
可能是某种积压需求终于得到释放，比如出现一种新能量来源。现在被释放出来的也许是认知能力，人类还有大量认知工作等着完成。
没错。
你的预期是，一旦新技术跨过门槛，就会释放这些积压需求。
也可以这样理解历史增长：人们不断提出想法，再有人把想法付诸实践、生产有价值的成果。在历史大部分时期，人口一直在增长，这推动了经济增长。
过去 50 年来，人们一直在说经济增长停滞，前沿国家的人口增长也停了。我觉得这可能会回到人口指数增长、进而带来产出超指数增长的状态。
这很难判断。我明白这个观点，但我的直觉并不认同。
§07智能与文化的进化
你推荐了 Nick Lane 的书给我，我觉得很有意思，所以也采访了他。我想聊聊智能与进化史。
过去 20 年你一直做 AI 研究，或许对什么是智能、智能如何形成有了更具体的认识。现在回头看进化竟然自发产生智能，你是更惊讶还是没那么惊讶了？
我很喜欢 Nick Lane 的书。刚才来这里的路上我还在听他的播客。说到智能及其进化，它出现得非常晚近。我确实很惊讶它竟然演化出来了。
我觉得思考其他星球可能存在什么生命特别有意思。假设有 1000 个像地球一样的星球。Nick Lane 上你节目时提到了生命的早期阶段，他认为大多数星球可能都会有相似的生命形态，大致都是细菌之类。中间经历了几次重大转变。我直觉上觉得，智能的进化应该是很罕见的事件。
也许可以按生命形式存在了多久来分析。细菌存在了 20 亿年；如果这段时间什么都没发生，那从细菌到真核生物应该很难，因为细菌在地球生命史中出现得很早。动物出现了多久？大概几亿年吧，多细胞动物四处奔跑、爬行的时间可能占地球生命史的 10%。这样看也许不算太难。但直觉上我仍然很惊讶智能竟然出现了。你会看到大量类似动物的生命做着类似动物的事，真正能创造文化、积累知识的生命却很令人意外。
如果你接受 Sutton 的观点，认为智能的关键是动物智能……他说过：‘如果你进化到松鼠，就已经走完了通往 AGI 的大半路程。’
松鼠智能在 6 亿年前的寒武纪大爆发后不久就出现了。看起来，促成它的是当时的氧化事件。似乎氧气进入环境、真核生物出现之后，产生动物智能的算法就现成了。可能只是进化偶然地很快找到了它，但我不知道这是否意味着这个算法其实相当简单。
这些问题都很难判断。可以根据某种生命形式存在的时间，或某个瓶颈持续的时间来推测。Nick Lane 很擅长描述细菌和古菌演化中的明显瓶颈：20 亿年里，什么都没发生。生化多样性极高，但没有任何东西发展成动物。整整 20 亿年。
我不确定动物智能的发展是否有类似情况，正如你说的，我们也可以研究特定智能形态独立出现过多少次。
这是个很好的研究方向。
想到一点：人类祖先的智能和鸟类智能。乌鸦等鸟类非常聪明，但它们的大脑结构和我们差别很大，我们彼此之间相似之处不多。这稍微暗示智能可能独立出现过多次。如果是这样，智能可能比我们以为的更常见。
前嘉宾 Gwern 和 Carl Shulman 提出过一个很有意思的观点：人类和灵长类拥有一种可扩展的算法，鸟类身上可能也出现过，甚至其他物种也可能有。只是人类找到了一个进化生态位：环境会奖励智能的细微提升，而且大脑中也有能支撑这种提升的可扩展算法。
比如，如果鸟的大脑再大一些，它可能就飞不起来了。相对于大脑大小，它已经非常聪明，只是它所在的生态位不会奖励大脑继续变大。也许这和一些非常聪明的……
Andreｊ Karpathy
比如海豚？
Dwarkesh Patel
没错。人类拥有双手，所以学会使用工具会带来回报。我们能把消化过程外包出去，把更多能量供给大脑，于是形成了一个正反馈循环。
我们还有许多可供使用的东西。如果我是海豚，事情大概会更难。怎么生火？水下可做的事情，可能在化学条件上就比陆地少得多。
我认同这种生态位和激励机制的观点，但仍觉得这非常神奇。我原本以为进化会止步于肌肉更强壮的动物。转而发展智能，是个非常迷人的转折。
Gwern 的说法是，这件事之所以这么难，是因为存在一个非常狭窄的区间：一种能力重要到不值得把精确回路直接蒸馏进 DNA，却又不能不重要到完全不学。必须有足够的激励，才会进化出一个能在一生中学习的算法。
你需要某种适应性。环境必须不可预测，进化才无法把算法预先写进权重。很多动物的能力已经预先编码好了。人类出生后必须在推理时自己弄清楚。你需要快速变化、无法预知哪种做法有效的环境，才能催生智能，让个体当场学习。
Quintin Pope 写过一篇有意思的文章，认为人类并不会迎来突然的起飞，因为 6 万年前人类似乎就已有了今天的认知架构。到了 1 万年前农业革命，再到现代社会；这 5 万年里发生了什么？人类建立起一套文化脚手架，可以代代积累知识。
但这种能力在我们训练 AI 的方式里几乎免费就能实现。模型可以互相蒸馏，也可以用同一份预训练语料训练，并不需要从头开始。人类花了很长时间才形成文化循环，但大语言模型训练方式却自然附带了这种机制。
也对，也不完全对。因为大语言模型并没有真正的文化。也许我们给它们的信息太多，反而让它们没有动力创造文化。但文化的发明、书面记录、彼此传递笔记，目前在大语言模型里都没有对应机制。我认为它们现在还没有真正的文化，这是一个阻碍。
你能描述一下大语言模型的文化可能是什么样吗？
最简单的例子可能是一块巨型草稿板，大语言模型可以持续编辑。它阅读内容或协助工作时，会更新自己的草稿板。为什么大语言模型不能替其他模型写一本书？其他模型也可以读它的书，受到启发或震撼。目前这些现象都还没有对应机制。
有意思。你觉得这类东西什么时候会出现？多智能体系统，以及某种独立的 AI 文明和文化呢？
多智能体领域有两个很有潜力的想法，至今都还没有真正实现。第一是文化：大语言模型逐渐积累一套属于它们自己的知识体系。
第二个更像自我对弈这个强大的想法。我觉得它非常有潜力。进化中有大量竞争，推动智能和进化。在算法层面，AlphaGo 通过和自己下棋学会了围棋。目前还没有互相对弈的大语言模型，但我预计这种方法也会出现。还没人真正做出来。比如为什么不能让一个大语言模型生成一系列问题，另一个模型学习解决？前者再不断提出越来越难的问题。
组织这种系统有很多方法。这是个研究领域，但我还没看到有人令人信服地实现这两种多智能体改进。目前我们大多还是在研究单个智能体，不过以后会变。组织也可以算文化的一种，但这方面同样没有令人信服的成果。因此我们还处在很早期。
你觉得是什么关键瓶颈，阻碍大语言模型之间开展这种协作？
也许可以这样说：有些类比看起来不应该成立，却意外地很贴切。许多小模型或较弱模型，很像幼儿园、小学或中学生。我们的能力还没达到足以让它们接管这些工作的程度。我用 Claude Code 或 Codex 时，它们仍然像小学生。我知道它们能通过博士资格考试，但认知上仍像幼儿园或小学生。
我觉得它们无法创造文化，因为它们还是孩子，是拥有完美记忆的天才儿童。它们能生成各种看起来很像样的内容，但我觉得它们并不真正理解自己在做什么，也没有积累齐全的认知能力。
§08为什么自动驾驶耗时这么久
你曾在 2017 到 2022 年间领导 Tesla 的自动驾驶项目，亲眼见证它从有趣的演示变成如今数千辆车能自主行驶。为什么这需要十年？这段时间里发生了什么？
我首先想反驳一点：自动驾驶离完成还差得很远，原因我会一一说明。自动驾驶很有意思，因为我在那里工作了五年，对这个领域有很多直觉。它有一段很长的历史：最早的自动驾驶演示可以追溯到 1980 年代。1986 年卡内基梅隆大学的一段演示里，就有一辆卡车在道路上自动驾驶。
快进到我加入 Tesla 的时候，我在 2014 年左右看过 Waymo 的早期演示。当时一位在 Waymo 工作的朋友带我体验了一次完美的 Palo Alto 自动驾驶。我觉得它已经很接近了，但后来还是又花了很长时间。
有些任务和工作存在很大的‘演示到产品’鸿沟：做个演示很容易，做成产品却很难。自动驾驶尤其如此，因为失败的代价太高。很多行业和任务可能没有这个特点，但只要失败代价很高，时间线就会拉长。
例如软件工程也有这个特点。氛围编程可能没有，但如果你写的是生产级代码，就有这个问题，因为任何错误都可能造成安全漏洞，泄露数百万人的社保号码，或引发更严重的后果。自动驾驶出错会导致人受伤，可能还有更糟的结果。软件的潜在危害范围甚至没有上限。
我认为这两个领域确实有共同点。自动驾驶之所以需要这么久，一个理解方式是‘九的阶梯’：每增加一个 9 都需要相同数量的工作。如果演示成功率达到 90%，那只是第一个 9；接下来还要达到 99%、99.9%、99.99%、99.999%。我在 Tesla 的五年里，可能经历了两三个 9 的进展。还要继续增加更多个 9。
这就是为什么它要花这么长时间。这段经历对我影响很大，因为我亲眼看到演示与实际系统的差别。我对各种演示都不太兴奋：如果只是为了展示而特别准备的演示，更不算数；能互动的演示好一些，但仍然不够。你最终需要真正的产品，把它放进现实世界后，还会遇到各种必须修补的行为边界。
这些问题还会继续出现，这就是所谓‘九的阶梯’。每提高一个 9 都要投入大量工作。演示令人鼓舞，但后面还有许多工作要做。这是个关键安全领域，除非只是轻松尝试氛围编程。因此，这也让我倾向于更长的时间线。
你说软件安全保障和自动驾驶的要求相似，这很有意思。人们常说自动驾驶花这么久，是因为失败代价太高。人类平均每 40 万英里或每七年才犯一次驾驶错误。假如编程智能体也要做到至少七年不犯错，部署难度肯定会大得多。
但你的意思是，如果一个编程错误每七年才导致一次灾难性故障……
其实很容易发生。
每七年发生一次灾难性故障，按人类时间算看似很少，但 AI 一直在输出代码，所以按 token 数量看，可能远远不到七年。
从某些方面说，这是个更难的问题。自动驾驶只是数千种工作中的一种，算是一个垂直领域；通用软件工程的影响范围更大。
人们还会反驳这个类比，说自动驾驶花那么久，有一大部分原因是要解决基础感知、建立表征，以及赋予模型常识，让它在遇到分布外情况时也能泛化。比如路边有人挥手，它不应该需要专门为这种情况训练。我们今天的大语言模型或视觉语言模型已经免费获得了这些能力，所以不用再从头解决基础表征问题。这样一来，把 AI 部署到不同领域，可能就像让现有模型在另一座城市开自动驾驶汽车，虽然困难，却不需要十年。
人们还会说，我们已经免费获得了这些能力：大语言模型或视觉语言模型有基础感知和常识，因此把 AI 部署到不同领域，就像让现有自动驾驶模型去另一座城市，难是难，但不用十年。
我不确定自己是否完全同意。我不知道我们究竟免费获得了多少能力，我们对这些能力的理解还有很多空白。与专门用于自动驾驶的系统相比，我们确实得到了更通用的智能。但专用任务也可能更难，因为它不像通用系统那样能随着大规模训练自然涌现。
不过这个类比仍然不完全成立，因为大语言模型依然容易出错，还存在许多需要补上的缺口。我不认为它们已经开箱即用地获得了神奇的泛化能力。
我还想补充一点：自动驾驶离完成仍然很远。目前部署规模很小，即使 Waymo 也只有少量车辆。这么做大致是因为它们还不经济。它们建成了一个未来系统，却不得不把未来往回收缩，但成本因此变得很高。除了车辆的边际成本、运营和维护成本，还有整个系统的资本支出。要让它经济可行，仍然会是一场艰苦的过程。
而且，看到车里没有司机，可能会让人误以为完全不需要人。但实际上有非常复杂的远程操作中心，工作人员一直在后台参与。我不了解具体比例，但人工参与比你想象得更多。有些人可能从远处监控车辆；我不知道他们是否全程参与驾驶，有时肯定会参与，但总之确实有人在场。某种意义上说，我们没有真的移除人，只是把他们移到了看不见的地方。
我仍然觉得，让自动驾驶在不同环境中都能工作还有很多难题。不过我同意，它已经跨过了某种门槛，开始显得真实可用——当然，除非它其实仍在远程操控。比如 Waymo 还不能在城市所有区域运营，我猜信号不好的地方可能就不行。我不了解它的技术栈，只是随便猜测。
你曾在 Tesla 领导自动驾驶五年。
抱歉，我不了解 Waymo 的具体情况。顺便说，我很喜欢 Waymo，也经常搭乘。我只是觉得，有时人们对进展过于天真，实际上还有大量工作要做。在我看来，Tesla 采用了更具规模化潜力的方法，团队表现也很好。我之前公开说过自己对这个趋势的预测。Waymo 起步较早，因为他们可以装配大量传感器。但我确实认为，Tesla 采取了更容易扩展的策略，未来整体发展会更接近这种方式。事情还在发展中，并没有结束。所以如果你说自动驾驶花了十年，我不太认同，因为还没走完这个过程。
第一，自动驾驶的起点要追溯到 1980 年，而不是十年前；第二，它还没有走到终点。
终点还很远，因为我所说的自动驾驶是大规模普及，人们不再需要驾照等等。
我还想谈两个自动驾驶类比中可能不同的地方。我特别关心这个问题，因为 AI 部署速度以及早期价值，可能是当今世界最重要的问题。如果你想预测 2030 年会是什么样，就应该对这个问题有所了解。
另一个差别可能是延迟要求。自动驾驶模型具体是什么样我不知道，我猜可能有数千万参数，但知识工作的大语言模型不一定受同样限制，除非涉及电脑操作之类的任务。
更重要的是资本支出问题。增加一个模型副本确实会产生额外服务成本，但一次推理会话的运营成本相对低。根据推理规模化的方式，还可以把 AI 成本摊进训练运行的成本里。无论如何，这比造一辆新汽车来服务模型的另一个实例便宜得多。因此，大范围部署在经济上更有利。
我认为没错。如果只在数字世界里，计算比任何涉及物理世界的事情都容易一百万倍。信息可以任意、快速地改写。我承认，数字行业的适应速度和变化速度应该快得多。刚才第一个区别是什么？
延迟要求，以及它对模型规模的影响？
我觉得这个判断大致正确。但如果知识工作大规模展开，实际操作中仍然会有延迟要求，因为我们必须建设大量算力，并把算力服务出去。
最后我还想快速谈谈其他方面：社会怎么看？法律后果是什么？法律和保险层面如何运作？这些层面会是什么样？Waymo 车上被人放交通锥的情况会有什么对应版本？这些现象肯定都会出现。我觉得自动驾驶是一个很好的类比，可以借鉴。AI 领域的‘车上放锥桶’是什么？远程操作员藏在哪里？还会有哪些类似情况？
你觉得这对当前 AI 建设热潮意味着什么？未来一两年，世界上可用算力可能增加 10 倍，到本世纪末可能超过 100 倍。如果 AI 的使用量低于一些人天真的预测，我们是否建了过多算力？还是说这是另一个独立问题？
就像铁路曾发生的那样。
你说什么，抱歉？
铁路吗？
对。
是的，历史上有类似先例。或者可能是电信行业：提前铺设互联网基础设施，但十年后才真正用上，于是 90 年代末电信行业出现泡沫。
我知道自己听起来很悲观，但其实我很看好这项技术。我认为这些问题可以解决。我听起来悲观，只是因为我刷 Twitter 时会看到很多说不通的说法。有很多原因会导致这种情况。坦白说，很多是为了融资，也与激励机制有关；还有不少是为了在互联网上吸引关注并把关注变现。我只是针对这些现象作出反应。
但总体来说，我仍然非常看好技术发展。我们会解决这些问题，过去进步已经很快。我不知道是否存在过度建设。我认为我们能消化我所理解的那些算力建设。例如 Claude Code 和 OpenAI Codex 一年前还不存在，这简直是奇迹般的技术。随着 ChatGPT 已经展现出巨大需求，未来还会有更多需求。
所以我不确定是否建设过度。我只是针对一些非常激进、而且我认为持续被错误预测的时间线作出反应。过去 15 年做 AI 时，我多次看到很有声望的人不断预测错。我希望大家校准好自己的判断，有些问题还涉及地缘政治，我不希望人们在这方面犯错。我希望我们能立足于技术真正能做什么、不能做什么。
§09教育的未来
我们聊聊教育和 Eureka 吧。你本可以再创办一家 AI 实验室，继续解决这些问题。我想知道你现在在做什么，为什么不直接做 AI 研究？
我的感觉是，各家 AI 实验室正在做的事带有某种必然性。我或许能帮忙，但不确定自己能否带来独特的改进。我最担心的是，这一切都发生在人的一旁，而人类因此失去影响力。我关心的不只是未来会建多少戴森球、AI 会如何自主建造它们，我也关心人类会怎么样。我希望人类未来过得好。
我觉得在这方面，我能带来更独特的价值，而不是去前沿实验室做渐进式改进。我最担心的情景是 WALL-E 或《蠢蛋进化论》里那种：人类被科技发展边缘化。我希望人类在未来变得更好，而我认为教育是实现这一目标的途径。
那你在做什么？
最简单的说法是，我们想建一个‘星际舰队学院’。不知道你看过《星际迷航》没有。
没看过。
星际舰队学院是一所精英学院，培养前沿科技人才，建造宇宙飞船，再让毕业生成为飞船驾驶员。我希望能建立一所传授技术知识的顶尖院校，内容跟得上时代。
有一类问题我很想问你：怎样才能把技术或科学内容教好？你是这方面的大师。我想知道你如何看待自己已经在 YouTube 上发布的内容，也想知道 Eureka 的做法是否不同。
说到 Eureka，我觉得教育有一点很有意思：有了 AI 辅助后，教育方式会发生根本改变，必须重新设计。
不过我们仍然处于早期，很多人会尝试显而易见的方法：打开一个大语言模型向它提问，或通过提示词做各种基础操作。这确实有帮助，但整体体验仍有些粗糙。我想把它做好，而我想要的能力现在还不存在。我的目标是打造真正的导师体验。
一个具体例子是我最近学韩语。我先独自在网上自学，之后参加了韩国的一门小班课程，和其他人大约十个人一起学习韩语，还有一位老师；之后我换成了一对一的导师。
那段经历让我很有感触。我觉得自己遇到了一位很好的导师。思考她怎么教我、这段经历有多好，以及我最终想打造的产品门槛有多高，都很有意思。她只用很短的对话就理解了我作为学生的水平、我知道什么、不知道什么，并精准地问出能了解我世界模型的问题。现在的大语言模型远做不到这一点。但优秀的导师可以。了解之后，她就能针对我目前的能力，提供恰到好处的内容。我需要不断受到适当挑战，不能太难，也不能太简单。优秀导师很擅长给你正好合适的材料。
我感觉自己是学习过程中唯一的瓶颈，因为得到的信息始终恰到好处。我觉得很好，因为唯一的阻碍就是我自己，而不是找不到知识或别人解释得不清楚，只是我的记忆能力有限。这就是我想为人们打造的体验。
要怎样把这种体验自动化？
这是个很好的问题。以现在的能力做不到。这就是为什么我认为现在还不是打造这类 AI 导师的合适时候。它仍然是有用的产品，肯定会有人做，但目标门槛很高，而目前技术还不够。即便今天，ChatGPT 也已经是非常有价值的教育产品。但亲身体验过优秀导师后，我才意识到真正的标准有多高。我当时甚至觉得，自己可能根本做不出来。
但你不是正在做吗？
任何体验过优秀导师的人都会问：‘这要怎么做出来？’我还在等相应的能力出现。
我曾为计算机视觉做 AI 咨询，很多时候我给公司的最大帮助是告诉它们不要用 AI。我是 AI 专家，听完他们描述的问题后会说：‘别用 AI。’这就是我创造的价值。我觉得现在的教育也类似；我心目中想做的东西还做不出来，不过时机终究会到来。目前我在做一种看起来更传统的产品，兼具实体和数字部分，但我觉得未来产品的样子是显而易见的。
如果你愿意说，你希望今年或明年发布什么产品？
我正在做第一门课程。我想打造一门非常出色的课程，让它成为学习 AI 的首选、最先进的去处。我比较熟悉这个领域，所以它很适合作为第一个要做好的产品。你刚提到的 nanochat，是我正在打造的 LLM101N 课程的结业项目，也是课程的重要组成部分。现在我还要补齐所有中间课程，再组建一支小型助教团队，把整个课程做好。
还有一点：很多人把教育看成一种较软性的知识传播。但我心里想的是非常困难、非常技术性的事情：如何搭建通往知识的坡道。nanochat 就是一条通往知识的坡道，因为它很简单，是极度简化的全栈项目。把这个作品交给别人去看，他们就能学到很多东西。它能让你每秒获得许多‘恍然大悟’的瞬间，也就是每秒获得更多理解。这就是我的目标：每秒带来更多理解。因此，在我看来，这是一道技术难题：怎样搭建通往知识的坡道。
所以我觉得 Eureka 和前沿实验室正在做的事情并没有那么不同。我想弄清楚怎样高效地搭建这些学习阶梯，让人不会卡住；学习内容始终不太难也不太简单，刚好能推动进步。
你目前设想的方式是：如果学习者足够了解自己，就能自己发现知识缺口，不必等导师直接判断你的理解。只要和助教或大语言模型讨论、查看参考实现，你就能找到答案。我听起来觉得，自动化或 AI 并不是重点。目前最大的优势似乎是把你解释 AI 的能力编入课程材料，这才是课程本身。
你必须根据行业现有能力来调整预期。很多人会尝试直接打开 ChatGPT，让它教自己 AI；但目前做不到，它只会给你一堆粗糙内容。AI 现在还写不出 nanochat。不过 nanochat 是个很有用的中间步骤。我正在和 AI 合作制作所有这些材料，所以 AI 仍然非常有帮助。
我以前在斯坦福开设过 CS231n，我觉得那是斯坦福第一门深度学习课，后来变得很受欢迎。相比当时开发这门课，现在做 LLM101N 的过程差别很明显。当前的大语言模型确实给了我很大帮助，但我仍然深度参与其中。它们帮我制作课程材料，让我快了很多，也处理了不少枯燥工作。我觉得自己开发课程的速度快了很多，课程里也融入了大语言模型，但它们还不能创造性地生成内容，这部分仍然要我来做。难点始终在于根据当前能力校准预期。
你设想几年后的 Eureka 时，最大的瓶颈似乎是要在各个领域找到像 Karpathy 这样能把专业理解转化为学习阶梯的人。
这种情况会逐步变化。现在要做的是招聘教师，让他们和 AI 及团队紧密合作，打造最先进的课程。未来也许有些助教工作可以交给 AI。我们可以把全部课程材料提供给 AI，让它为基础问题提供很好的自动化助教服务。但课程整体架构和内容衔接仍然需要教师，因此这个过程会逐步演变。未来某个时候，或许我自己都不太有用了，AI 可能比我更擅长大部分设计工作。但我认为这还需要一段时间。
你想让其他领域的专家来开发课程吗？还是说，你对教学方式的理解很关键，内容必须由你来设计？Sal Khan 会亲自给可汗学院的所有视频配音。你设想的是类似模式吗？
不。我会聘请各领域的教师，因为有些领域我不是专家。这是最终为学生提供最先进学习体验的唯一方式。我确实打算招聘教师，但自己可能还会在 AI 领域工作一段时间。以目前的能力来看，我对未来课程有一种比大多数人预期更传统的设想。
我设想中的星际舰队学院大概是一所实体学校；下一层可能是数字课程，但体验不如学生全职到校、从头到尾学习并确保理解的实体课程。数字课程会由网上材料加某种大语言模型助理组成，档次低一些、效果也更像个小花招，但至少八十亿人都能访问。
所以，你基本上是在根据现有工具从第一性原理重新发明大学，同时挑选那些有动力、愿意深入学习的人。
未来不仅需要教育，也需要大量再教育。我很愿意帮忙，因为工作可能会发生巨大变化。比如现在很多人在学习 AI 新技能，我觉得这是一门很好的课程。AGI 出现前，激励很容易理解：人们想赚钱，而学会这些技能能让你在今天的行业里赚钱。AGI 之后，激励就更有意思了：如果所有事情都自动化，大家都没事可做，人们为什么还要上学？
我常说：AGI 出现前，教育有用；AGI 出现后，教育会很有趣。这有点像人们现在去健身房。我们已经不需要靠体力搬重物，因为机器能代劳，但大家仍然会去健身。为什么？因为锻炼有趣、健康，练出六块腹肌也更有魅力。从心理和进化角度看，人们很深层地渴望这些。教育也会类似：你去学校，就像现在去健身房一样。
现在学习的人不多，因为学习很难。你会在学习材料之间不断碰壁。有些人能克服障碍，但对大多数人来说很难。这是个需要解决的技术问题。要做到我的韩语导师为我做到的事，是可以实现、可以构建的，应该有人来做。未来学习任何东西都可以变得简单而令人向往，人们会为了乐趣去学。如果任何知识都能有那种导师体验，学习就会容易得多，人们会学，就像他们现在去健身房一样。
听起来，AGI 之后，人们上学是为了娱乐或自我提升。但你之前也说，教育关系到人类能否保持对 AI 的控制力。这听起来不一样：有些人学着玩，有些人学习是为了增强能力吗？你怎么看？
我觉得长期来看，这可能仍然是一场必输的比赛。这里的长期比许多业内人士想象的还长。人类能进步到什么程度，我们才刚刚触及表面。只是因为现在很多人会被太简单或太难的材料劝退，才没能走得更远。未来人人可能都会说五种语言，能学会所有本科阶段的基础课程，因为学习变得非常简单。
我现在明白你的愿景了，这很有意思。健身文化是个很好的类比。我觉得一百年前，没人能轻松卧推两到三片杠铃片，也没人能自发跑马拉松。现在这些很常见，因为人们通过健身房里的系统训练和举重，逐渐获得这种能力。你设想的是，在许多不同领域都以同样方式，更密集、更深入、更快速地学习。
没错。我其实有点依赖人性在长时间尺度上的稳定性：人们会一直愿意做这些事，几千年来人们都尊重这类追求，我认为未来仍然如此。历史上也有证据。古希腊等时期，精英小群体会投入大量时间，在身体或认知方面不断发展。我觉得未来也会有这种发展前景。
如果这个想法错了，最后变成 WALL-E 或《蠢蛋进化论》里的未来，那我根本不在乎有没有戴森球。这是个糟糕的结果。我真的很关心人类，大家都应该在某种意义上变得超人类。
但在那个世界里，个人也许无法通过自己的劳动或思考改变技术发展轨迹、影响决策。也许 AI 会征求你的批准，你能影响一些决策；但你无法再通过自己发明某种东西、设计新方案来影响未来。
也许确实如此。我认为会有一段过渡期，只要我们理解足够多，仍能参与决策、推动进步。但长期看，这种作用可能会消失。学习也许会成为一种竞技运动。现在有人参加力量举比赛，把身体训练推到极致。认知时代的力量举会是什么？也许有人会举办‘知识奥运会’。如果有完美的 AI 导师，人们可能会走得非常远。我觉得当今的天才也才刚刚触及人类思维潜能的表面。
我特别喜欢这个愿景。我觉得你的产品市场契合度最高的人就是我，因为我的工作每周都要学习不同主题，我对此非常期待。
我也差不多。很多人讨厌上学，想赶紧离开。我却很喜欢学校，喜欢学习知识，一直想留在学校。我一直读到博士，后来学校不让我继续待了，我才去了业界。总体来说，我喜欢为了学习本身而学习，但也喜欢它带来的能力、帮助和生产力。
你刚才还提到一个细微但重要的观点，我想把它说清楚。为什么现有的在线课程没有让每个人都学会一切？它们太依赖学习动机，没有清晰的入门路径，而且很容易卡住。如果有你说的那种好导师体验，就会给学习动机带来巨大的突破。
我觉得是这样。因为卡在材料上会让人很难受。你花了时间却没有进展，或者内容太简单、太难、太无聊，都会让人感到负面反馈。学习做得好时其实很有趣。要把这种体验做好是个技术问题。要有一段时间由 AI 和人类合作，也许最终才会完全由 AI 来做。
我能问些关于如何教好课程的问题吗？如果你要给其他领域的老师提建议，告诉他们怎样制作你在 YouTube 上做的那种教学视频——特别是那些无法通过让学生写程序来检验技术理解的领域——你会说什么？
这是个很大的话题。我大概会给出 10 到 20 条建议，其中不少是我半有意识地在做。但这很多来自我的物理学背景。我非常喜欢物理，也常抱怨早期教育中每个人都应该学物理，因为早期教育不是为了积累以后在行业里能用的知识或记忆，而是为了启动大脑。物理学特别擅长启动大脑，因为它教的一些思维方式以后非常有用。
例如，建立模型和抽象概念，理解描述系统的大多数现象时，可能有一个一阶近似，但还存在二阶、三阶、四阶项，不一定都重要。又例如，你观察到一个充满噪声的系统，但仍可以抽象出其中的基本频率。当物理老师走进教室说‘假设有一头球形奶牛’时，大家会笑，但这其实非常聪明。因为在很多方面，牛都可以近似成一个球体，这种思维方式能泛化到整个行业。
比如有一本很好的书叫《规模》，作者是一名物理学家，讨论生物学。我也会推荐这本书。书里有许多有意思的近似和生物体的缩放定律，比如心跳频率与动物体型之间的关系。可以把动物视为一个体积：散热量按表面积增长，约随长度的平方变化；但产热量按体积增长，约随长度的立方变化。我觉得物理学教会了人们解决问题所需的认知工具。
由于这种训练，我总会试着找到系统的一阶或二阶关键项。观察一个系统时，脑子里会有一大团相互连接的想法和知识，我会试着找出最重要的部分：一阶因素是什么？怎么把它简化？怎样构建一个最简单的例子，让现象清楚显现出来？然后再逐步加入其他因素。
我写过一个叫 micrograd 的代码库，很能说明这个想法，你可能听说过。Micrograd 只有 100 行代码，用来展示反向传播。你可以用加法、乘法等基本操作搭建神经网络，像拼乐高积木一样组成计算图，然后做一次前向传播、一次反向传播，得到梯度。这就是所有神经网络学习的核心。
Micrograd 只有 100 行易读的 Python 代码，可以对任意神经网络做前向和反向传播，只是效率不高。这 100 行代码已经包含理解神经网络训练所需的一切，其余只是提高效率。高效计算还需要大量工作：设计张量，安排内存布局和步幅，确保内核正确调度内存移动等等。但大体来说，这些都是效率问题。神经网络训练在智识上的核心就是 Micrograd：通过递归应用链式法则求梯度，从而优化任意可微函数。
我很喜欢找到这些低阶项，把它们清楚地展示出来并理解其作用。我觉得教育在智力层面特别有意思，因为知识彼此交织，而你要把它梳理出来，搭成一条学习阶梯，让每一步都建立在前一步之上。把知识拆解、理清的认知过程特别吸引我。我个人很喜欢做这件事，也很着迷于怎样以合适的方式组织内容。也许这正是我的强项。
这样还能让学习过程更有动力。你的 Transformer 教程从 bigram 开始，本质上是一个查找表：给定当前这个词，或者前一个词，再查出下一个词。它真的就只是个查找表。
对，这就是核心。
这种教学方式非常巧妙：从查找表开始，再一步步讲到 Transformer。每个步骤都有动机。为什么要加这一层？为什么还要加下一步？你当然可以把注意力公式背下来，但更重要的是理解每个组成部分为什么有用、解决了什么问题。
你先展示痛点，再提出解决方案，这个安排多聪明？你希望学生沿着这个过程一步步走。还有很多细节让课程更吸引人，比如始终不断向学生提问题。
类似的小技巧还有很多，优秀教师经常会用。比如问学生：‘你会怎么解决？’我不会在你猜之前直接给出答案，那太浪费了。我不想骂人，但如果不给你机会自己想，就直接把答案递到你面前，多少有点不尊重你。
因为当你自己尝试解题时，会更了解有哪些操作空间、目标是什么，也就能明白为什么只有某个操作能达到目标。
先让你自己试一试，等我给出答案时，你才会更欣赏它。这样，每增加一个新事实，你获得的知识就能更多。
为什么领域专家通常不擅长向初学者解释自己的专业？
这就是知识和专业能力的诅咒，确实存在。我自己也深受其害，尽管我一直努力避免。你会把某些事情视为理所当然，无法设身处地为刚入门的人着想。这种现象很普遍，我自己也会犯。
有件事特别有帮助。最近有人想给我讲一篇生物学论文，我马上冒出很多很基础的问题。我就把这些问题和论文一起放进 ChatGPT 里提问，它帮我解答了一些简单的问题。然后我把对话分享给论文作者或参与研究的人。我觉得，如果他们能看到我这些愚蠢的问题，也许以后就能把内容解释得更清楚。
如果大家愿意把自己和 ChatGPT 讨论我所做内容时问过的那些‘蠢问题’分享给我，我会很高兴。它能帮助我重新站在初学者的角度理解问题。
还有一个极其有效的小技巧。如果有人写论文、博客或公告，通常只要把他吃午饭时会怎么口头解释这件事录下来，内容就会更容易理解，而且往往也更准确、更科学。人们常常会有种倾向，尽量用抽象、充满行话的方式解释，还会先讲四段铺垫才说核心想法。但一对一交流时，人们会更直接地说出重点。
直接说重点。我看到那条推文时觉得特别好，还分享给了很多人。我已经多次发现这种情况。
最明显的例子是我读博士时做研究。你读一篇论文，努力理解它究竟做了什么。之后在会议上遇到作者，喝啤酒时问他：‘你这篇论文到底做了什么？它讲的是什么？’
他们通常会用三句话完美概括论文的精髓，让你一下就明白。你甚至不必读论文。只有坐在桌边喝啤酒时，他们才会说：‘哦，这篇论文就是把这个想法和那个想法结合起来，再尝试这个实验。’他们能在对话中非常准确地表达核心内容。那为什么论文摘要不能这么写？
没错。这是在讨论讲解者应该如何表达想法。那从学生的角度，你会给其他学生什么建议？如果没有 Karpathy 帮你把想法解释清楚，你读一篇论文或一本书时，会用什么方法学习自己不熟悉领域的知识？
说实话，我不确定自己有什么独特技巧。学习确实很辛苦。有一件事一直很有帮助：按需要学习，或者说纵向深入学习。我觉得还需要在两种学习方式之间交替。第一种是按需深入学习：你要完成一个项目，并能从中得到回报，于是为了目标去学习。第二种是横向广泛学习，比如修一门 101 入门课，了解许多未来可能用得上的东西。学校里很多课程都是这种模式：‘相信我，以后会用到。’好吧，我相信你，那我就学。但我更喜欢能立即获得成果、按需学习的方式。
另一件特别有帮助的事是教别人。某种程度上教育是无私的，但向别人解释知识，也是一种深入学习的好方法。这种情况经常发生在我身上，我想其他人也会遇到。如果我没真正理解某件事，就没法把它讲明白。我会讲着讲着突然发现：‘哦，我其实不懂。’承认这一点很让人沮丧，但你可以回去重新学，补上知识缺口。它会迫使你面对并解决理解中的不一致。
我很喜欢重新解释知识，也希望大家多这样做。这个过程会迫使你重新组织知识，并确认自己讲的东西确实理解了。
用这个话题收尾正合适。Andrej，聊得太好了。
谢谢。