Andrej Karpathy——AGI 还要十年

Karpathy 提出‘智能体的十年’，是为了纠正‘智能体今年就会全面到来’这种说法。他每天都在用 Claude 和 Codex 等工具，也觉得它们很令人印象深刻，但要让它们像可靠的员工一样工作，还需要大量改进。他列出了目前缺少的能力：足够的智能、多模态能力、电脑操作和持续学习。他对十年的估计来自自己约 15 年观察 AI 预测、在研究和业界工作的经验；他说这些问题可以解决，但很难，并不是按照某套正式时间表得出的。

这个时间判断与 AI 领域经历的几次转变有关。Karpathy 入行时，神经网络还是个小众方向；AlexNet 之后，神经网络成为主流，但系统仍然是为单项任务训练的，比如图像分类或机器翻译。接下来的目标变成构造一个能够感知、行动并与世界互动的完整智能体。Atari 强化学习是早期尝试之一，但 Karpathy 现在认为，行业花了几年专注游戏对战，是相对于现实世界知识工作而言的一条弯路。

Karpathy 在 OpenAI 的项目曾试图打造一个能用键盘和鼠标操作网页的智能体。他认为当时做得太早：智能体随机点击、敲键盘，只能获得稀疏的奖励，学习效率很低，还会消耗大量算力。欠缺的是预训练语言模型强大的表征能力。按他的理解，顺序很重要：先从数据中学会广泛的表征，再在此基础上构建智能体。现在的智能体进步很大，但完整技术栈仍有缺失。

Dwarkesh 提出动物学习作为反例：动物没有语言标签，却能通过感官经验直接学会行动。Karpathy 不愿把动物当成直接蓝图，因为动物通过不同的优化过程形成，并带有大量先天构建好的硬件。刚出生的小斑马几分钟后就能跑起来，这不是靠普通强化学习学会的。Karpathy 认为今天的大语言模型是数字实体，通过模仿人类创作的互联网内容训练出来，属于不同于进化动物的另一种智能。

这场分歧的关键在于进化提供了什么。Dwarkesh 认为，进化可能发现了一种学习算法，让个体能够在一生中持续学习，而不是把所有技能都直接写进 DNA。Karpathy 承认，基因不可能保存一个成熟大脑的详细权重，也确实必须编码某些学习算法。但他的立场更务实：他不知道如何运行进化，而模仿人类的预训练现在就能实现。他把预训练称为一种粗糙但技术上可行的途径，让模型先达到一个起点，再开展后续学习。

Karpathy 认为，互联网上的预训练不只是储存事实：接触各种模式似乎也会在神经网络中形成支持上下文学习的回路。但大量储存的知识有时会让智能体过度依赖熟悉模式，难以跳出互联网的数据流形。因此，他提出一个研究目标：将认知核心——推理算法和策略——与部分储存知识分离。重点不是知识没有用，而是过多记忆可能会妨碍通用问题求解。

对话探讨上下文学习本身是否也类似梯度下降。Karpathy 把它描述为 token 窗口中的模式补全：训练中发现的模式编码在模型权重里，模型处理当前上下文时则会发生适应。他提到一些研究发现，神经网络可以通过上下文示例做线性回归，内部机制与梯度下降类似。他并没有说机制已经确定，只是认为模型内部可能在运行某种小型优化过程。

两者的关键差异可能在于信息能否直接访问。Dwarkesh 比较了预训练后储存在权重里的信息，与每个上下文 token 在 KV cache 中表示的信息。Karpathy 把预训练知识称为模糊回忆：数万亿 token 被压缩进数十亿参数中；而上下文窗口里的内容可以像工作记忆一样直接访问。这有助于解释为什么模型凭记忆谈一本书时大致正确，但如果直接提供整章内容，回答就会好得多。