走进 AI 的黑箱：AI 模型究竟如何思考 | Emmanuel Ameisen（Anthropic）

Emmanuel Ameisen 以一个定义开场，这个定义奠定了整场对话的基调。他在 Anthropic 与一支可解释性研究团队共事，团队的目标是通过深入模型内部，理解 Claude 这类大语言模型究竟如何运作。这里的前提是：行为可见，机制不可见。架构只是一个脚手架，数据从中穿过，由此产生的计算以没有人预先指定的方式成形。正是这道鸿沟，才让“研究模型”成了一件真正的工作，而不是读一读它的设计就能了事。

如果你在使用语言模型，或者在思考它们，最重要的一点认识就是这样一个非常怪异的事实：造出它们，并不等于理解它们。

Lenny Rachitsky 接过“被建造的模型”与“被生长出来的模型”之间的区别，Ameisen 则把整条流水线走了一遍。预训练取来一个庞大的语料库，把一份文档的前半段喂给模型，让它预测接下来是什么，并在被他形容为“多到不像话”的数据量上反复进行。随后是微调阶段，用期望行为的示例去替换，比如一段对话，其中一位乐于助人的助手给出菜谱或解决一道编程题。整个过程训练的并不是一套规则，而是对由词语转换而来的数字所做的一连串数学运算，而真正“生长”出来的正是这些计算。参数朝这个或那个方向移动，模型学会了各种公式，而这个团队对这些公式是什么一无所知。

Ameisen 认为，这样做的原因是出于必要，而非偏好。常规编程很擅长处理自成一体、边界清晰的行为：如果有人点击按钮，就会发生某件事。但没有人知道如何为图像分类写出那类规则，也不知道如何为一台能接收任意文本、并产出摘要、邮件或代码的机器写出那类规则。因此，一个简单的训练目标，是迄今人们找到的、通往如此通用的系统的唯一路径——这也正是为什么它的产物必须被调查，而不能靠阅读来了解。Lenny 把这层怪异感说得更尖锐：两人描述的其实是团队自己写下的代码，如今却必须像神经科学家观察大脑那样去观察它。Ameisen 的回答是：一个听起来简单的目标，很可能复杂得具有欺骗性；而这些模型所做的事，远比“预测下一个东西”这个说法所暗示的要多。

当被问到近距离观察这些系统之后有什么让他意外时，Ameisen 先拆掉了那个标准直觉。人们脑海中浮现的是 iPhone 的自动补全，大概六成时候是对的，其余时候既滑稽又古怪，然后就把这当成了全部。他称这是“预测下一个词”最容易的版本，并说遗憾的是，这正是大多数人随身携带的心智模型。

他的论点是：在这项任务上变得更强，会迫使任务本身变得更难。他把语言模型在预测下一个词上超越人类的时间点定在 2019 年前后，并指出持续的改进会耗尽容易的词。起初，模型只需要掌握句子结构。接着，它必须预测关于世界的简单事实，比如法国的首都是巴黎。等这些都被掌握之后，剩下的就是某道复杂物理方程的答案，或者一篇博士论文的最后一段。他的测试案例是“包含达拉斯的那个州的首府”：要说出奥斯汀，至少对人类而言，需要一个可用的地理模型——达拉斯在得克萨斯州，州有首府，而得州的首府是奥斯汀。只要追得足够远，这个看似微不足道的目标就会要求对世界结构的理解。

Lenny 把这一点联系到一句他归给 Ilya Sutskever 的话（并承认自己不确定出处）：要把下一个 token 预测好，需要理解整个宇宙。Ameisen 补充了一个自己的相关例子：一本推理小说最后一行点出凶手是谁，若没有跟上整个情节，就无法预测出这一行。两人都没有解开这个谜题。Ameisen 转而把它描述成当初把他吸引进这个领域的问题：如此简单的东西，怎么可能孕育出如此强大的东西？

如此简单的东西，怎么可能孕育出如此强大的东西？

Lenny 随后把这个类比延伸到人身上，引用了一个没有注明出处的说法——人类也是下一 token 预测器——并补充说，冥想会让人注意到那种“想说下一句”的冲动。Ameisen 只在一个有限定的意义上同意。他说，在回答的同时，至少有两个过程在运行：一个是目的地，即这句话想要落到的大致要点；另一个是逐词逐词地把话生产出来，当句子似乎走得通时会停顿。他把这个比较呈现为一种理解语言模型在做什么的方式，而不是在断言人类说话与模型推理是同一套机制。这种“双轨”描述是更谨慎的版本，也预示了他后来转向的计划性证据。