Sholto Douglas 与 Trenton Bricken——大语言模型究竟如何思考

Sholto Douglas 认为，长上下文不只是更大的存储缓冲区：它可以让模型快速吸收代码库或陌生语言，看起来就像获得了新专长。在论文的一项评测中，模型通过上下文中的示例学习一种生僻的人类语言，表现超过了人类专家数月的学习成果。Douglas 还提议测试模型能否根据带标签的画面推断 Atari 游戏玩法。这些演示显示出强大的上下文适应能力，但游戏实验仍只是预测，并非已报告的结果；语言评测也只是小规模演示。

一种解释认为，上下文学习类似于通过注意力执行梯度下降。Douglas 和 Trenton Bricken 提到一项线性回归实验：随着提示中的示例增加，普通最小二乘法的损失下降幅度与梯度下降步数相符。Bricken 指出，这可能带来安全影响：如果模型在前向传播过程中适应上下文，它实际上可能变成另一个模型；即使原始训练强调无害，上下文中的有害或越狱示例仍可能改变其行为。这个类比很有启发性，但对话并未证明注意力真的会更新模型权重，也没有证明所有上下文学习都遵循这种机制。

几位嘉宾对当前阻碍 AI 智能体普及的因素有不同看法。Dwarkesh Patel 强调长时任务：助手需要连续工作数小时或数天。Douglas 则认为，真正的瓶颈是可靠性：任务步骤越多，成功概率就会逐步相乘。每一步有 90% 的成功率，整条长链仍可能很不可靠；可靠性多出几个 9 后，智能体或许会突然变得实用。Bricken 将此与基准测试中的能力涌现联系起来，认为某些技能可能是逐渐形成的，只是达到连续成功的门槛后才显现。他们主张评测模型能否完成持续数分钟、数小时和数天的任务，因为 MMLU 这类单题测试无法直接预测某类工作有多少能被自动化。

这场讨论也让“长上下文成本过高”的说法变得复杂。Douglas 认为，密集 Transformer 中，MLP 的模型维度成本可能超过注意力的二次方项；自回归解码时，每个新查询关注过去的键值向量，计算量则随上下文长度线性增长。因此，在注意力成为主要开销之前，长上下文可能已经可行。Patel 随后将上下文视为推理时增加计算的方式，并追问前向传播中的学习能否提高样本效率。Douglas 更谨慎：上下文提供工作记忆并支持适应，但未必是推理的核心；GPT-2 到 GPT-3 的变化说明，元学习可能同时依赖上下文和规模。对话将这些观点呈现为相互竞争的解释，而不是已确定的推理理论。

对话从上下文长度转向残差流，探讨它能否成为一种工作记忆。Patel 将其比作顺河而下的小船：注意力头和 MLP 像河边的支流，为当前状态增加信息。Douglas 说，许多特征以叠加形式编码在高维向量中，因此每一层都能读取、组合和改写信息，再预测下一个 token。这为模型如何在不同层间传递压缩信息提供了具体图景，但它本身并不能解释模型如何推理。

Bricken 通过小脑将这种架构与神经科学联系起来。他描述了一条直接和一条间接的信息路径，并指出某些联想记忆算法的电路与小脑回路相似。他还提到，有研究报告小脑会在许多 fMRI 任务以及一次下一个 token 预测研究中活跃；大脑中也有很大一部分神经元位于小脑。这个类比很引人注目，但嘉宾承认，他们依据的研究有限，大脑回路尚未被完全理解。

Bricken 更广泛的观点是，许多智能可能属于层次化模式匹配。联想记忆既能检索或去噪，也能串联成更抽象的概念。他用福尔摩斯作例子：较长的工作记忆可以保存线索，注意力反复检索这些线索，更高层再逐步完善假设。Patel 觉得这个解释合理，但指出演绎似乎不只是简单联想。他们提出的回答是组合：多个已学习的电路和特征可以结合，支持越来越复杂的推理。