Sholto Douglas, Trenton Bricken: AMA：AGI 时代的职业建议，以及我如何做研究（嘉宾：Sholto 与 Trenton）

Dwarkesh 在名义上是“随便问”（Ask Me Anything）的这一期里，先用开头一大段时间卖一本书，而他卖书的方式本身就是关于这档播客过去五年在做什么的一个主张。《The Scaling Era》由 Stripe Press 出版，被描述为对他访谈中最锋利片段的汇编与策展：Dario Amodei 讲 scaling 为什么有效，Demis Hassabis 讲 DeepMind 是否走强化学习路线、以及 AlphaZero 有多少会存续到下一代语言模型里，Bricken 和 Douglas 讲机制。他所主张的价值单位不是访谈，而是相邻性。读者翻过一页，两套互不兼容的词汇突然彼此接触，而这种接触就是产品。

你可以读到 Dario 在回答，为什么 scaling 有效？

这个论证更强的版本是学科性的。Dwarkesh 称 AI 是能想象到的最跨学科的领域，而他说这话是从结构上说的，不是对自己嘉宾名单的恭维：任何关于一个包含数十亿额外劳动力的社会、或者一种超过全人类总和的智能的论述，都会同时调用经济学、演化生物学、心智哲学和制度史。他举出 Carl Shulman 讲从黑猩猩到人类的灵长类大脑缩放规律，以及 Tyler Cowen 讲为什么爆炸式增长可能被瓶颈吃掉，作为证据说明相关文献散落在互不引用的领域里。这本书就是一次强行建立引用的尝试。

没有任何一个领域、任何一个人知识的门类，与理解一个由不同种类存在者构成的未来社会会是什么样无关

Trenton Bricken 提出了任何编辑都会希望被问到的问题，并且诚实地把它标注为安排好的：那个“高飞球”式的问题——为什么普通人、具体说是他妈妈，应该买这本书。Dwarkesh 给出的答案是一个压缩论证，而不是新颖性论证。书里没有什么是发现；价值在于，原本需要四十小时音频和对术语的忍耐才能获得的东西，现在一个周末就能装下。书里收录的访谈有两场从未公开发布过，这对项目的可信度很重要：Jared Kaplan 从数据流形的数学讲 scaling，以及另一位嘉宾讲通用智能当初究竟为什么演化出来。那两章就是证据，说明这不只是重印。

不过，最站得住脚的辩护来自一次承认。Bricken-Douglas 那期播出之后，读者独立地写出了博客文章和卡片组，把对话里被跳过的概念重新构造出来。那是技术型访谈格式一种有据可查的失效模式：嘉宾和主持人共享了足够多的背景，以至于整个承重的定义从未被说出口。这本书的边注、导言和图表就是对那种失效的补丁，而且是被追溯性地应用到整个档案上。Bricken 恰恰挑出这些特征作为让这本书可用的原因，这比夸奖文笔是更有意思的赞美。

这一段收尾的笑点是，他们的父母终于会明白他们靠什么谋生，而这作为一个设计约束值得认真对待。Dwarkesh 对可读性问题的回答不是材料被简化了，而是缺失的背景被补在了边缘处，一个好奇的非专业人士可以在那里取用，也可以不管。那是一种与通俗化不同的编辑赌注，而这一期剩下的部分一直在检验它。

第一个真正的问题来自 Brian Krav，回到了 Dwarkesh 曾追问 Dario Amodei、之后也在推特上讲过的那件事：模型把人类全部知识都存在记忆里，却不做那些拥有同样记忆、智力中等的人会做的跨领域连接。这个提法是刻意量化的。这不是在抱怨模型没有创造力，而是在主张：人类显然拥有的一种具体、可测量的能力，在模型那里以零的比率缺席。

他给出的存在性证明是 Don Swanson 注意到镁缺乏造成的大脑变化与偏头痛期间看到的结构相同，并推断补镁可能治疗偏头痛。这奏效了。Dwarkesh 的要点不是说这件事容易，而是说这类动作除了两块被记住的知识、以及把它们并排放置的习惯之外，什么都不需要。然后他陈述了本章其余部分必须解释的那种不对称。

我不知道有哪怕一个 LLM 做到过的例子

Scott Alexander 的回应——Dwarkesh 主动拿它来反驳自己——是说人类也不是逻辑全知的：可能连接组成的组合空间太大，我们忽略了其中几乎全部，这就是为什么没人会花一下午去想两个词为什么共享词源。这解释了人类为什么不连接一切。它没有解释为什么模型的观察比率是零，而不只是低，而 Dwarkesh 在把问题交出去之前正是这么说的。这个区别很重要，因为两个假说意味着不同的补救：因注意力原因而低的比率，靠更好的检索和更长的上下文就能改善；因结构性原因而为零的比率，则需要完全不同的东西。

Sholto Douglas 的回答把缺口定位在训练目标上。预训练装入了关于世界的灵活通用知识，但建立新颖联系的技能是一种研究技能，而研究技能是博士生获得它的那种方式获得的：多年探索一个狭窄问题、公开地犯错、与会反推你的材料互动。按这种看法，缺失的成分不是数据，而是一个奖励研究者行为的训练信号；他也明确说，这个领域还没有规模化地跑过那个实验。他想看到的是来自与世界互动、尝试做出真实发现的模型的早期证据，并且用我们期望处于那些角色的人会有的行为来评估它们。

Trenton Bricken 补上两个更具体、短期内也更可操作的机制。第一个是记忆策略。一个被告知新信息的人会立刻推理这个记忆应该采取什么形式，因为她意识到自己会遗忘；模型没有这种意识，也没有机会选择自己的表征。他举 Claude 玩宝可梦作为自然实验：模型走得很远，然后另一位员工重做了记忆脚手架，很快就把它提升了，这说明瓶颈是脚手架而不是策略。

第二个是白痴天才的类比，而 Kim Peek 是恰当的对照，因为缺陷和天赋落在同一个人身上。按 Bricken 的说法，Peek 出生时没有胼胝体，用两个独立的半球同时读两页，并且记住一切，但在需要整合的领域里功能很差。这个类比精确预测了在语言模型身上观察到的画像：在狭窄、定义明确的话题上表现非凡，在需要把其中两个缝合起来的任务上崩溃。