Dario Amodei（Anthropic 首席执行官）——每一次 AI 突破背后的隐藏规律

Dwarkesh Patel 在访谈开头向 Anthropic 首席执行官 Dario Amodei 提出规模化究竟为何有效的问题：为什么宇宙的组织方式会使得，把大团算力投向足够广泛的数据分布，就会产生智能。Amodei 坦率地回答说，这个领域至今仍不知道。用他的话说，这几乎完全是一个经验事实，你可以从很多地方的数据中感受到它，但并没有令人满意的解释。

他只给出了一个手舞足蹈式的草图，并且明说了这一点。物理学里有关于相关性和效应的长尾或幂律分布的想法：大部分数据位于分布的前端肥厚部分，在尾部之前。对语言而言，这意味着先学会粗略的规律，比如词性、名词跟在动词后面，然后是越来越细微的相关性。这使得“每增加一个数量级就能捕获分布中更多的部分”显得合理。完全不清楚的是，为什么性能会随参数量和数据量如此平滑地扩展。

Amodei 提到了两种候选解释，但都没有表示认同：一种是水桶与水的图景，参数是水桶，数据是水，所以两者成正比；另一种是 Anthropic 首席科学家 Jared Kaplan 关于分形流形维度的工作。他的总结是，有各种各样的想法，但没人确切知道。

Patel 向听众澄清，这里的规模化指的是，从 Claude-1 到 Claude-2，下一个 token 的损失非常可预测地平滑下降，并问是否同样可以从损失预测具体能力。Amodei 说不能。统计平均值，也就是损失或熵，是可预测的，有时能精确到几位有效数字，他指出，在这样一个混乱的经验领域，这在物理学之外是不寻常的。具体能力则很难预测。他回忆说，在做 GPT-2 和 GPT-3 时，会琢磨算术什么时候出现、模型什么时候学会写代码，而这有时非常突然。他的类比是天气：天气的统计平均值可以预报，但某一天的具体天气无法预报。

当被用通俗的话问到模型突然会加法时究竟发生了什么，Amodei 再次说答案未知，Anthropic 正在尝试用机制可解释性来回答。一种图景是回路咔嗒一声到位，但也有证据表明底层存在渐进的过程：在模型可靠地答对之前很久，正确答案的概率就从大约百万分之一升到十万分之一，再升到千分之一。他说自己完全不理解这一点。他也不知道加法回路是以微弱的形式存在并逐渐增强，还是一开始就能工作但效果不好。

关于某些能力是否不会随规模涌现，Amodei 特别点出了对齐和价值观。一个被训练去预测世界的模型学到的是事实，而不是价值观，它的任务是预测接下来会发生什么。比如一个人应该做什么、想什么、看重什么，这类问题都是自由变量，数据里没有能确定它们的比特。用他的话说：“我认为这不会涌现。”

Patel 问，如果规模化在达到人类水平智能之前停滞，Amodei 会给出什么解释。Amodei 把实际问题与基础理论上的问题区分开来。实际层面，数据可能耗尽，他说天真地看，我们离那个点并不远；或者所有可用的算力被用完了却仍不够。他不会押注这两种情况发生，不过它们都有可能。

从根本上说，他认为规模化定律就此停止的可能性很小。一个可能的原因是架构不够好：用 LSTM 或 RNN 的话斜率会不同，因为有些东西在没有 Transformer 那种关注遥远过去的能力时很难表示。如果碰壁与架构无关，他会很意外，因为模型做不到的事情，与它们能做到的事情看起来已不再有本质上的不同。几年前，人们还可以论证模型不能推理、不能编程，并划出界限；那种论证当时更站得住脚，现在则不那么站得住脚了。

他自己倾向的、对假想中的那堵墙的解释，与损失函数有关。要把编程学到很高的水平，有些 token 比另一些重要得多，而且它们很稀少。下一个词预测的损失可能过度关注对熵贡献最多比特的部分，而忽略真正关键的东西，于是信号被淹没在噪声里。他说他并不预期这会发生，但如果有人告诉他，一个大得多的 2024 年模型并没有变得更好，所有架构也都试过了，这就是他会想到的解释。

Amodei 说，如果不得不放弃下一个 token 预测，就要转向某种强化学习，种类很多，包括基于人类反馈的强化学习、针对某个目标的强化学习、宪法式 AI，以及放大与辩论，它们既是对齐方法，也是训练模型的方式。重点必须放在我们究竟关心模型做什么上。他补充说，我们有点幸运，预测下一个词竟能带来这么多其他东西，这并无保证。切换的代价是速度：做强化学习，你得设计损失如何运作，而下一个 token 预测则是“世界上最容易的事”，现成摆在那里。

关于数据，Amodei 预测它不会成为约束。出于各种原因他不愿给出细节，但说世界上有许多数据来源，也有许多生成数据的方法。当 Patel 问他是否指多模态数据时，他只说有许多不同的做法。

Amodei 说他的观点是在 2014 年到 2017 年间逐渐形成的，起点是他第一次接触 AI。他在 2012 年看到了 AlexNet 前后的早期工作。他一直想研究智能，但追溯到 2005 年，AI 看上去还很遥远：他读过 Ray Kurzweil 的著作和 Eliezer 早年在互联网上的一些文字，而当时的 AI 离那些设想还差得很远。AlexNet 让他觉得这个领域真的开始起作用了，于是他加入了百度的 Andrew Ng 团队，当时他来自另一个领域。

他把这归功于运气，也就是他和同事们被分配到的任务：做出尽可能好的语音识别系统。当时有大量数据和许多 GPU 可用，问题的设定方式使得很容易发现规模化就是解决办法。他把这与博士后的激励作对比，后者要想出聪明新颖的东西，以发明者的身份留下印记。他只是做最简单的实验，摆弄各种旋钮：给 RNN 加更多层、训练更久、多久会过拟合、加入新数据并减少重复次数。非常一致的规律出现了。他当时不知道这很不寻常，称之为近乎新手的运气；起初他没有想到语音识别之外，只是觉得这个规律竟然在那里成立，很奇怪。

在 OpenAI 成立之前不久，他遇到了 Ilya Sutskever，后者告诉他：模型就是想学习，你必须理解这一点。Amodei 把它比作一则禅宗公案，让他顿悟了。它告诉他，自己观察到的并不是什么偶然的怪事，而是广泛而普遍的。多年来，他把这些想法加以形式化并整合起来。他的总结是：只要你移除障碍，给模型好的数据和足够的运作空间，并且不做诸如在数值上把条件设置得很差这样的蠢事，它们就会学习。

Patel 指出，许多人知道这些系统在语音识别或受限的游戏上非常出色，但很少有人像 Amodei 和 Ilya 那样，据此外推到某种通用智能。他问 Amodei 的想法有什么不同：为什么会得出“语音上持续提升意味着在一切上都会持续提升”的结论。

被问到他的想法与其他看到语音识别进步的人有何不同时，Amodei 说他确实不知道。起初他以为这个规律只对语音或这一窄类模型成立。2014 年到 2017 年间，他在许多事情上尝试，一再看到同样的结果，包括 Dota 和机器人。许多人把机器人当作反例，但他认为，虽然机器人数据很难获得，在已有的数据里依然能看到同样的规律。

他对这种差异的解释很谦逊。人们专注于解决眼前的问题，是纵向看而不是横向看，所以缺少机器人数据很容易被抽象为“因为没有数据，所以规模化行不通”。他认为很难解释为什么一个人这样看、另一个人那样看，而他对这个方向的痴迷也可能纯属偶然。

Patel 问，语言是从什么时候变得明显是输入海量数据的途径的，还是只是因为其他领域数据不足、别无选择。Amodei 指出，下一个词预测是一种具有丰富结构的自监督学习：下一个词可能需要知道二加二等于四，也可能是在续写关于某个角色的故事。它向模型提出的，相当于给儿童做的发育测试，比如一个故事里 Mary 把一件东西放进房间，Chuck 在她没看见时把它拿走，问题是 Mary 会怎么想。要预测得好，模型就必须解决心智理论和数学问题，所以他的推理是尽可能扩大规模，看不出有什么明显的上限。