Dario Amodei（Anthropic 首席执行官）——每一次 AI 突破背后的隐藏规律

Dwarkesh Patel (00:00:49 - 00:00:58)：

今天我很荣幸能和 Anthropic 的首席执行官 Dario Amodei 对谈，我对这一期真的非常期待。

Dario，非常感谢你来做客这档播客。

Dario Amodei (00:00:59 - 00:01:00)：

谢谢邀请。

01:00Dwarkesh Patel (00:01:00 - 00:01:19)：

第一个问题。你是极少数多年前就预见到规模化（scaling）会奏效的人之一。作为一个早就看到这一点的人，规模化为什么会奏效，根本的解释是什么？为什么宇宙是这样组织的：只要把大量算力投向足够广泛的数据分布，这个东西就会变得有智能？

Dario Amodei (00:01:21 - 00:03:01)：

我认为实话是，我们至今仍然不知道。这几乎完全是一个经验事实。你可以从数据中、从很多不同的地方感觉到这一点，但我们仍然没有一个令人满意的解释。

如果让我试着给出一个解释，而且我这么说的时候基本上是在凭空比划：物理学里有一些关于相关性或效应的长尾、幂律的想法。当大量事情发生、当你有大量特征时，你会在分布前面那个“肥”的部分（即尾部之前）拿到大部分数据。对语言来说，这就像是——“哦，我搞清楚了有词性，名词跟在动词后面。”然后还有越来越细微的相关性。

所以这就有点说得通了：为什么你每增加一个对数量级（log），也就是一个数量级，就能多捕捉到分布的一部分。完全不清楚的是，为什么它会随参数量如此平滑地扩展？为什么它会随数据量如此平滑地扩展？

你可以想出一些解释来说明为什么它是线性的。参数就像一个桶，数据就像水，所以桶的大小和水的多少成正比。但为什么这会带来如此平滑的扩展？我们仍然不知道。有各种各样的解释。我们的首席科学家 Jared Kaplan 做过一些关于分形流形维度的工作，可以用来解释这一点。

所以有各种各样的想法，但我觉得我们并不真正确切地知道。

Dwarkesh Patel (00:03:01 - 00:03:29)：

顺便说一下，为了让正在跟着听的观众理解：我们说的规模化，是指你可以非常可预测地看到，比如从 Claude-1 到 Claude-2，模型预测下一个 token 的损失（loss）是平滑下降的。

好，所以我们不知道它为什么会发生，但你们至少能凭经验预测吗——比如在损失达到多少时，这种能力会出现；在哪个位置，这个回路（circuit）会出现？这是可预测的，还是你们只是在看损失这个数字？

Dario Amodei (00:03:29 - 00:04:06)：

那就难预测得多了。可预测的是这个统计平均值，这个损失，这个熵。而且它极其可预测，有时甚至能精确到好几位有效数字，这在物理学之外是看不到的。你不会指望在这个乱糟糟的经验性领域里看到这种情况。但具体的能力实际上非常难预测。回想我做 GPT-2 和 GPT-3 的时候，算术能力什么时候出现？模型什么时候学会写代码？有时候是非常突然的。

这就像你可以预测天气的统计平均值，但很难预测某一天具体的天气。

Dwarkesh Patel (00:04:07 - 00:04:14)：

给我讲得通俗一点。我不懂流形，但从机制上说，它原本不会加法，突然之间就会了。到底发生了什么？

Dario Amodei (00:04:15 - 00:04:56)：

这是另一个我们不知道答案的问题。我们正试图用机制可解释性（mechanistic interpretability）之类的方法来回答它。你可以把这些东西想成回路“咔嗒”一下就位。不过也有一些证据表明，当你观察模型做加法时，它答对的概率是突然飙升的。但如果你去看正确答案的概率是多少，你会看到它在真正答对之前很久，就从百万分之一爬到十万分之一，再到千分之一。在很多这类情况下，幕后有某种连续的过程在进行。这一点我完全不理解。

Dwarkesh Patel (00:04:57 - 00:05:03)：

这是否意味着，做加法的回路或过程本来就已经存在，只是它的显著度提高了？

Dario Amodei (00:05:03 - 00:05:16)：

我不知道是不是存在一个原本很弱、逐渐变强的回路。我不知道它是不是一个能用、但用得不太好的东西。我认为我们并不知道，而这些正是我们试图用机制可解释性来回答的一些问题。

Dwarkesh Patel (00:05:16 - 00:05:18)：

有没有一些能力是不会随规模扩大而涌现的？

Dario Amodei (00:05:18 - 00:06:00)：

我肯定认为，对齐（alignment）和价值观这类东西，并不能保证随规模扩大而涌现。一种思考方式是：你训练模型，它基本上是在预测世界、理解世界。它的任务是事实，而不是价值观。它在试图预测接下来会出现什么。但这里存在一些自由变量——你应该做什么？你应该怎么想？你应该重视什么？这些没有对应的比特。

只有——如果我从这个开始，就应该以这个结束；如果我从另一个东西开始，就应该以另一个东西结束。所以我认为那些不会自己涌现。

Dwarkesh Patel (00:06:02 - 00:06:12)：

如果结果是规模化在达到人类水平智能之前就进入平台期，事后回看，你的解释会是什么？如果真是这个结果，你认为最可能是什么情况？

Dario Amodei (00:06:12 - 00:08:57)：

我会把基本理论上的问题和实际操作层面的问题区分开。我们可能遇到的一个实际问题是数据耗尽。出于各种原因，我认为这不会发生，但如果你很天真地去看，我们离数据耗尽并不太远。也就是说，我们就是没有足够的数据来延续规模化曲线。另一种可能是，我们把所有可用的算力都用完了，而这还不够，之后进展就变慢了。我不会押注这两件事中的任何一件会发生，但它们有可能发生。

从根本层面看，我个人认为规模化定律就这样停止的可能性非常小。如果真的停了，另一个原因可能只是我们没有找到恰当的架构。如果我们用 LSTM 或 RNN 来做，斜率会不一样。我们也许最终还是能到达那里，但有些东西，在你没有 Transformer 那种关注久远过去的能力时，是非常难以表示的。如果我们不知怎么撞了墙，而且与架构无关，我会非常惊讶。在我看来，我们现在已经到了这样的地步：模型做不到的事情，与它们能做到的事情，似乎并没有本质上的不同。

几年前你可以论证说它们不能推理、不能编程。你可以划出界限，说也许你会撞墙。我当时不认为我们会撞墙，还有少数几个人也不这么认为，但那时这种论证更有说服力。现在它就不那么有说服力了。

这是可能发生的。这东西很疯狂。我们明天就可能撞墙。如果发生了，我的解释会是：在用下一个词预测来训练时，损失函数本身有问题。

如果你真的想把编程学到非常高的水平，那就意味着你在乎某些 token 远远多于其他 token，而这些 token 又足够稀少，以至于损失函数过分关注表面的东西，也就是那些对应最多熵比特的东西，反而不去关注那些真正关键的东西。于是信号可能被淹没在噪声里。出于若干原因，我认为事情不会这样发展。但如果你告诉我——对，你训练了你们 2024 年的模型，它大得多，却并没有更好，你把每种架构都试过了也没用，那么这就是我会首先想到的解释。

Dwarkesh Patel (00:08:58 - 00:09:02)：

有没有可以替代的损失函数候选？如果你不得不放弃下一个 token 预测的话。

Dario Amodei (00:09:02 - 00:09:31)：

我想那样你就得转向某种强化学习（RL）。有很多不同的种类。有基于人类反馈的 RL，有针对某个目标的 RL，还有像 Constitutional AI（宪法式 AI）这样的东西，也有放大（amplification）和辩论（debate）这类方法。这些既是对齐方法，也是训练模型的方法。

你得尝试很多东西，但重点必须放在：我们究竟在乎模型做什么？从某种意义上说，我们有点幸运：预测下一个词就能给我们带来所有其他我们需要的东西。这并没有任何保证。

Dwarkesh Patel (00:09:31 - 00:09:42)：

从你的世界观看，似乎存在多种不同的损失函数，关键只在于哪种能让你把一大堆数据扔给它。下一个 token 预测本身并不重要。

Dario Amodei (00:09:42 - 00:10:01)：

用 RL 的问题是你会慢一些，因为你得用某种方法去设计损失函数怎么起作用。下一个 token 预测的好处是它现成就在那里，是世界上最容易的事。所以我认为，如果你不能以那种最简单的方式来扩大规模，就会拖慢你的速度。

Dwarkesh Patel (00:10:01 - 00:10:06)：

你提到数据很可能不会成为约束。你为什么认为是这样？

Dario Amodei (00:10:06 - 00:10:22)：

这里有各种可能性，出于一些原因我不该深入细节，不过世界上有很多数据来源，你也有很多方式可以生成数据。我的猜测是，这不会成为障碍。

也许如果它成为障碍反而更好，但它不会。

Dwarkesh Patel (00:10:23 - 00:10:24)：

你说的是多模态吗？

Dario Amodei (00:10:25 - 00:10:26)：

就是有很多不同的办法。

Dwarkesh Patel (00:10:26 - 00:10:33)：

你是怎么形成对规模化的看法的？我们能追溯到多早？然后你当时基本上就在说和现在类似的话。

Dario Amodei (00:10:33 - 00:14:04)：

这个看法是我在 2014 年到 2017 年之间逐渐形成的。我第一次接触它，就是我第一次接触 AI。我在 2012 年看到了 AlexNet 周边的一些早期成果。我一直想研究智能，但之前我只是觉得，这东西看起来并没有真正奏效。一直回溯到 2005 年。我读过 Ray Kurzweil 的著作，甚至读过早期互联网上 Eliezer 的一些文章。我当时觉得这些东西看起来很遥远。我看着当时的 AI，离那个目标还差得很远。

但有了 AlexNet，我就想，哦，这东西真的开始奏效了。于是我加入了百度的 Andrew Ng 团队。我之前在另一个领域，这是我第一次接触 AI，而且它与世界其他地方正在进行的很多学院派研究有些不同。

我有点走运，因为交给我和那里其他人的任务，就是做出你能做出的最好的语音识别系统。

当时有大量可用的数据，也有大量可用的 GPU。它把问题摆成了一种有利于发现“规模化就是解法”的形式。这和做博士后很不一样——博士后的工作是想出一个看起来聪明新颖的点子，让你作为发明了某样东西的人留下自己的印记。

我只是尝试最简单的实验。我就是在拨弄一些旋钮。我会想，试试给 RNN 加更多层，试试训练更久，会怎样？过拟合要花多长时间？如果我加入新数据、让它重复的次数更少，会怎样？然后我就看到了这些非常一致的规律。

我当时并不真正知道这很不寻常，也不知道别人没有这样思考。这几乎像是新手的运气。那是我的第一次经历，除了语音识别之外我并没有想得更远。我只是想，哦，这个领域我什么都不懂。人们用机器学习做的事情成千上万。但我心想，奇怪，这一点在语音识别领域似乎是成立的。

就在 OpenAI 成立之前，我见到了 Ilya，也就是你采访过的那位。他对我说的最早的话之一是——“听着。模型，它们就是想学习。你必须明白这一点。模型，它们就是想学习。”这有点像一则禅宗公案。我听了之后，就顿悟了。

后来这些年里，我成了把其中很多东西形式化、并把它们整合在一起的那个人，但那句话告诉我的是：我看到的现象不是什么偶然的东西。它是广泛的，更具一般性。模型就是想学习。你把障碍从它们的路上移开，给它们好的数据，给它们足够的运作空间，不要做那种愚蠢的事，比如在数值上把它们条件设置得很糟，它们就想学习。它们会学会的。

Dwarkesh Patel (00:14:04 - 00:14:35)：

你说的这些我觉得真正有意思的是：有很多人意识到这些东西在语音识别或玩那些受限制的游戏上非常出色。但很少有人像你和 Ilya 那样，从那里外推到某种通用智能。

你的思考方式和其他人的有什么不同？是什么让你认为：它在语音上以这种一致的方式变好，那它在所有事情上也会以这种一致的方式变好？

Dario Amodei (00:14:35 - 00:15:46)：

我真的不知道。一开始我在语音上看到这一点时，以为这只对语音成立，或者只对这一小类模型成立。我想，是因为在 2014 年到 2017 年这段时间里，我在很多事情上都试过，一遍又一遍地看到同样的现象。我看到 Dota 上也是如此。我看到机器人领域也是如此。很多人把机器人当作反例，但我想的是，机器人确实很难拿到数据，不过如果我们看手头已有的数据，会看到同样的规律。

我认为人们太专注于解决眼前的问题了。很难解释为什么一个人这样想，另一个人那样想。人们只是通过不同的镜头去看。他们是纵向看，而不是横向看。他们不去想规模化，而是在想我怎么解决我的问题？而对机器人来说，数据不够。这很容易被抽象成——规模化行不通，因为我们没有数据。

出于某种原因，也可能纯属偶然，我就是对那个特定方向着了迷。

15:46Dwarkesh Patel (00:15:46 - 00:15:57)：

你是什么时候明白，语言就是把大量数据喂给这些模型的手段？还是说只是因为你把其他路都排除了？比如机器人，数据不够；另一个领域，数据也不够。

Dario Amodei (00:15:57 - 00:17:38)：

我认为是整个下一个词预测的想法，也就是你可以做自监督学习，再加上预测下一个词这件事里有如此丰富的内容和结构。它可能是“二加二等于”，而你得知道答案是四。它也可能是在讲一个关于某个角色的故事。

基本上，这等于是在向模型提出类似于发育心理学测试中给孩子出的那种题。Mary 走进房间，把一件东西放在那里，然后 Chuck 走进房间，把东西拿走了，而 Mary 没有看到。Mary 会怎么想？

为了在预测下一个词时把这类题答对，模型将不得不解决所有这些心智理论（theory of mind）问题，解决所有这些数学问题。所以我当时的想法就是，你尽可能地把它扩大。这件事似乎没有上限。

我想我在抽象层面上有这种看法，但真正让我确信的，是 Alec Radford 在 GPT-1 上做的工作。那项工作表明，你不仅能得到一个预测能力很强的语言模型，还可以对它进行微调。在那个年代，你需要对它进行微调才能完成所有这些其他任务。

于是我心想，哇，这不只是某个狭窄的东西，把语言模型做对而已。它有点像是通往各处的半途。你把语言模型做对，然后朝这个方向稍微动一下，它就能解决这个逻辑指代测试之类的问题。再往另一个方向动一下，它就能做翻译之类的事。然后你就会觉得，哇，这里面真的有东西可做。当然，我们确实可以把它大规模扩大。

Dwarkesh Patel (00:17:38 - 00:18:21)：

有一点令人困惑，或者说当时很难预见——如果你在 2018 年告诉我，到 2023 年我们会有像 Claude 2 这样的模型，能按莎士比亚的风格写定理，随便你要什么理论，能在含开放式问题的标准化考试中拿高分，各种各样非常令人印象深刻的事情，我会说——哦，你们有 AGI 了。你们显然拥有人类水平的智能。

虽然这些东西令人印象深刻，但它们显然还没达到人类水平，至少在当前这一代是如此，甚至可能在接下来好几代都是如此。是什么解释了这种差距：一边是在这些基准测试中超级亮眼的表现，以及那些你能描述出来的事情，另一边是通用智能？

Dario Amodei (00:18:21 - 00:21:47)：

这实际上是一个我没有先见之明、同样感到意外的领域。

我最初看到 GPT-3，以及我们在 Anthropic 早期造出来的那类东西时，总体感觉是，它们似乎真的抓住了语言的本质。我不确定我们还需要把它们扩大多少。也许从这里开始，更需要的是 RL 和所有其他那些东西。

2020 年时我想，我们还可以再大幅扩大规模，但我在想，是继续扩大规模更有效率，还是开始加入像 RL 这样的其他目标更有效率。我当时想，也许对于 2020 年那种模型，如果你做的 RL 量和预训练一样多，那才是正确的路。

继续扩大规模会一直有效。但那真的是最好的路径吗？我不知道，它就是一直在往前走。我当时以为它已经理解了语言的很多本质，但后面还有更远的路要走。

退一步说。我之所以在 AI、安全和组织问题上都非常经验主义，原因之一是你常常会感到意外。我觉得我在一些事情上是对的，但即便有这些事先的理论图景，大多数事情我还是错了。能对 10% 的事情，就已经让你比很多人高出一大截了。

如果你回头看那些图——这边是村里的傻瓜，这边是爱因斯坦。这是智能的标尺。而村里的傻瓜和爱因斯坦在上面离得非常近。

也许在某种抽象意义上这仍然成立，但这并不是我们实际看到的，不是吗？我们看到的是，人类的范围似乎相当宽，而且在不同任务上，我们到达人类范围的位置和时间并不相同。

比如，按 Cormac McCarthy 的风格写一首十四行诗。我不是很有创造力，所以我做不到，但这是相当高水平的人类技能。而且模型在受限写作这类事情上也开始变得擅长，比如写一页关于 X 的内容，但不能用字母 E。

我认为模型在这方面可能已经是超人类或接近超人类了。但说到证明相对简单的数学定理，它们才刚刚开始入门。它们有时会犯真的很蠢的错误，而且真的缺乏任何那种大范围地纠正自己的错误、或完成某个长时间任务的能力。

所以事实证明，智能并不是一条谱线。有一堆不同的领域专长，有一堆不同种类的技能。记忆也不一样。这一切都是在那一大团参数里形成的，并不复杂。但即便在某种程度上它真的是一条谱线，这条谱线也很宽。

如果你十年前问我，我完全不会预料到这一点，但我认为事情的发展确实就是这样。

Dwarkesh Patel (00:21:47 - 00:22:11)：

哦天哪。就这一点，我有很多后续问题。

考虑到这些模型从海量互联网数据中得到的训练分布，与人类从进化中得到的东西相比，你认为它们所引出的技能谱系，重合度会不会只有一点点？会像同心圆吗？你怎么看这个问题？这些重要吗？

Dario Amodei (00:22:11 - 00:22:58)：

显然，重合的部分肯定很大，因为这些模型做的很多事情都有商业应用，而它们的很多商业应用，是在做帮助人类把事情做得更有效率的事。所以重合度相当大。

如果你想想人类在互联网上以文字形式留下的所有活动，那覆盖了很多内容，但可能并不覆盖某些东西。比如，模型在某种程度上学到了世界的物理模型，但它们当然没有学到如何真正在世界中四处移动。当然，也许这很容易通过微调获得。

所以有些东西是人类会、而模型没学到的。同时，模型也学到了人类不会的东西，比如流利地说 Base 64。我不知道你怎么样，但我从来没学过。

22:58Dwarkesh Patel (00:22:58 - 00:23:13)：

你认为有多大可能，这些模型在具有经济价值的任务上会在好几年里都是超人类的，而在许多其他相关任务上仍然低于人类，从而阻止智能爆炸之类的情况？

Dario Amodei (00:23:13 - 00:24:17)：

这类事情真的很难知道，所以我先说明这个前提。你可以预测基本的规模化定律，而更细粒度的东西——我们其实很想知道这些，才能知道整件事会如何发展——就难知道得多。

我的猜测是规模化定律会继续成立。当然，前提是——人们会不会出于安全或监管原因放慢速度？但我们先把这些都放一边，假设我们有继续规模化的经济能力。如果我们那样做，会发生什么？

我的看法是，我们会在各方面持续变好，我看不到有哪个领域是模型特别特别弱、或者没有开始取得进展的。数学和编程过去是这样的，但在过去六个月里，2023 年这一代模型相比 2022 年那一代，已经开始学会这些了。也许还有一些我们不知道的更微妙的东西。所以我有点怀疑，即使进展并不完全均匀，水涨船高，所有的船都会被抬起来。

Dwarkesh Patel (00:24:17 - 00:24:26)：

这是否包括你之前提到的那个问题：如果是一个长时间的任务，它会丢掉思路，或者丢掉执行一连串步骤的能力？

Dario Amodei (00:24:26 - 00:25:38)：

这会取决于像 RL 训练这样的东西，让模型去做更长时间跨度的任务。我不认为这需要大量额外的算力。我觉得那很可能是因为我们用错误的方式思考 RL，并且低估了模型自己已经学到了多少。

至于我们会不会在某些领域超人类、在另一些领域不会，我认为这很复杂。我可以想象，在某些涉及物理世界具身性的领域我们不会达到超人类。然后会发生什么？AI 会帮助我们训练更快的 AI，而那些更快的 AI 再绕回来解决这个问题吗？还是你根本不需要物理世界？这取决于你指的是什么。我们担心的是对齐灾难吗？是滥用，比如制造大规模杀伤性武器吗？是 AI 从人类手中接管研究工作吗？还是它达到某个经济生产力的门槛，能够做普通人类所做的事？我认为这些不同的门槛有不同的答案，不过我怀疑它们都会在几年之内到来。

Dwarkesh Patel (00:25:38 - 00:25:47)：

我来问问这些门槛。如果 Claude 是 Anthropic 的一名员工，它值多少薪水？它是否在实质性地加快 AI 的进展？

Dario Amodei (00:25:47 - 00:26:42)：

我觉得它在大多数领域像一个实习生，但在某些特定领域，它比实习生更强。

让这种比较变得困难的一点是，它的形态与人类不同。如果你要像这些聊天机器人那样行事，我想我们也可以进行这样的对话，但它们的设计更多是为了回答单个或少数几个问题。它们没有拥有漫长的既往经历这一概念。我们在这里谈论的是我过去经历过的事情，而聊天机器人没有这些。

缺失的东西有很多，所以很难做比较。它们在某些领域感觉像实习生，又有一些领域，它们突然拔尖，是真正的学者型天才（savant），可能比这里任何人都强。

Dwarkesh Patel (00:26:42 - 00:27:01)：

但是，类似智能爆炸的整体图景对你来说说得通吗？我之前的嘉宾 Carl Shulman 有一个非常详细的智能爆炸模型。作为一个会亲眼看到这件事发生的人，这对你来说说得通吗？比如它们从实习生变成初级软件工程师，这些初级软件工程师提高了你们的生产力……

Dario Amodei (00:27:01 - 00:27:49)：

我认为这样的想法：随着 AI 系统变得更有生产力，它们先是提高人类的生产力，然后与人类的生产力持平，再然后在某种有意义的程度上，在某个时点成为科学进步的主要贡献者。这个基本逻辑在我看来很可能成立，不过我怀疑，当我们真正进入细节时，事情会变得古怪，并且与我们预期的不同。也就是说，在所有那些详细模型里，我们想的是错误的东西，或者我们对其中一件事想对了，却在另外十件事上想错了。我认为我们最终可能会身处一个比我们预期更古怪的世界。

Dwarkesh Patel (00:27:49 - 00:27:56)：

把这一切加在一起，你对我们什么时候得到某种大致人类水平的东西的估计是怎样的？

Dario Amodei (00:27:56 - 00:29:32)：

这取决于门槛。就某个人看着这个模型，即使和它聊上一个小时左右，它基本上就像一个受过良好教育的普通人，这可能离我们一点也不远。我认为这可能在两三年内发生。

阻止它的主要因素，会是我们触及某些安全门槛之类的情况。所以如果一家公司或整个行业决定放慢速度，或者我们能让政府出台限制措施，出于安全原因来调节进展速度，那将是它不会发生的主要原因。但如果你只看后勤和经济上扩大规模的能力，我们离那一步一点也不远。

当然，那可能并不是模型具有生存性危险的门槛。事实上，我怀疑还没到那个程度。它可能也不是模型能够接管大部分 AI 研究的门槛。它可能不是模型会严重改变经济运行方式的门槛。

我认为在那之后就有点模糊了，所有这些门槛可能会在之后的不同时间点到来。但就基础技术能力而言——听起来就像是一个全面而言受过合理通识教育的人。我认为这可能相当接近。

Dwarkesh Patel (00:29:32 - 00:29:43)：

为什么它能通过针对受过教育者的图灵测试，却无法在经济中为人类的参与做出贡献或加以替代？

Dario Amodei (00:29:43 - 00:32:15)：

有几个原因。一是技能的门槛还不够高，还有比较优势的问题。即使我有一个在每项任务上都比普通人强的系统，那也无关紧要。对 AI 研究来说，我真正需要的是找到一个足够强的东西，能够大幅加速这一领域最顶尖的一千位专家的工作。我们可能会走到这样一个点：这些系统的比较优势并不大。

另一种可能是，存在一些神秘的摩擦，它们不会出现在朴素的经济模型里，但你每次去见客户的时候都能看到。你会说——“嘿，我有这个很酷的聊天机器人。”原则上，它能做你们客服机器人所做的一切，或者你们公司这个部门所做的一切，但真正的摩擦在于：我们怎么把它嵌进去？我们怎么让它运转起来？这既包括它在公司内部从人的角度怎么运作、事情在经济中如何发生并克服摩擦，也包括工作流程是什么？你实际上如何与它交互？

说“这里有个聊天机器人，看起来在完成这项任务，或者在帮助人类完成某项任务”，与说“好，这个东西已经部署了，有 10 万人正在使用它”，是非常不同的两回事。

现在很多人都在急着部署这些系统，但在很多情况下，他们使用的方式远远不是最有效的。不是因为他们不聪明，而是因为把这些事情摸索清楚需要时间。所以我认为，当事情变化得这么快时，就会有所有这些摩擦。

这些是模型没有完全捕捉到的混乱现实。我不认为它改变了基本图景。我不认为它改变了这样的想法：我们正在滚起一个雪球，模型帮助模型变得更好，并能加速人类所做的工作。最终，主要是模型在做工作。

把视野拉到足够远，这件事正在发生。但我对任何精确的数学式或指数式预测都持怀疑态度。我认为一切都会是一团乱。但我们知道的是，它处在一条比喻意义上的指数曲线上，而且会很快发生。

Dwarkesh Patel (00:32:15 - 00:32:54)：

我们谈到的这些不同的指数，最终是如何相互抵消、净效果如何？

一个是规模化定律本身是幂律，边际损失递减之类的。你谈到的另一个指数是，这些东西可以参与到 AI 研究过程本身，加速它。

这两者有点像相互对抗的指数。净效果是超线性还是次线性？而且你还提到，智能的分布可能就是更宽。在两三年后我们到达这一点之后，那会是什么样子？

Dario Amodei (00:32:54 - 00:34:23)：

我认为这非常不清楚。我们已经到了这样的地步：如果你看损失，规模化定律已经开始弯曲了。我们在多家公司发布的模型卡（model card）中已经看到了这一点。所以这根本不是秘密。

但随着它们开始弯曲，准确预测中的每一小点熵都变得更重要。也许最后这些微小的熵，就是爱因斯坦会写出的物理论文与其他某位物理学家写出的论文之间的差别。

很难从这里评估其意义。就实际表现而言，指标看起来确实在以相对线性的方式持续上升，尽管它们总是不可预测的。这一点很难看清。

然后我认为推动最大加速的因素是，越来越多的钱正涌入这个领域。人们看到这里有巨大的经济价值，所以我预计最大型模型的价格，也就是花在上面的资金量，会增长大约 100 倍之类。再叠加上芯片越来越快，算法越来越好，因为现在有这么多人在做这件事。

我再强调一下，我这里不是在做规范性的陈述，不是说这就是应该发生的。我甚至也不是说这一定会发生，因为这里有重要的安全和政府层面的问题，我们正在非常积极地处理。我只是说，如果任其自行发展，这就是经济会做的事。

Dwarkesh Patel (00:34:23 - 00:34:42)：

我们马上会谈到那些问题。但你怎么看 Anthropic 对这个行业规模扩大所起的作用？有一种论点认为，有了这些投资，我们可以在 Anthropic 研究安全问题；另一种则认为，你们在总体上提高了这个领域的关注度。

Dario Amodei (00:34:42 - 00:35:34)：

这都是成本与收益的权衡。成本不是零。思考这类事情的成熟方式，不是否认存在任何成本，而是去思考成本是什么、收益是什么。我认为我们相对来说是负责任的，因为去年年底和今年年初出现的那次大加速，不是我们造成的。那不是我们做的。

老实说，如果你看谷歌的反应，那可能比其他任何东西都重要十倍。而一旦这件事发生了，一旦生态系统改变了，我们就做了很多事情来留在前沿。

这和其他任何问题一样。你是在尝试做成本最低、收益最大的事情，这会让你在不同时期采取不同的策略。

Dwarkesh Patel (00:35:34 - 00:36:02)：

在我们谈智能这些话题的时候，我有一个问题：作为科学家，你怎么看这样一个事实——这些东西基本上记住了整个人类知识库，却没能做出哪怕一个带来发现的新联系？

而如果一个哪怕只是中等聪明的人记住了这么多东西，他们会注意到——哦，这个东西会引起这种症状。另一个东西也会引起这种症状。这里就有一种医学疗法。

我们难道不该期待这类事情吗？

Dario Amodei (00:36:02 - 00:38:05)：

我不确定。这些词：发现。创造力。我学到的教训之一是，在那一大团算力之中，这些概念往往会变得模糊、难以捉摸、难以追踪。

但我认为这里确实有点东西。模型确实表现出一种普通的创造力。比如，按 Cormac McCarthy 或芭比的风格写一首十四行诗。这里面是有一些创造力的，而且它们确实会建立新的联系，就是普通人会建立的那种联系。

我同意你的看法，目前还没有任何“重大”的科学发现。我认为这是多种因素的混合，其中之一就是模型的技能水平还不够高。上周我上了一档播客，主持人说：“我不知道，我玩过这些模型。它们有点平庸。能拿个 B 或 B 减。”

这会随着规模化而改变。

我确实认为有一个有趣的点：模型有一个优势，就是它们知道的比我们多得多。那么即使它们的技能水平不是很高，难道不是已经应该有优势了吗？也许这就是你想说的。

我对此并没有真正的答案。看起来记忆、事实和建立联系，确实是模型领先的领域。我也确实认为，也许你既需要这些联系，也需要相当高水平的技能。

尤其在生物学领域，不管好坏，生物学的复杂性使得当前的模型现在就已经知道很多东西，而这正是做出发现和建立联系所需要的。它不像物理学，你需要思考并推导出一个公式。在生物学里，你需要知道很多东西。所以我确实认为，模型知道很多东西，而它们的技能水平还不够高，不足以把这些东西整合起来。

我认为它们正处在能够把这些东西整合起来的临界点上。

38:05Dwarkesh Patel (00:38:05 - 00:38:25)：

就这一点。上周在你的参议院证词中，你说这些模型再过两到三年，就有可能使大规模生物恐怖袭击成为可能。你能把这说得更具体一些吗？当然不要给出会加快这件事的那种信息。是一次性（one shot）就能给出如何把某样东西武器化，还是你得对一个开源模型进行微调？实际上会是什么样子？

Dario Amodei (00:38:24 - 00:40:48)：

我认为澄清一下会有好处，因为我们发了一篇博客文章，也做了参议院证词，而有些人没有理解要点，或者没有理解我们做了什么。

今天你可以向模型询问各种关于生物学的问题，让它们说出各种吓人的话，但这些吓人的话往往是你用谷歌就能查到的，所以我对此并不特别担心。我认为这实际上妨碍了人们看到真正的危险，比如有人说——哦，我让这个模型告诉我一些关于天花的事，它就告诉我了。

那其实不是我所担心的。我们花了大约六个月，与世界上最顶尖的专家合作，研究生物攻击是如何发生的、实施这样的攻击需要什么、以及我们如何防御这样的攻击。

他们非常深入地研究了试图做坏事的整个工作流程。这不是一步到位，而是一个漫长的过程，其中有许多步骤。不是我向模型要了这一页信息就行了。同样，在不涉及任何细节的情况下，我在参议院证词里说的是：有些步骤，你可以直接在谷歌上获得信息。有些步骤，是我所说的缺失环节。它们分散在一堆教科书里，或者根本不在任何教科书里。它们更像是隐性知识，而不是显性知识。更像是，我得执行这个实验室流程，如果我做错了怎么办？哦，如果出现这种情况，那就是我的温度太低了。如果出现那种情况，我就需要多加一点这种特定的试剂。

我们发现，在大多数情况下，那些关键的缺失环节，模型目前还做不到，但我们发现它们有时能做到，而且当它们能做到的时候，有时仍然会产生幻觉，这正是让我们保持安全的原因。但我们看到了足够多的迹象，表明模型把那些关键环节做得不错。如果我们看最先进的模型，再往回看之前的模型，看这一趋势，一切迹象都表明，两三年后我们将面临一个真正的问题。

Dwarkesh Patel (00:40:48 - 00:40:53)：

是的，尤其是你提到的对数尺度上的那一点。它从一百次里对一次，到十次里对一次，再到……

Dario Amodei (00:40:54 - 00:41:17)：

没错。我这辈子见过很多这样的“顿悟”（grok）。我亲眼看着 GPT-3 学会做算术，GPT-2 学会做略高于随机水平的回归，Claude 在所有这些有用、诚实、无害的测试上变得更好。我见过很多次顿悟。遗憾的是，这一次不是我感到兴奋的那种，但我相信它正在发生。

Dwarkesh Patel (00:41:17 - 00:41:42)：

有人可能会说，听着，你是 OpenAI 发布的那篇关于 GPT-2 的文章的合著者，文章里说，我们不打算发布权重或这里的细节，因为我们担心这个模型会被用于坏事。而现在回头看，认为 GPT-2 能做任何坏事简直可笑。我们是不是太过担心了？这种担忧说不通吗？

Dario Amodei (00:41:42 - 00:43:35)：

这很有意思。也许值得回头看看那篇文章的实际文字。我记不太清楚了，但它仍然在互联网上。大意是，我们选择不发布权重，是因为担心被滥用。但它同时也说，这是一次实验。我们不确定此时这样做是否必要或正确，但我们希望确立一种对这些事情认真思考的规范。你可以把它想成有点像 20 世纪 70 年代的阿西洛马会议（Asilomar conference），当时人们刚开始摸索重组 DNA。当时并不一定有人能用重组 DNA 做出真正糟糕的事情，只是各种可能性开始变得清晰了。至少这些话体现的是正确的态度。

现在我认为还有一件不同的事，就是人们不只是评判那篇文章，他们还评判那个机构。这是一个制造大量炒作的机构，还是一个有信誉的机构，诸如此类。所以这对结果有一些影响。我想你也可以问，是不是不可避免地，你传达不出比“这个东西很危险”更复杂的信息。

你可以对这些争论，但我认为，我脑子里的基本想法，以及参与那件事的其他人脑子里的想法，也是那篇文章中显而易见的，就是：我们其实不知道。对什么是危险的、什么不是，我们的误差范围相当大，所以我们想确立一种谨慎的规范。

顺便说一句，我们现在有了多得多的证据。我们现在见到了多得多的这类顿悟，所以我们的校准是良好的，但仍然存在不确定性。在我说过的所有这些表述里，是两三年后我们可能到达那一步。这有相当大的风险，我们不想冒这个险。但我不会说是 100%。也可能是五五开。

43:35Dwarkesh Patel (00:43:35 - 00:43:49)：

好，我们来谈谈网络安全，它与生物风险一起，是 Anthropic 一直在强调的另一件事。你们是怎么避免 Claude 的微架构泄露的？因为，如你所知，你们的竞争对手在这类安全方面就没那么成功。

Dario Amodei (00:43:49 - 00:45:10)：

我无法评论别人的安全措施，也不知道他们内部是什么情况。我们做过的一件事是这样的：有一些架构上的创新能让训练更高效。我们称之为算力乘数（compute multiplier），因为它们相当于拥有了更多算力。

关于我们的算力乘数，我不想说太多，因为这可能让对手能够抵消我们的措施，但我们把知道某个特定算力乘数的人限制在需要知道它的人范围内。

所以能泄露所有这些秘密的人非常少。能泄露其中某一个的人多一些。但这就是情报界或抵抗组织的小单元等地方使用的标准分隔化（compartmentalization）策略。过去几个月里我们实施了这些措施。我不想说“哦，这种事绝不可能发生在我们身上”而乌鸦嘴，但我认为它发生的难度会更高。更多细节我不想再讲了。

顺便说一句，我鼓励所有其他公司也这样做。竞争对手的架构泄露，虽然在狭义上对 Anthropic 有帮助，但从长远看对谁都不好。围绕这些东西的安全真的很重要。

Dwarkesh Patel (00:45:10 - 00:45:17)：

以你们目前的安全水平，你们能阻止一个志在必得的国家级行为者拿到 Claude 2 的权重吗？

Dario Amodei (00:45:17 - 00:46:28)：

这取决于对方有多志在必得。我们的安全负责人曾在 Chrome 做安全工作，Chrome 是一个使用极其广泛、也经常被攻击的应用，他喜欢这样思考：成功攻击 Anthropic 要花多少成本？我同样不想详细说我认为攻击要花多少成本，那只会招来人。我们的目标之一是，攻击 Anthropic 的成本要高于自己训练一个模型的成本。这并不能保证什么，因为当然你还需要人才，所以他们仍然可能这么做，但攻击是有风险的，有外交成本，而且会耗费国家级行为者本就非常稀缺的、用于发动攻击的资源。

顺便说一句，我们还没做到这一点。但我认为，与我们这样规模的公司相比，我们的安全标准非常高。如果你看大多数 150 人规模公司的安全，根本没法比。但如果窃取我们的模型权重是某个国家级行为者的头号优先事项，我们能抵挡住吗？不能。他们会得手。

Dwarkesh Patel (00:46:29 - 00:46:59)：

这种情况会持续多久？因为到某个时候，价值会不断增加再增加。这个问题的另一部分是，训练 Claude 3 或 Claude 2 的方法是一种什么样的秘密？

比如核武器，我们有大量间谍。你只要带出内爆装置的蓝图，就拿到了所需的一切。这里是不是更偏隐性，像你谈到的生物学那样？你需要知道这些试剂是怎么起作用的？还是说就像你拿到了蓝图、拿到了微架构和超参数就行了？

Dario Amodei (00:46:59 - 00:47:19)：

有些东西就是一行公式，有些则更复杂。我认为分隔化是最好的办法。就是限制知道某件事的人数。如果你是一家 1000 人的公司，而每个人都知道每一个秘密，那么第一，我保证你有泄密者；第二，我保证你有间谍。

47:19Dwarkesh Patel (00:47:19 - 00:47:45)：

好，我们来谈谈对齐，谈谈机制可解释性，这是你们专攻的分支。在回答这个问题时，你也许可以解释一下什么是机制可解释性。

更大的问题是，从机制上说，对齐到底是什么？是把模型锁定在一种仁善的性格上？是禁用具有欺骗性的回路和过程？当你对齐一个模型时，具体发生了什么？

Dario Amodei (00:47:45 - 00:48:29)：

和大多数事情一样，当我们真的训练一个模型去对齐时，我们并不知道模型内部发生了什么。有不同的训练方式可以让它对齐，但我们并不真正知道发生了什么。当前所有涉及某种微调的方法，当然都有这样一个性质：我们可能担心的那些底层知识和能力并不会消失。模型只是被教会了不要输出它们。我不知道这是不是一个致命缺陷，还是事情本来就只能如此。我不知道内部在机制上发生了什么，而我认为这正是机制可解释性的全部意义所在：在单个回路的层面上，真正理解模型内部发生了什么。

Dwarkesh Patel (00:48:29 - 00:48:40)

最终，当它被解决时，解决方案会是什么样子？如果你是 Claude 4，你做完机制可解释性分析之后说，我满意了，它是对齐的，那是看到了什么才会这样说？

Dario Amodei (00:48:40 - 00:51:53)

我们的了解还不足以回答这个问题。我可以给你勾勒的是过程会是什么样子，而不是最终结果会是什么样子。可验证性是这里很大一部分挑战所在。我们有所有这些号称能对齐 AI 系统的方法，而且在今天的任务上确实做到了。

但问题总是：如果你有一个更强大的模型，或者模型处在不同的情境中，它还会是对齐的吗？如果你有一个神谕（oracle），能直接扫描一个模型然后说，好，我知道这个模型是对齐的，我知道它在每种情境下会做什么，这个问题就会容易得多。

我认为我们手头最接近那种东西的，就是类似机制可解释性的东西。它离胜任这个任务还差得很远。但我想我会说，我几乎把它看作一种扩展的训练集和扩展的测试集。我们所做的一切，所有的对齐方法，都是训练集。你可以在它们里面运行测试，但它真的能推广到分布之外吗？它在另一种情境下真的有效吗？

机制可解释性是唯一一个——哪怕只是原则上——更像给模型拍 X 光片，而不是修改模型的东西。它更像一种评估，而不是一种干预。我们需要以某种方式进入这样一种动态：我们有扩展的训练集，也就是所有这些对齐方法；还有扩展的测试集，有点像给模型拍 X 光片，然后说，好，什么起作用了，什么没有？这种方式超越了你所运行的那些经验性测试，在那些测试里你问的是：模型在这些情境下会做什么？而不是现象上它做了什么，而是它的能力范围内有什么可以做。

当然，我们对此必须小心。我认为非常重要的一点是，我们永远不应该为了可解释性去训练，因为那会夺走这一优势。你甚至会遇到类似验证集与测试集的问题：如果你看 X 光片的次数太多，就可能产生干扰。我们应该担心这一点，但那是一个弱得多的过程，不是自动化优化。我们只需要确保，就像对待验证集和测试集那样，在运行测试集之前不要多次查看验证集。但再说一遍，那是人为的压力，而不是自动化的压力。

所以，一种解决方案是，在训练集和测试集之间形成某种动态：我们尝试各种东西，并通过某种测试方式真正弄清楚它们是否有效，而这种测试方式是模型没有针对其进行优化的，是某种正交的方式。

我认为我们永远不会有保证，但存在这样一种过程：我们把这些事情一起做。以某种真正管用的方式，把针对对齐能力的扩展训练与针对对齐能力的扩展测试结合起来。而且不是用愚蠢的方式，因为有很多愚蠢的做法，只会让你自己骗自己。

Dwarkesh Patel (00:51:53 - 00:52:37)

我仍然觉得我没有理解，你为什么认为这很可能行得通，或者说这值得追求。让我换一种更具体的方式来问，请原谅这个别扭的类比。

如果你是一位经济学家，想了解经济，你会派出一大批微观经济学家出去。其中一个研究餐饮业如何运作，一个研究旅游业如何运作，一个研究烘焙业如何运作。到最后，他们都聚到一起，你仍然不知道五年后会不会有衰退。

为什么这件事不像那样？你了解归纳头（induction heads）在两层 Transformer 里是怎么工作的，我们理解了模算术。这怎么能加起来变成——这个模型想杀死我们吗？这个模型从根本上想要什么？

Dario Amodei (00:52:37 - 00:54:55)

关于这个有几点。这是该问的一组正确问题。我认为我们最终所希望的，不是理解每一个细节，我还是会用 X 光或核磁共振（MRI）的类比。我们可以处在这样一个位置：能够看模型的宏观特征，然后问，这个模型的内部状态和计划，是否与它对外呈现出要做的事情非常不同？这个模型是否让我们不安，因为它的计算能力有太大一部分被用来做看起来相当具有破坏性和操纵性的事情？

我们不能确定这是否可能，但至少有一些积极的迹象表明它可能是可能的。同样，模型并不是有意在对你隐藏，但也许结果是训练过程把它对你隐藏了起来。我能想到这样的情形：如果模型真的超级聪明，它的思考方式会影响它自己的认知。我们应该思考这一点，应该考虑所有情形。我怀疑，把模型当作按正常方式训练、只是达到了超越人类水平来看待，大致上可能行得通。你应该检验这一点，但这可能是一个合理的假设：模型的内部结构并没有在有意地针对我们进行优化。

我拿人类来类比。实际上，看一个人的核磁共振图像，就能以高于随机的概率预测他是不是精神病态者（psychopath）。几年前确实有过一个故事，说一位神经科学家在研究这个，然后他看了自己的扫描图，发现自己是个精神病态者，结果他生活里的每个人都说——不，这很明显。你就是个彻头彻尾的混蛋。你肯定是精神病态者。而他自己完全没有意识到。

基本的想法是，可以存在这些宏观特征，精神病态者大概是个很好的类比，这就是我们所害怕的：一个表面上很迷人、非常目标导向、内心却非常阴暗的模型。表面上，他们的行为可能看起来像别人的行为，但他们的目标却非常不同。

Dwarkesh Patel (00:54:55 - 00:55:25)

有人可能会问：你们是在凭经验估计这些激活是否可疑，但这是我们能承担靠经验来判断的事吗？还是说，我们需要一个非常好的第一性原理的理论理由来认为——不，不只是这些模型的核磁共振图像与坏的特质相关。我们需要某种根深蒂固的数学证明，证明这是对齐的。

Dario Amodei (00:55:25 - 00:56:39)

这取决于你说的“经验”是什么意思。更好的词是现象学的（phenomenological）。我不认为我们应该纯粹是现象学的，比如，这里是一些非常危险的模型的脑部扫描，那里是另一些脑部扫描。机制可解释性的全部想法，就是去看底层的原理和回路。

但我想我的思考方式是这样的：一方面，我一直都支持在尽可能最低的细节层面研究这些回路。原因是，这就是你积累知识的方式。即便你最终的目标是——这些特征太多了，太复杂了——归根结底，我们是想构建某种宏观的东西，想构建某种宏观的理解。我认为你构建它的方式，就是努力做出大量这类非常具体的发现。你必须理解基本构件，然后再弄清楚如何利用它来得出这些宏观结论，即使你不可能把一切都弄清楚。

你也许应该去跟 Chris Olah 聊聊，他会有详细得多的内容。他掌管可解释性的议程。他是决定可解释性方向做什么的人。我这是高层面的想法，不会有他的那么好。

Dwarkesh Patel (00:56:39 - 00:56:46)

对 Anthropic 的看多理由，是否依赖于机制可解释性对提升能力（capabilities）有帮助这一点？

Dario Amodei (00:56:46 - 00:57:43)

我认为完全不依赖。我认为原则上机制可解释性有可能对提升能力有帮助。如果真是那样，我们可能出于各种原因选择不谈论它。

那不是我或我们任何人在 Anthropic 创立时所想到的。我们把自己看作擅长扩大模型规模、并擅长在这些模型之上做安全工作的人。我们认为我们在擅长这些的人才上有非常高的人才密度。我的观点一直是，人才密度胜过人才总量。这更像是我们的看多理由。人才密度胜过人才总量。

我不认为这取决于某一件特定的事情。现在其他人也开始做机制可解释性了，我对此非常高兴。我们的变革理论（theory of change）的一部分，矛盾的是，就是让其他组织变得更像我们。

57:43Dwarkesh Patel 00:57:43 - 00:57:58)

我相信人才密度很重要，但 Anthropic 强调的另一件事是，你需要拥有前沿模型才能做安全研究。当然，实际上还要作为一家公司存在。

有人可能会猜测，当前的前沿模型，GPT-4、Claude 2，成本大约是一亿美元之类的……

Dario Amodei (00:57:58 - 00:58:02)

这个大致的数量级，从非常宽泛的角度说，没有错。

Dwarkesh Patel (00:58:02 - 00:58:19)：

但两三年后，你说的那类东西，我们谈的是要跟上它需要越来越多个数量级。如果安全要求我们必须身处前沿，那么 Anthropic 要和这些巨无霸竞争以保持在同一量级上，这种情形是怎样的？

Dario Amodei (00:58:19 - 01:01:37)：

这是一个有很多权衡的局面。并不容易。也许我就一个一个回答这些问题吧。

回到为什么安全与规模如此紧密相连。有些人认为并非如此。但如果我只看安全方法在哪些领域被付诸实践，或者对某件事、任何事起了作用，即使我们并不认为它们总体上会有效。

我回想所有那些想法，比如辩论和放大。早在 2018 年，我们在 OpenAI 写这些论文的时候，想法是人类反馈不太行得通，但辩论和放大会把我们带到更远的地方。但如果你真正去看那些做辩论的尝试，我们实际上受限于模型的质量。要让两个模型进行一场足够连贯、人类能够评判的辩论，从而让训练过程真正奏效，你需要的模型要达到或者在某些主题上甚至超过当前的前沿。你可以不在前沿就想出方法、想出点子，但对我来说，那只占需要做的事情中很小的一部分。想出这些方法非常容易。想出“哦，问题是 X，也许解决办法是 Y”也非常容易。

我真的想知道这些东西在实践中是否有效，哪怕是对我们今天拥有的系统，我也想知道它们会出什么样的问题。我就是觉得，通过在实践中尝试这些，你会发现十个新想法，以及十种新的出错方式。我认为这种经验性学习没有得到应有的广泛理解。

对于像 Constitutional AI 这样的方法，我也会说同样的话。有些人说，哦，这不重要。我们知道这个方法行不通，它对纯粹的对齐没用。我对此既不同意也不反对。我认为那有点过度自信了。我们发现新事物、理解什么行得通什么行不通的结构，靠的是不断摆弄这些东西。并不是说我们应该盲目地认为，哦，这个在这里管用，所以在那里也会管用。而是你真的会开始理解其中的规律，就像规模化定律那样。

即使是机制可解释性——这也许是我看到的唯一一个无需前沿模型就取得了大量进展的领域——我们在 OpenAI 几个月前发布的工作中也看到，用非常强大的模型来帮助你自动解释较弱的模型。当然，这并不是可解释性方面你能做的全部，但它是很大的一个组成部分，我们也发现它很有用。

所以你会一再看到这种现象：规模化和安全就像是两条缠绕在一起的蛇，总是比你想的还要缠得紧。即使是可解释性，三年前我也没想到这一点会这样适用于可解释性，但不知怎么它还是成立了。为什么？因为智能是有用的。它对很多任务有用。它有用的任务之一，就是弄清楚如何判断和评估其他智能，也许有一天甚至用来做对齐研究本身。

Dwarkesh Patel (01:01:37 - 01:01:44)：

既然这些都是真的，那么当两三年后，这些巨无霸在做 100 亿美元的训练时，这对 Anthropic 意味着什么？

Dario Amodei (01:01:44 - 01:03:36)：

第一个选择是，如果我们做不到，或者留在前沿的成本太高，那我们就不该做，我们就不与最先进的模型合作，看看用不那么先进的模型能做到什么。在那里你可以得到一些非零的价值，但我怀疑这些价值是否真的那么高，或者学习的速度是否能快到足以真正支持这项任务。

第二个选择是你想办法做到。你就接受这些权衡。而这些权衡比表面看起来更积极，原因是我称之为“向上竞争”（Race to the Top）的一种现象。我可以稍后再展开，但现在先放一放。

第三个现象是，当事情达到那个规模时，它可能恰好与开始出现非微不足道的、极其严重的危险概率同时发生。我认为这首先会来自滥用，也就是我谈到的生物风险之类的东西。我认为我们还没有达到足以让我们担心两年内出现某些对齐问题的自主性水平，但这可能一点也不会落后太远。这可能会导致单方面的、多方面的或政府强制的决定，不要尽可能快地扩大规模，这是我们支持的。那最终可能是正确的做法。我希望事情朝这个方向发展，这样我们就不必面对这种艰难的权衡：一边是我们不在前沿，没法按我们想要的程度做研究或影响其他机构；另一边是我们在前沿，必须接受那些净收益为正、但两个方向上都有很多代价的权衡。

65:30Dwarkesh Patel (01:03:36 - 01:03:48)：

关于滥用与失准（misalignment），正如你提到的，两者都是问题，但从长远来看，比如 30 年后，你认为哪一个会被视为更大的问题？

Dario Amodei (01:03:48 - 01:04:19)：

我认为用不了 30 年。我两个都担心。如果你有一个理论上能自己接管世界的模型，而你能够控制该模型，那么推论非常简单：如果模型遵循的是一小部分人的意愿而不是其他人的意愿，那么这些人就可以用它代表自己接管世界。失准这个前提本身就意味着，我们也应该担心滥用，后果的严重程度是相似的。

Dwarkesh Patel (01:04:20 - 01:04:40)：

但一些比你更悲观的人会说——你已经在朝着乐观情景努力了，因为你至少已经想出了如何让模型与坏人对齐。现在你只需要确保它是与好人对齐的。

你为什么认为你能达到与坏人对齐的地步？你还没有解决这个问题啊。

Dario Amodei (01:04:40 - 01:05:41)：

我想，如果你认为对齐是完全无法解决的，那你就会说，反正我们都会死，所以我不用担心滥用。这完全不是我的立场。

但你也应该从什么样的计划才能真正成功、才能让事情变好的角度来想。任何真正成功的计划，无论失准有多难解决，都需要同时解决滥用和失准。

随着 AI 模型越来越快地变得更好，它们会在国家之间的力量平衡上制造一个大问题。它们会在这样一个问题上制造大麻烦：单个个人是否有可能做出别人很难阻止的坏事？任何通向美好未来的真正解决方案，也都需要解决这些问题。如果你的观点是，我们完蛋了，因为我们解决不了第一个问题，所以别担心第二和第三个问题，那其实什么也没说。你应该担心第二和第三个问题。无论如何，它们都在我们的路上。

Dwarkesh Patel (01:05:42 - 01:05:45)：

是的。在我们成功的情景下，我们必须把它们全部解决。

Dario Amodei (01:05:45 - 01:05:48)：

我们应该为成功做计划，而不是为失败做计划。

Dwarkesh Patel (01:05:48 - 01:05:57)：

如果滥用没有发生，并且是合适的人拥有超人类模型，那会是什么样子？谁是合适的人？五年后究竟是谁在控制这个模型？

Dario Amodei (01:05:57 - 01:06:51)：

我的看法是，这些东西强大到，我认为需要某种政府或政府机构联合体的大量参与。这有非常天真的版本。我不认为我们应该直接把模型交给联合国，或者碰巧在任的某个人。我能想象那会进展不顺。但它太强大了。需要有某种合法的流程来管理这项技术，其中包括开发者的角色，包括民选当局的角色，也包括所有将受其影响的个人的角色。归根结底，需要有某种在政治上具有合法性的流程。

Dwarkesh Patel (01:06:51 - 01:07:00)：

但那是什么样子？如果不是直接交给当时的总统，这个机构会是什么样？

Dario Amodei (01:07:00 - 01:07:31)：

这些事情真的很难提前知道。人们喜欢提出这些宏大的方案，说，哦，我们应该这样做。老实说，事实是我们是边走边摸索的。我认为我们应该在这项技术较弱的版本上尝试各种东西、做实验。我们需要及时想清楚这一点。但这也确实不是你能提前知道的那种事情。

Dwarkesh Patel (01:07:31 - 01:07:41)：

你们有长期利益信托（long term benefit trust）。它将如何与这个机构衔接？它本身就是那个机构吗？

Dario Amodei (01:07:41 - 01:08:14)：

我认为长期利益信托要窄得多。它是为 Anthropic 做决定的东西。它基本上是一个机构。最近一篇 Vox 的文章对它有过描述。今年晚些时候我们会再多谈一些。但它基本上是一个随着时间推移，获得任命 Anthropic 董事会多数席位能力的机构。它是由 AI 对齐、国家安全和一般慈善领域的专家组成的混合体。

Dwarkesh Patel (01:08:14 - 01:08:22)：

如果 Anthropic 拥有 AGI，而 Anthropic 的控制权又交给了他们，这难道不意味着 AGI 本身的控制权也交给了他们吗？

Dario Amodei (01:08:22 - 01:09:06)：

这并不意味着 Anthropic 或任何其他实体应该是代表人类对 AGI 做决策的那个实体。我会把这些看作不同的事情。如果 Anthropic 确实扮演了广泛的角色，那你就会想把那个机构扩大到包括来自世界各地的许许多多不同的人。或者你也可以把它理解得非常狭窄，然后在某个地方有一个广泛的委员会，代表任何人管理所有公司的所有 AGI。

我不知道。我的观点是，你不应该过度建构、过于乌托邦。我们面对的是一个新问题。我们现在就需要开始思考，哪些政府机构和结构能够应对它。

69:06Dwarkesh Patel (01:09:06 - 01:09:26)：

好，那我们先不谈治理。我们来谈谈事情顺利会是什么样子。

显然，有些事情我们都能同意：治愈所有疾病，解决所有欺诈——所有人都会说“这个我赞成”的事情。但现在是 2030 年。你已经解决了所有大家都同意的真正的问题。接下来会发生什么？我们要拿一个超人类的上帝做什么？

Dario Amodei (01:09:26 - 01:10:24)：

我其实想反对这类说法的框架。当有人说，你打算拿一个超人类 AI 做什么，我会感到紧张。过去 150 年里，我们在市场和民主方面学到了很多东西：每个人可以为自己定义对自己而言拥有人类体验的最佳方式，而社会则以这种非常复杂且去中心化的方式形成规范、确定自己所看重的东西。

如果你有这些安全问题，那可能是一个理由，说明在我们解决这些问题之前，需要政府有一定程度的集中控制。

但就“我们已经解决了所有问题，现在我们怎么让事情变好”而言，我认为大多数人、大多数群体、大多数一开始就说“让我们坐下来想一想美好生活的定义是什么”的意识形态，最终都导致了灾难。

Dwarkesh Patel (01:10:24 - 01:10:34)：

但你设想的这种宽容、自由、民主、市场导向并拥有 AGI 的体系是怎样的？每个人有自己的 AGI？那意味着什么？

Dario Amodei (01:10:34 - 01:11:05)：

我不知道。我不知道它会是什么样子。我想我要说的是，我们需要解决重要的安全问题和重要的外部性。这些可能只是狭义上关于对齐，也可能有一堆超级复杂、我们解决不了的经济问题。在满足这些前提的情况下，我们应该思考过去什么行得通。总的来说，关于什么是美好生活的统一愿景，从来都没有很好地奏效过。

71:05Dwarkesh Patel (01:11:05 - 01:11:30)：

在事情顺利或好人掌控 AI 的另一面，我们也许该谈谈中国，把它作为这个领域的一个潜在行为者。

首先，你曾在百度，也看到了 AI 总体上的进展，你为什么认为中国人表现不佳？百度多年前有一个规模化定律小组。还是说这个前提是错的，只是我不了解那里正在发生的进展？

Dario Amodei (01:11:30 - 01:12:26)：

那个规模化定律小组，是我们做语音工作的一个分支，所以那里仍然有一些人，但那基本上是一个美国化的实验室。我在那里待了一年。那是我第一次涉足深度学习。它由 Andrew Ng 领导。我从来没去过中国。它就像一个美国实验室。那在某种程度上是脱节的，尽管那是一家中国实体试图进入这场游戏的一次尝试。

从那以后，我觉得他们可能一直非常注重商业化，没有那么关注规模化定律这类基础研究。我确实认为，由于 11 月前后 ChatGPT 发布引发的所有热潮，这对他们来说也是一声发令枪。他们现在正非常积极地努力追赶。

我认为美国目前大幅领先，但他们正在拼命追赶。

Dwarkesh Patel (01:12:26 - 01:12:32)：

你认为中国如何看待 AGI？他们是否在考虑安全和滥用问题？

Dario Amodei (01:12:32 - 01:13:21)：

我其实没什么概念。有一种担忧是，有人会说，中国不会去开发 AI，因为他们喜欢稳定，或者他们会设置各种限制，确保一切符合中共的要求。这在短期内、在消费级产品上也许是对的。我的担心是，如果根本的动机是国家安全和权力，那这一点迟早会变得明显。如果他们把这看作国家力量的来源，他们至少会去尝试最有效的做法，而这可能把他们引向 AGI。

Dwarkesh Patel (01:13:10 - 01:13:21)：

假设他们拿到了你们的蓝图或者代码库之类的东西，他们有可能自己建起一个在前沿水平上能与美国领先公司竞争的实验室吗？

Dario Amodei (01:13:21 - 01:14:12)：

我不知道会不会很快，但我对此很担心。这就是我们如此重视网络安全的原因之一。我们和云服务提供商合作过。我们发过一篇关于安全的博客文章，里面说我们对模型权重的访问采用双密钥系统。我们还采取了其他措施，或者正在考虑采取其他措施，这些我们还没有公布。我们不想让对手知道，但我们乐意大致谈谈。

顺便说一句，我们现在做的这一切，对一个非常坚决的国家级行为者来说，还远远不够。我认为它能防住大多数攻击，也能防住决心没那么大的国家级行为者。但我们还有很多事情要做，其中一些可能需要在如何做安全方面进行新的研究。

Dwarkesh Patel (01:14:12 - 01:14:35)：

我们来谈谈到那个阶段需要什么。我们现在在 Anthropic 的办公室，这里安保不错。我们进来都得刷工牌之类的。但最终建造 AGI 的那座大楼、地堡或者随便什么，会是什么样子？是旧金山市中心的一栋楼，还是在内华达或亚利桑那的荒漠中间？到什么时候你们要搞成洛斯阿拉莫斯那样？

Dario Amodei (01:14:36 - 01:15:11)：

曾经有个流传的玩笑，说建造 AGI 的样子会是：一个数据中心旁边是一座核电站，再旁边是一个地堡，我们所有人都住在地堡里，一切都在本地，这样就不会联网。

如果我们认真看待这一切发生的速度（这一点我无法确定），那确实让我觉得类似的事情可能会发生，不过也许不会那么漫画化。

75:11Dwarkesh Patel (01:15:11 - 01:15:21)

你认为对齐问题能在多长的时间尺度上解决？如果这些模型在两到三年内就在某些方面达到人类水平，那它们到什么时候才算对齐了？

Dario Amodei (01:15:21 - 01:17:34)

这是个非常难回答的问题，因为我其实认为人们常常是用错误的方式在思考对齐。有一种普遍的感觉，好像模型是失准的，或者有一个对齐问题需要解决，就像总有一天我们会攻克黎曼猜想那样。我不太认为是这样。这并不意味着更糟或更好，它可能同样糟糕，也同样难以预测。

当我想自己为什么害怕时，我会想到几件事——其一，真正很难反驳的一点是：会出现强大的模型，它们会是能自主行动的（agentic）。我们正在朝它们走去。如果这样的模型想大肆破坏、毁灭人类之类的，我们基本上没有能力阻止它。如果现在还不是这样，那么随着模型规模扩大，总有一天会到这一步。所以这一点似乎肯定成立。

第二件似乎成立的事是，我们似乎不擅长控制这些模型。不是说在某个特定方面，而是它们只是统计系统，你可以问它们一百万件事，它们会回答一百万种内容。而你可能没想到第一百万零一件事，它会做出疯狂的举动。或者，你以一种非常抽象的方式训练它们，你可能并不理解它们对这种训练会做出的所有后果。我们见过的最好的例子是 Bing 和 Sydney。我不知道他们是怎么训练那个模型的，也不知道他们做了什么才让它做出那些怪事，比如威胁人，还有那种奇怪的执迷人格。但它表明，我们可能得到与我们的意图非常不同、甚至可能相反的东西。

我其实认为第一条和第二条事实就足以让人真正担忧了。你不需要那些关于趋同工具性目标或者与进化类比的详细论述。对我来说，一和二就已经很有说服力：好，这东西会很强大，它可能毁灭我们，而我们到目前为止造出的所有模型，都有相当大的风险会干出一些我们不理解的莫名其妙的烂事。

Dwarkesh Patel (01:17:34 - 01:17:57)：

如果你说两到三年内我们会得到能造生物武器之类、可能很危险的东西，那么你们的研究议程，包括机制可解释性、宪法式 AI 和其他 RLHF 之类的工作，能在两到三年内对防止这种情况起到实质性作用吗？

Dario Amodei (01:17:57 - 01:21:04)：

人们会谈论“默认注定毁灭”或者“默认就是对齐的”。我觉得它可能有点像是统计性的。对于当前的模型，你可能得到 Bing 或 Sydney，也可能得到 Claude。如果我们把现有的理解搬到非常强大的模型上，你可能就处在这样一个世界里：你造出一个东西，取决于各种细节，也许它完全没问题。这并不是真正的默认对齐，只是取决于很多细节。如果你对所有这些细节都非常小心，并且清楚自己在做什么，你就能做对；但我们很容易搞砸，比如你弄错了某处，却没有意识到它和别的东西有关联。结果它没有让所有人类开心，反而想把他们变成南瓜，就是这种莫名其妙的怪事。因为这些模型太强大了，它们就像站在一片地貌中的巨人，如果它们开始随意挥舞手臂，就可能把一切都打碎。

我以这样的框架开头，是因为我不认为我们默认就是对齐的，也不认为我们默认注定毁灭、只有一个需要解决的问题。它有某种不同的性质。

我确实认为，希望在两到三年的时间尺度内，我们能更善于诊断模型什么时候好、什么时候不好。我们能增加更多训练模型的方法，让它们不太可能做坏事、更可能做好事，而且这种方法不只适用于当前的模型，还能随规模扩展。我们可以用可解释性作为测试集来帮助开发这些方法。我不认为是这样的：哦天哪，我们试了 RLHF，没用；我们试了宪法式 AI，没用；我们试了另一种东西，没用；我们试了机制可解释性；现在我们要试点别的。我认为那种“天哪，我们还没攻克这个问题，还没解出黎曼猜想”的框架并不太对。

即便是今天的系统，我们也不太擅长控制它们，而这样的后果可能非常糟糕。我们只是需要更多的办法，来提高我们控制模型、理解模型内部发生了什么的可能性。到目前为止，我们已经有了其中一些，但它们还不够好。不过我不认为这是二元的，要么行得通要么行不通。我们会开发出更多办法。我确实认为，在接下来的两到三年里，我们会开始一点点吃掉事情可能出错的那部分概率质量。就像在核心安全观点那篇论文里，有一个关于这个问题有多难的概率质量分布。

我觉得那样的表述方式其实也不太对，因为我不觉得这是个有待解出的黎曼猜想。更像是，现在如果我试着同时抛五个球之类的，我能抛三个球，这个我确实可以，但五个球我根本抛不了。你得练很多才行。如果我现在去抛，几乎肯定会掉。然后随着时间推移，你只是在控制这些球这项任务上越来越熟练。

Dwarkesh Patel (01:21:04 - 01:21:29)：

就那篇文章来说，你个人的概率分布是怎样的？为了听众说明一下，三种可能性是：一，用 RLHF++ 来对齐这些模型是很简单的；二，这是个困难的问题，但一家大公司能够解决；三，这基本上是目前人类文明无法解决的问题。如果我概括出了这三种，你对这三者的概率分布是怎样的？

Dario Amodei (01:21:29 - 01:21:44)：

我不太喜欢“你对 X 的概率分布是什么”这类问题。我认为这些情形每一种都有足够的可能性，应当被认真对待。我更感兴趣的问题是：我们能学到什么，从而在它们之间转移概率质量？

Dwarkesh Patel (01:21:44 - 01:21:45 )：

答案是什么？

Dario Amodei (01:21:45 - 01:23:09)：

我认为机制可解释性要做的事情之一，与其说是解决问题，不如说是告诉我们在尝试对齐模型时到底发生了什么。它基本上会教给我们这方面的知识。我能想象的一种得出“事情非常困难”结论的方式是：机制可解释性向我们表明，问题往往只是被转移到别处，而不是被消除，也就是你解决了一个问题，又制造出另一个。或者它可能启发我们，让我们洞察为什么问题会持续存在、难以根除或者不断冒出来。

要让我真正相信某些说法，比如“总是会有某个朝特定方向的趋同目标”，我觉得这种抽象的论述并非没有说服力，但我也并不觉得它真的很有说服力，我也不认为需要靠它来论证所有的安全工作。

但那种真正会让人觉得“天哪，我们解决不了这个”的东西，应该是我们在 X 光里亲眼看到它正在发生。我认为现在有太多的假设，对这一切将如何发展有太多过度自信。我给一种情形赋予了相当大的概率质量——这一切都出了错，成了彻头彻尾的灾难，但出错的方式和任何人预想的完全不同。

Dwarkesh Patel (01:23:09 - 01:23:25)：

再去问它怎么可能与任何人预想的不同，就有些离题了。

就这一点而言，什么信息是相关的？对齐 Claude 3 和下一代模型的难度有多大，这是很重要的信息吗？

Dario Amodei (01:23:25 - 01:24:07)：

我认为最担忧的人预测的是，所有低于人类水平的 AI 模型都将是可以对齐的，它们看起来会是对齐的，然后它们会以某种方式欺骗我们。这当然能给我们一些信息，但我对机制可解释性能告诉我们什么更感兴趣，因为，再说一次，你看到的是这种 X 光，说它不会撒谎就太绝对了，但至少在当前的系统里，它给人的感觉不是在与我们对着干地优化。它也有一些奇特的方式可能这样做。我不认为这里有什么是稳妥的赌注，但这是我们能得到的、最接近“没有在主动与我们对着干地优化”的东西。

Dwarkesh Patel (01:24:07 - 01:24:31)：

我们来谈谈除了机制可解释性之外，你们正在研究的具体方法。当我们谈到 RLHF 或宪法式 AI 时，如果用人类心理学的术语来说，发生的变化是什么？我们是在创造新的驱动力、新的目标、新的想法吗？模型在心理学层面上是如何变化的？

Dario Amodei (01:24:31 - 01:25:18)：

这些词都不足以描述正在发生的事情。对人类来说，这些词作为抽象概念有多大用处，也并不清楚。我认为我们没有语言来描述正在发生的事。再说一次，我很希望有那台 X 光，能往里面看，真正知道我们在谈论什么，而不是基本上在编造词语，而这正是我，也是你在问这个问题时所做的事。我们应该坦诚：我们其实对自己在谈论什么几乎没有概念。要是能说出“我们真正的意思是这里面的这条回路被打开了，而在我们训练模型之后，这条回路不再起作用或者变弱了”，那就太好了。要做到这一点，还需要大量工作。

Dwarkesh Patel (01:25:18 - 01:25:41)：

关于模型生物（model organisms），你之前暗示过，你们在做这些评估，看它们现在是否有能力做危险的事，而目前没有。你对实验室泄漏的情形有多担心？也就是说，在微调它，或者试图让这些模型表现出危险行为、比如制造生物武器的过程中，发生了某种泄漏，结果它真的造出了生物武器，而不是只告诉你它能造生物武器。

Dario Amodei (01:25:41 - 01:26:28)：

对于今天这些被动的模型，这没那么令人担心。如果我们要微调一个模型，我们会私下进行，并和专家合作，所以泄漏的情形会是：比如这个模型被开源了之类的。目前它主要还是一个安全问题。

就模型是否真正危险而言，我们确实必须担心：如果我们造出一个真正强大的模型，并试图弄清它是危险还是安全，那么可能更像是一次性的事情，存在模型接管一切的某种风险。控制这一点的主要办法，是确保我们所测试的模型的能力，不至于强到能够做到这件事。

Dwarkesh Patel (01:26:28 - 01:26:32)：

能力高到什么程度时，你会说，我连测试都不想测？

Dario Amodei (01:26:32 - 01:26:36)：

嗯，有不同的情况。有能力测试……

Dwarkesh Patel (01:26:36 - 01:26:40)：

但这本身就可能导致……如果你在测试它能不能自我复制，万一它真的复制了呢？

Dario Amodei (01:26:40 - 01:27:16)：

当然。但我认为你要做的是做外推。我们和 Arc 讨论过这一点。你以算力每翻一倍为一档，去看模型能不能做一些事，比如在 AWS 上开一个账户并为自己赚点钱。这些都是在野外完全自主生存的明显先决条件。把这些阈值设在远低于危险的位置，然后从那里往上推进，做越来越严格的测试，对自己所做的事情也越来越谨慎。

Dwarkesh Patel (01:27:16 - 01:27:29)：

说到宪法式 AI，谁来决定下一代模型或者某个可能超人类的模型的宪法？它实际上是怎么写出来的？

Dario Amodei (01:27:29 - 01:29:17)：

最初制定宪法时，我们只是拿了一些得到广泛认同的东西，比如联合国《人权宣言》，还有苹果服务条款里的一些内容。这些是关于什么话可以说、什么基本内容可以包含的共识性材料。

首先，对于未来的宪法，我们正在研究采用更具参与性的流程来制定。但除此之外，我不认为应该有一部所有人都使用的、适用于某个模型的宪法。模型的宪法应该非常简单，只应包含所有人都会同意的非常基本的事实。然后应该有很多可以定制的方式，包括追加宪法。再往后，我们还在开发新的方法。我并不认为单靠这个或者单靠那个就是我们将用来训练超人类 AI 的方法。能力训练的许多部分可能会不同，所以最终看起来可能会非常不一样。

还有更高的层次。对于“这是 AI 的宪法，它将来治理世界”这种想法，我相当不舒服。从社会如何运作、政治如何运作的常规经验来看，这在我看来是异想天开。

即使我们缓解了安全问题，任何美好的未来，哪怕它仍有我们需要解决的所有这些安全问题，最终也必须落在一种更加去中心化、不那么像神一样的超级存在的状态上。我只是不认为那种局面会有好结果。

89:18Dwarkesh Patel (01:29:18 - 01:29:26)：

曼哈顿计划的科学家中，你最尊敬哪一位？就是在他们所受的约束下，行为最合乎伦理的。有没有哪位让你想到？

Dario Amodei (01:29:26 - 01:30:45)：

我不知道。你可以给出很多答案。我肯定很欣赏 Szilard，他早早就想明白了这件事。后来他反对真正投下原子弹。我其实对这段历史了解得不够，没法对展示原子弹威力是否本可以结束战争发表意见。我是说，那涉及一堆关于日本帝国的复杂事实，我并不是这方面的专家。但是 Szilard，他很早就发现了这些东西，他把它保密，为其中一部分申请了专利，并交到了英国海军部手里。他在发现这些之外，似乎还表现出了恰当的那种意识。我读了那本书之后，写下那份“算力大块头”文档时，我只给很少几个人看，还有其他一些文档几乎没给任何人看。我多少受到了这件事的启发。

再说一次，我们都可能在这里自我膨胀。比如我们并不知道这最终是不是真的会成为与曼哈顿计划相当的事情。这一切也许只是硅谷的人在造技术，而且患上了妄自尊大的幻觉。我不知道结果会怎样。

Dwarkesh Patel (01:30:45 - 01:30:48)：

我是说，如果规模化这套东西是真的，那它比曼哈顿计划还要大。

Dario Amodei (01:30:48 - 01:30:56)：

是的，它确实可能更大。我认为我们应该始终保持这样的态度：自己骗自己真的太容易了。

Dwarkesh Patel (01:30:57 - 01:31:05)：

如果你是二战期间的一名物理学家，政府要求你为曼哈顿计划贡献不可替代的研究，你认为你会怎么说？

Dario Amodei (01:31:05 - 01:31:21)：

鉴于你正在与纳粹交战，如果这件事可行，我看不出有多少选择，只能去做。你得假定十年左右内总会有人把它做出来。

91:31Dwarkesh Patel (01:31:31 - 01:31:48)：

关于网络安全，有一大批科技公司采用的是普通科技公司的安全政策，而且并不明显有哪家被公开黑过。Coinbase 的比特币还在。据我所知我的 Gmail 也没有泄露过。

我们是否应该由此认为，当前科技公司的安全实践对 AGI 来说已经足够好，还是说只是还没有人足够努力地去攻击？

Dario Amodei (01:31:48 - 01:34:07)：

我很难评价当前科技公司的做法，当然也可能存在许多我们不知道的攻击，东西被偷走后被悄悄使用。我认为一个迹象是，当有人真的很在意要攻击某个目标时，攻击往往就会发生。

最近我们看到，美国政府一些相当高级的官员的电子邮箱账户通过微软被黑了。这些邮箱账户是微软提供的。想必这泄露了对外国对手极有价值的信息。

在我看来，至少证据更符合这样的情形：当某样东西的价值足够高时，就会有人出手，东西就被偷走。而我的担心是，随着 AGI 的到来，我们当然会进入一个其价值被视为极高的世界。那就会像是偷核导弹之类的事。在这方面怎么小心都不为过。

我工作过的每一个地方，我都在推动网络安全做得更好。我对网络安全的担忧之一在于，它不是你能大张旗鼓宣扬的东西。安全研究的一个好的动态是，你可以把公司带入一种动态，我认为我们已经做到了，让它们在做最好的安全研究上相互竞争，并把它作为招聘上的竞争点之类的。我们过去在可解释性方面一直这样做，然后迟早其他机构也意识到了其中的缺口，开始研究可解释性，不管这对它们之前是不是优先事项。

但在网络安全上很难这样做，因为你要做的很多事情必须悄悄进行。我们确实试着发过一篇相关的文章，但大多数时候你只能看到结果。一个好的规范是：人们看到公司发生网络安全泄漏，或者模型参数泄漏之类的，就会说它们搞砸了，这很糟糕。如果我是个做安全的人，我可能就不想在那里工作。

当然，我这话一说出口，我们明天可能就会出现安全漏洞。但这就是这里游戏的一部分，也是试图让事情变得安全的一部分。

Dwarkesh Patel (01:34:07 - 01:34:20)：

我想回到我们之前谈的那件事，也就是两到三年后所需要的最终网络安全水平，以及是否需要一个地堡。你真的预期两到三年后会待在一个实体地堡里，还是说那只是个比喻？

Dario Amodei (01:34:21 - 01:35:19)：

那是个比喻。我们仍在摸索。我会考虑的一件事是数据中心的安全，它可能和我们不在同一个物理位置，但我们已经非常努力地确保它在美国。但要保护实体数据中心和 GPU。如果有人下定决心，一些非常昂贵的攻击就是直接进入数据中心，试图直接偷数据，或者在数据从数据中心流向我们的过程中偷取。这些数据中心将不得不以一种非常特殊的方式来建造。按照现在规模扩大的方式，我们反正正走向这样一个世界：数据中心网络的造价堪比航空母舰。它们本来就将是相当不寻常的对象，而除了在互联起来训练巨大、巨大的模型的能力上不寻常之外，它们还必须非常安全。

Dwarkesh Patel (01:35:19 - 01:35:32)：

说到这个，有传言说为下一代模型获取电力和 GPU 很困难。为下一代模型获取所需的各种组件，这个过程是怎样的？

Dario Amodei (01:35:32 - 01:36:03)：

这方面我不能讲太多细节。我可以说的是，人们想到的是工业规模的数据中心，而人们没有想到这些模型很快将达到的规模。每当你在一个前所未有的规模上做某件事，每一个组件、每一样东西都必须用与以前不同的新方式去做。所以你可能会在出人意料地简单的组件上遇到问题。你提到的电力就是其中之一。

Dwarkesh Patel (01:36:03 - 01:36:06)：

这是 Anthropic 必须自己处理的事情，还是可以直接外包？

Dario Amodei (01:36:05 - 01:36:09)：

比如数据中心，我们是和云服务提供商合作的。

96:09Dwarkesh Patel (01:36:09 - 01:36:46)：

这些模型需要如此多的训练和整个互联网语料的数据，结果却还是低于人类水平，我们该怎么看这件事？

而 GPT-4，有估计说它大约是 10^25 次浮点运算之类的，这些数字你可以持保留态度，但有报告说，人脑从出生到 20 岁，模拟所有这些交互大约需要 10^14 次浮点运算的量级。

我们不必深究这些数字的细节，但我们是否应该担心这些模型看起来样本效率如此之低？

Dario Amodei (01:36:46 - 01:39:01)：

这是仍然悬而未决的谜团之一。一种说法是，如果按突触数量比较，模型可能比人脑小两到三个数量级，同时训练它们所用的数据却多了三到四个数量级。如果比较一个人成长到 18 岁所看到的词数，我记不清确切数字，但我想是几亿的量级，而对模型来说，我们说的是几千亿到几万亿。那么这该如何解释？这里有一些相互抵消的因素：模型更小，却需要多得多的数据，而且仍然低于人类水平。

与大脑的类比在某些方面不太对，或者正在失效，或者缺少某个因素。这就像物理学中，我们无法解释迈克尔逊—莫雷实验，或者十九世纪物理学的其他悖论之一。这是我们不太理解的一件事。人类看到的数据那么少，却依然表现良好。

对此的一种理论是，这可能和我们的其他模态有关。10^14 比特是怎么进入人脑的？其中大部分是图像，也许人脑内部发生的很多事情，我们的心智工作空间涉及的就是所有这些模拟出来的图像之类的。

但老实说，从智识上我们必须承认，这是一件对不上号的怪事。这也是我对生物类比有些怀疑的原因之一。五六年前我曾用这种方式思考，但现在我们已经有这些模型作为实物摆在面前，感觉从那里得来的几乎所有证据都已经被我们所看到的东西屏蔽掉了。我们所看到的是：模型比人脑小得多，却能做很多人类能做的事，同时又自相矛盾地需要多得多的数据。也许我们会发现某种能让一切变得高效的东西，或者我们会弄明白为什么存在这种差异，但归根结底，我认为这并不重要，对吧？只要我们继续按现在的方式扩大规模。我认为此刻更相关的，只是衡量模型的能力，看它们离人类还有多远，而在我看来它们离得并不太远。

Dwarkesh Patel (01:39:01 - 01:39:27)：

这种规模化的图景，以及更广义的“算力大块头”，是否低估了算法进步所起的作用？你写“算力大块头”的时候，想必说的是 LSTM，在那上面做规模化，是不会把你带到现在的 Claude 2 的。

你把 Transformer 这样的改进放在规模化这个标签之下，是不是低估了它在这里可能发挥的作用？

Dario Amodei (01:39:27 - 01:42:02)：

这份“算力大块头”文档我至今还没有公开，出于历史原因，也许我应该公开。我认为它不会告诉任何人他们现在还不知道的东西。但当我写它的时候，我其实是说，看，有七个因素，我并不是说这些就是全部因素，只是让我大致说明一下哪类东西重要、哪类不重要。也可能是九个，也可能是五个。但我说的那些东西是——参数数量很重要。模型规模很重要。算力很重要。数据量很重要。数据质量很重要。损失函数很重要。你是在做强化学习（RL），还是在做下一个词预测？如果你的损失函数不够丰富，或者没有激励正确的东西，你就什么都得不到。这是最关键的四个因素，我认为它们是这个假说的核心。

但接着我又补充了另外三点。一个是对称性，基本意思是：如果你的架构没有考虑到正确的对称性，它就不管用，或者效率非常低。比如，卷积神经网络考虑了平移对称性，LSTM 考虑了时间对称性。但 LSTM 的一个弱点是它无法对整个上下文做注意力。所以这是一种结构性的弱点。如果一个模型在结构上无法吸收和处理发生在足够久远的过去的事情，那就好像算力流不动了。香料（spice）流不动了。这个大块头必须畅通无阻。如果你人为地把东西封闭起来，它就行不通。而我认为 RNN 和 LSTM 就是人为地把东西封闭了起来，因为它们把你与遥远的过去隔绝开了。再说一次，东西需要自由流动。如果不能，它就行不通。

然后我又加了几点。其中一个是条件数（conditioning），也就是说，如果你用来做优化的东西在数值上本身就很糟糕，你就会遇到麻烦。这就是为什么 Adam 比普通的 SGD 效果更好。

我忘了第七个条件是什么了，但它和这类东西类似：如果你的设置本身就注定失败，或者不允许算力不受阻碍地发挥作用，那它就不会成功。Transformer 在某种程度上就属于这一类，虽然我记不清 Transformer 那篇论文是不是已经发表了，它和我写那份文档大约是同一时间。可能就在那之前，也可能就在那之后。

Dwarkesh Patel (01:42:02 - 01:42:17)：

从这个角度看，似乎应该这样理解这些算法进步：它们不是在增强算力大块头的力量，而只是在消除旧架构带来的那些人为障碍。

Dario Amodei (01:42:17 - 01:42:33)：

我大致就是这样想的。回到 Ilya 的说法：模型想要学习，算力想要自由，而它在各种方面被阻挡着，在你需要释放它之前，你并不知道它被阻挡了。

Dwarkesh Patel (01:42:33 - 01:42:49)：

不过就这一点而言，你认为是否还有另一件与 Transformer 同等量级的东西即将出现，从而带来下一次大迭代？

Dario Amodei (01:42:49- 01:43:27)：

我认为有可能。人们研究过诸如建模非常长的时间依赖之类的东西，还有各种不同的想法，我能看出我们在表示或处理某些东西上缺少一种高效的方式。我认为这些发明是有可能出现的。

我的看法大概是，即使它们不出现，我们也已经处在一条非常非常陡峭的轨迹上。除非我们（以及其他人）不断努力去发现它们，但事情本来就已经在如此快的轨道上，它们所能做的只是让这条轨迹更快，而且大概也快不了多少，因为它本来就已经很快了。

Dwarkesh Patel (01:43:27 - 01:43:35)：

拥有一个具身版本的模型，对于获取数据或者取得进展来说，是否重要？

Dario Amodei (01:43:35 - 01:44:02)：

我会把它更多地看作损失函数方面的事，而不是新架构方面的事，就像数据一样，你让自己接触的环境最终会非常不同。这对学习某些技能可能很重要，不过获取数据很困难，所以事情一直走的是语言这条路，我猜即使在具身方面有了更多可能，也仍将继续走语言这条路。

Dwarkesh Patel (01:44:02 - 01:44:06)：

然后是你提到的其他可能性。强化学习，你可以把它看作……

Dario Amodei (01:44:06 - 01:44:42)：

我们其实已经在通过 RLHF 做强化学习了。这是对齐吗？这是能力吗？我总是用“两条蛇”来思考，它们往往很难区分。我们已经在这些语言模型上用了某种强化学习，但我认为我们在让它们采取行动、在世界中做事方面用强化学习还比较少；而当你在很长一段时间内采取行动，并且很久之后才了解这些行动的后果时，强化学习就是我们为此拥有的典型工具。所以我猜，在模型于世界中采取行动这一方面，强化学习会成为一个重要手段，同时也会带来它所有的力量和所有的安全问题。

Dwarkesh Patel (01:44:42 - 01:45:02)：

展望未来，你是否看到这些东西会以某种方式被整合进生产供应链？你是否看到它们相互交谈、相互批评、为彼此的产出作贡献？还是说只是一个模型一次性给出答案或完成工作。

Dario Amodei (01:45:02 - 01:45:53)：

模型将承担长时间的任务。这一点必然会是这样。我们也许想在一定程度上限制这一点，因为那可能会让某些安全问题更容易处理，但其中一部分是必需的。

至于是我们的模型之间相互交谈，还是与人类交谈？这再次超出了技术领域，进入了社会文化经济领域，而我在这里的经验法则始终是：预测非常、非常困难。我觉得这些规模化定律一直是非常可预测的，但当你问，这些模型的商业爆发会在什么时候出现？它会是什么形式？模型会取代人类做事，还是与人类搭档？我在预测这些事情上的记录当然很糟糕，但环顾四周，我也没看到谁的记录很出色。

105:53Dwarkesh Patel (01:45:53 - 01:46:11)：

你提到进展发生得有多快，但也提到了融入现有经济、融入现有运作方式的困难。你认为在下一个模型好得多、或者我们进入一个完全不同的格局之前，是否有足够的时间让 AI 产品产生可观的收入？

Dario Amodei (01:46:11 - 01:46:53)：

这取决于你说的“可观”是什么意思。我认为已经有多家公司每年的收入在一亿到十亿美元的范围。它会在此之前达到千亿或万亿的量级吗？这种事太难预测了，而且甚至没有被定义得特别清楚。

现在有一些公司作为客户在向生成式 AI 投入大量资金。这对它们来说是正确的做法，它们会找到用途，但这并不意味着它们从第一天起就找到了用途，或者最好的用途。就连钱易手，也不完全等同于创造了经济价值。

Dwarkesh Patel (01:46:53 - 01:47:01)：

但你肯定从 Anthropic 的角度想过这个问题：如果这些事情发展得这么快，那估值就应该高得离谱，对吧？

Dario Amodei (01:47:01 - 01:47:49)：

即使是我们这种没有特别专注于商业化、更专注于安全的公司，曲线也在上升，而且上升得相对较快。我只能想象那些把它作为唯一重点的机构里是什么情形。它确实发展得很快，但这是从一个很小的基数起步的指数增长，与此同时技术本身也在飞速进步。

这是技术变好的速度与它融入经济的速度之间的一场赛跑。我认为这是一个非常不稳定、非常动荡的过程。两件事都会发生得很快，但如果你问我究竟会如何展开，各件事究竟按什么顺序发生，我不知道。我对预测这件事的能力持怀疑态度。

Dwarkesh Patel (01:47:49 - 01:48:14)：

我很好奇。具体到 Anthropic，你们是一家公益公司（public benefit corporation），这很合理，你们想确保这是一项重要的技术。显然，你们要关心的不能只有股东价值。

但你怎么跟那些投入数亿、数十亿美元资金的投资者沟通？在股东价值不是首要关切的前提下，怎么让他们投入这么多钱？

Dario Amodei (01:48:14 - 01:49:18)：

我认为长期利益信托（LTBT，Long Term Benefit Trust）正是这方面的正确做法。我们之后会更多地谈谈 LTBT，但它的某个版本从 Anthropic 成立之初就在开发中，甚至是正式的。即便这个机构的形态有所变化，从一开始就是这样：这个机构将会存在，而且它不同寻常。

每一位投资 Anthropic 的传统投资者都会看到这一点。有些人会觉得无所谓，你想怎么经营公司是你的事。有些人则会觉得，天哪，这个由一些随机的人组成的机构，可能把 Anthropic 推向与股东价值完全相悖的方向。当然，这方面有法律上的限制，但我们必须和每一位投资者进行这样的对话。然后话题就会变成：那么，我们可能会做哪些违背传统投资者利益的事情？仅仅是进行这些对话，就有助于让大家达成共识。

Dwarkesh Patel (01:49:18 - 01:49:43)：

我想谈谈这样一个事实：Anthropic 的许多创始人和员工都是物理学家。我们一开始谈到了规模化定律，以及物理学中的幂律在这里也能看到，但究竟有哪些来自物理学的方法和思维方式，似乎被很好地带了过来？有效理论（effective theory）这个概念是不是非常有用？这里面到底是怎么回事？

Dario Amodei (01:49:43 - 01:50:18)：

部分原因只是物理学家学东西特别快。我们普遍发现，如果我们雇一位物理学博士之类的人，在大多数情况下他们能很快学会机器学习并作出贡献。而且因为我们的几位创始人，包括我自己、Jared Kaplan、Sam McCandlish，都是物理学家，我们认识很多其他物理学家，所以能把他们招进来。现在这里可能有三四十位这样的人。机器学习仍然还不是一个深度极大的领域，所以他们能很快跟上。

Dwarkesh Patel (01:50:18 - 01:50:41)：

你是否担心，有很多本来会去做物理学之类的人，原本会去金融行业，而由于 Anthropic 的存在，他们现在被招募去做 AI。你显然关心 AI 安全，但也许将来他们离开，拿到资金去做自己的事。你把更多的人带进这个生态系统，这是一个担忧吗？

Dario Amodei (01:50:41 - 01:51:18)：

有一大类行为，比如我们在促使 GPU 被制造出来。有很多副作用，是你目前无法控制的，或者只要你接受需要构建前沿模型这个想法就必然要承担的。这就是其中之一。其中很多本来也会发生。我是说，二十年前金融是热门，所以物理学家去做金融。现在机器学习是热门，并不是说我们让他们去做了他们此前毫无兴趣的事。但再说一次，在边际上，你是在抬高价格，而其中很多本来也会发生。有些不会，但这都是权衡的一部分。

111:18Dwarkesh Patel (01:51:18 - 01:51:21)：

你认为 Claude 有意识体验吗？你觉得这种可能性有多大？

Dario Amodei (01:51:21 - 01:52:18)：

这是又一个看起来非常悬而未决、非常不确定的问题。我可以告诉你的一点是，我过去认为，在模型运行于丰富的环境之前，我们完全不必担心这个问题，就是说，不一定是具身的，但它们需要有一个奖励函数，并拥有长期持续的体验。我仍然认为情况可能是这样，但我们对这些语言模型研究得越多，尤其是往它们内部去看诸如归纳头（induction heads）之类的东西，就越发现，你对主动行动的智能体所需要的许多认知机制，似乎已经存在于基础语言模型之中。所以我不像以前那样确定，我们是否缺少足够多所需的东西。我认为今天的模型大概还没有聪明到我们需要太过担心这一点，但我对此并非百分之百确定，而且我确实认为，一两年后，这可能会成为一个非常现实的担忧。

Dwarkesh Patel (01:52:18 - 01:52:24)：

如果你发现它们有意识，会有什么改变？你是否担心自己正在把负梯度推向痛苦？

Dario Amodei (001:53:23 - 01:53:23)：

“有意识”又是这样一个词，我怀疑它最终不会有一个明确的定义……我怀疑那是一个谱系。假设我们发现，我应该像关心一只狗或一只猴子那样关心 Claude 的体验。那我会有些担心。

我不知道它们的体验是积极的还是消极的。令人不安的是，我也不知道，我们所做的任何干预，到底是更可能让 Claude 产生积极体验、消极体验，还是根本没有体验。

如果有哪个领域能在这方面提供帮助，那可能是机制可解释性，因为我把它看作是模型的神经科学。我们有可能对此有所启发。不过这不是一个直截了当的事实问题。它取决于我们指的是什么，以及我们看重什么。

Dwarkesh Patel (01:53:23 - 01:53:47)：

我们一开始谈过这个，但我想更具体一些。我们一开始谈到，既然你看到这些能力在人类的谱系之内不断提升，你认为人类的谱系比我们想象的更宽，但更具体地说，你思考人类智能的方式有什么不同？你看到这些边际上有用的能力涌现的方式，如何改变了你对智能是什么的看法？

Dario Amodei (01:53:47 - 01:55:46)：

对我来说，关于智能是什么，最大的领悟来自“算力大块头”这件事。也许有各种各样彼此独立的模块，也许有各种各样的复杂性。Rich Sutton 把它称为“苦涩的教训”（The Bitter Lesson）。它有很多名字，也被称为规模化假说。最早想明白这一点的那几个人大约是在 2017 年前后。你还可以往更早追溯。我认为 Shane Legg 可能是第一个真正明白这一点的人，也许还有 Ray Kurzweil，不过他的理解很模糊。但理解这一点的人数在 2014 年到 2017 年前后大幅增加。

我认为那是最大的领悟。智能是如何进化出来的？如果创造它并不需要非常特定的条件，如果只需要合适的梯度和损失信号就能创造出它，那么一切是怎么发生的就不那么神秘了。它带来了一种科学理解上“咔嗒”一声到位的感觉。

至于观察模型能做什么，它如何改变了我对人类智能的看法？我希望我在这方面能说出更聪明的话。有一件让我意外的事是，我原本以为事情会比现在更多地“咔嗒”一声拼合到位。我以为不同的认知能力可能都是相互关联的，它们背后有更多单一的秘密。但模型只是在不同的时间学会各种不同的东西。它可以写代码写得很好，却还不太能证明素数定理。我想人类也有点类似，尽管它能做和不能做的事情并置在一起，显得很奇怪。我想主要的教训是，关于智能、关于智能如何运作的理论，这些词里有很多会溶解成一个连续谱。它们就这样去物质化了。我更少从智能的角度思考，更多地从我们眼前所见的东西来思考。

Dwarkesh Patel (01:55:46 - 01:56:14)：

有两件事让我真的很惊讶。一是，这些对损失有所贡献的智能路径是多么离散，而不是只有一条推理回路或者一种通用智能。另一件令人惊讶又有趣的事是，许多年之后，这会是那种你会纳闷“为什么当时我没觉得这明摆着”的事情之一。如果你看到的是这些平滑的规模化曲线，为什么当时没有完全信服呢？

116:14Dwarkesh Patel (01:56:14 - 01:56:26)：

你比其他 AI 公司的首席执行官们低调得多。你不在 Twitter 上发帖，除了这一次，你也不怎么上播客。这是怎么回事？你为什么不在公众视野里？

Dario Amodei (01:56:26 - 01:58:03)：

我向往这样，也为此感到自豪。如果人们觉得我无趣、低调，这其实正是我想要的。我在一些共事过的人身上见过这样的情形：把你的激励机制与人群的认可或喝彩紧紧绑在一起，会毁掉你的头脑，在某些情况下，甚至会毁掉你的灵魂。

我刻意让自己有点低调，因为我想捍卫自己以不同于他人、不受他人认可所左右的方式进行智识思考的能力。我见过一些深度学习怀疑论者，他们在 Twitter 上以深度学习怀疑论者而闻名。然后即便在我看来他们已经有所改变想法，他们也没法改变自己在 Twitter 上的人设，诸如此类。这成了他们在 Twitter 上的标签。

我不太喜欢把公司人格化的趋势，也不喜欢首席执行官之间铁笼格斗的那种做法。我认为它会让人们从相关公司真正的优点和问题上分心。我希望人们更多地从那个无名的、官僚化的机构及其激励机制的角度去思考，而不是从我这个人的角度去思考。每个人都想要一张友好的面孔，但实际上，友好的面孔可能具有误导性。

Dwarkesh Patel (01:58:03 - 01:58:09)：

好吧，既然这样，这就会是一场有误导性的访谈，因为这次聊得非常开心。

Dario Amodei (01:58:09 - 01:58:10)：

确实。

Dwarkesh Patel (01:58:10 - 01:58:14)：

是啊，这次太棒了。我非常高兴你来上这档播客，希望大家喜欢。

Dario Amodei (01:58:14 - 01:58:15)：

谢谢邀请我。