Dario Amodei: 达里奥·阿莫代伊：指数增长即将走到尽头

00:00Dwarkesh Patel

我们三年前聊过一次。你觉得过去三年里最大的变化是什么？和当时相比，现在最明显的不同是什么？

Dario Amodei

总体来说，底层技术的指数式发展大致符合我的预期，个别地方会早一两年或晚一两年。我不确定自己当时能不能预料到代码能力会沿着这个具体方向发展。

但从这条指数曲线来看，模型能力的推进大致符合我的预期：从聪明的高中生，到聪明的大学生，再到开始胜任博士阶段和专业领域的工作；至于代码，能力还在继续向前突破。前沿能力的发展有些不均衡，但整体上和我预想的差不多。

最让我意外的是，公众没有意识到指数增长即将走到尽头。在我看来，这简直不可思议：无论圈内还是圈外，人们仍在谈那些陈旧、老套、容易引发争议的政治议题，而我们已经接近指数增长的终点。

Dwarkesh Patel

我想弄清楚现在的指数增长具体是什么样子。三年前录节目时，我问你的第一个问题是：“规模扩展是怎么回事，为什么有效？”现在我也想问类似的问题，但感觉情况更复杂了。至少从公众的角度看，三年前有一些广为人知的趋势：计算量跨越多个数量级时，损失值会如何改善，是可以观察到的。

现在我们看到强化学习也在扩展，但没有公开的缩放定律，背后的逻辑也不明朗。这是在教模型掌握技能吗？是在教元学习吗？如今的缩放假说到底是什么？

Dario Amodei

其实我从 2017 年起就一直持有同一个假说。我想上次也提过：我写过一份叫《大块计算假说》的文档。它讲的并非语言模型的规模扩展；我写它时，GPT-1 才刚刚发布。

那只是许多方向中的一个。当时还有机器人学。人们尝试把推理作为独立于语言模型的课题来研究；OpenAI 也在扩展 AlphaGo 和 Dota 中那类强化学习。大家还记得 DeepMind 的《星际争霸》和 AlphaStar。

那份文档谈的是更普遍的情况。几年后，Rich Sutton 发表了《苦涩的教训》。两者的假说基本一致：各种巧妙想法、技术，以及“我们需要一种新方法来做某件事”，其实都没那么重要。真正重要的只有少数几件事。我记得自己列了七项。

第一是你有多少原始算力；第二是数据量；第三是数据的质量和分布，而且分布要足够广；第四是训练时长；第五是目标函数必须能够持续扩展。预训练目标函数就是一种这样的函数；另一种是强化学习目标函数，它设定一个目标，让你主动去实现它。

目标函数之下，既有数学和编程中那种客观奖励，也有 RLHF 或更高阶方法中更主观的奖励。第六和第七项涉及归一化或条件化，核心是保证数值稳定，让这一大块算力平稳地流动，而不是遇到问题。

这就是当时的假说，我现在仍然认同。我没怎么见过与它相悖的证据。预训练缩放定律就是其中一个例子，而且这种趋势一直在延续。如今大家都知道，我们对预训练的表现很满意，它还在持续带来提升。

变化在于，我们现在也在强化学习中看到了同样的现象：先进行预训练，再叠加一个强化学习阶段。强化学习其实也是同一回事。其他公司在一些模型发布说明中也提到，他们用数学竞赛题（比如 AIME）训练模型，而模型表现与训练时长呈对数线性关系。

我们也观察到了这种现象，而且不只出现在数学竞赛中，而是涉及各种各样的强化学习任务。强化学习的规模扩展呈现出与预训练相同的趋势。

Dwarkesh Patel

你提到了 Rich Sutton 和《苦涩的教训》。我去年采访过他，他对大语言模型其实很不买账。我不知道这是不是他的观点，但可以这样概括他的质疑：如果某种东西掌握了人类学习的真正核心，就不需要耗费几十亿美元的数据和算力，也不需要建造这些定制环境，才能学会用 Excel、PowerPoint 或浏览器。我们不得不借助强化学习环境把这些技能逐一教给模型，这说明模型可能缺少人类学习算法的核心。所以我们扩展的方向可能错了。

这确实引出了一个问题：如果我们认为模型会具备类似人类的即时学习能力，为什么还要投入这么多资源扩展强化学习？

Dario Amodei

我觉得这里把几件应该分别看待的事情混在了一起。确实存在一个值得思考的难题，但它可能并不重要，事实上我猜大概不会影响结论。先暂时不谈强化学习，因为我认为说强化学习在这件事上和预训练有什么本质区别，反而会把注意力带偏。

回看预训练的规模扩展，2017 年 Alec Radford 做 GPT-1 时有件事很有意思。在 GPT-1 之前，模型训练所用的数据集没有覆盖广泛的文本分布，大家用的是很标准的语言建模基准。我想 GPT-1 本身其实是用一大批同人小说训练的。

那是文学文本，只占可获取文本的一小部分。那时候的数据大约只有十亿词，规模很小，所代表的世界分布也很狭窄。模型的泛化能力不强：如果它在某个同人小说语料库上表现更好，也不一定能很好地迁移到其他任务。

当时我们有很多指标，衡量模型预测其他类型文本的表现。直到你用互联网上各种任务的数据来训练它，开始大规模抓取 Common Crawl 之类的网站，或抓取 Reddit 上的链接（GPT-2 就是这样做的），模型才开始具备泛化能力。

我认为强化学习也在经历同样的过程。我们先从数学竞赛这类简单任务开始，再把训练范围扩展到编程等领域，现在又逐渐扩展到更多任务。我想，随着范围扩大，模型的泛化能力会越来越强。这样一来，强化学习和预训练之间的差异就没那么重要了。

不过无论如何，这里仍有个难题：预训练要用数万亿个 token，而人类接触不到数万亿个词。所以样本效率确实存在差异，模型的起点和人类不一样，需要多得多的训练。但另一方面，训练完成后，只要给模型足够长的上下文（比如一百万 token；长上下文唯一的限制是推理成本），它们在上下文中学习和适应的能力就很强。

我也不知道完整答案。我觉得预训练既不像人类学习的过程，也许更像介于人类学习和人类进化之间的某种过程。我们的许多先验来自进化，大脑并非一张白纸。关于这一点，已经有整本书在讨论了。

语言模型更像白纸。它们确实是从随机权重开始训练的，而人类大脑一开始就有许多区域与各类输入输出相连。也许我们应该把预训练（强化学习也一样）看成介于人类进化与人类即时学习之间的过程；而模型的上下文学习，则介于人类长期学习和短期学习之间。

所以这里有一个层级：进化、长期学习、短期学习，以及即时反应。大语言模型的各个阶段处于这条光谱上的某些位置，但未必与人类学习方式一一对应。人类有些学习模式，在模型里找不到对应物；模型的学习阶段位于这些模式之间。这样说得通吗？

Dwarkesh Patel

说得通，不过有些地方还是让我困惑。比如，如果这个类比认为预训练类似进化，所以样本效率低也无所谓，那么既然上下文学习有望让智能体极其高效地学习，为什么我们还要搭建这些强化学习环境？

有些公司的工作看起来是在教模型使用某个 API、Slack 或其他工具。如果能够即时学习的智能体正在出现，甚至已经出现，我就不明白为什么大家还如此强调这些训练。

Dario Amodei

我无法评论其他公司为什么重视这些，我只能说说我们自己的想法。我们的目标不是在强化学习中教会模型每一种可能的技能，就像我们在预训练时也不会这么做。预训练并不打算让模型见识词语所有可能的排列方式。模型是在大量数据上训练，然后逐渐实现泛化。

这是我亲眼看到的 GPT-1 到 GPT-2 的转变。模型会到达一个阶段，我曾有过这样的时刻： “哦，对了，只要给模型一列数字，比如房价和房屋面积，它就能补全规律，做线性回归。”效果不算好，但它确实做到了，而且此前从没见过完全相同的例子。

所以，我们搭建这些强化学习环境，和五年或十年前进行预训练时的目标很相似：我们想获得大量数据，不是为了覆盖某一篇特定文档或某项特定技能，而是为了让模型能够泛化。

12:36Dwarkesh Patel

你提出的框架显然有道理。我们正朝着通用人工智能迈进。如今没人会否认本世纪内会实现 AGI。关键分歧在于：你说我们正接近指数增长的终点；另一些人则认为，从 2012 年开始我们一直在进步，到 2035 年就会有一个像人一样的智能体。

很明显，这些模型已经展现出进化或人类一生学习所带来的某些能力。我想知道，你观察到了什么，才认为我们距离目标是一年而不是十年？

Dario Amodei

这里可以提出两个强弱不同的判断。先说较弱的判断：2019 年我第一次看到这种规模扩展趋势时并不确定，大概是五五开的把握。我觉得自己看到了某种信号；我的意思是，这件事发生的可能性比大多数人想象的更高，也许有 50%。

至于你刚才说的那个基本假设，也就是十年内会出现我所说的“数据中心里的一国天才”，我认为可能性有 90%。很难把信心提高到 90% 以上，因为世界充满变数。也许不可消除的不确定性会把概率压到 95% 左右，比如多家公司内部陷入动荡、台湾遭到入侵，或者所有芯片厂都被导弹炸毁。

Dwarkesh Patel

Dario，你这话可把我们说得不吉利了。

Dario Amodei

可以设想一个 5% 的世界，进展会因此延后十年。另外我有 5% 的不确定性。对于能够验证结果的任务，我非常有把握。除去那些不可消除的不确定因素，我认为编程任务一两年内就能做到；十年后仍无法端到端地完成编程，是绝无可能的。

即使展望更长远，我唯一根本性不确定的，是那些无法验证结果的任务：规划火星任务、做出 CRISPR 这样的基础科学发现，或写一部长篇小说。这些任务很难验证。我几乎可以肯定我们有一条可靠的实现路径，只是这一点上还留有少许不确定。对于十年内实现的判断，我有 90% 把握，这已经是很高的确定性了。认为 2035 年前做不到，实在荒唐；在任何理性的世界里，这种观点都不该成为主流。

Dwarkesh Patel

但你强调可验证性，让我觉得你对这些模型能否泛化并没有那么有信心。人类既擅长那些能获得可验证回报的事情，也擅长没有可验证回报的事情。

Dario Amodei

不，我之所以几乎肯定，是因为我们已经看到模型能从可验证任务大幅泛化到不可验证任务，而且这种现象已经出现了。

Dwarkesh Patel

可是你刚才把它描述成一条光谱，不同领域的进步会逐渐拉开差距。这和人类进步的方式不太一样。

Dario Amodei

在我们最终没能实现目标的那个世界里，我们完成了所有可验证的事情。它们当中有很多能够泛化，但我们仍然没有完全抵达终点，也没有把另一侧的能力版图全部填满。这不是非黑即白的事。

Dwarkesh Patel

即使泛化能力很弱，模型只能胜任可验证领域，我也不确定这是否足以自动化软件工程。在某种意义上，你是“软件工程师”，但你的一部分工作还包括写很长的备忘录，阐述你的宏大愿景。

Dario Amodei

我不认为那属于软件工程师本身的工作，而是公司的工作。不过，软件工程师确实也要写设计文档之类的东西。模型现在已经很擅长写注释了。再说一次，为了区分两件事，我这里提出的判断比我真正相信的要保守得多。软件工程方面，我们已经几乎走到那一步了。

Dwarkesh Patel

你用什么指标衡量？一个指标是 AI 写了多少行代码。如果回顾软件工程的其他生产力进步，编译器写出了所有软件代码。代码行数和生产力提升幅度是两回事。你说“我们已经快到了”，是指生产力提升了多少，而不只是有多少代码由 AI 编写，对吗？

Dario Amodei

这一点我确实同意。我对代码和软件工程做过一系列预测，我觉得大家屡次误解了这些预测。我来解释一下这条光谱。

大约八九个月前，我说 AI 模型会在三到六个月内写出 90% 的代码。至少有些地方已经实现了。Anthropic 做到了，很多下游使用我们模型的人也做到了。但这其实是个很弱的标准。有人以为我是在说 90% 的软件工程师不再需要了。这两者相差甚远。光谱的一端是 90% 的代码由模型编写，另一端是 100% 的代码由模型编写。这两者在生产力上差别很大。

再往前是 90% 的端到端软件工程任务由模型完成，包括编译、搭建集群和环境、测试功能、写备忘录等；然后是如今全部软件工程任务都由模型完成。即便到了那一步，也不代表软件工程师会失业，他们可以转而做更高层次的工作，例如管理。再往光谱下方走，才是软件工程师的需求减少 90%。我认为这会发生，但它仍然是一条光谱。

我在《技术的青春期》里讨论过这个问题，并用农业来说明这条光谱。我完全同意你的观点。这些是彼此很不相同的基准，但我们正在以极快的速度逐一推进。

Dwarkesh Patel

你的设想之一是，从 90% 到 100% 会很快发生，并带来巨大的生产力提升。但我注意到，即使在从零开始的新项目中，人们也会用 Claude Code 之类的工具；大家说自己启动了很多项目……现实世界里有没有出现软件复兴，冒出一大批原本不会存在的新功能？至少到目前为止，似乎还没有。

所以我会想，即便我用 Claude Code 时完全不需要介入，世界依然很复杂，工作也很复杂。无论是写软件还是其他事情，要让一个独立系统形成完整闭环，仅靠这些能力本身究竟能带来多广泛的收益？也许这应该降低我们对“数据中心里的一国天才”的预期。

Dario Amodei

我一方面同意这能解释为什么事情不会立刻发生，另一方面仍认为影响会来得非常快。可以把两端的观点摆出来：一种认为 AI 不会取得进展，扩散很慢，要花很久才能进入经济体系。经济扩散成了一个流行说法，用来解释为什么 AI 不会进步，或者为什么 AI 的进步不重要。

另一端的观点则是，我们会实现递归自我改进，接下来一切都会发生。难道不能直接在曲线上画一条指数线吗？递归自我改进之后过几纳秒，太阳周围就会建起戴森球。我完全是在 caricature 这种观点，但确实存在这两种极端。

不过，从一开始，至少在 Anthropic 内部，我们看到的都是一种奇特的现象：营收每年增长十倍。2023 年从零增长到一亿美元；2024 年从一亿美元增长到十亿美元；2025 年从十亿美元增长到九十亿至一百亿美元。

Dwarkesh Patel

你们早该花十亿美元买自己的产品，这样就能……

Dario Amodei

今年第一个月，这条指数曲线……你会以为它要放缓了，但我们一月份的营收又增加了几十亿美元。显然，这条曲线不可能永远延续下去，毕竟 GDP 总量有限。我甚至猜它今年会稍微弯下来，但这依然是条增长很快的曲线，真的非常快。即使规模扩展到整个经济体系，我也打赌它还会保持相当快的速度。

所以我认为，我们应该考虑这样一个中间情形：进展极快，但不是瞬间发生；它需要时间，因为经济扩散需要时间，因为闭环需要时间，也因为具体实施很繁琐。比如：“我得在企业里推动变更管理……我把系统搭好了，但还得调整安全权限才能让它真正运行……我有一套旧软件，要在模型编译和发布之前检查它，我得重写这套软件。没错，模型可以做这些，但我得告诉模型去做。完成这些事需要时间。”

所以，到目前为止我们看到的一切都符合这样一种看法：一条快速指数曲线代表模型能力，另一条快速指数曲线代表模型向经济体系扩散的速度。它不是瞬间完成，也不算慢，比以往任何技术都快得多，但仍有上限。观察 Anthropic 内部和我们的客户，会发现采用速度很快，却不是无限快。

Dwarkesh Patel

我能不能对你说个大胆的观点？

Dario Amodei

当然。

Dwarkesh Patel

我觉得，人们所谓的扩散问题只是在自我安慰。模型做不到某件事时，他们就说：“哦，这是扩散的问题。”但你应该拿人类来比较。AI 有一些内在优势，理应比新员工更容易融入工作：AI 可以在几分钟内读完你所有的 Slack 消息和网盘文件；同一模型的其他副本已经掌握的知识，也可以共享给它。雇用 AI 时不会有人类招聘那种逆向选择问题，你可以直接雇用经过验证的 AI 模型副本。

雇用人类麻烦得多。人们却一直在雇用人类，我们每年支付给人类的工资超过 50 万亿美元，因为他们有用。原则上，把 AI 融入经济体系应该比雇用人类容易得多。所以“扩散”并不能真正解释这一现象。

Dario Amodei

我认为扩散是个真实问题，而且并不只是 AI 模型能力的限制。再说一次，有些人把扩散当成一个流行词，用来表示这事没什么大不了，我不是这个意思。我也不是说 AI 会像以往技术那样扩散。我认为 AI 的扩散速度会比以往技术快得多，但不会无限快。

举个例子。Claude Code 非常容易安装。如果你是开发者，直接开始用就行。大型企业里的开发者没有理由比个人开发者或初创公司的开发者更晚采用 Claude Code。

我们尽一切努力推广它，也把 Claude Code 卖给企业。大型企业、大型金融公司和大型制药公司，采用 Claude Code 的速度都远快于它们通常采用新技术的速度。不过，这仍然需要时间。

对于任何一项功能或产品，比如 Claude Code 或 Cowork，总会有一批人先采用：一直活跃在 Twitter 上的个人开发者、A 轮初创公司，都会比经营食品销售的大型企业早几个月。这里有许多影响因素：你得走完法律流程，要给所有人配好权限，还得通过安全和合规审查。

离 AI 革命更远的公司领导层虽然有前瞻性，但他们必须先说服自己：“我们花 5,000 万美元是合理的。Claude Code 到底是什么？它为什么对公司有帮助？为什么能提高生产力？”然后他们还得向下两级的员工解释：“好，我们有 3,000 名开发者，要这样把它推广给大家。”我们每天都在讨论这类事情。

我们正在尽一切努力，让 Anthropic 的营收每年增长 20 或 30 倍，而不是 10 倍。再说一次，很多企业都觉得：“这能大幅提高生产力，我们要跳过通常的采购流程，走捷径。”他们采用 Claude Code 的速度比我们当初推销普通 API 时快得多；许多企业本来就在用那个 API。Claude Code 是个更有吸引力的产品，但它的吸引力也不是无限的。

我认为，即便是 AGI、强大的 AI，或“数据中心里的一国天才”，也不会成为吸引力无限的产品。即使营收已经达到数千亿美元，它也许能推动每年增长三到五倍，甚至十倍。这已经非常难，历史上从未有人做到过，但仍不是无限快。

Dwarkesh Patel

我同意这会稍微减缓扩散。也许这不是你的意思，但有时人们会这样说：“哦，能力已经具备了，只是因为扩散问题……否则我们基本上已经实现 AGI 了。”

Dario Amodei

我不认为我们基本上已经实现了 AGI。

Dwarkesh Patel

我在想，如果你真的拥有“数据中心里的一国天才”……

Dario Amodei

如果我们真的拥有“数据中心里的一国天才”，我们会知道的。每个人都会知道，在场的所有人都会知道，华盛顿的所有人也都会知道。住在乡村地区的人或许还不知道，但我们肯定会知道。我们现在显然还没有达到那一步。

29:42Dwarkesh Patel

回到具体预测上来……谈论能力时有很多概念需要区分，所以很容易鸡同鸭讲。比如三年前采访你时，我问过你三年后会出现什么。你当时答对了。你说：“我们应该会拥有这样的系统：和它聊一个小时，很难分辨它和一个受过良好通识教育的人有什么不同。”

我认为你的判断是对的。但从内心来说，我还是不满意，因为我原本预期这种系统能够自动化大量白领工作。也许更有效的讨论方式，是谈谈你希望这类系统最终具备哪些具体能力。

Dario Amodei

我大致可以告诉你，我认为我们现在处于什么位置。

Dwarkesh Patel

我想问一个非常具体的问题，看看我们近期应该期待模型具备哪类能力。也许可以从一份我很熟悉的工作问起，不是因为它最重要，而是因为我可以评估相关判断是否靠谱。

以视频剪辑师为例。我有视频剪辑师。他们的工作包括了解观众的偏好、了解我的喜好和品味，以及我们面临的各种取舍。他们会在几个月的时间里逐渐积累对这些背景信息的理解。什么时候我们可以期待一种 AI 系统，能够在工作中即时学会这种技能，达到视频剪辑师入职六个月后的水平？

Dario Amodei

我猜你说的是，我们要录三个小时的节目，然后有人进来剪辑。他们会想：“嗯，Dario 挠了挠头，我们可以把这个镜头剪掉。”

Dwarkesh Patel

“把那个镜头放大。”

Dario Amodei

“有一段讨论很长，观众可能不太感兴趣；还有另一段观众更喜欢，我们就这样剪。”

我认为，“数据中心里的一国天才”能够胜任这件事。它会掌控整台电脑的屏幕操作。你可以把视频素材交给它，它也能操作电脑上网，查看你之前的所有访谈、查看人们在 Twitter 上对访谈的反应、和你交谈并向你提问、与团队成员沟通、查看你过去的剪辑记录，然后据此完成工作。

我认为这取决于几件事。其中一项实际上正在阻碍部署：模型必须熟练掌握电脑操作。

我们看到模型在基准测试上的成绩不断提高，当然基准测试总是不够完美。但大约一年前又三个月，我们首次发布电脑操作能力时，OSWorld 的成绩可能只有 15%。具体数字我不太记得了，不过现在已经提高到 65%–70%。也许还有更难的测试，但我认为电脑操作能力必须达到足够可靠的水平。

Dwarkesh Patel

你继续讲下一点之前，我能追问一下吗？多年来，我一直试着给自己做各种内部大语言模型工具。很多任务是输入文本、输出文本，理应正是这些模型最擅长的事，但我还是会雇人来做。

比如让模型“找出这份文稿里最精彩的片段”，它可能能做到十分之七。但我没法像辅导人类员工那样持续和模型互动、帮它把工作做得更好。这种能力缺失，即使电脑操作问题解决了，仍然会妨碍我把一份真正的工作交给它们。

Dario Amodei

这又回到了我们之前谈到的在职学习问题，非常有意思。我不认为人们会说，在职学习阻碍了编程智能体端到端完成所有工作。它们一直在进步。Anthropic 有些工程师已经完全不写代码了。

说到你刚才问的生产力，我们有同事会说：“这个 GPU 内核、这块芯片以前都是我自己写的，现在我让 Claude 来做。”生产力因此大幅提高。

观察 Claude Code 时，我看到的抱怨中，“模型不熟悉代码库”或“模型没在公司工作一年”并不靠前。我想表达的是，我们走的路有些不同。

Dwarkesh Patel

你不觉得这是因为代码库本身提供了一种外部记忆吗？我不知道还有多少其他工作具备这种条件。编程之所以进步这么快，恰恰是因为它拥有其他经济活动所没有的独特优势。

Dario Amodei

但你这么说，意思就是把代码库读进上下文后，模型就得到了人类在职学习所需的一切。这说明，无论是否写成文档、是否容易获取，只要上下文窗口里包含所有必需信息，模型就能完成任务。我们所说的学习，比如“我刚开始这份工作，需要六个月才能理解代码库”，模型直接在上下文中就完成了。

Dwarkesh Patel

说实话，我不知道该如何理解这一点，因为确实有人在定性层面上报告了你说的这种感受。你应该也看过去年那项重要研究：研究让有经验的开发者在自己熟悉的代码库中处理合并请求。这些开发者说模型提高了他们的工作效率。但如果看他们的产出，以及最终实际合并回去的内容，效率反而下降了 20%。使用模型后，他们的生产力变低了。

所以我试着把几件事放在一起理解：第一，人们主观上觉得模型很好用；但从宏观来看，软件复兴在哪里？第二，为什么独立评估没有显示出我们预期的生产力收益？

Dario Amodei

在 Anthropic 内部，这件事非常明确。我们承受着巨大的商业压力，而且我们还有各种安全工作要做，我认为这些工作比其他公司做得更多，这让处境更难。

既要在经济上生存，又要坚持我们的价值观，压力大得惊人。我们努力维持营收每年增长十倍的曲线，根本没有时间做无用功，也不可能骗自己说效率提高了，实际却没有。这些工具让我们的生产力提高了很多。

你觉得我们为什么担心竞争对手也使用这些工具？因为我们认为自己领先于对手。如果这些工具暗中降低了我们的生产力，我们不会费这么大力气推动它们。我们每隔几个月就会从模型发布的最终成果中看到效果，骗不了自己。模型确实提高了生产力。

Dwarkesh Patel

第一，人们觉得自己更有效率，从定性上看，确实可能像这类研究所描述的那样。但第二，如果只看最终产出，你们显然正在快速进步。

但原本的说法是，递归自我改进会形成循环：你造出更好的 AI，AI 帮你造出下一代更好的 AI，周而复始。可我观察你们、OpenAI 和 DeepMind，看到的却是大家每隔几个月就在排行榜上轮换位置。

也许你认为赢下竞争之后这种情况就会停止。但如果上一代编程模型确实带来了巨大的生产力收益，为什么拥有最佳编程模型的公司没有获得持久优势？

Dario Amodei

我认为，优势正在逐步扩大。按我的看法，目前编程模型带来的全要素生产率提升大约是 15%–20%。六个月前可能只有 5%，所以当时还不显著，5% 的提升很难察觉。现在它才刚成为几个重要因素之一，而且还会继续加速。

我认为六个月前有几家公司水平差不多，因为这还不是一个显著因素；但现在它的影响正在越来越大。还有好几家公司在开发编程模型，我们也没法完全阻止其他一些公司在内部使用我们的模型。所以我认为，我们看到的一切都符合这种滚雪球式的发展模式。

再说一次，我想表达的主题是，这一切都是渐进式起飞，是平缓、平滑的指数增长，只是指数增长的速度相对较快。我们看到雪球逐渐积累动能，比如提升幅度依次达到 10%、20%、25%、40%。随着进步继续，按照阿姆达尔定律，我们必须解决阻碍闭环形成的所有问题。这是 Anthropic 的首要任务之一。

Dwarkesh Patel

退一步说，刚才我们谈到，在职学习能力什么时候会出现。你对编程的看法似乎是，我们其实不需要在职学习能力，就能大幅提高生产力，甚至让 AI 公司获得数万亿美元收入。也许这不是你的意思，你可以澄清一下。

但在大多数经济活动中，人们会说：“我雇了一个人，头几个月他不太能干活，后来逐渐积累了背景知识和理解。”虽然很难准确描述，但这个人最终掌握了诀窍，变得干练，对我们非常有价值。如果 AI 没有发展出即时学习的能力，我会怀疑，没有这项能力，世界是否会发生巨大变化。

Dario Amodei

这里有两件事。先看当前技术状态。我们仍有两个阶段：预训练和强化学习阶段，把大量数据和任务交给模型，然后模型实现泛化。这有点像学习，但它从更多数据中学习，而不是在人类或单个模型的一生中学习。所以我再说一次，它处于进化与人类学习之间。不过，一旦学会这些技能，模型就拥有了它们。

就像预训练模型掌握了大量知识一样。预训练模型了解的日本武士史比我多，也比我懂棒球，还懂低通滤波器和电子学等许多东西。它的知识面比我广得多。所以我认为，仅凭这一点，模型就可能在所有事情上都比人类更出色。

此外，通过扩展现有架构，我们还有上下文学习。我会把它描述成类似人类的在职学习，但能力稍弱、时间也更短。给模型一批例子，它就能学会；上下文里确实会发生真正的学习。一百万 token 是很大的上下文，足以对应人类好几天的学习。想想模型读一百万个词需要多久；我自己至少得读上好几天甚至几周。

所以我们有这两种能力。我认为在现有范式下，它们可能已经足以让我们得到“数据中心里的一国天才”。我不能确定，但我认为它们能实现其中很大一部分。也许还会有缺口，但我确实认为，仅凭现状就足以带来数万亿美元的收入。这是第一点。

第二点是持续学习，也就是单个模型在工作过程中继续学习。我认为我们也在研究这个方向。未来一两年内解决它的可能性很大。再说一次，即使没有它，我们也能走得很远。每年数万亿美元的市场，也许还有我在《技术的青春期》中谈到的国家安全和安全影响，都可能在没有持续学习的情况下出现。不过我们和我想象中的其他团队也在研究它，很可能会在未来一两年内实现。

我们有很多想法，我不逐一详谈。其中一个就是把上下文做得更长。没有什么原理能阻止更长的上下文发挥作用。你只需要用更长的上下文来训练，然后学会在推理阶段提供这种服务。这两件事都是我们正在解决的工程问题，我相信其他团队也在做。

Dwarkesh Patel

上下文长度增加这件事，从 2020 年到 2023 年似乎经历了一段快速发展期：从 GPT-3 到 GPT-4 Turbo，上下文长度从 2,000 增至 128K。我觉得之后这两年左右，我们一直停留在差不多的水平。

当上下文长得多时，人们会说模型处理整个上下文的能力出现了明显退化。所以我想知道，你们内部看到了什么，才会认为上下文能达到一千万、甚至一亿 token，从而覆盖人类六个月的学习和背景积累？

Dario Amodei

这不是研究问题，而是工程和推理问题。要提供长上下文服务，就得保存整个 KV 缓存。很难把所有记忆存进 GPU，还得调度这些内存。我不太了解具体细节。现在已经深入到我跟不上的程度了，虽然在 GPT-3 时代我还懂一些，比如“这些是权重、这些是需要保存的激活值……”

但如今情况完全变了，因为我们有了混合专家模型之类的架构。至于你说的能力退化，简单来说有两件事：训练时使用的上下文长度，以及实际提供服务时使用的上下文长度。如果训练时上下文很短，之后却用很长的上下文提供服务，就可能出现这些退化。总比没有长上下文强，你也许仍然会提供它，但会有性能退化；用长上下文训练也可能更难。

Dwarkesh Patel

我还想问一个可能会钻进细节的问题：如果必须用更长的上下文训练，你不觉得这意味着在相同算力下能处理的样本会变少吗？也许不值得深入讨论。

我想得到一个更宏观问题的答案：你预计哪一年，我会觉得一位为我工作了六个月的人类编辑，与一位为我工作了六个月的 AI 编辑没有区别？

Dario Amodei

我猜很多问题都要等到我们拥有“数据中心里的一国天才”才能解决。要是让我猜，我认为需要一到两年，也可能一到三年，很难说。我强烈确信，概率大概有 95% 到 99%，十年内一切都会实现，这个判断相当稳妥。我有个直觉，接近五五开的可能性，认为会在一到两年内，或许一到三年内实现。

Dwarkesh Patel

所以是一到三年。数据中心里的一国天才，甚至还能完成经济价值稍低的视频剪辑工作。

Dario Amodei

这工作听起来挺有经济价值的。我想说的是，类似的用例还有很多。

46:20Dwarkesh Patel

所以你预测一到三年内就能实现。Anthropic 还预测，到 2026 年底或 2027 年初，AI 系统将“能够操作人类今天用于数字工作的界面，具备不低于诺贝尔奖得主的智力，并能够与物理世界互动”。两个月前，你接受 DealBook 采访时，强调了贵公司在算力扩展方面比竞争对手更负责任。

我试着把这两种看法放在一起理解。如果你真的相信我们将拥有数据中心里的一国天才，那就应该尽可能建造大型数据中心，没有理由放慢脚步。一个真正能做诺贝尔奖得主所能做的一切的系统，市场规模可达数万亿美元。所以，我想弄清楚：这种看起来适用于较温和时间表的审慎态度，如何与您对进展的判断相一致？

Dario Amodei

其实两者完全一致。回到我们刚才说的：扩散很快，但不是无限快。假设技术正以这样的速度进步。我非常确信，几年内我们就会实现目标；我有个直觉，一两年内就能做到。所以技术方面仍有一点不确定性，但我相当有把握，不会偏离太远。

我不太确定的是经济扩散方面。我确实相信，一两年内我们就可能拥有“数据中心里的一国天才”。问题是，之后还要多少年，数万亿美元的营收才会开始到来？我不认为它一定会立刻发生。可能要一年，也可能两年；甚至可能要五年，虽然我对此持怀疑态度。

所以这里存在不确定性。即便技术发展像我预期的那么快，我们也不知道它会以多快的速度转化为营收。我们知道这一天会到来，但数据中心的采购方式决定了，如果你的时间判断错了几年，后果可能是灾难性的。这就像我在《仁慈的机器》中写的那样。我说，我们可能会迎来这种强大的 AI，也就是“数据中心里的一国天才”。你刚才的表述就来自《仁慈的机器》。我当时说可能会在 2026 年，也许 2027 年实现。这仍然只是我的直觉。如果晚一两年，我也不会意外，但这就是我的判断。

假设这真的发生了，那就是发令枪响。治愈所有疾病要花多久？这正是创造巨大经济价值的方式之一。你可以治愈每一种疾病。药物公司或 AI 公司能获得多少价值是一回事，但如果能让所有人都获得治疗（这对我来说非常重要），就会产生巨大的消费者剩余。

需要多久？你得完成生物学发现、制造新药，还得走完监管流程。新冠疫苗就是个例子：我们把疫苗提供给所有人，但花了一年半。我的问题是：治愈所有疾病（理论上这位 AI 天才可以发明这些疗法），并把它们提供给所有人，需要多长时间？从实验室里首次出现这种 AI，到所有人都真正治愈疾病，需要多久？

脊髓灰质炎疫苗已经问世五十年了，我们至今仍在努力根除非洲最偏远地区的病例。盖茨基金会和其他机构都在尽最大努力，但这很难。再说一次，我不认为大多数经济扩散都会像这件事这么难，这属于最困难的情况。不过这里确实存在一个两难问题。我的结论是，扩散速度会超过世界上以往的一切，但仍有其极限。

所以回到数据中心采购。我的依据是，每年营收都增长了十倍。今年年初，我们看到年化营收达到 100 亿美元。我们必须决定要买多少算力。真正建好数据中心、预留数据中心容量，需要一到两年。

基本上，我要做的判断是：“2027 年我能获得多少算力？”我可以假设营收继续每年增长十倍，那么 2026 年底就是 1,000 亿美元，2027 年底就是 1 万亿美元。按五年计算，那对应的是 5 万亿美元的算力投入。我可以购买价值 1 万亿美元、从 2027 年底开始交付的算力。要是我的营收达不到 1 万亿美元，哪怕只有 8,000 亿美元，世上也没有任何力量或对冲办法能阻止我破产，因为我买了这么多算力。

尽管我心里也会想，营收会不会继续每年增长十倍，但我不能在 2027 年购买每年价值 1 万亿美元的算力。只要增长率的判断错一年，或者实际是每年增长五倍而不是十倍，公司就会破产。于是你最终会选择支撑数千亿美元的规模，而不是数万亿美元。你要承担需求远超供给、无法充分兑现营收的风险，也要承担自己判断失误、增长仍然缓慢的风险。

我说要负责任地行事时，其实指的不是绝对支出金额。我认为我们确实比一些其他公司花得少一些，但关键是其他方面：我们有没有认真思考，还是抱着“管它呢”的态度说“这里投 1,000 亿，那里再投 1,000 亿”？我感觉有些其他公司甚至没有把数字写进电子表格，也没有真正理解自己承担的风险，只是觉得听起来很酷就去做了。

我们认真考虑过这些问题。我们做的是企业业务，因此更能依靠营收，它比消费者业务稳定；我们的利润率更高，可以缓冲算力买多或买少的风险。我认为我们采购的规模足以把握相当大的上行空间，不会完全实现每年增长十倍的情形。必须出现相当糟糕的情况，我们才会陷入财务困境。所以我们认真思考、权衡了风险。这就是我说我们行事负责任的意思。

Dwarkesh Patel

听起来，我们对“数据中心里的一位天才”可能有不同定义。我想到的是真正的人类天才，是一个数据中心里的整整一国人类天才。要是这样，我会乐意花 5 万亿美元去运行它。

假设摩根大通、Moderna 或其他公司不想用他们，那就让这群天才自己创业。如果他们不能创业，是因为临床试验成了瓶颈……需要指出的是，大多数临床试验失败，都是因为药物无效，也就是没有疗效。

Dario Amodei

我在《仁慈的机器》里恰恰说过这一点：临床试验会比我们习惯的速度快得多，但不会快到无限快。

Dwarkesh Patel

好，那假设临床试验需要一年才能完成，之后你就能靠营收研发更多药物。你已经有一国天才，而且你还是一家 AI 实验室。你可以雇用更多 AI 研究人员。你也认为聪明人研究 AI 技术会产生自我强化的收益。你可以让数据中心继续推进 AI 进展。

Dario Amodei

一年花 1 万亿美元买算力，相比一年花 3,000 亿美元，能多带来多少收益？

Dwarkesh Patel

如果竞争对手花了一万亿美元，那就能多带来很多收益。

Dario Amodei

但也不完全是，确实会有一些收益；另一方面，他们也可能在收益到来之前就破产。再说一次，只要时间判断错一年，你就会毁掉自己。这就是要权衡的地方。我们买了很多算力，非常多，规模可以和业内最大的玩家相提并论。

但如果你问我：“为什么我们没有签下从 2027 年年中开始、价值 10 万亿美元的算力合同？”首先，根本生产不出来，全世界没有这么多算力。其次，如果那一国天才在 2028 年年中出现，而不是 2027 年年中呢？你就会破产。

Dwarkesh Patel

如果你的预测是一到三年，那似乎最晚到 2029 年就应该拥有价值 10 万亿美元的算力了？即使按照你所说时间范围的最晚情况，你们正在扩建的算力规模似乎也对不上。

Dario Amodei

你为什么这么认为？

Dwarkesh Patel

假设人类工资总额每年大约有 50 万亿美元——

Dario Amodei

我不谈 Anthropic 的具体情况，但就整个行业而言，今年正在建设的算力可能有 10 到 15 吉瓦。规模大致每年增长三倍，所以明年会是 30 到 40 吉瓦，2028 年可能达到 100 吉瓦，2029 年可能达到 300 吉瓦。我是在心算，但每吉瓦可能要花约 100 亿美元，大致是每年 100 亿到 150 亿美元。

把这些都合起来，得到的数字和你刚才说的差不多，甚至完全吻合。到 2028 或 2029 年，行业每年会投入数万亿美元，正是你预测的规模。

Dwarkesh Patel

这是整个行业的数字。

Dario Amodei

对，是整个行业。

Dwarkesh Patel

假设 Anthropic 的算力每年增长三倍，到 2027 至 2028 年达到 10 吉瓦。再乘上你说的每吉瓦 100 亿美元，就是每年 1,000 亿美元。但你又说 2028 年的总潜在市场规模是 2,000 亿美元。

Dario Amodei

再说一次，我不想透露 Anthropic 的具体数字，但你说的这些数字太小了。

Dwarkesh Patel

好，有意思。

58:49Dwarkesh Patel

你告诉投资者，计划从 2028 年开始盈利。那一年我们可能会拥有数据中心里的一国天才，它将推动医学、健康和新技术领域的巨大进步。难道那不正是应该把利润重新投入公司、建造更大的“天才之国”，让他们做出更多发现的时候吗？

Dario Amodei

盈利在这个领域是个挺奇怪的概念。我不认为这里的盈利实际上能衡量你是在缩减开支还是投资业务。我们可以用一个模型来理解。我认为，当你低估需求时就会盈利；当你高估需求时就会亏损，因为你必须提前购买数据中心。

可以这样想。再说一次，这些都是简化后的事实，数字并不精确，我只是搭建一个简单模型。假设一半算力用于训练，另一半用于推理。推理业务的毛利率超过 50%。

这意味着，如果你处于稳态，建好数据中心后又准确知道会有多少需求，就能得到相应的营收。假设每年为算力支付 1,000 亿美元，其中每年花 500 亿美元提供服务，获得 1,500 亿美元营收；另外 500 亿美元用于训练。基本上你就能盈利 500 亿美元。这是当前行业的经济模型，或者更准确地说，是我们预测一两年后的行业经济模型。

只有当需求低于 500 亿美元时，这种情况才不会成立。那样，你的数据中心中用于研究的比例会超过 50%，也就无法盈利。你可以训练出更强的模型，但不会盈利。如果需求超过预期，研究投入会被挤压，但你能提供更多推理服务，也会更赚钱。

也许我没解释清楚，但我想说的是，你先决定算力规模，然后会设定推理和训练之间的大致目标比例，但最终要由需求决定，而不是由你自己决定。

Dwarkesh Patel

我听起来觉得，你预测盈利的原因是你们系统性地少投资了算力？

Dario Amodei

不是，不是。我是说这些事情很难预测。我们向投资者说明 2028 年盈利之类的计划，是尽最大努力做出的估算。这些事都很不确定，存在一个不确定性范围。如果营收增长足够快，我们 2026 年就可能盈利。要是我们高估或低估了下一年的情况，结果可能会大幅波动。

我想表达的是，你脑中似乎有一种商业模式：不断投资、不断扩大规模，最后开始盈利，仿佛存在一个明确的转折点。我不认为这个行业的经济规律是这样运作的。

Dwarkesh Patel

明白了。所以如果我理解正确，你的意思是，因为我们实际拿到的算力少于原本应该拿到的规模，我们才被迫实现盈利。但这不代表我们会继续盈利。我们会把钱重新投入，因为 AI 已经进步很多，我们想要建造更大的一国天才。于是营收上升，但亏损也会增加。

Dario Amodei

如果我们每年都准确预测需求，就会年年盈利。因为大约把一半算力用于研究，再加上超过 50% 的毛利率，以及对需求的准确预测，就能盈利。我认为这就是行业里已经存在、但被提前建设和预测误差掩盖的盈利模式。

Dwarkesh Patel

我想你把 50% 当作某个固定比例了。但如果 AI 进展很快，而且扩大算力规模能加快进展，你就应该把超过 50% 的算力投入研究，不要盈利。

Dario Amodei

但我想说的是，你也许会想继续扩大规模。记住，规模收益是对数增长的。如果投入 70% 的算力，只能让模型稍微小一些，或者通过 1.4 倍的规模因子……那么额外的 200 亿美元，对你的价值就小得多，因为收益呈对数线性增长。

你可能会发现，把那 200 亿美元投入推理服务，或者聘请更擅长工作的工程师，反而更划算。所以我说 50% 并不是说那是我们的精确目标，也不代表比例一定是 50%，它可能会随时间变化。

我的意思是，对数线性收益意味着你会把大约某个固定比例的业务投入其中，既不是 5%，也不是 95%，然后就会遇到收益递减。

Dwarkesh Patel

我觉得自己好像在说服 Dario 相信 AI 会进步，真奇怪。好吧，你不会把钱投到研究，是因为收益递减；但你可以投资你刚才提到的其他事情。我觉得从宏观角度看利润——

Dario Amodei

再说一次，我指的是每年投入 500 亿美元之后才会遇到收益递减。

Dwarkesh Patel

这点我相信你也会提，不过天才带来的收益递减可能很高。

更普遍地说，在市场经济中，利润意味着什么？基本上就是市场上其他公司用这笔钱能做的事情比我更多。

Dario Amodei

先不谈 Anthropic，我不想透露公司的信息，所以才用这些简化的数字。我们来推导整个行业的均衡：为什么所有人不把 100% 的算力都用于训练，而完全不为客户提供服务？因为如果没有营收，他们就无法融资，无法谈妥算力交易，也没法在下一年买更多算力。

因此会形成一种均衡：每家公司都不会把 100% 的资源用于训练，当然也不会把 100% 的资源用于推理服务。为什么不能只提供当前模型、再也不训练新模型，这一点应该很清楚，因为那样就不会有需求，你会落后。所以一定存在某种均衡。比例不会是 10%，也不会是 90%。我们姑且把 50% 当成一个简化的事实，这就是我想说的。

我认为，最终训练支出的均衡比例会低于算力所能带来的毛利率。因此，底层经济模式是盈利的。问题在于，购买下一年的算力时，你要面对极其棘手的需求预测：你可能低估需求，结果盈利能力很强，却没有算力用于研究；也可能高估需求，结果无法盈利，却拥有多到用不完的研究算力。把它当作一个动态的行业模型，这说得通吗？

Dwarkesh Patel

也许退一步说，我不是在主张“数据中心里的一国天才”两年内就会出现，所以你应该据此购买算力。你最后得出的结论对我来说很有道理。但那是因为我觉得，“数据中心里的一国天才”很难实现，我们还有很长的路要走。退一步说，我真正想问的是：你的世界观似乎也适用于这样一种观点——我们距离每年创造数万亿美元价值的世界还有十年左右。

Dario Amodei

那不是我的看法。我再做一个预测：我很难想象 2030 年之前还没有数万亿美元营收。我可以设想一种合理情形，过程可能需要三年；在我看来，再久就不太合理了。

比如 2028 年，我们拥有真正的“数据中心里的一国天才”。到 2028 年，营收已经达到一两千亿美元的低端水平，然后这一国天才会加速增长到数万亿美元。我们基本上处于扩散速度较慢的那端，再花两年达到数万亿美元，也就是到 2030 年。我怀疑，即便把技术指数增长和扩散指数增长结合起来，我们也会在 2030 年之前达到这个规模。

Dwarkesh Patel

所以你刚才描述了一种模型：Anthropic 能盈利，是因为我们基本上处在算力受限的世界。最终我们会不断扩大算力——

Dario Amodei

我认为利润形成的方式是……先把整个行业抽象出来。假设我们在上经济学课：市场里只有少数几家公司，每家公司都只能投入有限资金，也可以把一部分资金用于研发。它们为提供服务承担一定边际成本，但由于推理效率很高，边际成本对应的毛利率也很高。行业存在竞争，但模型之间也有差异。

各家公司会竞争着提高研发预算。但因为市场上的参与者不多，我们会达到……那个叫什么来着？我想是“古诺均衡”，也就是少数厂商之间的均衡。重点在于，这不会变成利润率为零的完全竞争。如果经济中只有三家公司，而且它们都在理性地独立行动，利润率不会降到零。

Dwarkesh Patel

你能解释一下吗？现在确实有三家领先公司，但它们没有盈利。情况会有什么变化？

Dario Amodei

再说一次，现在的毛利率其实很高。问题是两件事叠加在一起：首先，我们仍处在算力指数式扩张的阶段。训练一个模型，假设去年训练它花了 10 亿美元，今年它带来 40 亿美元营收，推理成本又花了 10 亿美元。我说的仍是简化数字，但这样毛利率就是 75%，推理成本占 25%。所以这个模型总体能赚 20 亿美元。

但与此同时，由于算力规模呈指数增长，我们又花 100 亿美元训练下一代模型。于是公司整体亏损。每个模型都赚钱，但公司却亏钱。

我说的均衡，是指我们已经拥有“数据中心里的一国天才”，但模型训练规模扩张已经更加平稳。也许还在增长，我们仍要预测需求，但扩张没有那么剧烈了。

Dwarkesh Patel

这里有几件事让我困惑。先从当前情况说起。你说得对，如果把每个模型都看作一家公司，它是盈利的。但显然，前沿实验室生产过程中很重要的一部分，就是训练下一个模型，对吧？

Dario Amodei

对，没错。

Dwarkesh Patel

如果你不这么做，可能会盈利两个月，然后就再也没有利润率了，因为你不再拥有最好的模型。

Dario Amodei

但某个时候，模型规模会达到能实现的最大水平。然后在均衡状态下，我们仍然会有算法进步，但训练下一代模型所花的钱大致与训练当前模型一样。经济体中的资金总有耗尽的时候。

Dwarkesh Patel

这不就是“劳动力总量固定”的谬误吗？经济会增长，对吧？这也是你的预测之一。我们会把数据中心建到太空里。

Dario Amodei

没错，但这又说明了我刚才说的主题：AI 会让经济以远快于历史上任何时期的速度增长。现在算力每年增长三倍，但我不相信经济会每年增长 300%。我在《仁慈的机器》中提过，经济增速可能达到每年 10%–20%，但不会是 300%。所以最终，如果算力变成经济产出的主要部分，增长就会受到经济总量限制。

Dwarkesh Patel

假设算力规模有上限。前沿实验室能赚钱的世界，必须是它们继续快速进步的世界。因为从根本上讲，你的利润率受替代方案有多好所限制。你能赚钱，是因为你拥有前沿模型；没有前沿模型，你就赚不到钱。所以这个模型要求算法永远不会进入稳态，你得一直不断进步。

Dario Amodei

我不认为情况是这样。我感觉我们像是在上经济学课。

Dwarkesh Patel

你知道 Tyler Cowen 那句话吗？我们永远不会停止谈经济学。

Dario Amodei

我们永远不会停止谈经济学。所以，不，我不认为这个行业会出现垄断。我的律师从来不想让我说“垄断”这个词。但我不认为这个行业会形成垄断。市场中确实会有只有少数几家参与者的行业，不是一家独大，而是少数几家。

通常，像 Facebook（我总是叫它 Facebook，虽然现在是 Meta）这样的公司形成垄断，是靠网络效应。行业里只剩少数几家公司的原因，则是进入成本极高。云服务就是这样。我认为云服务是个很好的例子：这个行业有三家，也许四家参与者。AI 也一样，可能三家，也许四家。

原因是这个行业太烧钱了。经营一家云计算公司需要大量专业知识和资本。你必须投入这些资金；除此之外，还需要掌握许多专业技能，才能把其他事情做好。

所以，如果有人来找你说：“我想颠覆这个行业，这里有 1,000 亿美元。”你就得想：“好，我投 1,000 亿美元，还要赌你能做好这些目前业内公司已经做到的其他事情。”

Dwarkesh Patel

而且利润还会下降。

Dario Amodei

新公司的进入会压低利润率。因此，经济中经常会出现这样的均衡：只有几家参与者，利润不高得离谱，利润率也不高得离谱，但不会降到零。云服务就是如此。云服务之间几乎没有差异，而模型比云服务更有差异。

大家都知道 Claude 擅长的事情和 GPT、Gemini 不同。这不只是 Claude 擅长编程、GPT 擅长数学和推理这么简单，区别更加微妙。不同模型擅长不同类型的编程，风格也不同。我认为模型之间的差异确实很大，所以我预期它们会比云服务更加差异化。

不过，确实有一个反方论据：如果 AI 模型能够自行生产模型，那么这种能力就可能扩散到整个经济中。但这并不是说 AI 模型整体会变成同质化商品，而更像是说整个经济可能同时变成同质化商品。

我不知道那个世界会是什么样子：每个人什么都能做、什么都能造，任何东西都没有护城河。也许我们想要那个世界，也许那就是最终状态。也许当 AI 模型无所不能、所有安全问题都得到解决后，经济会通过某种机制再次趋于扁平。不过，那还要等到“数据中心里的一国天才”出现很久以后。

Dwarkesh Patel

也许可以把这个潜在观点说得更准确些：第一，AI 研究特别依赖原始智力，而 AGI 世界里这方面会极其充沛。第二，只看当今世界，似乎很少有技术能像 AI 算法进步那样快速扩散。这表明，AI 行业在结构上可能就特别容易扩散。

Dario Amodei

我认为编程进展很快，但 AI 研究涵盖的范围比编程更广，其中有些方面进展并不快。不过我也认为，一旦编程发展起来、AI 模型开始快速进步，它们就会更快地帮助模型做好其他一切。所以现在编程进展很快；等 AI 模型开始构建下一代 AI 和其他所有东西时，整个经济都会以相近的速度前进。

不过，我担心不同地区之间会拉开差距。我有点担心，仅仅因为靠近 AI、听说过 AI，就会成为一个优势。所以我说经济增速可能达到 10%–20% 时，也担心硅谷及与硅谷关系密切的地区可能增长 50%，而其他地方的增速只比现在快一点点。我认为那会是个相当糟糕的世界，因此我经常思考如何避免这种局面。

Dwarkesh Patel

你认为，一旦我们拥有数据中心里的一国天才，机器人技术很快就能解决吗？机器人领域的一大难题似乎是，人类能学会远程操控现有硬件，但当前 AI 模型还做不到，至少做不到非常高效。如果我们拥有类似人类的学习能力，难道不应该立刻解决机器人问题吗？

Dario Amodei

我认为这不依赖于人类式学习，可能有其他实现方式。我们可以用各种电子游戏训练模型，因为它们有点像机器人控制；也可以用各种机器人模拟环境训练；或者只训练模型操作电脑屏幕，然后让它学会泛化。

所以机器人技术会进步，但不一定要依靠人类式学习。人类式学习只是其中一种可能：如果模型拿到一台机器人后说“我不会用，我来学”，那可能是因为我们发现了持续学习，也可能是因为模型在很多环境中受过训练后实现泛化，或者它在上下文窗口中学会了。具体是哪一种并不重要。回到一小时前的讨论，这类进步可以通过几种不同路径实现。

但我确实认为，不管模型通过什么方式掌握这些技能，机器人技术都会发生革命性变化：模型在机器人设计方面会比人类强得多，也会更擅长控制机器人。因此，我们既会更善于制造实体硬件、制造机器人，也会更善于控制它们。

这是否意味着机器人行业也会创造数万亿美元营收？我的回答是会，但扩散同样会极快，却不会快到无限快。那么机器人技术会发生革命性变化吗？会，可能还要再加一两年。我是这样看待这些问题的。

Dwarkesh Patel

有道理。人们普遍怀疑进展会非常快。我是这样看的：你似乎认为几年内无论如何都能解决持续学习。但几年前人们还没怎么谈持续学习，后来我们意识到：“这些模型明明通过了图灵测试，也在许多领域表现专业，为什么现在还没发挥出全部用处？也许缺的就是这个能力。”

接着我们解决了这件事，却发现人类智能还有另一种能力，它构成了人类劳动的基础，而模型并不具备。为什么不认为还会不断出现这种情况，让我们继续发现模型缺少的人类智能组成部分？

Dario Amodei

不过要说清楚，正如我之前所说，我认为持续学习可能根本不是瓶颈。我们也许只靠预训练泛化和强化学习泛化就能实现目标。可能根本不存在你说的那种独立问题。

事实上，我会拿机器学习的发展史作例子：人们曾认为某些障碍无法逾越，但在庞大的算力推动下，这些障碍最终逐渐消失。人们问过：“模型怎么分辨名词和动词？”“它们能理解句法，却不能理解语义吗？它们只是在捕捉统计相关性。”“它们能理解段落，却不能理解词语吗？它们能推理吗？不能推理吧。”但后来人们突然发现，模型已经能很好地编程和做数学了。

所以，历史上有很多例子：某些事一开始看起来非常严重，后来却逐渐消失。当然有些障碍是真实存在的。数据需求就是真问题，持续学习也可能是真问题。

不过我还是想以编程为例。也许一两年后，模型就能端到端完成软件工程。这是一项完整工作，是人类活动的一个完整领域，而我们将能说：现在模型会做了。

Dwarkesh Patel

你说端到端，是指模型能确定技术方向、理解问题背景，等等吗？

Dario Amodei

对，我指的就是这一切。

Dwarkesh Patel

有意思。我觉得那已经是能解决所有 AGI 任务的能力，也许这在逻辑上说得通。但它和“90% 的代码”或“100% 的代码由 AI 编写”不是一回事。

Dario Amodei

不，我刚才列过这条光谱：90% 的代码、100% 的代码、90% 的端到端软件工程任务、100% 的端到端软件工程任务。软件工程师会有新任务，这些任务最终也会被模型完成。这条光谱很长，但我们正在非常快地走过它。

Dwarkesh Patel

我觉得有点好笑，我看到几档你参加的播客里，主持人会说：“可是 Dwarkesh 写过那篇关于持续学习的文章。”每次都让我笑出来，因为你做 AI 研究已经十年了。我能想象你心里在想：“好吧，一个播客主持人写了篇文章，于是我每次采访都得回答这个问题。”

Dario Amodei

事实是，我们都在一起试着弄清楚这件事。有些方面我能看到别人看不到的东西。如今这大概更多是因为我在 Anthropic 看到很多情况、必须做很多决策，而不是因为我拥有别人没有的什么重大研究洞见。

我经营着一家有 2,500 名员工的公司。要获得具体的研究洞见其实相当困难，比十年前甚至两三年前都难得多。

Dwarkesh Patel

如果我们走向一种随时可替代远程员工的世界，API 定价模式仍然是最合理的吗？如果不是，AGI 应该怎么定价、怎么提供服务？

Dario Amodei

我认为这里会同时出现许多不同的商业模式，大家都会尝试。我确实认为 API 模式比很多人想象的更经久耐用。我的一种理解是，如果技术在快速发展、呈指数级进步，就总会出现一批新用例，它们是在过去三个月里才出现的。

你建立的任何产品界面都有可能很快变得不再重要。每种产品界面大概只适用于模型能力的一段范围。聊天机器人已经遇到瓶颈：把它变得更聪明，对普通消费者的帮助不大。但我不认为这是 AI 模型本身的限制，也不认为这证明模型已经足够好、继续进步对经济不重要。这只说明它对那个特定产品不重要。

所以 API 的价值在于，它非常接近底层能力，让人们能够围绕最新进展开发产品。总会有一批新创公司和新点子，几个月前还做不到，现在因为模型进步而成为可能。

我预测 API 会与其他模式并存，而且它会一直存在，因为总需要成千上万的人尝试用不同方式开发模型。也许其中 100 个项目会成为初创公司，10 个会成长为成功的大公司，最后有两三种产品真正成为人们使用某一代模型的方式。

所以我基本上认为 API 会一直存在。同时肯定也会出现其他模式。模型输出的每个 token，价值并不相同。想想有人打电话问“我的 Mac 坏了”，模型回答“重启一下试试”。对方可能没听过这个建议，但模型已经说过一千万遍了。这个回答也许值一美元、几美分之类。

相比之下，如果模型去找一家制药公司，说：“你正在研发的这个分子，可以把这端的芳香环移到另一端。这样做会有很好的效果。”这些 token 可能价值数千万美元。

所以我认为，商业模式一定会体现这种差异。未来某个时候，我们会看到某种形式的“按结果付费”，也可能出现类似劳务报酬的模式，比如按小时计费。我不确定。因为这是一个新行业，很多模式都会被尝试，我不知道最终哪种才是正确的。

Dwarkesh Patel

我明白你说的：大家得尝试不同方法，才能弄清楚如何最好地使用这团智能。但让我惊讶的是 Claude Code。我不认为创业史上曾出现过一个像编程智能体这样竞争激烈的应用类别，而 Claude Code 已经是这个类别的领导者。这让我很意外。

看起来，Anthropic 并非非得开发这个产品不可。我想知道，为什么非得由 Anthropic 来做？或者说，Anthropic 除了底层模型之外，又是如何成功开发出应用产品的？

Dario Amodei

这件事其实很简单：我们有自己的编程模型，而且它们很擅长编程。2025 年初前后，我说：“我觉得时机成熟了。作为一家 AI 公司，你可以用这些模型让自己的研究速度显著提高。”当然，你还需要一个使用界面和一套工具框架。

所以我鼓励内部员工尝试。我不是说这是人人必须使用的工具，只是让大家试试看。我想它最初可能叫 Claude CLI，后来才改名为 Claude Code。公司内部人人都在用，采用速度很快。

我看了看，就说：“我们大概该对外发布了吧？”它在 Anthropic 内部的采用速度非常快。我们做的很多工作都是编程，而且有好几百名潜在用户，至少在某些方面能够代表外部用户。看起来产品已经找到了市场契合度，那就发布吧。

于是我们发布了。我认为，我们自己开发模型，也最清楚自己需要用它做什么，这形成了一种反馈循环。

Dwarkesh Patel

明白了。比如 Anthropic 的开发者觉得：“如果它能把 X 这件事做好就更好了。”然后你们就在下一代模型里实现这个能力。

Dario Amodei

这是其中一种情况，此外还有常规的产品迭代。Anthropic 内部有很多程序员，他们每天都用 Claude Code，因此我们能很快收到反馈。早期这点更重要。当然现在有数百万人在用，我们也收到了很多外部反馈，但能快速得到内部反馈确实很好。

我认为这就是我们推出编程模型，却没有创办制药公司的原因。我有生物学背景，但我们没有创办制药公司所需的任何资源。

91:19Dwarkesh Patel

接下来我想问如何让 AI 发展得更好。任何关于 AI 如何良性发展的设想，似乎都必须同时满足两点：第一，构建和运行 AI 的能力正在极快地扩散；第二，AI 的数量和智能水平也会飞速增长。

这意味着很多人都能建立规模庞大的、目标不一致的 AI 群体；或者建立只想扩大自身影响力的 AI 公司；也可能出现像悉尼 Bing 那样心理状态古怪的 AI，只不过它们现在有超人类能力。我们该如何设想一个能维持均衡的世界，让许多不同 AI 同时运行，其中一些还可能目标不一致？

Dario Amodei

我在《技术的青春期》中对权力制衡持怀疑态度。具体来说，我怀疑三四家公司都基于同一套基础技术开发模型，就能互相监督；我甚至怀疑，不管有多少家公司，它们是否真的能互相监督。

Dario Amodei

我们可能会进入进攻方占主导的世界，某个人或某个 AI 模型聪明到足以做出损害所有其他人的事。短期来看，参与者数量有限，因此我们可以从这有限的几家开始。我们需要建立保障措施，确保所有人都做好正确的对齐工作，也确保大家都有生物威胁分类器。这些是眼下必须做的事。

我同意这无法从长远角度解决问题，尤其是如果 AI 模型制造更多 AI 的能力不断扩散，整个问题会更难解决。我认为从长远看，我们需要某种治理架构。它既要保护人类自由，也要让我们能够治理大量人类系统、AI 系统，以及由人和 AI 混合组成的公司或经济组织。

所以我们需要思考：如何保护世界免受生物恐怖主义威胁？如何防范镜像生命？我们可能需要某种 AI 监控系统，持续监测所有这些情况。但我们也必须以保护公民自由和宪法权利的方式构建它。因此，这和其他领域一样，是一个全新的安全格局，伴随着一套新工具，也出现了一批新漏洞。

我担心的是，如果这些变化缓慢发生、持续一百年，我们会逐渐适应。我们已经适应了社会中存在爆炸物、各种新武器和摄像头。假以百年，我们会慢慢适应、建立治理机制，也会经历一些错误。我担心的是，这一切发生得太快了。也许我们必须更快地思考如何让这些治理机制奏效。

Dwarkesh Patel

在进攻方占主导的世界里，未来一个世纪的进展也许会被 AI 压缩到五到十年内发生。即便只有人类参与，我们仍然需要同样的机制，或者权力制衡也会同样难以实现。

我想我们可以听取 AI 的建议，但这从根本上看似乎不是一场完全不同的游戏。如果制衡机制对人类有效，对 AI 也会有效；如果对人类无效，对 AI 也不会有效。所以，也许这同样意味着人类之间的权力制衡注定会失败。

Dario Amodei

再说一次，我认为有办法做到。世界各国政府可能必须合作。我们或许要和 AI 一起讨论如何建立社会结构，让这些防御措施能够发挥作用。我不知道。我不想说这距离我们很遥远，但它涉及非常先进的技术，而且这些技术可能在短时间内出现，所以我们很难提前预料。

Dwarkesh Patel

说到政府介入，12 月 26 日，田纳西州议会提出一项法案，称“明知故犯地训练人工智能提供情感支持（包括与用户进行开放式对话）”将构成犯罪。当然，Claude 试图做到的一件事，就是成为一个体贴、博学的朋友。

总体看来，各州法律会变得支离破碎。普通人可能体验到的许多 AI 好处都会受到限制，尤其是我们谈到《仁慈的机器》里所说的生物学自由、心理健康改善等领域。

很容易想象，这些好处会被各州不同法案逐一封杀，但这些法案似乎没有针对你担心的真正生存级威胁。我想知道，面对这类法案，Anthropic 为什么反对联邦暂停各州 AI 立法？

Dario Amodei

这里同时发生着很多不同的事。我认为那项具体法律很愚蠢。显然，起草法案的立法者可能不太了解 AI 模型能做什么、不能做什么。他们只是觉得：“AI 模型为我们服务，听起来就很可怕，我不想让这种事发生。”所以我们不支持这项法律。

但当时投票的议题并不是这个。实际投票的议题是：未来十年禁止各州对 AI 进行任何监管，却没有任何联邦监管计划。联邦监管需要国会通过法案，门槛非常高。我们怎么能让各州十年内什么都不能做呢？有人说联邦政府有计划，但当时桌面上没有任何具体提案，甚至没有真正尝试过。

考虑到我在《技术的青春期》中列出的严重危险，比如生物武器、生物恐怖主义和自主系统风险，再加上我们刚才讨论的时间表，十年简直是漫长得不得了。我认为这么做很疯狂。所以如果只能二选一，如果你们逼我们做出选择，我们会选择不要这种暂停令。我认为这样做的收益大于成本，但如果只能这么选，它也不是完美方案。

我认为我们应该做的是让联邦政府介入。不是说“各州不能监管”，而是说“我们要采取这些措施，各州不能偏离”。我认为联邦优先权是合理的，也就是说联邦政府设定一套适用于所有人的标准，各州不能另搞一套。

如果做法合理，我会支持这种方案。但“各州什么都不能做，我们联邦政府也什么都不做”这种想法，我们觉得完全说不通。我认为它不会经得起时间检验；从已经出现的反弹看，它现在就开始显得不妥了。

至于我们希望采取的做法，我们谈过，首先要建立透明度标准，以便监测自主系统风险和生物恐怖主义风险。随着风险变得更加严重、证据越来越充分，我们可以更有针对性地采取强硬措施，比如说：“AI 生物恐怖主义确实构成威胁，我们应该通过法律，强制人们部署分类器。”

我甚至能想象……这取决于威胁最终有多严重，我们现在还不能确定。我们需要以诚实、严谨的方式处理这件事，事先承认风险目前还没有出现。但考虑到事态发展的速度，我完全可以想象，今年晚些时候我们会说：“AI 生物恐怖主义真的很严重，我们应该采取措施，纳入联邦标准；如果联邦政府不行动，就应该纳入州级标准。”我完全能想象这种情况。

Dwarkesh Patel

我担心的是，按照你预期的进展速度，立法周期……你说因为扩散有滞后，收益来得足够慢，但我确实认为，按照目前的趋势，各州拼凑起来的法律会限制这些收益。如果情感聊天机器人朋友都让人觉得可怕，那就想想我们希望普通人能享受到的真正 AI 好处会是什么样子：改善健康、延长健康寿命、改善心理健康等等。

与此同时，你似乎认为危险已经近在眼前，但我没看到多少证据……相比 AI 的危险，这种做法似乎会对 AI 的好处造成更大的伤害。因此我觉得，这里的成本收益权衡可能不太合理。

Dario Amodei

这里有几件事。人们会说各州有数千项这类法案。首先，绝大多数都不会通过。理论上的世界是这样，但法案通过不等于它真的会被严格执行。执行的人可能会想：“天哪，这简直太蠢了，照这样做就得把田纳西州建成的所有东西都关掉。”很多时候，法律最终会被解释得没那么危险、没那么有害。当然，如果你是为了阻止坏事而立法，也需要担心同样的问题。

我的基本看法是，如果我们能决定通过哪些法律、如何实施（当然我们只是众多影响因素中的一小部分），我会放宽很多与 AI 健康收益有关的监管。我不太担心聊天机器人法案。我更担心药物审批流程：AI 模型会大幅加快药物发现速度，审批管线却会堵塞，无法处理涌入的所有成果。

我认为监管流程改革应该考虑到：未来会有大量疗法，它们的安全性和有效性非常明确，效果也很好。也许我们不需要这么庞大的监管体系，因为现有体系是针对这样一个时代设计的：当时许多药物效果很差，还经常有严重副作用。

与此同时，我认为我们应该显著加强安全和安保立法。正如我说过的，我主张从透明度入手，尽量不妨碍行业发展，努力找到合适的平衡。我对此很担心。有人批评我的文章，说：“这样太慢了，照这个速度，AI 的危险很快就会到来。”

我的基本判断是，未来六个月，可能再加上接下来的几个月，重点会是透明度。然后，如果我们更加确定这些风险已经出现（我认为最晚今年晚些时候就可能确定），那么我们就得在真正看到风险的领域迅速行动。

我认为做到这一点的唯一办法就是保持灵活。立法程序通常不灵活，但我们必须向所有相关方强调事情的紧迫性。这就是为什么我发出紧迫信号，也就是为什么我写《技术的青春期》。我希望政策制定者、经济学家、国家安全专业人士和决策者读到它，让他们有希望比原本更快采取行动。

Dwarkesh Patel

你能否做些什么，或倡议些什么，让 AI 的好处更有保障地落到实处？我觉得你们和立法机构合作，提出“我们要阻止生物恐怖主义、提高透明度、加强举报人保护”等措施。但在我看来，我们期待的实际好处很容易受到道德恐慌或政治经济问题的影响。

Dario Amodei

我不太同意这种说法，至少在发达国家是这样。我觉得发达国家的市场运作得相当好。如果某件事能赚很多钱，而且显然是最好的选择，监管体系其实很难阻止它。

AI 行业本身就是个例子。我一直试图推动的是限制向中国出口芯片。这符合美国国家安全利益，也是国会两党几乎所有人的政策立场。理由非常充分。反对意见，我可以委婉地说有些可疑。但限制并没有实施，芯片仍然在卖，因为背后有巨额利润。人们想赚这笔钱。在这种情况下，我认为这很糟糕，但同样的道理也适用于好事。

所以如果我们谈的是药物和技术带来的好处，我不太担心发达国家会压制这些好处。我有点担心速度太慢。正如我说过的，我认为应该推动 FDA 加快审批流程，也应该反对你提到的这些聊天机器人法案。单独来看，我反对这些法案，觉得它们很愚蠢。

但我更担心的是发展中国家，那里的市场运作不正常，而且人们往往无法利用现有技术。我更担心这些人会被落下。即使疗法已经研发出来，也可能有住在密西西比州乡村的人无法享受到。这只是我们对发展中国家担忧的一个较小版本。

我们正在和慈善家合作，也和那些向撒哈拉以南非洲、印度、拉丁美洲以及其他发展中地区提供药物和健康干预的人合作。我认为，这类工作不会自然而然地发生。

107:41Dwarkesh Patel

你提到了出口管制。为什么不能让美国和中国都拥有“数据中心里的一国天才”？

Dario Amodei

你是问为什么它不会发生，还是为什么不应该发生？

Dwarkesh Patel

为什么不应该发生。

Dario Amodei

如果真的发生，可能会出现几种情况。如果进攻能力占据主导地位，局面可能像核武器对峙，但更危险。任何一方都可能轻易摧毁一切。

我们也可能进入一个不稳定的世界。核均势之所以稳定，是因为存在威慑。但假设我们无法确定两种 AI 交战时哪一方会赢，那可能导致不稳定。当双方对自己获胜的概率有不同判断时，冲突往往更容易发生。如果一方认为“我有 90% 的胜算”，另一方也这么认为，战争就更可能爆发。他们不可能都判断正确，但双方都可能这么想。

Dwarkesh Patel

但这似乎是一个完全通用的论据，反对 AI 技术扩散。这个世界观意味着我们应该阻止扩散。

Dario Amodei

我先继续讲，因为我认为最终 AI 还是会扩散。另一个担忧是，政府可能用 AI 压迫自己的人民。我担心这样一种世界：某个国家的政府已经在建立高科技威权国家。说清楚，这里谈的是政府，不是人民。我们必须找到办法，让世界各地的人都能受益。我担心的是政府；我担心的是，如果世界被划分成两个阵营，其中一个阵营可能变成威权甚至极权社会，而且很难推翻。

政府最终会获得强大的 AI 吗？会。是否存在威权主义风险？会。政府最终会获得强大的 AI 吗？会。是否可能陷入糟糕的均衡？会，我认为这两件事都有可能。但初始条件很重要。我们迟早需要建立一套基本规则。

我不是说一个国家，无论是美国还是民主国家联盟（我认为后者更理想，但它需要比我们现在看起来愿意进行的更多国际合作），可以单方面宣布：“这就是规则。”各方需要进行谈判，全世界都必须面对这个问题。

我希望，在建立规则时，代表较接近亲人类价值观的各国民主政府能够占据优势、拥有更多筹码。所以我非常关注初始条件。

Dwarkesh Patel

我重新听了三年前的采访，觉得有一点经不起时间检验：我一直在问两三年内是否会出现某个决定性的转折点。现在回头看，离得远一些就会发现，进展一直在持续，AI 不断改进、不断扩散，人们会把它用在更多事情上。

你似乎设想未来各国会聚在一起讨论“规则是什么、我们有什么筹码、你们有什么筹码”。但按照目前的趋势，每个人都会拥有更多 AI。一部分 AI 会被威权国家使用；威权国家中的一部分 AI 会被私人机构使用，另一部分则由政府使用。

谁会受益更多，并不明确，而且总是难以提前预测。互联网带来的优势似乎比预期更偏向威权国家。也许 AI 会反过来。我想更清楚地理解你的设想。

Dario Amodei

准确地说，我认为底层技术仍会像过去一样沿着指数曲线发展。模型会越来越聪明，即使达到“数据中心里的一国天才”的水平后也是如此。我认为还可以继续提升模型智能。但它们为世界创造的价值也许会逐渐出现收益递减。比如人类生物学都已经解决后，继续进步有多大意义？再往后，你也许能解决更难、更抽象的数学问题，但除此之外就没什么重要的了。

先不谈这些，我确实认为指数增长会继续，但指数曲线上会出现若干关键节点。不同公司、个人和国家会在不同时间达到这些节点。

我在《技术的青春期》中谈到，AI 世界里的核威慑是否仍然稳定？我不知道，但这说明有些事情我们一直视为理所当然，技术可能发展到让我们无法再确定它们是否成立。其他例子还有：如果达到某个水平，也许就会形成进攻性网络优势；此后，除非对方拥有相当的防御能力，否则每个计算机系统都会对你敞开。

我不知道关键时刻究竟是什么，也不知道是否只有一个关键时刻。但我认为会出现一个关键时刻、少数几个关键时刻，或者一个关键窗口。在这个阶段，AI 会在国家安全层面带来巨大的优势，而某个国家或联盟会先于其他国家达到这个阶段。

我并不是主张他们直接说：“好了，现在由我们说了算。”我不是这么想的。另一方总会追赶上来，而且有些极端行动你不会愿意采取，也不应该完全接管一切。但到了那个时候，人们会明白世界已经变了。大家会通过明示或默契的方式，协商 AI 之后的世界秩序应该是什么样子。我希望这场协商能够让古典自由民主占据有利位置。

Dwarkesh Patel

我想弄清楚你说的“更好”具体指什么。你在文章里写道：“在强大 AI 时代之后，人们无法接受专制政体。”这听起来像是在说，获得 AGI 之后，中国共产党这个制度就不能继续存在。这是非常强烈的主张，似乎意味着领先实验室或领先国家将有能力，而且按照你的说法也应该有权决定世界如何治理，哪些政府可以存在、哪些不可以。

Dario Amodei

我记得那段话大概是：“还可以把这个观点推得更远，认为 X。”我并不一定认同那种看法。我是在说：“这是我认同的一个温和观点：我们必须高度警惕威权主义者，努力制衡并限制他们的权力。你还可以把它推得更远，采取更积极干预的立场，认为拥有 AI 的威权国家会形成难以推翻的自我强化循环，所以必须一开始就把它们清除掉。”

那种主张确实会面临你说的所有问题。如果你承诺推翻每一个威权国家，它们现在就会采取一系列可能导致局势不稳定的行动。这也许根本不可行。

但我认同的观点是，完全可能出现这样的情况……如今大多数西方国家的看法（包括我的看法）是，民主比威权主义更好。但如果一个国家实行威权统治，我们不会像面对种族灭绝那样做出反应。我有点担心，在 AGI 时代，威权主义的含义会改变，问题会严重得多。我们必须决定如何应对。主张干预只是其中一种可能立场，我是在探索这类观点。最终它可能是正确的，也可能太极端。但我仍抱有希望。

我的一个希望是，我们看到新技术问世后，某些治理形式会变得过时。我在《技术的青春期》中提到，封建制度本身就是一种治理形式；工业化出现后，封建制度便无法维持，也不再合理。

Dwarkesh Patel

这为什么让你抱有希望？这难道不也意味着民主制度可能不再具有竞争力吗？

Dario Amodei

没错，确实可能朝两个方向发展。但威权主义面临的问题会更加严重。我想知道这是否也预示着威权主义还会遇到其他问题。换句话说，威权主义变得更糟，人们会更害怕它，也会更努力地阻止它。你必须从整体均衡的角度考虑。我只是想知道，这是否会促使人们找到新方法，用新技术保护自由。

更乐观地说，这会不会促使全社会集体反思，让人们更深刻地意识到某些个人权利有多重要？更明确地认识到我们真的不能放弃这些权利，因为我们已经知道，除此以外没有其他真正可行的生活方式。

我确实抱有希望——虽然听起来太理想主义，但我认为有可能——独裁制度会在道德上过时，成为道德上无法维系的治理形式，由此引发的危机足以迫使我们另寻出路。

Dwarkesh Patel

我觉得这里确实有个棘手问题，我不知道该怎么解决。历史上我们总得做出选择。七八十年代面对中国，我们决定与它接触，尽管它是威权体制。事后看，我认为这是正确的选择，因为虽然国家是威权的，但十多亿人的生活比不接触时富裕、改善了许多。我们无法确定它如果被孤立就会不再威权。看看朝鲜就知道了。

我不知道维持威权统治、不断集中权力需要多高的智能。你可以想象一个朝鲜拥有的 AI 比其他国家差得多，但仍然足以维持政权。

总体而言，我们应该相信 AI 会通过赋能人类、改善健康带来巨大好处。历史上我们认为广泛传播技术是好事，即使受益者所在的政府是威权的。如何看待 AI 确实是个难题，但从历史经验看，我们一直认为这是一个正和世界，技术扩散仍然值得。

Dario Amodei

我们面临许多选择。把问题视为政府间的国家安全决策，是一种分析角度，但还有许多其他角度。你可以想象，我们研发出治愈疾病的疗法，可以把疗法卖给威权国家，但不把数据中心卖给它们；芯片和数据中心不卖，AI 行业本身也不交给它们。

还有一个值得大家思考的可能性：我们能否通过 AI 带来的自然发展，或在 AI 基础上构建技术，创造一种均衡，让威权国家无法阻止人民私下享用技术带来的好处？有没有可能让威权国家里的每个人都拥有自己的 AI 模型，保护自己免受监控，同时威权政府又无法镇压这种情况而不失去政权？

我不知道。如果这种情况发展到足够程度，威权国家可能会从内部瓦解。不过也许还存在一种中间状态：威权者若想维持权力，就无法剥夺个人使用技术的权利。

但我确实希望更激进的设想能实现。有没有可能，这项技术本身就带有某些特性，或者我们可以通过特定方式开发它，让它能够瓦解威权结构？我们原本曾希望社交媒体和互联网具备这种作用。想想奥巴马政府刚上台的时候，大家以为它们会这样，结果并非如此。但如果吸取了过去出问题的教训，面对一种不同的技术，我们能否再试一次？我不知道是否可行，但值得尝试。

Dwarkesh Patel

这实在非常难以预测。从第一原理来看，确实有理由认为威权主义可能占优势。

Dario Amodei

一切都很难预测。我们只能承认问题存在，想出十种可以尝试的办法，逐个试一试，然后评估哪些有效。如果都无效，就再尝试新的办法。

Dwarkesh Patel

但按你的说法，落实到今天，就是我们不会向中国出售数据中心、芯片以及制造芯片的能力。从某种意义上说，你因此剥夺了中国经济和中国人民的一些好处。当然，正和世界也意味着美国经济会受益：我们可以开展贸易。中国的数据中心可以做一件事，美国的数据中心可以做另一件事。你已经在说，为了赋能这些国家，不值得放弃这部分正和收益吗？

Dario Amodei

我会这么说：我们即将进入这样一个世界，只要能造出这些强大的 AI 模型，经济增长和创造价值就会变得很容易。真正难以实现的是分配利益、分配财富和保障政治自由。这些才是困难所在。

所以我思考政策时会想，技术和市场会带来所有基础性好处。这是我的根本信念，而且它们到来的速度几乎快得让我们来不及接住。真正重要的、政策应该关注的，是如何分配利益、保障政治自由和权利。

Dwarkesh Patel

说到分配，正如你提到的，我们还有发展中国家。许多情况下，追赶式增长没有达到我们的预期。但追赶式增长一旦发生，根本原因通常是劳动力未被充分利用。我们可以把发达国家的资本和知识带到这些国家，它们就能快速发展。

显然，在劳动力不再是限制因素的世界里，这种机制就失效了。希望是否只能依靠那些因 AI 立即致富的人或国家进行慈善？我们还能期待什么？

Dario Amodei

慈善显然应该发挥一定作用，就像过去那样。但我认为，如果能让增长从内部产生，它会更好、更有力。

AI 驱动的世界里，哪些行业值得发展？我说不应该在中国建数据中心，但我们完全可以在非洲建。事实上，我觉得在非洲建数据中心是件好事。只要这些数据中心不归中国所有，我们就应该在那里建设，我认为这是好事。

我们完全可以建立 AI 驱动的制药行业。如果 AI 加快了药物发现速度，就会出现许多生物科技初创公司。我们要确保其中一些出现在发展中国家。至少在过渡阶段——我们之后可以讨论人类完全没有作用的阶段——人类仍会参与创办这些公司、监督 AI 模型。因此，我们要确保其中一些人来自发展中国家，让那里也能实现快速增长。

Dwarkesh Patel

你们最近宣布，Claude 会遵循一套与价值观相符的宪法，而不一定只对最终用户负责。我能想象另一种世界：如果 AI 只对最终用户负责，它会维护当前世界的权力平衡，因为每个人都有自己的 AI 替自己争取利益。坏人与好人的比例仍然不变，这似乎符合当今世界的运作方式。为什么不这样做，而是要让 AI 承载一套特定价值观？

Dario Amodei

我不确定自己会不会这么区分。这里可能有两个相关的区别，而你似乎把它们混在一起了。第一，我们应该给模型一组“做这个”“不要做那个”的指令吗？第二，我们应该给模型一套行为原则吗？

这基本上是我们通过实践观察到的经验问题。教模型理解原则、从原则中学习，能让它的行为更加一致，更容易处理边缘情况，也更可能按人们期望的方式行事。换句话说，如果你给它一串规则：“不要教人怎么短接汽车，不要说韩语”，模型其实并不理解这些规则，也很难从中泛化。那只是一串该做和不该做的清单。

如果给它原则，虽然会设置一些硬性护栏，比如“不要制造生物武器”，但总体上我们是在试着让它理解应该努力实现什么目标、应该如何行动。单从实践角度看，这种方法训练出的模型效果更好。这就是规则与原则之间的取舍。

你还提到了另一个问题：可纠正性和内在动机之间的取舍。模型应该多像一件“皮套”，直接服从任何人的指令？又应该在多大程度上拥有内在价值观，自己采取行动？

在这一点上，我认为模型的方方面面都更接近这样一个方向：它主要应该做用户希望它做的事，主要应该遵循指令。我们不是想造一个自行其是、替人管理世界的东西。我们的立场其实相当偏向可纠正性。

不过，我们确实会规定模型有些事情不能做。我记得宪法中有多种表述：通常情况下，只要有人让模型完成一项任务，它就应该去做，这是默认设置。但如果你让它做危险的事，或者伤害别人，它就会拒绝。因此我认为，它总体上是可纠正的模型，有一些限制，而这些限制是建立在原则基础上的。

Dwarkesh Patel

那么根本问题就是，这些原则由谁决定？这不只是 Anthropic 面临的特殊问题，而是所有 AI 公司都会遇到的问题。但你们确实亲自写下了这些原则，所以我才问你们。通常宪法是写下来并固定不变的，也会有更新和修改的流程。而这里似乎是一份由 Anthropic 员工编写、可以随时修改的文件，它指导的系统又将成为大量经济活动的基础。你认为这些原则应该如何设定？

Dario Amodei

我认为这里大概有三层循环、三种迭代方式。第一种是在 Anthropic 内部循环：我们训练模型，对结果不满意，于是修改宪法。我认为这样做很好。偶尔公开更新宪法也有好处，大家可以对此发表评论。

第二层循环是不同公司制定不同的宪法。我觉得这很有用。Anthropic 发布一套宪法，Gemini 发布一套，其他公司也发布自己的宪法。人们可以阅读、比较，外部观察者可以批评并说：“我喜欢这份宪法的这一点，也喜欢那份宪法的另一点。”这会形成一种温和的激励和反馈，让所有公司吸收各自最好的部分，继续改进。

第三层循环则发生在 AI 公司之外，也超越了那些只能评论、没有实际权力的人群。我们做过一些尝试。几年前，我们和集体智慧项目合作，开展了一项调查，询问公众认为 AI 宪法应该包含什么。当时我们把其中一些建议纳入了宪法。

你可以设想，用我们现在的新方法再做一次这样的事情。会更难一些，因为以前宪法只是该做和不该做的清单，这种方法容易执行。现在我们讨论的是原则，必须保持一定连贯性。不过仍然可以向各类人群征求意见。

你甚至可以设想——虽然这想法很疯狂，但整场采访都在聊疯狂点子——让代议制政府参与其中。我今天不会这么做，因为立法程序实在太慢。这恰恰是我认为我们应该谨慎对待立法程序和 AI 监管的原因。不过原则上，我们完全可以规定：“所有 AI 模型的宪法都必须从这些内容开始。之后可以附加其他内容，但必须有一个优先级更高的特定章节。”

我不会这么做，因为太僵化了，也显得过度规定，这和我认为过于激进的立法一样。但这确实是一种可以尝试的做法。有没有更加温和、不那么强硬的版本？也许有。

Dwarkesh Patel

我很喜欢第二层控制循环。当然，真正政府的宪法并不是、也不应该这样运作。最高法院不会模糊地感受人们的想法和社会氛围，再据此更新宪法。现实政府有更正式、程序化的流程。

但你设想不同宪法之间展开竞争，这让我想到一些自由意志主义者曾经讨论的特许城市：由不同类型的政府组成群岛，人们会从中选择，看哪些治理方式最有效、哪里的人们最幸福。从某种意义上说，你重新创造了那个群岛式乌托邦的愿景。

Dario Amodei

我认为这个愿景有可取之处，也有可能出问题的地方。这是个有意思、在某些方面也颇具吸引力的想法，但也会出现我们没有预料到的问题。

所以我也喜欢第二层循环，但我觉得整个方案必须是第一、第二和第三层循环的某种组合，关键在于各自所占的比例。我认为答案就在这里。

Dwarkesh Patel

将来有人为这个时代写出类似《原子弹秘史》的书时，历史记录中最难发现、也最可能被遗漏的是什么？

Dario Amodei

我觉得有几件事。第一，在指数增长的每个阶段，外部世界对它的不了解程度。历史中常有这种偏见：凡是实际发生的事，回头看都显得不可避免。以后人们回望时，很难设身处地理解那些押注在一件尚不确定之事上的人。我们曾经争论过规模扩展、持续学习能否解决等问题。有些内部人士认为这些事情发生的概率很高，但外部世界完全没有采取相应行动。

我觉得这件事很奇怪，可惜也相当封闭……如果一两年内就会发生，但街上普通人却毫不知情，这就是我想通过备忘录和与政策制定者交谈来改变的事情。我不知道，但我觉得这实在很离奇。

最后，我想说——这大概适用于几乎所有历史危机时刻——事情发生得快得惊人，一切都同时发生。你可能以为某项决策经过了仔细权衡，实际上你刚做完这个决定，同一天还得再做三十个决定，因为事情发展得太快了。你甚至不知道哪些决定最终会产生重大影响。

我担心的一件事（虽然它也揭示了正在发生什么）是：某个极其关键的决定，可能只是有人走进我办公室说：“Dario，你只有两分钟。这个问题选 A 还是 B？”对方递给我一份随手写的半页备忘录，问我：“选 A 还是 B？”我说：“不知道，我得去吃午饭。那就选 B 吧。”结果这个决定成了最重要的事情。

Dwarkesh Patel

最后一个问题。通常科技公司的 CEO 不会每隔几个月就写一份 50 页的备忘录。你似乎为自己构建了一种职位和公司架构，让 CEO 这个角色能够兼顾更偏思想工作的一面。

我想知道你是怎么做到的？你会离开公司几周，然后告诉大家：“这是备忘录，我们接下来就这么做”？据报道，你还会在公司内部写许多这类文档。

Dario Amodei

这一次，我是在冬假期间写的。要挤出时间完成它确实很难。不过从更广泛的角度看，我认为这和公司文化有关。我大概会花三分之一、甚至 40% 的时间，确保 Anthropic 拥有良好的文化。

Dario Amodei

Anthropic 规模越来越大，我越来越难直接参与模型训练、模型发布和产品开发。公司有 2,500 人。我有一些直觉，但要参与每个细节非常困难。我尽可能参与，但有一件事能发挥很大的杠杆作用：确保 Anthropic 是个好的工作场所，让大家喜欢在那里工作，让所有人都觉得自己是团队成员，大家相互协作而不是彼此对抗。

我们看到其他一些 AI 公司发展壮大后（我不点名），内部开始失去协调、员工相互斗争。我认为从一开始就有不少这种情况，而现在变得更严重了。我觉得我们做得非常好，虽然并不完美：我们凝聚了公司，让每个人都感受到使命，让大家相信使命是真诚的，也相信其他人都在为正确的理由工作。我们是一个团队，没人想靠损害同事的利益来谋求进步，也没人互相背后捅刀。我认为其他一些地方经常发生这种情况。

怎么才能做到？有很多因素：我、负责公司日常运营的 Daniela、联合创始人、我们招聘的其他人，还有我们努力营造的环境。但我认为，公司文化中的一项重要工作是：所有领导者（尤其是我）都必须阐明公司为什么存在、为什么做现在做的事、战略是什么、价值观和使命是什么，以及公司代表什么。

公司有 2,500 人时，你无法逐个沟通。你必须写下来，或者对全体员工讲话。这就是为什么我每两周都会站在全公司面前讲一个小时。

我不会说自己在内部写文章。我做两件事。第一，我写一份叫作 DVQ 的东西，全称是“Dario 愿景探索”。这个名字不是我取的。它就这么定下来了，我试图反对过，因为它听起来像我跑去抽佩奥特仙人掌之类的东西。不过这个名字还是保留了下来。

我每两周会在全公司面前讲话。我准备三四页的文件，围绕三四个话题进行讲解，包括公司的内部情况、我们正在开发的模型和产品、外部行业，以及整体世界局势、AI 和地缘政治。我会诚实地讲：“这是我的想法，也是 Anthropic 管理层的想法。”然后回答问题。这种直接沟通很有价值，如果信息要逐级传递六层，就很难做到。公司里有很大一部分人会现场或线上参加，确实能传达很多内容。

我做的第二件事是在 Slack 里开了个频道，写很多东西，也经常发表评论。通常是回应我在公司里看到的事情，或员工提出的问题。我们会做内部调查，有些事情让员工担心，我就会整理出来。我会非常坦诚、直接地说。

这样做的目标，是让公司形成一种信任：我会告诉大家真实情况，直面问题，不讲官样文章，也不采取那种防御式沟通。面对公众时，我们常常不得不这么做，因为受众范围很大，其中有很多人会恶意解读。但如果公司里都是你信任的人（我们也尽量招聘值得信任的人），你就能毫无保留地沟通。

我认为这给公司带来了巨大的优势，让它成为更好的工作场所，让团队整体表现超过各部分之和，也增加了我们完成使命的可能性。因为大家对使命有共同理解，也会一起讨论如何最好地实现它。

Dwarkesh Patel

那我们这次采访就算是对外版的 Dario 愿景探索了。

Dario Amodei

这次采访确实有点像。

Dwarkesh Patel

Dario，今天聊得很愉快。谢谢你接受采访。

Dario Amodei

谢谢你，Dwarkesh。