Dylan Patel: 迪伦·帕特尔:到2028年,Anthropic 和 OpenAI 将掌握全球大部分算力

00:00好的,我又和迪伦·帕特尔在一起了,他是 SemiAnalysis 的创始人。我们每年定期录一期播客,算是我们版本的家庭感恩节晚餐。不过我们其实并没有亲戚关系。

别告诉大家这件事。

这会打破那个神话。基本上,世界经济的走向越来越取决于各大实验室的经济状况走向、算力市场的走向,等等。我想弄清楚,几年之内这个疯狂的未来会走到哪一步。不过我们先从今天的情况说起。请带我看一下目前实验室的算力和收入情况,也许再往后推演一两年。

回头看去年,即便到了年底,美国大部分的 GDP 增长也只是来自 AI 基础设施。展望今年,即将上线的算力中大约三分之一是给实验室的,也就是 OpenAI 和 Anthropic。这些算力可能由别人建设,再租给它们,但最终的客户就是它们。

展望未来,算力方面的数字正在急剧膨胀。今年我们的资本支出略高于1万亿美元。到2028年,将超过2万亿美元。实验室在其中所占的比例也在不断上升。所以最终的局面非常有意思:实验室正从每年花费数百亿美元的公司,变成每年花费数千亿美元的公司,并预计到本十年末每年将花费数万亿美元。这至少是它们已经开始与合作伙伴签订的部分合同所体现的。

这需要它们的经济模式发生大幅重塑。到目前为止,它们大多是亏钱的公司。Anthropic 在第二季度开始盈利。据信 OpenAI 甚至可能在第三季度的某个时点开始盈利,这得益于 Codex 和 5.6 等产品的更大幅度崛起。但如果回到一年前,它们手里所有的钱都是靠风险投资来弥补亏损的。即使回到今年年初,也还是靠风险投资弥补亏损。现在它们已经渡过了难关,真正开始盈利了。

这并不意味着它们不再融入新资本。新资本仍在流入,以进一步加速增长。但最终,它们的业务越来越多地由自身收入来支撑,而不是靠注入资本。在过去一年半里,它们的利润率确实大幅飙升。算力的基础成本通常是每兆瓦大约1000万、1300万或1500万美元。

现在最有意思的一点是:以前,如果它们提供某个模型的服务,比如在 Nvidia Hopper GPU 上运行 GPT-4,对 OpenAI 来说毛利率是负的。但现在,当 OpenAI 提供 GPT-5.6 的服务,或者 Anthropic 提供 Opus 5 或 Fable 5 的服务时,它们产生的收入已经远远超过每兆瓦新增的1000万到1500万美元成本。就 Anthropic 而言,收入甚至高达每兆瓦5000万美元。这让它们现在可以这样做:“嘿,如果我在推理容量上花10美元,实际上能产生50美元的收入,然后我就可以回头把这些利润全部增量投入到训练上。”

我非常想弄明白的一件事是,你如何看待算力向实验室集中的过程,或者说流向全世界的算力与流向实验室的算力的相对比例。如果你说现在边际算力中有三分之一流向了实验室,那么到什么时候,全球新增算力的一半以上会流向实验室?到什么时候,实验室基本上拥有全球算力的绝大部分?

今年年初,OpenAI 的算力起点是2吉瓦,Anthropic 不到2吉瓦。到今年年底,两家都会超过5吉瓦。所以它们整体的算力增长了3到4倍。从新增算力来看,大约占今年新增算力的30%。

再往明年看,考虑到已经签署、落笔、盖章的合同,情况会更加戏剧化。Anthropic 和 OpenAI 明年将占据多达40%到50%的算力。这种集中化看起来并没有放缓或停止的迹象。事实上,看起来只会加速。

为它们建设算力的主体会发生变化。比如明年有一个重要的新进入者是 SpaceX,它正在建设大量算力。它们很可能会主动把相当一部分租给 Anthropic 和 OpenAI,因为这两家有边际能力支付最高的价格。此外,OpenAI 和 Anthropic 也开始建设自己的算力,OpenAI 使用自己的芯片,Anthropic 则使用向 Google 购买的 TPU,并与 Fluidstack 一起部署。

所以你问:“嘿,全球一半的新增算力什么时候会流向 OpenAI 和 Anthropic 这两家?”实际上就是到明年年底,那时一半的新增算力已经流向 Anthropic 和 OpenAI 了。

由于算力增长得如此之快,新增算力基本上就会成为算力的主体。所以很快,你是说也许一年半或两年之内,全球大部分算力将由两家实验室拥有,或者至少是在满足这两家实验室的需求。

有这样一种趋势:也许全球算力以吉瓦计每年翻一番,但前沿实验室的算力每年翻三倍。如果保持当前趋势,它会从今年年初的2吉瓦增长到今年年底的接近6吉瓦。只是简单地乘以3。到2027年底是18吉瓦,到2028年底是54吉瓦。你是不是认为:“好吧,到那个时候,考虑到全球算力的总量,它们根本无法继续翻三倍了”?你如何看待未来几年全球算力的情况?

如果今年新增算力为30吉瓦,明年50吉瓦,后年大约70吉瓦,就会出现一个非常有意思的现象。今年新部署的每一瓦,都比两年前部署的瓦效率高得多。全球算力中有极大比例是今年部署的。尽管部署的瓦数并没有翻倍,但我部署的是 GB300、TPUv7 和 Trainium3,它们的效率高得多得多得多。每瓦性能比上一代芯片高出3到5倍。

所以最终这里有一个巨大的阶梯。如果 Anthropic 和 OpenAI 明年拿下45%的算力,那么到比如说2027年12月,它们就已经拿下了全球一半的新增算力。但这一半的全球新增算力,实际性能比之前所有算力都要高。所以这上面还有另一层乘数。等到2028年底前后,如果这个趋势持续下去,而我看不到任何能阻止它的因素,它们仅靠自己就会控制全球大部分可用的算力(flops)。

07:01我困惑的是,如果我们进入一个算力价值大幅上升的世界,为什么你认为我们在2028年只新增80吉瓦。

顺便说一句,那是上限。那就是所谓的“我他妈的极度看多”。

好,我们来做一些思维链式的推演。几个月前我采访你的时候,你说要制造一吉瓦的,我想是 Vera Rubin,需要5.5万片 N3 晶圆、6000片 N5 晶圆和17万片 DRAM 晶圆。我知道这些数字可能已经有变化。

我要嘲讽你一下,你说 wafers 的方式简直太他妈的印度味了。Vafers。

顺便说一句,我们刚搬到美国的时候,我的 v/w 不分特别严重,而且我当时是素食者。

我记得你跟我讲过这件事。

在北达科他州,我当时上小学,我会说……

我能来个“wedgie”吗?

我能来些“wedgies”吗?

总之,这是一吉瓦的量。我让一个大语言模型运行了你的晶圆厂设备模型,算出每年生产一吉瓦算力的设备成本是多少。结果是30亿到40亿美元。现在假设再加上晶圆厂的洁净室、厂房和其他一切。那么60亿美元的晶圆厂资本支出,每年可以生产一吉瓦。一吉瓦目前能产生1000亿美元的收入。

而且这60亿美元的资本支出每年都在生产一吉瓦,这一吉瓦每年都在产生1000亿美元。所以在五年的时间里,第一个吉瓦已经产生了五年的利润,晶圆厂生产的第二个吉瓦产生了四年的利润,依此类推。晶圆厂层面的60亿美元资本支出,将产生超过1万亿美元的终端 AI 收入。

是的。这中间还有很多运营支出。还有很多其他的资本支出,比如数据中心、电力。

而且你还得为研发付钱给 OpenAI。

还有安装。这里有很多不同的人都需要钱。

把其中一半划给所有这些中间环节。这仍然意味着晶圆厂资本支出与最终产生的收入之间存在100倍的差距。实际上不止,但我们只是非常保守地估算。结果就是……这是资本主义。你有这样一个巨大的差距,可以把1美元变成100美元。它们会想不出办法去制造更多的反射镜吗?

它们会的。只是制造这些反射镜需要一些时间。

但这种紧迫性是如此之大,Anthropic 和 OpenAI 会说:“我们现在就能赚一万亿美元,但我们只是被卡在了用于 ASML 机器的反射镜上。”如果我们在这上面投入1000亿美元,怎样才能制造出更多反射镜?我们很快就会面临这种局面。我们没办法解决这种供应限制吗?这似乎很难想象。

你已经看到有人在这里做起了有趣的套利,他们购买涡轮机,然后试图转售,因为涡轮机的价值高得多,它成了卡住你的数据中心的瓶颈。我认为,如果有人手里有4亿美元,并且有能力说服 ASML 卖给他们一台 EUV 设备,那他们完全应该直接买下来,等一等,然后以超过10亿美元的价格卖掉。

但最终,是的,资本主义会促使这些东西扩张。不过这像一根鞭子。鞭子的信号要传到末梢需要很长时间。供应链不会立刻做出反应。事实上,你去和卡尔蔡司的人聊,他们会说:“是啊是啊是啊,到本十年末我们需要造出100台 EUV 设备。”我们今年早些时候做那期节目的时候,他们甚至都不认为需要生产那么多,也就是每年足够造100台 EUV 设备的反射镜。现在他们说:“好吧,我们需要这么做。”但实际上,由于目前这一切的经济规律,这个数字应该还要更高。要让他们真正信服需要很长时间。

假设供应链里的每一家公司都被私募股权收购了。有人进来,对 AGI 深信不疑,说:“我们要最大化产量。”你认为在生产更多东西上,物理上的限制会是什么?我问这个的原因是,我们很快就会进入这样一个世界:实验室的收入,或者说 AI 的现金流(因为显然加速器厂商也有这些巨额现金流),会大到足以直接用这些现金流本身来资助所有这些生产的极大扩张。

总体上我同意。显然存在一些物理限制。按照目前供应链的扩张方式,100这个数字大致仍然是对的。

2030年的数字?

2030年是100台 ASML 设备。但如果你对卡尔蔡司说:“这是100亿美元,请他妈的直接扩大产能”,那就会改变局面。你得对供应链里的每一家公司都这么做。

但你不认为这会在明年发生?

我认为今年不会发生。我认为明年也不会发生。我认为后年也不会发生,因为世界在资本方面是受限的。

但在这样一个世界里,比如说,顶级实验室明年合计产生一万亿美元的收入,它们难道拿不出其中的100亿美元……

我认为它们不会这么做,不过……

或者至少几千亿美元?看起来它们应该意识到世界正走向何方。我觉得它们完全可以去制造……

问题是,实验室明年会产生数千亿美元的收入。但最终,明年的资本支出大约是2万亿美元。所以这里存在很大的错配。晶圆制造设备供应链大约会做到2000亿美元的量级。数据中心市场的供应链会做得更多。加速器供应链会做得更多。能源供应链也会有一个数字。把这些加起来,资本支出将远远超过2万亿美元。所以实验室还没有到现金流能够资助这些东西的地步。

显然它们永远也不会到那个地步,因为你想让你的资本支出一直高于你的回报。

是的,你会再投资。

13:08我真正想弄明白的关键问题是:如果当前趋势持续下去,到2028年底每家实验室将超过50吉瓦。所以两家加起来会有100吉瓦。正如你所说,由于硬件变得更好,这些吉瓦到2028年所带来的吞吐量或性能比现在高出许多倍。不仅每瓦的算力(flops)提高了,而且硬件在处理 AI 工作负载方面也变得更好。

好,那么到2028年底实验室有100吉瓦。全球算力总量是多少?

我认为这可能有点困难,因为到2028年它们已经拿下了70%到80%的新增算力。我不确定那时市场会发生什么。算力价格要飙升到什么程度,它们才真的能买到70%到80%的算力?Google、Meta 或 Amazon 愿意卖出那么多吗?

另外,在谈论这些吉瓦数字时有一点需要说明。当 Amazon 通过 Bedrock 提供 Anthropic 模型的服务时,在我们的口径里,这算作 Anthropic 的算力,因为归根结底,它实际上是被计为 Anthropic 的收入的,尽管其中有收入分成和返还抵扣之类的安排。但最终到2028年,如果它们合计达到100吉瓦,那它们就已经对市场做了非常具有颠覆性的事情。

因为今天任何人都能靠每兆瓦1000万到1500万美元的算力赚到钱。我没开玩笑,这并不难。去搞一个 GB300 机架,去下载 Kimi 的权重,去下载 vLLM 或 SGLang,把它搭起来。Codex 和 Fable 实际上可以帮你完成这件事。这很简单。虽然不是微不足道,但也不是什么火箭科学。把它放到 OpenRouter 上。非常简单。你产生的收入很快就会超过你为算力付出的费用。

这已经导致算力定价,也就是每兆瓦1000万到1500万美元,开始向上拐点。要在2028年达到那100吉瓦,你就得相信实验室能在算力上出得起更高的价格,因为在10到15这个价位上任何人都能赚钱。算力现在会涨到每兆瓦2500万美元吗?会涨到每兆瓦4000万美元吗?

正如你所说,现在实验室每兆瓦产生的收入已经远高于其他所有人。如果它们保持目前这样的领先幅度,你会预期这种情况继续下去。如果存在某种递归自我改进,让 AI 实验室相对获得提升,或者它们内部有一些没有对外发布的模型在帮助它们把下一代模型做得更好,你会预期这种情况更加明显。

你难道没有已经看到这种情况吗?比如 SpaceX,或者任何稍微落后一点的公司,如果它们不能像实验室那样在内部实现变现,就会把算力卖给出价最高的人。你会预期实验室不断竞价,争取算力市场中越来越大的份额。

我觉得这就是我的世界观。它们会继续吞下越来越多的算力。但最终它们没法按当前的价格,或者接近当前的价格来做到这一点。它们确实必须开始支付每兆瓦2500万、3000万、5000万美元,才能在2028年真正吞下全球70%的算力,达到2028年100吉瓦的目标,而这是一个非常激进的目标。

这里另一个真正有挑战性的方面是,我们已经看到 AI 实验室出现了大幅放缓。它们所倡导的这种监管,实际上对实验室的拖慢程度远大于对中国开源语言模型的拖慢。OpenAI 没有发布 Astra。OpenAI 暂停训练两周。Anthropic 没有发布其安全评估中所说的 Model 2,外界普遍认为那是 Mythos 的下一个版本。

它们显然没有发布自己最好的模型,在这种情况下,它们的每兆瓦收入就会停滞,甚至可能再次开始下降,因为其他模型重新变得有竞争力。并不是它们落后了,只是它们没有发布自己最好的东西。

如果存在某种监管影响,阻止它们发布最好的模型,会怎么样?那么它们的每兆瓦收入就不会增长得那么快。它们以高于其他所有人的价格购买新增算力的能力就会开始减弱,那么它们也许就达不到那100吉瓦了。

但在一个安全不重要的世界里,我确实相信事情会恰好这样发展。它们可以开始产生每兆瓦1亿美元或更多的收入,并且可以支付每兆瓦5000万美元。其他任何人对自己的算力都没有任何合乎逻辑的理由去做别的事,只会说:“求你了,达里奥,把我手上的一切都拿走吧。”但有一些我们无法描述的力量在起作用,有可能会让这一切放缓。

我认为一个好的直觉启发是:如果 AI 模型真的和完全自动化的软件工程师一样好,会怎么样?它们目前还没达到。我认为它们距离完全自动化一个完整白领工作者的工作还很远。但白领工作者每年的收入是六位数或更高。如果你有一吉瓦的算力,可以支撑大约一百万白领工作者这样的规模。那么由此来看……那就是1000亿美元。这其实低得出奇。

是的,每人10万美元,乘以一百万人。

我不确定。但如果实现了完整的 AGI,每吉瓦会是好几千亿美元。

18:22这件事的另一个方面,而且我们一直在看到,就是大部分价值并没有被攫取。这些模型产生的大部分价值并没有流向 OpenAI 和 Anthropic。谢天谢地,到目前为止,大部分价值只是给到了用户。

比如 Jane Street,它与 OpenAI 签有 GPT-5.6 Ultrafast 模式的独家合同,同时它也是 Anthropic 最大的客户之一,它从自己所购买的 token 中产生的价值,远远、远远、远远多于 Anthropic 所产生的利润,因为它能够在市场上赚钱。

或者拿 Meta 来说,据传它一度占到 Anthropic 业务的多达10%。它通过优化广告算法之类的方式产生了多得多的效率提升,比如让用户参与时长增加5%,诸如此类。它使用这些模型赚到的钱比 Anthropic 要多得多。

这就是所需要的条件。当然,如果你有一百万名新的软件工程师,软件工程师的成本也会下降。

我有一点困惑:市场会达到均衡吗?如果达到均衡,你是否会预期算力价格等于 Anthropic 和 OpenAI 能从中产生的收入,或者非常接近,只给 Anthropic 和 OpenAI 留一小部分加价?

现在真的很奇怪,算力的售价与 Anthropic 能从中赚到的钱之间存在4倍甚至更大的差距。在每吉瓦收入不断增加的世界里,如果 Anthropic 将一吉瓦变现的能力翻倍或翻三倍,那么这个差距还继续扩大就会很奇怪。Anthropic 仅仅靠拥有一些权重,就能把一个成本为10美元的东西变成100美元。

这总是一个有趣的问题。AI 中的价值流向了哪里?AI 在产生所有这些价值。首先是终端用户,我想我们都同意他们产生的价值比任何人都多,因此他们为这些模型付出了很多。然后是应用层。到目前为止,应用层产生的价值很少。然后是模型层,直到一年前它还是负毛利率,现在则是巨大的正毛利率。看起来它正走在每兆瓦产生1亿美元的路上。也就是像你说的,把10到15变成100。

但如果回到一年前,硬件供应链赚取了所有这些毛利,而其他所有人则实实在在地在这上面亏钱。OpenAI 和 Anthropic 只是在不断砸入风投资金,许多其他初创公司也是如此。许多超大规模云厂商在建设基础设施时也不知道是否会有回报。

所以最终,模型层产生的是一种负价值,如果你愿意这么说的话,因为它们卖 token 的价格低于基础设施方面的成本。所有价值都被芯片和晶圆厂攫取了。最初在2023年,存储厂商在用于 AI 的 HBM 或存储上并没有赚到钱,尽管理论上它们交付的价值是巨大的。

现在你有……嗯,实际上台积电攫取的价值远少于存储厂商。所以价值的攫取已经发生了很大的转移,这对跟踪市场或参与市场的人来说非常有意思,比如 Jane Street 就是一个例子。这不是广告。这不是广告。这不是广告。

他们是赞助商,但你不用这么用力地替他们宣传。

那么接下来会发生什么?Anthropic 和 OpenAI 在价值攫取方面已经慢慢开始膨胀。它们会膨胀并拿走所有的价值吗?嗯,这曾经是一种想法,然后埃隆表明:“其实不然。我可以把我的算力以每兆瓦2500万美元或4000万美元的价格卖给 Anthropic 和 Google。即使这只是短期的事情,我以这个价格卖出了,而且我一年之内就能收回全部资本支出。”

你预测相关的那一批算力,也就是 B300 之类的,SpaceX 以每吉瓦400亿美元卖给了 Google 的那些,到明年年底会卖到什么价?

我认为大部分算力仍将继续以每吉瓦低于200亿美元的价格成交。

即使到明年年底?

因为这一切都需要融资。如果 Meta、Microsoft、Amazon、SpaceX 能够在没有找到客户的情况下建设算力,只是说:“管他的,我就是要建这批算力”,然后回过头来等到算力建成,那么现在局面就由它们掌控了。

大部分算力在建成之前很早就已经签约了。这正是埃隆在市场中利用的一点。他实际上拥有所有这些算力。他就说:“嘿,Anthropic,我知道你每吉瓦能赚600多亿美元。你为什么不花一笔疯狂的价钱买下我的东西呢?”显然,并不是埃隆或 Anthropic 谁决定了这件事,而是市场自己找到了答案。

其他人呢,你去找一个普通的云厂商,他们会说:“好吧,我要建一吉瓦的算力,或者100兆瓦的算力。我要花这笔资本支出。我需要回过头去找一个客户。如果我想找到客户,我需要找到资金。谁能给我资金和客户?客户必须签订协议。然后我拿着客户的承诺去信贷市场募集资金。”

所以这是一种完全不同的权力结构,Meta 实际上在囤积算力。它和 SpaceX 是唯一有可能成为第三名的,因为它们在囤积所有这些算力。它们利用自己的资产负债表和能力,在没有大幅变现的终端客户的情况下建设算力。它们拥有真正的资产负债表,所以可以去信贷市场。你建一吉瓦,就能赚到你的利润,不是疯狂的利润,而是不错的利润。现在我就拥有了所有这些算力。

现在 Meta 和 SpaceX 有了这样一种选择权:环顾四周,然后想:“我的内部用例能让我赚更多钱吗,还是我应该出去以疯狂的利润率把它卖给 Anthropic 或 OpenAI?”所以我们现在进入了这样一种状态:SpaceX 和 Meta 在说:“其实,我要去建设算力,而且我可以不是以13美元的价格出租,我可以卖25美元、50美元,甚至更高。”

25:40你认为到2027年底,它们的每吉瓦收入是多少?对于 Anthropic 或 OpenAI,到2027年底。

我认为这在很大程度上取决于谁拥有最好的模型,以及它们是否被允许继续发布最好的模型。但我看不出为什么不会是每兆瓦5000万美元以上。

到2027年底。

哦,到2027年底?那就更有挑战性了,不过我认为它可以比那更高,达到每兆瓦7000万、8000万美元,这是全公司的混合平均值,甚至可能更高。

似乎偏低。

所以如果是这样,那么算力的价格会怎样?嗯,如果我是 Anthropic,新增算力是值得的。也许我在 SpaceX 的算力上每兆瓦花4000万美元。如果我是 SpaceX,我会看向供应链,然后说:“嗯,我跟黄仁勋达成了这笔交易(他现在突然开始用 Twitter 了)。”埃隆说他们独家使用 Nvidia,但黄仁勋为什么不涨价呢?然后 SK 海力士、美光和三星看到这些就会说:“嗯,我们为什么不涨价呢?”

所以就价值攫取而言,我认为这里存在牛鞭效应。仅仅因为有人涨了价,并不意味着整个供应链会立刻重新平衡。但随着时间推移,供应链会重新平衡,东西会越来越贵。要获得那部分新增产能,你多少是不得不这样。所以台积电涨价非常缓慢,但存储公司涨价非常迅速。基板公司涨价非常迅速。如果是15美元,埃隆是不会卖的,但他在卖,因为是25美元以上。所以显然他涨价涨得非常快。

我很惊讶你认为到明年年底每吉瓦收入的增长不会远远超过每吉瓦100(亿美元)。

RSI 什么时候发生?起飞什么时候发生?

或者即使 RSI 不发生,假设目前的进展速度持续下去。看看我们在比如说过去一年半里取得了多少进展。一年半前的模型是什么?Claude 3.5 之类的?

我对此的问题在于,世界上现存的最好的模型是在2月训练的。

所以你是说,也许我们就是不会被允许发布实验室最好的模型。

OpenAI 说它们两周内不训练模型,天哪。这到底是怎么回事?

这里有一回事是,在内部,它们是否有足够多的使用,以至于会推高算力价格?另一回事是,AI 整体进展是否会因为监管而放缓?

是的,但它们甚至不被允许在内部使用这个新模型。Astra 甚至没有在内部广泛部署。

但即便如此,如果你有一个模型……去年年初发布的模型是什么?GPT……

4o?是 4o 吗?

是的。你说的是到这个时候,同样是到2027年底,从 GPT-4o 到 Mythos 2 这种规模的飞跃。

是的,但 Mythos 2 还没有发布。

或者哪怕是 Mythos。同样的飞跃。

连 Mythos 都不被允许发布。它们把它阉割了。我们不能用它来优化推理性能。我们不能用它来优化各种各样的东西。

是的,也许 AI 进展或 AI 部署会出现某种放缓,这意味着每吉瓦收入可能更低。但这是我能想到的、到明年年底每兆瓦只有1亿美元的唯一可能方式。

只要模型变得更好,从中产生的价值就会变得更大。显然,谁来攫取这些价值仍有争议,但最终每个人都会涨价。因为他们可以这么做,而且这极具通胀性。

尤其是如果监管的方式是……到目前为止,监管只是“不要发布模型”。但越来越多地,监管的方式变成了纽约禁止数据中心。得克萨斯州在搞暂停令。俄亥俄州在说,或者至少在试图说,你必须为一定半径范围内所有人缴纳房产税。这类事情会减少供应并提高成本。这一点也会被传导出去。

你会逐渐走到这样一个地步:进展确实放缓了,至少从外部来看是这样,即使内部的模型在不断变得越来越好。在起飞情景下,Anthropic 为什么不会让自己最好的模型领先外部可用版本六个月呢?这既是出于安全和监管的考虑,也是出于竞争优势。如果进展加速,那六个月的差距实际上会形成更大的差异。

所以这就是会把每兆瓦收入的增幅限制在远低于今年上半年所见增速的因素。

29:43这里有件事我很感兴趣。随着这些公司上市并要对投资者负责,假设到明年年底它们拥有接近20吉瓦。那么10%的算力就是2吉瓦。

假设它们想把用于训练的算力占比从60%提高到70%。而它们的投资者会说:“嗯,如果你每吉瓦能产生1000亿美元,那你基本上是为了增加训练算力而拒绝了2000亿美元的收入。”所以投资者会说:“搞什么鬼?你在训练上已经花了这么多了。为什么还要在训练上花更多?”

作为一家上市公司,如果它们就是说:“不,我们会继续提高用于训练的算力占比,以抵消每吉瓦算力所带来的收入增长”,你认为会发生什么?

这是我个人的看法。随着时间推移,实验室分配给推理的算力会越来越少。我认为这非常不合共识。大多数人的标准看法是:“哦,大部分算力会用于推理。”而实际上,大部分会用于训练的前向传播,而不一定是产生收入的推理。

归根结底,如果它们今天每兆瓦产生3000万到4000万美元,你分配40%给推理。如果你现在达到每兆瓦产生6000万到7000万美元,你还会继续把40%分配给推理,产生所有这些利润,然后分红和回购股票吗?还是去构建 AGI?我认为 Anthropic 和 OpenAI 的显而易见的答案,不仅在高管层面,在董事会层面也是如此,就是去构建 AGI,因为那要有利可图得多。所以最终你会看到它们不断提高用于训练的算力占比——

尽管每一份增量算力如果用于推理,产生的利润会越来越多。

对。关键在于,如果我在卖 token……OpenAI 发布 Ultrafast 模式是只对外部,还是内部也用?结果是,不,实际上我会同时分配给内部和外部,因为我从超快 AI 或最好的 AI 模型中在内部产生的价值,远大于外部某个人产生的价值。

所以最终,当然,我可以产生每兆瓦1亿美元,但如果我把它转向 AI 研究,我会得到怎样的增量进展?这对我未来的盈利潜力,也就是我所做的一切的折现现金流,意味着什么?它们并不会做这样的计算,但最终把越来越多的算力用于内部是更合理的。让推理算力这么大的唯一理由,就是为了让你能扩大你的训练集群。

我认为这是一个有趣的经济学问题,我觉得我们可以让模型来消化一下。要让它们降低用于推理的算力占比,需要这个世界满足什么条件?

我认为过去三个月里它们已经在这样做了。我认为今年的某些阶段,它们是在提高算力占比的……我们就按月来看。你会同意,Anthropic 每个月新增的算力都比上个月多。当它们签下 SpaceX 的协议之类的时候,可能会有一些波动,但总体上,算力的量是一条向上的曲线。

所以1月份它们新增的算力比12月份少,然而它们的收入增量却飙升。后来就有点趋于平稳了。它们现在每个月并没有新增250亿美元的年化经常性收入(ARR)。这意味着它们得到的边际兆瓦中,流向研发的比例高于流向推理的比例。所以它们今天实际上是在把更多算力用于研发。我认为,只要你足够仔细地观察它们的所作所为,这一点是不言自明的。

33:27如果我看你说的全球算力增长速度的数字,有些事情我想弄明白。似乎把你刚才说的数字加起来,到2028年底全球算力将超过200吉瓦,对吧?

是的,全球范围。

好。2028年之后,全球 AI 算力还能以多快的速度继续增长?

今年30,明年50,2028年70。2029年应该在90到100的量级。

然后就是每年再多100之类的?

我认为斜率可以继续向上。超过四年以后的任何事情都很难预测。谁知道我们是否处于 RSI 状态,或者世界经济什么时候会以每年10%的速度增长?因为如果你每年新增100吉瓦以上,你的 GDP 增长就会高得离谱。

如果你认为2028年全球有200吉瓦,那么到那时中国有多少?在这整个趋势中,中国的算力如何继续增长?因为如果 RSI 在西方先于中国拥有大量算力之前就启动,也许我们生活的世界就会和它不发生时不一样。

如果我们回到2022年来校准一下,美国当时新增了全球约45%到50%的算力。中国新增约30%到35%。其余的由世界其他地区占据。自2022年以来,我们对中国出台了大规模监管,而美国则大幅增长。所以今天,70%的瓦数部署在美国。中国其实只是一个很小的数字。用于数据中心 AI 算力的新部署瓦数中,不到10%在中国。

再往前看,它们仍然是一个很小的数字。它们国内的产量相当小。它们从 Nvidia 的采购仍然相当少,而且其中很多最终也流向了其他地方,比如马来西亚之类的。

所以最终,中国国内的新增算力占比仍将继续低于10%。我认为到2028年可能开始向上拐点。但很容易就可以说,中国的 AI 算力将是30吉瓦或更少。

到2028年?

是的,2028年。

好。那么它们的曲线会以多快的速度像曲棍球杆一样陡升?

我确实认为在2028年,它们能够部署的算力会大幅提升。在2026年,它们仍然主要依赖大量走私的芯片,大量台积电为一些公司生产的芯片,那些公司被认为不是华为,但最终却是华为,或者依赖三星出货的大量 HBM。

但在2027年,晶圆厂开始增长。尤其是在2028年,中芯国际(SMIC)和长鑫存储(CXMT)等的晶圆厂开始增长,国内产量实际上达到每年数百万片的规模。现在它们仅在2028年一年就新增5到10吉瓦国产芯片。这些芯片肯定比 Nvidia 在2028年、Google 在2028年或 OpenAI 在2028年拥有的芯片差。

所以你是说,连吉瓦这个数字都夸大了实际情况。是30吉瓦,但实际上芯片差得多。不过如果你认为世界在接下来一年会新增100吉瓦,我知道你说过不能预测得那么远,那么中国在随后一年能新增多少?基本上我想知道:它们是在能够开始大量出货算力的那个时点上就曲棍球杆式陡升,还是仍然会低于美国加盟友?

这在很大程度上取决于美国是否通过 MATCH 法案,设备是否继续受到出口管制,以及中国能以多快的速度造出他们开始能够国产的新设备。但最终,中国肯定会曲棍球杆式陡升。如果说中国真正擅长什么,那就是非常非常迅速地扩大制造规模。

我想中国将开始能够越来越多地把采购范围扩大到甚至外国的芯片,将其引入中国国内,或者至少缩小美国允许 Nvidia 向它们出售的芯片与其所需之间的差距,诸如此类。

但你认为中国在2029年能新增50吉瓦吗?

我认为这完全合理。其中一部分也可能是从国外购买的。但是的,我认为中国在2029年完成50吉瓦是完全合理的。不过如果其中大部分是国产芯片,那就存在某个折算系数,这50吉瓦实际上只值美国芯片的20吉瓦。

对。所以你实际上预测的是这样一个世界:如果按质量对吉瓦加权,2028年领先实验室拥有的算力,可能比整个中国在2029年甚至2030年拥有的还多。

前提是没有任何措施拖慢美国实验室。

没错。

但显然政府和政客们已经开始这么做了。而中国是不会放慢 AI 的。事实上,它们唯一会做的就是加速。

说实话,当我采访黄仁勋并问到出口管制时,我是一个自由意志主义者,我并不是真的确定自己对这个问题怎么看。我当时是在为与他相反的观点做最强论证,因为我认为把想法充分辩论清楚很重要。我当时的想法是:“是啊,也许存在这样一个世界,如果我们和中国合作,对我们会更好,尤其是考虑到它们控制着如此多的供应链,以及机器人所需要的其他东西。”

但我没有意识到算力状况像你说的那样糟糕。实际上,出口管制看起来确实起到了真正的……如果它们出货的量像你说的那样,那就是巨大的差别。等我们有了自动化程序员并进入自动化研究员的阶段时,中国在算力存量上会远远落后。如果最终是这样,那就说明这起了作用。我认为这实际上是一个值得注意的成功。

这里唯一需要说明的是,其中一部分是出口管制的作用,但一部分也只是金融体系的原因。美国的金融体系比中国的金融体系更愿意放手一搏地投资初创公司。但一旦中国的金融体系选定了一个重点行业,它们给的补贴会多得多。

所以中国半导体行业获得的补贴,显著多于世界其他地区半导体行业补贴的总和。如果起飞没有你所暗示的那么快,而是需要更长时间,那么最终中国在半导体方面将急剧追赶上来,而这在某个时点就会转化为算力。

另一个值得注意的方面是,中国公司今天在 AI 模型上并没有落后太多,至少在公众看来是如此,考虑到它们拥有的算力量的话。中国领先的实验室最多总共拥有100到200兆瓦的算力,字节跳动 Seed 是唯一的例外,它拥有的明显多于这个数。但 Kimi 并没有运行着一吉瓦,甚至离一吉瓦也很远。而 Anthropic 到年底将超过5吉瓦。

所以问题是,这有关系吗?我认为现在这种算力差异并没有那么重要。当我们拆解一个实验室的算力比例或预算时,到目前为止是60%用于训练,40%用于推理。但训练部分还可以进一步细分。实际上是50%的算力用于研究,10%的算力用于开发,然后40%用于推理。

我说的研究和开发是指:研究人员在产生想法、测试新的架构、测试新的数据配比、测试新的超参数、新的注意力技术,等等等等。但最终当他们进行训练运行时,比如 Anthropic 训练 Mythos 时,规模不到200兆瓦。

是预训练,还是整个过程?

是预训练。大概两个月、不到200兆瓦。然后强化学习(RL)的规模还要更小。

你认为强化学习用的算力比预训练少?

至少就单一预训练站点而言,是的。

但总算力可能更高,对吧?

但那是顺序进行的。它们任一时间点用到的最大量,大概最多就是200兆瓦。实际上它们拥有好几吉瓦,所以它们大部分算力是用于研究,而不是用于一个模型的开发。

这有其原因。协调所有这些集群很难。把它们全部集中部署在同一地点很难。做多站点训练很难。做强化学习很难。在强化学习中生成更多的 rollout 也不一定会让效果更好。有各种各样的原因导致你可能无法把你拥有的全部2吉瓦都用在训练上。实际上,我只能利用其中的200兆瓦。

随着我们在自动化编码和自动化研究员的道路上越走越远,我实际上预计,用于研究与用于训练的算力预算占比会变得模糊得多,或者训练的占比甚至更高。还有持续学习之类的东西。所有这些都意味着越来越多的算力实际上会用于训练模型。

如果你最终进入一个每年部署100吉瓦的世界,按目前的价格,那将是每年5万亿美元的资本支出。

然后再叠加一个事实:你必须在那之前很早就建好发电厂。发电厂还是一项30年期的资产。再叠加数据中心是15到20年期的资产,你到那时也必须把它们建好。所以当你考虑到未来几年的增长后,这5万亿美元实际上会更像是7万亿或10万亿美元的资本支出。

等等,我没听懂。这并不包括数据中心本身没有发电基础设施这个事实。

对,没错。当你谈到 AI 资本支出时,人们说的是400亿、500亿美元。但那实际上只是关键 IT 设备:服务器、网络、光纤、收发器、光通信,诸如此类的东西。它没有计入数据中心本身,也没有计入提前建设的发电厂本身。

如果我今年要建100吉瓦,明年要建150吉瓦,那么这150吉瓦所需的所有建筑,都需要在今年的资本支出中建好。如果再下一年我要建200吉瓦,所有那些发电厂都需要花钱……你今年就得购买涡轮机。所以如果你要建100吉瓦,实际上规模比5万亿美元还要大得多。

对。很有可能,到2030年底,每年的增量资本支出会接近10万亿美元,这将接近世界经济的十分之一。如果这些全都投在美国……美国经济到那时也会增长。但即便如此,按美国经济目前的规模,也相当于美国经济的三分之一到四分之一都投到了数据中心上。

我大声说出来的时候就想:“也许你是对的,我们就是不会允许这样发生,这就是这件事不会发生的原因。”因为要让这个指数增长持续下去,就意味着美国四分之一的经济都在建数据中心。

我相信资本主义,相信资源会重新配置到最有利可图的事情上。但与此同时,政治是存在的,信贷市场是存在的,资本市场也是存在的。

所以,要实现比如说2030年的100吉瓦……或者我们干脆把范围缩小到2028年,那大约是3万亿到4万亿美元的资本支出,涵盖所有这些项目:超过2.5万亿美元用于 IT 资本支出,另外1万亿到2万亿美元用于数据中心和能源,以及所有下游供应链,比如半导体之类的东西。如果你面对的是3万亿或4万亿美元的资本支出,这些现金从哪里来?目前还没有人能从业务中产生这么多现金。

到目前为止,所有的增长都是由超大规模云厂商出资的。Google、Microsoft、Amazon、Meta。它们资助了其中很大的比例。它们占了算力的一半以上,但它们现在已经不产生现金了。它们实际上把一切都花在资本支出上。此外,它们还举债,并把一切都花在资本支出上。你已经看到 Meta 这样做了,连 Amazon、连 Google 也是如此。Microsoft 很快也会如此。每个人都在举债来支付自己的资本支出。

那么现在,谁是此前没有这么做、而现在要新增出资的人?就 Google 而言,它们停止回购股票,或者 Meta 停止回购股票,转而去购买计算基础设施,是相当简单的。这对市场没有巨大的影响,但确实有一些影响。但当你往前走到2028年,超大规模云厂商现在要举借数千亿美元的债务,而它们整个供应链也要举借数千亿美元的债务,这时谁来买单?

有几种不同的方式。一种是 Nvidia、Broadcom 这类半导体公司以及存储公司转过来,决定为其中一部分资本支出出资。还有传统的基础设施投资者,他们募集资金并投资于基础设施。只不过不是桥梁,而是数据中心。

最后,还有经济中所有那些意识到下面这一点的人:“也许我不该买房,或者也许我不该投资那些帮助人们买房的信贷,或者也许我不该买政府债券。我应该直接买超大规模云厂商的债券,或者买这个数据中心的债券,或者买 Anthropic 的债券。因为 Anthropic 愿意为了新增的十亿美元来建设产能而支付20%的利率。因为它们知道从中获得的收入会是巨大的,而且它们愿意支付20%,因为这仍然比从 SpaceX 以每吉瓦500亿美元的价格租用要好。”

所以你会看到所有这些争夺。而如果你现在这样做,整个世界经济就真的被重新洗牌了。

48:48你和我在节目之外已经争论了好几天,AI 是否会导致主权债务危机。逻辑是这样的。正如我们刚才提到的,你面对的情况是,极少的投资能变成大量的钱。所以回报率——

这他妈是什么问题啊,兄弟。我的天。真不敢相信。

不,这对其他所有无法把少量钱变成大量钱的人来说是个巨大的问题。所以回报率高得难以置信。哪怕只在数据中心层面,如果你建一座数据中心,并试图把它租给 Anthropic 或 OpenAI,租金是按折旧后建设成本的10倍,这简直他妈的疯狂。到年底,你把1美元变成2美元或10美元之类的。这会推高利率。

现在,如果利率上升,而且是对整个经济都这样……人们借越来越多的钱。他们与政府本来会做的其他借贷竞争,与其他公司本来会做的借贷竞争,与你作为消费者或房贷买家本来会做的借贷竞争。这使得其他所有人借钱都变得更贵。这对成千上万的人都有巨大的影响。抱歉,我要稍微独白一会儿,但我们一直在一起思考这个问题。

我认为美国归根结底会没事的。因为如果数据中心建在美国,你从根本上就可以对数据中心征税。但按照目前税收体系的设置,企业所得税占联邦收入不到10%。80%以上是工资税和个人所得税,而随着自动化越来越多,这部分会萎缩。

同时,在支出方面,目前税收收入中有20%用于偿还债务,即支付债务利息。现在,很多债务是短期的,每五年就要滚动续借一次。你他妈的笑什么?

因为这些都是你上个月刚学到的东西。

好像你有什么不同似的。你可是拿了个他妈的金融经济学学位。

我没有。网上以为我是个养蜂人。就这几个月,就这几个月。

这是我们的本行,迪伦。

我知道,我知道。抱歉,抱歉。

现在我开始不自在了。该死。

不,挺好的。你做得很好。我只是觉得好笑。一百万人在听一个这个月才刚了解债务的家伙讲话。

假设利率上升1%。按五年期计算,用于偿还债务的税收收入占比会从20%升到25%。如果上升5个百分点,这个占比会超过40%。但如果你再考虑到政府每年都要借2万亿美元,那么这个占比会从40%升到60%以上。也就是说,60%的税收收入只是用来支付债务利息。

现在,我认为美国会没事,因为如果我们允许在美国建数据中心,税基就会增加。依我看,其他国家绝对完蛋了。我刚才在看哪些国家债务很多、税收收入很少,而且很多债务还要频繁偿付。这些国家,比如巴基斯坦或尼日利亚,我认为在这种新的利率环境下会非常惨。

这种挤出效应就是为什么不能放手一搏地建十亿吉瓦的原因。你有所有这些大量使用债务的行业和国家,你之前提到的所有那些贫困国家都会直接违约。你有包装消费品行业,所有那些生产你在 Trader Joe's 或其他地方看到的商品的公司,它们使用大量债务。所有这些电信公司使用大量债务。银行使用大量债务。

所以如果市场利率上升,不一定是政府设定的利率,而是政府所说的联邦利率与其他所有人被收取的利率之间的利差,因为 Amazon 明年想举借1000亿美元的债务,或者不管具体数字是多少,大概会少一些,那么你最终就会面临一个非常有挑战性的问题:现金从哪里来?

有一定水平的投资是由现金流出资的,而且现金流还在不断上升。但合乎逻辑的做法是投入远多于你现金流的资金,因为这样未来几年的回报会非常惊人。所以就产生了这个差额。

然后压低这个差额的是所有这些其他因素:针对数据中心的监管、消费者生气、政客生气、针对 AI 的监管、AI 实验室出于安全原因不发布最新的模型。利率上升则是对所有这些因素的影响。所以所有这些因素把曲线从资本主义在纯粹、简单的经济学意义上想要的样子,弯向我们所拥有的复杂体系想要的样子,并且越压越低,最终建成的吉瓦数会少于本应建成的数量。

嗯,利率也是资本主义的一部分,对吧?

是的,但我说的是简单经济模型与我们所拥有的更复杂的现实之间的对比。

你认为明年 Amazon 或 Anthropic 或其他公司发行债券的利率会是多少?如果它们借了数千亿美元的债务。平均利率是多少?

我不认为 Amazon 会借数千亿美元的债务。

我说的是总体。比如说大型科技公司们。

所有超大规模云厂商加起来,以及所有云服务商……在我们做的建模中,从2024年到2029年大约有11万亿美元的资本支出。

总共?

总共。即使你尽可能多地用现金流来为其中很大一部分出资,为这11万亿美元以上的建设仍然需要发行超过5万亿美元的信贷。

所以你认为 AI 收入连同比3倍增长都无法持续?

AI 收入确实会上升。但我不认为在不触及某些约束的情况下它能永远上升。实验室会有某些激励。在很多情况下,建设所有算力的并不是实验室,尽管它们正越来越多地试图往这个方向走。

但它们会有所有这些现金流。你说收入会是多少来着?你认为它们不会有那么多收入吗?

不,我只是说到2029年,大约会有11万亿美元量级的资本支出。其中6万亿美元由现金出资,5万亿美元由债务出资。如果是这样,整个生态系统筹集5万亿美元的债务,确实会推高利率。

那么什么能阻止这一点?有几件事。第一,实验室是否进一步提高每兆瓦收入,并保持较大的推理分配?在那种情况下,它们会积累标普500指数成分公司的所有利润,因为每个人都在付费以降低自己的成本。当然,它们的利润也会上升,但现金必须从某处而来。所以它们的收入增长速度相对于它们为世界提供的价值是有上限的。而且这项技术还有一个扩散的维度。

但最终实验室的收入会持续上升。它们无法用现金流支撑所有一切。最优的情形是你尽可能多地使用信贷来出资,因为即使实验室的现金流能为很多东西出资,你想建设的也比这更多。所以会有一定数量的信贷被构建出来。

我们目前的建模是,到2029年有5万亿美元的信贷和6万亿美元的现金出资的基础设施投资。把这些放在一起看,相对于 AI 模型带来的需求增长,这些算力还不够。所以你就得到了那个显而易见的答案,那就是每兆瓦收入会持续上升。

有道理。你认为由于这一切,到2029年利率会上升多少?

兄弟,这是凭感觉说个数,但如果要凭感觉说的话……世界经济的增长在大幅上升,那么为什么 Amazon 的利率不会比今天更高呢?

这会是极度凭感觉的说法,但最近 Meta 的融资利率是5%到6%。我看不出它们为什么不会支付8%。它们会很乐意支付8%,因为它们要建设的算力带来的回报是巨大的。市场不会希望它们这么做,但它们愿意支付8%。

反过来说,如果它们支付8%,而不是今天的5%、5.5%、6%,也就是上升250个基点,那么经济中的其他所有人也要多付250个基点,这会引发很多后果。银行会大叫,因为如果它们的信贷利差上升,它们债务的重新定价速度会快于其资产的重新定价速度。如果信贷利差暴涨,它们最终会损失大量资金。

另一个后果,这是你提出的一点,就是如果利率上升,折现率就会增加,这意味着所有股票的折现现金流都会暴跌。这意味着,即使整个股市可能表现良好,标普500指数没问题,任何单只个股的价值很可能都已经暴跌,尤其是巴菲特、伯克希尔那一类、30年里都支付良好现金流的那种股票。

是的。就像是:“我为什么要花这么多钱买强生?”它们被视为稳定的股票:现金流良好,会随着时间推移回馈现金流。或者一家铁路公司。如果我的折现率不是3%或5%,我他妈的为什么要投这么多?”现在是8%或10%。

对于发展中国家……巴西尔·哈尔佩林(Basil Halperin)是我的好朋友,也是一位经济学家,他提出过这样的观点:我们将看到第二次沃尔克冲击。在80年代,为了对抗通胀,美联储主席保罗·沃尔克把利率提高了5%以上,实际利率大约达到8%。这导致大约40个不同的国家在那个十年里违约,其中大多数在拉丁美洲。我认为这很可能会再次发生。

好,现在我们开始谈奇点了。我们一直在谈如果利率上升会发生什么——

顺便说一句,我认为这一切都发生在奇点之前。

是的,这正是我想说的。我们谈的是奇点之前,利率上升2%到3%,等等。到某个时点,我认为世界经济很可能每年翻一番。这不会在五年内发生。但最终会发生。有一位研究者叫达蒙·宾德(Damon Binder),在这方面做了很出色的工作。如果你看一个完全自动化经济中的投入产出表……要让经济中所有事物的存量每年翻一番,需要什么条件?

是的。如果经济以每年3%的速度增长,按70法则,那就是二十多年。

对。但他当时说:“好吧,现在我们的瓶颈在于人的数量,而你不可能每年让人口翻一番。”但在一个劳动力也可以每年翻一番的世界里,经济能增长多快?我认为它可以每年翻一番。至少每年也会是几十个百分点。

好。利率应该会相当接近增长率。因为消费的缘故不会正好相等,但应该非常相近。那么我们就会进入这样一个世界,我想是在2030年代,利率达到几十个百分点。我脑子里有一部分想:“它可能是几百个百分点”,但我们就说至少是几十个百分点。

我的想法是,好吧。每一个不参与 AI 生产的国家都会违约。每一只不是 AI 概念的股票基本上都一文不值,因为折现现金流一文不值。如果联邦政府想不出对 AI 征税的办法,偿还债务的支出就会超过目前的税收收入。还有所有这些其他效应,我敢肯定我们甚至还没有计入定价:你拿不到抵押贷款,等等等等。

从根本上说,在这个世界里到底发生了什么?这些都是书呆子的话,对吧?但我们退后一步。到底发生了什么?

书呆子的话刚刚才开始吗?

我们将进入一个完全不同的增长体制。经济基本上在说:“嘿,政府借钱来给人们发养老金的机会成本现在极高。因为这笔钱本可以用来建一座机器人工厂,这座工厂再去建机器人工厂,再去建机器人工厂。”资本的机会成本将大幅上升。这从根本上就是我们所谈论的这一切的起因。

随着利率上升,股票市场会遭到重创。连 AI 公司也不例外。有些真正相信 AI 的人会问:“为什么美光、海力士或铠侠的市盈率只有2到3倍?”而答案是:“嗯,如果你真的深信 AI,那么经济中的一切都应该以2到3倍市盈率交易。”如果你不信 AI,那么当然,它们的盈利是过高了。

这是一个论点,说明为什么——我认为存储会表现得很好——存储股票不应该再涨10倍之类的。因为如果我们身处这样的市场,对存储有这么大的需求,这意味着 AI 已经引起了经济的剧烈变化,那么一切都应该以2到3倍的估值倍数交易,股市就应该他妈的崩盘。

从某种意义上说,Meta 的交易价格……我想它们大概是一家1.5万亿美元的公司。这就像是,什么?太可笑了。它们的价值要高得多,至少在逻辑上是这样。你只要看它们的现金流、它们囤积的所有基础设施,以及它们将能够以每瓦惊人的美元价格卖出的所有算力,不管是因为它们的实验室取得成果而以 token 形式卖出,还是直接卖给 Anthropic 和 OpenAI。

最终这变成了一个问题:你必须把所有资本重新分配给 AGI。你的做法是把其他所有人挤出定价范围。所以 AGI 的限制因素并不是研究工程师们,比如我们的室友肖尔托,能多快地转动齿轮。它实际上只取决于世界其他地方允许这件事发生到什么程度。

因为它们会监管。它们显然会提高利率。它们会说:“不许建数据中心。”它们会说:“停止建晶圆厂。”它们会说:“哦糟了,每家公司的股权价值都在暴跌,那我怎么还能花钱买 AI 来增加我的业务?”

那么,Anthropic 和 OpenAI 就得开始自己建设了。它们已经在做自己的芯片,或者至少在设计自己的芯片,而且这会扩大。未来几年里,它们会自己签约数据中心,自己建设基础设施。

问题在于经济的这种重新配置将如何发生。有很多向下的压力,使它不会是一路直接起飞,即使模型有这个能力。我认为你和我都相信我们身处一个模型有这种能力的世界。但缓慢起飞,至少是我的希望,是有可能的,因为经济和监管领域的方方面面。政府说“不要发布你们的模型”,政府说“其实你们连在内部都不能那么多地使用你们的模型”,因为这很快就会发生。它们已经在说你们不能发布模型了。

我最担心的是一种奇点情景,而对外部署实际上是有帮助的。所以我们阻止对外部署这件事是愚蠢的。

那样能阻止奇点吗?

现在这会带来更多收入,因为模型还没有能力做 RSI。但我担心的是这样一个世界:到了2030年,政府说:“我们要等六个月,才允许你们向公众发布你们最新的模型。”

六个月,100倍。冲吧。

在那六个月里,它们在内部进行递归自我改进。公司内部会发生各种疯狂的事情。与此同时,我们其他人被困在落后的模型上,按目前的速度,落后好几年。

我是这么想的。假设全世界都加入了这场试图减缓 AI 的阴谋。

我不认为这是阴谋。每个政客都把它明明白白地写出来了。

假设它们把 AI 减缓了一年。如果算力每年增长2到3倍,它们阻止了整整一年的 AI 部署,你就比本来应有的水平落后了一年。而在 RSI 期间,你在一年里就能获得3到6年的 AI 进展。

但它们不只是限制算力。它们还限制实验室在内部发布模型的能力。我们已经看到了。

如果它们那样做了,那就太理想了。

Anthropic 不得不暂时停止向外国员工提供 Mythos。

我不知道这是真的,内部也是这样吗?

它们是这么声称的。

我以为那只是另一个不是 Mythos 的检查点,不过基本上就是 Mythos。

但这类事情也将不被允许。政府是笨,但我希望至少没有那么笨。政府,至少是握有牌的美国政府,不会希望 Anthropic 在内部使用 Mythos 4。它们会说:“他妈的等一下。慢下来”,出于所有这些监管方面的原因。

每一个当选的人都会讨厌 AI。甚至已经当选的人就已经讨厌 AI 了。还有所有的选民。我敢打赌,总有一天你的父母会打电话给你,说:“德瓦克什,孩子,你做得太糟糕了。你让 AI 的进展变得更快了。”

因为我的播客,我在加速 AI 的进展?

也许吧。你教育了人们。也许他们变得更聪明之后,就在更快地推进 AI。

总之,AI 的进展、开发和部署将受到现实世界的约束。尽管它最终会发生,但在我们到达那里之前,我们可能会把自己撕裂。

67:52在这些情景中我觉得疯狂的一点是,世界未来的劳动力供给有多大比例最终集中在极少数几家公司里,以及这种劳动力供给逐年增长得有多快。如果前沿的算力以浮点运算量(FLOP)计每年增长4到5倍,并且达到某一能力水平所需的算力每年下降3倍,那么前沿实验室的有效 AI 人口规模基本上每年增长10倍。这在现在并没有那么重要,因为 AI 还不够好,还无法承担完整的工作,或者在工作能力、实施计划等方面像人一样自主。

但如果当前趋势继续下去,你会进入这样一个世界:OpenAI 从今年大约1000万名 AI 劳动者,增长到明年的1亿,再到后年的10亿。很快,即使算力扩张放缓,也用不了多少年,每家公司单独拥有的劳动力等效规模就会超过地球上的人口。我认为到本十年末这是非常有可能的:单个实验室内的 AI 劳动力、有效人口,将多于地球上的人口。

我们经常谈论因国有化之类而导致的权力集中。但我们对下面这个事实思考得不够:我们实际上正在飞快地进入这样一种状态,就工作产出而言,大多数“人”集中在两家实验室里,而它们消耗着越来越多的全球算力。如果这些 AI 是未对齐的,那么基本上世界上大部分就是未对齐的,因为世界上大部分头脑都在那里。但即使它们没有未对齐,极少数公司也拥有大量的影响力或大量的控制权。

最近有过一场争论,我记得加文·贝克(Gavin Baker)说:“达里奥相信世界上将只有一家公司。”然后肖尔托和达里奥出来说:“不,不,不。我们没这么说过。”但归根结底,如果你相信 RSI,如果你相信实验室是算力最有效的使用者,并且能从算力中产生最多的价值,那么唯一会发生的就是算力的集中化。如果你相信 AI 研究员、RSI、AGI,那么这一切都成立,这一切就是基础。

即使没有 RSI,这一点也成立。对于给定的能力水平,前沿的有效人口目前每年增长10倍。所以如果你达到了一个非常称职的远程工作者、非常称职的软件工程师或非常称职的研究员的能力水平,那么按目前的能力增长速度,这类人员的数量每年增长10倍。

我明白了,而且这还是没有 RSI 的情况。有了 RSI,就更疯狂了。

那么它可能每年增长100倍或1000倍。或者它们的智能在提升而人口没有增加。或者是两者的某种混合,对吧?

德瓦克什,你设想的是怎样的世界,其中一切不会被集中化?因为在我看来,每一种力量都在尖啸着奔向集中化。这他妈的太可怕了。

我很希望它不要完全集中化。但也许这正是“充满爱与恩典的机器”的全部意义,对吧?它就是一切,并让我们的生活变得美好。

很难去想象未来。但我同意你的看法。我认为根本问题在于 AI 训练具有巨大的规模经济,因为你为训练 AI 掌握某项特定技能或某组特定知识所付出的任何努力,都会被摊销到数十亿次会话或数十亿用户身上。这是一个效应。

另一个效应是,如果你在 AI 竞赛中稍微领先,而算力又短缺,你就可以收取高得多的加价,因为你能更好地节约利用这种稀缺资源。所以有两个效应,把越来越多的好处给了在 AI 竞赛中领先的人。可能还有更多。如果模型从部署中学习,而一个模型的部署比另一个广泛得多,那么它获得的真实世界数据就多得多。

你的观点我明白了:无论是用户部署与持续学习,还是训练并拥有这些规模经济,还是最好的 AI 模型帮助你做出下一个最好的 AI 模型这种增量进展,也就是 RSI,所有这些都指向集中化。

老实说,我认为我们应该花些时间思考的一个重大智识课题,或者至少我自己会花些时间思考的是:在 AGI 之后,认真对待这些规模经济的、去中心化且广泛赋权的未来愿景是什么样的?另一种愿景是政府来控制它,也许你认为可以更信任政府,因为它不是一家私营公司。

我不信任政府,我不信任达里奥,我也不信任山姆。

这是个问题,对吧?显然,对未来很容易判断错误。你没有预料到某个关键效应,或者某件改变一切的事情。但从事前来看,很难看出我们如何避免这样一种情景:我们必须选择一个集中化的来源。

这就是资本主义行之有效的原因,对吧?它是去中心化的决策和去中心化的权力。这也是为什么在某种程度上,超级集中的资本主义经济的增长,其实比超级去中心化的资本主义经济更慢。你必须有法治等等这些。但 AI 把这一切都颠倒了。最终你会觉得:“实际上,私有制可能不是最有效率的经济形态,因此它比集中化的 AI 经济增长得更慢。”

嗯,这仍然是私有制,但真正参与这部分经济份额的公司有多少?这大概占经济的,多少,也许现在是2%?1万亿美元除以30。Nvidia 占了很大一部分,还有 Anthropic、OpenAI 和这些超大规模云厂商。显然还有其他公司参与,但 AI 方面的大部分事情只是由很少几家公司在推动。所以它可以是私有财产,但参与的公司很少。

我的意思是,这就是市场结构正在做的事。那么什么能阻止它?我不知道。除非 AI 进展放缓,除非各国政府对它严加监管,否则就只会发生这些。在那种情况下,我们要走向的世界要么是资源极度集中,而我们祈祷那一家公司把一切都做对;要么是各国政府和人们把一切都放慢,不知怎么实现进展放缓,希望出现更多的权力平衡。

即使我们走向 AGI、ASI、RSI,沿途的一切仍然会导致有人攫取更多资源。所以很难找到一个框架,使 AI 不会导致超级集中。

现在,这里唯一积极的一点是,今天 Anthropic 并没有攫取大部分价值。我们可以尽情谈论它们如何从每兆瓦2000万美元涨到每兆瓦1亿美元,但它们为所购买的大量算力仍然在支付1300万美元。不过说到底,它们之所以能达到每兆瓦1亿美元,是因为 Jane Street 攫取了每兆瓦3亿美元或5亿美元。或者德瓦克什,通过为他的播客做研究、学习信贷知识,攫取了每兆瓦多少美元?那么现在你能用掉多少?难说。

但我认为那是唯一的救命稻草,也就是经济的其他部分也许从 Anthropic 那里获利要多得多——

不,但你之前阐述的整个逻辑,也就是它们把推理重新分配给 AI 研发,这个逻辑的全部前提是:AI 实验室内部的劳动回报,远高于外部的回报。

是的。这是我的自我安慰。我同意。在世界的所有情景中……有八万种世界,只有其中一种里 Anthropic 不会拥有整个世界。再说一次,权力会集中,因为我不想把 token 送到外面去。它们在内部更有价值。所以是同一回事。我为什么要让 Jane Street 靠这些堕落的期权交易员赚这么多钱?

嘿,他们是赞助商,拜托。天哪。

不,我觉得这很好。让市场变得有效率,对世界来说是有价值的。Jane Street 靠把世界观判断正确来赚这么多钱,靠堕落的期权交易员赚钱,不管是什么,Anthropic 为什么要把算力分配给那个?如果 Jane Street 每兆瓦的最终变现是2亿美元,所以它们愿意付给 Anthropic 1亿美元……那么,如果 Anthropic 在内部使用这些算力,就可以每兆瓦产生数亿美元呢?现在发生的正是这样。

带着这个沉重的结尾,我想我们会在 RSI 正式启动时再见面。

你大概两个月内不会再邀请我上你的播客了吧?

好的,酷。谢谢你,兄弟。