Dylan Patel——深入解析 AI 算力扩张的三大瓶颈

00:00Dwarkesh Patel

好，这一期是我的室友来教我半导体。

Dylan Patel

这也是我们这组节目收尾的一期。

Dwarkesh Patel

没错。用过之后我就会想：‘我再也不能用这个了，得赶紧离开这里。’

Dylan Patel

Dwarkesh 可不能吃别人剩下的。

Dwarkesh Patel

Dylan 是 SemiAnalysis 的 CEO。Dylan，我最想问你的问题是：你最近公布的预测里，亚马逊、Meta、谷歌和微软这四大公司的资本支出合计达到 6000 亿美元。按每年租用这些算力的价格换算，接近 50 吉瓦。显然，我们今年不可能新增 50 吉瓦，所以这笔钱大概是在为未来几年陆续上线的算力买单。我们该如何理解这些资本支出转化为实际算力的时间表？

对 AI 实验室也有类似的问题。OpenAI 刚宣布融资 1100 亿美元，Anthropic 刚宣布融资 300 亿美元。如果看它们今年将上线的算力，你可以告诉我具体有多少，但总量是否大约又有 4 吉瓦？OpenAI 和 Anthropic 今年要维持这些算力支出，按租用成本每吉瓦 100 亿到 130 亿美元计算，它们的融资额单独就足以覆盖一年的算力开支，而且还没算上今年会获得的收入。

请帮我理清两件事：第一，大型科技公司的资本支出要多久才会真正转化为可用算力？第二，如果一座 1 吉瓦数据中心每年的租用价格是 130 亿美元，这些实验室融资这么多钱究竟要做什么？

Dylan Patel

这些超大规模云厂商的资本支出约为 6000 亿美元；再把供应链其他环节加进来，总额就接近一万亿美元了。其中一部分会直接用于今年上线的算力，包括今年付款的芯片和其他资本开支。但还有很大一部分是前期准备投入。

我们说今年美国会新增约 20 吉瓦容量，其中一部分并不是今年才花的钱，有些资本支出其实在去年就已经发生了。比如谷歌的 1800 亿美元里，很大一部分用于支付 2028、2029 年涡轮机的定金；一部分用于 2027 年的数据中心建设；还有一部分用来签电力采购协议、支付首付款，以及提前安排其他事项，为快速扩张做好准备。所有超大规模云厂商和供应链上的其他企业都在这么做。

今年部署的约 20 吉瓦中，大头来自超大规模云厂商，也有一部分来自其他企业。这些公司的最大客户都是 Anthropic 和 OpenAI。两家公司目前的算力规模约为 2 到 2.5 吉瓦，而且还想大幅扩张。

看看 Anthropic 过去几个月的情况，收入增加了 40 亿或 60 亿美元。我们可以简单画条直线，假设它每个月还会再增加 60 亿美元的收入。有人会觉得这是偏悲观的估计，认为它应该增长得更快。按这个假设，未来十个月收入会增加 600 亿美元。以媒体最近报道的 Anthropic 毛利率计算，为了支持这些推理服务、获得这 600 亿美元收入，它大概要花 400 亿美元购买算力。

算力支出 400 亿美元，按每吉瓦约 100 亿美元的租赁成本计算，意味着它光是为了收入增长就要新增 4 吉瓦推理算力。这还假设它的研发训练集群保持不变。某种意义上说，Anthropic 到今年年底需要把算力提升到远超 5 吉瓦。这对它来说会非常困难，但不是不可能。

Dwarkesh Patel

我能追问一下吗？假如 Anthropic 到今年年底没能达到 5 吉瓦，但又需要这么多算力，既要服务增长超出预期、可能还会继续增长的收入，也要继续研发和训练，确保明年的模型足够强，那这些算力会从哪里来？

Dylan Patel

Dario 上你节目时态度非常谨慎。他说：‘我不会在算力上疯狂投入，因为如果收入拐点出现的速度或时间和预期不同，我不想把公司弄破产。我想确保扩张是负责任的。’但现实是，与 OpenAI 相比，他在算力布局上犯了严重错误。OpenAI 的做法则是：‘先签下这些疯狂的合同再说。’

到今年年底，OpenAI 能获得的算力远多于 Anthropic。Anthropic 要怎样才能拿到算力？它得转向质量较差的供应商，这些供应商以前它不会考虑。Anthropic 过去主要使用谷歌和亚马逊这类全球最大公司的优质服务商。如今微软也在扩大覆盖整个供应链的布局，并开始与一些新玩家合作。

OpenAI 在找各种供应商方面更积极。它不仅从微软、谷歌和亚马逊拿到大量算力，也与 CoreWeave 和甲骨文签下了许多合作。它还找了一些乍看之下不太寻常的公司，比如 SoftBank Energy：这家公司以前从没建过数据中心，现在却在为 OpenAI 建数据中心。它也找了 NScale 等许多供应商来获取容量。

Anthropic 面临一个两难局面，因为它此前在算力问题上太谨慎，不想贸然投入。去年下半年金融市场上出现的许多恐慌，某种意义上正是因为 OpenAI 签了很多合同，却没有足够的钱来支付。市场开始担心：甲骨文的股价要崩了，CoreWeave 的股价要崩了；这些公司的股票都跌了，信贷市场也乱成一团，因为大家认为最终客户付不起账。现在大家的态度又变成：‘等等，它们融了这么多钱，付得起，好吧。’

Anthropic 谨慎得多。它会签合同，但坚持原则，故意把规模控制在自认为可能做到的水平之下，采取保守策略，避免公司有可能破产。

Dwarkesh Patel

我想弄清楚，临时急着买算力究竟意味着什么？是说你只能找新兴云服务商吗？它们的算力更差吗？具体差在哪里？

是不是因为临时才来找云服务商，就得把毛利让给对方，支付原本不必承担的溢价？是谁建设了这些闲置容量，让 Anthropic 和 OpenAI 可以在最后关头拿到算力？

如果到 2027 年两家公司的算力规模差不多，OpenAI 提前布局到底有什么实际优势？是不是只是今年年底的吉瓦数不同？如果是，Anthropic 和 OpenAI 到今年年底分别会有多少吉瓦？

Dylan Patel

要获得额外算力，超大规模云厂商确实有可用容量。并非所有算力合同都是五年期的长期合同。市场上还有 2023、2024 年上线的算力，或者 2025 年的 H100，这些都签了较短的合同。OpenAI 的绝大部分算力都是五年期合同，但还有很多客户签的是一年、两年、三年、六个月，甚至按需使用的合同。

这些合同到期后，市场上谁最愿意出高价？我们已经看到 H100 的价格大幅上涨。有些公司甚至愿意签每小时超过 2 美元的长期合同。我听说某些 AI 实验室——具体是谁我先不说，原因你懂的——签了每小时最高 2.40 美元、为期两到三年的 H100 合同。想想利润空间：Hopper 的建造成本按五年摊销是每小时 1.40 美元。现在设备已经用了两年，你却签下每小时 2.40 美元、持续两到三年的合同？利润率就高得多了。

这样一来，你就能挤掉其他供应商，无论是亚马逊、CoreWeave、Together AI、Nebius，还是其他公司。新兴云服务商通常有更高比例的 Hopper，因为它们在这方面更加激进。它们也往往签较短期的合同，CoreWeave 除外。因此，如果我需要 Hopper，市场上确实还有一些容量。

此外，虽然甲骨文或 CoreWeave 的大部分 Blackwell 容量都签了长期合同，但本季度上线的容量已经全部售出。有些公司甚至无法兑现承诺销售的全部数量，因为数据中心延误了。不只是这两家，Nebius、微软、亚马逊和谷歌也有类似问题。不过，许多新兴云服务商和一些超大规模云厂商正在建设尚未售出的容量；它们也有些原本打算内部使用、但未必特别专注于 AGI 的算力，现在可能会转而卖给别人。

对 Anthropic 来说，也不一定要直接拥有全部算力。亚马逊可以持有算力，通过 Bedrock 提供服务；谷歌可以持有算力，通过 Vertex 提供服务；微软也可以通过 Foundry 提供服务，然后与 Anthropic 分成收入，反过来也可以。

Dwarkesh Patel

也就是说，你认为 Anthropic 得支付 50% 左右的加价：要么通过收入分成支付，要么临时购买现货算力，付出原本提前购买就不用付的费用。

Dylan Patel

对，这里确实存在取舍。但与此同时，有整整四个月，所有人都在对 OpenAI 说：‘我们不会和你签合同。’这听起来很疯狂，但原因是：‘你没钱。’现在大家又说：‘OpenAI，我们一直都相信你。有了这么多融资，你想签什么合同都行。’从这个角度看，Anthropic 受到限制。现在真正有能力新增算力需求的买家还不多，而 Anthropic 最先达到了一种能力水平，使它的收入迅速飙升。

Dwarkesh Patel

这很有意思。否则你可能会觉得，最好的模型是种极易贬值的资产，因为三个月后它就不再是最好的了。但它之所以重要，是因为你可以提前签这些合同、锁定算力，拿到更好的价格。

这也许是个显而易见的观点。但至少直到最近，大家一直在强调 GPU 的折旧周期。Michael Burry 等看空者说：‘大家把 GPU 的折旧期定为四五年，也许是因为技术进步太快；实际上，这些 GPU 按两年折旧才合理。’这样一来，每年的摊销资本支出就会更高，建设这些云服务的财务吸引力也会降低。

但你其实是在指出，折旧周期也许比五年还长。如果我们仍在使用 Hopper，尤其是 AI 真的全面发展，到 2030 年我们说‘必须重新启用 7 纳米晶圆厂，也得把 A100 再开起来’，那 GPU 的折旧周期实际上会非常长。我觉得这对财务分析有很有意思的影响。

Dylan Patel

这里有几个方面值得展开。先说 GPU 折旧。我想我还没回答你刚才的问题：我认为 Anthropic 到今年年底能达到大约 5 吉瓦，也可能稍高一些。它可以直接使用算力，也可以通过 Bedrock、Vertex 或 Foundry 提供产品。我觉得它能达到 5 到 6 吉瓦，远超最初的计划。根据我们的数据，OpenAI 大致相当，甚至会略高一点。

不过，回到 GPU 的折旧周期。Michael Burry 认为是三年或更短，这大概是他的论点。可以从两个角度看这个问题。机械地说，我们有一套 GPU 总拥有成本（TCO）模型，会预测 GPU 定价，并据此估算集群总成本。成本包括数据中心、网络、现场运维人员更换设备的人工、备件、芯片本身、服务器，以及其他各种项目。所有这些成本都要合在一起，还要计入一定的折旧周期和融资成本。

这样算下来，如果按五年折旧，一台大批量部署的 H100 每小时成本是 1.40 美元。如果你签下每小时 2 美元、为期五年的合同，毛利率大约是 35%，还略高一点；如果每小时签 1.90 美元，毛利率也大约是 35%。然后你的假设是：到了第五年，这张 GPU 就像从车上掉下来一样彻底报废。

有些人的论点是，如果你没签长期合同，那么 NVIDIA 每两年就会让性能提升三到四倍，价格却只翻倍或上涨 50%。所以 H100 的价格……没错，也许 2024 年市场价格是每小时 2 美元、毛利率 35%；但到了 2026 年，Blackwell 大规模量产、每年部署数百万张时，H100 的价值可能只剩每小时 1 美元。到了 2027 年，Rubin 大规模量产——它今年开始出货，但明年才会进入量产高峰——性能又提升三倍，价格再翻一倍或增加 50%，部署到云端的芯片也达到数百万张，那么 Hopper 的价值就只剩每小时 0.70 美元。按这种观点，GPU 价格会持续下跌。这是一种分析角度。

另一个角度是，这张芯片能创造多少价值？如果 Rubin 或最新一代芯片可以无限量生产，那事情确实会像你说的那样发展：随着新芯片上市、单位性能价格提高，Hopper 的现货或短期合同价格就会下跌。但半导体产能和部署进度都极为有限，所以决定芯片价格的并不是‘我今天还能买到什么替代品’，而是‘这张芯片今天能为我创造多少价值’。

就这个意义而言，我们来看看 GPT-5.4。与 GPT-4 相比，GPT-5.4 的运行成本低得多，激活参数也更少。它的激活参数规模小很多，因为它采用更稀疏的混合专家（MoE）架构，而 GPT-4 的 MoE 更粗疏。在训练方法、强化学习、模型架构和数据质量方面也有许多进步，让 GPT-5.4 比 GPT-4 强得多，同时服务成本还更低。用 H100 运行 GPT-5.4，每张 GPU 能处理的 token 比运行 GPT-4 更多。也就是说，它能生成更多更高质量模型的 token。

GPT-4 token 市场的最大规模是多少？也许是几十亿美元，也可能是几百亿美元。用户普及需要时间。GPT-5.4 对应的市场规模很可能超过一千亿美元。但普及会有滞后，也存在竞争，而且其他公司也在持续改进。如果技术进步到此为止，那么 H100 的价值就取决于 GPT-5.4 能从它身上创造多少价值，而不再是 GPT-4 的价值。这些实验室身处竞争环境，利润率不可能无限提高。所以这里出现了一种很有意思的动态：H100 今天比三年前更值钱。

Dwarkesh Patel

这太不可思议了。从这个角度继续推演也很有意思。假如我们真的开发出了 AGI 模型，服务器里就相当于有一个真正的人类……大家对于人脑能进行多少 FLOPS 估计得很随意。但单看浮点运算能力，有人估计 H100 大约能达到 10^15 FLOPS，这相当于某些人对人脑运算量的估计。显然，人脑的内存要大得多：H100 有 80 GB，人脑可能有数 PB。

Dylan Patel

哦，是吗，你有数 PB？那你把数 PB 的 0 和 1 念出来给我听听。给我说一串比特。

Dwarkesh Patel

可这其实正是我要说的。

Dylan Patel

不，我们只是掌握了史上最好的稀疏注意力技术。

Dwarkesh Patel

不过说真的，大脑压缩的信息量可能达到数 PB。大脑是一个极其稀疏的 MoE。但无论如何，想象一位人类知识工作者每年可以创造六位数美元的价值。如果一张 H100 能创造接近这样的价值，假设我们真的把人类放到服务器上工作，那么 H100 创造的价值足以在几个月内收回它的成本。

我采访 Dario 时想表达的观点，并不是我认为奇点会在两年后到来，因此 Dario 必须拼命买更多算力。虽然收入确实已经到了他需要购买更多算力的程度。我真正想说的是，既然 Dario 看起来在说：‘两年后我们会有一座天才数据中心，最多五年就会实现；而一座天才数据中心应该能带来数万亿美元的收入’，那么他为什么还总说要在算力上更谨慎，或者像你所说的那样，比 OpenAI 保守？这根本说不通。

我想这个观点被误解了，后来大家都在嘲笑我，说：‘哦，这个播客主持人想劝一家市值数千亿美元的公司 CEO 梭哈，哥们。’我只是想说，他自己的说法前后矛盾。总之，能把这件事讲清楚很好。

Dylan Patel

回到我们之前的看法：如果模型足够强大，GPU 的价值会随时间上升。目前只有 OpenAI 和 Anthropic 这么看。但随着时间推移，所有人都会看到每张 GPU 的价值飙升。从这个角度说，现在就应该承诺购买算力。

有意思的是，Anthropic 一贯如此。网上有个梗，说他们有承诺恐惧症、生活方式像多角恋一样。这不是在说 Dario 个人，只是个网络梗。

Dwarkesh Patel

这就解释了一切。顺便说，有个有意思的经济学效应叫 Alchian-Allen 效应，大意是：如果对两种不同商品都提高固定成本，其中一种质量更高、另一种更低，人们在边际上会更愿意选择高质量商品。

举个具体例子：假设好吃的苹果卖 2 美元，难吃的苹果卖 1 美元。现在对它们征收进口关税，于是好苹果变成 3 美元，普通苹果变成 2 美元。

Dylan Patel

这是因为它们都涨了 1 美元，还是应该都涨 50%？

Dwarkesh Patel

不，因为它们都只涨了 1 美元。这个效应的关键是：两种商品都承担同一笔固定成本，导致它们的相对价差发生变化。以前贵的那个是另一种的两倍，现在只贵 1.5 倍。

我想知道，如果把这个效应套用到 AI 上，是不是意味着 GPU 越贵，算力成本中的固定支出就越高，从而促使大家愿意为稍好一些的模型支付更高利润率？因为他们会想：反正算力已经花了这么多钱，不如再多付一点，确保用上最好的模型，而不是稍差一些的模型。

Dylan Patel

也就是说，Hopper 的价格从 2 美元涨到 3 美元。如果一张 Hopper 能生成一百万个 Opus token，或者两百万个 Sonnet token，那么 Opus 和 Sonnet 之间的价格差就缩小了，因为 GPU 的价格从 2 美元涨到 3 美元，只增加了一美元。

有意思。我觉得这很有道理。现在所有流量都集中在最好的模型上，收入也都来自最好的模型。在算力受限的世界里，会发生两件事。第一，没有承诺恐惧、签下五年算力合同的公司已经锁定巨大的利润率优势。它们五年前、三年前或两年前就按当时的价格锁定了未来五年的算力。

相比之下，如果你的五年合同已经履行了三年，而另一家公司的两年或三年合同到期了，它现在要按当前价格续购算力；而当前价格是按模型能创造的价值来定的，成本会高得多。因此，早早承诺的公司通常有更好的利润率。市场中长期合同所占的比例远高于短期合同的比例，后者才是你能在最后一刻补上的弹性容量。

与此同时，利润最终会落到谁手里？模型越来越有价值，云服务商能在多大程度上灵活调整价格？以 CoreWeave 为例，它目前的平均合同期限超过三年，98% 以上的算力合同都超过三年。于是它陷入两难：实际上没法灵活调价，但每年新增的容量又远远超过过去的规模。

仅今年一年，Meta 新增的容量就相当于它在 2022 年为 WhatsApp、Instagram、Facebook 等所有业务提供服务并运行 AI 的整个算力和数据中心规模。它今年光新增的容量就有这么多。

同样，Meta、CoreWeave、谷歌、亚马逊以及其他公司每年都在疯狂增加算力。新增算力按新价格成交。所以没错，只要行业仍在快速起飞，提前锁定的容量就能带来优势。比如 OpenAI 去年从 600 兆瓦增至 2 吉瓦，今年从 2 吉瓦增至 6 吉瓦以上，明年又从 6 吉瓦增至 12 吉瓦。所有成本都在新增算力上，而不在之前签好的长期合同上。

那么，能决定利润空间的就是基础设施提供商。云服务商、新兴云服务商或超大规模云厂商在一定程度上都能收取利润。但沿着供应链往上走，谁能掌握全部内存和逻辑芯片产能？主要是 Nvidia。它签了很多长期合同，目前手上有 900 亿美元的长期合同，而且正在与内存供应商谈三年期协议。

亚马逊通过 Broadcom、谷歌通过 Broadcom、亚马逊自己，以及 AMD，也都握有筹码，因为它们已经确保了产能。台积电没有涨价，但内存供应商在一定程度上大幅提高了价格。它们还会再涨一到两倍，同时也在签长期合同。

最终可能由云服务商、芯片厂商或内存厂商拿走利润，除非台积电或 ASML 突然决定：‘不，我们要大幅提价。’但模型厂商能不能也收取惊人的利润率？至少今年，我们会看到模型厂商的利润率大幅上升。因为算力容量太紧张，它们不得不抑制需求。Anthropic 不可能在不抑制需求的情况下继续保持当前增长速度。

80:33我们来谈谈逻辑芯片和内存。Nvidia 具体是怎么锁定这么多两类产能的？按你的数据，到 2027 年，Nvidia 会拿到 N3 晶圆产能的 70% 以上，或者接近这个比例。我记不清你对 SK 海力士、三星等内存产能的数字了。

想想新兴云服务商的业务模式，以及 Nvidia 如何与它们合作；再想想强化学习环境公司的业务模式，以及 Anthropic 如何与它们合作。这两种情况下，Nvidia 都在有意拆分互补产业，确保自己尽可能掌握议价权。它会把产能分配给各种新兴云服务商，避免任何一家独占全部算力。

类似地，Anthropic 或 OpenAI 与数据供应商合作时会说：‘不，我们要培育一个庞大的供应商生态，这样就不会被任何一家数据环境供应商锁定。’

我想知道，在 3 纳米制程上——这会用于 Trainium 3、TPU v7，以及其他加速器——台积电为什么把产能都交给 Nvidia，而不是像 Nvidia 一样主动拆分市场？

Dylan Patel

这里有几点。先说 3 纳米，如果回到去年，绝大多数 3 纳米产能都给了苹果。苹果现在正转向 2 纳米。内存价格上涨，苹果的出货量可能会下降。内存涨价时，苹果要么压缩利润，要么退出。长期合同会带来一定滞后，但苹果很可能会减少需求，或更快转向 2 纳米；目前 2 纳米只能生产手机芯片，未来 AI 芯片也会转向 2 纳米。所以苹果占用了一部分产能。

苹果也在与第三方供应商洽谈，因为它在台积电那里的产能份额受到了一些挤压。台积电在高性能计算（HPC）、AI 芯片等领域的利润率高于手机芯片，因为它在 HPC 上的优势比在手机市场更明显。

看台积电眼下如何权衡，它其实给 CPU 公司分配了相当多的产能。比如亚马逊有 Trainium 和 Graviton，两者都使用 3 纳米；Graviton 是 CPU，Trainium 是 AI 芯片。台积电更愿意把产能分配给 Graviton，而不是 Trainium，因为它认为 CPU 业务更稳定，长期增长更可预测。

对于一家做事保守、不想过度追逐增长周期的公司来说，通常会先把产能分给增长率较低但更稳定的市场，再把新增产能投向高速增长的市场。一般情况就是如此。AMD 也一样：台积电更愿意给 AMD 的 CPU 分配产能，而不是 GPU。亚马逊也类似。

Nvidia 有些特别，因为它不仅有 CPU，还生产交换机、网络设备、NVLink、InfiniBand、以太网和网卡。总体而言，到今年年底随着 Rubin 发布及其整个芯片家族上市，这些大多数产品都会采用 3 纳米，其中最重要的是 GPU。尽管如此，Nvidia 还是拿到了大部分供应。

部分原因在于，台积电等公司会从很多方面预测市场需求，但市场信号也很关键。市场发出的信号是：‘明年我们需要这么多产能，后年还需要更多。我们会签不可取消、不可退还的合同，甚至可能先付定金。’Nvidia 比谷歌或亚马逊早得多就这么做了。有些情况下，谷歌和亚马逊遇到了障碍，其中一款芯片延迟了几个季度。Trainium 等项目都遇到了类似情况。

当时情况大致是：‘这些公司在延迟，Nvidia 却不断要求更多产能。我们得去供应链其他环节确认容量够不够。’他们会去问 PCB 厂商：‘PCB 产能够吗？’Victory Giant 是 Nvidia 最大的 PCB 供应商之一，是一家中国公司。很多 PCB 都产自中国。他们会接着问：‘PCB 产能够吗？好，那内存供应商呢？谁掌握了全部内存产能？好，是 Nvidia。’

看看谁对 AGI 深信不疑，愿意按那些不相信 AGI 的人看来荒谬的规模签下长期算力合同。但他们仍愿意现在就支付相当不错的价格、签下合同，因为他们认为未来的供需比例会彻底失衡。半导体供应链上也发生着类似的事。我不认为 Nvidia 对 AGI 的信念那么强烈。Jensen 不相信软件会被完全自动化之类的说法。

Dwarkesh Patel

他指的是加速计算，不是 AI 芯片，对吧？

Dylan Patel

他说的是 AI 芯片。

Dwarkesh Patel

但那是他自己的称呼，对吧？

Dylan Patel

是的。我觉得这是个更宽泛的术语，AI 属于其中，也包括物理建模和模拟。

Dwarkesh Patel

但他好像没有拥抱最主要的应用场景。

Dylan Patel

我认为他确实在拥抱，只是没有 Dario 或 Sam 那么相信 AGI。不过，他仍比去年第三季度的谷歌或亚马逊相信得多，也更早看到了需求。

原因很简单。看看数据中心的建设情况就知道了。他想的是：‘好，我要拿下这个市场份额。’我们追踪了所有数据中心，其中很多既可能部署一种芯片，也可能部署另一种。在某种程度上，谷歌和亚马逊，尤其是谷歌，虽然部署 TPU 对自己更有利，却仍不得不部署大量 GPU，因为 TPU 数量不够，无法填满数据中心。它们没法及时把 TPU 生产出来。

Dwarkesh Patel

我想问一下这件事。谷歌卖出了一百万张，是 v7 吗？

Dylan Patel

是的。

Dwarkesh Patel

——也就是 Ironwood TPU，卖给了 Anthropic。你说眼下、今年或明年，或许今后一直如此，最大的瓶颈都会是逻辑芯片和内存，也就是制造这些芯片需要的东西。谷歌有 DeepMind，是第三家主要 AI 实验室。如果这就是最大的瓶颈，谷歌为什么把芯片卖出去，而不是直接留给 DeepMind？

Dylan Patel

这又是一个……DeepMind 的人当时会想：‘这太离谱了，我们为什么要这么做？’但谷歌云团队和谷歌高层看到的是另一套逻辑。

你我都认识 Anthropic 的算力团队，两位核心成员都来自谷歌。他们看到了这个错位，谈成了一笔交易，在谷歌意识到之前拿到了这些算力。根据我们找到的数据，至少事件顺序是这样的：第三季度初，短短六周内，TPU 的产能大幅增加，而且在这六周里翻了好几倍。

他们提出了好几次需求。谷歌甚至得去找台积电解释为什么需要突然增加这么多产能，因为变化实在太快。这些新增产能中很大一部分是为了卖给 Anthropic，因为 Anthropic 比谷歌更早看到了机会。

后来，谷歌推出了 Nano Banana 和 Gemini 3，用户指标随即飙升。谷歌领导层这才意识到：‘哦。’随后他们开始说，必须每六个月把算力翻一倍，或者具体数字大致如此。

他们真的醒悟了很多，于是去找台积电说：‘我们要更多产能，越多越好。’台积电回答：‘抱歉，产能已经卖完了。2026 年也许还能多给你们 5% 到 10%，但我们真正要做的是 2027 年。’

在我看来，各家实验室之间存在信息不对称。我也不敢说得特别确定。这是我看了晶圆订单、供应链数据，以及 Anthropic 和 Fluidstack 签下的数据中心合同后，自己串起来的一套叙事。

我很确定谷歌搞砸了。从 Gemini 的年度经常性收入（ARR）就能看出来。第一季度到第三季度几乎没有收入，第三季度末才开始略有起色。但到了第四季度，ARR 口径下的收入已经达到 50 亿美元。很明显，谷歌一开始没有预见收入会迅速飙升。某种程度上，Anthropic 在 ARR 爆发前也有些犹豫不决，尽管它掌握的信息比谷歌多得多，也更早看见了即将发生的事。谷歌比 Anthropic 更保守，而且 ARR 还更少，所以它当时根本不愿意行动，后来才意识到自己应该这么做。

从那以后，谷歌在行动上对 AGI 的信念强得惊人。它收购了能源公司，为涡轮机支付定金，大规模买下接入电力的土地，还去找公用事业公司谈长期协议。它在数据中心和电力方面的扩张非常激进。我觉得谷歌直到去年年底才醒悟过来，而且花了一些时间。

Dwarkesh Patel

你觉得谷歌到明年年底会有多少吉瓦的算力？

Dylan Patel

买我的数据吧。

Dwarkesh Patel

这种信息要收费啊。

Dylan Patel

是，是。

34:34我觉得每年阻碍 AI 算力扩张的瓶颈都在变化。几年前是 CoWoS，去年是电力。你会告诉我今年的瓶颈是什么。

但我想知道五年之后，限制我们部署奇点的会是什么？

Dylan Patel

最大的瓶颈是算力。就算力而言，交付周期最长的供应链并不是电力或数据中心，而是半导体供应链本身。主要瓶颈会从电力和数据中心，重新转回芯片。

芯片供应链上有几个不同的瓶颈：内存、台积电制造的逻辑晶圆，以及晶圆厂本身。建晶圆厂要两到三年，而建数据中心不到一年。我们见过亚马逊用八个月就建好数据中心。两者交付周期差异很大，原因在于芯片制造厂的建设复杂得多；制造设备的交期也很长。

随着算力扩张，瓶颈会根据供应链当前无法满足的环节不断变化。之前是 CoWoS、电力和数据中心，但这些环节的交付周期都较短。CoWoS 只是把芯片封装在一起，工艺简单得多。电力和数据中心的建设也远比芯片制造简单。过去有些手机或 PC 产能转去生产数据中心芯片，这种转换有一定灵活性。

而 CoWoS、电力和数据中心的供应链都得从头建起。如今，手机和 PC 产业——它们过去曾占半导体行业的大部分——已经没有多余产能可以转向 AI。Nvidia 现在是台积电和最大内存制造商 SK 海力士的最大客户。再从普通人的 PC 和智能手机上抽走资源、转去生产 AI 芯片，几乎不可能了。所以，迈向 2030 年时，最大的问题就是如何扩大 AI 芯片产量。

Dwarkesh Patel

如果只根据‘我们最多只能生产这么多 EUV 光刻机’，就能推算出到 2030 年的绝对吉瓦上限，那会很有意思。

Dylan Patel

要进一步扩大算力，今年和明年会遇到不同瓶颈，但到 2028 或 2029 年，瓶颈最终会落到供应链最上游，也就是 ASML。ASML 制造着世界上最复杂的机器：EUV 光刻设备，每台售价 3 亿至 4 亿美元。目前它们每年能生产约 70 台，明年会达到 80 台。即便供应链扩张得非常激进，到 2030 年左右也只能超过 100 台一点。

这意味着什么？到 2030 年，它们能生产 100 台这种设备，而现在是 70 台。怎么把这个数字换算成 AI 算力？供应链上从 Sam Altman 到其他人都在谈吉瓦、吉瓦、吉瓦，谈新增多少吉瓦。Elon 还说要在太空部署 100 吉瓦。

Dwarkesh Patel

每年。

Dylan Patel

每年。所有这些数字真正的问题，或者说它们面临的挑战，并不是电力或数据中心。我们可以深入讨论，但关键在于芯片制造。

以一吉瓦 Nvidia Rubin 芯片为例。我记得 Rubin 会在这期节目上线的那周于 GTC 上发布。要用 Nvidia 今年年底推出的最新芯片建设一吉瓦数据中心容量，需要几种不同制程的晶圆：约 5.5 万片 3 纳米晶圆、约 6000 片 5 纳米晶圆，以及约 17 万片 DRAM 内存晶圆。

这三类晶圆需要不同数量的 EUV 工序。制造一片晶圆需要成千上万道工序，不断沉积和去除材料。但最关键的一道工序——至少在先进逻辑芯片上约占芯片成本的 30%——实际上并不会往晶圆上添加任何东西。先在晶圆上涂布光刻胶，这是一种遇光会发生化学变化的材料；再把它放进 EUV 设备，用特定方式照射，让电路图案显现出来。设备里还有一种叫掩模版的东西，本质上就是芯片设计的模板。

一片领先制程的 3 纳米晶圆大约经过 70 道掩模工序，也就是约 70 层光刻，但其中只有 20 层使用最先进的 EUV。若每吉瓦需要 5.5 万片晶圆，每片要经过 20 次 EUV 曝光，算下来就是每吉瓦 110 万次 EUV 曝光。再把 5 纳米和所有内存的部分加进去，总计约 200 万次，也就是每吉瓦大约需要 200 万次 EUV 曝光。

这些设备非常复杂。它会把晶圆放进去，在晶圆上扫描并分步移动，在整片晶圆上重复几十次。所谓 EUV 曝光次数，就是指以一定速度对整片晶圆进行曝光。

一台 EUV 设备每小时大约能处理 75 片晶圆，设备的开机率约为 90%。最终，要完成一吉瓦所需的 200 万次晶圆 EUV 曝光，大约需要 3.5 台 EUV 设备。换句话说，3.5 台 EUV 设备就能支撑一吉瓦。

这些数字很有意思。一吉瓦算力要花多少钱？大约 500 亿美元。3.5 台 EUV 设备呢？大约 12 亿美元，远低得多，这很值得琢磨。数据中心每吉瓦对应 500 亿美元资本支出，最终产生的 token 价值还会更高。供应链上可能有价值 1000 亿美元的 AI 产出，却被价值 12 亿美元的设备卡住，而设备供应链根本无法快速扩张。

Dwarkesh Patel

你最近写过一篇文章，说台积电过去三年资本支出达 1000 亿美元，分别是 300 亿、300 亿和 400 亿。其中只有一小部分用于 Nvidia 生产 3 纳米或此前使用的 4 纳米芯片。台积电上季度的营收是多少？400 亿美元。乘以四就是 1600 亿美元。Nvidia 单靠台积电那 1000 亿美元资本支出中的一小部分——这些资产要用很多年折旧，并非只算今年——就能在一年创造 1600 亿美元营收。

沿着供应链继续往下看，这种杠杆效应在 ASML 那里更明显。它用价值十亿美元的设备来支撑一吉瓦芯片的生产。当然这些机器能用很多年，所以产出不止一年。

我想了解，到 2030 年如果把之前几年陆续累积、而不只是当年卖出的设备都算进去，会有多少这样的机器？这意味着什么？Sam Altman 说他想在 2030 年每周建成一吉瓦算力。把这些数字加起来，这个目标能实现吗？

Dylan Patel

完全可以。台积电及整个生态系统目前已经有约 250 到 300 台 EUV 设备。再加上今年的 70 台、明年的 80 台，到 2030 年增至 100 台，十年末大约有 700 台。假设这些设备全部用于 AI——实际上并非如此——每吉瓦需要 3.5 台，那么它们能生产供数据中心部署的 200 吉瓦 AI 芯片。

Sam 想要每年 52 吉瓦。到那时他只需要占 25% 的份额。当然，还有一部分产能要给手机和 PC，前提是我们还买得起消费电子产品，不会被价格挤出去。但总体上，他说的就是芯片总产量中占 25% 的市场份额。这个目标很合理；我觉得光今年他就能拿到已部署 Blackwell GPU 的 25% 产能。并没那么夸张。

Dwarkesh Patel

ASML 是从什么时候开始交付 EUV 设备的？是 7 纳米制程启动时吗？我不太确定具体时间。你的意思是 2030 年还会用 2020 年开始交付的设备。也就是说，在世界上技术最先进的行业里，最关键的设备会连续用十年？我觉得挺意外的。

Dylan Patel

ASML 大约十年前就开始交付 EUV 设备了，但直到 2020 年左右才进入大规模量产。设备也不是同一代；当时设备的吞吐量更低。它们有各种规格，其中之一叫套刻精度。我刚才说过，芯片是把多层结构叠在一起。先做一层 EUV，再做一系列其他工序：沉积材料、蚀刻、清洁晶圆，接着才会做下一层 EUV；中间会有几十道工序。

有个规格叫套刻精度，意思是：前面做完所有工序、在晶圆上画好了这些线，现在要再画一些点。比如我要画点，把这些金属线连到通孔上；再往上一层是另一组垂直的线，这样就能把相互垂直的导线连接起来。必须让它们精准地上下对齐，这就叫套刻精度。

套刻精度是 ASML 近年来快速改进的一项指标，晶圆吞吐量也在迅速提升。光刻机价格涨了，但涨幅没有设备能力提升得那么多。早期 EUV 设备每台约 1.5 亿美元，到我展望的 2028 年已涨到 4 亿美元。但设备能力也翻了一倍多，尤其是吞吐量和套刻精度。套刻精度就是，即使中间要经过大量工序，后续每次曝光仍能精确对齐之前的图案。

ASML 的进步非常快。还值得一提的是，ASML 可能是世界上最慷慨的公司之一。它有一种关键的瓶颈技术，没有任何竞争对手能与之相比。也许到本世纪末中国会有一些 EUV 设备，但没有人能做出接近 EUV 的产品。尽管如此，ASML 并没有疯狂提高价格和利润率。我们常联系的其他人，比如 Leopold，会说：‘应该涨价。’因为他们有能力涨价，利润也在那里。Nvidia 会拿走利润，内存厂商也会拿走利润。但 ASML 从未让价格涨幅超过设备能力提升的幅度。

某种程度上，它一直在为客户带来净收益。不是说设备停滞不前，只是这些设备本身很老了。没错，可以对它们做一些升级，也有新一代设备在推出。为了讨论简单起见，这期节目暂时忽略设备套刻精度和吞吐量的改进。

Dwarkesh Patel

你说今年会生产 60 台这种设备，之后几年分别达到 70、80 台。如果 ASML 决定把资本支出翻一倍或三倍，会怎样？是什么阻止它们在 2030 年前生产超过 100 台？为什么你这么有把握，觉得即使看五年后，也能相当准确地预测产量？

Dylan Patel

我觉得有几个因素。ASML 并没有决定孤注一掷，以最快速度扩张产能。整个半导体供应链大体上也没有这么做。它们经历过繁荣和萧条，我们还可以再多谈一点。最近有些玩家才刚刚醒悟，但总体而言，没人真正看到每年 200 吉瓦 AI 芯片的需求，也没看到半导体供应链每年将有数万亿美元支出。它们还没有把 AI 或 AGI 当回事。

Dwarkesh Patel

我们今年就会达到一万亿美元。

Dylan Patel

是，我懂你的意思。但我是说，供应链上没人真正理解这一点。我们总被告知预测数字太高了；等数字应验了，他们又说：‘好吧，但你预测明年的数字还是太高。’

ASML 的设备有四个主要部分：光源，由圣迭戈的 Cymer 制造；光罩台，由康涅狄格州威尔明顿的工厂制造；晶圆台；以及光学系统，也就是镜片等部件。后两者在欧洲制造。

这四个部分各自都涉及极其复杂的供应链。（一）它们过去没有尝试大规模扩产；（二）即使开始扩产，所需时间也很长。再说一次，这是人类迄今制造过的、任何批量生产行业中最复杂的机器。

具体说说光源。光源是怎么工作的？它先喷出锡滴，用激光准确地连续击中三次。第一束激光打在锡滴上，让它膨胀；第二束再打一次，让它变成完美的形状；然后用超高功率激光轰击。锡滴受到足够激发后就会释放 13.5 纳米的 EUV 光，光线随后进入一个收集系统，再被引导到镜头组。

接下来是镜头组，正如你提到的，主要由卡尔蔡司等公司制造，其中蔡司最重要。它们也没有尝试扩大产能，因为它们并没有看到……它们会说：‘AI 让业务增长很快，我们会从每年 60 台增至 100 台。’但实际需求是：‘不，不，我们得增加到几百台。’不过暂且先这样吧。

我记得每台设备里大约有 18 个这样的镜片。它们是多层反射镜：如果我没记错，就是把钼和钌一层层精确堆叠，让光线能完美反射。普通镜头是有形状的，它会聚焦光线。这就像镜子和镜头合在一起，构造非常复杂。这些极薄沉积层中的任何瑕疵都会让设备失效，曲率有问题也一样。

扩大量产面临很多挑战。从某种意义上说，这种生产近似手工业，因为每年不是生产几万台，而是几百台、几千台。每年 60 台设备，每台有 18 个镜片，这仍然只意味着要生产几百个、总计约一千个镜片和投影光学组件。

再往下是光罩台，这也是个很惊人的部件。我想它移动时的加速度能达到 9G。扫描晶圆时，设备会快速移动。晶圆台与它配合，负责承载晶圆。两者要精准对齐，光线经过镜头聚焦，照到光罩和晶圆上。光罩向一个方向移动，晶圆向另一个方向移动，同时扫描晶圆上 26×33 毫米的区域，然后停下，移到晶圆的另一部分，再重复一次。整个过程只要几秒钟。它们各自都以 9G 的加速度向相反方向移动。

这些部件都堪称化学、制造、机械工程和光学工程的奇迹，因为所有东西必须精准对齐、完美无缺。整个系统需要大量计量检测，所有部件都得经过精确测试。任何一处出问题，良率就会降到零，因为这是一套调校得极其精密的系统。

顺便说一下，设备大到必须在荷兰埃因霍温的工厂里组装，然后拆解，装上多架飞机运到客户现场，再重新组装并测试。这整个过程要花很多个月。

供应链上有很多环节，无论是蔡司制造镜片和投影光学系统，还是 ASML 旗下公司 Cymer 制造 EUV 光源，每个环节都有自己的复杂供应链。ASML 曾表示，它的供应链涉及一万多家公司。

Dwarkesh Patel

是指单个供应商吗？

Dylan Patel

是的。不过也不一定全是直接供应商。可能蔡司有很多供应商，其他公司也有各自的供应商，层层叠加。

想想看，有两个大小和晶圆相当的物体在移动，它们的精度必须达到个位数纳米，甚至更高。因为整个系统的层间套刻误差必须控制在约 3 纳米。如果套刻误差是 3 纳米，那么每个部件的物理移动精度必须远高于这个水平。多数情况下要小于 1 纳米，因为各部分误差会累积起来。生产能力不是打个响指就能提高的。

即使是电力这种看起来简单的事情也很难。美国的电力增速原本是 0%，要提高到 2%，而中国已经达到 30%，这对美国来说都很困难。而电力供应链其实简单得多，参与者很少，但要制造的设备并不简单。美国可能有十万名或更多电工和电力供应链从业者吧？

再看 ASML，员工人数少得多。卡尔蔡司专门做这件事的员工可能不到一千人，而且每个人都高度专业化。你不可能转眼就把随便什么人培训成专家，也不可能一下子动员起整个供应链。

Nvidia 已经做了很多工作，才让整个供应链能够交付今年计划生产的产能。你去问 Anthropic，它会说：‘我们缺 TPU，缺训练算力，也缺 GPU。’你去问 OpenAI，它也会说：‘我们这些东西都不够。’

OpenAI 和 Anthropic 知道自己需要 X。Nvidia 对 AGI 的信念没那么强，所以只在建设 X−1。再沿着供应链往下，每家都在做 X−1。有些甚至只做到 X÷2，因为它们还没把 AGI 当回事。

结果就是供应链响应有很长的滞后。从看到 AI 的潜力，到决定提高产量，需要很长时间。等供应商终于明白必须快速扩产时……它们认为自己已经理解了。它们觉得 AI 意味着要把年产量从 60 台提高到 100 台，同时设备本身变得更好、更快，光源功率也从 500 瓦升到 1000 瓦，供应链上的其他环节还会进步、扩产。它们以为这已经是很大的产量提升了。

但把数字算一遍就会发现……Elon 想要什么？他想在 2028 或 2029 年于太空部署每年 100 吉瓦。Sam Altman 想在本世纪末达到每年 52 吉瓦。Anthropic 可能也需要这么多，谷歌也一样。沿着供应链逐项计算，就会发现不对，供应链不可能提供足够的产能，满足所有人对算力的需求。

55:47Dwarkesh Patel

过去几年，在数据中心供应链方面，人们一直说：‘我们被某个具体环节卡住了，所以 AI 算力最多只能扩到 X。’但就像你写过的，如果电网是瓶颈，我们可以在数据中心内部自建电力，使用燃气轮机等等。那些方案不行的话，人们还会想出其他替代办法。

我想问，半导体供应链会不会也有类似情况？如果 EUV 成了瓶颈，我们能不能退回 7 纳米制程，像中国现在做的那样，用 DUV 光刻机和多重曝光生产 7 纳米芯片？看看 7 纳米的 A100，再看 A100 到 B100 或 B200 的进步，显然已经很大了。

这些进步中有多少只是数值格式的变化？如果从 A100 到 B100 都固定用 FP16，B100 略高于 1 PFLOP，而 A100 大概是 300 TFLOPS。

Dylan Patel

对，是 312。

Dwarkesh Patel

在数值格式不变的情况下，从 A100 到 B100 也提升了 3 倍。其中一部分来自制程进步，另一部分来自加速器设计改进，未来我们也可以再次做到。

从 7 纳米进步到 4 纳米，制程本身似乎带来的提升其实不大。具体数字我记不清了，但假设每月有 15 万片 3 纳米晶圆，未来 2 纳米产能也会接近这个规模。与此同时，7 纳米产能也差不多有这么多。

如果这些旧制程晶圆都能用，哪怕每片晶圆的芯片密度要打五折，或者类似的降幅，重新启用 7 纳米晶圆来额外获得 50 或 100 吉瓦，似乎也没什么不好。告诉我，这种想法哪里过于天真？

Dylan Patel

我们确实可能会急到重新启用旧产能，因为我们需要新增算力，而算力的价值足以抵消这些芯片更高的成本和功耗。但从很多方面来说，这种情况也不太可能发生，因为有些比较并不公平。

例如，从每秒 312 万亿次浮点运算的 A100，到 Blackwell 的 FP16 性能约 1000 或 2000，再到 Rubin 的 FP16 性能约 5000……这不是公平的比较，因为这些芯片针对的设计目标完全不同。Nvidia 设计 A100 时优化的是 FP16 和 BF16；到了 Hopper，就没那么在意这些格式，转而关注 FP8；Rubin 则不太关注 FP16 和 BF16，主要针对 FP4 和 FP6 优化。芯片就是围绕这些数值格式设计的。

假设我们设计一款面向现代数值格式的 7 纳米芯片，性能差距仍会远大于你提到的 FLOPS 差距。人们很容易把问题简化成每瓦 FLOPS 或每美元 FLOPS，但那样比较并不公平。

看看 Kimi K2.5 和 DeepSeek。在经过高度优化的软件上比较这两个模型分别运行于 Hopper 和 Blackwell 时，性能差异非常大。这其中大部分差异不能归因于 FLOPS 或数值格式，因为这些模型实际上使用 8 位精度。因此，并不是说 Blackwell 和 Hopper 都专门为 8 位优化，而 Blackwell 也没有利用 4 位精度的优势。实际上，两者的性能差距大得多。

制程缩小、晶体管变小，每颗芯片能达到 X FLOPS，这是一回事；但你忽略了一个关键限制：这些模型并不是在一张芯片上运行，而是一次要用几百张芯片。看看 DeepSeek 的生产环境部署，已经超过一年了，它们当时用 160 张 GPU 来服务生产流量，把模型拆分到这 160 张 GPU 上运行。

每当数据从一张芯片传到另一张芯片，都会损失效率。你必须通过高速 SerDes 电链路传输，这会带来延迟和功耗成本，还有其他许多不利因素。制程节点越小，单张芯片的算力越高。芯片内部的数据传输速度至少是每秒几十 TB，甚至几百 TB；芯片之间则只有每秒约 1 TB。

接下来还有芯片之间的数据传输问题，即便这些芯片在物理位置上非常接近，也一样。你不可能把无限多的芯片放在一起，所以得把芯片放到不同机架里。机架之间的数据传输速度只有每秒数百吉比特，比如每秒 400 或 800 吉比特，也就是每秒约 100 GB。

于是出现了一个层级：芯片内部通信速度极快，同一机架内慢一个数量级，机架外又比机架内慢一个数量级。数据一旦跨越芯片边界，性能就会损失。

我解释这一点，是因为比较 Hopper 和 Blackwell 时，即便它们都占用一个机架的芯片，Hopper 也明显更慢。每个计算域内你能发挥出的性能，也就是这些处理单元之间的通信速度，从每秒几十 TB 降到每秒几 TB，差距非常大，所以整体性能也差很多。对于以每秒 100 个 token 运行 DeepSeek 和 Kimi K2.5 的推理负载，Hopper 与 Blackwell 的性能差异大约是 20 倍。

这可不是 FLOPS 性能差异所显示的两倍或三倍，即使它们采用相同制程节点也是如此。它们采用的网络技术不同，研发重点也不同。有些技术可以迁移，但看 Rubin 用 3 纳米制程做出的东西，有些在 A100 上根本不可能实现，即使你重新设计一款 7 纳米芯片也一样。

某些架构改进可以移植，另一些则不行。性能差异并不只是 FLOPS 差异，它是多种因素叠加的结果：单芯片 FLOPS、芯片间网络速度、单芯片和整套系统分别能提供多少 FLOPS、单芯片和整套系统的内存带宽。所有因素都会彼此放大。

Dwarkesh Patel

我能问个特别外行的问题吗？现在 B200 在一张芯片上有两个裸片，因此不用通过 NVLink 或 InfiniBand 就能获得这种带宽。明年 Rubin Ultra 会在一张芯片上放四个裸片。是什么阻止我们用旧制程也这么做？一张芯片最多能放几个裸片，同时保持每秒几十 TB 的带宽？

Dylan Patel

即使在 Blackwell 内部，芯片内通信和芯片间通信的性能也有差异。当然，这种限制比跨出整张芯片小得多。但增加芯片数量时仍然会有性能损失。系统不是完美的，不过已经远好于彼此独立的封装。

先进封装能做到多大规模？Nvidia 使用 CoWoS。谷歌、Broadcom、MediaTek 和亚马逊的 Trainium 也都在用 CoWoS。但可以回头看看 Tesla 做过的 Dojo 项目——后来取消又重启过。Dojo 芯片的尺寸和整片晶圆一样，上面放了 25 个芯片。这带来一些取舍：它没法搭载 HBM。但好处是上面有 25 个芯片。到目前为止，它可能仍是运行卷积神经网络的最佳芯片。它不太适合 Transformer，因为芯片形状、内存、计算方式和其他规格都不适合 Transformer，却很适合卷积神经网络。

Dojo 芯片就是围绕这种用途优化的，它们也做了更大的封装。但封装越做越大，就会碰到其他限制：网络速度、内存带宽和散热能力。这些问题都会开始显现，并不简单。不过，芯片封装里的芯粒数量确实会继续增加，而且 7 纳米也能这么做。

事实上，华为在 Ascend 910C 或 D 上就这么做了。最初放一颗，后来放了两颗。它们正在扩大封装，因为相比无法继续微缩的制程技术，封装是它们能够更快推进的领域。但最终，先进制程芯片也可以采用这种技术。封装方面在 7 纳米能做的事，大概在 3 纳米也能做。

65:37Dwarkesh Patel

假设到 2030 年，西方拥有最先进的制程技术，却没有大规模扩产；与此同时，中国……我不知道你觉得届时中国能不能拥有 EUV 和 2 纳米制程之类的技术。但它们会对半导体产业全力投入并大规模生产。

我想知道，哪一年会成为转折点？也就是我们的制程技术优势已经缩小，而中国的规模优势已经扩大到足以赶上的那一年。再加上中国能在一个国家内实现整个供应链国产化，而不是依赖德国、荷兰等地各自分散的供应商，这会不会意味着中国在大规模生产 FLOPS 方面领先？

Dylan Patel

到目前为止，中国的半导体供应链还没有完全实现国产化。

Dwarkesh Patel

但到 2030 年会实现吗？

Dylan Patel

到 2030 年有可能。但目前中国所有 7 纳米和 14 纳米产能都在使用 ASML 的 DUV 设备。它们能从 ASML 进口不少设备。不过 ASML 的大部分收入，尤其是全部 EUV 收入，都来自中国以外的市场。规模优势仍然在西方以及台湾、日本、韩国等地区这一边。

Dwarkesh Patel

但它们也在尝试自己制造 DUV 和 EUV 设备，对吧？

Dylan Patel

它们正在尝试做这些事。问题在于，它们能以多快的速度提升技术、扩大产量并提高质量。迄今为止，我们还没看到成果。不过，我相当看好中国在未来五到十年内做到这些。它们会大幅扩大产量、全力推进，也有更多工程师参与，愿意投入更多资本解决这个问题。

Dwarkesh Patel

那么到 2030 年，中国会完全实现 DUV 国产化吗？

Dylan Patel

我觉得肯定会，DUV 会实现。

Dwarkesh Patel

那 EUV 呢？到 2030 年能完全国产化吗？

Dylan Patel

我认为届时会有能正常工作的设备，但还没法大量生产。让设备运行起来是一回事，真正投入量产则是另一回事。ASML 在 2010 年代初期就有一些能工作的 EUV 设备，但精度不足，无法用于高产量制造，也不够可靠。它们还得提升产量，这需要时间。

量产的艰难爬坡需要时间。所以 EUV 从实验室里能用，到进入晶圆厂大规模量产，又多花了五到七年。

Dwarkesh Patel

你觉得中国到 2030 年能制造多少台 DUV 设备？

Dylan Patel

你是说 ASML 吗？

Dwarkesh Patel

不是，中国。

Dylan Patel

这个问题问得很好。尤其是想了解中国的供应链，很有挑战。我们花了很大力气研究。有些情况下，中国会从日本供应商那里采购。如果要实现供应链完全国产化，就不能再从日本供应商购买镜片、投影光学系统或载台，而必须自己生产。

很难判断中国最终能达到什么水平。说实话，这基本上只能猜。但中国每年制造约 100 台 DUV 设备并非不可能；而 ASML 目前每年制造的是数百台。

还没有哪家公司能在单一制程节点上每月生产一百万片晶圆。Elon 说他想做到，中国显然也会努力实现。台积电正在尝试。内存厂商或许也会达到每月一百万片，但不会集中在单一晶圆厂。

这种规模令人难以置信，也很难想象供应链该如何动员到这种程度。我不想低估中国扩大产能的能力。

Dwarkesh Patel

我觉得这会是个有意思的问题。也许有一天 SemiAnalysis 会深入研究：到什么时候，中国国产芯片产量会超过西方其他国家的总和？如果再把你们模型对中国何时能够大规模制造 DUV 和 EUV 设备的预测纳入进去呢？

因为有个问题：如果 AI 的时间线比较长——这里说的‘长’是指 2035 年，其实从宏观角度看也不算特别远——我们是否应该预期届时中国会主导半导体产业？这个问题很少有人讨论，因为身在旧金山的人只关注几周内的事；而不在旧金山的人又完全不考虑 AGI。

如果我们真的实现了 AGI 呢？如果它是一个能带来数十万亿乃至数百万亿美元经济增长和 token 产出的变革，但要到 2035 年才实现呢？这对西方和中国分别意味着什么？SemiAnalysis 必须为此建立一套权威模型。

Dylan Patel

把时间线拉得这么长，确实很难预测。我们通常关注的是追踪每个数据中心、每家晶圆厂和所有设备，观察它们要建在哪里。但这些事情的滞后相对较短。我们只能根据买地、许可和涡轮机采购情况，对数据中心容量做相对准确的估算。我们知道这些项目的去向，这也是我们出售的数据。

预测到 2035 年时，情况会变得极其不同，误差范围会大到难以估算。但归根结底，如果 AI 起飞速度足够慢，或者时间线足够长，我不觉得中国有什么理由不能大幅追上。某种程度上，我们正处于一个阶段：三到六个月前，或者甚至现在，中国模型的竞争力都达到了历史最高水平。我觉得 Opus 4.6 和 GPT-5.4 确实拉开了差距，让优势变大了一点，但我相信中国还会推出新模型。

如今行业正从销售 token——模型展示完整推理过程——转向销售自动化白领工作。例如，自动化软件工程师，你提交需求，它返回结果，后台进行了大量推理，但不会展示给你。到了这个阶段，要把美国模型的能力蒸馏到中国模型上会更困难。

第二，看看各家实验室拥有的算力规模。OpenAI 去年年底的算力约为 2 吉瓦。Anthropic 今年会达到 2 吉瓦以上。到明年年底，两家公司的算力容量都会达到 10 吉瓦。中国 AI 实验室的算力扩张速度远远没有这么快。等到这些实验室的经验无法再蒸馏进中国模型，再加上 OpenAI、Anthropic、谷歌和 Meta 都在进行算力竞赛，模型性能差距就应该会越来越大。

再看看这些数据中心资本支出：亚马逊要花 2000 亿美元，谷歌要花 1800 亿美元。所有这些公司都在花数千亿美元。粗略估算，美国今年在数据中心的资本支出接近一万亿美元。你觉得这里的资本回报率怎么样？我们都会认为数据中心资本支出的回报率很高。

看看 Anthropic 的收入，一月份增加了 40 亿美元，二月份虽然更短，却增加了 60 亿美元。我们看看三、四月份表现如何，因为算力不足正在限制它的增长。Claude 的可靠性相当低，就是因为算力太紧张。如果这种增长持续下去，数据中心的投资回报率就会非常高。

今年和明年，美国经济会因为这些资本支出、模型创造的收入以及下游供应链而加速增长。中国目前还没有这些条件。它还没建设足够规模的基础设施，无法持续投资模型、提高模型能力，然后大规模部署这些模型。

看看 Anthropic，它的年度经常性收入约为 200 亿美元。根据 The Information 最近的报道，利润率不到 50%。所以它用于算力租赁的费用约为 130 亿或 140 亿美元。为了让 Anthropic 取得现在的收入，某些公司实际要投入约 500 亿美元资本支出。

中国还没做到这一点。如果 Anthropic 的收入再次增长十倍——我觉得我们应该讨论‘什么时候’，而不是‘会不会’——中国就没有足够算力大规模部署模型。因此我们某种程度上处于快速起飞阶段。这不是说某个时间点前就能建成戴森球，而是收入以极快速度复利增长，确实会影响经济增长。各家实验室积累的资源增长得太快，而中国还没做到这一点。在这种情况下，美国和西方实际上正在拉开差距。

另一种可能是，这些基础设施投资的回报平平，可能没有想象中那么好。也许谷歌把自由现金流降到零、明年花 3000 亿美元资本支出是错的；也许华尔街上的看空者和不懂 AI 的人是对的。如果是这样，美国建了这么多产能，却拿不到好的投资回报。与此同时，中国可能建立起一条完全垂直整合、国产化的供应链；而美国、日本、韩国、台湾、东南亚和欧洲则共同搭建了整合程度较低的供应链。如果 AI 达到某些能力的时间比这档节目大多数嘉宾相信的更晚，中国最终可能会在某个阶段实现比我们更大规模的扩张。

Dwarkesh Patel

时间线短，美国赢；时间线长，中国赢。

Dylan Patel

是这样，不过我不知道‘短’具体指什么。我觉得即使不相信 AGI，也完全可以认为美国会在相应的时间线里获胜。

76:01Dwarkesh Patel

我们再谈谈内存。我觉得华尔街和行业内的人已经意识到问题有多严重，但普通人可能还不清楚这件事的影响有多大。就像你刚才说的，我们正面临内存短缺。

刚才我问，能不能退回 7 纳米制程，来解决 EUV 设备短缺。现在我想对内存问个类似的问题。HBM 是用 DRAM 制成的，但每单位晶圆面积的比特数只有原料 DRAM 的四分之一到三分之一。

未来的加速器有没有可能不用 HBM，改用普通商品级 DRAM，这样就能从现有 DRAM 产能中获得更多容量？我觉得这可能实现，因为未来如果我们让智能体独立执行任务，而不是构建同步的聊天机器人应用，就未必需要极低延迟。

也许可以接受更低带宽，因为把 DRAM 堆叠成 HBM，本来就是为了提高带宽。有没有可能让加速器改用普通 DRAM，来个 Claude Code Fast 的反面，比如 Claude Slow？

Dylan Patel

归根结底，愿意为 token 支付最高价格的边际买家，也最不在意价格。在资本主义社会里，算力应该分配给价值最高的商品，而私营市场会根据支付意愿决定这一点。

某种程度上，Anthropic 确实可以推出慢速模式，比如 Claude Slow Mode，大幅提升每美元能买到的 token 数量。它们可能把 Opus 4.6 的价格降到原来的四分之一或五分之一，而速度只下降一半左右。单靠 HBM 已经能看出推理吞吐量与速度之间的曲线。可它们并没有这么做，因为实际上没人想用慢模型。

而且，对于智能体任务来说，模型能在数小时内完成任务当然很好；但如果模型运行更慢，几个小时就会变成一天。反过来，如果跑得更快，几小时的任务可能一小时就能完成。没人真的愿意等一天，因为价值最高的任务往往也有时间敏感性。

我不太确定……没错，确实可以用普通 DRAM。这里有几个难点。芯片的一个根本限制是尺寸固定，所有 I/O 接口都从芯片边缘引出。通常芯片的左、右两侧连接 HBM，也就是芯片与 HBM 之间的 I/O 在侧边；芯片的顶部和底部则用于与其他芯片连接。

如果把 HBM 换成 DDR，芯片边缘的 I/O 带宽就会大幅下降，但每片芯片的容量会大很多。可你真正关心的指标是每片晶圆能提供多少带宽，而不是每片晶圆能提供多少比特。

Dwarkesh Patel

因为限制 FLOPS 的问题，就是数据无法及时进出下一层矩阵运算；我们真正需要的是更高带宽。

Dylan Patel

没错，要能读取权重、读取和写入 KV cache。很多情况下，GPU 并没有用满全部内存容量。这归根结底是系统设计问题：模型、硬件和软件需要协同设计。你得决定需要多少 KV cache，有多少留在芯片上，有多少卸载到其他芯片，需要调用工具时再取回来，以及要把模型并行分布在多少张芯片上。

显然，设计空间非常广泛。这就是为什么我们有开源模型 InferenceX，可以为不同芯片和模型搜索推理时的各种最佳配置。

重点是，系统不一定总是受内存容量限制。它可能受 FLOPS、网络带宽、内存带宽或内存容量限制。简化来说有四类限制，每一类还能再细分。

如果改用 DDR，没错，每片 DRAM 晶圆能生产的比特数会变成四倍，但约束条件会突然发生很大变化，系统设计也得跟着改变。速度会更慢。市场会因此变小吗？也许。但还有一点：所有这些 FLOPS 都会被浪费，因为它们只能干等内存数据。你也不需要那么大的容量，因为你没法明显提高批处理规模，否则读取 KV cache 的时间会更长。

Dwarkesh Patel

有道理。HBM 和普通 DRAM 的带宽差多少？

Dylan Patel

以 HBM4 堆栈为例，我们聊 Rubin 上使用的产品，因为最近一直在分析它。它有 2048 位宽，连接在约 13 毫米的边缘长度内，每秒传输速度约为 100 亿次。

一组 HBM4 堆栈的位宽是 2048 位，占用芯片上约 11 到 13 毫米的边缘长度，也就是连接的‘岸线’。在这段边缘长度上，有 2048 位以每秒约 100 亿次传输。相乘后再除以 8，把 bit 换算成 byte，每组 HBM 的带宽约为每秒 2.5 TB。

同样长度的芯片边缘上，DDR 的位宽可能只有 64 或 128 位。DDR5 的传输速度约为每秒 64 亿次，最高可能达到每秒 80 亿次。因此带宽会低得多。按 64 位乘以每秒 80 亿次，再除以 8，带宽是每秒 64 GB。即便按更乐观的 128 位、每秒 80 亿次来算，也只有每秒 128 GB。相同的芯片边缘长度，HBM 却能达到每秒 2.5 TB。

按单位芯片边缘面积计算，带宽相差一个数量级。如果芯片是正方形，或者尺寸为 26×33 毫米——这是单个裸片的最大尺寸——可用的边缘长度有限，芯片内部还要放下所有计算单元。你可以增加 SRAM 或缓存来改变情况，但归根结底，带宽会严重限制你。

Dwarkesh Patel

接下来还有个问题：要释放多少需求，才能腾出足够的内存供 AI 使用？情况看起来特别糟糕，因为正如你说的，要达到同样的字节容量，HBM 所需晶圆面积是普通 DRAM 的四倍。这意味着得削减四倍的笔记本电脑和手机消费需求，才能多腾出一个字节给 AI。

这对未来一两年意味着什么？抱歉问题有点长。你在 newsletter 里说，2026 年大型科技公司的资本支出中有 30% 会花在内存上？

Dylan Patel

是的。

Dwarkesh Patel

这太离谱了，对吧？它们 6000 亿美元左右的支出中，有 30% 只用于内存。

Dylan Patel

是的。当然，Nvidia 会层层加价，所以得把这部分拆开，分别考虑它们在内存和逻辑芯片上的利润。但归根结底，它们三分之一的资本支出会流向内存。

Dwarkesh Patel

太疯狂了。未来一两年，内存短缺加剧时，我们该期待什么？

Dylan Patel

内存短缺会越来越严重，价格还会继续上涨。这对市场各部分的影响并不一样。人们会不会越来越讨厌 AI？会，因为手机和 PC 每年都不会变得更好，反而会越来越差。

Dwarkesh Patel

看看 iPhone 的物料清单，内存占多少成本？如果内存价格翻倍，iPhone 会贵多少？

Dylan Patel

我记得 iPhone 有 12 GB 内存。过去每 GB 大约 3 到 4 美元，总计约 50 美元。但现在内存价格涨了三倍。假设 DDR 每 GB 价格是 12 美元，那成本就从 50 美元变成了 150 美元。

这会让苹果的成本增加 100 美元。苹果有一定利润空间，但不可能完全自己承担成本。NAND 闪存也面临同样的市场动态，所以实际上，一部 iPhone 的成本可能增加 150 美元。也就是说，光 DRAM 成本就增加 100 美元，NAND 也一样。苹果要么把成本转嫁给消费者，要么自己承担。我不觉得苹果会大幅压缩利润，也许会承担一点，但最终消费者可能得为一部 iPhone 多付 250 美元。

这只是对比去年的价格和现在的价格。苹果还会有一段滞后才感受到压力，因为它一般会签三个月到一年的内存长期合同。但归根结底，苹果会受到很大影响。它要到下一代 iPhone 发布时才会真正调整。

不过苹果只占高端市场，这个市场每年只有几亿部手机。苹果每年卖两三亿部。市场主体是中低端手机。过去全球每年卖 14 亿部智能手机，现在约为 11 亿部。我们的预测是，今年可能降到 8 亿部，明年再降至 5 亿到 6 亿部。

我们从亚洲分析师那里收集了中国的数据点，包括新加坡、香港和台湾的分析师。他们一直在追踪这些情况，发现小米和 OPPO 正把中低端智能手机的产量砍掉一半。

没错，对于售价 1000 美元、利润空间较大的 iPhone，物料成本只增加 150 美元。但对便宜手机来说，内存和存储占物料成本的比例要高得多，而且利润率更低，几乎没有空间吸收成本。它们通常也不会签内存长期合同。

这件事的关键在于，如果智能手机销量腰斩，降幅会主要出现在低端和中端，而不是高端。被释放的比特数并不会因此减少一半。目前消费设备占内存需求的一半以上。即便智能手机销量减半，由于需求减少主要发生在低端，低端销量跌幅会超过一半，而高端跌幅小于一半，因为你我还是会买售价超过 1000 美元的高端手机，即便它们更贵一点。苹果的销量也不会像低端手机厂商那样大幅下滑。

PC 也一样。这对市场的影响非常大。DRAM 会被释放出来，转而供应 AI 芯片，因为 AI 芯片愿意签更长期的合同，支付更高的利润率；归根结底，它们能从最终用户那里赚到更多利润。

这可能会让人们更讨厌 AI。现在你已经能在 PC 相关的 Reddit 社区和游戏 PC 的 Twitter 上看到各种梗图：猫咪跳舞的视频配着文字说：‘内存价格翻倍，新款游戏 GPU 和台式机买不到，全都是 AI 害的。’等内存，尤其 DRAM 价格再翻一倍，情况会更糟。

还有一个有意思的动态：涨价的不只是 DRAM，还有 NAND。NAND 价格也在上涨。过去几年，这两个市场的产能扩张都很慢，NAND 几乎没有扩产。手机和 PC 消耗的 NAND 比例，高于它们消耗的 DRAM 比例。

当消费需求减少时，尤其是 DRAM 方面，就会释放更多 NAND 产能，可以分配给其他市场。DRAM 涨价会比 NAND 更明显，因为消费市场释放出了更多需求，实际上也就能为 AI 腾出更多内存。

Dwarkesh Patel

抱歉，你也许刚才解释过了，我没听明白。是不是因为数据中心会大量使用固态硬盘？

Dylan Patel

会用，但用量没有 DRAM 那么大。

Dwarkesh Patel

好，所以 SSD 也会涨价，因为数据中心也会消耗一部分，但不像 HBM 那么需要大量供应。明白了。

我读了你的一些 newsletter 后才意识到，未来几年阻碍逻辑芯片制程扩张的限制，与阻碍我们增加内存晶圆产量的限制非常相似。事实上，内存也需要同一台 EUV 光刻机。所以现在大家可能会问：我们为什么不能直接多生产一些内存？

Dylan Patel

正如我之前说的，今年或明年的限制不一定是 EUV 设备。到了十年后期才会变成关键限制。目前更大的限制是晶圆厂还没建出来。过去三到四年，这些供应商没有建新晶圆厂，因为当时内存价格很低、利润率也很低。事实上，2023 年它们还在内存业务上亏钱。所以它们决定不建新晶圆厂。市场后来慢慢复苏，但直到去年才真正好转。

2024 年，我们一直反复强调，推理能力意味着上下文变长，意味着 KV cache 变大，也意味着需要更多内存。我们谈了差不多一年半到两年。了解 AI 的人那时候就大量买入了内存相关资产。现在这种供需动态终于体现在价格上了。

显而易见的事——上下文变长、KV cache 变大、内存需求增加——过了很久才发生。加速器成本有一半是内存，它们当然会大举投入。可花了一年时间，这种情况才反映到内存价格上。等价格反映出来后，内存供应商又花了三到六个月才开始建厂，而晶圆厂要建两年。因此，要等到 2027 年末或 2028 年，才会有真正能安装这些设备的大型晶圆厂。

相反，我们看到一些非常夸张的办法来增加产能。美光从台湾一家生产落后制程芯片的公司手里买下一家晶圆厂。海力士和三星也在现有晶圆厂里尝试各种激进的扩产做法，而这些做法会对整个经济产生很大的连锁影响。

那为什么不能建设更多产能？因为没有地方安装设备。不只是 EUV，DRAM 和逻辑芯片制造也需要其他设备。以 N3 逻辑制程为例，EUV 约占最终晶圆成本的 28%。DRAM 的比例只有十几个百分点，虽然正在上升，但占比小得多。这些其他设备也会成为瓶颈，只是它们的供应链不像 ASML 那么复杂。

Applied Materials、Lam Research 等公司也在大幅扩产。但设备没地方可装，因为晶圆厂是人类建造的最复杂建筑，建设周期需要两年。

Dwarkesh Patel

我最近采访了 Elon，他的整个计划是建一座 TeraFab，再建洁净室。‘脏室’那些事我就不问了，不过假设他们确实能建好洁净室。

我有几个问题。第一，你觉得 Elon 的公司能不能比一般人更快建这种设施？这不是在问能否制造最终的设备，而是单纯建造厂房。快速建好洁净室有多复杂？如果今年或明年的瓶颈是洁净室，Elon 的‘快速行动’方式能不能显著加快建设？第二，即使现在能解决，两年后你的判断是我们卡的不是洁净室空间，而是制造设备，那这还有意义吗？

Dylan Patel

和任何复杂供应链一样，这需要时间，而且限制因素会不断变化。即使某项东西不再是瓶颈，也不代表那个市场没有利润空间。比如几年后能源不再是主要瓶颈，但能源需求还是会快速增长，市场上也依然有利润，只是它不再是关键瓶颈。在晶圆厂领域，洁净室是今年和明年最大的瓶颈。到了 2028、2029、2030 年，仍然会有各种限制。

Elon 很擅长调动实体资源和聪明人才来建设项目。他招募优秀人才的方法，就是努力去做最疯狂的事情。在 AI 领域，这种方式不太奏效，因为所有人都在尝试建造 AGI，大家都很有雄心。但在去火星、制造会自行着陆的火箭、全自动电动汽车或人形机器人方面，这是一种招募方式：吸引那些认为它们是世界上最重要问题的人来解决这些问题，因为只有他在全力以赴地尝试。

至于半导体，他说想建一座每月生产 100 万片晶圆的工厂，世界上没有这样的晶圆厂。他也许能招募很多优秀的人才，让他们投入这个疯狂的目标。第一步是建洁净室，我觉得他很可能做得到。他那种‘删掉这些要求、不用太干净也行’的想法，大概是错的。我认为是绝对错的。晶圆厂必须非常干净，厂房里的空气每三秒钟就要全部换一次，速度就是这么快。必须把微粒数量降到极少。

不过我觉得他能建好洁净室，需要一两年。刚开始速度不会很快，但之后会越来越快。真正复杂的是开发制程技术并生产晶圆。我不认为他能很快开发出来，因为这需要长期积累的知识。台积电、英特尔和三星具备最复杂的整合能力，能把非常昂贵的设备和供应链组合起来。就连另外两家公司做这件事也不算特别出色，而且它们面临的挑战已经极其复杂。

Dwarkesh Patel

如果到 2030 年出现彻底的技术突破，我们不再用 EUV，你会有多惊讶？假如我们用一种效果更好、制造起来简单得多、能大量生产的技术呢？我知道你是业内人士，这听起来可能很天真，但你明白我在问什么吧？你觉得出现一种完全出乎意料、让目前所有讨论都失去意义的技术，有多大概率？

Dylan Patel

我认为出现一种非常简单、容易扩大的技术的概率极低。有一些公司在研究粒子加速器或同步加速器，产生 13.5 纳米的 EUV 光，或波长更短的光，比如 7 纳米 X 射线，然后用于光刻设备。但那些设备本质上是大型粒子加速器，要靠它们产生这种光，制造起来非常复杂。

有几家公司在做这件事，我认为这可能会给 EUV 之后的行业带来重大变化。但我不觉得我们会突然发明出一种直接写入、极其简单、又能大规模制造的新技术，虽然确实有人在尝试类似方法。

Dwarkesh Patel

我这么问，是因为回想 Elon 以前的公司，火箭制造曾被认为——现在也仍然被认为——极其复杂。

Dylan Patel

瞧，和 Elon 相比，我只是个天真、爱说大话的人。我自己做成过什么？所以也许这确实有可能。

Dwarkesh Patel

未来要增加内存产量，我们能不能像制造 3D NAND 那样制造 3D DRAM，然后改回 DUV？

Dylan Patel

目前大家确实寄希望于此。所有 3D DRAM 路线图仍然使用 EUV，因为需要更精准的层间套刻。后续工序会把结构垂直堆叠起来，一层层往上叠，因此线距要更小。总体来说，大家仍在尝试用 EUV 来做。

但采用 3D 后，单次 EUV 曝光能制造多少比特的计算方式会发生变化。如果改用 3D DRAM，这个数字会大幅提高，这就是大家的希望。目前所有路线图都计划从现有的 6F 单元，转向 4F 单元，最终在本世纪末或下世纪初实现 3D DRAM。还有大量研发、制造和整合工作要做。不过这并非不可能，我觉得很有可能实现。

这还需要大规模改造晶圆厂，厂里的设备组成也会大不相同。光刻设备反倒是变化不大的唯一环节。至于化学气相沉积、原子层沉积、干法蚀刻，以及使用不同化学物质的各种蚀刻腔室，设备的类型和数量都会变化。每种制程节点都需要不同的设备。你不能在短时间内把逻辑芯片厂改成 DRAM 厂，反过来也不行，更不能把 NAND 厂改成 DRAM 厂。

同样，现有 DRAM 晶圆厂从 1α 到 1β 再到 1γ 制程，也需要大量改造。它们必须增加 DUV 设备，并且调整 EUV 工序中沉积和蚀刻所需的化学材料堆栈；还必须有 EUV 设备。今后转向 3D DRAM 时，变化会更大，晶圆厂就得再次大幅改造。

这会带来重大变化，也会降低对 EUV 的总体需求。但长期来看，光刻成本占晶圆成本的比例一直在上升。2014 年前后，这一比例约为 17%，过去 15 年里升到 30%。DRAM 曾经是十几个百分点，现在也快升到 20%。在采用 3D DRAM 之前，它可能还会超过 20%；但一旦转向 3D DRAM，EUV 成本占最终晶圆成本的比例又会大幅下降。

Dwarkesh Patel

我猜你真正关心的不是成本占比，而是它会在多大程度上限制产量。

Dylan Patel

没错，但成本占比——

Dwarkesh Patel

它只是个替代指标，是的。如果你是 Jensen 或 Sam Altman，或者任何能从扩大 AI 算力中大幅获益的人，确实有说法称他们会去找台积电问：‘为什么我们不能多拿 Y 和 Z？’但我觉得你的观点是，某种程度上台积电怎么做都不重要。即使英特尔和三星建更多代工厂，从长远看，瓶颈还是会落在 ASML 以及其他设备和材料供应商那里。

第一，我理解得对吗？第二，硅谷的人现在是不是应该去荷兰劝说 ASML 多生产一些设备，以便 2030 年我们能有更多 AI 算力？

Dylan Patel

这里有个很有意思的动态。2023、2024 和 2025 年，那些比别人更早发现电力瓶颈的人，找到了 Siemens、Mitsubishi，当然还有 GE Vernova，把涡轮机产能买了下来。现在因为能源短缺，他们在部署这些涡轮机时就能收取高价。

对 EUV 也可以做类似的事，但 ASML 不会随便相信一个想买 EUV 设备的陌生人。这些涡轮机比 EUV 便宜得多，产量也大得多。尤其是工业燃气涡轮机，不只是联合循环涡轮机，还包括更便宜、更小、效率较低的机型，人们可以先付定金预订。

有人可以这么做。有人应该去荷兰告诉 ASML：‘我给你 10 亿美元，给我两年后购买十台 EUV 设备的权利，让我排第一。’接下来的两年里，你等大家意识到：‘糟糕，我们没有足够的 EUV 设备。’然后再把购买期权以高价卖出去。你实际上是在说：‘ASML，你太傻了，你们给设备定价时没收够利润，我来赚这笔钱。’问题是 ASML 会不会同意，我觉得不会。

Dwarkesh Patel

也有一种可能是，他们至少能从中看到需求信号，进而扩大产量。

Dylan Patel

有可能，我同意。

Dwarkesh Patel

但你的意思听起来是说，考虑到供应链限制，即使它们想扩大产量也做不到。

Dylan Patel

没错。但这恰恰是套利机会所在。如果它们不能快速提高产量，就像台积电也无法快速扩产一样，而需求却在猛增，显而易见的做法就是从中套利。你我都知道，需求远高于它们的预测，也超出它们的生产能力。

你可以先锁定产能，签远期合同，等其他人意识到‘事情不妙，我们根本没有足够产能’之后，再把产能卖给他们。这样你就能获取 ASML 和台积电本来应该收取的惊人利润。但问题是，我不知道 ASML 和台积电会不会同意这种做法。

102:34Dwarkesh Patel

现在我想问问电力。听起来你觉得电力供应可以不受限制地扩大。

Dylan Patel

不是毫无限制，但可以大幅扩大。

Dwarkesh Patel

撇开这些数字不谈。如果我没记错，你那篇介绍 AI 实验室如何增加电力供应的文章暗示，GE Vernova、三菱和西门子一年能生产 60 吉瓦燃气涡轮机。另外还有其他来源，但规模都不如涡轮机。

我想只有一部分涡轮机用于 AI。如果到 2030 年我们拥有足够的逻辑芯片和内存，每年能支撑 200 吉瓦算力，你是觉得这些供应商正准备把产量提高到每年 200 吉瓦以上吗？还是你怎么看？

Dylan Patel

目前大约是 20 或 30 吉瓦。顺便说一下，这指的是关键 IT 容量，这一点很重要。我说这些吉瓦时，指服务器接入电源后实际消耗的关键 IT 容量。但电力传输、转换、冷却等环节都有损耗。因此，今年的 20 吉瓦，或本世纪末的 200 吉瓦，都要上调 20% 到 30%，才能计入这些损耗。

还要考虑容量因子。涡轮机不会全天候满载运行。以我认为美国最大电网 PJM 为例，它覆盖中西部和东北部部分地区。其模型需要约 20% 的备用容量。在这 20% 备用容量里，涡轮机实际以 90% 功率运行，因为要考虑可靠性、维护等因素而降额。由于这些因素，能源设备的铭牌总容量总是远高于最终能用于 IT 的关键容量。

但电力来源不只是涡轮机。只靠涡轮机发电很简单、无聊、容易。人类和资本主义的办法效率高得多。那篇文章的重点是：没错，联合循环燃气涡轮机只有三家供应商，但我们还可以做很多事。我们可以用航空衍生型涡轮机，把飞机引擎改成涡轮机。市场上还有新进入者，比如 Boom Supersonic 正在尝试这么做，还与 Crusoe 合作；另外还有很多现成供应商。

我们还有中速往复式发动机，也就是像柴油机那样旋转工作的发动机。有十家公司生产这种发动机。我来自佐治亚州，人们以前看见 RAM 卡车就会说：‘哇，里面是康明斯发动机。’汽车生产正在下滑，因此这些公司都有产能，可以扩产并转为数据中心供电。把这些往复式发动机装起来就能用。它们不如联合循环机组清洁，但你也许能把它们从柴油改成天然气。

大型货船的船用发动机呢？这些发动机很不错。Nebius 正在新泽西为微软数据中心部署这类发动机来发电。Bloom Energy 则在做燃料电池。过去一年半我们一直很看好它们，因为它们大幅扩产的能力很强。即使成本略高于联合循环机组这种成本和效率最佳的方案，它们扩产后的回本周期也很短。

还有太阳能加电池储能，随着成本曲线继续下降，这类方案可以迅速部署。还有风电，风力波动较大，最多只能按 15% 的最大功率来估算，但可以搭配电池储能。还有很多这样的办法。

此外，电网的建设目标是确保夏季最热的日子里，即使处于用电高峰，也不会断电。但实际上，高峰负载只比平均值高 10% 到 20%。如果只要部署足够多的公用事业级电池，或仅在一年中少数时段运行的调峰电厂——可以使用燃气、工业燃气涡轮机、联合循环机组、电池或我提到的其他来源——那么突然之间，就能为数据中心释放美国电网 20% 的容量。大部分时间，这些容量都闲置着。它们主要是为了应付一年中少数几天、每天几小时的高峰。如果有足够的容量吸收高峰负载，就等于把全部电力都利用了起来。

如今，数据中心只占美国电网用电量的 3% 到 4%，到 2028 年会达到 10%。但如果能像这样释放美国电网 20% 的容量，这个目标就没那么夸张。美国电网的规模是太瓦级，而不是几百吉瓦，所以还有很大的增量空间。

我不是说这很容易，这些事都会很难。我们需要艰难的工程工作、有人承担风险，还要采用新技术。但 Elon 是第一个采用用户侧燃气发电的人。之后我们看到各种获取电力的做法迅速增加。它们都不简单，但人们可以做得到。电力供应链比芯片供应链简单得多。

Dwarkesh Patel

有意思。他在采访中提到，他关注的某款涡轮机叶片，交付时间已经排到 2030 年以后。你的意思是——

Dylan Patel

这挺好的啊。获取能源的方式多得很，低效一点也没关系。

Dwarkesh Patel

现在联合循环燃气涡轮机的资本支出是每千瓦 1500 美元。你的意思是，采用成本高得多的技术仍然划算，或者其他技术会变得足够便宜，从而具有竞争力？

Dylan Patel

没错，成本可能高达每千瓦 3500 美元，甚至是联合循环机组的两倍。但折算到 GPU 的总拥有成本上，每小时也只增加几美分。

我们前面一直在讨论 Hopper 的价格，比如一台每小时 1.40 美元。假设电力价格翻倍，这台 Hopper 的成本现在变成 1.50 美元。没关系，因为模型进步得太快，这 10 美分电费带来的边际效用远远抵不上模型的价值。

Dwarkesh Patel

所以你的意思是，电池可以让电网——规模约一太瓦——额外释放 20% 的容量，我们可以更放心地增加接入电网的负载。

Dylan Patel

不过，相关监管机制并不简单。

Dwarkesh Patel

但如果真的能做到，光这一项就有 200 吉瓦。你提到的各种燃气发电来源——不同类型的发动机和涡轮机——到本世纪末合计能释放多少吉瓦？

Dylan Patel

我们在数据库里追踪这些情况。单是燃气发电设备就有 16 家以上的制造商。没错，联合循环涡轮机只有三家制造商，但我们追踪了 16 家不同供应商，也掌握了它们所有的订单。结果发现，数据中心的相关订单有数百吉瓦。

到本世纪末，我们认为新增容量中大约一半会采用用户侧供电。用户侧供电几乎总是比接入电网贵，但接入电网会遇到很多问题，比如许可、并网排队等等。因此，即使用户侧更贵，人们还是会这么做。

用户侧供电采用的方案五花八门：往复式发动机、船用发动机、航空衍生型发动机；也可能是联合循环机组，虽然它不太适合用户侧方案；还可能是 Bloom Energy 燃料电池，或太阳能加电池储能。以上各种方案都有可能。

Dwarkesh Patel

你是说每一种方案单独就能提供数十吉瓦？

Dylan Patel

没错，每一种方案都能提供数十吉瓦，合起来则是数百吉瓦。

Dwarkesh Patel

好。那么光这一项就足以……

Dylan Patel

电工工资很可能会再翻一倍或三倍。会有很多新人加入这个行业，也有很多人能赚到钱，但我不觉得这是主要瓶颈。

Dwarkesh Patel

现在在阿比林，Crusoe 正在为 OpenAI 建设一座 1.2 吉瓦的数据中心。我记得那里有 5000 人在施工，高峰期可能确实有 5000 人。如果把这个规模扩大到 100 吉瓦——当然，我相信随着时间推移效率会提高——那就需要 40 万人来建设 100 吉瓦。

想想美国的劳动力规模，以及电工和建筑工人有多少……我猜美国有 80 万名电工，但不知道他们能不能互相替代。建筑工人有几百万。如果我们每年新增 200 吉瓦，会不会最终遇到劳动力瓶颈？还是说你觉得这并不是真正的限制？

Dylan Patel

劳动力是个重大瓶颈，而且非常严重。工人需要培训。我们可能也会开始引进技能最高的劳工。比如，一位在欧洲从事拆除电厂工作的高技能电工来到美国，为数据中心建设高压输电系统，这完全合理。

人形机器人，或者至少其他机器人，可能会开始提供帮助。但减少工人数量的主要办法，是把设备模块化并在亚洲工厂生产。遗憾的是，对于美国来说，韩国、东南亚，很多情况下还有中国，会把越来越多已经组装好的数据中心组件运过来。现在的做法是把服务器或机架运过来，再接上从各地运来的不同部件。

接下来可能会直接送到工厂，把整个系统集成好。比如一个 2 兆瓦的模块，把高压交流电转换成提供给机架的直流电。冷却系统也可以是完整集成的设备，已经装好很多冷却子系统，因为水管工也是个瓶颈。

而且，不再只是由工人在现场给一排排机架逐一接线，而是把一整排服务器放在滑橇式底座上，直接从工厂运过来。现在单个机架的功率可能是 120 或 140 千瓦，但用到下一代 Nvidia Kyber 等技术后，功率几乎会达到一兆瓦。

此外，如果直接交付整排设备，机架、网络、冷却和电力系统都能集成在一起。这样到现场后，需要连接的线缆就少得多，网络光纤更少，电源接口更少，水管也更少。这会大幅减少数据中心所需的工人数量，因而能够建设更多数据中心。

在这个过程中，有些公司会更快采用新方案，有些则会更慢。Crusoe 和谷歌一直在讨论模块化，Meta 等许多公司也一样。行动快的公司可能会遇到延误，行动慢的公司则会遇到劳动力问题。由于供应链非常复杂，市场总会出现各种错位。但归根结底，这个问题还不至于复杂到无法用资本主义和人类智慧，在所需时间范围内解决。

114:44Dwarkesh Patel

说到需要解决的大问题，Elon Musk 非常看好太空 GPU。如果你说得对，地球上的电力不成问题……他们另一个理由可能是，即使地球上能建成足够的燃气涡轮机之类的设施，Elon 也会说地球上拿不到建造数百吉瓦设施所需的许可。你认同这个论点吗？

Dylan Patel

说到土地，美国幅员辽阔。数据中心实际占地并不大，所以土地问题可以解决。空气污染许可是个挑战，但特朗普政府让流程容易了很多。去德州的话，很多繁文缛节都可以省掉。

Elon 在孟菲斯遇到了很多复杂问题，后来又在边境另一侧为 Colossus 1 和 2 建电厂。但归根结底，在德州腹地能做的事情要多得多。

Dwarkesh Patel

Elon 住在德州，他为什么不直接去德州？

Dylan Patel

我觉得部分原因是，他们当时过度押注了电网供电。那段时间他们就是觉得自己特别需要电网供电。

Dwarkesh Patel

因为那里有一座铝冶炼厂接入了电网。

Dylan Patel

实际上那是一座闲置的家电工厂。但我觉得他们可能更看重电网供电、用水和天然气接入。他们买下那里时就知道旁边有天然气管道，准备接入使用。供水也一样。有很多不同的约束因素，也可能是当地比较容易找到电工。

说到底，我不完全清楚他们为什么选择那里。我敢说，如果 Elon 可以重新选址，考虑到他遇到的监管挑战，他会选德州。归根结底，许可确实是挑战，但美国有 50 个州，地方很大，事情总能做成。

很多小地方辖区可以临时招来所需工人，根据承包商安排，工作三到十二个月。可以给他们安排临时住所，也可以付很高的工资，因为相对于 GPU、网络设备和最终生成的 token 价值来说，劳动力并不贵。因此，承担这些成本的空间很大。

此外，现在各地也开始分散布局。澳大利亚、马来西亚、印度尼西亚和印度的数据中心建设都在迅速加快。但目前超过 70% 的 AI 数据中心仍在美国，这个趋势还在继续。大家正在摸索如何建这些设施。归根结底，在德州腹地、怀俄明州或新墨西哥州处理许可和各种手续，可能比把设备送上太空容易得多。

Dwarkesh Patel

除了从经济角度看，能源只是数据中心总拥有成本的一小部分，因此太空方案不那么合理之外，还有什么理由让你持怀疑态度？

Dylan Patel

显然，太空中的电力基本免费。

Dwarkesh Patel

这就是上太空的理由。

Dylan Patel

没错，这就是理由。但也有其他反对意见。即使地球上的电费翻倍，与 GPU 成本相比仍然只占很小一部分。

主要挑战是……我们有 ClusterMAX，会给所有新兴云服务商排名。我们会测试 40 多家云服务公司，包括超大规模云厂商和新兴云服务商。除软件之外，最能区分这些云服务商的，是它们部署设备、处理故障的能力。

GPU 极不可靠。即便现在，部署出去的 Blackwell 设备也有约 15% 需要退回维修。你得把它们拆下来。有时只需要重新插上，有时则必须拆下并寄回 Nvidia，或寄回负责退换维修的合作伙伴。

Dwarkesh Patel

你怎么看 Elon 的说法？他说初期阶段过后，这些设备其实不会经常故障。

Dylan Patel

好吧，但你已经完成测试、拆解、装上飞船、发射到太空，又重新上线了。这些过程要花几个月。如果你说 GPU 的使用寿命是五年，而这一套流程又花六个月，那就占掉了集群 10% 的有效使用期。

由于算力供应如此紧张，理论上说，GPU 在刚到手后的头六个月最有价值。我们现在比未来更加缺算力。这些算力可以用于打造更好的未来模型，也可以在今天创造收入，帮助你筹集更多资金。所有这些都让现在成为最关键的时刻，但你可能会把算力部署延迟六个月。

真正拉开云服务商差距的是……我们看到有些云服务商在地球上部署 GPU 都要六个月，另一些快得多。那么太空部署会怎样？我不明白为什么先在地球上完成测试，再拆解、送上太空，所花的时间会比直接把设备留在测试它的设施里更短。

Dwarkesh Patel

我想问的是太空通信的拓扑结构。现在 Starlink 卫星之间的通信速率是每秒 100 吉比特。如果采用专门优化的星间光学激光链路，速率可以更高。这样一来，通信带宽就接近 InfiniBand，每秒 400 GB。

Dylan Patel

但这是单张 GPU 的带宽，不是整个机架的，所以还要乘以 72。而且刚才说的是 Hopper。换成 Blackwell 和 Rubin 后，带宽还会再翻倍、再翻倍。

Dwarkesh Patel

但每个……推理过程中，算力到底是怎样工作的？不同的扩展域还会协同工作，还是说推理只会在单个扩展域内批量运行？

Dylan Patel

很多模型可以放在单个扩展域内运行，但很多时候也会把模型拆分到多个扩展域。

模型总体上正变得越来越稀疏。对于每张 GPU，你通常只需要调用少数几个专家。如果如今最好的模型有数百甚至一千个专家，那么你就得把它分布到数百或数千张芯片上运行，未来也会如此。

这样一来，还得解决如何把所有这些卫星连接起来进行通信的问题。

Dwarkesh Patel

那会很困难。如果能把一个批次的推理全部放在单个扩展域内完成，也许就更可行。但如果不行，情况就完全不同了。

Dylan Patel

把这些芯片连接起来本身就是个问题，而且卫星也不可能无限大。把卫星做得很大，物理上有很多挑战。这就是为什么卫星之间需要互连。

这些互连更贵。集群中有 15% 到 20% 的成本是网络。突然之间，你得使用太空激光，而不是通过可插拔收发器、以数百万件产量生产的普通激光链路。

而且这些设备也很不可靠，甚至比 GPU 还不可靠。整个集群的生命周期里，你得不停地拔掉它们进行清理，也会因为各种莫名其妙的原因拔下来再重新插上。这些设备可靠性就是差。因此，你还要应对这个问题：通信得用更昂贵、更复杂的太空激光，而不是大批量生产的可插拔光收发器。

Dwarkesh Patel

综上所述，太空数据中心意味着什么？

Dylan Patel

太空数据中心的主要限制并不是能源优势。真正的限制是大家都在争抢的同一种资源。到本世纪末，我们每年最多只能生产 200 吉瓦的芯片。我们要怎样获得这些产能？芯片是在陆地上还是太空里，并不重要。电力本身可以建出来。人类可能会达到这样的能力：全球每年新增一太瓦、由各种电源类型提供的电力。

最终我们会跨过门槛，让太空数据中心变得有意义，但不是本世纪末之前。还要更久，等到能源真正成为重大瓶颈、土地许可成为更大问题，并且逐渐影响到更多经济活动之后才有可能。最重要的是，得等芯片不再是瓶颈。

现在芯片是最大的瓶颈。芯片制造出来后，应该立刻部署，让它们运行 AI。人们正在采用各种方法让部署速度越来越快：数据中心模块化，甚至把机架也模块化；芯片装进数据中心时，其他设备已经接好线、随时可以运行。这些都是为了缩短时间，而太空里做不到。

在芯片短缺的世界里，最重要的就是让这些芯片尽快开始生成 token。也许到了 2035 年，半导体产业、ASML、蔡司以及 Lam Research、Applied Materials 等供应商会追上需求。一旦产能充足、供需关系转向，我们就可以优化其他指标，那时优化占 10% 到 15% 的能源成本才有意义。未来如果转向 ASIC，而且 Nvidia 的利润率不再超过 70%，也许电费会占到集群成本的 30%。这些才是值得优化的方面。

但 Elon 从来不是靠 20% 的改进赢的。他从来不这么赢。Elon 靠的是全力以赴、实现十倍增长。SpaceX 是这么做的，Tesla 也是。他所有成功都来自这种方式，而不是只追求 20% 的提升。我认为最终太空数据中心会带来十倍的收益，因为地球上的资源会越来越紧张，但不是这个十年。

Dwarkesh Patel

为了让大家直观感受一下地球上有多少土地……当然，如果数据中心里机架功率达到兆瓦级，芯片尤其是——

Dylan Patel

还有一点。如果制造产能才是瓶颈，现在 AI 芯片的功耗密度大约是每平方毫米 1 瓦。一个简单的改进办法，是把功耗提升到每平方毫米 2 瓦。性能可能不会翻倍，只增加 20%，但这需要非常特殊的冷却方案，比如更复杂的冷板和液冷系统，甚至浸没式冷却。

在太空中提高每平方毫米的功率很难，而在地球上这些问题早已解决。上述任何一种方案都能让每片晶圆生产出更多 token，可能多 20%；按晶圆计算，这会带来巨大的收益。

Dwarkesh Patel

你说的是芯片裸片面积的每平方毫米？

Dylan Patel

对，芯片裸片面积。

Dwarkesh Patel

这对太空应用反而更有利，因为每毫米的瓦数越高，芯片温度就越高。我想这是个芯片工程问题，但按照斯特藩-玻尔兹曼定律，散热能力与温度的四次方有关。如果能让芯片在高温下运行，就能实现很多……

Dylan Patel

不行，你不能提高运行温度，只能提高功率密度。问题在于，密集区域的散热必须从普通的风冷和液冷，转向更特殊的液冷方式，甚至浸没式冷却，才能实现更高功率密度。在太空中做到这一点比地球上困难得多。

Dwarkesh Patel

也许现在应该解释一下，扩展域到底是什么，以及 Nvidia、Trainium 和 TPU 的扩展域有什么区别。

Dylan Patel

我前面说过，芯片内部通信速度极快。同一机架内的芯片通信也快，但没那么快，带宽是每秒 TB 级。远距离通信的带宽是每秒数百 GB。距离更远，比如跨州通信，带宽就会降到每秒 GB 级。

扩展域是一个紧密连接的区域，芯片之间的通信速度是每秒 TB 级。对于 Nvidia，过去一台 H100 服务器上有 8 张 GPU，8 张 GPU 之间的通信速度可以达到每秒 TB 级。到了 Blackwell NVL72，Nvidia 实现了机架级扩展。这意味着机架里的 72 张 GPU 都可以通过每秒 TB 级的速度彼此通信。每代速度会翻倍，但最重要的创新是扩展域从 8 张 GPU 增加到了 72 张。

谷歌的扩展域完全不同，一直是数千张芯片的规模。TPU v4 有 4000 张芯片的 pod，v8 或 v7 则有 8000 到 9000 张芯片的 pod。重点在于，这和 Nvidia 的系统不同，不能直接一一对比。

谷歌采用环面拓扑，每张芯片连接六个邻居。Nvidia 的 72 张 GPU 则是全互连的，可以向该扩展域 pod 中任意一张芯片发送每秒 TB 级数据。谷歌的设计则需要逐芯片转发。例如，TPU 1 要和 TPU 76 通信，就必须经过中间的几张芯片。这样总会占用部分资源，因为每张 TPU 只与其他六张 TPU 直接相连。

因此，拓扑和带宽都不同，各有取舍和优势。谷歌可以拥有巨大的扩展域，但需要通过多张芯片转发数据，每张芯片最多只能直接连接六个邻居。

亚马逊的扩展域也经过了调整，介于 Nvidia 和谷歌之间。它们试图把扩展域做得更大。它们尝试用交换机实现一定程度的全互连，类似 Nvidia；但也在一定程度上采用谷歌使用的环面拓扑。

随着下一代产品出现，三家公司都在更接近蜻蜓拓扑。也就是说，有些部分完全互连，有些部分则没有。这样扩展域能达到几百或几千张芯片，同时避免在芯片间转发时争抢资源。

Dwarkesh Patel

相关的问题是，我听有人说，模型参数规模扩张一直很慢，直到最近 OpenAI 和 Anthropic 才开始开发更大的模型，原因是……最初的 GPT-4 超过一万亿参数，现在模型才又开始接近这个规模。有人认为，原因是 Nvidia 的扩展域内存容量太小。假设有一个 5 万亿参数模型，以 FP8 运行，那就是五万亿 GB。再加上 KV cache，假设也是——

Dylan Patel

就按模型参数同样大小算吧。

Dwarkesh Patel

好，假设一个批次的 KV cache 和模型大小一样。那要运行它，需要 10 TB 内存……

Dylan Patel

没错，单次前向传播就是这样。

Dwarkesh Patel

而且只有 GB200 和 NVL72 才能让 Nvidia 的扩展域提供 20 TB 内存，以前的规模小得多。相比之下，谷歌的 TPU pod 虽然不是全互连，却一直拥有容量达数百 TB 的大型扩展域。这能解释为什么参数规模扩张一直很慢吗？

Dylan Patel

我觉得部分原因是容量和带宽，但另一方面，模型越大，部署速度也越慢。对于最终用户来说，推理速度可能没那么重要，真正重要的是强化学习（RL）。

看看各实验室如何分配模型计算资源，大致有几种主要用途：用于推理，也就是创造收入；用于开发下一代模型；还可以用于研究。开发阶段又可以细分为预训练和强化学习。

研究带来的算力效率提升非常大，所以你实际上希望把大部分算力用于研究，而不是模型开发。研究人员不断提出新想法、进行实验和测试，持续推动缩放定律前沿。根据经验，我们看到模型成本每年会降低十倍甚至更多。在相同规模下，成本会降低十倍；要达到新的前沿能力，成本却会持平或更高。因此，不应该把太多资源分配给预训练和强化学习，反而应该把大部分资源用于研究。

中间还存在模型开发阶段。假设你预训练了一个 5 万亿参数模型，需要进行多少次强化学习 rollout？5 万亿参数模型所需的 rollout 是 1 万亿参数模型的五倍。如果要做相同数量的 rollout——也许大模型的样本效率是两倍——那么要让模型变得更聪明，强化学习时间还是要增加到 2.5 倍。

或者你也可以把小模型的强化学习时间延长一倍。即便大模型的样本效率高两倍，完成同样数量 rollout 后仍有 25% 的差异。但小模型只有一万亿参数，虽然样本效率低一些，却能做两倍数量的 rollout，而且更快完成。你可以更早获得模型，进行更多强化学习，然后拿这个模型来帮助构建下一代模型、训练工程师，并推动更多研究想法。

无论用什么硬件，这种反馈循环都更偏向小模型。谷歌确实部署了主要实验室中最大的生产模型 Gemini Pro，它比 GPT-5.4 大，也比 Opus 大。谷歌能这么做，是因为它的算力来源高度统一，几乎全是 TPU。

Anthropic 则要处理 H100、H200、Blackwell、Trainium 和不同代际的 TPU。OpenAI 目前主要使用 Nvidia，但未来也会采用 AMD 和 Trainium。像谷歌这样统一的算力集群可以专门围绕更大的模型进行优化。它们可以在一个扩展域中动用一千张芯片，大幅缩短强化学习时间，从而加快反馈循环。

但归根结底，单独来看，几乎总是应该选一个更小的模型，让它更快完成强化学习并更早进入研发流程。你可以用它构建下一代模型，并继续提升效率。让较小模型尽早进入研发，会形成复利效应。因为我能把更多算力用于研究，训练模型所用的算力就更少了。研究速度不断加快的复利效应，可能会使 AI 更快起飞。所有这些公司追求的都是尽可能快地起飞。

134:07Dwarkesh Patel

好，下面这个问题可能有点尖锐。你解释过 SemiAnalysis 会卖这些电子表格。你总是提醒大家，半年前或一年前你就警告过内存短缺。现在你又提醒大家洁净室短缺，以后还会说设备短缺。为什么只有 Leopold 用你们的电子表格赚了大钱？其他人在做什么？

Dylan Patel

我觉得很多人都在通过各种方式赚钱。Leopold 开玩笑说，我只有他一个客户会告诉我，我们的数字报得太低了。其他人几乎总是说我们的数字太高。可能有超大规模云厂商会说：‘那家云厂商的数字太高了。’我们会回答：‘没有，数字就是这样。’他们又说：‘不不不，不可能。’我们得拿出各种事实和数据来说明，与超大规模云厂商或 AI 实验室合作时，那个数字并没有报高，确实是对的。有时他们要过六个月，甚至一年后才会意识到这一点。

我们还有其他交易领域的客户也在使用数据。我的业务大约 60% 来自行业客户，包括 AI 实验室、数据中心公司、超大规模云厂商、半导体公司以及整个 AI 基础设施供应链。剩下 40% 的收入来自对冲基金。我不会说客户是谁，但很多人都在用这些数据。关键是你如何解读，又会据此判断什么情况超出预期。

我可以说，Leopold 几乎是唯一一个总觉得我的数据报得太低的人。有时他也觉得数据太高，有时又觉得太低。但我认为其他人也在做类似的事。看看对冲基金的持仓申报文件（13F），你会发现它们持有的股票可能和 Leopold 并不完全相同，因为关键问题始终是：哪种资源最受限制？哪件事最可能超出市场预期？

你真正想利用的是市场低效。某种意义上，我们通过提高基础数据的准确性，让市场变得更有效率。很多基金确实会根据公开信息交易……我不认为 Leopold 是唯一一个。我觉得他对 AGI 起飞有着最强烈的信念。

Dwarkesh Patel

没错，但这些押注不是针对 2035 年会发生什么。至少从我们能看到的 Leopold 等基金的公开业绩来看，你们这些交易押注的是过去一年发生的事情。这些事情可以用你们的电子表格预测。关键在于购买明年更新的电子表格。

Dylan Patel

我们卖的不只是电子表格，还有报告，也提供数据 API。数据量很大。

Dwarkesh Patel

但你懂我的意思吧？关键不在某种疯狂的奇点理论，而是你是否看好内存短缺。

Dylan Patel

只有相信 AI 会大规模起飞，你才会押注内存短缺。内存短缺的许多预测都建立在……至少对湾区关注基础设施的人来说，这很明显。上下文越长，KV cache 就会激增，所以需要更多内存。然后你再算一算就知道了。

你还得深入了解供应链，包括在建晶圆厂和数据中心、芯片数量等情况。我们非常严格地追踪所有这些不同数据，但归根结底，还是需要有人真正相信这一切会发生。

一年前，如果你告诉别人内存价格会涨到四倍，智能手机销量会在之后一两年里下降 40%，人们会说：‘你疯了，根本不可能。’除了少数人确实相信这种事，而那些人也去交易了内存相关资产。

确实有人这么做。我不认为只有 Leopold 一个人买了内存公司。当然，他在仓位规模、市场定位和操作方式上做得比有些人，也许比大多数人都好。我不想评论谁的回报率怎么样，但他肯定做得不错。其他人也赚了不少钱。

哇，你让我头一次说话这么圆滑。没事，没事，我觉得这特别有意思。现在我像个外交官，平常我可没这么温和。

138:30Dwarkesh Patel

好，最后快速问几个问题。你说内存、逻辑芯片等情况意味着 N3 制程大部分会用于 AI 加速器，而 N2 现在主要供苹果使用……未来 AI 可能也会想用 N2。假设 Nvidia、亚马逊和谷歌说愿意花很多钱购买 N2 产能，台积电能把苹果挤出去吗？

Dylan Patel

这个问题的难点在于芯片设计周期很长，需要一年以上。现在用 2 纳米制程设计的芯片，可能要一年以上才会推出。

实际情况大概会是 Nvidia 等公司说：‘我们会预付产能款，你们为我们扩产。’台积电可能会拿到一些利润，但不会太多。它们不会把苹果完全赶出去。苹果订购 X 产能时，台积电可能会说：‘我们预计你只需要 X 减 1，所以只给你 X 减 1。’这样一来，可灵活安排的那部分产能就会让苹果很被动。

过去苹果总会多订 10% 的产能，然后在一年内削减 10%。有些年份，它真的会把全部 10% 都削掉。销量会随季节和宏观经济变化。

我不认为台积电会把苹果赶出去。我认为苹果在台积电营收中所占的比例会越来越小，因此对台积电来说也越来越不重要。最终，台积电可能会开始要求苹果提前预订明年或两年后的产能，并为资本支出预付款，因为 Nvidia、亚马逊和谷歌都这么做。

Dwarkesh Patel

我想也许可以讨论具体数字。我现在手上没有。未来几年，苹果会拿到多少 N2 产能，AI 又会拿到多少？

Dylan Patel

今年苹果会拿到绝大部分即将制造的 N2 芯片。AMD 也有一些产能，准备早期生产 AI 芯片和 CPU 芯片。但总体来说，还是苹果占大头。

再往后一年，随着其他公司开始增产，苹果拿到的比例会接近一半，但随后就会大幅下降。N3 也是这样，苹果过去曾占一半。这里说的 N2 也包括 A16，它是 N2 的一个变体。今后这些制程节点会以 AI 芯片为主。

另一个有意思的地方是，过去苹果总是第一家使用新制程节点的公司。2 纳米是它第一次不是最早采用的。除了华为的情况以外，2020 年及更早时期，华为和苹果都是首批采用新制程的公司，但那时它们都在生产手机。现在在 2 纳米制程上，AMD 也在尝试生产 CPU 和 GPU 芯粒，再用先进封装组合起来，时间与苹果差不多。对 AMD 来说这是个很大的风险，可能造成延误，因为这是全新的制程技术，难度很高。但归根结底，这是 AMD 想要比 Nvidia 扩张得更快、试图超越 Nvidia 的一场豪赌。

继续发展到 A16 节点时，第一家客户甚至不会是苹果，而是 AI 公司。未来这种情况会越来越常见。苹果不仅不会再第一个采用新节点，也不会再成为新节点的大多数产量。它会变成普通客户之一。

台积电的资本支出规模不断扩大，但苹果的业务增长没有那么快，因此对台积电来说越来越不重要。苹果也会减少订单，因为供应链上的各种限制正在挤压它，无论是封装、材料、DRAM 还是 NAND。这些东西的成本都在上涨。由于消费者市场不太景气，苹果可能无法把全部成本转嫁给消费者。结果就是，苹果不再像过去那样是台积电最重要的客户。

Dwarkesh Patel

你觉得，如果华为能获得 3 纳米制程，它们会不会做出比 Rubin 更好的加速器？

Dylan Patel

有可能。华为也是第一家推出 7 纳米 AI 芯片的公司。它们是第一家推出 5 纳米手机芯片的公司，也第一家推出 7 纳米 AI 芯片。我记得华为 Ascend 比 TPU 早两个月，比 Nvidia A100 早四个月。

但这只是制程节点的进步，并不代表软件、硬件设计或其他方面也领先。不过华为可以说是全球唯一一家各方面实力都很强的公司。华为的软件工程师实力很强，网络技术也很强——事实上，网络业务过去一直是它最大的业务。它们也有很强的 AI 人才。

除了 Nvidia，华为还有更优秀的 AI 研究员；而且它们有自己的晶圆厂，也有自己的终端市场，可以销售 token 等产品。华为能够吸引最顶尖的人才。Nvidia 也可以，但人才没有那么集中，而华为在中国的人才池更大。

完全可以论证，如果华为有台积电的支持，它会比 Nvidia 更强。中国在某些领域具有 Nvidia 无法轻易获得的优势，不只是规模，还包括一些光学技术，而中国在这些方面实际上很擅长。

我认为，2019 年如果华为没有被禁止使用台积电，它现在很可能已经超过苹果，成为台积电最大的客户。华为在网络、算力、CPU 等领域都占有很大份额。它们会继续扩大份额，很可能会成为台积电最大的客户。

144:16Dwarkesh Patel

哇，真不可思议。我最后还有个随便想到的问题。Elon 访谈里另一个主题是机器人。如果人形机器人的发展速度超出预期，到 2030 年有数百万台机器人在外面活动，每台都需要本地算力，你觉得会有什么影响？它们需要什么？

Dylan Patel

现在部署在机器人上的视觉语言模型和视觉语言动作模型，还有很多难题。但某种程度上，没必要把所有智能都放在机器人里，那样效率会低得多。在云端可以批量处理任务。

一种做法是让云端更强大的模型负责规划和长时间跨度的任务，并以很大的批次运行，然后把方向发送给机器人，让机器人在连续动作之间自行插值。也可以给机器人一个指令，比如‘把那个杯子拿起来’，然后由机器人上的模型执行。拿杯子时，重量和力度之类可能要由本地模型判断，但并非所有事都要在本地做。机器人可以判断‘那是耳机’，云端的超级模型则能告诉它‘我知道，这是索尼 XM6’，这可不是 Dwarkesh 的广告植入，不过……

Dwarkesh Patel

我就在想，这家伙为什么这么卖力推销？耳机就在桌子上，他采访 Satya 时还挂在脖子上。Sony 给他钱了吗？

Dylan Patel

可惜没有。不过云端模型可以说：‘这个头梁很软，重量是这样。’然后本地模型不需要那么聪明，接收这些输入后负责执行动作。云端模型可能每秒向它发送一次指令，或者根据动作频率每秒十次。很多处理工作都可以交给云端。

否则，如果你把所有计算都放在设备上，成本会更高，因为不能批量处理。第二，云端模型会更大，设备上的智能程度也不如云端。第三，我们正处于半导体短缺的世界。每台部署的机器人都需要先进制程芯片，因为机器人的功耗问题很严重，所以需要低功耗、高效率。这样一来，本该供应 AI 数据中心的芯片和电力都被装进机器人。于是，如果部署数百万台人形机器人，可用于 AI 的 200 吉瓦容量就会减少。

Dwarkesh Patel

这很有意思，因为人们可能没有意识到，未来的智能会在物理层面更加集中。现在有 80 亿人，每个人的计算能力都在自己脑子里，随身携带。

未来，即便机器人在现实世界中活动——显然，知识工作会以集中化方式在数据中心完成，可能同时运行几十万甚至上百万个实例——你描述的未来仍然是由更集中的思考和计算，驱动现实世界中的数百万台机器人。这是个有意思的未来特征，很多人可能没有意识到。

Dylan Patel

我认为 Elon 意识到了这一点，这就是为什么他会去不同地方为自己的芯片找产能。他和三星签了一笔大合同，在德州制造机器人芯片，因为我个人认为他觉得台湾的风险很大。

这既是因为资源集中在台湾的风险，也因为机器人芯片在德州制造，可以拥有一条独立、限制更少的供应链。除了 Nvidia 刚推出的 LPU，几乎没有其他公司使用三星制造 AI 芯片。他们下周会发布 LPU，不过我们是上周录的节目。

Dwarkesh Patel

这期节目周五上线。

Dylan Patel

哦，那这期会在发布之前上线。太棒了。他们下周会发布这款基于三星制程的新 AI 芯片，这是 Nvidia 最近才做出的决定。除此之外，三星上没有其他 AI 需求；但台积电那边，所有人都在争抢产能。这样 Elon 既能分散地缘政治风险，也能让机器人供应链更加多元化，而且不用再和那些愿意为天才数据中心付无限高价的公司竞争。

Dwarkesh Patel

最后问一个关于台湾的问题。如果我们认为设备才是最终瓶颈，只要制定计划，在台积电遭到封锁时把所有制程工程师空运出来，能降低多少台湾在 AI 半导体供应链中的风险？还是说仍然必须运走 EUV 设备，而每台都要好几架飞机才能装下，根本不现实？

Dylan Patel

如果你把所有制程工程师运走，并且假设局势严重到晶圆厂都被毁了，那么台湾就不再有任何晶圆厂，这是个很大的风险。

这些设备本身要用很多在台湾制造的半导体。这就像一条蛇在吃自己的尾巴：没有台湾的芯片就造不出设备，而没有台湾的设备又生产不了芯片。当然，供应链有一定多元化。光刻设备用不到特别先进的芯片，但归根结底，这还是一种自己吞噬自己的局面。

如果把所有工程师都运出来，再摧毁晶圆厂，那么台湾消失以后，中国的半导体供应链在垂直整合程度上就会超过世界其他地区。你虽然有了所有技术知识，却必须在亚利桑那州或其他地方为台积电重新复制一遍。要重建台积电多年来积累的全部产能，需要很长时间。

所以美国和全球 GDP 会大幅放缓。不只是增长放缓，而是 GDP 大幅萎缩，其他问题也会变得严重得多。新增算力的能力几乎归零。到了本世纪末，本来每年可以增加数百吉瓦；假设台湾出了事，现在可能只能靠英特尔和三星提供 10 吉瓦或 20 吉瓦，根本微不足道。

这样一来，AI 领域的局面就会变得极其糟糕。当然，现有的产能都还在，但和正在扩大的产能相比，现有产能根本不值一提。

Dwarkesh Patel

好，Dylan，这期节目非常精彩。非常感谢你来参加。

Dylan Patel

谢谢你的邀请。我们晚上见。