@Asianometry 与 Dylan Patel——半导体行业如何运作

00:00Dwarkesh Patel

今天我请来了经营 SemiAnalysis 的 Dylan Patel，以及经营 Asianometry YouTube 频道的 Jon。

Dylan Patel

他有姓氏吗？

Jon Y

没有，真没有。开玩笑的，Jon Y。

Dylan Patel

为什么只有一个字母？

Dwarkesh Patel

因为 Y 是最好的字母。

Dylan Patel

你为什么遮着脸？

Jon Y

为什么不遮？

Dwarkesh Patel

不，认真问，为什么遮着脸？

Dwarkesh Patel

因为我怕看到自己这些年变老、变胖的样子。

Dylan Patel

说真的，是为了匿名，对吧？

Jon Y

对，匿名。

Dwarkesh Patel

顺便问一句，你知道 Dylan 的中间名吗？

Jon Y

其实不知道。

Dylan Patel

我爸叫什么？

Jon Y

我不说，但我记得。

Dylan Patel

你可以说，没关系。

Jon Y

Sanjay？

Dylan Patel

对。他中间名是什么？

Jon Y

Sanjay？

Dwarkesh Patel

没错。所以我叫 Dwarkesh Sanjay Patel，他叫 Dylan Sanjay Patel。这简直就是我的白人名字。

Dylan Patel

可惜我爸妈当年在我和哥哥之间，给我取了个白人名字。我本来可以叫 Dwarkesh Sanjay。你想想，如果我们名字完全一样，该有多神奇？考虑到蝴蝶效应，结果可能还是差不多，不过……

Dwarkesh Patel

也许我们会更亲近，可能会更早认识彼此。世界上还能有谁叫 Dwarkesh Sanjay Patel 呢？

00:01:15——习近平的 AGI 路径

Dwarkesh Patel

好，这是我的第一个问题。如果你是习近平，而且相信规模扩张（scaling-pilled），你会怎么做？

Dylan Patel

Jon，别回答这个问题，这对 AI 安全不好。

Jon Y

我大概会联系每个在国内有家人的中国公民，说：‘我要信息，我要知道你们的配方和供应商。’

Dwarkesh Patel

挖实验室里的外国人，还是硬件行业里的外国人？

Jon Y

所有人。

Dylan Patel

用美人计套取 OpenAI 的情报？

Jon Y

完全跑题了，但我之前做过一期关于南斯拉夫核武器计划的视频。那计划从零开始。一个来自巴黎的人来了，他懂一点原子武器制造。他说：‘好，我需要帮忙吗？’然后国家秘密警察说：‘我会把你需要的东西全弄来。’

大约四年里，他们列出一长串需求：‘你需要什么？想要什么？打算怎么做？用途是什么？’国家警察就把所有东西都弄到手。如果我是一个国家的领导人，需要迅速追赶，我会考虑这么做。

Dwarkesh Patel

好，谈谈间谍活动。如果你能拿到一份蓝图，一兆字节的信息，最有价值的内容会是什么？你想要台积电的，英伟达的，还是 OpenAI 的？你最先想偷什么？

Dylan Patel

你必须把整个技术栈都搭起来，对吧？AI 的厉害之处在于发展太快，每一层都承受着巨大压力。当然，中国已经黑了 ASML 五年多。ASML 的反应大概是：‘没事。’荷兰政府很生气，但也只能如此。我认为他们已经拿到了相关文件，只是制造设备本身很难。

晶圆厂工艺配方也是如此。中国可以从台湾挖人，这并不难，因为台积电员工薪酬并不高得离谱；只要提供更好的生活，他们就可能跳槽，而且确实有人这么做了。中芯国际不少员工来自台积电，尤其有些资深人才是台湾人。

再往技术栈上层看，模型机密当然很多。但这些机密中，有多少是中国还没有、或者只是还没部署、实施、组织起来的？这是我想强调的一点。在我看来，中国显然还没有完全形成‘规模扩张派’思维。

Dwarkesh Patel

如果能招到这些人才，对你大概很值，因为你正在建造价值数百亿美元的晶圆厂。人才掌握很多知识。他们多常被挖走？是被外国对手挖走，还是被同一国家、同一产业的其他公司挖走？为什么这没有推高他们的工资？

04:20Jon Y

因为这个行业高度分割。二十世纪初、中芯国际还没壮大以前，行业要开放和扁平得多。后来，梁孟松离开、三星出现各种问题、中芯国际崛起之后，你确实能看到变化——

Dylan Patel

你应该讲讲那个台积电的人去了三星和中芯国际的故事。我觉得很有意思。

Jon Y

有两个故事。第一个人经营台湾一家叫世界先进的半导体公司，他叫张汝京，非常虔诚。台积电的人大多也挺虔诚，他尤其虔诚，还想把宗教传播到中国。公司被台积电收购——这是台积电的一次重大胜利——之后，他在台积电工作了八九个月，就回到中国。当时两岸关系和现在很不一样。他去了上海，当地人说：‘我们会给你一大笔钱。’张汝京随后招来了一整长列台湾人才，他们一拨接一拨地坐飞机过去。中国半导体产业很多加速发展阶段，实际上都源自台湾人才流入。

第二个故事是梁孟松。他是个怪人。我没见过他，但见过和他共事的人，他们都说他很怪，可能处于自闭症谱系。他不在乎人、业务或其他任何事，只想把技术做到极限。他曾在台积电工作，是个真正的天才，拥有大约 300 项专利，或许是 285 项。他一路升到高层，后来在台积电内部一场权力竞争中落败，被降职。

Dylan Patel

他当时大概是研发负责人之类的吧？

Jon Y

他是最顶尖的研发人才之一，可能排第二或第三。

Dylan Patel

基本上，他是竞逐研发负责人职位时落败的。

Jon Y

没错，他竞逐研发负责人落败后就想：‘我受不了了。’于是去了三星，还从台积电挖走一大批人才。同样是一整队人跳槽。有一段时间，有些人的薪酬甚至比三星董事长还高，这就不是普通可比的待遇了……

Dylan Patel

三星董事长不通常是拥有三星的那个家族成员吗？

Jon Y

说得对。

Dylan Patel

好，那倒是没什么可比性。

Jon Y

梁孟松去了三星后说：‘我们要把三星打造成怪兽。忘掉所有事，别再一点点推进你们原先做的计划。扔掉那些，我们要直接冲向最先进制程。’三星于是冲到了最先进制程，还从台积电手里抢回了苹果相当一部分订单。

与此同时，台积电的张忠谋说：‘我不能让这种事发生。’他工作起来也很难相处，但确实极其聪明，而且很会激励人。他组建了一支所谓的‘夜莺部队’，把员工分成两班，安排一批人做研发夜班。台积电没有休息时间：夜班进厂时，白班刚好下班。台湾人会说，随着年纪增长、工作时间变长，你是在‘燃烧肝脏’。所以他们把这支队伍称为‘肝脏破坏者’。

他们让这支夜莺部队工作了一两年，完成了 FinFET 技术，基本上击败了三星。与此同时，台积电直接起诉梁孟松窃取商业机密。三星和梁孟松最终分道扬镳，之后他去了中芯国际。

Dylan Patel

所以三星曾经一度比台积电更强。后来梁孟松去了中芯国际，中芯国际就迅速追上来了。

Jon Y

是的，非常快。梁孟松是个天才，真是天才，我都不知道该怎么形容。他已经七十八岁左右了，才华出众，但完全不在乎别人。

08:25Dwarkesh Patel

研发下一代制程节点的过程是什么样？是不是一百名研究人员进去，做出下一个节点 N+1？第二天再换一百个人继续？

Jon Y

这需要不断做实验。每家晶圆厂都有一套配方，照着执行；台积电的每一套配方都是多年研发的成果，保密程度很高。你会挑其中某个环节做实验：试试看效果更好还是更差。大致就是这样。

Dylan Patel

本质上这是一个多变量问题。整套流程要依次经过各种设备，每台设备的参数都要不断调整。例如，可以提高某台特定沉积设备的压力。

Dwarkesh Patel

你们要测量什么？看良率会不会提高？

Dylan Patel

要看良率、性能、功耗，不是简单的变好或变坏，而是在一个多变量的搜索空间里优化。

Dwarkesh Patel

这些人具备什么知识，才能做这些事？他们懂化学和物理吗？

Dylan Patel

很大程度上靠直觉，不过他们确实是化学、物理、电气工程领域的博士……

Jon Y

都是杰出的天才。

Dylan Patel

很多时候他们甚至不知道最终芯片是什么样。他可能只是蚀刻工程师，只研究氢氟酸如何蚀刻材料。如果调整压力、温度，或稍微改变化学品配方，结果就会完全不同。

Jon Y

我记得有人对我说过这件事。美国为什么失去了做这类工作的能力？我是指蚀刻、氢氟酸之类。他说，这基本上是师徒传承，像《星球大战》里的西斯一样，师傅带一个徒弟、徒弟再带徒弟。过去会有一位师傅和一名徒弟，师傅传授秘而不宣的知识。那个人只懂蚀刻，其他什么都不懂。

随着时间推移，徒弟不再来学；最后这些徒弟都去了台湾。台湾至今还是这么运作的，比如清华大学有许多师傅，他们带徒弟，再把这套秘密而神圣的知识传下去。

Dwarkesh Patel

供应链里哪些人最相信 AGI 很快就会到来？

Dylan Patel

我现在得接科莱特的电话。

Dwarkesh Patel

好，你接吧。我们可以在播客里说，是英伟达打电话给 Dylan，更新财报电话会的信息吗？

Dylan Patel

倒也不是这样，不过……

Dwarkesh Patel

去接吧，去接吧……

Dylan 接完了 Jensen Huang 的电话。

Dylan Patel

不是 Jensen 打来的，天哪。

Dwarkesh Patel

他跟你说了什么？告诉了你明年财报的消息吗？

Dylan Patel

没有，只是聊了聊 Hopper、Blackwell 和利润率之类的行业情况。对大多数人来说挺无聊，但我觉得有意思。

Dwarkesh Patel

我想我们可以开始聊英伟达了。你知道吗，开始前……

Dylan Patel

我觉得应该回到中国的话题，还有很多要点没谈。

11:16Dwarkesh Patel

好，芯片本身谈过了。要建成一座 10 吉瓦的数据中心，还需要什么？

Dylan Patel

这里确实有个问题：算力应该分散还是集中？美国的实验室和公司很分散，有 OpenAI、xAI、Anthropic；微软也有自己的项目，Anthropic 虽然有合作伙伴，也保留自己的项目；还有 Meta 和许多有意思的初创公司。总体来看，美国的努力相当分散。今天中国也仍然比较分散，不是说阿里巴巴、百度就是官方指定的冠军；DeepSeek 做得很好，可人们还会问：‘你们到底是谁？政府支持你们吗？’

如果你是相信规模扩张的习近平，现在就必须集中算力资源。你受到制裁，能进口的英伟达 GPU 数量有限。即使去年十月实施制裁之后，每年仍有超过一百万颗 GPU 流入中国，包括 H20 和通过其他渠道进入的 Hopper GPU；H20 的出口仍属合法。此外还有国产芯片，但数量不到一百万颗。

看起来似乎仍有一百万颗芯片。但如今训练模型的集群规模，或者未来六个月将投入使用的规模，已经达到十万颗 GPU。OpenAI、xAI 等公司的情况都有较多公开资料。中国还没有任何一个单独系统达到这种规模。问题是：怎么做到？没有一家公司集中资源建设并训练这样的集群，至少目前公开已知的情况是这样。最好的模型似乎来自拥有约一万或一万六千颗 GPU 的公司。

中国的算力还没有美国公司那么集中，而美国公司本身也相当分散。如果你是相信规模扩张的习近平，会不会直接说：‘某某公司现在负责，所有 GPU 都交给一个地方？’这样就不会有美国那种问题。美国很难建造足够大的数据中心、变电站和变压器，尤其在人口稠密地区。中国完全没有这个问题，因为他们的供应链每年新增的电力，差不多相当于半个欧洲。这个数字听起来很夸张。

他们不断建设变电站和新电厂，获得高密度电力供应并不困难。看看比特币挖矿：至少在某个时期，三峡大坝附近估计就有约 10 吉瓦的比特币挖矿负荷。美国预计要到 2026 或 2027 年才会有吉瓦级数据中心，这规模大得惊人。中国也许六个月就能在三峡附近或其他地方建出来。我认为他们完全有能力建设变电站，也有发电能力，似乎只要按下开关就能做到，但他们还没这么做。之后他们也可以极其集中地部署芯片。比如英伟达第三、第四季度运送的一百万颗 H20，可以全放进一个数据中心；只是他们还没有推动这种集中化。

Jon Y

也可以说，越集中，就越会在产业里造出一个庞然大物，立刻引人注意。然后突然有个小小的问题出现：大规模训练时，‘这颗 GPU 不工作了。那颗也不行。哦不，哦不，哦不……’

Dylan Patel

我不确定事情会是这样。

Dwarkesh Patel

你刚才是在学中国口音吗？

Dylan Patel

澄清一下，Jon 是东亚裔，是华人。

Jon Y

我有东亚血统。

Dylan Patel

一半台湾人，一半中国人？

Jon Y

没错。

Dylan Patel

不过我不确定真有那么简单，因为训练系统好像会……是水闸式？防火墙？叫什么来着？不是防火墙。我想不起来那个词，就是他们会……

Jon Y

空气隔离。我觉得他们会筑起‘中国长城’。

Dwarkesh Patel

你这是把四大元素都说全了：土、水、火！

Dylan Patel

如果你是相信规模扩张的习近平……

Dwarkesh Patel

你得把四股力量联合起来。

Dylan Patel

去他的风行者和火行者，我们有神通王。你得打造一个神通王。我觉得这有可能。问题是：这会不会拖慢研究？你会不会压制像 DeepSeek 这样的团队，明明他们显然没有受到政府影响，却把某个官僚……

Jon Y

让一个无能官僚坐到最高位，他就会开始操心政治、处理各种杂事。这样一来就形成了单点故障，这很糟糕。

Dylan Patel

另一方面，规模定律带来的集中优势显然巨大；但集中也会降低算力利用效率，因为不同团队不再能充分实验、各自负责尝试。这里存在取舍和平衡。

Dwarkesh Patel

你说中国能集中资源，这确实很有意思，我之前没想到。即使美国总体每年拿到数百万颗 GPU，单家公司也只能拿到几十万甚至更少；相比之下，如果中国整体决定联合训练，单次训练规模可能超过美国任何一家公司。你说的三峡附近 10 吉瓦电力，覆盖范围有多大？是一个州的规模吗？还是一条输电线？你们会在分布式训练里这么做吗？

Dylan Patel

不只是大坝本身，还有煤炭资源；我相信附近还有核反应堆。加上太阳能、风能等可再生能源，那一带能建设极大规模的集中供电能力。我不是说只要按一个按钮就行，而是指某个半径范围内的资源。这也是美国实验室看待这个问题的方式。

Dwarkesh Patel

如果现在开始建设，多久能建成世界最大的 AI 数据中心？

Dylan Patel

其实还有一个问题：我们能发现吗？我觉得未必。现在各类工厂不断新建，其他建筑和制造业也在扩张；一吉瓦的用电量其实只是很小一部分，十吉瓦也不算离谱。确实相当于几十万户、数百万人用电，但中国有十四亿人口，还有世界上多数高耗能的炼油、稀土加工和制造业。要把这件事藏起来很容易。

比如，世界最大的铝厂就在中国，单厂用电就超过五吉瓦。如果他们停止在那里炼铝，改建大型数据中心，我们能发现吗？我不知道。因为他们很容易再建十座铝厂补上产量。隐藏算力还有很多办法。

18:50Dwarkesh Patel

如果真能停掉一座五吉瓦的铝厂，改建巨型数据中心，那我想控制中国 AI 的方法就是控制芯片。你给我讲讲中国现在有多少芯片，未来会有多少？和美国及世界其他地区相比会怎样？

Dylan Patel

在我们生活的现实里，中国在电力、数据中心等实体基础设施方面并未受限，它的供应链本来就是为此建设的，要转向很容易。而美国每年新增电力很少，欧洲的电力供应每年还在减少。相比之下，西方电力产业几乎不存在。

但如果把台湾也算在‘西方’制造业里，西方规模就远远大于中国，尤其是在先进制程领域。中国理论上可能没有任何市场份额，也可能只占很小一部分，具体取决于你怎么看。制造业还包括设备、晶圆生产和先进封装能力。

美国能在哪个环节控制中国？先进封装的管制基本没戏，因为全球最大的先进封装公司总部原在香港，后来搬去了新加坡，基本处于美国无法制裁的范围。许多其他公司也在类似地区。先进封装很难限制，但它很有用，例如堆叠内存、在中介层上堆叠芯片等。

再往下一层是晶圆制造。美国在这方面有很大管制能力。尽管美国实施了制裁，最近几个季度中国仍占 ASML 收入约百分之四十八、应用材料收入约百分之四十五。你沿着名单往下看，显然这些管制并没有发挥太大效果。但设备方面仍有办法控制。

芯片本身的管制，我觉得倒是相当有效。是的，GPU 会经由新加坡、马来西亚等亚洲国家运往中国，但能走私的数量很少。制裁还限制了芯片性能，某种程度上来说，这算是合理的。但所有限制措施之间的安排仍有问题。

你希望阻止中国建立比我们出口给它的更先进的本土芯片制造产业，阻止它拥有比我们更好的芯片，最终也要阻止它拥有比我们更强的 AI。终极目标就是这个。读一读管制文件就会发现，重点显然是 AI。令人惊讶的是，至少 2022 年的商务部已经有这种 AI 导向思维：‘你们要阻止他们拥有比我们更好的 AI。’

从最终目标倒推：如果要阻止他们拥有更好的 AI，就得限制芯片；如果要限制芯片，至少要允许他们获得某种比国产芯片更好的芯片。但目前的限制方向恰好相反：中国能制造出比英伟达、AMD 或英特尔目前被允许出口给中国的芯片更好的产品。

所以问题在于，出口的设备可能被用来制造比西方企业能卖给中国的芯片更好的产品。

Dwarkesh Patel

Jon，Dylan 似乎认为出口管制基本失败了，你同意吗？

Jon Y

这真是个有意思的问题，因为我觉得它像是……

Dwarkesh Patel

谢谢你。

Dylan Patel

Dwarkesh，你太厉害了。

Jon Y

没错，Dwarkesh，你最棒。‘失败’这个词很难说，因为我们到底想达成什么？

Dylan Patel

就拿光刻来说吧。如果你的目标是阻止中国制造芯片，而把问题简化成：‘光刻占芯片制造的 25% 到 30%，那就制裁光刻。好，界线划在哪里？我来想想。’如果我是商务部的官僚或律师，显然会去找 ASML 商量；ASML 会告诉我：‘界线在这里’，因为他们最了解这一行，而且不同部分之间存在一些交叠。

Jon Y

他们的考虑是：‘怎样做对我们最赚钱？’

Dylan Patel

然后他们总会说：‘如果你限制我们，中国就会发展自己的产业。’我喜欢把芯片制造看作三维棋局，或一幅巨大的拼图。拿走其中一块，中国就会说：‘哦，这就是那块拼图，我们把它补上。’自 2018 或 2019 年特朗普开始实施出口限制、拜登后来加快限制以来，美国几乎每年都在更新规则。

他们不是拿球棒把桌子砸烂，而是说：‘先拿走一块拼图。’然后离开；‘糟了，再拿走两块。’你要么彻底用球棒把桌子或墙砸烂，要么就放手让他们做。否则所有注意力都会集中在那项技术上，他们会把它做出来。等你再拿走两块，他们就会说：‘这个我已经有国产替代了，那两个也能做出国产产业。’他们会沿着技术树继续往下走。

Jon Y

技术上有办法弥补限制。认为光刻是整个体系的关键瓶颈，并不完全正确。你一直抽掉一条线，其他技术就会发展出来，把缺口补上。所以我才说这是一门艺术。我不认为你能阻止中国半导体产业进步，这基本不可能。

中国国家和政府一直认为半导体制造至关重要，他们早就这么想了，而现在更加笃信。

Dylan Patel

某种程度上，制裁反而让中国比以往任何时候都更重视半导体产业。

Dwarkesh Patel

从 AI 的角度看，那出口管制究竟有什么用？如果他们最终还是能拿到这些……

Dylan Patel

但他们的算力并没有集中起来。这才是关键问题：会不会集中？我也不确定自己是否相信，不过在之前的播客里，有些嘉宾谈过国有化。

Dwarkesh Patel

你为什么说得这么含糊？‘我的对手……’

Dylan Patel

我喜欢 Leopold，但之前有几期节目提到国有化。如果实行国有化，就能把所有浮点运算能力集中起来，那就绝对不可能了。

中国完全可以集中到足以和美国每一家实验室竞争。只要他们决定相信规模扩张，单个模型在 2025 或 2026 年就能获得和美国同样多的浮点运算能力，仅靠外国芯片就行。

Dwarkesh Patel

比如他们到 2026 年就能发布一个 10²⁷ 参数规模的模型？

Dylan Patel

他们完全可以边训练 10²⁸ 规模的模型，单靠外国芯片就能做到。关键在于是否集中。那接着要问：集中之后，创新和算力效率还能维持吗？还是说 Anthropic、OpenAI、xAI 和 Google 彼此发展技术、有限度地交流机密，长远结果会优于美国实行国有化？

如果中国愿意，单靠外国芯片，完全可能在 2026 至 2027 年实现这种规模。国产芯片是另一个问题。目前他们有六十万颗昇腾 910B，性能大约是每颗 400 太次方浮点运算。如果把它们全放进一个集群，明年就能训练出比任何实验室都大的模型。我不知道这些 910B 都分配到哪里了，但有传言说它们会被阿里巴巴、字节跳动、百度等大公司瓜分。明年数量会超过一百万颗。

他们甚至可能在美国之前拥有 10³⁰ 规模的模型，因为数据中心不是那么大的瓶颈。我认为美国现在没有人在建 10 吉瓦的数据中心，即使看到 2027 至 2028 年也没有。他们在研究如何把许多数据中心连起来。

到 2028 至 2029 年，即使解决集中化问题，中国也可能在单个模型上投入比美国更多的浮点运算能力。目前无论哪一方都还没做到。我愿意打赌，如果 AI 真像你我相信的那么重要，中国会比西方更早集中算力。所以这种可能性确实存在。

Dwarkesh Patel

他们还能制造多少晶圆？其中多少能用于 910B？我猜他们还想用这些半导体做别的东西。

Dylan Patel

这里有两部分。美国对中芯国际的制裁方式很愚蠢，只限制了某个具体地点，而没有限制整个公司。中芯国际仍在大量采购可用于 7 纳米和 5.5 或 6 纳米工艺的设备，用于今年稍后发布的 910C。只要不在上海生产，他们就可以继续大规模制造。据信上海有 45 至 50 台高端浸没式光刻设备，这是情报部门和许多其他人士的估计。

这大概能让他们每月生产多达六万片 7 纳米晶圆，但他们也在同一工厂生产 14 纳米。业内普遍认为，7 纳米晶圆的产能可能只有每月两万五千到三万五千片。再根据芯片裸片尺寸等数据计算——华为还会使用小芯片拼接，因此能少用先进制程晶圆，但良率会很差——大致可以推测，每片晶圆能得到五十到八十颗合格芯片。

Dwarkesh Patel

他们的良率为什么低？

Dylan Patel

因为很难。

Jon Y

即使每个人都知道这个数字，比如有一千个步骤，每一步的成功率都达到 98% 到 99%，最后整体良率还是只有 40%。

Dylan Patel

即使每一步都达到六西格玛级的完美水平，有一万多个步骤后，最终良率还是会烂得不行。

Jon Y

这可是个科学计量单位：‘烂得不行百分比’。

Dylan Patel

对，误差会相乘。它们的良率低，是因为受到限制，无法使用 EUV。英特尔在 7 纳米阶段没有使用 EUV；台积电后来则开始用。最初他们使用的是 DUV。

Dwarkesh Patel

那这不就意味着出口管制成功了吗？他们良率低，是因为只能用……

Dylan Patel

这是一种全新的工艺。

Jon Y

再说一次，他们仍然决心继续。成功的标准是他们停止追赶，但他们没有停。

Dylan Patel

回到良率问题。理论上，每月六万片晶圆，每片能产出 50 到 100 颗合格裸片，天哪，这就是数百万颗 GPU。那他们把大部分晶圆用在哪？他们还没完全相信规模扩张的路线，所以仍在浪费晶圆。比如生产两亿部华为手机。好吧，没关系。

西方也没那么在乎，尽管高通、联发科等西方公司会受损。当然，这是一个方面。美国也有类似情况，不过话题转到……抱歉，我忘了自己刚才想说什么。

Jon Y

说得好！

Dwarkesh Patel

这段我们会保留。

Dylan Patel

没关系，没关系。

Dwarkesh Patel

如果他们到 2026 年能集中算力，就能做到任何一家美国公司那么大的训练规模——

Dylan Patel

哦，我刚才提上海是因为，他们正在北京建设 7 纳米产能，也在建 5 纳米产能，但美国政府并不在意。他们正往北京运进几十台设备，同时对美国政府和 ASML 说：‘这些当然是用来做 28 纳米的。’实际上，他们在那儿制造 5 纳米芯片。

32:51Dwarkesh Patel

他们这么做是因为相信 AI，还是因为想生产华为手机？

Dylan Patel

在被制裁之前，华为曾连续几个季度是台积电最大的客户。华为制造全球大部分通信设备，产品涵盖手机、调制解调器、加速器、网络设备、监控芯片，应有尽有，其中很多都能使用 7 纳米和 5 纳米芯片。

Jon Y

你觉得华为占据主导地位，对中国其他科技产业其实是坏事吗？

Dylan Patel

华为太强了，所以很难这么说。华为在受到双重限制的情况下，仍然经常击败西方公司。诺基亚和索尼爱立信算什么？和华为相比简直是垃圾。华为不能向欧洲或美国企业销售产品，也用不了台积电的晶圆，却依然完胜对手。

华为的新手机性能能媲美一年前的高通手机，而它使用的制程大约落后三四年。他们用最差的制程，工程能力却超过了我们。华为太厉害了。

Jon Y

你觉得这种文化来自哪里？

Dylan Patel

军方，因为华为就是人民解放军。

Jon Y

一般都认为华为是解放军的一个分支。那你怎么解释解放军有时也会搞砸？

Dylan Patel

比如往火箭里灌水？

Jon Y

我不知道那是不是真的。我不是说它一定是假的。

Dylan Patel

这类疯狂的阴谋论很多……尤其作为外国人，你根本不知道中国的情况该信什么。

Jon Y

没人知道，连中国人自己也不知道中国正在发生什么。

Dylan Patel

还有各种说法，比如‘他们往火箭里灌水，显然很无能。’但如果我是中国军方，我也希望西方认为我完全无能，因为有一天我可能会用高超音速导弹和无人机摧毁一切。所以就说：‘不，我们往导弹里灌水，这些都是假的。我们没有十万枚导弹，也没有先进工厂；雷神公司蠢得很，造导弹的速度根本比不上我们。’

另一面也一样：到底有多少是虚假宣传？有人说：‘中芯国际不可能做出来，他们没有最好的设备。’但他们去年用这颗芯片出货了六千万部手机，性能只比高通落后一代。这就是实际结果，有些说法只是自我安慰。

Jon Y

我只是好奇这种文化从何而来。他们似乎有种特别厉害的地方，碰到什么事情都能成功。我想知道为什么。

Dylan Patel

他们在造汽车。我很好奇那边究竟发生了什么。

Jon Y

如果从历史角度看……你觉得他们是不是从别的地方获得了什么？

Dylan Patel

你是说间谍活动吗？当然有。

Jon Y

东德和苏联的产业基本上就是一条源源不断输入机密的传送带，他们靠这些机密运作整个产业。但苏联始终做不好，无法大规模量产。现在情况换成了中国。

Dwarkesh Patel

间谍活动怎么解释他们能用不同工艺制造产品？

Dylan Patel

这不只是间谍活动，他们自己确实非常厉害。

Jon Y

就是这样，肯定还有别的原因。

Dylan Patel

他们毫无疑问也会从事间谍活动。众所周知，ASML 至少被黑过几次。有人带着一堆文件去中国，后来遭到起诉。不只是 ASML，供应链上的每家公司都是如此。华为早期路由器里甚至真的有思科代码。类似情况还有很多……

但从架构上看，昇腾 910B 和 GPU 或 TPU 完全不像，是一种独立的架构。他们当然可能从其他地方学到一些东西，但他们也确实很擅长工程。

Jon Y

他们实行 996。无论这种文化来自哪里，他们都做得很好，真的非常好。

Dwarkesh Patel

我还很好奇这种文化从何而来，又是怎么维持下去的。美国公司或任何其他公司都可能曾经很优秀，但随着时间推移会走下坡路，比如英特尔和其他许多公司。我想华为还没那么老，不过大公司很难长期保持优秀。

Jon Y

没错。关于华为，我常听到一个词：‘奋斗’。中国文化里，中共非常强调奋斗。华为把这种文化带进了自己的做事方式。你之前也说过，对吧？他们拼命工作，因为觉得五年后就要和美国开战。做任何事时，他们都觉得国家每一秒都依赖自己。

Dylan Patel

这很像安迪·格鲁夫的思维方式。致敬英特尔的安迪·格鲁夫：只有偏执狂才能生存。西方企业如果足够偏执，也会做得很好。为什么谷歌曾经在很多事情上搞砸、后来又复苏？因为他们变得非常警觉。如果华为始终对外部世界保持警惕，想着：‘糟了，我们要完了，他们会打败我们，整个国家都指望我们，我们要把全国各领域最优秀的人才都召集起来……’

Jon Y

还告诉他们：‘你们要是不成功，国家就完了，家人会被奴役，一切都会很可怕。’

Dylan Patel

‘被邪恶的西方猪猡奴役。’

Jon Y

‘资本主义……’哦，他们现在不这么说了，更像是：‘所有人都在针对中国，中国正受到羞辱，这都是你小子的责任。如果你做不到……’

Dylan Patel

‘如果你不能让那台收音机的噪声再低一点、数据传输量提高百分之五，我们就完蛋了。’

Jon Y

‘这就像圆明园大火重演。英国人来了，要把所有宝物都偷走。责任全在你。’

38:51Dwarkesh Patel

为什么半导体行业没有更多垂直整合？为什么一个零部件要依赖另一家公司提供的零部件，而后者又依赖第三家公司的零部件？为什么不更多地在公司内部完成？

Dylan Patel

如今的行业分层极为明显。每个环节通常只有一到三家竞争者。最激烈的情况也可能是某公司占百分之七十，另一家占百分之二十五，第三家占百分之五。不管是芯片制造、化学品，还是不同类别的芯片，都差不多。过去行业是垂直整合的。

Jon Y

最开始确实是整合在一起的。

Dwarkesh Patel

那为什么后来不再整合了？

Jon Y

过去有公司把所有事情都包下来。后来有人觉得：‘我讨厌这种做法，我知道怎么做得更好。’于是他离开公司，自己创业，再回头对原公司说：‘我可以卖给你更好的产品。’这就是我们所说的半导体设备行业的起点。

Dylan Patel

七十年代，每家公司都自己制造设备。

Jon Y

六七十年代，很多人都分拆出来创业。接受外部产品和设备的公司得到了更好的东西，发展也更好。有些公司几十年来一直完全垂直整合，现在仍然不错，但竞争力远不如从前。

Dwarkesh Patel

我不太理解晶圆代工行业：公司总数也许增加了，但晶圆的最终制造商却一年比一年少。这有点像 AI 基础模型公司，它们要靠上一个模型带来的收入和市场份额，才能支付下一轮日益昂贵的研发。

Jon Y

台积电创立代工产业后，有一波亚洲公司得到资金支持，开始建立半导体代工厂。马来西亚有 Silterra，新加坡有 Chartered，香港也有一家……

Dylan Patel

日本也有不少。

40:58Jon Y

日本也有不少。转向先进制程后，难度提高了，这意味着必须汇集更多客户需求，才能资助下一代制程。理论上，大家得把利润集中起来资助下一节点；到了今天，市场已经没有足够空间支持 N2 或 N3。你可以说，从经济角度看，N2 是个庞然怪物，本来就不该存在；如果不是市场上五家巨头集中投入，它根本不可能成立。

Dylan Patel

抱歉，我完全打断你了。我看过一个视频，里面有人说：‘这是一团邪恶的肉浆混合物。’

Jon Y

对！

Dwarkesh Patel

什么？

Dylan Patel

有个视频说：‘火腿真恶心，就是一团没有骨头或胶原蛋白的肉浆。’我也不知道。他刚才形容 2 纳米制程时，听起来就是这个意思。

Jon Y

就像有人只练右臂，练得肌肉发达得不得了，然后说：‘人体不该长这么多肌肉！’

Dwarkesh Patel

那重点是什么？为什么 2 纳米制程不值得做？

Jon Y

我不是特指 N2，而是把 N2 当作一个概念。下一代制程在理论上应该……总会有一个节点，经济上完全无法继续推进。

Dylan Patel

除非出现新技术，比如 AI 让 1 纳米或 A16 之类的制程变得可行。

Dwarkesh Patel

怎样才算可行？是说它值得投资吗？

Jon Y

经济上可行，资金上可行。

Dylan Patel

过去每两年就能缩小一代制程，像钟表一样准时，这就是摩尔定律。后来到了 5 纳米，花了三年，天哪；接着是 3 纳米，也花了三年。摩尔定律死了吗？台积电……3 纳米终于量产时，苹果只把一半 iPhone 产量切换到 3 纳米。现在为了大量 iPhone，又继续用 5 纳米第四年了。手机产业是不是走下坡了？

到了 2 纳米，产业也会很难承担成本。苹果自己制造手机，利润很高，能拿出更多资金投入日益昂贵的芯片，但这条路也快走到头了。只看台积电一家，2 纳米在经济上到底能不能成立？先不算英特尔和三星。三星是靠内存业务，而非自身利润来支付。英特尔靠的是昔日 CPU 垄断带来的资源……

Jon Y

私募资金、芯片资金、债务，还有被裁员者的薪水。

Dylan Patel

如果不是 AI 兴起，带来对最先进芯片的巨大需求，资助下一代制程可能已经不再具有经济可行性。

Dwarkes Patel

7 纳米、5 纳米、3 纳米之间差别有多大？对谁能建出最大集群来说，这是决定性差异吗？

Dylan Patel

一种过于简单的说法是：换一个制程节点，功耗就能降低某个比例。但这种收益正在减弱。90 纳米缩到 80 或 70 纳米时，性能翻了一倍，Dennard 缩放还成立。现在从 5 纳米到 3 纳米，密度不会翻倍。SRAM 完全没有缩小，逻辑电路确实变密了，但只有约百分之三十。总体来说，每个晶体管的功耗只下降约百分之二十。

但由于数据局部性和数据搬运，换到下一代制程带来的能效改善，可能远大于单个晶体管的功耗收益。比如计算一个 8000×8000×8000 的矩阵，单个芯片放不下整个矩阵；如果能放进更多数据，就能少把数据传到芯片外，也少访问内存。数据局部性也有很大作用。

AI 非常需要新制程节点，因为功耗更低、密度更高、性能也更好。关键问题是：一吉瓦数据中心能让我获得多少浮点运算能力？两吉瓦呢？十吉瓦呢？看看规模定律就会发现，所有人都需要尽快转向最新制程。

Dwarkesh Patel

我想问个普通人的问题……不，我换个说法。

Jon Y

不是问给你们这些技术宅的。

Dylan Patel

我觉得 Jon 和我聊得太技术时，可能连你都听不懂。

45:53Dwarkesh Patel

假设台湾遭到入侵，或发生地震，从现在起不再有任何东西能从台湾运出。接下来会发生什么？一天、一周、一个月、一年后，世界其他地方分别会受到怎样的影响？

Jon Y

这是个很糟糕的话题。能不能直接说，一切都会很糟？不只是最先进的芯片。人们总关注最先进制程，但日常生活还依赖很多成熟制程产品。大家担心 AI，实际上到时候你买不到冰箱、买不到汽车，什么都买不到。这非常糟糕，还有人道层面的影响，全都很惨，很令人沮丧。我就生活在台湾。

Dylan Patel

第一天，市场就会大幅崩盘。市值最大的六七家公司，也就是‘科技七巨头’，占标普 500 指数约百分之六十到七十五，而且它们的业务全都依赖芯片。谷歌、微软、苹果、英伟达、Meta，全都高度依赖 AI。科技行业会经历极其剧烈的重置。

市场会崩盘。几周后，人们开始准备：‘糟了，赶紧建晶圆厂，环保规定先不管了，战争大概要来了。’供应链会忙着想办法重新建立系统。

六个月后，用于制造新车的芯片就会耗尽，或被扣下来生产军用装备。你就再也造不了汽车了。我们甚至不知道如何制造完全不依赖半导体的汽车，这些产品里塞满了各种芯片。

Jon Y

如今汽车的芯片占比约百分之四十，轮胎里都有芯片。

Dylan Patel

每辆车里大概有两千多颗芯片。每辆特斯拉的车门把手里都有四颗左右。到底为什么？都是些很普通的微控制器，但就连内燃机汽车也有两千多颗芯片，每台发动机里都有几十颗。

总之，各类生产都会停摆。并非所有产能都会消失，欧洲、美国、日本、新加坡还有一些生产。

Jon Y

欧洲那边大概要临时找个人来，周六上班到四点。

Dylan Patel

对。台积电一直在建新晶圆厂，也在旧厂里调整、提高产能。新设计会转到新节点，旧产品则留在老节点上生产。台积电成为最重要的厂商之后，台湾在总制造产量中的份额几乎每一代制程都在增长。不只是台积电，联华电子、力积电和其他公司也都在台湾。

拿 130 纳米来说，很多产品由德州仪器、亚德诺或恩智浦制造，其中百分之百的产能都在台湾，由力积电、台积电、联电等公司生产。到了 28 纳米，全球百分之八十的产量都在台湾。糟了，对吧？如今 28 纳米生产什么？很多微控制器之类，还有我看到的每一种显示驱动芯片。就算我能造出 Mac 的主芯片，也做不出驱动显示器的芯片。

照着清单往下看，就意味着没有冰箱、没有汽车、没有割草机，因为这些东西都有芯片。我的牙刷还有蓝牙，为什么？我也不知道。太多产品会一下子消失，整个科技产业会倒退。

49:21Dwarkesh Patel

我们本来几个月前就该做这期访谈。我一直拖延，因为我想：‘唉，这些东西我完全不懂。’它确实非常难理解。AI 则像是……

Dylan Patel

你花了时间去……

Dwarkesh Patel

是啊，但我觉得 AI 领域似乎可以用业余方式了解大致进展。半导体不一样。我很好奇，人们怎样学会理解整个技术栈？这不只是读网上的论文，也不是看个变压器教程就能懂，而是有很多层极难的技术。

Dylan Patel

现在已经有十八岁的少年特别擅长 AI，甚至高中辍学生也能去 OpenAI 工作。过去也出现过这种情况。英特尔现任首席执行官帕特·基辛格在宾夕法尼亚州阿米什人聚居区长大，直接去英特尔工作，因为他天赋极高。如今半导体行业不可能这样招人。没有至少化学硕士，甚至博士，你进不了设备公司。台积电七万五千名员工里，约五万人有博士学位，比例高得惊人。这个行业的专业化程度已经高到另一个层次。

而 AI 领域里，像肖尔托这样的人不久前才开始研究 AI。

Jon Y

不是说肖尔托不好。

Dylan Patel

不，他特别厉害。他非常擅长自己的工作，你把他放到 AI 技术栈其他环节，他也已经理解了大部分内容，很可能很快就能胜任。半导体不是这样，你会极度专精，不能随手就转行。肖尔托当时说……他刚开始时……

Dwarkesh Patel

他以前在麦肯锡当顾问，晚上会读机器人论文、做实验。

Dylan Patel

后来有人注意到他，说：‘这人是谁？我以为懂这些的人全在谷歌。来谷歌吧。’半导体行业不会发生这种事，不可能。arXiv 是免费的，但其他学科的论文出版行业很糟糕。IEEE、SPIE 等组织的论文没法随便下载。

至少在 2022 年末、2023 年初谷歌发布 PaLM 推理论文之前，最好的 AI 研究基本都公开发布在网上。后来实验室稍微收紧了一些，但仍有很多公司公开发布创新成果，最先进的研究也能看到。半导体不是这样。

Jon Y

半导体行业自七十年代以来基本就封闭起来了。不同国家之间正式分享的信息少得惊人。上一次真正开放交流，大概是三星崛起的时期。

Dwarkesh Patel

那你们是怎么跟上进展的？

Jon Y

我们其实也不知道。我个人并不觉得自己懂。

Dwarkesh Patel

既然你不懂，那你做视频讲什么？

Jon Y

我曾经采访过一位蚀刻博士，是业内最顶尖的人之一。他对我说：‘你真的很懂光刻。’但我觉得自己并不懂。可你去问真正懂光刻的人，他们又会说：‘你在先进封装方面做得不错。’没有人什么都懂。

Dwarkesh Patel

他们是不是都有‘盖尔曼失忆症’？

Jon Y

每个人都只深挖自己所在的一口井，不太了解其他部分。某种意义上，没人了解整个技术栈。

Dylan Patel

制造环节的分层程度极其惊人。设备厂商并不知道英特尔和台积电在生产中具体怎么做，反过来，这两家公司也不知道设备具体是如何优化的。工具种类繁多，每种工具背后都有一整棵技术树：我们发明、构建、迭代了各种东西，每隔几年还会出现重大突破。

Dwarkesh Patel

如果是这样，而且没人了解整个技术栈，那这个行业怎么协调？比如‘两年后我们要转向全环绕栅极的下一代制程，因此需要开发 X 类设备和 X 项技术……’

Jon Y

这是个很有意思的社会现象，你能感受到。我今年早些时候去了欧洲，Dylan 有过敏症。我和那边的人聊时，感觉就像在交换小道消息，大家开始围绕某件事逐渐形成共识。早期我们有 SEMATECH，让美国公司聚在一起讨论、解决问题，但实际上它被一家公司主导了。如今产业更分散，技术方向就像月亮升起一样慢慢显现，他们都知道自己正朝着某个方向走。突然之间，整个行业都会说：‘就是这个，我们一起做吧。’

Dylan Patel

就像上帝降临并宣布：‘我们每两年把晶体管密度缩小一半。’戈登·摩尔作出这项观察之后，行业发展远远超出了他的预期，因为大家看得到怎样逐步抵达目标。他预测了未来七八年晶体管数量会增加好几个数量级，结果确实应验了。到那时，整个行业都把它视作不容置疑的真理：‘这就是上帝的话。’全行业数以千万计的工程师都为此投入。

当然不是每个工程师都这么相信，但人们会说：‘要实现下一代缩微，我们必须做这些事、做那些优化。’技术栈的每一层、每个抽象层都层层分工，复杂得像一团邪恶的拼装物。没人知道全貌，因为每一层之间都有抽象边界。某一层的人只了解其下层和上层的工作；再往外尝试了解，也只能懂一部分……

Dwarkesh Patel

十几二十年前我看过一个 IRDS 之类的公开视频，他们说：‘我们会用 EUV 取代旧技术，这是未来发展方向。’如果没人掌握整个系统、各种限制和取舍，那他们怎么做出这种决定？

Jon Y

他们会讨论和辩论。大家聚在一起交流，争论一番，最后总会有某个人说：‘我觉得我们可以往这个方向推进。’

Dylan Patel

半导体行业的分工壁垒非常深。每一层的资料和知识：第一，完全不会公开到网上，因为都锁在公司内部；第二，有大量实践层面的知识，正如 Jon 所说，是师徒传承式的。或者有人会说：‘我干这个三十年了。’看到某种情况后该怎么做，这里面有极其丰富的直觉。

AI 不能就这样学会半导体知识。但与此同时，行业极度缺人才，许多事情很难继续推进。半导体工厂里的大多数设备还运行 Windows XP，每台设备都配有 XP 服务器；芯片设计工具则用非常陈旧的 CentOS 6。很多方面都落后得厉害。但技术栈又经过高度优化，从这个角度看它已经脆弱到近乎破碎。

Jon Y

大家都不敢碰它。

Dylan Patel

对，因为这就是一团邪恶的拼装物。

Jon Y

按理说这东西不该能运行，简直是个奇迹。

Dylan Patel

技术栈里有很多抽象层。第一，跨越这些抽象层可以实现许多突破性创新。第二，每一层本身都包含大量隐性知识；如果能把实验和测试速度提高一千倍，甚至十万倍，会发生什么？

已经有一些例子证明这条路可行，比如英伟达的 AI 布局工具，以及谷歌用 AI 设计芯片中小块区域里的电路，还有一些强化学习设计和模拟工具……

Jon Y

但这说的是设计还是制造？

Dylan Patel

基本都是设计。制造领域还没怎么用上这些方法，不过已经开始引入了。

Jon Y

比如逆向光刻技术？

Dylan Patel

ILT，可能吧。我不知道那算不算 AI。无论如何，只要看到这么多尚未优化的层次，就知道行业存在巨大的突破创新空间。AlphaGo 那类强化学习，或者五到八年前的强化学习方法，已经在一些领域带来个位数到十几百分点的改进。如果引入生成式 AI，可能会彻底改变这个行业，不过数据问题非常严重。

Dwarkesh Patel

你能用数字描述这些可能性吗？比如每美元能买到多少浮点运算能力，或者其他相关指标。未来的提升中，有多少来自制程节点改进，有多少来自 AI 重新设计硬件？我们具体说 GPU。你能把未来的改进拆分一下吗？

59:13Dylan Patel

半导体制造和设计是人类从事的所有问题中搜索空间最大的，因为它是人类最复杂的产业。想想最先进芯片里有 100 亿、1000 亿个晶体管。英伟达 Blackwell 大概有 2200 亿个晶体管。

这些都只是开关。再想想如何排列它们，包括接触点、接地、漏极、源极和连线；还有十五层金属互连，把所有晶体管以各种方式连接起来。这是一个几乎无限大的搜索空间，比人类已知的任何其他搜索空间都大得多。

Dwarkesh Patel

搜索过程中具体想优化什么？

Dylan Patel

有用算力。如果目标是提高每皮焦耳能量所换来的智能——智能取决于模型架构，是个有点模糊的概念；皮焦耳则是能量单位——那应该怎样优化？

架构方面仍有巨大的创新空间，因为 H100 的功耗绝大部分没有用于计算。算术逻辑单元可以设计得更高效，但即便如此，绝大部分功耗仍用在别处。主要耗电来自数据搬运，而搬运数据主要涉及网络和内存。

与计算相比，数据移动量巨大，能耗也巨大。怎样才能减少数据搬运、同时最大化计算？架构上可能提升一百倍。即使我们不再缩小制程节点，架构进步也可能带来一百倍提升。

Dwarkesh Patel

你预计这要多久？

Dylan Patel

问题在于架构还能进步多少。另一个挑战是，芯片设计人员数量长期以来并没有明显增加。不同公司之间人数会有变化，但在美国半导体产业——美国设计了绝大多数最先进芯片——从业设计人员总数并没有增加太多。

借助电子设计自动化（EDA）工具，单个工程师的产出已经大幅提高。目前用的仍是传统工具，AI 还只起到很小的作用。问题是，如果把 AI 引入进来，让人和 AI 协作优化这个搜索空间，会发生什么？这样就能避免把大部分功耗都用在数据搬运上，而不是计算上。只靠设计改进，计算效率就可能提高约一百倍，同时大幅减少数据搬运。单靠架构就可能带来巨大的能效提升。

制程节点、供电设计、系统设计、芯片间网络和内存技术，都能带来创新。人们正在同时探索许多不同的创新方向。

英伟达每代芯片的性价比会提升两倍以上，我认为这一点很明确。超大规模云服务商可能还会力争更高提升，但要看他们能否实现。

Dwarkesh Patel

关于这类变化，可以讲两种故事。第一，训练基础模型的 AI 公司理解各种取舍，比如额外计算和额外内存各值多少？不同内存之间应该怎样取舍？因此，它们可以设计加速器，以最优方式进行这些权衡；也可以按硬件取舍设计模型架构。

第二种说法是英伟达。我不太了解具体情况，但他们应该掌握一些专门技术，也在不断积累如何改进架构设计和搜索工具的知识。谁的护城河更深？是英伟达会越来越擅长设计、获得一百倍提升，还是 OpenAI、微软、亚马逊、Anthropic 这些公司自己设计加速器并不断进步？

Dylan Patel

这里有几个方向。你提到的一点很重要：硬件会极大影响什么样的模型架构最优。这并非‘芯片越好，模型就一定怎样’的单向关系。同样预算和算力下，谷歌在 TPU 上运行的最优模型架构，和 OpenAI 在英伟达硬件上的最优架构完全不同。网络选择和数据中心设计也有差异；不同公司会根据 TPU 或 GPU 的计算量找到不同架构。这一点很重要。

64:36Dwarkesh Patel

关于这一点我想追问。我们之前谈到，中国有 H20 或 B20 芯片，它们的内存带宽相对于内存容量来说，能提供的计算量较少。这是否意味着未来中国模型的架构和特性会与美国模型很不一样？

Dylan Patel

你可以把推论推得很远，比如说神经形态计算才是最优路径，那就会与 Transformer 完全不同；也可以考虑更具体的因素，比如稀疏度、粗粒度稀疏、专家模型等等。注意力机制的具体结构也有很多调整空间，它不只是标准 Transformer 注意力。

模型是更宽还是更深也很重要，比如模型维度和层数之间的权衡。这些都可能不同。我知道谷歌和 OpenAI 的架构已有差异，最优选择也不同。进一步来说，如果中国受到多种限制，而他们又在计算和内存上投入巨大，可能会让内存单元和计算单元更紧密耦合；中国正大力投资这些方向。你去看学术会议，就会看到中国公司和大学发表了二十多篇关于计算和内存的论文。

由于浮点运算能力受限，英伟达可能会提高芯片上内存容量并改变架构，因为他们仍能靠卖芯片给中国赚数百亿美元。如今出口给中国的是性能受限的美国芯片，但架构会越来越分化；如果不为中国设计芯片，英伟达就太不聪明了。

华为当然也有自己的限制。他们的内存瓶颈在哪里？他们有很强的网络技术能力，可能比我们更早把某些光网络技术直接集成到芯片上。因为在他们能选的技术方案里，这样对他们最合适，其他方向都被封住了。

Jon Y

这些条件和限制会如何改变中国 AI 模型的发展路径，确实很有意思。

Dylan Patel

这也会影响用途和数据。美国模型很重视从用户身上学习，面向普通消费者直接提供服务；中国模型可能不是这样，使用场景会很不一样。中国在视频和图像识别方面远强于西方。

在 ICML 上，卡特西亚的 Albert Gu 到场了，他发明了状态空间模型。每个中国人都上前问：‘能和你自拍吗？’他简直被围住了。在美国，见到 Albert，大家会说：‘太棒了，他发明了状态空间模型。’但这里没人把状态空间模型奉为圭臬。原因是状态空间模型可能在视频、图像和音频领域有巨大优势，而中国在这些方向投入更多、发展更快、能力也更强。

Jon Y

这和遍布中国的监控摄像头有关。

Dylan Patel

对，这就是大家不太会明说的部分。但两边的能力已经开始分化。如果看图像识别，中国公司因为监控数据丰富，表现远胜美国公司。

于是技术路线开始分化，大家可以在各自限制下设计不同架构。每家公司都有限制，而且彼此不同。谷歌面对的限制就促使它开发出真正不同的架构。不过看看英伟达 Blackwell 和传闻中的 TPU v6，它们虽然还没有汇合，但在矩阵乘法单元规模、网络拓扑以及扩展规模与扩展范围方面，正稍微接近。不能说它们已经相似，但确实有些趋同。与此同时，不同架构路线仍有机会，许多初创公司也在尝试走不同技术路线，希望其中某种能奏效。

这里也有自我实现的预言。研究几乎都集中在算术强度很高的 Transformer 上，因为现有硬件的算术强度高，Transformer 在 GPU 和 TPU 上表现很好。于是大家形成了自我强化的路径。如果突然出现一种理论上更好的架构，但芯片只能发挥一半可用浮点运算能力，那就没意义；即使计算效率提高百分之三十，实际芯片上也只有一半速度。人们选择哪条路线，受到各种取舍和自我强化预期的影响。

70:12Dwarkesh Patel

假设你被任命为一家新 AI 实验室的算力负责人，Ilya Sutskever 的新实验室 SSI 找到你说：‘Dylan，我们给你十亿美元。你负责算力，帮我们打出名堂，要和前沿实验室竞争。’你会从哪里着手？

Dylan Patel

先说限制条件：SSI 是一家美国/以色列公司，研究人员在美国和以色列。你大概不能在以色列建数据中心，因为电力贵得离谱，风险也可能很高。因此大概率还是建在美国，研究人员也大多在帕洛阿尔托或其他美国地区。

你需要一大块算力。公司的目标显然是做出研究突破，例如提高计算效率或数据效率，但要做到这些，先得有算力。每个研究员配有多少 GPU，决定了研究速度。数据中心资源已经非常紧张，虽然也不是完全没有，但多数新数据中心项目的产能已经被订光了。这导致埃隆等人只能在孟菲斯采取那种疯狂做法。我现在正试着把这些因素理顺。

Dwarkesh Patel

说到这件事，我不是开玩笑，我的合租房群里有两个人分别说：‘我租了一个 H100 集群，签了长期合同，但现在想把它转卖。’如今是买方市场吗？看起来确实有些人想脱手。

Dylan Patel

回到 Ilya 的问题，256 颗甚至 4000 颗 GPU 的集群都有点自欺欺人，远远不够。没错，你可能在计算效率上有所提升，但十亿美元更应该用来在单一地点建尽可能大的集群。规模太小的 GPU 集群可能根本派不上用场，这也是很多人出售算力的原因。

看看 GPU List、Vast、Foundry 或其他上百家 GPU 转售商，集群规模都很小。现在是买方市场吗？是的。去年租 H100，短期或中期合同每小时大约四美元或三美元。现在如果签六个月合同，每小时可能只要 2.15 美元甚至更低。

自然成本……如果我有一座数据中心，按通常的市场价格采购并部署 GPU，成本约为每小时 1.4 美元。再加上购买 GPU 的债务，或股权资本的成本，可能会上升到 1.7 美元左右。现在有些好交易，比如微软向 CoreWeave 租用，价格大约是 1.9 到 2 美元。市场价越来越接近成本，但利润仍然很可观。把债务等成本算进去后，自然价格大约是 1.7 美元，卖到每小时两美元出头仍有不少利润。

GPU 公司仍在部署，但因为价格大幅下降，这确实是买方市场。算力成本还会持续暴跌。我忘了这条定律的具体名字，但本质上就像摩尔定律：每两年晶体管成本减半，整个产业却继续增长。智能的成本可能每六个月或三个月就下降一次。2023 年 2 月，OpenAI 的 GPT-4 每百万 token 大约要 120 美元，现在只要 10 美元左右。智能成本下降，部分是算力进步，部分是模型计算效率提升。这个趋势会推动应用普及：规模扩大、价格下降，再扩大规模、再降价。

Dwarkesh Patel

好，回到你担任 SSI 算力负责人这个假设……

Dylan Patel

好，我现在是 SSI 的算力负责人。从数据看，大型数据中心可没有免费的午餐。即使六个月后，大集群所需的算力也没有足够空闲产能。市场上有些供应，但不多，因为 xAI 把很多资源买走了。

xAI 的做法大概是：‘糟了，买下孟菲斯的一座工厂，把通常用于灾害应急的移动发电机放在外面，再加上特斯拉电池，从电网能取多少电就取多少电，还接上两英里外那座吉瓦级天然气电厂的天然气管道，然后立即开工，尽快建成集群。’现在他们有十万颗 GPU，这要花四十到五十亿美元，不是十亿美元。

SSI 的规模小得多，集群可能只有 xAI 的三分之一或四分之一，也就是约两万五千到三万两千颗 GPU。可你现在还租不到这样的集群；无论你有多少钱，没人愿意出租三万二千颗规模的集群，哪怕资金超过十亿美元也不行。

所以现在最合理的选择是自己建集群，而不是租；或者建立类似 OpenAI/微软与 CoreWeave、甲骨文与 Crusoe 那样的紧密合作。另一个途径是利用比特币矿场。OpenAI 在德州有个数据中心，或者说正要建成。它通过 CoreWeave 承包建设。Core Scientific 有一座三百兆瓦天然气电厂，原本给加密货币矿场供电，现在正在改造。转换工作很多，但电力和基础设施已经在那里了。主要是改造现场、准备水冷系统等，最后把它转换成十万颗 GB200 集群。

美国各地还有不少类似项目，但产能也有些紧张，因为英伟达也在德州普莱诺建一座三万二千颗 GPU 的集群。

Dwarkesh Patel

英伟达也自己在建吗？

Dylan Patel

他们是通过合作伙伴来建。这还有个有意思的地方：大型科技公司无法像埃隆那样搞出一些疯狂做法。

Dwarkesh Patel

为什么？

Dylan Patel

ESG。他们不能随便做那些离谱的事……

76:24Dwarkesh Patel

这很有意思。随着规模扩张愈发明显，你觉得微软、谷歌和其他公司会放弃净零排放承诺吗？

Dylan Patel

从整体上看，xAI 的做法不算特别污染；但他们确实在卡车上装了十四台移动发电机，直接燃烧天然气，而两英里外就有电力可用。你不可能说这些电力是绿色的，因为两英里外就是一座天然气电厂。

你去看 CoreWeave 的情况：Core Scientific 的天然气电厂就在现场旁边。周围的数据中心效率非常低。有个指标叫 PUE，也就是输入多少电，最后有多少送到芯片上。超大规模云服务商效率很高，PUE 大约是 1.1 或更低。换句话说，输入一吉瓦电，至少有 900 兆瓦能送到芯片，不会浪费在冷却等环节。Core Scientific 这个项目的 PUE 大概是 1.5 或 1.6。也就是说，即使现场有 300 兆瓦发电能力，真正送到芯片的只有 180 到 200 兆瓦。

Dwarkesh Patel

考虑到太阳能降价这么快……还有一点，太阳能在很多地方难用，是因为夜间还得给家庭供电。但理论上，这里也许可以只在白天运行集群之类的……

Dylan Patel

绝对不行，做不到。

Dwarkesh Patel

因为 GPU 太贵了吗？

Dylan Patel

对。大型集群的电费其实微不足道。有种说法认为，由于欧洲或东亚电价高，无法在那里建数据中心；或者只有美国和中国电价便宜，才适合建数据中心。这些都不是关键原因。真正重要的是，能不能为这些用途增加发电能力。最难的恰恰是这一点，以及围绕能源建设的经济监管。

真正值得看的是 H100 的拥有成本。假设你给我十亿美元，我已经有数据中心和其他设施，电价按正常标准收，不是特别贵，那么电力只占成本不到百分之十五，实际上不到百分之十。最大的一项——约百分之七十五到八十——只是服务器。

这是按多年周期计算的，包括债务融资、运营成本等。算总拥有成本时，大约百分之八十是 GPU，百分之十是数据中心，百分之十是电力，都是粗略数字。所以电价有多高不太重要。我们更该学台湾。遇到旱灾时他们怎么做？要求大家别洗澡。

Jon Y

他们基本上重新分配电力……台湾曾经缺电时，实际上是从住宅区调走电力。

Dylan Patel

在资本主义社会也很可能会这样。‘你别想按每千瓦时 X 美元付电费。’对我来说，电力的边际成本并不重要，关键是 GPU 的成本和能不能拿到电。我不想每天关机八小时。

Dwarkesh Patel

我们稍微退一步，讨论训练方式改变或不改变会发生什么。可以想象训练变得更容易并行：核心是搜索，训练算力大部分用于生成合成数据或执行某种搜索，这些任务可以分散到很广的范围。那样我们能扩张多快？我们逐年估算一下。

你比我更懂，但假设训练方式必须保持现状，那会要求算力分布到什么程度？未来几年建出各种规模的集群，现实性有多大？

Dylan Patel

对 Ilya 的公司来说，明年拿到一个三万二千颗 Blackwell GPU 的集群并不算太难。

Dwarkesh Patel

先不谈 Ilya 的公司，就说那些确定的主要玩家。比如 2025、2026、2027 年。

Dylan Patel

说美国之前，要指出明年马来西亚会新增超过一吉瓦的数据中心容量，大部分属于字节跳动。电力方面，埃塞俄比亚还有尼罗河上的大型水坝，但该国用电量只占水坝发电量的约三分之一。因此那里有大量可用电力……

Dwarkesh Patel

那座水坝能发多少电？

Dylan Patel

超过一吉瓦。埃塞俄比亚全国用电量大概只有 400 兆瓦，或者类似这么少。

Dwarkesh Patel

有人在竞标购买这些电力吗？

Dylan Patel

我觉得人们只是不相信能在埃塞俄比亚建数据中心。

Dwarkesh Patel

为什么？

Jon Y

水坝不是还没蓄满水吗？

Dylan Patel

不，水坝本来就有发电能力，只是他们还没这么做，还需要一些额外设备，但也不难。为什么不做？确实存在安全风险。无论你是中国公司还是美国实验室，谁会愿意把包含全部知识产权的数据中心建在埃塞俄比亚？你希望 AGI 放在那里，让别人这么容易接触吗？人们甚至无法监控数据中心里的技术人员，也难以监管给数据中心供电的过程。可做手脚的地方太多了。我认为，如果有人破坏电网，想摧毁数据中心里的所有 GPU，其实很容易。

Dwarkesh Patel

中东地区有很多关于这类项目的讨论。

Dylan Patel

中东有一个正在建设的十万颗 GB200 集群。美国显然也在参与。阿联酋的数据中心和云公司 G42 的首席执行官是华裔，或者说未必是中国公民，但基本上亲中。OpenAI 原本想用他们的数据中心，后来……我感觉美国迫使微软和他们达成协议，让 G42 建一座十万颗 GPU 的集群，但出于安全考虑，由微软管理和运营。

科威特还有 Omniva，背后是个超级富有的科威特人，正在砸五十多亿美元建数据中心。放眼各国，这种事正在到处发生。马来西亚未来几年也有超过一百亿美元的 AI 数据中心建设项目。每个国家都在推进。

但总体来说，算力大部分建在美国，其次是中国，再往后是马来西亚、中东和世界其他地区。回到你的问题：合成数据、搜索方法、各种后训练技术，以及消化大量浮点运算的方法都有可能；或者他们可以学会跨多个数据中心训练。我认为至少微软和 OpenAI 已经做到了一些。

Dwarkesh Patel

你为什么认为他们已经做到了？

Dylan Patel

看他们的行动。微软签了超过一百亿美元的光纤合同，把不同数据中心连起来。我们已经看到一些许可文件，显示他们正在不同数据中心之间挖沟铺线。我们较有把握地认为，他们会把五个区域连接起来，每个区域都包含许多数据中心。

Dwarkesh Patel

总用电量会达到多少……

Dylan Patel

视具体时间而定，但轻松超过一吉瓦。

Dwarkesh Patel

也就是接近一百万颗 GPU。

Dylan Patel

但单颗 GPU 的功耗也在上升。粗略来说，H100 本身大约 700 瓦，但算上整套系统，每颗 GPU 的功耗约 1200 到 1400 瓦。下一代英伟达 GPU 本身约 1200 瓦，整机算下来可能达到 2000 瓦。每颗 GPU 的功耗也在上升。

现在已经有十万颗 GPU 的集群。亚利桑那州的 OpenAI 项目、孟菲斯的 xAI 项目都在建。还有至少五个我认为正在建设中的微软/OpenAI 及其合作伙伴 GB200 十万颗集群，实际可能更多。五十万颗 GB200 大约需要一吉瓦电力，预计明年就能上线。

再过一年，如果把各个数据中心站点的新增电力加起来——只看 2022 年之后的净增量，而非每个数据中心的总容量——规模仍会超过数吉瓦。

他们与 Lumen、Zayo 等几家光纤公司签了超过一百亿美元的合同。此外还有许多数据中心正在建设，比如德州的老加密货币矿场改造项目、CoreWeave 项目、德州的甲骨文/Crusoe 项目，以及威斯康星州、亚利桑那州和其他地方的项目。QTS、Cooper 等服务商也在建设，还有各家公司自建的数据中心，也包括我自己在建的项目。

Dwarkesh Patel

我们就说个数字吧：比如 2025 年，埃隆的集群会是最大的……具体是谁不重要。

Dylan Patel

这里有个定义问题。埃隆说他有最大的集群，有十万颗 GPU，因为这些 GPU 都完全互联。

Dwarkesh Patel

不管是谁，我只是想知道规模有多大……我不确定用 H100 等效颗数来衡量是不是更好……

Dylan Patel

今年最大的集群有十万颗 GPU。明年会达到三十万到五十万颗，取决于是在一个地点还是多个地点；我认为上限可能是三十万到七十万颗。关键是何时上线、何时连接起来、光纤网络何时铺好。我们就说三十万到五十万颗，但这些 GPU 的速度是十万颗集群的两到三倍。换算成 H100 等效算力，明年年底一个集群就相当于一百万颗芯片。

不过，‘一个集群’的定义有点模糊，这实际上是多站点集群。多站点能不能训练？效率会损失多少？到底可不可行？我真的相信可以，关键在于效率损失会有多大。

Dwarkesh Patel

效率损失会是百分之二十，还是百分之五十？

Dylan Patel

这是个好问题，需要业内机密数据才能回答。Anthropic 和亚马逊也有类似计划，其他公司也一样。

Dwarkesh Patel

再下一年呢？现在说的是 2026 年。

Dylan Patel

2026 年会有一个单站点、一吉瓦的数据中心，这是微软多个站点项目的一部分。

Dwarkesh Patel

微软那座五吉瓦的数据中心是 2026 年建成吗？

Dylan Patel

2026 年会有一个单站点、一吉瓦的项目，但其他项目也会同时推进。会有五个不同地点，有的包含多个站点，有的只有一个站点，总规模轻松超过两到三吉瓦。

接下来要问，旧芯片能不能和新芯片一起使用。只要资金持续投入，浮点运算能力的增长速度就会远超人们预期。除非 OpenAI 筹到约五百亿至一千亿美元，否则根本无法支付明年计划建设的集群规模；我认为他们会在今年年底或明年初筹到这笔钱。

Jon Y

五百亿到一千亿美元？你开玩笑吧？

Dylan Patel

不。Sam 有一种超能力：招人和融资。他在这两方面简直是神。

Dwarkesh Patel

芯片本身会成为扩张的瓶颈吗？

Dylan Patel

短期内不会。更关键的是集中还是分散。最大的集群有十万颗 GPU，而英伟达去年和今年一共生产了近六百万颗 Hopper。相比之下，十万颗真的很少。

Dwarkesh Patel

那为什么 Sam 还在谈斥资七万亿美元建晶圆厂之类的计划？

Dylan Patel

把数字画成对数坐标，数量就会不断增长，对吧？现在是十万颗，明年是三十万到五十万颗，换算后相当于一百万颗。接着每年再扩大十倍，或更多。如果增速继续提高……

Dwarkesh Patel

‘再扩大一次’是什么意思？比如到了 2026 年，数量会……

Dylan Patel

如果全球浮点运算能力的产出每年提高三十倍，或十倍，集群规模每年增长三到七倍，多站点训练也越来越成熟，就可能达到数百万芯片规模。即使这些芯片分布在不同地区，没有彼此紧邻，也能形成一个大型集群。

Dwarkesh Patel

那对应的浮点运算能力会达到 1e……多少？

Dylan Patel

我觉得 2028 或 2029 年达到 1e30 完全有可能。

Dwarkesh Patel

哇，好。你是说到 2028、2029 年就能达到 1e30。这整整是六个数量级，相当于 GPT-4 算力的 10 万倍。

Dylan Patel

还要补充一点：现在统计训练运行的 FLOP 数量的方法很愚蠢，不能只算激活参数量 × token 数 × 6。很蠢。正如你提到的，而且你也做过很多精彩节目讨论这个问题，当前范式还包括合成数据和强化学习、后训练、数据验证、生成并丢弃各种数据、搜索、推理时计算。这些都没有算在训练 FLOP 里。

所以不能说 1e30 是个荒唐数字，因为到那时预训练的实际 FLOP 也许只有 X，但为预训练生成的数据可能多得多，推理时搜索消耗的计算量也可能大得多。

Dwarkesh Patel

对。另外，如果你针对自己最弱的部分生成对抗性合成数据，样本效率可能会高得多。所以即使……

Dylan Patel

预训练 FLOP 本身会变得无关紧要。我其实不认为预训练 FLOP 会达到 1e30。更合理的说法是，总 FLOP 达到约 1e30，包括预训练、后训练、用于生成训练数据和后训练数据的合成数据，以及部分推理时计算优化。

Dwarkesh Patel

假设你真觉得这一切值得投资……如果算力达到 1e30，那相当于一个价值一万亿美元的集群，还是一千亿美元的集群？

Dylan Patel

大概是数千亿美元。但我真的相信，人们可以把上一代集群和新一代集群一起使用。也许旧集群只能用较小批次，或者可以用来生成并验证数据，等等。

Dwarkesh Patel

那么，达到 1e30……现在 NVIDIA 好像只占台积电 N5 产能的 5% 还是其他比例。到 2028 年会占多少？

Dylan Patel

这还是取决于你对规模扩展有多信、会有多少资金流进来，以及你怎么看进步的路径。模型会继续变好，还是进步曲线会变平？我相信模型能力会继续飙升。如果说的是 AI 在 2 纳米、A16、A14 这类制程上的用量——这些制程大约会在 2028 年出现——我觉得用在 AI 上的比例达到 60% 到 80% 完全没问题。

Dwarkesh Patel

按目前已经规划和开工的晶圆厂产能，能支撑 1e30 算力吗？还是还需要更多？

Dylan Patel

我觉得够了。

Dwarkesh Patel

那芯片目标就说不通了。所谓芯片目标，也就是我们没有足够算力的说法……

Dylan Patel

我觉得台积电对 2 纳米等节点的规划其实非常激进，这是有原因的。先说明，苹果一直是台积电最大客户，但它根本不需要那么多 2 纳米产能，也不需要 A16 或 A14 节点。苹果不需要这些。虽然他们最近聘了 Google TPU 系统设计负责人，可能要做 AI 加速器，不过这不是重点。苹果的业务并不需要那么多先进制程产能。很长时间里苹果大概占台积电业务的 25%。如果只看最先进节点，苹果几乎一直占一半以上，有时甚至占到最新节点的全部产能。这个模式会改变。

假设你相信规模扩展，相信模型会变得更好、带来巨大的生产力提升。如果相信这一点，台积电就必须据此行动，提供足够多的芯片。

所以 2025、2026 年的产能应该没问题。再往后，行业可以做好准备，但必须不断说服大家继续扩产，这不会自动发生。如果大家都默默不作声，这件事就不会实现。整个行业必须反复看到增长的实际证据。

Dwarkesh Patel

哪些人需要看到证据？投资者还是公司？

Dylan Patel

更具体地说，台积电需要看到 NVIDIA、Google 等公司的订单量持续快速增长。短期来看，比如明年，芯片比数据中心的限制要小；2026 年也类似。到 2027、2028 年的问题……当增长特别快时，人们总想说某一项就是瓶颈，因为这么说最方便。

2023 年那个方便的瓶颈是 CoWoS 封装。现在情况复杂多了，也更清楚地看到 HBM 是限制因素，CoWoS-L 也一样。还有数据中心、变压器、变电站、发电设施、电池、UPS、CRH、水冷系统，明年和后年这些全都可能成为限制因素。晶圆厂会在 2026、2027 年成为瓶颈。情况会不断变化，因为只要某一项提升 10%，下一个限制因素就冒出来；提升 20%，又会轮到另一个。

Dylan Patel

今天数据中心大约占美国总用电量的 4% 到 5%。从全国用电比例看不算特别多。不过也要考虑到一些煤电产能已经退役，其他电源也有变化。所以从全国角度看，电力供应没有那么夸张；从地方层面看，问题就很严重，因为关键在于电力输送能力。

变电站和变压器供应链也一样。过去，美国电力需求一直持平甚至略降，因为效率提高了，整个行业大幅萎缩。现在突然告诉这个行业：“明年如果你们能增产，生意就能扩大三倍。”但他们目前最多只能增产 50%。没关系，后年也许就能生产三倍。

如果给出这种需求信号，美国、日本以及全球各地的工业基础都能比大家想象得更快复兴。我真的相信，只要有需求，人们就会创新。一个行业利润低、业务也不增长时，情况是一回事；突然之间，如果电力行业变成最热门的领域，人们开始规划各种项目，客户又不断上门，愿意为 1% 的效率提升多花钱——因为这能让他们给芯片多供 1% 的电——那就完全不同了。

这种情况下，创新就会被激发出来。如果同时引入 AI 工具，创新会进一步解锁。产能不会一夜增长，但在六个月、十八个月或三年内都能迅速扩大。你会看到这些行业重新焕发生机。

关键是让人们理解并相信这一点。说到这里……我告诉你 Sam 正在筹集 500 亿到 1,000 亿美元，因为他公开说要筹这么多钱。他确实在和各国主权基金、沙特、加拿大养老金基金以及世界上最大的投资者洽谈。当然也包括微软。他们就是要推出下一代模型，给投资人看，然后把钱筹回来。这就是他们的计划。

97:05Dwarkesh Patel

如果这些项目已经规划好了……

Dylan Patel

钱还没到位。

Dwarkesh Patel

那没有资金怎么规划项目？

Dylan Patel

现在微软承担了巨大的信用风险。他们已经和许多公司签了协议，打算建设这些设施。微软当然有能力付款。直接资本支出从 500 亿到 800 亿美元，另外通过 Oracle、CoreWeave 还有约 200 亿美元的承诺，再加上数据中心合作伙伴的大约 100 亿美元。按目前时间表，他们明年付得起。

这是因为微软真的相信 OpenAI。他们可能也会想：“天啊，我们承担了太多信用风险。”当然，他们还得对华尔街解释。但因为相信 OpenAI 是优秀的合作伙伴，他们承担得起这笔风险。

当然，OpenAI 必须交出成果，做出好得多的下一代模型，也必须筹到资金。我相信他们会做到。看看 GPT-4o 有多厉害、规模却比 GPT-4 小这么多，成本低得不可思议，远低于 API 价格给人的印象。你会想：“如果只是把模型做大呢？”在我看来，下一次跃迁很明确，到时他们就能从全世界筹到这笔资金和资本。

Jon Y

这听起来太刺激了，非常刺激。

Dwarkesh Patel

Jon，如果他的判断是对的——或者说，如果能力真的达到了，那么收入也会随之出现……

Dylan Patel

收入不重要。

Jon Y

收入很重要。

Dwarkesh Patel

台积电的产能、晶圆、电力等方面，有没有哪一点让你觉得整个图景不成立？

Jon Y

我只能谈半导体，虽然我不是专家。我觉得台积电能做到，而且会做到。我只是认为，2024、2025 年的产能问题不大；2026、2027 年才是关键时刻，要看半导体行业和其他行业能否相信这里会有利润。这也意味着 2024、2025 年是否真有资金到位。

Dwarkesh Patel

你觉得 2025 年 AI 行业整体需要多少收入才能继续扩张？

Dylan Patel

不重要。

Jon Y

拿智能手机行业作比较。我知道他说收入不重要。

Dylan Patel

我马上解释为什么。

Dwarkesh Patel

智能手机行业的规模是多少？比如 Apple 年收入大约 2,000 亿美元。所以……

Jon Y

对，我们需要一个规模像智能手机一样的市场，对吧？但就连智能手机行业也没推动这种扩张速度。这太疯狂了，你不觉得吗？我唯一能想到的应用大概就是 AI 女友。你明白我的意思吧？

Dylan Patel

不，我要一个真正的女朋友，拜托。理由有几个。自 2022 年以来，所有大型科技公司的投入资本回报率都提高了。因此很明显，到目前为止，对大科技公司来说，AI 投资是有回报的。看 Meta、微软、Amazon、Google，财务数据里投入资本回报率都在 2022 年以后上升了。

Dwarkesh Patel

这具体是 AI 带来的吗？

Dylan Patel

不是，只看公司整体情况。当然也有其他因素，比如 Meta 广告效率提高了多少，其中多少归因于 AI？

Jon Y

这问题非常复杂。

Dylan Patel

不过还有一个理由，可以用帕斯卡赌注来理解。假设这是个矩阵：你信不信上帝？如果你相信，上帝又存在，那很好，你会上天堂；如果你不相信，但上帝存在，那你就会下地狱。

Dwarkesh Patel

这就是你订阅 SemiAnalysis 后能看到的深度技术分析。

Jon Y

你能想象 Satya 开始谈帕斯卡赌注时，微软股价会怎样吗？

Dylan Patel

但从心理上说，大家确实是这么想的。Satya 在财报电话会上说过，投资不足的风险比投资过度更大；他几乎原话就是这么说的。这就是帕斯卡赌注。

我必须相信 AGI 即将到来，因为如果我不信，而竞争对手先做到了，我就彻底完蛋了。

Jon Y

除了 Zuck 看起来很确信之外……

Dylan Patel

不，Sundar 也在财报电话会上这么说过。Zuck 说过，Sundar 说过；微软承担信用风险的做法也说明 Satya 相信。他非常擅长公关和表述，所以没有那么公开地说出来。

Sam 相信，Dario 也相信。你看这些科技巨头，他们都相信。再看资本持有者，阿联酋相信，沙特也相信。

Dwarkesh Patel

你怎么知道阿联酋和沙特相信？

Dylan Patel

这些大型公司和资本持有者都相信，因为他们正在把钱投进来。

Jon Y

但这种情况不会一直持续，除非有收入进来。

Dylan Patel

对，对。不过关键在于……事实很简单：GPT-4 的训练成本大约是 5 亿美元，但已经带来数十亿美元的经常性收入。与此同时，OpenAI 融资了 100 亿或 130 亿美元，实际上正在训练一款成本差不多的新模型。

他们显然还没赚钱。等他们下一次重来会怎么样？他们发布 GPT-5，能力让全世界都惊呼：“我操！”模型发布后，收入要过一段时间才会出现。眼下年收入可能只有几十亿美元，或按运行速度计算约 50 亿美元。

但他们刚刚融资了 500 亿到 1,000 亿美元，因为所有人都觉得：“我操，这东西能带来数百亿美元收入。”只是这些收入需要时间才会进来，不会发布时立刻到账。可投资决策是在当下做出的，不只是 Sam，一个个投资者都要现在决定要不要出钱。

看看大家正在建设的数据中心。建数据中心的大部分支出不一定要马上付，因为真正的大头是芯片；但你已经承诺到 2026 或 2027 年要建设如此庞大的数据中心容量。若 AI 发展不成，接下来三到五年你可能都不需要再建新的数据中心。

这些就是大家正在采取的实际行动。比如 2026 年我可以花超过 1,000 亿美元买芯片，2027 年再花超过 1,000 亿美元。收入到账的时间和支出、融资的时间之间存在滞后。

不一定需要 2025 年收入就能支撑这些投入，也不一定需要 2026 年收入马上支撑。2025、2026 年的收入要支撑的是此前的投入：比如 OpenAI 在 2023 年花的 100 亿美元，或微软在 2023 年和 2024 年初建集群的支出；他们在 2024 年中训练模型、年底发布，然后模型在 2025、2026 年开始带来收入。

Jon Y

我只能说，如果看一张只有三个点的图：GPT-1、GPT-2、GPT-3，你会想……

Dwarkesh Patel

即便看那张图，从 GPT-3 到 GPT-4，所需投资增加了 100 倍；从 GPT-4 到 GPT-5，又要增加 100 倍。目前投资回报率可能是正的——这完全可能，我觉得最终会是这样——但收入也必须呈指数级增长。

Jon Y

当然，我同意。但我也同意 Dylan 的看法，这事能做到。投资回报这方面，台积电就是例子：它投资 160 亿美元，也期待得到回报，然后就这么做了。我明白资金投入会有滞后，这没问题。我真正担心的是 GPT-5 还没出来，所有事情都取决于 GPT-5 是否够好。如果 GPT-5 很糟，不能让人眼前一亮，这一切就都不成立了。

Dylan Patel

你穿什么袜子？给我们看看。

Jon Y

AWS。

Jon Y

GPT-5 还没出来，进度晚了。我们还不知道。

Dylan Patel

我不觉得它晚了。

Jon Y

我觉得它晚了。

Dwarkesh Patel

好，我想拉远一点，重新谈谈本世纪末的前景。

Dylan Patel

我们已经把 Jon 弄丢了。

Jon Y

我们是不是已经假定 GPT-5 会很厉害？喂？

Dwarkesh Patel

你得……你知道吧？

Dylan Patel

生活中最开心的时刻，莫过于满怀幻想地……

Jon Y

我们这是在抽大麻吗？

Dylan Patel

当你感受到 AGI 时，你会感受到自己的灵魂。

Jon Y

这就是我不住在旧金山的原因。

Dylan Patel

我对 GPT-5 这一阶段非常有信心。

Dwarkesh Patel

为什么？

Dylan Patel

因为我们已经看到的一切。公开迹象都表明事情会这样发展。至于更多内情就没那么确定了，我也不知道，只能看他们能进步多少。

只要能力持续提升，很多人的生活就会继续被彻底改写。智能每提升一级，使用量就大幅增长；相同智能的成本每下降一级，使用量也会大幅上升。持续向外扩展这条曲线，才是真正重要的事。

不一定非得是今天，也不必严格比较收入和资本支出。未来几年任何时候，只要能回答一个问题就行：上一次巨额资本支出对 OpenAI 或当时的领先公司是否值得？这些钱之后如何发挥作用？或者，他们能不能说服足够多的人，让投资者愿意筹出这么多资金？

你觉得 Elon 靠人脉只融到 60 亿美元就到头了吗？不，xAI 很容易就能再融到 300 亿美元以上。你觉得 Sam 融完了吗？Anthropic 融完了吗？相对而言，Anthropic 还没稀释多少股权。能筹的钱还有很多。你要称之为 FOMO 也行；互联网泡沫期间，私营企业一年就烧掉大约 1,500 亿美元。我们现在还远没到那个规模。

离互联网泡沫还差得远。为什么这次泡沫不能更大？回顾之前的泡沫：个人电脑、半导体、机电一体化。美国历史上每次泡沫规模都更小。我不知道这次该不该叫泡沫，也不知道它为什么不能更大。

Dwarkesh Patel

现在这个泡沫每年涉及多少十亿美元？

Dylan Patel

如果说私人资本，今年到目前为止大约是 550 亿到 600 亿美元。还能高很多，我觉得明年就会增加。

Dwarkesh Patel

让我想想。

Jon Y

你得再抽一口大麻。

Dylan Patel

至少，之前的泡沫并不是由人类历史上最赚钱的公司投入的，而且很多靠债务融资；现在还没有用债务融资。这是最后一点。90 年代的泡沫就有大量债务融资。

Jon Y

那些公司因此遭受了灾难性后果。

Dylan Patel

没错，但也建设了很多基础设施。要让真实的东西建起来，有时就必须经历泡沫。

Dwarkesh Patel

这个类比挺有意思。互联网泡沫显然破裂了，许多公司也破产，但它们确实铺设了互联网及其后续发展所需的基础设施。你可以设想 AI 领域也一样：基础模型公司会倒闭一批，但也可能由此推动奇点到来。

Jon Y

90 年代初，大家投了很多钱到 MEMS 和光学技术，因为所有人都以为光纤泡沫会持续下去。但这一切在 2002 或 2003 年结束了。

Dylan Patel

那是 1994 年开始的吗？

Jon Y

从那以后就没有复苏。你有可能冒这样的风险……

Dylan Patel

兄弟，Lumen 是微软光纤建设的承包商之一。它的股价上个月或本月涨了四倍。

Jon Y

那它从 2002 年到 2024 年表现如何？

Dylan Patel

惨，惨透了。但这次我们要猛冲了，兄弟！再来一口！

Jon Y

AI 进步也可能停滞二十年。

Dylan Patel

当然，有可能。也可能 GPT-5 展示一个很酷的演示，稍微发布一点功能，大家就融到一大笔钱。甚至可能像 Devin 那样做个演示，基本上全是忽悠，但也没关系。

Jon Y

把那段剪掉！剪掉！

Dylan Patel

不用剪，我不在乎。资本会不断涌入。短期内，泡沫是否破裂无关紧要，因为你只能在正在发生的环境里行动。巴菲特有句名言是什么来着？我甚至不确定是不是巴菲特说的。

Jon Y

你不知道谁在裸泳，直到潮水退去？

Dylan Patel

不是，不是。我想说的是那句：市场可以疯狂很久，远比你能保持偿付能力的时间长，之类的。

Jon Y

这不是巴菲特说的。

Dylan Patel

不是巴菲特？

Jon Y

那是约翰·梅纳德·凯恩斯。

Dylan Patel

我操，这么老的名言？好吧，是凯恩斯说的。总之，这就是我们所处的世界。具体结果如何并不重要，过程中会有起伏，但我们只能在这个现实里行动。

Jon Y

我估计如果 AI 泡沫破裂，这些 CEO 一个个都会丢掉工作。

Dylan Patel

对。或者说，如果不投资而输掉这场竞争，结果就像帕斯卡赌注一样，更糟。回头看每个十年结束时市值最大的公司，名单变化很大，而且这些公司是历史上利润最高的公司。他们会眼看着自己输掉，还是全力一搏？他们只有一次机会，要把自己变成……那首 Eminem 歌里唱的那样。

110:20Dwarkesh Patel

我想听听你们是怎么创办现在这些公司的。Jon，你的频道是怎么开始的？你开始做 YouTube 时在做什么？

Dylan Patel

是和你的纺织品公司有关吗？

Jon Y

天啊，不会吧。

Dylan Patel

拜托，拜托。

Dwarkesh Patel

等等，他在开玩笑吗？

Dylan Patel

如果他不想说，我们之后再聊。

Jon Y

这故事大家都知道，我讲过一百万遍了。Asianometry 起初是个旅游频道。我为了工作搬到了台湾。

Dylan Patel

做什么工作？

Jon Y

我在摄像机行业工作。

Dylan Patel

你当时创办的另一家公司叫什么？

Jon Y

那样会暴露太多我的身份。我在摄像机行业工作过，后来和我妈妈去了日本。我妈说：“你在台湾做什么？我都不知道你在干嘛。”我说：“好吧，妈，我回台湾给你做点东西。”于是我开始拍视频。我会去中正纪念公园说：“嗨，妈，这个公园以前是这样的……”

后来能介绍的内容就用完了。不过从旅游频道转向中国史、台湾史还挺自然。有人开始叫我“Chinanometry”，我不喜欢这个名字，所以转而做亚洲其他地区的内容。

Dwarkesh Patel

观众大概什么时候开始看你的视频？比如每个视频有一千次播放？

Jon Y

天啊，我 2017 年创办频道，到 2018 或 2019 年才开始有人看。头三年我一直埋头做，基本没人看。得到 200 次播放我就觉得：“哇，太棒了。”

Dwarkesh Patel

视频当时和现在差不多吗？我想向不熟悉的人介绍一下。大家大概都知道 Asianometry，它是半导体、亚洲商业史、商业史、地缘政治、历史等领域最受欢迎的频道。我研究 AI 嘉宾和其他想弄明白的问题时，常会参考它。硬件怎么运作？AI 怎么运作？

Dylan Patel

比如拉链怎么运作？你看过那个视频吗？我记得有连续三期：第一期讲 80 年代俄罗斯石油工业如何支撑整个国家，以及崩溃时俄罗斯如何陷入困境；下一期讲日本的拉链垄断……

Jon Y

不是垄断。

Dylan Patel

再下一期讲 ASML。

Jon Y

不是垄断。它在中端市场占有很强地位，就像奢侈品拉链品牌。

Jon Y

Asianometry 一直都是做我感兴趣的东西。我对很多不同话题都有兴趣，然后不知怎么的，大家开始看我做的内容。我也完全不知道为什么。说实话，我仍觉得自己像个骗子。坐在 Dylan 面前，尤其听到他说六万片晶圆之类的东西时，我就觉得自己是个彻头彻尾的冒牌货，心想：“这些我应该都懂啊。”但归根结底，我只想尽力讲出有趣的故事。

Dwarkesh Patel

你怎么做到每周都做视频？这些内容……

Jon Y

一周两期？

Dylan Patel

你知道他以前全职工作做了多久吗？

Jon Y

五六年吧。

Dwarkesh Patel

一边上班一边做？

Dylan Patel

不，是纺织品生意、全职工作和 Asianometry 三样同时做，而且做了很久。

Jon Y

我今年才真的放弃纺织品生意。

Dwarkesh Patel

你怎么做到每周研究并制作两期视频？我就只是坐着瞎聊。我两周才做一回这个。

Dylan Patel

差别在于，Dwarkesh，你总去旧金山湾区参加派对；Jon 则完全投入，24 小时连轴转。

Dwarkesh Patel

他有台积电的工作伦理，我有 Intel 的工作伦理。

Jon Y

我有华为式工作伦理。如果我没完成视频，我家人就会被抢劫一空。

Dylan Patel

真的，如果他没有按计划完成工作，会非常焦虑。

Jon Y

我每周做两期视频，都是同时写的。

Dwarkesh Patel

你怎么发掘未来想做的选题？随手看文章、书之类的，觉得有意思就做一期？

Jon Y

有时我会搜一个国家、一个行业，看看这个国家现在出口什么、以前出口什么。把两者对比一下，选题就有了。有时也很简单，比如：“我该做一期讲 YKK 的视频。”

Dylan Patel

这拉链不错。我应该做一期讲它的视频。

Jon Y

我就是这么做的，真的……

Dwarkesh Patel

你会不会列一张选题单，比如“下一个做这个，再下一个做那个”？

Jon Y

我有一长串想法。有时只是一个模糊主题，比如日本威士忌。我完全不知道日本威士忌有什么可说的，只是以前听过，也看过相关电影，就会想：“好，我应该做一期讲这个的视频。”

Dwarkesh Patel

你有多少个正在酝酿的选题？我是指你持续阅读相关资料，一个月左右后会想：“我来做一期视频。”

Jon Y

我刚做完一期 IBM 如何失去 PC 市场的视频，现在正从中缓一缓。接下来可能会做 Compaq 如何崩溃、如何被浪潮冲垮。与此同时，我还在筹备一期量子比特的视频，以及一期关于半导体制造中定向自组装的视频；我会读很多 Dylan 的文章。很多内容都是在脑子里慢慢积累，边走边做。

Jon Y

Dylan，你是怎么工作的？

Dwarkesh Patel

一个在 Reddit 上发垃圾帖的人，怎么走到今天，经营一家半导体研究和咨询公司？我们从发垃圾帖讲起。

Dylan Patel

说来话长。我父母是移民，我在佐治亚州乡村长大。七岁时我缠着父母要 Xbox，八岁时终于得到了，是 Xbox 360。它有个制造缺陷，叫“红环死机”。我试过各种修理办法，比如用湿毛巾包住 Xbox，还有一种叫“硬币法”的技巧，都不管用。表哥下周末要来，比我大两岁，我很崇拜他。我把他看得比哥哥亲，觉得“我们是朋友，你肯定没那么喜欢我哥哥”。我哥哥比较像运动型的人。Xbox 坏了他倒不在乎，只说：“你最好把它修好，不然爸妈会生气。”

我在网上找到了修理方法，也试了很多不同办法，最后把温度传感器短接了，勉强能用到微软召回产品为止。那时我为了把 Xbox 修好，不得不在论坛上学习。我是个爱好电脑的孩子，喜欢游戏，但也没别的渠道。后来我想：“我操，这是刚打开的潘多拉魔盒！”于是我开始不断在论坛上发垃圾帖，持续了很多年。十几岁时，我还当过各种 Reddit 社区的版主。后来开始挣钱——我在家族企业长大，但工作当然没工资，和你一样——大概 18、19 岁时，我通过实习开始赚钱，就开始投资半导体。我想：“这当然是我喜欢的东西。”

一路看着技术进步，尤其是手机行业：芯片和手机从很差变得越来越先进。每一代都会增加新功能，我会读每条评论、每篇技术文章。我也对相关技术史和供应链上的公司感兴趣，于是越积越多。我上大学时学了一些数据科学，后来在一家金融公司做飓风、地震、野火模拟等工作。大学期间我没再那么频繁地在网上发帖，但还是会发一些内容，也会关注股票和供应链上的各种公司，包括设备制造商，因为所有这些技术都是它们造出来的。

Dwarkesh Patel

你在现实生活中有喜欢这些话题的朋友吗？还是大家都只在网上认识？

Dylan Patel

我是在网上交的朋友。

Jon Y

哦，这很危险。

Dylan Patel

说实话，我真的只遇到过一次糟糕经历，而且只是因为那人吸毒过量。

Dwarkesh Patel

你在线下遇到过糟糕的网友吗？

Dylan Patel

和网上认识的人线下见面。其他人真的都很……在那之前已经有足够多的筛选了。就算他们有非常严重的自闭症，也没关系，我自己也有。不是，我开玩笑的。你一层层深入，研究经济角度，也研究技术角度，读很多书。你完全可以买工程教材来读。是什么拦着你？撞几次墙，自然就学会了。

Dwarkesh Patel

你做这些的时候，预期自己以后会从事这个领域吗？还是纯粹出于兴趣？

Dylan Patel

没有，这只是我多年来痴迷的一项爱好，而且兴趣方向一直在变。有段时间我特别喜欢游戏，后来转向手机，研究给手机 root、降低频率，还有手机里的芯片、屏幕和摄像头；之后又回到游戏，再转向数据中心，因为当时最先进的东西都在那里。有一阵子我也喜欢各种电信技术。兴趣四处跳转，但总体上都围绕计算硬件。

我做过数据科学。面试时我说自己做过 AI，其实就是些很扯的多变量回归之类的东西，做的是飓风、地震和野火模拟，用于金融领域。我大学毕业后工作了三年，一直在网上发帖。我很长一段时间有个匿名博客，也做过一些 YouTube 视频之类的。网上大部分内容都已经被清掉了，连 Internet Archive 上的也没留下，因为我请他们把这些内容删掉。

2020 年，我在工作上开始消极怠工，更认真地在网上发各种帖子。我搬出了公寓，开始开车带着帐篷在美国旅行，去了所有国家公园。一周里大概三四天住酒店或汽车旅馆，其余时间就在车和帐篷里。我开始更频繁地在网上发帖。以前我已经有过一些小型咨询业务，但到了 2020 年年中，网上以我的个人身份接来的咨询工作才真正开始增加。

Dwarkesh Patel

都是些什么人？投资者，还是硬件公司？

Dylan Patel

他们是不做硬件、但想了解硬件的人。有些是投资者，包括一些风险投资人士和公开市场从业者。有时也有公司来问产业链上游几层的问题。他们看到我随手写的帖子，就会问：“嘿，我们能不能……”各种各样的事都有。当时收入很少。

到了 2020 年，业务确实开始起色，我就想：“要不我随便把价格调高很多？”结果还真行。我也办了一份新通讯，继续发帖。内容质量越来越好，因为十多年来读者会看完后告诉我：“这简直胡说八道，真正正确的情况是这样。”

2021 年底，有人没付报告的钱之类的，于是我发了一篇付费文章，讲光刻胶及其行业发展。光刻胶是在晶圆进入光刻设备前涂在上面的材料。效果很好。我那晚睡觉前还没什么，第二天醒来就有 40 个付费订阅。我想：“什么？好吧，那就继续。”我开始发布更多内容，有些免费，有些收费，涉及先进封装、芯片、数据中心和 AI 芯片等。我写的都是自己感兴趣、也觉得有意思的东西。

我一直在经济层面和技术层面之间搭桥。毕竟我从 18 岁起就读各家公司的财报，现在已经 28 岁了；我也尽可能深入技术领域。2022 年，我还开始尽可能参加各种会议。我一年大约参加 40 场，不是贸易展那种会议，而是技术会议，比如芯片架构、光刻胶、AI，以及 NeurIPS、ICML 等会议。

Dwarkesh Patel

你一年参加多少场会议？

Dylan Patel

大约 40 场。

Dwarkesh Patel

所以你基本上住在会议上？

Dylan Patel

是啊。从 2020 年起我就是数字游民。现在算是停下来了，搬到了旧金山，不过也不完全算。

Jon Y

你不能说加州政府……

Dylan Patel

我不住在旧金山，拜托……不过现在基本上算是住在那儿。

Dwarkesh Patel

加州税务局。

Dylan Patel

别拿那些人开玩笑。说真的，别开这个玩笑。

Jon Y

他们会把这段播客剪出来发给你，然后说：“请交 40%。”

Dylan Patel

我连续待在旧金山的时间不到四个月，正好 100 天，或者说 179 天。行吧？这是按全年算的……不过我确实会参加所有会议，和国际电子器件制造、光刻与先进图形化、超大规模集成电路等领域的技术人员建立联系。还有电路会议。你得把产业链的每一层都跑一遍。这个行业分工极其细，有数千万人在里面工作。

但你要参加每一类会议，努力听懂报告，做必要的功课，再研究背后的经济情况。你就是好奇、想学习。这样知识会不断积累。我写的内容越来越好，关注的领域也越来越深入。后来在 2022 年年中，我也开始招聘，找来分别熟悉产业链不同环节的人。

如今几乎每一家超大规模云服务商都是客户，他们买的不是通讯，而是我们出售的数据。许多大型半导体公司、投资者以及其他人也会购买我们的数据和产品。公司员工的经历横跨各个领域，有来自 CYMER、ASML 的，也有来自微软和 AI 公司的。沿着产业链的分工，我们现在有 14 名员工，分布在美国、日本、台湾、新加坡和法国，遍布全球、背景也很广。团队里还有前对冲基金从业者，形成了技术与金融专长的融合。我认为我们在这个领域尽力做出了最好的工作。

Jon Y

你还在说那种大杂烩吗？

Dylan Patel

一种不太寻常的混合体。我们为真正想深入了解这个领域的人提供数据分析、咨询等服务。比如可以讨论有人正在建设大型数据中心，但每家公司每季度生产了多少颗芯片、分别是什么类型？这些芯片有哪些子组件？服务器又由哪些部件构成？我们尽量追踪所有这些信息。我们跟踪每一家服务器制造商、每一家零部件制造商、每一家线缆制造商，一直到整个产业链上的设备制造商。我们知道卖出了多少、卖到哪里、如何销售，并进一步预测每一座数据中心的位置及其建设进度。这就是我们想要收集并出售的数据。一个验证信号是，超大规模云服务商会购买这些数据，而且非常喜欢；AI 公司和半导体公司也会买。公司如何发展到今天？就是努力做好工作，并争取做到最好。

126:10Dwarkesh Patel

假如你是一位想进入硬件产业链某个环节的创业者……如果今天可以在产业链某处创办一家企业，你会选择哪里？

Dylan Patel

Jon，跟他说说你的纺织品生意。

Jon Y

我会做存储器，做点和存储器有关的事。核心问题是它们必须容纳海量数据。我认为存储器在技术上已经遇到了瓶颈。HBM 的出现就是因为 DRAM 的限制。我觉得从根本上说……大家因为存储器是大宗商品就把它忘了，但不应该这样。如果能在这个设想下突破存储器，世界会因此改变。

Dylan Patel

这里的背景是，摩尔定律在 1965 年提出，英特尔于 1968 年成立，并在 1969 年和 1970 年推出首批存储器芯片。因此，摩尔定律很大一部分讨论的其实是存储器。存储器行业一直遵循摩尔定律，直到 2012 年左右才停下来。从那以后，进步变得非常渐进。而逻辑芯片的进步还在继续，人们会说：“哦，它快不行了，速度在放缓。”至少仍有一些进展；密度提升和成本下降的年复合增速仍超过 10% 到 15%。但存储器自 2012 年以来的表现确实很差。

考虑存储器成本时……它一直被当作大宗商品。但把存储器与加速器集成起来，是一个值得探索的方向。不过我不知道创业者能不能在这里做出成绩，这才是真正的难题。因为你必须以极其庞大的规模制造，或者设计某种产品；而这个行业并不允许你定制存储器器件。

Jon Y

或者采用不适合这种用途的材料。

Dylan Patel

所以这里有很多工作可做。我不一定同意你的看法，但我同意这是最值得人们投入的领域之一。

关键在于你擅长什么。你在哪些事情上能发挥所长、享受工作，并对社会有所贡献？抽象层级有上千种。你能在哪一层提高效率？你能在哪里利用 AI 做出更好的东西，让整个世界更有效率，创造更多财富，并形成迭代反馈？在我看来，今天的机会比人类历史上任何时候都多。走出去试一试吧。什么事情能让你投入？因为你感兴趣，就会更努力。

如果你热爱铜线，我向上帝保证，只要你把铜线做到最好，就能赚很多钱。如果你热爱 B2B SaaS，我也向上帝保证，你会赚到一大笔钱。我不喜欢 B2B SaaS，不过只要是你热爱的东西就行。努力工作、尝试创新，把 AI 引入其中，试着用 AI 提高自己的效率，并让各处都更有效率。我保证你会成功。

我的看法就是这样。并不是说只有一个特定位置值得去，因为供应链的每一层都有机会。你去参加会议，和那里的专家交流，他们会说：“伙计，这些环节出了问题，我们可以这样创新。这五个提取环节可以这样改进。”那就去做。还有很多领域远未达到帕累托最优，在创新和消除低效率方面仍有巨大空间。

Dwarkesh Patel

在这里结束很合适。Dylan、Jon，非常感谢你们来参加节目。提醒大家，Dylan Patel 的网站是 semianalysis.com，那里有我们今天讨论过的各种技术分析。Asianometry 的 YouTube 频道大家应该都知道了。不管怎样，谢谢你们来做客，今天聊得很愉快。

Dylan Patel

谢谢。

Jon Y

嗯，谢谢。