Nvidia 第三部：AI 时代的黎明（2022–2023）

Ben：你喜欢我这件雄鹿队 T 恤吗？

David：我喜欢你的雄鹿队 T 恤。

Ben：两周前我去 Benchmark 开会，第一次去了那里，那种怀旧感真是难以置信。

David：真不敢相信你以前没去过。我知道 Jensen 是丹尼餐厅的常客，不过我觉得只要我们开口，他也会愿意在雄鹿队的店里见我们。

Ben：至少我们应该想办法弄些 Nvidia 纪念品，放到钱包账簿里。

David：完全同意。

Ben：正合适。好，开始吧。

David：开始吧。

Ben：欢迎收听 Acquired 第 13 季第 3 集。这是一档讲述杰出科技公司及其故事与发展套路的播客。我是 Ben Gilbert。

David：我是 David Rosenthal。

Ben：我们是你们的主持人。今天要讲一个我们以为已经讲完的故事：Nvidia。但过去 18 个月发生的一切实在太疯狂了，值得单独做一期节目。所以今天是我们讲 Nvidia 的第三部分，讲述 AI 革命的故事：我们如何走到今天、为什么它此刻发生，以及这一切如何一路追溯到原子与硅片。

我做了一件挺不可思议的事：在文稿里搜索，想确认一件事是不是真的。我们在 2022 年 4 月的几期节目里一次都没说过“生成式”这个词。变化就是这么快。

David：难以置信。

Ben：确实太疯狂了。AI 这一切发生的时机，既不可思议地巧合，又非常有利。回想 18 个月前：整个 2022 年，利率迅速上升，公开市场股票、早期创业公司乃至房地产市场都纷纷大幅下跌。加密货币和 Web3 泡沫破裂，银行倒闭。看起来整个科技经济，甚至更大范围的经济，都要进入漫长寒冬。

David：Nvidia 也一样。

Ben：Nvidia 也一样，他们为原以为是过度订货而积压的库存计提了大额减值。

David：是啊，变化真大。

Ben：但到了 2022 年秋天，就在一切看起来最黯淡的时候，一项在实验室里研究多年的突破性技术终于变得实用起来。基于创新的 Transformer 机器学习机制构建的大语言模型，也就是 LLM，突然走进公众视野：先是 OpenAI 的 ChatGPT，成为历史上用户增长到 1 亿最快的应用，随后 Microsoft、Google 以及几乎所有公司都迅速跟进。

2022 年 11 月，AI 无疑迎来了自己的 Netscape 时刻。时间会给出答案，但这甚至可能是它的 iPhone 时刻。

David：Jensen 显然就是这么认为的。

Ben：没错。今天我们要探究这项突破究竟如何发生、背后有哪些关键人物，当然也会谈到为什么这一切都建立在 NVIDIA 的硬件和软件之上。

如果你想确保每次新节目上线都能收到消息，可以去 acquired.fm/email 注册。你还能获得我们不会在其他地方发布的两样东西：（1）下一期节目的线索；（2）节目发布后我们了解到的后续信息。听完后也欢迎到 acquired.fm/slack 和我们讨论这一期。

如果你还想多听听我和 David 的节目，可以收听我们的访谈节目 ACQ2。接下来几期会聊 AI，采访引领这个领域的 CEO；还有一期很棒的 Doug DeMiro 访谈。我们本来想和他聊的不只是 Porsche，可在 Doug 的车库里好像只待了 11 个小时左右。关于汽车行业，以及 Doug 的经历和事业，我们留给了 ACQ2，欢迎去听。

最后还有一则通知。很多人一直在问，邮件也来了不少：那些帽子什么时候补货？现在已经重新上架了，但只限时出售。你可以去 acquired.fm/store 买一顶绣有 ACQ 标志的帽子。赶在它们永远被锁进迪士尼金库之前下单吧。

David：太好了。我终于能给 Jenny 买一顶自己的，这样她就不会再偷我的了。

Ben：好。在正式开始前提醒一下，本节目不构成投资建议；David 和我可能持有节目中讨论公司的投资。本节目仅用于信息交流和娱乐。David，来讲讲历史和事实。

David：天哪，一方面，我们只需要讨论过去 18 个月。

Ben：不过我知道，你肯定不会从 18 个月前开始讲。

David：另一方面，我们还得讲几十年积累下来的基础研究。我开始做研究时，最自然的起点就是我们 2022 年 4 月的旧节目。我重听了它们，听到第二期结尾时想起一件事。

我之前忘了这件事。我觉得 Jensen 可能希望我们都忘掉：NVIDIA 在 2021 年的一张业绩演示文稿里列出了总可寻址市场，并称其规模达 1 万亿美元。

他们的计算方法是：服务于总产值 100 万亿美元的行业，再从中拿下 1%。那张幻灯片里有些内容相当推测性，比如自动驾驶汽车、Omniverse，我记得机器人也是其中的重要部分。

Ben：论证基本上是：汽车、工厂以及其他东西加起来是 100 万亿美元，而我们只要拿下其中 1%，因为它们的计算需求肯定会占到 1%。我不是说这一定错，但这种分析市场的方法非常粗略。

David：是啊，这通常不是创办初创公司时正确的思考方式。比如说，‘这个大市场只要拿下 1% 就行，诸如此类。’

Ben：这是我能想到最自上而下的市场规模估算方式。

David：Ben，你在 Nvidia 第二部分的结尾正确地指出了这一点：要证明 Nvidia 当时的交易估值合理，实际上就得相信这些事情都会发生，而且很快发生：自动驾驶汽车、机器人，以及其他一切。

Ben：重要的是，我当时觉得，要让 Nvidia 值到那个价格，它就必须为现实世界里的所有这些硬件提供算力。

David：我真不敢相信自己当时说了那句话，那完全是无心且缺乏了解的。我只是在抓救命稻草，试着替你唱反调。我们那期节目大部分时间都在讲 Nvidia 支持的机器学习，后来出现了一个极有价值的用途：驱动社交媒体信息流推荐。Facebook 和 Google 靠这些推荐功能在互联网上发展到超乎所有人想象的规模，而 Nvidia 为这一切提供了算力。

所以我当时随口提出：也许不用相信那些事，仍然可以认为 Nvidia 值 1 万亿美元。也许互联网、软件和数字世界还会继续扩张，而 Nvidia 能为一个新的基础层提供算力？这有可能吗？我记得我们俩都觉得：嗯，不知道。那就结束这一期吧。

Ben：是啊，行吧。我们耸耸肩，说‘先把这部分搁下。’

David：但疯狂之处在于，至少在这个时间范围内，Jensen 那张万亿美元 TAM 幻灯片上的大多数事情当然都还没发生。可那个疯狂的问题也许真的应验了。从 NVIDIA 的营收和利润来看，确实如此。太不可思议了。

Ben：好，那我们是怎么走到今天的？

David：让我们倒回去讲讲。2012 年，人工智能迎来了大爆发时刻；当时人们更谦逊地称之为机器学习。而那个时刻就是 AlexNet。

我们上一期详细讲过这件事：多伦多大学的三位研究人员将 AlexNet 算法提交给 ImageNet 计算机科学竞赛。ImageNet 是一项比赛，参赛者要识别一组 1,400 万张图像；这些图像都由人工标注了内容，比如草莓、猫、狗之类。

Ben：David，你之前告诉我，直到那时，Mechanical Turk 最大的一次用途就是给 ImageNet 数据集做标注。

David：是啊，真不可思议。在这场竞赛和 AlexNet 出现之前，没有机器学习算法能够准确地给图像分类。Mechanical Turk 上有成千上万的人拿钱标注这些图片，报酬大概是每小时 2 美元。

Ben：如果我没记错上一期的内容，AlexNet 团队的成绩远远超过了所有人。性能一下子跃升了一个台阶。我记得错误率从四分之一的图片会被误分类，突然降到只有 15%。和之前缓慢、细小的进步相比，这是一次巨大的飞跃。

David：你说得完全正确。彻底改变互联网、Google、Facebook，当然还有 Nvidia 命运的做法，是他们使用了老算法：计算机科学和人工智能中的一个分支，叫神经网络，具体来说是卷积神经网络。这些算法从 20 世纪 60 年代就存在了，但训练它们需要大量计算。

当时没人觉得训练和使用这些东西有实际可行性，至少短期内不行，甚至觉得这辈子都不可能。多伦多的这几个人大概去了当地的百思买或加拿大类似的商店，买了两张当时顶级的 GeForce GTX 580，然后用 NVIDIA 面向 GPU 的软件开发平台 CUDA 编写卷积神经网络算法。天哪，他们居然用价值 1,000 美元的消费级硬件训练出了这个模型。

Ben：基本上，其他人多年来一直尝试的算法并不适合大规模并行运算，而显卡恰好能做到这一点。如果你能充分利用显卡的全部算力，也许就能运行某种独特的新算法，花费的时间和成本只是超级计算机实验室所需的一小部分。

David：以前大家都在 CPU 上运行这些程序。CPU 很强，但一次只执行一条指令。GPU，也就是 Nvidia 显卡，则可以同时执行数百甚至数千条指令。

GPU、Nvidia 显卡和加速计算，也就是 Jensen 和公司喜欢使用的说法，可以把它想象成一根巨大的阿基米德杠杆。无论摩尔定律和芯片晶体管数量如何进步，只要算法可以并行运行——并非所有问题都可以，但很多问题可以——你就能把摩尔定律的效果放大数百倍、数千倍，如今甚至是数万倍，让任务的执行速度远远超过原本的水平。

Ben：有趣的是，图形是最初的一个市场，而且它显然适合并行处理：屏幕上的一个像素并不依赖旁边的像素，完全可以独立计算后输出到屏幕。

屏幕上有成千上万、如今甚至数十万个像素，都能同时处理。Nvidia 当时当然没意识到，AI、加密货币，以及其他所有线性代数和矩阵运算类任务，最终会成为加速计算的一部分：把任务从 CPU 转移到 GPU 和其他并行处理器上。这些应用构成了一个全新领域，却能使用 Nvidia 为图形处理开创的同一套技术。

David：这套东西确实很有用。AlexNet 这一刻和多伦多的三位研究人员开启了 AI 的大爆发。Jensen 这么说是对的。

Ben：David，我们上次完整讲这个故事时谈到了多伦多的这支团队，却没有追踪这三个人后来做了什么。

David：是啊。我们当时说，他们的研究自然会带来一种用途：预测社交媒体信息流里的下一条帖子，比如 Instagram 信息流或 YouTube 信息流。这创造了数十亿美元的价值。那些人以及该领域的其他许多研究者都被 Google 和 Facebook 挖走了。

这确实发生了。于是 Google 和 Facebook 开始大量购买 Nvidia GPU。但这个故事还有另一章，我们完全跳过了。它始于 Ben 你问的那个问题：这些人是谁？

AlexNet 团队的三个人分别是博士生 Alex Krizhevsky；他的导师是传奇计算机科学教授 Jeff Hinton。我有一个关于 Jeff Hinton 的惊人冷知识。你知道他的曾曾祖父母是谁吗？

Ben：不知道，完全没概念。

David：他是 George 和 Mary Boole 的曾曾孙，也就是布尔代数和布尔逻辑里的 Boole。

Ben：这人简直天生就是搞计算机科学研究的。天哪。

David：对吧？这可是计算和计算机科学的基础。

Ben：我也不知道原来 Boole 是个人名，还以为它就是这个术语的来源。太有意思了。

David：没错。AND、OR、XOR、NOR 这些运算符都来自 George 和 Mary。太神奇了。他是团队的导师。团队里第三个人是 Alex 的博士同学 Ilya Sutskever。如果你知道接下来要讲什么，这会儿可能已经激动得在座位上跳起来了。Ilya 是 OpenAI 的联合创始人和现任首席科学家。

AlexNet 之后，Alex、Jeff 和 Ilya 做了一件很自然的事：他们创办了一家公司。我不知道他们在公司里具体做什么，但创办公司这件事本身很合理。

Ben：不管他们做什么，公司肯定很快就会被收购。

David：六个月内就被 Google 收购了。他们加入 Google，还和一批 Google 在这个领域几乎垄断性吸纳来的学者与研究人员会合，具体来说是 Greg Corrado、Jeff Dean 和 Andrew Ang（那位著名的斯坦福教授）。他们三人刚在 Google 内部组建了 Google Brain 团队，要让 AlexNet 开启的 AI 研究全面提速。当然，他们也要把这些研究转化为 Google 的巨额利润。

Ben：后来大家发现，通过 Facebook 或 Google 在互联网上投放精准定向广告……

David：或者 YouTube。

Ben：……是一门利润极其丰厚的生意，而且会消耗大量 Nvidia GPU。

David：没错。大约一年后，Google 也收购了 DeepMind，这件事大家都知道。差不多同一时期，Facebook 把计算机科学教授 Yann LeCun 招致麾下，他也是这一领域的传奇人物。两家公司基本就此垄断了顶尖 AI 研究人才。

到了这时候，没人会把这些公司和研究人员做的事误认为真正的人类级智能，或是接近人类级智能的东西。这种 AI 很擅长执行有限的特定任务，比如我们之前谈过的社交媒体信息流推荐。

Google Brain 团队，以及 Jeff、Alex 和 Ilya 所做的一项重要工作，是重新设计 YouTube 的算法。YouTube 就是在这段时期，从 Google 收购来的一项亏损业务，变成了如今这台无可匹敌的巨型机器。

那是在 2013 到 2014 年。没过多久我们就做了 YouTube 那期节目。那时 YouTube 视频的大多数播放量来自嵌在其他网页里的播放器。之后他们把 YouTube 建成了一个社交媒体网站，推出信息流和自动播放功能。这些全都源自 AI 研究。

Google 还发生了其他一些事。众所周知，收购 DeepMind 后，DeepMind 开发了一批算法来节省冷却成本。当然，在这一代发展中，Facebook 可能笑到了最后：他们利用这项工作，Yann LeCun 也在那里大展身手，还招揽了许多研究人员。这距离他们收购 Instagram 才过了几年。

天哪，我们得回去重做那一期。收购 Instagram 本来就很棒，但真正让它成为 Facebook 一项价值 1,000 亿、2,000 亿乃至 5,000 亿美元资产的，是信息流里由 AI 驱动的推荐。

Ben：我觉得你没有夸张。我认为这真就是 Instagram 如今对 Meta 的价值。顺便说，我在 Instagram 广告上买过很多东西，说明它的定向确实有效。

David：确实有效。当时负责 Google X、如今仍在那里的 Astro Teller，在《纽约时报》的一篇报道里有段精彩的话。他说：‘这一时期 Google Brain 带来的收益’，我不认为这还包括 DeepMind，‘单是 Google Brain 团队为 Google 带来的利润，就足以资助 Google X 正在做的一切。’

Ben：Google X 有过什么赚钱的项目吗？

David：Google Brain。

Ben：好吧，嗯，是啊。

David：我们就说到这里。接下来来到 2015 年，硅谷有几个人开始意识到，Google 和 Facebook 对 AI 的双头垄断是个非常、非常大的问题。大多数人完全没意识到这一点。这两个人的眼光确实很超前。

Ben：而且这不只是其他大型科技公司的问题。你可以说问题在于 Siri 很糟糕，其他拥有大量消费者触点的公司，当时 AI 也都很差。但他们担忧的原因要严重得多。

David：我觉得这里有三层担忧。第一层显然是其他科技公司。第二层是初创公司的处境。这对初创公司太糟糕了：当 AI 是这一代技术的主要价值驱动力时，你要怎么和 Google、Facebook 竞争？

还有另一种视角，可以用来理解 Snap 和 Musical.ly 的遭遇，以及它们为何不得不把自己卖给 ByteDance，变成 TikTok，并转到中国公司手里。

也许是商业决策、执行能力或其他原因，阻碍了这些平台独立发展到足够规模。Snap 现在是一家上市公司，但它不是 Facebook。也许原因在于，它们无法接触到 Facebook 和 Google 拥有的那批 AI 研究人员。

Ben：这个问题很有意思。这个结论可能跨得太远了几步，但把它当成一个有趣的稻草人论点来想想也不错。

David：一个有趣的稻草人论点。不过，这确实是个问题。第三层问题是，这对整个世界都不好，因为这些人全被 Google 和 Facebook 困在里面了。

Ben：现在大概是提一下 OpenAI 创立初衷的好时候：他们希望先于大型科技公司找到通用人工智能，也就是 AGI。DeepMind 也是如此。当时他们走的道路会曲折迂回，因为那时没人知道，现在也没人知道，通往 AGI 的最佳路径是什么。但 OpenAI 创立时的核心想法是：谁先实现 AGI，谁就会在极短时间内变得无比庞大、无比强大，掌握巨大的控制力；而最好的做法是让它保持开放。

David：于是，这两位对此颇为担忧的人，在 2015 年召集了一场影响深远的晚餐，地点竟然是……

Ben：Rosewood 酒店吗？

David：自然是在 Sandhill Road 上的 Rosewood 酒店。要是在 Denny’s，或者伍德赛德的 Buck’s 餐厅，效果会好得多。

Ben：但这确实说明了 OpenAI 的种子从何而来。它和 Nvidia 这类公司草根、艰苦创业的起步方式截然不同。这是上层权力和既有资本在说：不行，我们得强行把某种东西创造出来。

David：没错。那两位神秘人物当然就是 Elon Musk 和当时担任 Y Combinator 总裁的 Sam Altman。他们安排了这顿晚餐，邀请了 Google 和 Facebook 几乎所有顶尖 AI 研究人员。他们问：‘要怎样才能让你们离开，打破这场双头垄断？’几乎所有人的回答都是：‘什么也做不到。为什么要离开？我们在这里开心得很。’

Ben：我们已经招到了想要的人，组建了很棒的团队，还有源源不断的资金供给。

David：我们拿到的薪酬高得惊人，还能直接和这个领域最顶尖的 AI 研究人员共事。要是我们仍在学术机构，比如计算机科学实力世界顶尖的华盛顿大学，或是这些人毕业的多伦多大学，市场就还是分散的。去了 Google 或 Facebook，大家都聚在一起了。

所以基本上每个人都拒绝了。只有一个人对 Elon 和 Sam 的提议感兴趣。我们引用一下当时《连线》杂志 Cade Metz 的一篇精彩报道，来源链接会放在节目资料里：‘问题在于，最有资格解决这些 AI 难题的许多人已经在 Google 和 Facebook 工作。晚餐上的人都不确定，能否把这些思想家吸引到一家新创公司，即使背后有 Musk 和 Altman 支持。但至少有一位关键人物愿意考虑离开。他说：“我觉得这有风险，但也觉得尝试会是一件很有意思的事。”’这位关键人物就是 Ilya Sutskever。

晚餐之后，Ilya 离开 Google，加入一家由 Elon 和 Sam 支持的新独立 AI 非营利研究实验室，成为我们刚才提到的联合创始人兼首席科学家。这个实验室就是 OpenAI。

好，David，OpenAI 在 2015 年成立。八年后的今天，我们有了 ChatGPT。从那时到今天的路径很直线，对吧？

David：结果并非如此。正如我们刚才稍微谈到的，当时 AI 在有限用途上表现很好，但和今天的 GPT-4 完全不是一回事，能力也相当有限。

一个重要原因是，当时实际可用于训练模型的数据量相当有限。你刚才提到 AlexNet 使用了 1,400 万张图片。从整个互联网的规模来看，1,400 万张图片只是沧海一粟。

Ben：这是硬件和软件共同造成的限制。软件方面，我们还没有能够支持这样大胆设想的算法：在整个互联网上训练一个基础模型。当时这根本不是一回事。

David：那是个疯狂的想法。

Ben：大家对语言模型的概念很感兴趣，但实际上不知道怎样通过算法实现它。于是，2015 年时还在 OpenAI 的 Andrej Karpathy——后来他负责了 Tesla 的 AI，现在又回到了 OpenAI——写了一篇影响深远的博客文章，叫《神经网络惊人的有效性》。

David，我觉得这一期不会深入讲这一点，不过要注意，循环神经网络和 2012 年那篇论文讨论的卷积神经网络略有不同。

David：当时的技术水平已经进步了。

Ben：没错。差不多同时，或者稍晚一些，到 2016 年，YouTube 上出现了一段视频，发布在 Nvidia 的频道上。视频只有 1 分 45 秒，里面有两个人：年轻时的 Ilya Sutskever，以及 Andrej Karpathy。

下面是 Andrej 在那段 YouTube 视频里说的话：‘有一种算法让我很兴奋，那就是语言模型。想法是把大量数据输入网络，让它找出句子中词语彼此衔接的规律。举例来说，你可以用大量人们在互联网上交谈的数据来训练一个聊天机器人，但训练方式是让计算机自己学会语言如何运作，以及人们如何互动。最终，我们可以像彼此交谈那样和计算机对话。’

David：哇。这是 2015 年吗？

Ben：这是 Transformer 出现的两年前。Karpathy 当时在 OpenAI。他提出或阐述了聊天机器人的想法，所以人们那时已经讨论过这个概念。但在 Transformer 出现之前，他就已经设想了实现它的方法。这里有个重要之处：模型会找出词语在句子中接续出现的规律。

一种观点认为，语言的结构本身，以及理解知识的方式，其实都蕴含在训练数据里，不需要再另外标注。

David：这太酷了。今年春季 GTC 上，Jensen 和 Ilya 做了一场炉边谈话，非常精彩，建议大家去看完整视频。他们谈到一个问题：Jensen 把一种观点当作假想反方提出，说有人认为 GPT-3、GPT-4、ChatGPT 以及这些大语言模型，只是在概率意义上预测句子的下一个词；它们并没有真正的知识。

Ilya 的回答非常精彩。他说：‘好，那就想想侦探小说。小说结尾，侦探把所有人叫到一个房间里，说：“我现在要告诉你们，犯人是谁。犯人的名字是空白。”’

大语言模型越能准确预测下一个词，也就是犯人的名字，就越能理解整部小说，也越能理解普遍的人类知识与智能，这是必然的。因为要猜出犯人是谁，你需要运用自己在世界上的所有经历，以及作为人的全部经验。如今的 GPT-3、GPT-4、Llama、Bard 等大语言模型都能猜出犯人是谁。

Ben：好，这个问题先记下来：理解和预测的区别，是当下的热门话题。David，现在适合快进两年，讲讲 2017 年的 Transformer 论文吗？

David：当然。Ben，给我们讲讲 Transformer。

Ben：好，Google 在 2017 年发表了 Transformer 论文，标题是《Attention Is All You Need》。

David：这篇论文出自 Ilya 刚刚离开的 Google Brain 团队。

Ben：他在两年前离开，创办了 OpenAI。先交代一下背景：机器学习长期用于自动纠错或外语翻译之类的任务。到了 2017 年，Google 发表这篇论文，提出了一种新模型，它将改变这些领域，并开启另一个全新领域。

举个例子：你要把一个英语句子翻译成法语。你可能会想，按顺序逐词翻译就行。但凡出过国并试过这么翻译的人都知道，不同语言里的词序有时会变化，因此这种方法很糟糕。美国在西班牙语里是 Estados Unidos，所以照这个例子逐词翻译，第一个词就会错。

这就引出了‘注意力’这个概念，它是这篇研究论文的重要组成部分。Transformer 中这个颇为神奇的模块，正如其名称所示，是一种让模型在不同时间关注输入文本不同部分的方法。

翻译时，你可以参考大量上下文，再决定下一个词该选什么。每当你要输出一个法语词时，都可以查看整组输入词语，从而判断在下一步选择中应该重点考虑哪些词。

David：这就是为什么此前 AI 和机器学习的适用范围那么狭窄。如果把它拟人化，把它想成一个人，那就像一个注意力持续时间非常、非常短的人。

Ben：神奇之处在于，虽然模型会查看整段输入文本来判断下一个词是什么，但它并没有完全抛弃位置信息。它采用一种叫位置编码的技术，因此不会忘记词语各自的位置。

它有个很棒的特点：会根据你要生成的具体词语，对相关的重要内容赋予不同权重，同时保留位置信息。还记得我说过，注意力机制每次选择要输出的词时，都会查看整个输入吗？

David：听起来计算量会很大。

Ben：没错。用计算机科学术语来说，这意味着注意力机制的时间复杂度是 O(N²)。

David：听得我起鸡皮疙瘩了，又想起大学里的计算机科学导论课。

Ben：等我们把这期节目讲完，内容会更深入。显然，传统看法会认为这非常、非常低效。它也意味着你的上下文窗口，也就是 token 限额或提示词长度，越大，计算成本就按平方级增长。输入长度翻倍，生成输出的计算成本就变成四倍；输入长度变成三倍，成本就变成九倍。

David：这下真够复杂的。

Ben：成本增长得非常快。但 GPU 来救场了。对我们来说，好消息是这些 Transformer 运算可以并行执行。即使要做的运算很多，只要你有核心数量庞大的大型 GPU 芯片，就可以让它们同时完成。

此前实现类似目标的技术，比如循环神经网络或 LSTM（长短期记忆网络，一种循环神经网络）等，都必须先知道每一步的输出，才能开始下一步、选择下一个词。换句话说，它们是顺序处理的，因为每一步都依赖前一个词。

现在有了 Transformer，即使输入的文本有一千个词，只要大型 GPU 有足够多的核心，处理所需时间在人类可感知的尺度上也可以和十个词差不多。这里的重大创新是，序列模型现在可以并行训练了。此前这种规模的模型根本无法训练，更别说以合理成本训练了。

David：这太重要了，我想所有听众现在都开始觉得，这听起来和我们今天生活的世界很熟悉。

Ben：我刚才稍微玩了个文字把戏，把翻译问题转成了上下文窗口和 token 长度之类的说法。你应该已经看出接下来要讲什么了。

David：是啊。Transformer 论文在 2017 年发表，意义重大。不过不知为什么，世界其他地方有一段时间都没有完全意识到它的重要性。

Google 显然知道这件事有多重要。之后有一年，尽管 Ilya 已经离开，OpenAI 也已经成立，Google 的 AI 研究还是再次加速，超过了这个领域的所有其他人。

那时 Google 在 Gmail 推出了 Smart Compose，还做过一个 AI 机器人替你给本地商家打电话的功能。还记得他们在 I/O 大会上演示过的那个项目吗？

Ben：记得。后来真的上线了吗？

David：我不知道，也许上线过。这就是 Google：技术能力是有的，产品判断力就没那么强了。那时他们也开始大力投入 Waymo。不过，这些技术真正体现价值的地方，还是在搜索里展示广告、推荐 YouTube 视频。他们在那段时期简直势不可挡。

但 OpenAI 和其他人还没有采用 Transformer。他们仍停留在过去，继续做那些偏研究性质的计算机视觉项目。那时他们开发了一个机器人来玩电子游戏 DOTA II（《刀塔 II》）。

Ben：那成果确实令人印象深刻。他们只靠计算机视觉，也就是读取屏幕截图并据此推断，就击败了世界上最强的 DOTA 玩家。这是个很难的问题，因为 DOTA II 不是一款能让你一次看到整张地图的游戏。系统必须只凭单个玩家能看到的信息，对游戏其他部分做出很多智能推断。这是极其前沿的研究。

David：不过这是上一代的前沿技术，说到底只是更快的马。

Ben：也许吧。他们还做过 Universe 之类的项目，用 3D 建模的世界训练自动驾驶汽车。现在你几乎听不到这个项目了，但当时他们确实搭建了整个环境。我记得它可能用了《侠盗猎车手》作为模拟环境，然后在 GTA 世界里训练汽车的计算机视觉。那些东西很疯狂，但研究方向相当分散。

David：是啊，方向很分散。我想说的是，当时仍处于有限用途的领域里，和 GPT 相去甚远。与此同时，Google 已经向前走了。

不过我确实想替当时的 OpenAI 和这个领域的其他人说句话：他们并非对此毫无察觉。要实现 Transformer 让你能够做到的事，Ben 你马上就会讲到，计算成本非常高。

GPU 和 Nvidia，以及 Transformer，让这件事成为可能。但要处理你说的这种规模的模型，需要花费巨额资金；对于非营利机构，以及几乎任何 Google 以外的公司来说，这都难以承受。

Ben：没错，David。挺有意思的，你一下子就跳到昂贵的大模型了。我们刚才谈的还只是把一句话翻译成另一句话。应用 Transformer 并不一定非得消化整个互联网、建立一个基础模型。我们来谈谈这一点。

如今我们知道，Transformer 很适合另一类任务。给定一句输入文本，它不仅可以翻译成目标语言，还可以预测下一个词，判断序列接下来应该出现什么词。你甚至可以先用一批文本进行预训练，让模型学会如何预测下一个词。

我们先往回说一点，回到 Transformer 之前的前沿技术：循环神经网络。除了它们只能顺序处理、不能并行运算之外，还有一个问题，就是上下文窗口很短。

你可以用它预测下一个词，但效果没那么好，因为它记不住几句话之前你说了什么。读到段落末尾时，它可能已经忘了开头写的内容，无法同时保留那么多信息。

用 Transformer 预训练的下一个词预测模型，开始能够发挥真正强大的作用：消化大量文本，然后依据海量上下文补全下一个词。

我们开始形成大语言模型这个概念。这里先快进一会儿做个说明，然后再回到故事线。

OpenAI 的第一个模型 GPT-1，也就是生成式预训练 Transformer（GPT），使用了无监督预训练。简单来说，模型消化一批语言文本时，数据没有标签。它只靠阅读就推断出语言的结构和含义。这在机器学习领域是个非常新的概念。

传统观点认为，训练规模不大的模型需要极其结构化的数据，否则它怎么知道数据的含义？这是个新想法：模型可以从数据本身学会数据的含义。这有点像孩子接触世界的过程，父母只是偶尔纠正他们：‘不对，你弄错了，那其实是红色。’但大部分时候，他们都是通过观察自行学习的。

David：作为一个两岁孩子的父亲，我可以证实这一点。

Ben：接着发生了第二件事。在无监督预训练之后，再进行有监督微调。无监督预训练使用大型文本语料来学习通用语言，然后用带标签的数据集进行微调，让模型适用于你真正希望它做好的一些特定任务。

David：为了让大家理解，为什么我们说用海量数据训练模型的想法成本高得惊人，GPT-1 训练时大约有 1.2 亿个参数，GPT-2 有 15 亿，GPT-3 有 1,750 亿。OpenAI 还没有公布 GPT-4 的参数规模，但据传训练时大约有 1.7 万亿个参数。这和 AlexNet 已经相差很远了。

Ben：它的增长速度和 Nvidia 的市值差不多。有个有意思的发现：参数越多，模型预测下一个词就越准确。这些模型在参数少于 100 亿时表现很差，也许即使少于 1,000 亿也不够好。它们会产生幻觉，或者输出毫无意义的内容。

你看一些只有 10 亿参数的模型时，会觉得它们永远不可能变得有用。但只要增加训练数据和参数量，模型的表现就会好得多。Transformer 模型有一种奇特的涌现特性：由于并行能力，它们能很好地扩展。只要给模型投入海量数据进行训练……

David：你还可以投入海量 Nvidia GPU 来处理这些数据。

Ben：没错，模型的输出会出乎意料地神奇变好。我知道自己一直在说‘神奇’，但这真的让人觉得：等等，我们完全不改变模型结构，只给它更多数据，让它运行更长时间，再大幅增加参数量，就能做到这些？研究人员都没想到模型会像现在这样推理世界，只是在探索更大模型的过程中，这种能力就出现了。

David：替 OpenAI 说句公道话，他们知道这些趋势，但买 GPU 或在云端租 GPU 来训练这些模型，费用高得令人望而却步。即使是 Google，那时也开始打造自研芯片 TPU。他们仍在大量购买 Nvidia 硬件，但也开始自建芯片。

Ben：重要的是，他们当时正准备向公众发布 TensorFlow。他们有一套供开发者使用的框架，并且想：既然大家用我们的软件开发，或许让它运行在针对这套软件优化的自家硬件上更合适。他们确实提出了一套相当说得通的理由，解释为什么要做自己的硬件和软件框架。

他们开源 TensorFlow 时让人很意外，大家都惊呼：Google 为什么要免费把家底都送出去？但这比行业真正爆发早了三四年，是一步极有远见的棋，能让更多人以大规模使用 Google 架构的计算资源。

David：而且全都在 Google Cloud 里。

Ben：没错。

David：这样一来，OpenAI 这个大工程似乎什么也没实现，世界上的 AI 资源反倒比以往更集中在 Google 手里。

2018 年，Elon 对这一切极其恼火。他基本上发了通脾气，退出 OpenAI，拍拍屁股走人。围绕此事有很多戏剧性情节，我们现在不打算展开。他可能给团队其他人下了最后通牒，说要么由他接管并管理，要么他就离开。谁知道呢，毕竟是 Elon。

但不管当时具体发生了什么，这件事后来成了 OpenAI 其他成员的重要催化剂，确实是一个影响历史走向的关键时刻。对 Elon 来说，这可能也是个非常糟糕的决定。不过这是另一个故事了。

Ben：我们会把 Semaphore 那篇文章放在节目资料里，作者对这件事有个很好的解释。作者写道：‘那年秋天，OpenAI 的一些人更加清楚地意识到，成为一家尖端 AI 公司所需的成本还会继续上升。Google Brain 的 Transformer 开辟了一个新领域，AI 能力可以不断提升，但这也意味着要不断投入数据来训练模型。这是一项昂贵的事业。OpenAI 做出重大决定，转向这些 Transformer 模型。’

‘2019 年 3 月 11 日，OpenAI 宣布将创建一家营利性实体，以筹集足够资金，支付追求最雄心勃勃 AI 模型所需的算力成本。公司当时写道：“我们希望提高筹资能力，同时继续践行使命；据我们所知，没有任何既有法律架构能在两者之间取得理想平衡。”OpenAI 还表示会限制投资者利润，超出部分将回流到原来的非营利机构。不到六个月后，OpenAI 接受了 Microsoft 的 10 亿美元投资。’

David：我认为这在很大程度上，甚至可能完全是 Sam Altman 的影响，也是他在这里掌舵的结果。一方面，你可以怀疑地说：‘好吧，Sam，你把非营利机构转成了一家如今价值 300 亿美元的实体。’另一方面，回看这段历史，这可能是他们唯一的出路。他们必须筹钱获得算力，才能和 Google 竞争；于是 Sam 和 Microsoft 谈成了这些里程碑式的合作。

Ben：是啊，真的很了不起。他们当时的想法基本是：这件事会极其昂贵。我们的使命仍然是确保通用人工智能造福全人类，但实现它的成本会高得离谱。我们基本上需要成为一家营利性、能够持续经营的企业，最终用业务收入资助研究，继续追求那个使命。

David：2019 年，他们转为营利性公司。正如你所说，Microsoft 投资 10 亿美元，并成为 OpenAI 的独家云服务提供商；这件事和 Nvidia 之后的故事密切相关，稍后再谈。

2020 年 6 月，GPT-3 发布。2020 年 9 月，Microsoft 获得底层模型在 Microsoft 产品中的独家商业使用权。2021 年，GitHub Copilot 发布，Microsoft 又向 OpenAI 投资了 20 亿美元。接下来，这一切自然就发展到了 2022 年 11 月 30 日。

用 Jensen 的话说，这是‘全世界都听到了的 AI’。OpenAI 发布了 ChatGPT。正如你所说，Ben，它是历史上用户增长到 1 亿最快的产品。2023 年 1 月，Microsoft 又向 OpenAI 投资 100 亿美元，并宣布要把 GPT 整合进旗下所有产品。接着在当年 5 月，GPT-4 发布。这样基本就讲到今天了。

David：我们最终得单独做一期节目，详细讲讲 OpenAI 和 Microsoft 的所有情况。但今天的重点是：（1）正因为这一切，面向用户的生成式 AI 产品成为一个巨大的机会；（2）要推动它发展，需要海量 GPU 算力，这显然有利于 Nvidia；同样重要的是，（3）现在大家清楚地看到，企业获取和提供这些算力的主要方式将是云服务。这三件事合在一起，成为 Nvidia 可能遇到过的最好时刻。

Ben：没错。你把这些都铺垫好了，但我听到现在还在想：这不是一期讲 OpenAI 和 Microsoft 的节目吗？这和 Nvidia 有什么关系？天哪，这里还有一个很棒的 Nvidia 故事。我们来讲讲 Nvidia 的部分吧。

David：我们在节目第一部分已经勾勒出这三件事：（1）生成式 AI 成为现实，并开始获得关注；（2）训练它需要规模大得惊人的 GPU 算力；（3）企业使用这些算力的主要方式看来会是云服务。

我觉得，这三件事的组合，是我们节目讲过的最完美案例，诠释了那句老话：运气就是准备遇上机会。

显然，机会就是生成式 AI；而在准备方面，Nvidia 刚刚花了五年时间拼命打造新的数据中心计算平台。他们想要用 GPU 加速的计算平台，取代数据中心里由 CPU 主导、由 Intel 支配的旧 x86 架构。

很多年来，这个平台逐渐获得了一些市场认可。Nvidia 的数据中心业务不断增长，但人们会问：好吧，你希望这种转变发生，可它为什么会发生？

Ben：偶尔会有些小型工作负载，有人跑来对 Jensen 说：‘我们觉得你的酷炫 GPU 可以加速这些任务。’接着又发生了加密货币热潮这样的怪事，还有学术实验室里的 AI 研究人员把 GPU 当成超级计算机来用。

但在很长一段时间里，Nvidia 的数据中心业务都没有一个清晰的理由，能说明为什么各家机构要把软件栈里大量的任务转到 GPU 上。为什么要这么做？是什么在推动？现在我们知道答案了，那就是 AI。

David：不只是‘可能会’推动。看他们最近一个季度的业绩，AI 简直就在全力推动这一切。

Ben：接下来就要问，为什么 AI 会推动它？David，你愿意听我讲一点计算机体系结构的计算机科学课吗？

David：请讲。

Ben：我得尽量模仿教授上课的样子。

David：我大学时特别喜欢计算机科学，那是我最喜欢的课程。

Ben：做这些节目时，TSMC 那期确实让我想起在计算机科学课上听懂一个概念时那种兴奋：‘哦，原来是这么回事。’真的很有意思。

我们先退一步，看看经典的计算机体系结构——冯·诺依曼架构。如今大多数计算机和 CPU 都基于这种架构，它们可以把程序存放在计算机内存中，再运行该程序。

你可以想想为什么这种架构占据主导地位。否则我们就得为每项任务都配备一台专用计算机。关键是，计算机内存能存放两种不同的东西：程序使用的数据，以及程序本身的指令，也就是一行行实际代码。

接下来举的例子会极度简化，因为我不想讨论缓存、内存速度和内存位于何处等问题。我们尽量简单说明。

在冯·诺依曼架构中，处理器会执行一段用汇编语言编写的程序。汇编语言可以编译成处理器本身能够识别的字节码。它遵循指令集架构，例如 ARM 的 ISA。

David：或者更早以前的 Intel。

Ben：没错。程序里的每一行都非常简单。我们举个例子：用类似汇编语言的伪代码，把 2 和 3 相加得到 5。

David：Ben，你这是要在 Acquired 节目里现场编程吗？

Ben：只是伪汇编代码。第一行是从内存中加载数字 2。我们从内存里取出它，把它加载到处理器的一个寄存器里。现在，数字 2 就放在 CPU 里，随时可以用于运算。这是第一行代码。

第二行，我们用完全相同的方式把数字 3 加载到第二个寄存器里。这样 CPU 里就有两个寄存器，分别存放不同的数字。

第三行，我们执行加法操作，让 CPU 把两个寄存器里的数相加，再把结果存入第三个寄存器，或者存回其中一个寄存器。这是一条更复杂的指令，因为它要实际进行算术运算。但这正是 CPU 擅长的事情：对从内存取出的数据执行数学运算。

例子中的第四行，也是最后一行代码，是把刚算出的数字 5——此刻它暂时保存在 CPU 的寄存器里——写回内存中的某个地址。因此这四行代码是：加载、加载、相加、存储。

David：听起来我都熟悉。

Ben：你可以看到，这四个步骤每一步一次只能执行一个操作。每一步都占用一个 CPU 时钟周期。你可能听说过 GHz，也就是每秒的周期数。一台 1 GHz 的计算机，每秒可以执行刚才这个简单程序 2.5 亿次。

但你也能发现一个问题：四个时钟周期里，有三个都用来从内存加载数据或把数据存回内存。这就是所谓的冯·诺依曼瓶颈，也是 AI 的核心限制之一，至少历史上一直如此。每个步骤都必须按顺序、一次执行一个。

在这个简单例子里，给计算机增加一大堆内存其实没有用，我也无从利用它。提高时钟速度的帮助也有限。时钟速度翻倍，程序最多快一倍。如果我的 AI 工作需要提速一百万倍，只靠提高时钟速度根本做不到。

当然，提高内存读写速度会有帮助，但这里受到物理定律限制：数据通过导线传输的速度总有上限。

讽刺的是，这个瓶颈会随着时间推移变得更严重，而不是更轻。CPU 越来越快，内存容量也越来越大，但架构仍然受到限制。

还有一个让人头疼的单一通道，叫作总线。我没法充分享受性能提升，因为所有数据都得挤过这一个通道，而每个时钟周期只能使用它一次。

神奇的突破当然是设计一种不属于冯·诺依曼架构的计算机，让程序能够并行执行，并大幅增加处理器或核心的数量。硬件方面 Nvidia 正是这么做的，而这些 AI 研究人员则在软件方面想出了如何利用这种能力。

但有意思的是，David，现在我们实现了这一点，限制因素已经不再是时钟速度或核心数量。对于这些规模极其庞大的语言模型，真正让我们头疼的是芯片上的内存容量。

David：对，我就知道你要讲到这里。这也是数据中心以及 Nvidia 正在做的事如此重要的原因。

Ben：没错。Asianometry 的 YouTube 频道有一段很棒的视频，我们会放上链接；TSMC 那期里也提到过。如今的瓶颈其实是芯片上可用的高性能内存容量。这些模型需要同时装入内存，而且会占用数百 GB。

内存容量一直在增长——我们直接跳到今天，H100 的片上 RAM 大约是 80 GB——但内存增长速度远远赶不上模型规模的扩张。训练 AI 所需的内存简直多得惊人。要训练这些模型，就必须把多块芯片、多台装有芯片的服务器，以及多排服务器机架连接起来，组成一台单一的‘计算机’。

还要注意，由于我们之前谈到过的极紫外光刻技术的一些限制，内存芯片也无法继续做得更大。那就是 TSMC 那期讲的 EUV。芯片现在已经达到光刻掩模版的最大尺寸。这是物理和波长的限制。除非出现一种目前还不具备商业可行性的新发明，否则你没法把芯片蚀刻得更大。

最终的要求是：需要海量内存，尽可能靠近处理器，全部并行运行，并采用最快的数据传输方式。再说一次，这只是极其简化的说明，但你应该能理解为什么这些因素如此重要。

David：好，我们回到数据中心。Nvidia 做的事情，我认为其他公司都没有做到；这也解释了为什么对他们来说，让生成式 AI 这个新世界，也就是 Jensen 所说的新计算时代，运行在数据中心里如此重要。

过去五年，Nvidia 做了三件事。第一件，或许也是和你刚才讲的最相关、最重要的一件：他们在 2020 年完成了史上最出色的收购之一，当时却没人意识到其意义。他们收购了一家来自以色列、风格有些古怪的小型网络公司 Mellanox。

Ben：它可不小。他们花了 70 亿美元收购。

David：好吧，确实如此。而且它当时已经是一家上市公司了，对吧？

Ben：是的。

David：但它的确有些特别。Mellanox 是做什么的？它的主要产品叫 InfiniBand。我们在 ACQ2 采访 Crusoe 的 Chase Lochmiller 时，详细谈过这项技术。

Ben：实际上，InfiniBand 是一个开放标准，由行业联盟管理。当时有许多参与者。传统观点是：InfiniBand 虽然速度更快、带宽更高，在数据中心传输数据的效率也高得多，但以太网终究是兼容面最广的基础标准。无论如何，大家都得实现以太网，所以大多数公司最终退出了这个市场，Mellanox 成了唯一一家仍提供 InfiniBand 规格产品的厂商。

David：你刚才问：‘等等，InfiniBand 是什么？’它是一种和以太网竞争的标准，用于在数据中心的机架之间传输数据。2020 年时，大家都觉得以太网够用了：数据中心里，机架之间为什么还需要比以太网更大的带宽？究竟有什么任务会需要每秒 3,200 吉比特的数据沿着数据中心里的导线传输？

后来发现，如果你要把数百块甚至更多 GPU 组成单一计算集群来训练大型 AI 模型，那你确实需要它们之间有极快的数据互连。

Ben：大家当时觉得：好吧，学术用途的超级计算机或许需要这种技术。但企业市场在共享云计算数据中心里需要的是以太网，够用了。大多数工作负载会在一个机架里完成。也许、也许有朝一日会扩展到同一机架里的多台计算机，但肯定不需要把多个机架互连起来。

Nvidia 这时站了出来，Jensen 对大家说：‘你们这些傻瓜，数据中心就是计算机。听我说，整个数据中心必须是一台计算机。’当你按这个思路去想，就会意识到：天哪，我们要通过连接这些设备的线缆传输海量数据。怎样才能把它们当作片上内存，或者至少尽量当成片上内存？哪怕它其实在三英尺外的另一个机箱里。

David：没错。这是 Nvidia 过去五年数据中心宏大计划的第一部分。第二部分发生在 2022 年 9 月：Nvidia 相当出人意料地宣布推出一种新芯片。不只是新芯片，而是一个全新的芯片类别，叫作 Grace CPU。Nvidia 要做 CPU 了。这简直离经叛道。

Ben：可是 Jensen，你不是说所有计算都要加速吗？我们为什么要做这些 ARM CPU？

David：Grace CPU 不是给笔记本电脑用的，而是作为整套数据中心解决方案里的 CPU 部件。它从设计之初就专门用于和这些大型 GPU 集群协同运作。

Ben：这是一场持续 30 年的舞蹈最终走向的结局。还记得图形卡最初要受制于 Intel 主板上的 PCIe 插槽吗？之后时间快进到今天，Nvidia 做出了这些漂亮的独立 GPU 机箱，放在数据中心里；或者它们是放在你身边的小型工作站，你可以用来做图形编程、直接编写 GPU 程序。

当然，他们还得给系统配一颗 CPU，于是之前一直使用 AMD、Intel 的产品，或者授权使用其他 CPU。现在他们说：‘干脆我们连 CPU 也自己做。’这样我们就能造出一台完整集成的 Nvidia 设备：里面有我们的 GPU、CPU、两者之间的 NVLink，以及连接其他设备的 InfiniBand。欢迎来到我们的主场。

David：在谈你接下来要讲的战略含义之前，还得补上这把三脚凳的最后一条腿。先剧透一下：你说‘解决方案’，我听到的却是‘毛利率’。

第三部分是 GPU。在 Nvidia 当前这一代 GPU，也就是面向数据中心的 Hopper 架构之前，Nvidia 只有一种 GPU 架构。同一架构、同一批由 TSMC 晶圆生产的芯片，一部分做成消费级游戏显卡，另一部分芯片裸片则做成数据中心的 A100 GPU。它们的架构完全相同。

从 2022 年 9 月开始，他们把两条业务线拆分成不同架构。面向数据中心的是 Hopper 架构，名字来自伟大的计算机科学家 Grace Hopper。想想她是美国海军的海军少将。明白了吗？Grace CPU、Hopper GPU，Grace Hopper，还有 H100。

消费者产品线则采用一个全新架构，叫 Lovelace，取名自 Ada Lovelace，也就是 RTX 40 系列。你现在买顶配 RTX 40 系列游戏显卡，它的架构已经和驱动 ChatGPT 的 H100 不同了，有自己专属的架构。

这很重要，因为 Hopper 架构开始采用一种叫作 CoWoS（芯片-晶圆-基板）的技术。

Ben：一旦你开始跟真正的半导体极客聊起来，他们就会开始大谈 CoWoS。

David：这时，一部分听众会特别兴奋。简单来说，回到刚才谈的内存对 GPU 和 AI 工作负载极其重要这一点：这项技术能把更多内存堆叠到 GPU 芯片上，基本方法是通过垂直堆叠来构建芯片。这是 TSMC 正在推出的最前沿技术。

Nvidia 把游戏产品线和数据中心产品线的芯片架构分开，而游戏产品线不使用最新的 CoWoS 技术。这样他们就能占用 TSMC 大量产能，专门生产用于 H100 的 CoWoS 芯片，从而让这些 GPU 拥有比市面上其他 GPU 多得多的内存。

Ben：这就解释了为什么他们现在似乎总是造不出足够的芯片。说到底，这是 TSMC 的产能问题。你提到的两个组成部分关系极其密切：CoWoS（芯片-晶圆-基板）和高带宽内存。

SemiAnalysis 有一篇很棒的文章，作者讲到了 2.5D 芯片，也就是用 CoWoS 把内存布置得离处理器很近的一种封装方式。当然，2.5D 实际上就是 3D，只不过‘3D’已经另有所指，甚至有比这更立体的技术，于是他们创造了‘2.5D’这个术语。

总之，TSMC 的 2.5D 芯片封装技术会把多块有源硅片，比如逻辑芯片和高带宽内存堆栈，叠放在一片硅基板上。

这里还有更多复杂细节，但关键是 CoWoS 是目前 GPU 和 AI 加速器最常用的芯片封装技术。它是把高带宽内存与逻辑芯片封装在一起的主要方式。还记得眼下最重要的事吗？尽可能把高带宽内存放到最靠近处理器的地方，这样才能提高训练和推理的性能。

如今，CoWoS 大约占 TSMC 总产能的 10% 到 15%，而且许多厂房就是专为生产这类芯片定制的。Nvidia 需要预留更多产能时，很可能已经预订了 TSMC 总产能中那 10% 到 15% 的一大部分。要让 Nvidia 获得更多支持 CoWoS 的产能，TSMC 就得再建更多晶圆厂。

David：而我们都知道，TSMC 建晶圆厂要花好几年。

Ben：还有一些更具实验性的方向值得一提，比如在内存中直接进行计算。随着我们逐渐摆脱冯·诺依曼架构，现在开始探索新的计算架构，大家会问：能不能直接在数据所在的内存里处理，而不是以损耗大、成本高、耗能多的方式，把数据通过铜线搬到 CPU？

这里有各种取舍。但现在深入了解学术界的计算机科学研究很有意思，因为研究人员确实在重新思考：计算机究竟是什么？

David：Nvidia 一直在打造的这三样东西——专用的 Hopper 数据中心 GPU 架构、Grace CPU 平台，以及由 Mellanox 加持的网络设备——现在拼成了一整套生成式 AI 数据中心解决方案。Ben，我说‘解决方案’时……

Ben：我听到的是利润率。不过说清楚，即使 Nvidia 不提供整套解决方案，也不妨碍它有高利润率。价格取决于供需，而他们现在正尽可能增加供应。

相信我，Nvidia 出于各种原因，都希望每个想买 H100 的人都能买到。但目前的定价就像是：‘给我一张空白支票，Nvidia，你想在上面写多少钱都行。’现在他们的利润率高得离谱，纯粹因为需求远远超过供应。

David：我们拆解一下他们到底在卖什么。正如你刚才说的，当然可以直接买 H100，而且很多人就是这么做的：‘Grace CPU 我不需要，Mellanox 的设备我也不需要。我自己有数据中心，运营能力很强。’

Ben：最可能这么做的客户是超大规模云服务商，也就是 Nvidia 所说的 CSP（云服务提供商）。

David：比如 AWS、Azure、Google，还有 Facebook 内部使用的基础设施。

Ben：他们会对 Nvidia 说：‘别给我那种需要自己组装的 DGX 服务器。只要把芯片给我，我会按自己的方式集成。’

David：‘我是一流的数据中心架构师和运营者，不需要你整套解决方案，只要你的芯片。’所以 Nvidia 卖出了很多芯片。当然，他们也一直在培育生态中的新云服务商，比如我们的朋友 Crusoe，还有 CoreWeave 和 Lambda Labs。Nvidia 正与这些新兴的 GPU 专用云服务商密切合作，向他们销售 H100，以及此前的 A100。

Ben：不过，如果你是一家《财富》500 强里的普通公司，不是科技公司，却又绝不想错过生成式 AI 的浪潮，而且自己还有数据中心，那怎么办？Nvidia 有 DGX 可以卖给你。

David：没错。他们提供一整套以 GPU 为基础的超级计算机解决方案，装在一个机箱里，你可以直接接入数据中心，插上就能运行。市面上没有其他产品能做到这一点。

Ben：这一切都运行在 CUDA 上，使用整个开发者生态熟悉的同一套语言。开发者知道怎样为这套系统编写软件。

David：这意味着，你原来负责 AI 或其他工作的开发者，不用从头开始。他们做的东西可以直接迁过来，在这台崭新的 AI 超级计算机上运行，因为它用的是 CUDA。

Ben：真棒。

David：稍后再多聊 CUDA。不过正如我们刚才说的，你说‘解决方案’，我听到的是‘毛利率’。Nvidia 一台 DGX 系统卖 15 万到 30 万美元。太惊人了。现在有了 Hopper、Grace 和 Mellanox 这三条新支柱，系统的集成度更高、专有性更强，性能也更好。

如果你要买最新、顶配的 DGX H100 系统，一台起价 50 万美元。如果你想买 DGX GH200 SuperPOD，也就是 Jensen 最近发布的 AI 围墙——一整间装满 AI……

Ben：大概有 20 个机架那么宽。想象一下数据中心里的一整排机架。

David：没错，它由 256 个 Grace Hopper DGX 机架组成，连在一起形成一道墙。他们要把它做成第一套交钥匙 AI 数据中心，你可以买来就用，并用它训练万亿参数、GPT-4 级别的模型。至于价格嘛，打电话来谈。

Ben：那当然。

David：我猜要几亿美元。我不觉得会到 10 亿，但几亿美元肯定跑不了。

Ben：太疯狂了。我们聊聊 H100。我手上正好有这款他们造出的惊人产品的‘棒球卡’。它在 2022 年 9 月发布，是 A100 的后继产品。一块 H100 GPU 就要 4 万美元。这就是你刚才说的价格来源。

David：他们就是把这些 GPU 卖给 Amazon、Google 和 Facebook。

Ben：没错，你提到过 50 万美元这个价格。一台售价 50 万美元的设备，里面有八块各值 4 万美元的 H100，再加上 Grace CPU 和一套精美的整机包装。

David：对，算一下就知道：八乘以 4 万美元是 32 万美元。通过销售整套解决方案，Nvidia 相当于额外拿到了 18 万美元的毛利。这是一颗 ARM CPU，制造成本根本花不了多少钱。

Ben：这 4 万美元一块的 H100 本身就有利润空间。每当他们把更多部件打包在一起，整机上的利润空间就更大。这就是捆绑销售的经济效应。把更多东西打包起来、给客户提供更多价值，你就有理由获得更高毛利。

举例来说，H100 的定价之所以成立，是因为它比只早了两年半的 A100 快 30 倍。AI 训练速度快 9 倍。H100 是专门为训练 LLM 而设计的，就像那些全自动驾驶演示视频里的系统一样。它很容易扩展，有 18,500 个 CUDA 核心。

还记得我们刚才讲的冯·诺依曼架构例子吗？那种计算核心可以处理四条汇编指令。而这块 H100——他们把它称为 AGPU——有 18,500 个能够运行 CUDA 软件的核心。它还有 640 个专门用于矩阵乘法的 Tensor Core，以及 80 个流式多处理器。我们这里到底有多少核心？这款产品上大概有接近 20,000 个独立核心。

它的能耗明显高于 A100。这里的一个重要结论是，Nvidia 正在大幅提高功耗要求。每推出新一代产品，他们都在摸索如何逼近物理极限，同时也受物理定律限制。有些能力只有消耗更多能量才能实现。这块 H100 重 70 磅。注意，这只是一块 H100。

David：Jensen 对此很看重。他每次做主题演讲都会说：‘哎呀，我举不起来。’

Ben：它有 2,500 亿个晶体管，包含 35,000 个部件，需要机器人来组装。不仅需要实体机器人来组装，还需要 AI 来设计。现在他们甚至在用 AI 设计芯片。他们彻底重新定义了计算机的概念。

David：完全正确。这也是 Jensen 向客户推销时说的话。他会说：‘没错，我们的解决方案很贵。不过，’然后引用他最喜欢的一句话：‘买得越多，省得越多。’

Ben：前提是你能买得到。

David：他的意思是，假设你是 McDonald’s，想做一套生成式 AI 系统，让顾客可以用它点餐。你要把它用在自己的业务里。

如果你打算在现有数据中心基础设施上构建并运行这套系统，耗时会非常长，长期算下来，成本和算力支出也会比直接买我的 SuperPOD 高得多。你可以买下来即插即用，一个月内就能投入运行。

Ben：是的，而且因为这整套设备采用加速计算，你用它做的事情有些根本不可能用其他方式完成；或者要花更多能量、更多时间和更多成本。

因此，把工作负载放在这套系统上运行，或者租用任何一家云服务商的算力，都有非常充分的理由。性能会更好，因为结果能更快、更便宜地得出；有时甚至只有这样才能得到结果。

David：你提到了能耗，这也是 Jensen 的论点。他会说：‘是的，这些设备耗能很大，但替代方案更耗能。如果你假定这些工作终究会发生，实际上我们节省了能源。’当然，这里有个限定：只有用这类机器，这些工作才可能实现。是他让这一切成为可能，不过他的观点确实有道理。

Ben：我完全认同。我觉得这里确实有个很有说服力的论点：模型只需训练一次，之后就可以反复进行推理。关于模型训练，我觉得一个很贴切的类比是把它看成一种压缩。

大语言模型把整个互联网的文本压缩成一组小得多的模型权重。这样既能用很小的存储空间保留大量有用信息，也能让每次提示模型生成答案时的推理计算成本变得很低——相对而言。

当然，这样做的代价是，一旦把所有训练数据编码进模型，重新训练的成本就很高。因此最好第一次就做好，或者找到以后修改模型的小方法。许多机器学习研究人员正在研究这类方法。

我一直觉得一个合理的类比是压缩一个有无数图层的 Photoshop 文件。任何处理过 3 GB Photoshop 文件的人都知道，你不会把它直接发给客户，而是把它压缩成 JPEG 再发过去。

从很多方面来说，JPEG 是 Photoshop 原始图层文件的一种压缩副本，反而更实用。但代价是，你再也无法从这个小小的压缩 JPEG 还原出原始文件。

我觉得这个类比想表达的是：大家不用每次都制作完整 PSD 文件，因为绝大多数时候直接用 JPEG 就够了。

David：希望我们现在已经比较清楚地说明了两件事：一是哪些进展让生成式 AI 的机会成为可能，而且它确实已经成为现实；二是除了显而易见的原因之外，为什么 Nvidia 在这里处于如此有利的位置。特别是，这些工作负载以数据中心为核心，而 Nvidia 过去五年一直在努力从根本上重构数据中心。

除此之外，Nvidia 最近又宣布了一项相当了不起的云战略。如今，正如我们一直说的，如果你想用 H100 或 A100，比如你是一家 AI 初创公司，你可能会去云服务商那里，选择超大规模云平台，或 Crusoe、CoreWeave、Lambda Labs 这类 GPU 专用云，租用 GPU。Ben，你对此做了些调查，费用是多少？

Ben：我刚看了几家公有云的定价页面，包括 Azure 和 AWS。你大约可以用每小时 30 美元的价格，租到一台装有八块 A100 的 DGX 服务器。或者去 AWS 租 P5.48xlarge 实例，也就是八块 H100。我相信那是 HGX 服务器，价格约每小时 100 美元，大约贵三倍。再说一次，我说‘你可以租到’，并不是说你真的能租到；这是页面上的标价。

David：如果你能租到，那就是你要付的价格。

Ben：没错。

David：好，这只是租 GPU。如果你还要买上我们刚才说的一切，比如你是 McDonald’s、UPS 或其他公司，对 Jensen 说：‘我很喜欢你，也认可你卖的东西。我想要完整的集成套装，一台插上电就能运行的 AI 超级计算机。但我所有业务都放在云上，不再运营自己的数据中心。’Nvidia 现在推出了 DGX Cloud。

Ben：当然，你可以向 Amazon、Microsoft、Google 或 Oracle 租这些实例，但是……

David：你得不到那种完整集成的解决方案。

Ben：而且即使做了集成，也会是云服务商按自己的方式，利用自有服务来集成。说实话，你的员工可能没有合适的人手，能以接近裸机的方式管理这类设备。

即使你把设备租在云端，而不是放进自己的数据中心，依照现有团队的能力，你可能也只想用网页浏览器，使用一个真正简单、好用的界面，从可信来源加载模型，再轻松把模型和自己的数据结合起来。点一下运行就行，不必操心管理 Amazon 或 Microsoft 云端应用的复杂性，更不用碰那些更贴近底层硬件、令人望而生畏的操作。

David：没错。Nvidia 推出了 DGX Cloud，这是一套虚拟化 DGX 系统，目前通过 Azure、Oracle 和 Google 等其他云服务商提供。

Ben：这些设备实际上放在其他云服务提供商的数据中心里。

David：它们确实位于其他云服务商的数据中心里。但对于客户来说，使用体验就像租到一台自己的设备。

Ben：你通过 Nvidia 登录 DGX Cloud 网站，里面的操作非常直观。它和 Hugging Face 集成，你可以直接从 Hugging Face 轻松部署模型；也可以上传自己的数据。整个体验非常直观，用‘所见即所得’来形容大概最贴切。

David：难以置信。Nvidia 借助其他云服务商推出了自己的云服务。

Ben：我记得 Nvidia 自己有六座数据中心，但我不认为他们用这些数据中心来支撑 DGX Cloud。

David：不是。DGX Cloud 的起价是每月 37,000 美元，买到的是基于 A100 的系统，而不是 H100 系统。这对 Nvidia 和合作伙伴来说，利润率高得惊人。

一位听众帮我们估算了一下：如今，实际搭建一套同等配置、基于 A100 的 DGX 系统，成本大约是 12 万美元。记住，这是上一代产品，不是 H100。现在你每月花 37,000 美元就能租到。Nvidia 和云合作伙伴只要三个月，就能收回这类设备的资本支出成本。

对 Nvidia 来说，还有一件事更重要，尤其是从长远来看：购买这项服务的企业如今和 Nvidia 建立了直接销售关系，不一定要通过 Azure、Google 或 AWS 的销售渠道中介，即使算力实际上仍在这些云平台里。

Ben：这至关重要，因为财务长 Colette Kress 在他们最近一次财报电话会上说，数据中心业务部门的收入大约有一半来自云服务提供商。我认为接下来是消费互联网公司，之后才是企业客户。

这里有几点很有意思。第一，天哪，这部分收入集中在五到八家云服务提供商身上。第二，他们并不一定拥有客户关系。通过 CUDA，他们掌握了开发者关系。如今 Nvidia 的开发者生态比以往任何时候都强，但就实际客户而言，他们一半的收入仍通过云服务商中介获得。

第二个有意思之处是，即使今天 AI 正在爆发，数据中心收入的第二大来源仍然是消费互联网公司。就是我们之前谈过的那些用途：通过机器学习判断社交媒体算法该展示什么内容，以及如何向你匹配广告。这个市场实际上比所有直接向 Nvidia 采购的企业客户加起来都大。DGX Cloud 这项业务让 Nvidia 有机会把部分云服务商带来的收入转变为直接客户收入。

David：接下来来到 2023 年。当年 5 月，Nvidia 公布了 2024 财年第一季度财报。Nvidia 的财年在一月份结束，安排有点特殊。也就是说，2024 财年第一季度基本相当于 2023 年第一季度。该季度营收环比增长 19%，达到 72 亿美元，表现很好。记住，2022 年底他们的情况很糟糕，有库存减记、加密货币市场崩盘等问题。

Ben：是啊，真不可思议。Jensen 在 2023 年 3 月接受 Stratechery 采访时说，去年毫无疑问是令人失望的一年。那正是 ChatGPT 发布的年份。太疯狂了，这家公司经历的过山车般变化。

David：这里的时间跨度压缩得太短了。

Ben：当然，部分原因是 Ethereum 转向权益证明，加密货币热潮结束了，这对 Nvidia 来说我想其实是好事。但他们还提前向 TSMC 下了大量产能预订单，后来以为自己用不上，只好计提减值。从会计角度看，这就像是去年的财务报表上留下了一道很明显、很大的污点。但现在，天哪，他们有多庆幸当时预订了那些产能。

David：这些产能实际上会非常有价值。说到这里，第一季度财报很不错，营收环比增长 19%。但接着他们抛出了重磅消息：由于数据中心的生成式 AI 算力需求前所未有，Nvidia 预计第二季度营收将达到 110 亿美元，环比第一季度再增长 53%，同比增长 65%。股价随即暴涨。

Ben：财报发布后的盘后交易中，股价涨了 25%。这是一家市值 1 万亿美元的公司，或者至少这件事让它成为一家市值 1 万亿美元的公司。此前市值大约 8,000 亿美元的公司，财报出来后股价涨了 25%。

David：这还不是最疯狂的。去年 4 月我们做那些节目时，Nvidia 按市值是全球第八大公司，市值大约 6,600 亿美元。当时虽然比最高点略低，但大致就是这个量级。后来它跌到 3,000 亿美元以下，几个月内又涨回 1 万亿美元以上。太疯狂了。

这一切在录音前一周达到高潮：Nvidia 公布了 2024 财年第二季度财报。Acquired 通常不聊单个季度的财报，因为放在漫长历史里，谁会在意呢？但这是历史性事件。我认为这是一家大型上市公司有史以来最惊人的财报之一，甚至可能是最惊人的。认真说，不管接下来发生什么，上周都是一个历史性时刻。

Ben：最让我震惊的是，单是数据中心业务部门，一个季度就实现了 100 亿美元营收，比上一季度翻了一倍还多。短短三个月，这个业务部门的营收就从大约 40 亿美元增长到 100 亿美元。

只有把产品交付给客户后才能确认营收。这不是预订单，不是点击量，也不是空口说说，而是：我们把产品交付给客户了，他们这个季度比上一季度多付了 60 亿美元。

David：完整数字是这样：该季度公司总营收为 135 亿美元，环比增长 88%，同比增长超过 100%。Ben，正如你说的，数据中心业务营收为 103 亿美元。公司五年前基本还没有这块业务，如今它就贡献了 135 亿总营收中的 103 亿。与第一季度相比增长 141%，同比增长 171%。这是 100 亿美元的业务，而且是在这么大的规模上实现如此增长。我从未见过这样的增长，市场也没见过。

Ben：没错。

David：这是我第一次注意到这点。Jensen 在第一季度财报里其实已经提过，所以不算第一次，但这次他又提到了万亿美元的 TAM，不过不是在幻灯片上。我觉得他这次只是口头谈到。

Ben：但他用了一种新的方式来描述，我觉得这种拆分方法更好。

David：这次确实不同。我们会花些时间讨论自己的看法，但这次的说法很不一样。他把 Nvidia 的万亿美元机会框定为数据中心市场。他说：‘如今，全球各地的数据中心里有价值 1 万亿美元的硬件资产。’

Ben：‘而且每年还在增加 2,500 亿美元。’

David：‘每年花 2,500 亿美元更新数据中心并增加资本支出。Nvidia 拥有最完整、最全面、最连贯的平台，能够成为未来数据中心的基础，服务大量计算工作负载。’这和之前说‘我们要拿下这些总产值 100 万亿美元的行业的 1%’完全是不同的故事。

Ben：每当有人描绘一幅图景，你都应该问：‘我要相信哪些前提？’你必须相信，这些 AI 工作负载及其催生的应用确实能为用户创造实际价值。目前已经有相当有力的证据。

ChatGPT 让人们传言 OpenAI 如今的年化收入已经超过 10 亿美元，也许达到数十亿美元，而且还在显著增长。这是最耀眼的例子。再说一次，它就像这轮热潮里的 Netscape Navigator。

但特别是考虑到这些《财富》500 强公司，真正的赌注是：未来每个人的私有应用以及无数公共界面里，都会出现类似 GPT 的体验。Jensen 把未来描述为每个应用都会有一个 GPT 前端。人们会通过这种更自然的方式来决定如何与计算机交互。

我不认为他是在说大家不再点击按钮。我觉得他的意思是人人都能成为程序员，只不过编程语言是英语。你可能会问，为什么大家愿意花这么多钱？因为那些有采购权、上个季度能给 Nvidia 开出 100 亿美元支票的全球企业高管，已经从目前看到的数据中深信：这项技术将改变世界，值得他们下注这么多。

我们还不知道的一点是：这是真的吗？类似 GPT 的体验会不会在遥远的未来持续存在？目前的证据相当不错，说明人们喜欢这些东西，也认为它们很有用；它们正在改变每个人的生活方式、日常活动、工作和学习，诸如此类。但这就是你必须相信的前提。

David：分析部分还有很多相关内容要谈。

Ben：好，David，接下来进入分析。在分析其他事情之前，我们得先讲 CUDA。这期节目到目前为止谈了很多硬件，但 Nvidia 还有一块至关重要的拼图，自第二部分以来我们一直没讲。

大家都知道，CUDA 是 Jensen、Ian Buck 和 Nvidia 团队其他成员在 2006 年发起的项目。他们押注科学计算，认为显卡不只能用来处理图形，还需要优秀的软件工具来帮助人们做到这一点。

这也体现了 Jensen 心中的一个念头：‘哦，也许我可以直接和开发者建立关系。’我不必依赖 Microsoft 或 Intel 的开发者，让他们通过标准接口来使用我的芯片；我也可以建立自己的开发者生态。事实证明，这对公司极其重要。

如今，我们谈到的所有 AI 应用都构建在 CUDA 这个基础之上。你会听到 Jensen 在主题演讲中谈 CUDA 平台、CUDA 语言。我花了些时间看开发者讲座、亲自学习 CUDA 程序，试图弄清楚应该如何描述它。

David：那么今天应该怎么描述它？因为它已经演进了很多。

Ben：没错。如今从底层往上看，CUDA 包括编译器、运行时，以及调试器、性能分析器等一系列开发工具。它还有自己的编程语言 CUDA C++，并提供面向特定行业的库。自 2006 年以来，Nvidia 出售过的每一块显卡都能运行 CUDA。这一点非常重要。

如果你是 CUDA 开发者，你写的程序就能在所有 Nvidia 产品上运行，因为它们使用统一的接口。CUDA 有许多抽象层和现成的优化库。你可以调用这些代码库，减少开发时间，不必每次都从头造轮子。

你可以用 C++ 编写程序，依靠他们的编译器让程序在 Nvidia 硬件上高效运行。也可以用他们的原生语言编写，再尝试用 CUDA C++ 自己实现。总之，它极其灵活，支持也非常完善，还有庞大的开发者社区和现成资源供你使用。

看看 CUDA 开发者数量随时间的变化：它在 2006 年发布，花了四年才达到第一批 10 万名开发者。到 2016 年，也就是第 13 年时，达到 100 万开发者。仅仅两年后就达到 200 万。前 13 年增加了第一批 1,300 万，随后两年又增加了第二批。2022 年达到 300 万开发者。之后只用一年，到 2023 年 5 月，CUDA 注册开发者就达到 400 万。

此时 Nvidia 已经建立起一道巨大的竞争壁垒。我觉得你和公司里的人聊，坦白说我们实际聊的时候也是这样，他们不会用这种方式描述。他们不会说‘CUDA 是我们对抗竞争者的壁垒’。他们更像是在说：‘我们设想未来会出现加速计算，认为有更多工作负载应该并行化、提高效率，并希望大家在我们的硬件上运行这些任务。因此，我们要让大家尽可能容易地做到这一点。’

他们愿意投入巨大精力，雇用一千到两千人，让他们全职开发这套编程语言、编译器、基础框架，以及上面的一切，尽可能帮助更多人基于他们的技术构建产品。这就是开发者生态的建立方式。说法不同，但归根结底，他们非常清楚这项能力给公司带来的价值。

David：上一期我们也谈过这件事，但做完这一期后，我对它的理解真正清晰起来。Nvidia 认为自己是平台公司，我也相信它确实是。尤其是就在本周，财报表现远超预期，本季度发生了这一切，股价也有反应。

你最近会听到一种很常见的观点：‘哦，这种情节以前见过，Cisco 也经历过。’从更长时间尺度来看，也可以说 Intel 也有过类似经历。硬件供应商和半导体公司走红时，客户就愿意增加资本支出；不再热门时，大家就不买账了。

但我觉得这并不能准确描述 Nvidia。他们确实制造半导体，也生产数据中心设备，但本质上是个平台公司。一个合适的类比是 Microsoft：他们做操作系统、编程环境，也做许多应用。

Ben：没错。Cisco 实际上没有开发者。Intel 从来没有自己的开发者。Microsoft 有开发者，Intel 则有 Microsoft，但 Intel 没有开发者。

Nvidia 有自己的开发者。他们打造了一种新的架构，不再是冯·诺依曼计算机。他们打破了 50 年来的发展路径，让每个 GPU 都带有流式处理器单元。要处理这种全新的计算模式，你自然需要一套全新的编程语言、编译器和其他工具。这就是 CUDA，而且它确实好用。许多人靠它谋生。

David：你和 Jensen 以及公司的其他人交谈，他们会告诉你：‘我们是一家基础计算机科学公司，不只是卖硬件。’

Ben：有意思的是，他们肯定是个平台公司，也是一家系统公司。他们实际上在卖大型机。这和当年 IBM 卖大型系统很像：他们试图把一面价值 1 亿美元的设备墙卖给你，装进你的数据中心。整套设备完全集成，买来就能用。

David：是啊，老式 IBM 可能真是个很好的类比。他们开发底层技术、硬件、硅片、芯片上的操作系统，也为客户提供完整方案。他们什么都做，再把它作为一套解决方案卖出去。

Ben：进入分析部分时，我还想补充几点。其中一个重点是看看时间线，因为我直到录制前两小时才发现这件事。

2019 年 3 月，Nvidia 宣布以 70 亿美元现金收购 Mellanox。我认为 Intel 当时也考虑过收购，后来 Nvidia 出手，报价远超对手。可以说，没人真正明白 Nvidia 打算怎么做，也没人理解这笔收购为什么重要。但问题是：为什么？

Nvidia 知道，新一代模型需要跨多台服务器、多个机架运行。他们非常重视机器之间的带宽。当然，他们是怎么知道的？

2019 年 8 月，Nvidia 发布了当时规模最大的 Transformer 语言模型 Megatron。它有 83 亿个参数，使用 512 块 GPU 训练了 9 天。按当时零售价，训练成本大约是 50 万美元；在当时，花这么多钱训练模型已经是个很大的数字。那是几年前？才四年前而已。

David：而今天看来，这点钱根本不算什么。

Ben：Nvidia 之所以能这么做，是因为他们在公司内部投入了大量研究，也和所有从事 AI 研究的公司合作。他们意识到：‘哦，是的，这些东西会奏效，而且需要当时最快的网络。’我觉得，这就是为什么其他公司没人看出 Mellanox 技术有多大价值。

还有一件事也能说明 Nvidia 今天的业务模式：数据中心就是计算机。Jensen 去年接受 Ben Thompson 采访时谈到，他们要以全栈方式构建系统。他们的理想状态是，你买下并运营一套 DGX SuperPOD。

他说：‘我们以全栈方式构建系统，但会以拆分的方式进入市场，融入整个行业的计算基础设施。’我觉得他的意思是：客户需要以各种方式使用我们的产品，所以我们必须灵活；但我们会把每个部件都设计好，让它们组合在一起时发挥出惊人的效果。

如果你只想零散地使用某些产品、想在云端使用，或者云服务商想使用，我们会想办法为你提供合适的体验。再说一次，产品要作为一个系统来设计，系统要全栈构建，但进入市场的方式可以拆分。

David：如果我没记错那次采访，Ben 当时听出了这个意思，就问：‘等等，你们要建自己的云吗？’Jensen 回答：‘也许吧，看看再说。’后来他们当然真的推出了 DGX Cloud，正是以‘也许吧，看看再说’的方式。

Ben：你可以想象，未来 Nvidia 可能会拥有并运营更多自己的数据中心。说到这里，我们得聊聊利润率的数字。

上一季度，他们的毛利率是 70%，预测下一季度会达到 72%。回到 CUDA 出现之前，他们还只是生产标准化显卡的厂商，毛利率只有 24%。如今毛利率已经从 24% 升到 70%。除了途中少数几个一次性事件造成的特殊季度，这基本上是随着他们不断巩固竞争壁垒、增强行业差异化而逐季线性上升的。

我认为，全球企业、甚至有些政府都面临供应短缺，所以我们现在看到的情况可能只是暂时的。你看英国或一些中东国家，他们像是开了一张空白支票，只说：‘我只想拿到 Nvidia 硬件。’这种状况会过去，但我不认为超过 65% 的高毛利率会大幅下滑。

David：我觉得有两点。第一，我确实相信我们刚才谈到的：Nvidia 不只是硬件公司，也不只是芯片公司，而是个平台公司。他们的产品里有很多差异化能力。如果你想训练 GPT 或 GPT 级别的模型……

Ben：只有一个选择。

David：……你就会用 Nvidia。确实只有一个选择。当然，我们也应该谈谈市场上有许多达不到 GPT 级别的应用，尤其是推理市场比训练市场开放得多，其他平台也能胜任。但 Nvidia 是最好的。他们的优势不只来自硬件，不只来自数据中心解决方案，也不只来自 CUDA，而是这些因素共同作用的结果。

对我来说，另一个很能说明他们领先幅度的例子是，我们还没谈到中国。

Ben：中国市场就是 A800 的天下。

David：没错，情况如何？去年，中国大陆销售额占 Nvidia 营收的 25%。其中很大一部分来自中国的超大规模云服务商，比如 Baidu、Alibaba、Tencent 等。

Ben：顺便说，Baidu 可能拥有规模最大的模型。他们的 GPT 竞争产品超过一万亿个参数，可能比 GPT-4 还大。

David：哇，我不知道这件事，真不可思议。我记得 2022 年 9 月，Biden 政府宣布了一系列范围很广的规定，限制先进计算基础设施的销售。

Ben：David，那叫出口管制。别说禁令。

David：是啊，差别很微妙。这些措施和禁令已经非常接近。作为其中一部分，Nvidia 不能再向中国任何客户出售顶配 H100 或 A100，于是他们推出了性能受限的 SKU，以符合相关规定，包括 A800 和 H800。

Ben：我觉得他们基本上就是调低 NVLink 的数据传输速度。就像买了一块顶配 A100，却没有你需要的高速数据连接，所以基本上没法训练大型模型。

David：或者说，不能像用最新型号那样好、那样快地训练。特别能说明问题的是，这些芯片和设备在中国依然卖得非常火。即使是受限版本，它们仍然是中国能买到的最好硬件和平台。我觉得世界其他地方也一样。

Ben：最近需求甚至进一步飙升，因为许多中国公司察觉到，出口管制可能会变得更严，于是想趁还能买的时候赶紧买下这些 A800。

David：没错，我想不出还有什么例子能更好地说明他们领先多远。

Ben：说得好。简单谈谈 Nvidia 的其他业务：这期节目聚焦数据中心业务，但……

David：你是说他们还在生产游戏显卡吗？

Ben：Omniverse 这个方向开始变得很有意思，值得一谈。六个月前的大会上，他们说已有 700 家企业注册成为客户。

有趣之处在于，这可能成为他们两个世界交汇的地方：一边是采用光线追踪的 3D 图形，效果新颖又惊艳，演示令人震撼；另一边是 AI。他们一直同时参与这两个市场，因为两者的工作负载都非常适合并行运算。这正是他们最初进入 AI 市场的原因。

回想我们第一期节目，Nvidia 最初的使命是让图形成为一种讲故事的媒介。后来他们的使命扩展了，因为他们发现：‘天哪，我们的硬件也很适合其他需要并行处理的任务。’但有意思的是，Omniverse 可能代表了这样的未来：同一个应用既需要卓越的图形能力，也需要 AI 能力。

除了我们刚才聊到的 Nvidia 的独特之处和它所处的有利位置之外，他们在图形硬件与软件、AI 硬件与软件领域都是头号供应商。现在又出现一个同时需要这两种能力的庞大应用。如果这种情况真的发生，他们将大获成功。

David：最近一场主题演讲里有个特别酷的演示。我记得可能是在 SIGGRAPH 上，Nvidia 创建了一个完整的光线追踪游戏环境。看起来就像一款顶级 3A 游戏，效果惊人，几乎能以假乱真；你得仔细看，才知道和你对话的不是现实中的人。你面前是一个非玩家角色，也就是 NPC，它会给你一个任务。他们展示这个演示时，画面非常震撼。

接着他们说，这个角色对你说的话并不是预先写好的剧本，而是由 AI 实时生成的。你会觉得：天哪。玩电子游戏时，角色的话通常都有脚本。但在你描述的这个世界里，由生成式 AI 控制的虚拟角色可以不受预设脚本限制，拥有自己的智能，并推动故事发展。

Ben：或者用飞机举例：不仅模拟风洞，还用真实天气数据模拟数百万小时的飞行时间，再用 AI 预测未来天气。这样你就能知道飞机在现实中可能遇到什么情况，并在生成式图形 AI 模拟环境里进行测试。未来还会出现更多这样的应用。

David：完全同意。

Ben：还有一件我们上一期没怎么谈到的事：Nvidia 的人效相当高。他们有 26,000 名员工。听起来不少，但对比一下，市值只有他们两倍的 Microsoft 有 220,000 名员工。也就是说，以市值为单位，Microsoft 的员工数是 Nvidia 的五倍。这种比较有点不严谨，因为 Nvidia 只是最近才有这么高的市值。

David：Nvidia 正在打造的平台，规模相当于 Microsoft 那样的公司。

Ben：对。他们人均市值达到 4,600 万美元。

David：惊人。

Ben：太疯狂了。

David：我觉得，这也体现在我们逐渐认识的一些员工所描述的公司文化里。Nvidia 的文化确实很独特。它是一家大规模的科技公司，但你不会像在其他公司那样，听到同样那些荒唐的大科技公司故事。

据我所知——我也可能错了——Nvidia 没有在家办公或返岗政策。不是的，你把工作做好就行。没人强迫大家来办公室。他们还加快了产品发布周期。

Ben：我也觉得，公司有点像在说：‘要么把一生投入工作，要么就别来。’据传 Jensen 有 40 名直接下属。他的办公室基本上就是一间空会议室，因为他一直四处跑，和这个人、那个人交谈。他不停打电话。要是你还得操心每个人的职业规划，就没法直接管理 40 个人。

David：他谈过这件事。他说：‘我有 40 名直接下属，他们在各自领域都是世界上最优秀的人。这是他们一生的事业。我不会和他们谈职业规划，也没这个必要。应届毕业生我们会提供指导，但如果你是资深员工，在这里工作了 20 年，是业内顶尖人才，而我们又极其高效，那我每天早上五点开始工作，一周七天，你也得这么做。’

Ben：太疯狂了。

David：我在听一段 Jensen 的采访时听到一句精彩的话。快结束时，采访者问他：‘Jensen，你和 Nvidia 做了这么多了不起的事。你平时怎么放松？’Jensen 的回答是——我正在读，这是他的原话：‘我一直都在放松。我喜欢在工作中放松，因为工作对我来说就是放松。解决问题让我放松，取得成就也让我放松。’他说得非常认真，百分之百认真，甚至百分之一千认真。

Ben：Jensen 多大了？

David：这家伙 60 岁。

Ben：我感觉他同辈的人要么退休后享受生活，要么经营公司的同时也享受生活。还有一批人正在这么做。我觉得这对他来说完全不感兴趣，也不是他现在的状态。

我觉得他还能再干 30 年，而且他把公司设计成了能让这个计划实现的样子。我不觉得公司里有人正在准备接替他。公司就像是 Jensen 的想法、意志、动力和未来信念的延伸，一切都是这样发展出来的。

David：我不知道有没有 Jensen 和 Lori Huang 基金会，但如果有，他也没把时间花在上面。他没有买体育球队，也没有买超级游艇；就算买了，他也不谈，而且可能还在船上工作。

Ben：他也没有收购社交媒体平台或报纸。

David：完全没有。

Ben：看他们的主题演讲也很说明问题。台上是 Jensen 和一些客户演示，但不像 Apple 的主题演讲，Tim Cook 会请另一位 Apple 员工上台。整个演讲就是 Jensen 的个人秀。

David：没错。我不觉得有人会说 Tim Cook 不努力工作。但你去看那些主题演讲，会觉得 Tim 只是开场并把话筒交出去，然后一批高管轮流介绍各自的产品。

Ben：早上好。

David：Tim Apple。我喜欢这个叫法。

Ben：我喜欢 Tim Apple。

David：我们得找机会请 Tim 上节目，那就太棒了。

Ben：对，给他发短信。

David：发短信给他。

Ben：好，接下来讲‘力量’？

David：来聊聊竞争优势。

Ben：如果你是新听众，这个环节会讨论公司凭什么持续获得高于竞争对手的回报，也就是说，如何长期保持比最接近的竞争者更高的盈利能力。

Nvidia 很有意思，因为它确实有直接竞争者，但对它来说，最有意思的竞争形式是去中介化。表面上看是 Nvidia 对 AMD。可是 AMD 并没有从 TSMC 预留到那么多产能，至少没有预留高端 GPU 所需的 2.5D 封装产能。

AMD 没有 CUDA 那样的开发者生态。它是最接近的直接竞争对手，但其他竞争还包括 Amazon 开发 Trainium 和 Inferentia；据传 Microsoft 也想和 AMD 合作打造自己的芯片；Google 有 TPU；Facebook 则开发 PyTorch，再利用自己在 PyTorch 社区的影响力，设法向底层扩展。Nvidia 面临许多方向的竞争，但大多数都不是直接竞争。

David：还别忘了如今也和 Nvidia 直接竞争的数据中心硬件供应商，比如 Intel，以及其他公司。

Ben：没错。说了这么多，他们拥有许多竞争优势。我们逐项讨论时，不如先把它们都列出来，再看哪些值得展开。

反向定位这一项，我觉得确实没什么可说的。我不认为 Nvidia 做的任何事是其他公司主动选择不做的，因为现在任何公司都想成为 Nvidia。

David：我原本也会同意，但我觉得当前数据中心领域存在很强的反向定位。几年前，Nvidia 和 Jensen 就宣布要重构数据中心，而当时所有现有的数据中心硬件和计算服务商都有很强的动机不这么做。

Ben：但现在，你觉得其他数据中心硬件供应商有哪些事没在做？

David：你说得有道理。他们现在也都在把 GPU 放进数据中心。

Ben：整个市场就是大家落后几年，照着 Nvidia 的做法追赶。

David：好吧，说得对。

Ben：问题是 Nvidia 能不能在重要方面保持领先。我觉得这就是当前对这家公司的全部分析：对大规模客户和广阔市场真正重要的地方，他们能否持续领先于那些只想追赶、复制他们做法的公司？毕竟 Nvidia 的利润空间太大、太诱人，别人不愿意一直付这么高的价格。

第二项是规模经济，这显然和 CUDA 有关。有了足够的规模，你就能投入巨额固定成本，再把这些成本分摊出去。拥有 400 万名想在你的平台上开发产品的开发者，就能让各种投入变得合理。

如今在 LinkedIn 上，Nvidia 有 1,600 人的职位名称里写着 CUDA。我相信实际人数更多，只是他们的职位名称可能写的是软件工程师之类。但公司有数千人投入这项工作，软件本身却几乎不赚钱，或只带来微不足道的收入；成本则分摊到了整个开发者群体。

David：我觉得还可以多说一点，这也是我们上一期谈过的。在我看来，这里的局面很像 Apple 的 iOS 与 Android。

Apple 有成千上万名开发者为 iOS 工作。Android 也有成千上万名开发者，在广泛的生态系统里共同开发。但在 Apple，整个系统受到严格控制，并且和硬件绑定；Android 则不是这样。作为用户，你不一定能拿到最新的操作系统更新。

Ben：我觉得这个类比非常准确：Nvidia 是 AI 领域的 Apple，PyTorch 则像 Android，因为它是开源的，还有许多公司都在参与。就图形领域而言，OpenCL 像 Android，但它表现很差，也落后很多。

AMD 为自家硬件打造的 CUDA 竞争产品叫 ROCm。不过它还是新产品，采用率也不高。AMD 正在努力，但他们选择开源，因为意识到无法和 Nvidia 正面较量，需要另找策略。不过没错，他们确实在走 Apple 的路线。

David：我觉得以目前的情况来看，Nvidia 的优势甚至比 iOS 对 Android 更大，因为过去 16 年里，Nvidia 先是安排几十名、后来数百名、如今数千名工程师开发 CUDA；开源生态里相当于 Android 的项目才刚刚起步。

如果你想想 iOS 和 Android 的领先时间差，大约是一年半或两年。Nvidia 可能领先至少 10 年，更接近 15 年。我们和几个人谈到这件事时就问：开源生态里进展如何？有没有类似 Android 的东西？

即使是我们聊过的最乐观的人也说：‘是啊，Facebook 现在把 PyTorch 交给基金会管理，放到 Facebook 之外，这意味着其他公司可以派几十名工程师来一起开发。’听起来不错。

AMD 会派几十名、也许一百名工程师开发 PyTorch。Google、Facebook 和其他公司也会参与。但 Nvidia 已经有数千名工程师开发 CUDA，而且领先了 10 年。

Ben：David，我把一张图发给你了，显示我估算的自 2006 年 CUDA 创建以来，每年有多少员工参与开发。把曲线下方的面积算出来，也就是积分，大约相当于投入了 10,000 人年。祝他们好运吧。

David：当然，开源的力量很强。推动这件事的市场激励也确实存在。

Ben：这点很有意思。任何护城河都只有在城堡足够小的时候才管用。如果终点的奖品变得足够巨大，你就需要更宽的护城河，也得想办法更好地守住城堡。我把太多比喻混在一起了，不过你明白我的意思。

David：我喜欢。

Ben：当可触达市场只有 1,000 亿美元时，这道护城河完全够用。但它真的是一万亿美元的市场机会吗？可能不是。基本来说，这意味着利润率会下降，竞争也会越来越激烈。

David：我觉得 Nvidia 非常清楚这一点。我刚才暗示过，部分原因和疫情有关。但我们第一期节目很久以前就谈过，Nvidia 为了拯救公司，曾把显卡发布周期改成每六个月一次，而竞争对手还需要一到两年。这个节奏持续了几年，后来才放宽到每年发布一次，并且每年举办一次 GTC。

疫情以来，Nvidia 又恢复到每六个月发布一次产品。疫情后多数年份，他们每年举办两次 GTC。考虑到他们面对的技术复杂程度，这简直不可思议。想象一下 Apple 一年办两次 WWDC，那就是 Nvidia 正在做的事。

Ben：太疯狂了。

David：一方面，这是公司文化；另一方面，这说明他们承认自己现在必须全力以赴，跑在竞争对手前面。

Ben：我们构建了一些结构性的防御机制，但还得继续以最快的速度奔跑，才能保持领先，因为我们身处的赛道太诱人了。

David：没错。规模经济就聊到这里。接下来谈转换成本。

Ben：到目前为止，所有重要的东西，尤其是模型训练、尤其是大语言模型，都是基于 Nvidia 构建的。这本身就意味着有大量代码和组织惯性。即使只从软件角度看，要迁离 Nvidia 也很困难。

但在 2023 年，有些超大规模云服务商和《财富》500 强公司已经在为自己的数据中心做采购和部署决策，这些决策至少会影响未来五年。数据中心架构不会经常重构。Nvidia 肯定会趁领先时尽最大努力交付尽可能多的产品，好把这些数据中心的架构锁定十年。

David：为了准备这期节目，我们采访了很多人。其中一次最有意思的对话，是和我们最喜欢的几位公开市场投资者之一 NZS Capital 团队进行的。

Ben：这期节目里有很多见解都是我从他们那里学来的。

David：他们确实很棒，而且长期关注 Nvidia 和这个领域。他们指出，数据中心营收和数据中心资本支出属于人类已知最稳定、最难流失的营收。对于《财富》500 强公司来说，采购数据中心设备、统一数据中心架构所涉及的组织转换成本极高——这话说起来都绕口——他们最多十年才会做一次这样的改变。

Ben：即使我们正处在生成式 AI 热潮中，还没完全看清所有应用，Nvidia 也在利用这股热度打造客户锁定。我看到网上有人说，他们喜欢 Nvidia 供应受限的情况。我不这么认为。我觉得他们正想尽各种办法寻找产能，趁机会还在时尽可能发挥优势。

David：我完全同意。我觉得，虽然我们没和 Nvidia 的财务长 Colette 谈过这件事，但如果我是他们，肯定会愿意牺牲现在一部分增长带来的利润率，换取更多销售出货量。

Ben：没错。但 TSMC 只有一家，而且能生产他们所需 2.5D 架构的晶圆厂也只有那么多。

David：我们要聊聊‘独占资源’吗？

Ben：要，这大概是教科书级别的独占资源。Nvidia 能拿到 TSMC 的大量产能，竞争对手却拿不到。他们也有点意外地获得了这项独占资源：那些晶圆产能最初是为了另一种用途预订的，部分用于加密货币挖矿。

AMD 没有这项资源。AMD 的产能其实很多，值得说明的是，他们在 TSMC 为其他产品预留了大量产能，比如数据中心 CPU，而且这块业务表现很好。但 Nvidia 最终在 TSMC 的 CoWoS 产能上，独自占据了一条畅通无阻的赛道，只要还能保持这种局面，他们就能充分利用它。

David：再多说一点：这并不是一种标准化商品，就像我们在 TSMC 那期节目中讨论的那样。虽然 TSMC 是代工厂，但它提供的产品绝不是普通商品，尤其是在最尖端的高性能领域。

Ben：它就像外星人发明后带到地球的技术，没几个人真正懂得怎么做。

David：是啊。

Ben：要承认，LLM 训练市场基本上是两强争霸。我们一直在强调 Nvidia，但 Google TPU 也已经实现量产。你只能通过 Google Cloud 使用它们。我不知道是否必须使用 TensorFlow 框架。相较 PyTorch，TensorFlow 的人气一直在下降。不过，使用 TPU 还没有像使用 Nvidia 硬件那样成为行业标准。

我猜有很大一部分 TPU 都由 Google 内部使用，比如支持 Bard 或 Google 搜索。Google 已经在搜索里加入了许多生成式 AI 功能。

David：完全正确。这里有两点。先只谈业务和市场：Google 的战略冲突是一个重大牺牲。很明显，理想做法是像 Nvidia 那样，客户想从云端购买，你就要进入每一个云平台。但 Google 显然不会进入 AWS、Azure、Oracle 和所有新兴云服务商，它只会在 GCP 上销售。

Ben：也许吧，David。

David：不过，如果放宽视角，我觉得 Google 这样做有道理，因为它的核心业务是自己的产品。

Ben：而且他们运营着世界上最赚钱的企业之一。只要有办法进一步增强优势、延长增长期，他们很可能就应该这么做。

David：这一切都没改变一个事实：上一代 AI，也就是机器学习，为社交媒体和互联网应用带来的效益，催生了人类历史上最赚钱的现金流来源。现在的 AI 世界依然如此，对 Google 来说也依然如此。

Ben：我圈出的最后一项是网络效应。他们拥有大量开发者和客户，可以共同分摊技术投资，也都能从彼此的贡献中获益。

还记得有人在 CUDA 上构建各种软件库吗？你可以使用别人做好的积木来编写自己的代码。调用已有功能之后，你就能用很少的代码写出出色的 CUDA 程序。

2006 年，Nvidia 做出一个当时成本很高的重大投资决定：确保每块出厂的 GPU 都完全兼容 CUDA。回头看，这真是天才之举。如今，开发者可以面向 5 亿块支持 CUDA 的 GPU 开发，吸引力非常大。

我把它归在网络效应里。我觉得它可能更像规模经济，但你可以想象 2006 到 2012 年间，有许多人围着 Nvidia 质疑：‘为什么非要把软件设计成能在这么小的空间里运行？CUDA 占那么大的空间，还要为了兼容它牺牲硬件设计。真的有人会用 CUDA 吗？’如今看来，这简直是天才之举。

David：我们在节目里多次谈过这件事，也和 Hamilton Helmer、Chenyi 讨论过。对于 Nvidia 这样的平台公司来说，有一种特别的竞争优势，融合了规模经济与网络效应。这正是你说的情况。

Ben：没错。他们确实有品牌优势。

David：我觉得这个话题确实值得多谈一点。

Ben：这就是‘没人会因为买 IBM 而被炒鱿鱼’。在 AI 时代，Nvidia 就是现代的 IBM。

David：是啊。我不敢特别肯定地坚持这个观点，但考虑到公司的创立方式、经营时间，以及他们在另一个完全不同的业务——图形处理——也拥有市场领先产品，我觉得这可能确实带来一些品牌优势。图形处理既包括消费市场，也包括专业市场。尤其是 McDonald’s 的 CIO 和高管层做采购决定时，大家都知道 Nvidia。

Ben：你的意思是，他们把消费品牌延伸到了企业业务。

David：品牌在竞争优势里所占的比重可能很小，但我不觉得它有害。他们一直被视为技术领先者。几十年来，全世界都知道他们能实现的效果很神奇。

Ben：是的，这里还有一个强者愈强的效应。我敢说，上个季度的营收表现远远超过他们以往从消费品牌获得的任何好处。客户想的是：‘所有人都在买 Nvidia，我不买岂不是傻子？’

David：短期内，没人会因为买 Nvidia 而被炒鱿鱼。

Ben：或者说，客户不怕依赖他们，也愿意面向他们的开发平台开发产品。当你要推动业务创新时，不希望自己基于的平台带来风险。你只希望自己承担价值链里唯一的风险。

David：最后一项是流程优势。

Ben：这大概是最弱的一项。虽然我相信可以举出一些理由说明他们有流程优势，但其他竞争优势都更有价值。

David：这部分总是很难拆开分析。我觉得可以说，Nvidia 的文化和每六个月发布一次产品的节奏，过去他们确实做到过，后来有一段时间没有，现在又恢复了。也许可以从这里谈流程优势。

这现实吗？我们做个思想实验：他们的竞争对手能不能在任何领域都改成每六个月发布一次？那会非常困难。一家像 Apple 这么大的公司能一年办两次 WWDC 吗？不行。

Ben：问题是，这真的重要吗？如今有很多人还在用 A100。事实上，除了训练 GPT-4 这样的模型，大多数工作负载都能在 A100 上运行。我不知道这种节奏有多重要，或者它是否比其他因素更重要。

举个例子，AMD 最新的一款 GPU 也用了 3D 封装。这是一种更先进的工艺，用实际铜对铜的直接连接，不需要硅中介层。我说得有点细，不过大致上，它比 H100 使用的 2.5D 工艺更加先进，能确保内存和计算单元非常靠近。

这重要吗？不太重要。重要的是我们一直在谈的其他因素。没人会因为这个方案稍微好一点，就做出采购决定。

David：再想想，我觉得品牌现在确实是 Nvidia 的一项重要竞争优势。

Ben：这是一种强者愈强的效应。你能理解他们为什么要抓住现在这个机会。

David：没错。

Ben：接下来讲策略？

David：好，进入策略部分。

Ben：我想指出一点：Jensen 总把现在称为 AI 的 iPhone 时刻。大家通常理解为，他指的是一种全新的主流人机交互方式。但还有另一种解读。David，你觉得我说‘一家以软件为差异化优势的硬件公司，后来扩展到服务领域’，听起来熟悉吗？

David：熟悉。

Ben：拿 AI 的 iPhone 时刻来形容 Nvidia 自己像 Apple，这说法其实带点反讽。我真觉得两者的相似之处令人惊讶：Nvidia 提供垂直整合的硬件和软件栈，你用他们的工具为这套系统开发。他们卖出的设备数量最多，开发者自然有很强的动力瞄准这个市场。用户愿意为好体验支付更多，所以开发者也最愿意为他们打造一流体验。

它像 iPhone，但很多方面更好，因为目标市场是企业，而不是消费者。唯一不同的是，Apple 的市值一直低于用户已经验证的价值；而 Nvidia 现在的市值则远远超过了已实现的价值。

David：我们把这个留到最后讨论看多和看空的观点。

Ben：好。第二点是，他们已经从硬件公司真正转型成系统公司。Nvidia 的芯片通常领先，但单个芯片对单个芯片的比较其实不重要，因为竞争的赛场不在那里。

关键在于，多块 GPU、多个 GPU 机架以及配套硬件、网络和软件，能否作为一个系统协同工作。Nvidia 完全改变了竞争的方向，其他许多公司都可以从中学习。

第三点是 Jensen 在同一篇 Stratechery 采访中说过的话：‘打造伟大公司的方法，是去做别人做不到的事。你不该和其他人争着做每个人都能做的事。’

我觉得这句话非常切题，也体现在很多有意思的地方。比如 Nvidia 一直等到有了差异化的方式和充分理由，才投入资源制造 CPU。现在这个时机到了。顺带一提，他们的做法并没有特别大的差异：他们使用现成的 ARM 架构，再加上自己的一些独特技术；并不像 Apple 那样从头打造 M3 芯片。

David：CPU 并不是主打产品。

Ben：Nvidia 还有许多类似做法，我们上一期也谈过。如果他们觉得机会利润率太低，就不会追逐它。说得更好听一些就是：‘我们不想和别人竞争那些人人都能做的事。我们要做只有我们能做的事。顺便说，只有我们做这些事时，才能真正获得它们的全部价值。’

David：Nvidia 的策略里或许还有一个相关主题：要在时机成熟时出手。我猜过去十到十五年里，Jensen 和公司内部许多竞争动力，都是为了对抗 Intel。

Intel 曾试图扼杀他们。我们在前几期节目里多次谈过。我们采访过一位人士，他把 Intel 比作乡村俱乐部，而 Nvidia 则像格斗俱乐部。当年 Intel 的乡村俱乐部不想让 Nvidia 加入。

Intel 控制着主板，也控制着最重要的芯片——CPU。Intel 会把其他芯片整合进主板，让它们变成标准化商品。如果做不到，他们就会自己制造芯片。他们对 Nvidia 尝试了所有这些策略，而 Nvidia 几乎没能挺过来。

之后到了数据中心。Intel 长期控制着数据中心。PCI Express 长期是数据中心的互连标准，Nvidia 不得不嵌入这套体系。我敢肯定，他们每一分钟都很难受。但十年前，他们没有突然转身说：‘猜猜看，我们也来做 CPU。’他们一直等到时机合适才行动。

Ben：太不可思议了。他们过去必须把产品插进别人的服务器里。后来开始制造能插进别人机架、机列和架构的服务器。接着，他们开始制造整排、整墙的设备。未来某个时候，他们还会开始运营整栋装满服务器的大楼。然后他们会说：‘我们不需要插进任何东西了。’

David：但我觉得，对其他领导者来说，他们很难像 Nvidia 一样有耐心。

Ben：完全同意。只有提前十年投资，你才能做到他们现在做的事。我们非常擅长发明和创新，创造真正突破性的产品，而且准确判断巨大市场。除非同时做到这三点，否则其他事情都无关紧要。

David：是啊，如果你刚才说的都不成立，《财富》500 强的 CIO 就不会做采购决定。

Ben：在最后讨论看多和看空观点之前，我有个有意思的话题想和你聊聊。想想我们做 AWS 那期时谈过什么：AWS 的客户黏性非常强，数据库就是一种极其持久的优势。你的数据一旦传到某个云平台上，往往真的是装满硬盘的半挂卡车把数据运过去……

David：没错，就像 Snowball。

Ben：……想把数据迁出来就很难。有个有意思的问题：Google、Microsoft、Amazon 在 Cloud 1.0 里赢得的市场份额，能不能让它们在云端 AI 时代也占得先机？

一方面，你会觉得当然可以，因为我想在数据旁边训练 AI 模型。把数据搬到别处训练的成本非常高。

David：就是一个例子：Microsoft 是 OpenAI 的独家云基础设施提供商。据我们所知，OpenAI 完全运行在 Nvidia 的基础设施上，但所有设备都是通过 Microsoft 采购的。

Ben：另一方面，客户想要的是完整的 Nvidia 使用体验，而不是你用最低可能的成本提供一个近似体验。有时云服务商必须给我 A100 或 H100，因为我的代码太复杂，根本不可能为了它们自有、成本更低的加速计算设备重新设计架构。

我不知道。我只是觉得，过去五年来这是我第一次开始重新审视现有云服务商的护城河，并想：也许真的存在挑战它们的路径，云市场也还没有尘埃落定。

David：不过——这里的说法带点贬义——云其实是数据中心的委婉说法。超大规模云服务商和公有云所提供的东西，远不止数据中心。

Ben：但从实体上看，它们就是数据中心。

David：是啊。Equinix 和 AWS 之间，打个比方，差了十万八千里。但它们确实都是数据中心。至少按 Jensen 的说法，数据中心正在发生根本变化。我觉得这很可能会让云市场发生变化，未来需要应对新的局面。

Ben：我猜最终结果会是，你在 Cloud 1.0 里选择的平台，很大程度上决定你在 AI 云时代会选择谁。因为说到底，如果客户想要 Nvidia 的产品，云服务商就有充分理由让你能在他们的平台上运行应用。

David：但还有更多情况。Crusoe、CoreWeave、Lambda Labs 都存在。这些初创公司资金充足，融资额达数十亿美元。许多聪明人认为，云计算规模的机会正在出现。几年前还不会有这种情况。

Ben：说得太对了。好，接下来讨论看多和看空观点，然后结束这一期。

David：天哪，我们一直尽可能拖延这个环节。这正是眼下大家最关心的问题。

Ben：其中一个问题是，如果 GPU 真的变成每年 1,000 亿美元的市场，Nvidia 现有的护城河够不够宽？目前数据中心 GPU 市场一年约 300 亿美元，明年可能达到 500 亿美元。如果市场真像大家预期的那样发展，潜在利润太大，这些大公司不可能不大举投资。

Meta 为元宇宙投入了数百亿美元。传闻 Apple 为头显投入了 150 亿美元。Amazon 在设备上也投入了数百亿美元，毫无疑问这是笔糟糕的投资。Echo 到底怎么回本？

David：天哪，完全离题了。我太失望了。我把家里的设备都换成 Echo 生态系统了，但它却越来越笨。在 AI 能力飞速提升的世界里，我的 Echo 为什么反而越来越笨？

Ben：他们得加把劲，用 Inferentia 多训练训练它们。

David：天哪，好，吐槽完毕。

Ben：永远别低估大型科技公司往某件事里投入数百亿美元的能力，只要潜在回报够大。这些垄断企业盈利高得离谱，Amazon 除外，它没那么赚钱。

David：AWS 赚钱。

Ben：是啊。但 Google、Facebook、Apple 之间的博弈迟早会结束，其中一些公司会全力投入，说：‘我们也有聪明工程师，我们会想办法解决。’

David：是啊。不过也别低估大型科技公司执行自己想做的事情时有多困难，特别是遇到重大的战略转型时。

Ben：好，真的开始吧。我们先谈看空理由。

David：我觉得你刚才已经说明了第一个看空理由：科技生态里的其他所有公司，如今都目标一致、有动力从 Nvidia 的收益中分一杯羹，而且这些公司拥有难以估量的资源。

Ben：说得更具体些，看看 PyTorch。如今许多开发者都在用 PyTorch，这让它有机会聚集客户，也就有机会去中介化。

要实现这一点，他们得在底层开发大量新软件，也得推出大量硬件。云服务商已经采取了一些行动。PyTorch 最初由 Meta 开发。虽然它是开源的，但如果仍归 Meta 所有并由它控制，其他公司还是很难投入资源。

现在，PyTorch 已经转移到一个有许多公司共同参与的基金会名下。再说一次，把 PyTorch 和 Nvidia 当成对等竞争者，完全是错误类比。

但按 Ben Thompson 的聚合理论，如果你聚集了客户，就有机会提高利润率、去中介化，并影响客户的注意力流向。PyTorch 有这个机会。我觉得这就是很多云服务提供商会用来竞争的路线。他们会说：‘看，你用 PyTorch 构建的东西，在我们的平台上运行也很好。’

David：当然。这肯定会发生。好，这是第一个看空理由中的第二个分支。

Ben：下一个看空理由是，市场规模没有市值显示的那么大。我觉得，在未来 12 到 18 个月里，市场很可能会遇到挫折，投资者信心也可能动摇。终有一天会出现某种新情况，让大家意识到：也许 GPT 没我们想的那么有用，也许我们不想把聊天机器人放到所有界面上。

这种信心危机、这种小型泡沫破裂，最终会影响美国企业的 CIO 和 CEO，让他们更难在董事会上提议：‘我们今年刚批准整套预算，现在我想改变预算，对公司整体架构进行一次重大重构，并做出这笔巨额采购。’这种兴奋情绪破裂会带有类似加密货币泡沫的特点，让部分公司的支出放缓。

问题是这种情况什么时候发生。它不是会不会发生，而是什么时候发生。我很难相信，在如今这么高的热度下，AI 会比所有人的预期更有用，并且一路线性发展，没有任何回落，大家只会越来越兴奋。AI 最终也许比任何人的预想都更有用，但中途肯定会有一段低谷。关键是 Nvidia 如何度过这场信心危机。

David：挺有意思的。我们为这期节目采访了很多人，包括一些最杰出的 AI 研究人员、从业者、公司创始人和高管。几乎所有人回答这个问题时都说了同样的话：‘是的，现在的热度确实过头了，毫无疑问。但从十年尺度来看，真正的变化还没开始。我们相信即将发生的转型会非常深刻，甚至超乎想象。’

Ben：过度炒作最有意思的地方是，它已经体现在营收里。每个购买这些算力的客户都相信某件事。对 Nvidia 来说，因为这种信念转化成了营收，它就是真实的。他们只需确保客户最终创造的价值，能够赶上目前全球 CIO 提前投入的规模。

David：我觉得这里还有个值得讨论的子问题：生成式 AI 到底有没有大家说得那么神奇？

Ben：David，大约一个月没问你这个问题了，但一个月前你还很坚持地告诉我：‘我不需要 ChatGPT。我从没用过，也没法发现它有什么用。它总是在胡编，我也不会想到要用它。它不属于我的工作流程。’你现在怎么看？

David：基本还是这样，包括为了准备这期节目，我也强迫自己反复尝试使用它。不过，和更多人交谈后，我意识到 David Rosenthal 的使用场景在这里其实一点也不重要。我们的业务非常专业、独特，就像一个小型独角兽。最重要的是准确性，以及我们自己投入到每期节目里的研究深度和思考。

Ben：而且我们没有同事。我们的业务有很多奇怪之处，比如我们从来不需要为会议准备简报。

David：没错。我们做的一切对外内容都是出于热爱，没有任何内部材料需要准备。

Ben：我认识一些人用 ChatGPT 制定 OKR。我就会问：‘OKR 是什么？’他们说：‘我也希望自己的生活是这样，所以才让 ChatGPT 帮我做。’

David：说实话，通过准备这期节目、和一些人交谈以及阅读资料，我觉得现在用它写代码确实很有说服力。无论你是完全不懂软件开发的初学者，还是顶尖开发者，都能借助 GitHub Copilot 大幅提高产出。这有价值吗？当然有。

Ben：是啊，大语言模型特别擅长写代码和辅助写代码。我非常相信这个用途。

David：还有一些稍微带点猜测性，但如今已经看得到的用途，比如我刚才提到的 Nvidia 游戏演示：你可以和一个没有预先写好台词的非玩家角色交谈。

最近我们在 ACQ2 采访了 Runway 的 CEO Chris Valenzuela。他们的技术被用于《瞬息全宇宙》。他说，这还只是冰山一角。你现在就能用生成式 AI 在这些领域做出惊人的东西。

Ben：我觉得你的意思是，一个人可能会因为自己的体验而看空 AI：每次你尝试生成式 AI 应用，它都融不进工作流程，你觉得不好用，也没有持续使用的习惯。但另一方面，AI 的应用其实是许多细分领域的总和。

游戏市场、写作市场、创意写作市场、软件开发市场、营销文案市场……这样的细分市场有上百万个。你可能只是不属于最先出现的几个细分领域。

David：至少对我来说，我一开始非常怀疑，部分原因是时机太巧了。那感觉像是所有 VC 刚告诉大家加密货币才是未来，还在大谈特谈；接着利率就升到 5%，你的世界瞬间崩塌。

Ben：有很多人当时正在募集基金，却对所有人说：‘AI 是未来，现在是最好的投资时机。’

David：我当时很大一部分想法就是：‘得了吧，诸位。’

Ben：太巧了，你说得对。

David：确实太巧了。但 Nvidia 最近几个月、最近这个季度的表现已经说明，即使把所有这些质疑放在一边，《财富》500 强企业和 CIO 都在采用这些技术，Nvidia 也在卖出实实在在的产品。再加上了解训练模型需要什么，以及模型规模从 10 亿参数、100 亿参数、2,000 亿参数增长到万亿参数时，知识和效用会阶梯式增长，是啊，这里面肯定发生了什么。

Ben：这就引出了下一个看空理由：模型会变得足够好，训练完成后，我们会转向推理。大部分算力负载会落在推理上，而 Nvidia 在推理上的差异化较弱。我不相信这种说法，理由有很多，但它确实是个流行观点。

我不相信的一个重要原因是，Transformer 并非发展的终点。David，我们做的许多研究都明确显示，目前还有超越 Transformer 的技术处于研究阶段。用户体验只会越来越神奇，也会越来越高效。

还有第二个看空理由：我们现在用蛮力，把所有算力都堆到训练上，收入也都流向了 Nvidia，因为他们提供这些算力设备。随着时间推移，你看 Google 的 Chinchilla 或 Llama 2，它们实际使用的参数比 GPT-4 少，却达到了相近的质量。质量究竟如何，可以由其他人判断；但这里有个潜在看空因素：未来的模型可能更聪明，不需要那么多算力。

还要说明，即使在今天，绝大多数 AI 工作负载也不像大语言模型，至少直到最近才是这样。按人类历史的标准，LLM 是目前最需要大量算力的一类任务。问题是这种情况会不会继续下去？

最近还有许多令人惊叹的 AI 应用，训练模型的成本低得多，比如扩散模型以及整类图像生成式 AI 应用。我们这一期没怎么谈这些，因为它们对算力的要求没那么高。许多任务并不需要整个互联网的训练数据和一万亿个参数才能实现。

David：我觉得有道理。我也认为，工作负载转向推理确实在发生。我同意你的观点，训练不会消失，但直到最近，回想 Google 当年的情况，大家花钱的重点都是训练。所有人都在关注训练。

随着这类技术的使用量增加，推理会在整体市场中占据更大比重。推理就是模型训练完成后，为生成输出而进行的计算。正如你所说，和训练相比，推理所依赖的基础设施与生态系统差异化程度较低。

这些就是看空理由。也许还有一个和中国有关的看空理由，而且很合理，因为这会给许多人带来问题。

Ben：在可预见的未来，他们无法真正进入一个规模很大的市场。

David：而且总体上还不知道会发生什么。显然，中国正在全力打造本土生态系统和竞争产品，这会成为一个封闭市场。接下来会有什么发展？会发生什么？

Ben：那确实是一个看空因素。我最后一个理由虽然是看空，但最终又不完全算看空。对大多数公司来说，如果它们估值倍数很高，刚经历了营收和营业利润快速增长，那么增长一旦消失，就会对公司造成无法修复的伤害。增长放缓时，股权薪酬会成为问题，员工士气会受影响，客户观感也会变差。但 Nvidia 不一样。

David：没错，这对他们来说并不新鲜。

Ben：这么多年来，他们曾多次从长期的负面情绪中重新崛起，推出令人惊叹的创新。我觉得，当这种情况发生时，他们可能是最有准备的公司，至少也是最能应对的公司。

David：我喜欢这个说法。这个转折说得真棒。你在语言模型上的训练水平提高了。

Ben：你应该看看我有多少个参数。

David：真有意思。

Ben：好，我们来列一下看多理由。第一，Jensen 对加速计算的判断是对的。眼下大多数工作负载都没有加速处理，而是受限于 CPU。它们其实可以被加速。现在也许只有 5% 或 10% 的工作负载采用加速计算，未来可能会超过 50%；并行处理的计算机也会多得多，而其中大部分收益会落到 Nvidia 手里。

David：我想补充一个细节。乍一看，很多人会说：‘得了吧。’但我认为，在生成式 AI 的世界里，以及我们这期谈到的一切当中，这个论点确实很有道理。

我不认为 Jensen 和 Nvidia 是在说传统计算会消失或规模缩小。我觉得他的意思是，AI 计算会叠加到一切现有事物之上，而为此所需的计算量会远远超过通用计算。

人们不会停止运行 SharePoint 服务器，也不会停止使用现有产品和界面。变化在于，所有这些产品里都会加入生成式 AI，并出现新的使用场景；这些场景仍然会使用传统的、基于 CPU 的通用计算。但为了让这些体验变得神奇，所需的工作负载规模会大得多。

Ben：再说个软件开发的一般性问题。除非有框架帮你处理，否则编写可并行运行的代码非常困难。即使是多线程代码也很难写。还记得大学计算机科学课上遇到的竞争条件，或者需要自己编写信号量的情况吗？这些东西最难调试。

我认为，很多本可以加速处理的任务之所以还没有加速，只是因为开发起来更难。如果未来 Nvidia 重新定义计算机，从冯·诺依曼架构转向他们开发的流式处理器架构，并且提供完整技术栈，让应用开发和现有应用迁移都同样简单，那么一旦硬件已经买好、成本已经支出并放进数据中心，许多工作负载其实都适合加速处理，只要实现起来足够容易。

David：所以你的意思是，目前还有许多潜在的加速计算需求，只是尚未被真正加速。

Ben：没错。人们会想：‘这个工作负载不贵，我也不想雇工程师重构整个系统，就先这样吧。’

David：这个观点我接受。

Ben：我觉得这种情况很多。第一个看多理由是，Jensen 对加速计算的判断正确。第二个是，他对生成式 AI 的判断也正确。两者结合，会把数据中心的大量支出转向 Nvidia 的硬件。

正如我们提到的，传闻 OpenAI 的 ChatGPT 目前年化经常性收入超过 10 亿美元。我想，最可信的估算大约是 30 亿美元，也可能是明年的预测。

但不只有 OpenAI。Google 的 Bard，我在准备这期节目时发现它非常有用，虽然目前没有直接把它变现，但它让我继续使用 Google 搜索。即使到今天，这项技术也创造了大量真实经济价值，尽管还远远没有达到 Nvidia 当前估值隐含的价值。看空理由可能会说：Nvidia 必须每件事都做对；但看多理由是，已经有迹象显示它正在做对。

第三个看多理由是，Nvidia 的行动速度实在太快。无论技术怎样发展，都很难相信他们找不到适合自己的位置。这是公司文化带来的优势。

第四个理由是你前面提到的：目前全球数据中心里已有 1 万亿美元的设备资产，每年还要投入 2,500 亿美元来更新和扩建产能，而 Nvidia 有机会拿下其中相当大的一部分。Nvidia 现在的年营收是多少？大概 300 亿美元吧？

David：按当前季度年化计算，大约 500 亿美元，甚至超过 500 亿。

Ben：所以他们现在拿下了数据中心当年支出的 20%。你可以想象这个比例还会高得多。

David：等等，这还包括游戏业务的营收。数据中心业务营收是 100 亿美元，年化就是 400 亿左右。

Ben：好，那就是 15% 到 18%。但你可以想象这个比例继续提高。再说一次，如果加速计算和生成式 AI 的判断成真，他们的数据中心营收会增长到 500 亿美元，并拿下更大的市场份额。

验证这个市场规模的一种有意思的方法，是看看生态系统里其他公司的财报。TSMC 在最近一次财报中说，AI 硬件目前只占营收的 6%。但所有迹象都表明，他们预计未来五年 AI 收入每年增长 50%。

我们试着从客户工作负载的角度判断它是否有用；也可以从另一边看 Nvidia 的供应商在预测什么。他们必须把钱押在自己的预测上，建造新晶圆厂、封装设备及生产芯片所需的其他设施。对 TSMC 来说，押错方向的代价很高。

这是另一个看多理由。最后，在结束前我还有一个想法。

David：你的意思是还有一件事？

Ben：是的。Nvidia 不是 Intel。我觉得这是你帮我意识到的最大一点。

David：它也不是 Cisco。

Ben：没错。我们上一期做的类比是错的。它们更像 Microsoft：控制整个软件栈，同时能和开发者生态及客户生态建立联系。甚至可能比 Microsoft 更强，因为他们还制造全部硬件。

David：也可能更像老式 IBM。

Ben：对。想象一下，如果 IBM 当年身处今天这么大的计算市场，会是什么样。那时候计算市场还很小。

David：当年确实是这样。后来个人电脑浪潮颠覆了 IBM。用今天的说法，那就是个人计算、边缘计算、设备端计算。IBM 当时主导的是面向企业的大型机计算周期。

如果你相信 Jensen 所说的一切，以及他过去五年带领公司的方式，那么我们正在回到一个以集中式数据中心和现代大型机为主导的计算周期。

Ben：我猜很多推理计算会转移到边缘端。想想我们口袋里有多么惊人的算力，却还没有充分利用。手机上会运行许多机器学习任务，再把复杂任务交给云端模型处理。

David：毫无疑问。不过短期内，我觉得训练不会发生在边缘端。

Ben：我完全同意。好，就像我们做 TSMC 那期一样，我想最后留给你一个问题，David：要和 Nvidia 竞争，需要做些什么？我从 TSMC 那期得到的主要结论是，你必须相信某个政府会投入数十亿美元并聘请大量人才。我当时就在想，Nvidia 对应的情况是什么？

要和他们竞争，你得先设计出同样优秀的 GPU 芯片，可以说 AMD、Google 和 Amazon 正在尝试做到这一点。然后还需要打造 NVLink 那样的芯片间网络能力，只有少数公司做得到。接下来你还得和 Foxconn 这样的硬件组装商建立关系，把芯片装进 DGX 这样的服务器里。

即使做到这些，你仍然需要打造和 Mellanox 一样好的服务器间、机架间网络能力。Mellanox 的 InfiniBand 是市场上最好的产品，现在已经完全归 Nvidia 所有并由它控制，几乎没人能做到。即使这些都做到，你还得说服所有客户购买你的产品，所以你的产品必须比 Nvidia 更好、更便宜，或者两者兼具，不能只是一样好。

David：而且必须好很多。现在这个品牌，你短期内不会因为买 Nvidia 而被炒鱿鱼。可以说，CIO 要被说服购买别家的产品，那产品必须比 Nvidia 好十倍才行。

Ben：即使客户愿意买，你还得和 TSMC 签约，获得最新尖端晶圆厂的制造能力，来生产 2.5D CoWoS 光刻和封装工艺所需产品。可这种产能已经没有了，所以祝你好运。

即使你找到办法做到这一点，还得开发出至少和 CUDA 一样好的软件。当然，这要投入 10,000 人年，花掉数十亿美元，还要耗费大量时间。即使这些投资都到位，你仍然得说服开发者放弃 CUDA，改用你的平台。

而 Nvidia 不会原地不动。你必须创纪录地完成所有这些，才能追上他们，并超过你开始努力以来 Nvidia 新增的能力。

我的结论是，几乎不可能正面与他们竞争。未来要是有人能在 AI 和加速计算领域取代 Nvidia，要么是从他们没看见的侧翼发起突袭，要么是未来证明 AI 并不需要加速计算。但后一种情况看起来极不可能。

David：这么一说，我觉得结论是 Marc Andreessen 当年说对了。我们那时谈到这件事，是哪一年？

Ben：大概是 2015 年吧？

David：对，2015 到 2016 年。

Ben：A16Z 募集的每一只基金，都应该每天把每一美元投进 Nvidia 股票。

David：因为当时他们看到所有做深度学习、机器学习和早期 AI 的初创公司，全都在 Nvidia 上构建。他们本该直接对这些公司说‘不用了’，然后把钱全投 Nvidia。Marc 又说对了。强者愈强，就是这样。

Ben：就是这样。听众朋友们，我承认这一期对很多细节都做了概括，尤其是对技术方面的听众，也包括关注金融的听众。我们的目标是做一期经得起时间考验、视角更宏观的 Nvidia 第三部分，而不是只聊他们上季度表现如何，以及未来三个季度会怎样。希望这期内容能比一时的 Nvidia 评论更耐看。非常感谢你们和我们一起经历这段旅程。

David：正如节目中多次提到的，我们还要感谢许多帮助过我们的人。有些人本来还有更重要的事要做，却抽时间帮助我们。我们真的非常感激。

Ben：非常感谢 Nvidia 的 Ian Buck。他负责数据中心业务，也是当年发明 CUDA 的原始团队成员之一。他在准备这期节目时接受我们的采访，我们非常感谢他。

David：当然。还要特别感谢本节目的一位朋友兼听众，来自 ABC Data 的 Jeremy。他专门为我们准备了……

Ben：四份 PDF？

David：他完全没受我们委托，却为我们写了一份内容丰富的资料，讲了许多技术细节。

Ben：私人博客文章。

David：是的，私人博客文章。Acquired 社区真的太棒了，你们总能让我们惊喜连连。谢谢大家。

Ben：感谢 Hugging Face 的首席技术官 Julien、AI2 的 Oren Etzioni、OctoML 的 Luis，当然也感谢 NZS Capital 的朋友们。谢谢大家帮助我们研究这期节目。

David：确实。好。

Ben：聊聊各自最近的推荐？

David：换个话题。说说最近的推荐吧。你有什么？

Ben：我和妻子最近迷上了电视剧《双面女间谍》。

David：哇，Jennifer Garner 演的那个？

Ben：对。我当年播出时没看过。这是最适合 2000 年代初期风格的轻松消遣：一天结束时还有一小时，躺在沙发上随便看看。

David：我一天结束时从来没有多余一小时。我有个两岁的孩子。不过等她 16 年后去上大学时，我会很感激这部剧的。我先把它记在清单上。

Ben：你会玩游戏啊。

David：确实，不过那是为了研究。我只是在体验最新的图形技术。

Ben：我对《双面女间谍》的评价是：有点夸张、戏剧化，而且经常重复同样的内容。看着它会觉得，现在和当时的电视节目变化真大；如今也有类似的剧，但表达方式更含蓄、更黑暗，也留给观众更多想象空间。

2000 年代初期的节目什么都说得很直白，反复强调好几遍。我很庆幸这部剧没有罐头笑声，但确实值得一看。有时你得想象它配的是另一段音乐，因为每一集都用了类似《黑客帝国》的配乐。

David：没错。这就像《黑客帝国》的电视剧版，对吧？

Ben：对，但很好看。我们看得很开心。

David：我的推荐也和人生阶段有关。我最近才发现一件以前错过的事：我们最近和女儿一起看了第一部完整的迪士尼电影。

Ben：哇，你们选了哪一部？

David：这是个重要时刻，她特别喜欢。我觉得我们选得很好，是《海洋奇缘》，我和 Jenny 都没看过。后来我稍微读了点相关内容。你知道 Pixar 最近几年非常遗憾地走下坡路了吗？真让人难过。它还是 Pixar，却已经不像 Pixar 了。

Ben：它不再像过去那样每次都能保证推出热门作品了。

David：没错。《海洋奇缘》是这一代作品，和《魔发奇缘》一样，都是 Pixar 收购之后，迪士尼动画工作室推出的作品。这些动画让人觉得迪士尼回到了 Eisner 时代的巅峰，动画制作状态全面回升。

我们都很喜欢。我们和哥哥、嫂子一起看，他们三十多岁，住在旧金山，还没有孩子。他们喜欢，我们女儿也喜欢。无论你处于人生哪个阶段，都强烈推荐《海洋奇缘》。

Ben：好，太好了。我把它加到清单里。

David：而且里面有 The Rock。你还能有什么不满意的？

Ben：没错。

如果你希望每次有新节目上线时都收到通知，不想错过节目；如果你想要一点线索，猜猜我们的下一期会讲什么；或者你想了解听众提醒我们的旧节目后续信息，我们都会独家通过邮件发送。去 acquired.fm/email 注册即可。

David：这太有趣了。我想你接下来要聊 Slack。大家在 Slack 里讨论本期线索时，我看得很开心。我们写了那段预告，我还说：‘所有人肯定都能猜出我们要讲什么。’

Ben：结果没有一个人猜到。我特别震惊。

David：后来终于有人猜到了，不过花了好几天。

Ben：是啊，我们有帽子卖。你应该买一顶。这不是为了赚很多钱，我们只是希望有更多人戴着 ACQ 标志。加入这场行动，也可以给朋友看看。

David：这还不是我们的 SuperPOD，不过……

Ben：没错。

David：我们的播客才是 SuperPOD。

Ben：成为 Acquired 的有限合伙人。每个季度你可以参与选一期节目，我们大约每两个月开一次 Zoom 会议。网址是 acquired.fm/lp。也欢迎在任何播客平台收听 ACQ2，获取更多 Acquired 内容；还可以到 acquired.fm/slack 参与讨论。

听众朋友们，下次再见。

David：下次见。