Jensen Huang: 黄仁勋直播:NVIDIA 的未来、物理 AI、智能体崛起、推理爆发与 AI 公关危机
Jensen Huang LIVE: Nvidia's Future, Physical AI, Rise of the Agent, Inference Explosion, AI PR Crisis
嘉宾:Jensen Huang
精读 · 按主题梳理核心观点、论证与案例。
§01GTC 上的特别节目
本期开场,主持人解释说,常规的每周节目为这场直播对谈让路。他们开玩笑说,节目只会为“特朗普总统、耶稣和黄仁勋”让路,并形容这场活动“每个行业都在这里。每家科技公司都在这里。每家 AI 公司都在这里。”随后话题转到对 Grok 的收购,有人调侃一位联合主持人在收购之后会是什么样子,大家还就交易交割用了六周还是两周来回争论。
§02从 GPU 公司到 AI 工厂公司
第一个实质性回答把 Grok 交易定位为一项事先公开宣布的战略的一部分。发言者说,公司的许多战略都是“提前数年在 GTC 上光明正大地公布的”,并以两年半前推出的 Dynamo 为例,称其为“AI 工厂的操作系统”。这个名字取自西门子的发电机(dynamo),它把水力转化为电力,为上一次工业革命的工厂提供动力。发言者认为,用它来命名下一次工业革命的操作系统十分贴切。
Dynamo 内部的核心技术被描述为解耦推理(disaggregated inference)。推理被称为“当今最复杂的计算问题”,涉及“难以置信的规模,大量形态和规模各异的数学运算”。其思路是拆分处理过程,让一部分在某些 GPU 上运行,其余部分在另一些 GPU 上运行。据发言者说,这让他们认为异构、解耦的计算在更广泛的范围内也可能行得通,同样的思路也与更早的一项收购有关(转录为“melonize”)。
你知道,我们确实已经从一家 GPU 公司演变成了一家 AI 工厂公司。
发言者列举了如今构成公司计算体系的组件:GPU、CPU、纵向扩展(scale-up)与横向扩展(scale-out)交换机,以及网络处理器,并将加入 Grok,让“合适的工作负载”运行“在合适的芯片上”。一位提问者称这种解耦是本次活动最大的收获,并提到台上的一项建议:高价值推理用户应把约 25% 的数据中心空间用于 Grok LPU 与 GPU 的组合。回答将其重述为数据中心里“Grok 约占 Vera Rubin 的 25%”。
给出的变化原因是从大语言模型处理转向智能体(agentic)处理。智能体会访问工作记忆和长期记忆、使用工具、给存储带来沉重负载,并与其他智能体协作。这些智能体运行在多种模型的组合之上:超大模型和较小模型,扩散模型和自回归模型。Vera Rubin 正是为运行这种“极其多样的工作负载”而打造的。
发言者还从市场规模的角度加以阐述。“过去是一家只做一种机架的公司”,如今又增加了四种机架,发言者估计公司的 TAM(总可服务市场)会增长“大概,你知道,高出 33%、50%”。这部分增长预计主要来自 BlueField 存储处理器、Grok 处理器(“我希望如此”)、CPU 和网络处理器。它们共同运行着发言者所说的 AI 革命的计算机:智能体。
§03三台计算机:从训练到泰迪熊
被问到嵌入式用途(从女儿会说话的泰迪熊说起),以及这些用途需要定制 ASIC 还是更广泛的边缘工具时,发言者描述了三台计算机。第一台用于训练和开发 AI 模型。第二台用于评估模型。对于机器人和汽车,评估在“一个代表物理世界的虚拟训练场”中进行,使用“遵循物理定律”的软件;公司称之为 Omniverse。第三台是边缘或机器人计算机,它可以装在自动驾驶汽车里、机器人里,或者是“给泰迪熊用的小小一台”。
发言者特别指出,有一个边缘项目属于最重要的项目之一:把电信基站变成 AI 基础设施的一部分。电信被描述为“一个 2 万亿美元的产业”,“假以时日”将成为 AI 基础设施的延伸,无线电设备则充当边缘设备。工厂和仓库被列为其他边缘场景。这段回答的最后一句在转录中含混不清(“aren't gonna be necessary”),因此不清楚是否是在说三台计算机都是必需的。
§04工厂价格与 token 成本
一位提问者回忆,发言者去年预测推理会增长一千倍,在全世界都聚焦预训练的时候,这一说法显得有些夸张。回答把预测调得更高:“是 100 万倍吗?会是 10 亿倍。”提问者说推理“已经爆发”,并且“我们受限于推理能力”。
提问者接着陈述了他们听到的看空观点。据说新的推理工厂在吞吐量上大约好 10 倍,但成本为“400 亿或 500 亿”,而定制 ASIC、AMD 等替代方案为“250 亿到 300 亿”。担忧在于 NVIDIA 会丢失份额。问题是,大约两倍的溢价是否合理。
最大的收获、最核心的理念是:你不应该把工厂的价格和 token 的价格、token 的成本等同起来。
发言者说,这座 500 亿美元的工厂将生产成本最低的 token,并声称“我可以证明”,不过在这段交流中并未给出证明。论点关乎成本结构。工厂中约 200 亿美元“只是土地、电力和厂房”(转录为“LAN power and shell”),而存储、网络、CPU、服务器和冷却无论用什么芯片都需要。因此,GPU 按全价还是半价,并不会造成 500 亿美元对 300 亿美元的差距。按照发言者的示意性数字(“挑你喜欢的数字”),差距更接近 500 亿美元对 400 亿美元。当更贵的数据中心拥有 10 倍吞吐量时,这一差额“并不是一个很大的比例”。
如果你跟不上技术的发展水平和我们奔跑的速度,那么即使芯片免费,也不够便宜。