Jensen Huang: 黄仁勋：英伟达——市值4万亿美元的公司与AI革命

莱克斯·弗里德曼（Lex Fridman）开场称，英伟达是人类文明史上最重要、最具影响力的公司之一，是“驱动AI革命的引擎”。他把英伟达的成功很大程度上归功于黄仁勋的意志，以及他作为领导者、工程师和创新者所下的赌注和做出的决策。这是主持人给出的定性。除了随后的讨论，这段节选没有为此提供其他证据。

弗里德曼说，英伟达已经从芯片级设计转向机架级设计。很长一段时间里，取胜就意味着造出尽可能好的GPU，英伟达至今仍在这样做。他认为，英伟达此后已经扩展到“极致协同设计”（extreme co-design），范围覆盖GPU、CPU、内存、网络、存储、供电、散热、软件、机架、已发布的pod以及数据中心。他的第一个问题是：协同设计一个包含如此多组件和设计变量的系统，最难的部分是什么。

黄仁勋没有先谈最难的部分，而是从为什么需要协同设计讲起。他说，工作负载已经大到一台机器装不下了：

之所以需要极致协同设计，是因为问题已经无法装进一台计算机、由一块GPU来加速了。

他把目标概括为：加速的倍数要超过所增加的计算机数量。他举的例子是增加10,000台计算机，却希望工作速度提升一百万倍。他说，要做到这一点，必须把算法拆开并重构，流水线、数据和模型也都必须分片。他把将问题分布式化与单纯扩大规模区分开来。一旦问题被分布出去，“一切都会成为阻碍”。

他把这一点与阿姆达尔定律联系起来。根据该定律，改进工作负载中某一部分所带来的加速，取决于这部分在整个工作负载中所占的比例。他给出了一个数字示例：

如果计算占问题的50%，而我把计算无限加速，比如加速一百万倍，你知道，我也只是把整个工作负载提升到了原来的两倍。

所以，光是加快计算还不够。黄仁勋列举了CPU、GPU、网络、交换，以及把工作负载分配到各台计算机上，指出在英伟达的规模下，这些各自都是独立的难题。他称最终得到的是“一个极其复杂的计算机科学问题”，需要调动所有技术来解决。他说，否则扩展只能是线性的，或者受制于摩尔定律。他认为摩尔定律已经放缓：

摩尔定律，它已经在很大程度上放缓了，因为登纳德缩放已经放缓。

黄仁勋随后提出三个问题：什么是极致协同设计，为什么需要它，以及如何实现它。“是什么”包含两个层面。第一层是跨整个计算技术栈的优化，从架构到芯片、系统、系统软件、算法和应用。第二层则超出CPU、GPU、网络芯片、纵向扩展（scale-up）交换机和横向扩展（scale-out）交换机的范围，把供电和散热也纳入进来。他补充了一个限定：这些计算机“能效非常高”，但“总体上仍然消耗大量电力”。他没有给出任何功耗数字。至于“为什么”，他重申，对工作负载进行分布式处理，是为了超越单纯增加计算机所能带来的收益。

弗里德曼追问人的层面。每个领域都有各自的世界级专家，包括高带宽内存、网络与NVLink、网卡（NIC）、光学与铜缆、供电以及散热。他问如何把这些专家聚到一起设计一个机架，以及专才和通才之间如何分工。黄仁勋起初的简短回答是“这就是为什么我的直属团队这么庞大。”

黄仁勋把“如何做”看作一个组织问题，称之为“某种程度上是这家公司的奇迹”。他把公司比作一台需要操作系统的计算机。一家公司应该先决定自己想产出什么，再把自己打造成产出这些东西的机器。他批评那些行业截然不同、组织架构图却大同小异的公司：

汉堡公司的组织架构图、软件公司的组织架构图、汽车公司的组织架构图，它们看起来都一样。这在我看来完全说不通。

他认为，“公司的架构应当反映它所处的环境”，并说这个环境“几乎直接告诉你应该如何安排组织”。

他举的具体例子是自己的直属团队。他说自己的直接下属有60人。弗里德曼确认他是否仍有60名直接下属时，黄仁勋回答“更多，是的。”黄仁勋说，他不和他们做一对一沟通，因为在这样的规模下根本做不到。弗里德曼说，他们中的大多数人至少有一只脚踏在工程领域。黄仁勋答道“几乎所有人都是。”他列举了内存、CPU、光学、GPU、架构、算法和设计方面的专家。

黄仁勋把会议形式与工程方法直接联系在一起：

而且任何对话都从来不是只有一个人。这就是为什么我不做一对一。我们提出一个问题，然后所有人一起攻克它。

他说，“公司一直都在进行极致协同设计”。弗里德曼描述了这样一场关于散热或网络的讨论：所有人都在听，任何人都可以提出异议，指出某个方案在供电分配或内存方面行不通。黄仁勋对每一点都表示认同。

黄仁勋还说，他不监督谁在不在听：“谁想走神就走神。”他相信员工知道什么时候该集中注意力。他说，如果有人本可以做出贡献却没有，他会点名指出来。节选没有提供关于这种组织结构实际效果的外部证据，黄仁勋本人的说法是唯一来源。

弗里德曼问，环境是什么时候发生变化的：从游戏GPU，到早期的深度学习革命，再到把英伟达看作一家打造“生产AI的工厂”的公司。黄仁勋没有给出具体时间，而是从英伟达作为一家加速器公司的起源讲起，解释了公司的战略。

他说，加速器存在一种取舍。专用化让它为特定任务做了高度优化，但应用领域很窄。他说，单是市场覆盖面窄还可以接受。真正的制约在于市场规模限制了研发能力：

市场规模也决定了你的研发能力。而你的研发能力最终决定了你在计算领域可能产生的影响力和冲击力。

黄仁勋说，英伟达一直都知道，特定的加速器只是第一步，公司需要成为“加速计算”公司。他指出这两个词是相互拉扯的。一家通用计算公司会失去它的专用性：“我们越是成为一家更好的计算公司，作为专才就变得越差。”他说，公司必须走一条“非常狭窄的道路”，一步步扩大计算的适用范围，同时不放弃最重要的专长。

黄仁勋按顺序列出了这些步骤：（1）发明可编程像素着色器，这是迈向可编程性的第一步；（2）在着色器中加入兼容IEEE标准的FP32，他称之为“朝计算方向迈出的一大步”；（3）在FP32之上加入C语言，由此诞生了Cg；（4）Cg这条路最终通向了CUDA；（5）把CUDA放到GeForce上。

黄仁勋认为，正是FP32这一步吸引来了外部研究人员。研究流处理器和其他数据流处理器的人“发现了我们”。他们看到了一款计算密集型的GPU，它现在符合IEEE标准，还能运行他们以前为CPU编写的软件。

黄仁勋称，把CUDA放到GeForce上是一个“非常、非常难做”的战略决策：

这让公司付出了巨额利润，而当时我们负担不起。但我们还是做了，因为我们想成为一家计算公司。

他的推理是一串环环相扣的要求。一家计算公司要有一种计算架构，而“计算架构必须在我们制造的所有芯片上保持兼容”。他没有给出利润损失的具体数字。弗里德曼请他解释这一决策时，黄仁勋称其为“第一个近乎生存威胁的战略决策”。

弗里德曼补充了他自己的事后评价。他称之为“一家公司有史以来做出的最为英明的决策之一”，并说CUDA成为了AI基础设施中计算的基石。黄仁勋的认同则更为克制：“结果证明那是个好决策。”

黄仁勋接着解释了为什么在消费级GPU之间保持兼容如此重要。CUDA拓宽了英伟达能够加速的应用范围之后，问题就变成了如何吸引开发者。他认为，开发者选择一个平台，并不是因为它能做些有趣的事。他们来，是因为装机量大，他们希望自己的软件能触达很多人。他的结论是：

装机量事实上是一个架构中最重要的部分。

他用一个历史对比来支撑这一观点。他说，没有哪种架构受到的批评比x86更多，他称其“不够优雅”，但它却是“当今的决定性架构”。相比之下，他说，许多RISC架构尽管设计精良，却失败了：

那么多RISC架构，架构优美，由世界上一些最聪明的计算机科学家精心设计，却大多失败了。

黄仁勋明确把装机基础与将 CUDA 加入 GeForce 的决策联系起来：数以百万计的 GPU 销量可以为一种计算架构奠定用户基础，同时英伟达培养开发者。他随后谈到成本与利润上的取舍；这是他对公司历史的叙述，并非独立市场数据。

装机量定义了一个架构。不是……其他一切都是次要的，好吗？

黄仁勋把CUDA的成功描述为一次押注分发渠道的战略赌注的结果。他说，CUDA问世时面对的是一个拥挤的领域：已经有了OpenCL，还有“其他几种相互竞争的架构”。他说，英伟达做对的并不是某项技术特性，而是认识到一种新的计算架构要靠装机量才能成功。那时GeForce已经取得了商业成功，他把这一成功看作把CUDA推向世界的载体。

他描述的计划分为两部分。第一，英伟达要在每一块GeForce GPU上搭载CUDA（公司当时每年已经在销售“数以百万计”的GeForce GPU），并把它装进每一台PC，“不管客户用不用”。第二，公司要直接争取开发者：走进大学、写书、开课，“把CUDA推广到各处”。黄仁勋把这一逻辑与当时的计算格局联系起来。PC是主要的计算载体，而且“当时还没有云”，所以PC里的一块GPU就能把“一台超级计算机交到每一位研究者手中”，也交到每一个学生手中。他把回报描述为开放式的：“最终会有了不起的事情发生。”

他还解释了消费级硬件为什么能触达科学家。许多研究人员是游戏玩家，许多人自己组装PC，在大学实验室里，许多人还用PC组件自己搭建集群。莱克斯·弗里德曼补充说，这个基础成为了“深度学习革命的平台和基石”，黄仁勋表示认同，称这是“又一个非常、非常好的观察”。与深度学习的这层联系来自弗里德曼的引导和黄仁勋的认同，黄仁勋在这段话里并没有具体说明它是如何发生的。

我常说，英伟达是GeForce建起来的房子，因为正是GeForce把CUDA带给了所有人。

黄仁勋坦言，这一装机量战略的代价非常高。他说，CUDA让消费级GPU的成本大幅上升，以至于“完全吞噬了公司全部的毛利润”。他给出的估值数字明确是约数。他先说发布之前公司价值约80亿美元，随后又改口为“六十亿、七十亿美元之类的”。他说，公司市值后来跌到了“大约15亿美元”，在那个水平停留了一段时间，之后才“慢慢爬回来”。

弗里德曼问到当时内部是怎么讨论的，黄仁勋给出了更具体的数字。英伟达“让成本增加了50%”，而当时它还是“一家毛利率35%的公司”。他说自己必须向董事会讲清楚目标，管理团队也知道毛利率“会被压垮”。核心矛盾在于，游戏玩家不会看重CUDA，也不会为它买单：“他们只付特定的价格，你的成本是多少根本无所谓。”

他给出的理由是一种更长远的希望，而不是短期回报。CUDA最终或许能进入工作站和超级计算机领域，在那里“也许我们能拿到更高的利润率”。他称这是“相当艰难的决定”，并承认周期很长。你可以通过推理说服自己负担得起，“但它仍然花了……花了十年”。这段叙述出自黄仁勋本人的回忆。除了他带有保留的估计之外，这段内容没有提供可供核对的外部数据。

弗里德曼把话题从董事会的讨论转向英伟达“大胆押注”背后的心理，问黄仁勋作为一家公司是如何做出这种跨越的。黄仁勋从好奇心讲起。接着他描述了一个时刻：“一套推理体系”让他确信某个结果“将会发生”，从那以后他就相信这一点，用他的话说，让那个未来成为现实。他并不淡化其中的代价：“中间会经历很多痛苦，但你必须相信你所相信的。”他还补充说，这种推理是大家共同进行的，管理团队也会推理为什么某个未来“必然存在”。

他把自己的做法与一种他不认同的领导风格作对比。在那种风格下，领导者一直不出声，然后在新年伊始发布一份宣言，推出新计划、“大规模裁员”、大规模组织调整、新的使命宣言和“全新的标志”。他说：“我从来不那样做事。”相反，当某个想法开始影响他的思考时，他会告诉身边的人这个想法很有意思、会带来改变，并且“一步一步又一步”地把它推理下去。

他坦率承认，这往往是事后的说服：“很多时候，我其实已经拿定主意了。”随后他会利用外部信息、新的见解、工程上的突破和里程碑来“塑造其他所有人的信念体系”。他说自己“真的每一天”都在对董事会、管理团队和员工这样做。他举了收购迈络思（Mellanox）和“全力押注深度学习”作为例子。他说，在每个例子中，铺垫工作早已在不同部门中完成，所以到宣布那天，大多数人已经认同了其中的许多部分。

有时候看起来像是你在从后面领导，但其实你一直在塑造他们的，你知道，一直到我宣布的那一天，就是100%的认同。

他把另一种做法描述为：突然向管理层、董事会、员工和客户宣布转向，而他们的反应是“这是从哪儿冒出来的？”他把这种方法延伸到英伟达的GTC主题演讲。他说，在那里他不仅塑造自家员工的信念，也塑造行业合作伙伴的信念。他举的近期例子，按文字记录原文是“我们刚刚宣布了Grok”。他说在那次宣布之前，他已经“把这些铺路石讲了两年半”。支持这种方法的证据是个人经历。“100%认同”这个数字，以及他设想中员工的反应“怎么花了这么久？”，都是黄仁勋自己的描述，而不是经过测量的结果。

弗里德曼认为，这种信念塑造的影响超出了英伟达本身，延伸到“更广泛的全球创新格局”。黄仁勋给出了一个结构性的理由，说明说服为什么对他的业务很重要。他说，英伟达不造计算机，也不建云。它是“一家计算平台公司”，而且“没人能从我们这里买到任何东西。这就是奇怪的地方。”公司以垂直整合的方式设计并优化整个技术栈，然后把“整个平台的每一层”开放出来，供其他公司集成到它们的产品、云、超级计算机和OEM计算机中。