Naveen Rao: 纳文·拉奥：4D 计算、AI 的能源之墙与超越生物
Naveen Rao: 4D Computing, AI's Energy Wall & Beating Biology
嘉宾：Naveen Rao
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
本篇目录1 章节
§01原文文稿 · 00:00–22:26§01原文文稿 · 00:00–22:26
纳文·拉奥，AI 芯片初创公司 Unconventional AI 的联合创始人兼 CEO。他最为人所知的是创办并出售了两家深科技公司。从定义上说，纳文就是一位非同寻常的创始人。“我刚去的时候，我们的业务大约是 2000 万美元；等我离开时，已经是七八亿美元了。”“我认为，在你能把一样东西造出来之前，你并不真正理解它。”“某件事有人试过，并不意味着它就是错的。”“我和 AI 末日论者正好相反。我认为 AI 是人类的下一次进化。”
“我们需要在硬件底层上进行创新，才能真正构建出真正的智能。”请欢迎纳文·拉奥。大家好，很高兴来到这里。现在我们稍微换个话题，聊聊 AI，这个大家可能多少听说过。能来参加这次大会，我特别兴奋，因为正如开场介绍里说的，我和末日论者正好相反。我认为 AI 是人类有史以来创造的变革性技术之一，它将使我们迈向下一个进化阶段，而我正是为此而来。而这场大会可以说是一场“反末日论”大会。
那我们开始吧。在正式开始之前，我先简单介绍一下自己。说来有点奇怪，我现在正处在自己一辈子都想到达的位置。这是我大概五六岁时的样子。我们家很早就有了电脑，这会暴露我的年龄，那是在 1978 年，我们买了一台电脑。这张照片大概是 80 年代初拍的。
我小时候就学会了编程，当时只觉得它像拼图游戏。我后来成为一名电气工程师，主要是因为我喜欢科幻，一直想着怎样才能造出一台智能机器。在从事了一段造计算机的职业生涯之后，我又回到学校，拿了神经科学博士学位。当时的想法是：让我们回到那个问题上，怎样让计算机变得智能？幸运的是，整个世界也大致朝这个方向发展了。所以，作为一名技术人员，现在可以说是梦想成真的时刻。
再从创业的角度说说我自己。我其实创办了第一家 AI 芯片公司，叫 Nirvana Systems，那是在 2014 年。如果有人还记得当时的情况，那时根本没有 AI，至少在日常用语里还没有。要说服人们相信这件事很重要都非常困难，更别说围绕它去造硬件了。现在，你们刚才在台上听了黄仁勋的分享，
一家硬件公司因为 AI 成了世界上最大的公司。所以我们当时是很早的。我觉得我把公司卖给英特尔卖得太早了，不过我在英特尔创建并领导了 AI 部门。2020 年我离开那里之后，开始思考下一个问题，也就是怎样构建更大的模型，比如我们今天所说的大语言模型。问题在于，我该怎样构建训练这些模型所需的基础设施？于是我们开始把 GPU 平台化，让它能够扩展，并让其他人也能轻松使用。
2022 年 ChatGPT 出现之后，对于想开始构建自己模型的人来说，我们几乎是当时最好的选择，所以业务增长得非常快。我们决定与 Databricks 联手，那是在 2023 年。事实上，这块业务如今占到 Databricks 总收入的四分之一。和 Databricks 的 Allie 及其团队一起做这整件事，非常有意思。现在我想介绍一下 Unconventional AI，它要重新思考计算机运作方式的基础。我们在这里回归第一性原理，真正尝试造一台全新的机器。
计算机以某种特定方式运作已经很久很久了。我们想重新思考这一点，唯一的目的是造出一种能效极高的东西。我们的目标最初是在五年内把能效提升到 1000 倍。我其实已经把这个时间修订为三年半，因为进展比我们预期的更快。有意思的是，我们正是借助 AI 才更快地解决了一些非常深层的科学问题。简单说一下我们的组织方式。我们真正是一家从顶层到底层全覆盖的公司。最上层是理论研究人员，他们是数学博士、理论神经科学背景之类的人。
他们提出一些概念，我们认为这些概念能从减少信息搬运的角度切实带来更高的能效。然后我们把这些概念转化为能做实际事情的模型，用真实数据训练，并按照真实标准评估。这算是让这些概念接受实战检验。最终我们必须真正造出一个实体。所以还有一批人负责设计物理电路的架构，并实际设计这些电路，
对它们建模，看看是否真的可行。我们努力把整个技术栈连接起来。最后，我们还必须构建系统、电路板之类的东西，做出一个产品。那么，能源真的是个问题吗？我不确定在座各位对此思考过多少，不过有意思的是，我可以给大家几个数据点。这是一家公司，就是谷歌。我用谷歌举例，是因为谷歌公开谈过这件事。他们每月处理超过 3.2 千万亿（quadrillion）个 token。这是个疯狂的数字。我以前从没想过会用千万亿来思考问题，但这就是我们今天所处的世界。如果我按每个 token 10 焦耳的能耗来算，这在模型能耗
范围里其实属于偏低的一端，但我们就用这个数字乘出来，结果是 12 吉瓦。美国目前投入数据中心的能源大约是 40 吉瓦，而我们约占全球数据中心容量的一半。所以，当今全球数据中心的能耗不到 100 吉瓦。而仅一家公司的 AI 服务就要用掉 12 吉瓦。可以想象，如果模型变得更大，能耗会上升；如果需求增长，而需求确实在增长，能耗也会上升。
所以我们很快就会耗尽能源。按我的估计，大约三年左右。用图来表示的话，现状是这样的：我们有一个呈指数增长的巨大市场，姑且说 2030 年会是一个万亿美元规模的市场，也许还更大。而底部是一条近似线性增长的能源曲线。你们今天已经听到很多关于这方面的讨论了，但这个缺口就是问题所在。
我们想用技术来弥合这个缺口。不知道大家是否意识到，过去几年里，我们对数据中心的思考方式已经发生了转变。过去关注的是占地面积：我能拿到场地吗？我能拿到机架空间吗？后来关注的是网络设备，再后来变成了 GPU。如今关注的是能源。
首先考虑的是能源。我拿到能源合同，然后必须想办法把它用满，基本上就是用 GPU 之类的东西搭建基础设施。能源大约占提供一个 token 服务成本的 50%。所以每次你在 ChatGPT 上试点什么，其中 50% 的成本是能源，其余是硬件的资本支出、场地之类的费用。所以如今我们的思路大致是——哎呀——我们的思路大致是：我拿到一份电力合同，就需要让每一瓦都变现。简单来说，我们的商业逻辑相当简单：
我们要让这份电力的变现效率比现有硬件高 1000 倍。那么问题就变成了：好，这些都说得通，但我们真的能做到吗？我们怎样造出一台更好、更高效的计算机？其实，生物学在这方面给我们提供了一些证据。你们可能听说过，人脑的运行功耗大约是 20 瓦。而更让我惊叹的其实是动物的大脑。那个红色数字是大脑中的神经元数量。如果按线性比例缩小到比如猴子的大脑，它的功耗是 1 瓦。
打个比方，你口袋里的手机功耗大约是 1 瓦。其他动物，比如老鼠、蝙蝠之类，功耗只有毫瓦级。举一个大家都比较熟悉的例子：松鼠。你可能见过它们有多精准，它们在树枝间跳跃，一千次里能完美完成一千次。它们的大脑功耗是 8 毫瓦。你的手机可以同时运行 100 多个松鼠大脑。而且松鼠的行为非常精确、准确。
所以生物学创造出了相当了不起的东西。事实上，它正是适合智能的那种物理底层。这是我很喜欢的一句话：我觉得在我们能创造出某样东西之前，并没有真正理解它。我们在创造智能系统方面已经进步了很多，但它们的实现方式有点低效。是哪种低效呢？正如我开头暗示过的，计算系统中的大部分能源都花在了搬运信息上。给一些具体数字：人类大脑皮层，也就是大脑外层那部分弯弯曲曲的结构，每秒只传输大约 160 亿比特。仔细想想，这其实是个挺小的数字，
因为皮层中大约有 130 亿或 140 亿个神经元。而一块 GPU 或一套高端计算系统每秒进出内存的数据接近 30 万亿比特，这还只是芯片外部。在芯片内部，可能还要再多 100 倍。所以这些人造系统搬运的比特比大脑多得多，而这正是推高能源需求的原因。我们是怎么走到这一步的？其实计算机以某种形式已经存在了几百年。它们最初是机械式的，大约在世纪之交变成了模拟式的，
然后在 20 世纪 30、40 年代变成了数字式的。所以 1940、1945 年那时计算机的运作方式，其实和今天非常相似，并没有发生巨大的范式转变。它们都是把内存放在外部，有某种计算单元，然后把比特来回搬运。这种运作方式造出的机器需要大量的数据搬运，但速度非常快。我们造计算机就是为了快，它们一直比替代方案更快。
顺便一提，1945 年造出的那台叫 ENIAC 的计算机，是为了计算炮弹弹道而造的，而且目标就是比替代方案算得更快。当时的替代方案是人，由人来做这些计算。如今的替代方案通常是另一台计算机：这台计算机的速度是那台的两倍。我们就是这样卖计算机的。但这种思路并没有考虑能效，
而这正是我们要改变的。这些趋势已经持续很长时间了：晶体管数量不断增加，但我们没法继续提升频率，没法继续提升单线程性能。而现在，我们连能效也不再能持续提升了。你们可能听说过摩尔定律，也就是让晶体管越做越小，它基本上已经终结了。所以我们已经无法仅靠缩小晶体管来获得能效提升。因此我们需要稍微重新思考这个问题。
那我们怎么做呢？一个很好的直觉是：去掉中间环节。计算机是由一层层抽象构建起来的。我提到了数字化。数字化意味着 1 和 0，而这本身就是对物理世界的一种抽象。我们实际上并没有真正表现为 1 和 0 的系统。晶体管其实存在中间状态，
但我们通过工程手段让它表现为 1 和 0，这就是一种抽象。我们不断往上叠加这些抽象，最终在其之上开始构建神经网络和学习机器。每一层抽象其实都有损耗，也就是说它是低效的，它没有考虑到底层的全部复杂性。
这正是它之所以是抽象的原因。所以我们所做的，在某种意义上是简化这一过程：我们找到对半导体物理特性的一种抽象，并把它直接与神经网络连接起来。你想一下自己的大脑，里面有大量神经元，但没有线性代数，也没有浮点运算。实际上是神经元的物理特性催生了智能。我们想用半导体在某种程度上模仿这一点。这也不是什么新概念。其实整个自然界处处都有计算，比如鸟群。你可能见过这样的场景：每只鸟只做一个简单的行为，
它看看左边，看看右边，判断下一只鸟要往哪里飞。当它们这样做时，就会形成那些有趣的群飞行为，也就是涌现行为。我们在蚁群中也能看到这一点，蚁群只靠非常简单的规则就能做出智能的事情。研究这方面的学科叫动力系统理论，基本上就是研究如何从单个组件非常简单的行为中得到涌现特性。我们的大脑其实也是这样运作的。所以我们正在借鉴这些思想，并开始用它们来构建电路。
我给大家举一个这类系统的例子。在座各位应该都知道节拍器是什么。比如你学钢琴之类的时候，它就是嘀嗒、嘀嗒，一个物理装置来回摆动。有个很酷的现象：如果你把多个节拍器放在一块刚性木板上，而这块木板可以来回滚动，你会看到它们开始同步。这完全是系统物理特性造成的。每个节拍器都会轻微地推动木板。即使它们彼此之间起初有一点偏差，最后也都会同步到完全相同的相位。
你甚至可以把这个物理系统扩展到几百个节拍器，它们都会同步。这其实是一种动力系统：它从各个节拍器处于不同相位的某个初始状态出发，最终总会同步。你可以想象一个稍微复杂一点的版本，也许它们不会全部同步，可能一半彼此同步，另一半以相反的模式同步，诸如此类。但核心思想是，这是一个物理系统，它之所以如此表现，仅仅是由于系统内在的相互连接。于是我们提出了一个问题：我们能否真的用这样的系统，比如那个节拍器系统，来做计算？我们想把它与生成式 AI 联系起来，这是我们真正关心的。所以我们发布了一个叫 Uno 的模型，它证明了这一点。
这是一个基于一组类似振荡器构建的图像生成模型。我们对它进行了仿真，并把它开源，让大家可以试用。这是首次证明我们确实可以把这类东西扩大规模、进行训练，并得到像图像生成这样有用的输出。这是我们在那篇文章中提供的一些分析。你们在这里看到的，我们称之为状态空间轨迹，基本上就是系统随时间演化的方式。你可以想象，如果用所有这些振荡器的相位来刻画系统的状态，
然后观察它随时间如何演化，并基本上以输出为条件。比如你说，我想生成一架飞机、一辆汽车或一只鸟，它就会经历不同的状态空间轨迹。你们在这里看到的就是对此的分析。而这些是它实际生成的图像。后来，我们在过去几个月里实际上建立起了大量这方面的基础科学，
并发现了其他能让它效果更好的方法。这就是我们所说的稀疏性概念。稀疏性的意思是，假设我有一堆元素彼此全部相连，就像左边那张图那样。如果我有 10 个元素，想让它们两两相连，那就是 10 乘以 10，也就是 100 个连接，这还可以。但如果我有 1000 个元素，那就是 1000 乘以 1000，变成了 100 万。所以这种方式的扩展性不太好。
我们称之为 n 平方扩展。也就是说，元素加得越多，扩展就变得越困难。对，所以这不太理想。稀疏性让我们可以问：我能不能扔掉其中一些连接？如果扔掉了，我还能挽回整个系统的行为吗？结果发现，你不仅可以扔掉一部分连接，
而且实际上还能让整个系统表现得更好，它会变得更容易训练。这背后有很多理论原因，而且我们不仅在仿真系统中做到了这一点，在真实的物理系统中也做到了。所以这是那种少有的情况：你得到的东西更高效、可扩展性更强，甚至性能更好。所以这算是一种圣杯。
这个问题困扰了人们很长时间，但我们必须以正确的方式来界定问题，才能真正找到这个解决方案。接下来这件事，其实是我第一次公开谈论。我之所以想在这个场合发布，是因为我觉得这是一件非常重大的事。这是有史以来第一台物理动力学计算机。我们用五个月完成了它。这家公司——谢谢——是从 1 月份才真正开始运作的。当时我们甚至还没有团队，但我们说要在今年造出第一个物理原型。而我们确实完成了设计流片，也就是把设计送到了晶圆厂，
时间是 6 月 1 日。芯片已经回到我们的实验室，而且我们已经从中得到了结果。这些就是有史以来首批由这种计算机生成的图像。好，很酷，但除了生成图像之外，它还能做什么有用的事吗？其实你可以做任何类型的任务，比如序列建模或语言模型。但有意思的是，它每张图像只需要大约 500 纳焦耳。打个比方，像 GPU 这样的普通计算机是毫焦耳量级。纳焦耳是 10 的负 9 次方，非常非常小。所以它比
标准计算机高效好几个数量级。原因就在于它根本不搬运信息。这是确凿的证据，它确实可行。所以这真的是我们第一次公开谈论这件事。是的，谢谢大家。这里很酷的一点是，这确实是一种新事物的出现。计算机从 CPU 发展到 GPU，并行度越来越高，再到存内计算，并行度更高、粒度更细。但所有这些都属于我们所说的冯·诺依曼架构：它们有内存和计算单元，信息在两者之间来回搬运。而我们造的是所谓的动力学计算机，它把计算和内存合为一体。我们没有内存接口，每个独立的计算单元本身就是一块内存。
这是看待这个问题的一种完全不同的方式。所以我们称之为 4D 计算：我们在动力学中利用时间维度，同时还利用晶粒堆叠带来的物理三维，也就是既在平面上布局，也在垂直方向上堆叠。所以我们有来自物理结构的三个维度，再加上时间这一个维度。这其实是一种思考计算机的新方式，而且就能效而言，它确实正在被证明行之有效。
那么，如果我们造出一种能效高出 1000 倍的东西，会带来什么影响？我觉得这真的很酷。我们关心的是每瓦智能。我们能否持续优化、不断改进这个指标？实际上存在一个热力学极限，你永远无法超越它。而哺乳动物的大脑，也就是动物的大脑，距离这个极限大约在一到两个数量级之内。
如今我们处在这张图的最左边，距离那个热力学极限大约差 100 亿倍，也就是 1 后面跟 10 个零。我们认为，在那三年半的时间里，我们可以触及二维光刻的极限。而这家公司的总体目标是超越生物。我们想造出更好的东西，并在未来十年左右实现无处不在的计算，包括在新型机器人形态之类的载体中进行计算。我认为有意思的是，我们将看到一种转变：从动辄数吉瓦的超大型数据中心，转向遍布各地的大量小型数据中心。
我认为这是件好事。它会让事情变得更环保、更本地化、更具适应性。正如我所说，我认为能够造出数十亿台可以动态组合、解决现实世界问题的机器人，是一件非常酷的事。这将使我们能够思考更大的问题，做更多的事情。我前面说过 AI 是一个万亿美元的市场。那么，如果我们以 1000 倍的幅度颠覆它，会怎样？有一个概念叫杰文斯悖论：当你降低某种资源的底层成本时，你的消耗量增长会
远远超过其成本下降的幅度。所以如果你把某样东西的价格降到一半，你的消耗量会超过原来的 2 倍。如果你把价格降到千分之一，你的消耗量就会超过原来的一千倍。我认为这将创造出人类有史以来最大的市场。（主持人：）我得说，这完全出乎意料。
我必须这么说，真的很了不起。我先从可能大家心里都在想的问题开始：如果这东西行得通——你们可能早些时候看到了黄仁勋——那就需要有一整个生态系统的人在你身边、围绕着你，不管是晶圆厂、
封装厂，等等等等。从这个早期版本走到能放在人们手里、被人们真正使用的东西，需要什么？你如何看待这条路径的时间和复杂度？它会是什么样子？（纳文：）是的，时间上，我们在两年内就能把它做成完整的产品。
我是说，有很多——（主持人：）那产品是什么？（纳文：）是这样，它是放在某处、由你们来管理的一台虚拟机。实际上，我们首先要做的是一款新的数据中心产品，所以它是一整个机架，是一套系统。（主持人：）明白。（纳文：）基本思路是我们在上面运行那些模型。token 通过网线输入、输出，但内部构造与现有计算机完全不同。（主持人：）你预计你们需要去支持现有的模型家族和现有的
架构吗？在这样一个世界里它能行得通吗？毕竟我们花了这么多时间在比如 KV 缓存之类的东西上，而这一切都如此机械、还原论，正如你所说，建立在我们一直依赖的那些抽象之上。所以你预计我们其他人要怎样向这种方式靠拢？因为我想，看到那条能效曲线，我们都会想要它。那我们要怎样利用它？（纳文：）是的，我认为这里存在一种权衡：一样东西好多少，与你愿意为迁移过去承受多少痛苦之间的权衡。
我的基本策略是，让迁移变得极具吸引力。移植工作肯定会有一些。我们并不是在运算层面做移植，而是在模型层面做移植。所以是的，现有模型可以运行，但要完成这种转换需要相当多的算力。（主持人：）那像矩阵乘法（MatMul）这样非常基础的元素，在你们的思路里存在吗？
（纳文：）不存在。我的意思是，你可以把它描述成矩阵乘法，但它并不是以矩阵乘法的方式实现的。（主持人：）好的。（纳文：）它是以一种随时间变化的行为来实现的。但你可以对其中每一个时间步进行分析，它基本上就是当前状态矩阵乘以一个转移矩阵。（主持人：）在组建这样一个团队时，这些人都是谁？是生物学家加物理学家，再加上什么人？
（纳文：）是的。有点像是提出这些东西的理论研究人员，比如动力系统理论已经存在 100 年了。（主持人：）嗯。（纳文：）所以我们从那个领域找来了一些人。然后我们还找了真正造芯片的人。（主持人：）而他们彼此之间不交流。（纳文：）他们彼此之间不交流。所以我们必须促成这种交流。
这其实是这家公司最具挑战性的事情之一：我们的人才跨度实在太大了。要让他们相互协调、共同造出一样东西，其实相当困难。（主持人：）那么，打个不太恰当的比方，有什么类似 CUDA 的东西，能让上层的这些人和下层的那些人沟通？（纳文：）有的。我们其实用 Python 构建了一套库。（主持人：）用 Python。（纳文：）它不是 CUDA，但算是一种语言，能让你表达具有随机行为的时变元素。（主持人：）这真是令人印象深刻。
这太有雄心了。非常感谢。很高兴见到你。（纳文：）很高兴见到你。