Jeff Dean 与 Noam Shazeer——在 Google 的 25 年：从 PageRank 到 AGI
Jeff Dean & Noam Shazeer — 25 years at Google: from PageRank to AGI
Guests: Jeff Dean, Noam Shazeer
Full transcript · Read the full conversation in order, with its original context.
Contents1 chapter
§01Jeff Dean 与 Noam Shazeer：在 Google 的 25 年§01Jeff Dean 与 Noam Shazeer：在 Google 的 25 年
Dwarkesh Patel
今天我很荣幸能和 Jeff Dean、Noam Shazeer 聊天。Jeff 是 Google 的首席科学家。在 Google 的 25 年里，他参与了现代计算领域许多最具变革性的系统，几乎不胜枚举：从 MapReduce、BigTable、TensorFlow、AlphaChip，一直到如今的 Gemini。
Noam 则是当今 AI 革命中贡献最大的人之一。他是现代大语言模型所用许多主要架构和技术的发明者或共同发明者：从 Transformer 本身，到混合专家模型、Mesh TensorFlow 等等。你们两位还是 Google DeepMind Gemini 项目的三位联合负责人中的两位。太好了，非常感谢你们来做客。
谢谢。很高兴来到这里。
好，先问一个问题。你们两位在 Google 工作了 25 年左右。公司刚成立时，你大概知道一切是怎么运作的。你什么时候开始觉得自己不再了解所有事情？有没有一个明显的时刻？
我在 2000 年底加入，当时公司有个制度：每个人都有一位导师。我什么都不懂，就什么都问导师，而导师什么都知道。后来才发现，我的导师就是 Jeff。
并不是 Google 每个人都什么都知道，只是 Jeff 知道，因为基本上所有东西都是他写的。
你太客气了。我觉得公司发展过程中会经历几个阶段。我加入时，公司大概有 25 或 26 个人。你很快就能记住每个人的名字；即使公司开始增长，也能记住新加入的人。
后来你会记不清全公司的名字，但还认识所有做软件工程的人。再后来，你会记不住软件工程部门所有人的名字，但至少还知道每个人在做哪些项目。然后公司发展到一定规模，你会收到一封邮件，说“鸭嘴兽项目周五发布”，你就会问：“什么？鸭嘴兽项目是什么？”
通常这会是个惊喜。你会想：“哇，鸭嘴兽项目！我之前完全不知道我们在做这个。”
但我认为，即使没法知道每个细节，了解公司大体上在做什么仍然很有帮助。认识公司里很多不同的人也很有用，这样你能找人了解细节，或者知道该联系谁。只要你多年积累了良好的人际网络，通常经过一层转介，就能找到公司里合适的人。
顺便问一下，Google 当初是怎么招聘你的？
其实是我主动联系他们的。
Noam，你当初是怎么被招进来的？
我 1999 年在招聘会上看到 Google，当时以为它已经是家大公司，觉得没必要加入，因为我认识的人都在用 Google。当时我大概在伯克利读研究生，可能我已经退过好几个研究生项目了。
结果它当时其实并不大。1999 年我没有正式申请，只是在 2000 年心血来潮发了份简历，因为我最喜欢它的搜索引擎，也觉得找工作应该多申请几家公司。后来发现那里非常有趣，聚集着一群聪明人，做的事情也很棒。墙上还挂着一张很好看的蜡笔图表，有人一直记录每天的搜索查询数量，曲线看起来呈指数增长。我想：“这些人会非常成功，而且手上有很多值得解决的问题。”于是我想：“也许我先去那里工作一阵子，攒够钱后就能长期做 AI 研究了。”
嗯，某种程度上你确实做到了，对吧？
对，完全按计划发展。
你在 1999 年就开始考虑 AI 了吗？
对，大概是 2000 年。我记得读研究生时，一位朋友说，他给 2000 年定的新年目标是活到 3000 年；他要靠发明 AI 来做到这一点。我当时想：“听起来是个好主意。”
我当时没想到可以去大公司做这个。但我觉得很多人在初创公司赚了很多钱，也许我先攒些钱，之后就有足够的生活费，可以长期从事 AI 研究。后来发现 Google 确实是做 AI 的好地方。
我喜欢 Google 的一点是，我们一直有很宏大的目标，某种程度上都需要相当先进的 AI。比如“整理全球信息，让人人都能访问并从中受益”这个目标非常广泛；公司不只会做一件小事，然后一直停留在那里。你也能看出，我们最初做的事朝着这个方向发展，但这个方向上还能做很多其他事情。
过去二三十年间，摩尔定律如何改变你们设计新系统、判断哪些项目可行时需要考虑的因素？现在还存在哪些限制？有什么事是以前做不到、现在却能做的？
我觉得过去二十年变化很大。二十年前到十年前，有件很棒的事是只要等待，过十八个月左右就能得到快得多的硬件，自己什么都不用做。近些年，通用 CPU 机器的扩展性没有那么好了。制程工艺进步现在要三年，而不是两年；多核处理器架构的进步也不再像二十到十年前那样带来同等提升。但与此同时，我们有更多专用计算设备，比如机器学习加速器、TPU，以及近年非常专注机器学习的 GPU。这些设备让我们能在更现代、不同于运行 Microsoft Office 那种繁复 C++ 代码的计算任务上，获得很高的性能和效率。
感觉算法一直在追随硬件。如今算术运算非常便宜，相比之下，搬运数据昂贵得多。深度学习基本上就是利用这一点发展起来的：它可以构建在矩阵乘法之上，计算量大约是 N 的三次方，而数据通信量大约是 N 的平方。
不过，我认为转向围绕这类计算打造硬件，是一个重要转折点。此前 CPU 和 GPU 并不特别适合深度学习。后来 Google 开始构建 TPU，本质上是低精度线性代数机器。有了这种硬件后，算法自然就要充分利用它。
这似乎归根结底是识别机会成本。比如 Larry Page 好像常说：“我们的第二大成本是税，最大成本是机会成本。”如果他没说过，那我这些年一直引用错了。
关键其实是：你错过了什么机会？在这个例子里，芯片上有大片区域，却只放了很少的算术单元。那就把芯片填满算术单元！这样能多做几个数量级的计算。
还需要改变什么？算法、数据流，等等。
另外，算术精度可以很低，这样就能塞进更多乘法单元。
Noam，我想追问你刚才说的算法追随硬件。如果历史走向相反：假设内存成本下降得比算术运算更快，或者把你说的趋势反过来。
好，那数据流就非常便宜，而算术运算不便宜。
那今天的 AI 会是什么样？
可能会更像二十年前的 AI，只是方向相反。我不确定。记得我 2012 年加入 Google Brain。之前我离开 Google 几年，那次回去看望妻子，吃午饭时碰巧和 Jeff 及早期 Google Brain 团队坐在一起。我心想：“哇，这群人真聪明。”
我想我当时说：“你们应该考虑一下深度神经网络，我们已经取得了一些不错的进展。”
“听起来很有意思。”于是我就重新加入了……
我把他劝回来了，真不错。
……大约在 2012 年加入 Jeff。好像我每隔 12 年就会回到 Google：2000 年重新加入，2012 年又加入，2024 年也回去了。
那 2036 年会发生什么？
我不知道，到时候再看吧。
你们在设计未来版本的 TPU 时，会如何权衡并整合对算法的理解？
一个总体趋势是，我们越来越擅长量化或使用更低精度模型。从 TPUv1 开始时，我们甚至不确定能不能把服务模型量化成 8 位整数，但一些初步证据表明这或许可行。于是我们想：“好，那就围绕这个设计整块芯片。”
后来人们也能在训练中使用更低精度。推理精度也在下降：现在有人使用 INT4 或 FP4。二十年前，你要是对超级计算机浮点运算专家说要用 FP4，他可能会说：“什么？太疯狂了，我们喜欢 64 位浮点数。”
有人甚至把模型量化到两位或一位，我觉得这确实是一个趋势……
一位？就是 0 或 1？
对，就是 0 或 1，然后一组位还会有一个符号位之类的。
这确实需要共同设计。如果算法设计者没意识到降低精度能大幅提高性能和吞吐量，他们当然会说：“我不想用低精度，风险太高。”这会让事情变得很麻烦。
然后你问芯片设计者：“你想造什么？”他们去问现在写算法的人，得到的回答是：“我不喜欢量化，太烦了。”所以必须把全局看清楚，然后意识到：“等一下，量化能大幅提升吞吐量与成本的比例。”
接着你会说：“是，量化很麻烦，但模型速度能提高三倍，所以你得想办法适应。”
你们的职业生涯中，曾在不同阶段做过一些和今天生成式 AI 非常相似的事情。Jeff，你 1990 年的本科毕业论文研究了反向传播。2007 年——我准备这期节目时才知道——你们还训练了一个用于语言建模、拥有两万亿词元的 N 元语法模型。
你们当时开发那个模型时，脑海里想的是什么？你们觉得自己在做什么？
我先从本科论文讲起。大四时，我在一门并行计算课的一节课上接触到神经网络。我毕业需要完成一篇荣誉论文，于是找到教授，说：“我很想做点神经网络相关的事情。”
于是我们决定，我要在 1990 年实现几种并行化神经网络反向传播训练的方法。我在论文里给它们起了些奇怪的名字，比如“模式划分”之类，但其实我实现的是模型并行和数据并行，运行在一台 32 处理器的超立方体机器上。
一种方法是把样本拆成不同批次，每个 CPU 都保存一份模型；另一种方法则是把样本流水线式地传给分别持有模型不同部分的处理器。我比较了这两种方法，挺有意思的。
我很喜欢这个抽象，因为神经网络似乎是正确的抽象。它们能解决当时其他方法都无法解决的小型玩具问题。我当时天真地以为，32 个处理器就能训练出非常强大的神经网络。
结果我们还需要多一百万倍的算力，神经网络才开始能解决真实问题。后来从 2008、2009、2010 年左右开始，多亏摩尔定律，我们终于有足够算力让神经网络解决实际问题。这大概就是我重新开始关注神经网络的时候。
不过在此之前，2007 年……
抱歉，我能先问一下这个吗？
当然可以。
首先，和学术界其他成果不同，这个实际上只有四页，很容易读。
正文四页，后面还有三十页 C 代码。
但它是一份制作精良的成果。跟我说说那篇 2007 年的论文是怎么做出来的。
对。当时 Google 有个机器翻译研究团队，由大约一年前加入 Google 的 Franz Och 领导，还有其他几位成员。每年他们都会参加 DARPA 的比赛，把几种语言翻译成英语，我想是中文到英语、阿拉伯语到英语。
Google 团队提交了参赛系统。这项比赛的流程是周一给你 500 个句子，周五前提交翻译结果。我看到比赛结果，我们领先不少，BLEU 分数也很高。BLEU 是一种衡量翻译质量的指标。
于是我联系了那个获胜团队的负责人 Franz，问他：“太棒了，我们什么时候发布？”他说：“这个还不能发布，实际应用起来不太现实，因为翻译一个句子要花 12 个小时。”我说：“这也太久了吧，怎么才能解决？”
显然，他们并没有针对高吞吐量进行设计。模型需要对每个待翻译的词查询一个大型语言模型里的统计数据——我不太想称之为训练——而每个词要在磁盘上执行十万次寻址。
十万次磁盘寻址显然很慢。我说：“好，那我们仔细研究一下。”于是我花了两三个月，和团队一起设计了一种存放在内存中的压缩 N 元语法数据表示。
N 元语法基本上是统计大型语料库中每种 N 词序列出现的频率。在这个项目里，我们用了两万亿个词。当时大多数 N 元语法模型用二元或三元语法，但我们决定用五元语法。
也就是统计当时能处理的尽可能多的网页里，各种五词序列出现的频率。然后用一种数据结构来记录：“我真的很喜欢这家餐馆”这句话在网上出现了 17 次，之类的。
于是我设计了一种数据结构，让我们能把这些数据存放在 200 台机器的内存里，并提供批量 API。调用时可以说：“这是本轮要查的十万个词条。”系统就会并行返回所有结果。这样一来，我们把翻译一句话从一整晚缩短到了大约 100 毫秒。
网上有个“Jeff Dean 事实”列表，像“Chuck Norris 事实”一样。比如：“对 Jeff Dean 来说，NP 就是‘no problemo’。”其中有一条挺有意思，刚才听你讲时我觉得还真有点像那么回事：“Jeff Dean 决定优化光速之前，光速是每小时 35 英里。”从 12 小时缩短到 100 毫秒，这确实是好几个数量级的提升。
这些说法都很恭维我，也挺好笑的。它们就是同事们的愚人节玩笑，后来玩笑开过了头。
回头看，通过词语之间的关系建立对整个互联网的潜在表示，这个想法就像是在说：对，这就是大语言模型，这就是 Gemini。当时你们是把它当作一个翻译点子，还是意识到这可能开启一种新范式？
我觉得我们把它用于翻译后，大语言模型的服务也开始应用于其他场景，比如文本补全。你开始打字，它就会建议哪些续写合理。
所以这确实开启了 Google 许多语言模型应用。Noam 还做了不少其他工作，比如使用语言模型的拼写纠正系统。
那大概是 2000 或 2001 年，我想当时所有东西都放在一台机器的内存里。
对，我也记得是一台机器。他 2001 年做的拼写纠正系统很惊艳，还把演示链接发给了全公司。
我试了各种把几个词拼错的搜索，比如“scrumbled uggs Bundict”——
我记得那个，对，对。
——其实是“scrambled eggs benedict”，它每次都能准确纠正。
是啊，我想那就是语言建模。
不过当时开发这些系统时，你们有没有想到：“只要把模型做得越来越复杂，不再只看五个词，而是看 100 个、1,000 个词，潜在表示就会变成智能”？你们什么时候有这个认识的？
没有。我不记得自己曾觉得 N 元语法模型会……
……席卷全世界……
……对，变成“人工智能”。当时很多人对贝叶斯网络非常兴奋，觉得这很有前景。
早期神经语言模型确实展现了神奇之处，让我觉得：“哇，这东西真厉害。”它也是我见过最好的研究问题之一，因为问题陈述非常简单：给出下一个词的概率分布。可用于训练的数据近乎无限，网上有数万亿个无监督文本样例。
对，也可以说是自监督。
自监督，是的。
它很棒的一点是，你知道正确答案，然后用除当前词以外的所有内容来预测当前词。这是一种了不起的能力，能直接从对世界的观察中学习。
而且这几乎是一个 AI 完备的问题。如果能把这件事做好，基本上就能做任何事。
科学史上有个有趣的讨论：重大思想究竟只是“在空气中”，注定会出现，还是会从某个边缘方向被偶然发现？这里我们把过程讲得很有逻辑，这是否意味着它几乎不可避免……
我确实觉得它在某种程度上“在空气中”。当时已有一些相关想法，比如神经图灵机、注意力机制，以及让神经网络能关注特定内容的键值存储。我认为它一部分已经在空气中，一部分则需要有人真正去实现。
我喜欢把很多想法看作部分“在空气中”。解决新问题时，你会隐约注意到一些相互独立的研究方向，并借鉴它们的灵感。之后仍有某个环节尚未解决，得找到办法。把已有想法稍作改造，再加入一些新点子，最后就可能形成以前不存在的突破或研究成果。
有没有哪些关键时刻让你印象深刻：你正在研究一个领域，想到一个点子，然后觉得：“天啊，真不敢相信这居然奏效了！”
我记得 Google Brain 团队早期的一件事。我们的重点是搭建基础设施，看看能否训练非常大的神经网络。当时数据中心还没有 GPU，只有 CPU，但我们知道怎样让很多 CPU 协同工作。
于是我们建了一个系统，能用模型并行和数据并行训练相当大的神经网络。我们在一千万张随机选取的 YouTube 视频帧上做无监督学习。它使用空间局部表示，根据高层表示尝试重建输入，从而形成无监督表示。
最后我们让它在 2,000 台电脑、16,000 个核心上训练成功。过了一阵，模型高层表示里的一个神经元会对猫的图像产生兴奋。我们从未告诉它什么是猫，但训练数据中有足够多正面猫脸图像，所以这个神经元会对猫脸激活，对其他内容则很少激活。
类似地，其他神经元会对人脸、行人背影等内容激活。这很酷，因为它通过无监督学习原则形成了高层表示。之后，我们在有监督的 ImageNet 两万类挑战中取得了非常好的成绩，相比此前最先进水平，相对提升了 60%，在当时相当不错。
这个神经网络的规模大概是之前训练过的模型的 50 倍，而且效果不错。所以我当时想：“扩大神经网络规模确实是个好主意，应该继续推进。”
这些例子能说明 AI 系统与你刚才说的有什么联系：Google 本质上是一家组织世界信息的公司。在这个背景下，AI 会找出信息与概念之间的关系，让人更快得到自己需要的想法和信息。
如今我们有当前的 AI 模型。显然，你能在 Google 搜索中使用 BERT，也可以提出问题。它们仍擅长信息检索，但更重要的是，它们能替你写整个代码库并实际完成工作，这已经超越了信息检索。
你们怎么看？如果 Google 正在打造 AGI，它还是一家信息检索公司吗？AGI 能检索信息，但也能做很多其他事。
我觉得我们是一家“组织世界信息”的公司，这比信息检索更广。也许可以说：“根据你给出的指引，组织信息并创造新信息。”
比如：“能帮我给兽医写封信吗？我的狗有这些症状。”它可以代拟信件。或者：“能把这段视频输入给你，然后每隔几分钟总结发生了什么吗？”
多模态能力表明，我们要做的不只是文本，而是理解信息存在的各种模态，包括人类使用的模态，也包括非人类使用的模态，比如自动驾驶汽车上的特殊激光雷达传感器、基因组信息或健康信息。
接下来是如何提取并转换这些信息，形成有用见解，帮助人们完成各种事情。有时人们只是想和聊天机器人聊天、获得娱乐；有时则想要某个复杂问题的答案，而网上不存在单一来源。你得从一百个网页中提取信息，弄清楚状况，再把数据整理、综合起来。
还有处理多模态内容或编程问题。我觉得这些模型的能力很令人兴奋，而且进步很快，很期待看看未来会发展到哪里。
我也很期待未来。我认为组织信息显然是一个万亿美元级的机会，不过万亿美元现在已经不酷了，酷的是千万亿美元。
显然，目标不是堆起一大笔钱，而是为世界创造价值。当系统能真正替你做事、编写代码，或解决你自己无法解决的问题时，就能创造更多价值。
要大规模做到这一点，随着模型能力提升，我们必须非常灵活、快速调整。
是的，我对很多基础研究问题很兴奋。你看到，如果尝试某种方法，或大致朝那个方向发展，结果可能会显著改善。也许能奏效，也许不行。
但我也认为，观察我们能为最终用户实现什么，再反过来构建能做到这些事的系统，同样有价值。例如“组织信息”应该意味着，世界上的所有信息都能被任何人使用，不论他们说什么语言。
我认为我们已经做到了一部分，但距离完整愿景还很远：无论用户说几千种语言中的哪一种，都能访问任何内容并真正使用它；任何视频都能用任何语言观看。这会非常了不起。我们还没完全实现，但这肯定是我认为未来能做到的事。
说到不同架构，我知道你们现在在做的一件事是延长上下文。Google 搜索仿佛拥有整个互联网索引作为上下文，但检索很浅；语言模型的上下文现在有限，却真的能思考，能对所见内容进行“上下文学习”，这简直像黑魔法。
你觉得 Google 搜索和上下文学习这两者要如何融合？
我先试着回答，因为我考虑过这个问题。你会看到，模型已经相当不错，但有时仍会产生幻觉或事实错误。部分原因是模型在数十万亿词元上训练，所有信息被搅在数百亿或数千亿个参数里。
但这会让信息变得有些模糊。模型对数据有大致清晰的了解，却偶尔会混淆，比如把某件事的日期说错。
而上下文窗口中的输入信息非常清晰，因为 Transformer 有很好的注意力机制。模型可以关注具体内容，准确知道它正在处理的文本、视频帧、音频或其他输入。
目前，模型可以处理数百万词元的上下文，这已经很多了，相当于几百页 PDF、五十篇研究论文、数小时视频、数十小时音频，或它们的组合。但如果模型能关注数万亿词元，就更好了。
模型能关注整个互联网、替你找出有用内容吗？能关注你所有的个人信息吗？我很希望有一个能访问我所有电子邮件、文档和照片的模型。
你给模型一个任务时，它可以在你许可的情况下利用这些信息来帮你解决问题。但这是个巨大的计算挑战，因为朴素的注意力算法复杂度是平方级。即使有相当多的硬件，处理数百万词元也勉强可行；若朴素地扩展到数万亿词元，完全没有希望。
因此，我们需要一系列有趣的算法近似方法，尽可能让模型在概念上关注多得多的词元，甚至数万亿词元。也许可以把整个 Google 代码库放进每位 Google 开发者的上下文，或者把全世界的源代码放进每位开源开发者的上下文，那会非常惊人。
那会太棒了。模型参数的一个优点是，它们记忆事实的内存效率相当高。可能每个参数就能记住一个事实左右。
但如果把某个词元放在上下文里，每一层都会有许多键和值，占用的内存可能达到每个词元一千字节，甚至一兆字节。
也就是说，一个词就膨胀成大约 10 KB。
没错。现在有很多创新都在研究两件事：第一，怎么减少这部分开销；第二，究竟需要把哪些词放在上下文里？有没有更好的方式访问信息？
Jeff 看起来正适合解决这个问题。好，那从 SRAM 到全球数据中心，我们的内存层级结构应该是什么样？
我想多聊聊你刚才提到的：Google 拥有大量代码和例子。假设只看一个应用场景及其含义：Google 有整个单体代码库。也许你解决了长上下文问题，就能把整个代码库放进上下文，或者在它上面微调模型。为什么还没做到？
哪怕只在内部提高开发者效率，Google 可独家使用的代码量也非常大。
先说明一下，我们其实已经用内部代码库对 Gemini 模型做了进一步训练，供内部开发者使用。但这不同于让模型关注全部代码，因为那种方法只是把代码库内容混合进大量参数里。放在上下文中会更清晰。
即便只是用内部数据进一步训练，效果也非常好。我想 Sundar 说过，如今 Google 代码库中我们提交的代码字符，大约有 25% 是 AI 编程模型生成的，并由人类监督。
根据你们现在看到的能力和未来一两年的发展，你们想象自己个人的工作会变成什么样？在 Google 做研究员会是什么体验？你产生一个新想法后，一年内与模型互动会是什么样？
我想我们会拥有能力强得多的模型，希望工作效率能大幅提高。
除了研究场景，在所有使用模型的地方，它们都能让软件开发者更高效：你给出高层规格或一句话描述，它就能提供相当不错的初稿。从研究角度看，也许你可以说：“请探索一个和这篇论文类似的想法，不过试试改成卷积结构之类。”
如果它能自动生成一批实验代码，你看过之后觉得：“对，没问题，跑起来。”这会是一个很好的方向。
我觉得一两年内在这方面取得很多进展是可信的。
我觉得外界对这件事的预期偏低，因为你可以立刻多出数百万名员工，而且可以马上检查它们的成果，它们彼此也能检查对方的成果，还能持续输出词元。
抱歉，我不是想把这件事说得不够重要。我觉得它非常令人兴奋，只是不喜欢炒作尚未实现的事情。
我想进一步讨论这个想法。假设有一个自主软件工程师，尤其是对想搭建系统的研究员来说。我们可以这样设想：今天你要写出相当于 MapReduce 或 TensorFlow 的东西，而你只需说：“这是我想要的分布式 AI 库设计，请帮我实现。”
你觉得自己能提高十倍还是一百倍的效率？
我看过一个案例，印象很深。Reddit 上有人说有个新的实验性编程模型，在编程和数学方面强得多。一个外部用户给它提示：“请用 C 语言实现一个不依赖外部库的 SQL 数据库系统。”
据那位用户说，它做得相当不错：生成了 SQL 解析器、分词器、查询计划系统，还设计了磁盘数据存储格式，并能处理简单查询。只靠一段话就能得到这样的初步实现，对软件开发者来说是很大的效率提升。
我想将来还会有其他类型的系统，不一定要在一次半交互式、四十秒内回复的过程中完成任务。它可以工作十分钟，五分钟后再来问你：“我已经做了很多，但现在需要你的意见。你希望它支持视频，还是只处理图像？”如果有很多后台任务同时进行，就需要一套管理工作流程的方法。
你能多谈谈吗？如果你能随时启动数百万名员工，或者几十万名能极快打字、按需工作的员工，需要什么样的界面？这有点像从 1930 年代用纸条交易，转变到现代 Jane Street。你需要跟踪所有进展，让 AI 接入大型单体代码库、发挥各自优势，也让人类知道发生了什么。三年后 Jeff 或 Noam 日常工作会是什么样？
可能和现在有点类似，因为我们已经面临并行化这个主要问题。我们有许多非常聪明的机器学习研究员，希望大家协同起来打造 AI。
所以人与人之间的并行化，可能类似机器之间的并行化。我觉得这对需要大量探索的事情特别有帮助，比如“找到下一个突破”。
如果一个非常聪明的人提出一个在机器学习领域肯定能奏效的想法，它也许只有 2% 的成功概率。大多数想法会失败，但如果你尝试 100 个、1,000 个、甚至一百万个，就可能碰上惊人的突破。我们的算力很充足。如今顶尖实验室的算力大概是训练 Transformer 所需算力的一百万倍。
对，这想法很有意思。假设如今全球有一万名 AI 研究员在想办法做突破……
可能不止这些。上周 NeurIPS 就有 15,000 人。
哇。
也许有十万人，我不确定。
对，也许。抱歉。
没关系，数量级估计正确很重要。假设这个社群每年有 10% 的概率取得 Transformer 规模的突破。现在把社群扩大一千倍，让它以某种方式并行搜索更好的架构和技术。
我们会不会就得到……
每天一个突破？
……一年或每天出现突破？
也许吧。听起来可能有用。
但这像机器学习研究的实际情况吗？如果能尝试所有这些实验……
好问题。我不确定研究者以前是否这么做过。我们确实不断有很好的想法出现。每个人似乎都想把实验做到最大规模，但我觉得这是人类的问题。
先把问题缩小到千分之一规模，对十万个想法进行筛选，再放大那些看起来有希望的方案，会非常有帮助。
我觉得外界可能没有认真看待另一种趋势：大家知道训练一个大 100 倍的模型，计算量也会变成 100 倍，对吧？所以他们担心从 Gemini 2 到 Gemini 3 会难一百倍，等等。
但人们可能没意识到，Gemini 3 还会提出各种架构想法并逐一尝试，看看哪些有效。算法进展会不断加快下一代训练。这个反馈循环能扩展到什么程度？
我觉得大家应该知道，模型代际之间的进步，部分来自硬件和规模扩大，但同样重要、甚至更重要的，可能是重大算法改进，以及模型架构、训练数据组合等变化。它们能让每单位计算量带来更好的模型。我认为认识到这一点很重要。如果 AI 能自动探索想法，就可以筛选更多方案，把它们用于下一代模型的实际训练。
这会很有帮助，因为我们现在就是让大量优秀机器学习研究员做这件事：考察各种想法，在小规模上筛掉效果不佳的方案，再看中等规模是否有效，逐渐放大实验，最后把一系列新方法整合进最终模型训练流程。如果我们能让研究员轻轻指导自动化搜索，而不是亲自照看大量实验，把这套流程提速一百倍，那会非常有用。
唯一不会提速的是最大规模实验本身。最终仍然要做 N=1 的实验。你只能让一群杰出的人坐在一起，盯着模型，想办法理解为什么这次有效、那次无效。
对于这类实验，更多硬件是很好的解决办法，还有更好的硬件。
是啊，就靠你们了。
直观来看，一方面是软件和算法的改进，未来 AI 可以带来这些进步；另一方面是你正在做的硬件工作。你来介绍吧。
如果从软件层面出发，几周或几个月内就能设计出更好的芯片，而更好的 AI 显然也能更好地设计芯片，那么这个反馈循环为何不会加速到：Gemini 3 花两年，Gemini 4 或类似级别的提升只需六个月，之后五个月、三个月、一个月？由于软件改进，既包括硬件设计，也包括算法进步，你们可能比直觉预期更快达到超人类智能。
最近我很兴奋，因为我们可能大幅加快芯片设计流程。正如前面讨论的，现在从“我们应该造一款芯片”到把设计交给台积电，大约要 18 个月。台积电再用四个月生产出来，然后你把芯片放进数据中心。
这是个很长的周期，而如今晶圆厂制造只占其中一小部分。如果能让制造成为主要耗时环节，而不是让 150 个人花 12 到 18 个月设计芯片；如果能把设计缩短到少数人加自动化搜索，探索整个芯片设计空间，并从设计流程各方面获取反馈、指导高层方案探索，那么我们就能探索更多设计，更快把想要的芯片方案交给晶圆厂。
这会很棒，因为你可以缩短晶圆厂生产时间，也能通过正确的硬件设计缩短部署时间：芯片拿回来后直接插进系统就能用。这样也能实现更多专用化，并缩短硬件设计周期，不必提前那么久预测哪些机器学习算法会有用。你可以只看未来六到九个月，而不是两年或两年半。
这会很酷。如果晶圆制造时间进入内部迭代循环，你就会……
要多久？
可惜，先进制程节点的生产时间越来越长，因为它们比旧制程有更多金属层。因此往往需要三到五个月。
好，不过训练运行也要这么久，对吧？所以或许两件事可以同时进行。
有可能。
好，所以最短也要三到五个月。不过，你们仍然能迅速提出新的算法想法。
这方面确实能很快进展。
对，能很快进展；可以在现有芯片上运行，探索很多有趣的想法。
所以，这是不是意味着……我觉得人们往往预期会出现一条 S 曲线。再说一次，这并非必然，但是否有可能在接近人类智能上限时，能力突然快速爆发，而且越来越快？
很有可能。
我喜欢这样想：现在的模型能接受一个相当复杂的问题，在模型内部把它拆成许多步骤，逐一拼出解决方案，并且往往能回答整个问题。
但它还不够可靠，擅长拆成五到十步，却不擅长拆成一百到一千步。如果模型能从处理十步问题时有 80% 的概率给出完美答案，提升到处理一百至一千步的子问题时有 90% 的概率给出完美答案，那会是一次惊人的能力提升。我们还没做到，但我认为这就是我们努力的方向。
这不需要新硬件，不过我们当然乐意要。
别拒绝新硬件。
近期一项重要的进步方向是推理时计算，也就是在推理阶段投入更多算力。我喜欢用这个例子来说明：即使是大型语言模型，每个词元用一万亿次运算，也比现在大多数模型用得多；按每次运算大约 10 的负 18 次方美元算，一美元就能买到一百万个词元。
相比之下，买本便宜的纸质书来读，每美元大概只能买到一万个词元。和读平装书相比，与语言模型对话便宜约一百倍。
所以这里有很大的空间：如果增加成本就能让模型更聪明，那我们可以多花些钱。毕竟和读书相比便宜一百倍，和客服人员交谈相比便宜一万倍，和雇软件工程师、咨询医生或律师相比则便宜一百万倍甚至更多。我们能否增加算力，让它更聪明？
我认为近期很多起飞式进展都会来自这一形式。过去我们不断改进预训练和后训练，这些也会继续提升。但充分利用推理时计算，让模型“多想一会儿”，本身就可能带来爆发式进步。
我认为推理时计算的一个方面是，要让系统主动探索多种可能的解决方案。它可以自行搜索、获取信息、消化信息，然后发现：“哦，我还想进一步了解这个。”接着它会反复探索如何解决你提出的高层问题。
如果有个旋钮，能通过增加推理时计算让模型给出更好的答案，那会很不错。我们现在已有不少技术可以做到这一点。旋钮开得越大，计算成本越高，答案质量也越好。
这是一种很好的权衡：有时问题非常重要，你希望模型认真思考；有时你显然不想为计算“一加一等于几”投入大量算力。也许系统不该……
……自作主张提出新的集合论公理之类的！
……而应该决定使用计算器，而不是超大型语言模型。
有趣。所以推理时计算还有什么障碍吗？我们能不能线性增加推理计算量，还是说这个问题基本已解决，我们知道投入一百倍、一千倍算力，就能相应提升结果？
我们正在研究算法。很多研究人员都在探索这一领域，其中远不止一万人，我相信会不断出现更好的方案。
我们自己的实验已经发现了一些例子：投入更多推理时计算，答案就会更好；这方面能得到比单纯投入十倍计算更好的结果。我认为这很有用，也很重要。
但我们希望投入十倍算力时，答案质量的提升能比现在更大。这需要设计新算法、尝试新方法，找出怎么最好地使用十倍而不是一倍的算力来提升结果。
这更像搜索，还是只是沿着同一方向继续思考更久？
我很喜欢 Rich Sutton 写的《苦涩教训》。那是一篇篇幅很短、影响很大的文章，核心观点是：你可以尝试很多方法，但两种特别有效的技术是学习和搜索。
你可以通过算法或算力来扩展学习和搜索，通常能比其他方法取得更好结果，而且适用于相当广泛的问题。
增加推理时计算肯定离不开搜索。也许你会探索几种解题方式，一种不行，另一种效果更好，然后继续探索后一种。
这会怎样改变你们对未来数据中心的规划？哪些搜索可以异步进行？必须在线还是可以离线？这会如何影响园区规模等考虑？
一个总体趋势很明确：推理时计算会成为越来越重要的一类计算。也许我们需要为它设计更专用的硬件。
其实第一代 TPU 是为推理专门设计的，并不太适合训练。之后几代 TPU 才更多面向训练，同时也支持推理。
不过，如果你确实希望在推理时投入大量计算，更专门化的解决方案可能会很有意义。
这是否意味着你们可以容纳更多异步训练？
你说的是训练还是推理？
或者不同数据中心彼此不必通信，只要各自做一大堆……
我喜欢这样区分：你要做的推理是否对延迟敏感？用户是不是正在等待答案？还是后台任务？也许我想对一整批数据做推理，但不是针对某位用户，只是要处理这些数据、提取信息。
目前我们还不太常见这种需求，但上周刚发布的深度研究工具已经初现端倪。你可以交给它一个复杂的高层任务：“请研究可再生能源的历史、风能、太阳能和其他技术的成本趋势，整理成表格，再写一份完整的八页报告。”它最后会交回一份八页报告，参考文献有五十条。
这很了不起。不过你不会只等一秒，它大概要花一两分钟。
我认为未来会有大量这类计算，也会出现相应的界面问题。比如用户同时启动二十个异步后台任务，每个任务可能都需要用户补充信息：“我找到你飞柏林的航班了，但没有直飞。你能接受转机吗？”收到回复后，它又回到后台继续找柏林的酒店，工作流程应该如何运作？这会很有意思，推理也会有帮助。
推理确实有用。推理过程还有一项训练没有的计算效率优势。Transformer 训练时通常可以把序列长度当作批次来处理，但推理时不行，因为它是一次生成一个词元。因此，我们可能会设计不同的硬件和推理算法，让推理更高效。
一个很好的算法改进例子是草稿模型。解码时先让一个很小的语言模型逐词元生成，预测四个词元；然后交给大模型检查：“小模型给了这四个词元，你看看哪些可以接受。”
如果大模型认可前三个词元，就可以直接往前推进。这样大模型一次并行计算四个词元，而不是一次处理一个词元。大家正在研究这类方法，提高推理效率，绕过单词元解码瓶颈。
对，本质上就是让大模型担任验证器。
没错，让它来“验证”。
[听不清] 生成和验证可以这样做。
对。比如“你好，最近怎么样？”我觉得可以，就直接接受。
我们一直在讨论一个问题：单个园区的供电量已经快达到核电站所能提供的上限。我们是不是必须在一个地方放两吉瓦、五吉瓦的电力，才能训练模型？还是可以把算力分散开，同时完成训练？推理扩展的新范式，会不会让我们重新考虑多数据中心训练？
我们已经在做了，而且支持多数据中心训练。我记得 Gemini 1.5 技术报告里提到，我们使用了多个都市区的算力，在不同地点开展训练。数据中心之间的连接延迟较高，但带宽很大，效果还不错。
训练过程很有意思。大型模型的每个训练步骤通常需要几秒钟。因此，数据中心相隔 50 毫秒，并没有太大影响。
关键是带宽。
对，关键是带宽。
只要能在一个训练步骤所需的时间内，让不同数据中心同步模型参数并累计所有梯度，基本就没问题。
早在 Google Brain 初期，我们就做过不少相关工作。当时用的是很慢的 CPU 机器，需要通过异步训练来扩展：每份模型副本在本地计算，再把梯度更新发给中央系统，异步应用；另一个模型副本也做同样的事。
这样模型参数会有些波动，理论保证也让人不太放心，但实际看来效果不错。
从异步训练转到完全同步训练让人很高兴，因为实验可以复现了，结果不再取决于同一台机器上是否有网络爬虫在运行。所以我现在更喜欢在 TPU Pod 上运行。
我喜欢异步，这样能扩展得更多。
比如用两台 iPhone 和一台 Xbox 之类的。
对，如果异步训练也能得到可复现的结果呢？
哦。
一种方法是记录操作顺序，比如哪次梯度更新何时发生、使用了哪个数据批次。不一定非要把梯度更新本身写入日志，但可以重放操作日志，从而复现实验。这样你就满意了。
也许吧。至少能调试发生了什么，但未必能比较两次训练运行。因为我调整了一个超参数，但还发生了……
网络爬虫。
对，网络爬虫干扰了，而且当时还有很多人在同时看超级碗直播。
我们从 CPU 上的异步训练转向完全同步训练，原因是有了速度非常快的 TPU 芯片和 Pod，Pod 内芯片之间的带宽极高。再往外扩展，我们的数据中心网络、甚至跨都市区网络也很好，能让多个都市区的许多 Pod 参与最大规模的训练，而且可以完全同步。
正如 Noam 所说，只要跨都市区同步梯度累计和模型参数的速度，相对于每个训练步骤所需的时间足够快，就没问题。我认为随着规模继续扩大，系统可能会更需要一定程度的异步性。不过研究人员很喜欢我们同步训练能扩展到的程度，因为思维模型更简单：你只需和算法本身较劲，而不必同时处理异步性与算法之间的相互作用。
规模变大后，会有更多因素相互影响。这就是扩展的难题：你不总知道是什么在拖后腿。是某处量化得太过头了？还是数据出了问题？
也可能是对抗性机器 MUQQ17 在你的所有梯度指数里都把第七位设成了某个值之类的。
对，所有这些因素都会让模型稍微变差，因此你甚至不会意识到问题存在。
神经网络有个问题：它们对噪声很宽容。很多设置即使不太正确，它们也会设法绕过去或通过学习适应。
代码里可能有 bug。大多数时候它没什么影响，有时会让模型变差，有时却让模型变好。之后你会发现新东西，因为以前预算不够，没在这么大规模下试过这个 bug。
实际要怎么调试和解读这些问题？有些因素会让模型变好，有些会让它变差。明天上班时，你怎么判断哪些输入最重要？
在小规模上，你可以做很多实验。研究中有一部分是独立发明改进或突破。这时你需要一个简单的代码库，可以复制分支并快速修改，还需要一些基线。
我的理想状态是早上想到一个点子，当天把它写出来，跑些实验，一天内拿到初步结果，然后知道哪些有效、哪些无效。
我认为这完全可以实现，因为……
在小规模上。
对，只要保留一个简洁的实验代码库，小规模上是可以做到的。
也许一个实验只用跑一两个小时，而不是两周。
这很好。研究还有另一部分是扩大规模。之后是整合阶段：把多项改进叠加起来，在大规模上检验它们是否有效，以及它们能否协同工作。
对，还要看它们如何相互作用。你可能以为两个改进互不相关，但改进视频输入处理方式，可能会和模型参数更新方式产生某种奇怪的交互，而且对视频数据的影响可能比其他内容更大。
可能出现各种意想不到的相互作用。因此要把许多改进组合起来做实验，定期确认那些单独看起来不错的东西组合后仍然有效。如果不行，就要弄清楚它们为什么不能协同。
我有两个问题。第一，这些东西组合后效果不佳的情况有多常见？是很少发生，还是经常发生？
大概有一半时候会这样。
是啊，我觉得很多东西根本不会拿来整合，因为初步实验效果不好，或者相对基线看起来不够有希望。然后你会分别扩大其中一些方案的规模。
之后你会想：“对，这几种方案看起来很有希望。”于是把它们加入一个组合，和其他有希望的方案一起推进。跑完实验后发现：“哦，效果不太好，来调试一下原因。”
这也涉及权衡。你希望整合后的系统尽可能简洁，因为复杂性……
从代码库的角度说。
对，无论代码库还是算法层面，复杂性都会造成损害、拖慢速度并增加风险。
另一方面，你又想让系统尽可能好。当然，每位研究人员都希望自己的发明被采用。因此这确实很有挑战，不过我们合作得一直不错。
回到那个动态：你们不断找到更好的算法改进，模型也逐渐变强，即使不考虑硬件因素，世界是否应该更认真看待这一趋势？你们自己也应该更重视吗？
有一种情景是 AI 用二十年慢慢进步，你可以逐步改进系统。如果某处弄错了，就修复它，也没什么大不了，反正只是比上一版好一点。
另一种情景是形成强大的反馈循环，导致 Gemini 4 到 Gemini 5 之间的两年成为人类历史上最重要的两年。你从一个相当优秀的机器学习研究员，变成超级智能，只因为这个反馈循环。如果你认为第二种可能成立，会怎样看待这种不断增强的智能？
我已经不打扫车库了，因为我在等机器人。所以我可能更倾向第二种情况，认为未来会有很大程度的加速。
我认为理解正在发生什么、趋势如何变化非常重要。目前的趋势是模型每一代都明显变好。我觉得接下来的几代里，这种情况大概不会放慢。
这意味着再过两三代，模型就可能具备更强能力。比如我们刚才说的，把一个简单任务拆成十个子任务、八成时候做对；之后变成把一个高层任务拆成一百或一千个部分，九成时候都能做对。这会是模型能力的一大跃升。
所以我认为大家应该了解这个领域正在发生的进展。这些模型会应用于很多领域。作为社会，我们要尽量从中获得最大收益，改善教育、医疗，让所有人都能获取信息。但我们也知道它们可能被用于传播虚假信息、自动攻击计算机系统，因此要尽可能制定保障和缓解措施，了解模型能力。我认为 Google 的负责任 AI 原则为不同情境下如何权衡、提供更好 AI 系统，同时确保安全、不说有害内容等问题，提供了不错的框架。
如果从宏观角度看这段历史，假如模型经过后训练后会传播一些虚假信息，但你修正后训练就能解决，那是个严重却可修复的错误，对吧？
对。
但如果存在这种反馈循环，错误就是触发智能爆炸的那个错误：模型目标错位，不是在写你以为它要写的代码，而是在优化其他目标。
在这个持续几年、甚至更短的快速过程中，最后出现了达到或超过 Jeff Dean、Noam Shazeer 水平的系统，以及数百万个同等水平的程序员副本。总之，这看起来像一个更难补救的错误。
随着系统越来越强大，我们必须更加谨慎。
我想说，极端观点有两种。一种认为这些系统会在所有方面远超人类，我们会被它们压倒；另一种则认为它们会非常厉害，我们完全不必担心。
我觉得自己处于中间。我是论文《塑造 AI》的合著者。两种极端观点都把我们的角色看成放任不管，任由 AI 自己发展。
但我认为有充分理由让我们主动塑造、引导 AI 在世界中的部署，让它在教育、医疗等我们希望从中受益的领域最大限度发挥作用。
我们还要尽可能引导它避开让电脑接管、获得无限控制权的情况。这可以通过政策措施或技术保障来实现。我认为这是一项工程问题：如何设计安全系统？
这有点像现代软件开发的做法。比如航空软件开发：如何严格地开发安全可靠的系统，来完成风险很高的任务？这方面已有相当不错的记录。
难点在于，737 客机不会在一个装满算力的盒子里待几年，然后出来变成版本 1000。它没有那种反馈循环。
好的一点是，分析文本似乎比生成文本容易。所以我相信，语言模型分析语言模型的输出、找出问题或危险内容的能力，可能会解决很多控制问题。
我们确实在做这些工作。Google 有一批非常优秀的人正在研究。我认为这会越来越重要：既要为人们做好事，也因为从商业角度看，安全问题会限制系统的部署范围。
因此，真正擅长做好安全工作会变得非常重要。
显然，我知道你们认真看待这些潜在收益和成本，这确实令人敬佩。你们做出的工作值得更多肯定。你们已经发布了许多应用模型的产品，改善了刚才谈到的不同领域。
不过我觉得……如果存在某种反馈循环，最终出现一个与 Noam Shazeer、Jeff Dean 同等水平的模型。
假如有一个邪恶版的你在外面活动，而且有一百万个，我觉得那非常、非常糟糕。除了核战争之类的风险，这可能比任何其他风险都更严重。想想看，一百万个邪恶版 Jeff Dean。
我们要从哪里获得训练数据？
但如果你认为这种快速反馈循环确实可能发生，那么假设我们有 Gemini 3 或 Gemini 4，它开始帮助我们更好地训练后续版本，也为我们编写大量训练代码。从这时起，我们只是看看、验证。
你刚才提到的验证器，最终也会由 AI 训练，或者很多代码都会由你们的 AI 编写。那么，在让 Gemini 4 协助 AI 研究之前，你希望确定哪些事？我们要先跑哪些测试，才能放心让它为我们编写 AI 代码？
我认为可以让系统探索算法研究方向，但人类仍然掌握决策权。系统探索整个空间、产出许多结果，然后我们决定是否把某种学习算法或系统改动纳入核心代码库。
这样你可以设置保障机制，让系统在人类监督下改进或自我改进，而不是完全放任它自行改进、没有人检查它在做什么。这就是我所说的工程保障：要了解正在部署的系统有哪些特性，不部署在某些指标或某些方面有害的系统，并理解它的能力以及它在特定情景下可能做什么。这绝不是简单的问题，但我认为有可能造出安全系统。
是的，我觉得我们也会大量使用这些系统来检查自身、检查其他系统。即使对人类来说，识别东西也比生成东西容易。
我想说，如果通过 API 或用户界面向人们提供模型能力，就能在一定程度上了解它们如何被使用，并对可做之事设定边界。这也是确保系统行为符合一套可接受标准的手段之一。
是的，目标是赋能人们。大多数情况下，我们应该让人们用这些系统做合理的事，并尽可能少封锁能力。但如果你让别人拿你的东西造出一百万个邪恶软件工程师，那就不是赋能，因为他们会用这百万个邪恶工程师去伤害其他人。
所以我反对这种做法。
我也是。接着聊吧。
好，再聊几个轻松点的话题。过去 25 年里，工作中最有趣的时期是什么？你最怀念哪个阶段？
你是指工作上吗？
对，工作上。
Noam Shazeer
我觉得在 Google 的早期四五年里，我只是少数几个负责搜索、爬取和索引系统的人之一。当时流量增长极快，我们努力扩大索引规模，还想把索引更新频率从每月一次提高到每分钟一次；出问题时甚至要等两个月。
看到我们的系统使用量增长，个人会很有成就感。打造一个每天有 20 亿人使用的产品，确实很了不起。
但我觉得今天和 Gemini 团队共事也同样令人兴奋。过去一年半里，我们在模型能力上取得的进步很有意思。大家都非常投入，也对正在做的事情充满热情。
模型越来越擅长处理复杂任务。如果把它们现在的能力展示给二十年前做计算机的人，他们不会相信。甚至五年前，他们可能也不相信。这很让人满足。
我认为这些模型的使用量和对世界的影响也会以类似方式增长。
是啊，我同意。早期非常有趣，部分是因为认识所有人、有社交互动，而且你确实在打造数百万、数千万人使用的产品。
现在也是如此。我们有很棒的微型厨房区域，大家常聚在一起。我喜欢面对面和一群优秀的人合作，打造能帮助数百万乃至数十亿人的产品。还有什么比这更好？
你说的微型厨房是什么？
我们办公楼里有个微型厨房区域，就是现在叫 Gradient Canopy 的新楼。它以前叫 Charleston East。那里有很多机器学习和 AI 研究，我们觉得需要一个更有活力的名字。
我们在里面布置了一个微型厨房，通常就是咖啡机和零食，但这个区域比较大，所以还放了大概 50 张桌子，大家可以在那里交流。因为人们一直在磨咖啡、做浓缩咖啡，所以有点吵；但面对面交流时常能碰撞出想法：“我试过那个，你想过在你的方案里试试这个吗？”或者：“我们下周要发布这个东西，压力测试怎么样了？”反馈很多。
不在微型厨房的人可以用 Gemini 聊天室交流。我们的团队遍布全球，我大概加入了 120 个与 Gemini 有关的聊天室。比如一个非常聚焦的主题由七个人负责，伦敦同事会在里面分享令人兴奋的结果。
早上醒来时，你就能看到那里发生了什么。可能有一个大团队处理数据，各种问题都在发生，挺有意思的。
我觉得你们做出的一些决定很了不起，因为你们预判了计算需求会有多大，而当时这还不明显。TPU 是个著名例子，第一代 TPU 就是如此。
你们在 2013 年或更早形成的这种思路，如果放到今天，估算一下未来会怎样？假设这些模型会成为服务的基础，我们会持续为它们进行推理，也会训练新版本。到 2030 年，要满足这些用途需要多少算力？按费米估算，大概会是多少？
我觉得推理算力会需要很多。对这些能力很强的模型，最粗略的估算方式就是看算力。如果提升质量的方法之一是增加推理时计算量，那么现在生成一串词元的一次请求，可能会变得需要 50 倍、100 倍甚至 1,000 倍的计算，尽管输出长度没有变化。
随着更多人发现对话式界面可以做各种很厉害的事，这类服务的使用量也会大幅增长。如今全球电脑用户中，可能只有 10% 或 20% 用过它们。当使用者增至 100%，而且用得更频繁，算力需求还会再增加一个或两个数量级。
所以这两个因素各自可能带来两个数量级的增长。模型可能还会变大，再增加一到两个数量级。因此推理算力需求会非常大，需要极高效率的硬件来运行这些模型。
到 2030 年，全球推理计算总量会是多少 FLOP？
我觉得算力总是越多越好。可以先估计届时人们愿意把全球 GDP 的多大比例花在 AI 上，再问 AI 系统会是什么样。
也许它会像个人助理一样装在你的眼镜里，能看到周围一切，也能访问你的数字信息和全球数字信息。又或者像你是 Joe Biden，耳朵里戴着耳机，内阁成员可以实时给你建议、帮你解决问题并提供提示。你也可以和它对话，让它分析周围看到的一切，寻找可能对你有帮助的内容。
我可以想象它像个人助理或个人内阁。每多花一倍算力，也许它的智商就增加 5 或 10 分。你会选择每天花 10 美元有个助理，还是每天花 20 美元拥有更聪明的助理？而且它不只是生活助理，还能帮你把工作做好，让你从十倍效率的工程师变成百倍、甚至一千万倍效率的工程师？
那我们从第一性原理推算：人们会愿意把全球 GDP 的某个比例花在这上面。全球 GDP 几乎肯定会大幅增长，比现在高出两个数量级，因为会有大量人工工程师参与改进各种事物。
到那时，我们可能已经解决了无限能源和碳排放问题，因此能获得大量能源。还会有数百万到数十亿台机器人帮我们建设数据中心。太阳的功率是多少？大概是 10 的 26 次方瓦吧？
我猜每个人使用 AI 的算力都会大到惊人。
我补充一点。我不确定是否完全同意，但这是个很有意思的思维实验。即便只实现其中一部分，算力需求也会非常大。
这就是为什么硬件平台必须尽可能便宜，以便每个人都能用这些模型、把它们用于 Noam 描述的各种问题。我们要尽可能降低人们使用这些能力的成本。
我认为通过硬件与模型协同设计，我们可以把效率提高很多。
考虑到你们预期的需求增长，Google 未来几年的数据中心建设计划够激进吗？
我不方便评论未来的资本支出，因为 CEO 和 CFO 大概不希望我这么做。不过你可以看看我们过去几年的资本支出，能看到我们确实在投资这个重要领域。
我们继续打造新颖、创新的硬件，希望它能帮助我们把系统部署给更多人，既支持训练，也让人们能够用推理功能。
我听你谈过很多持续学习，也就是模型能不断改进，而不必每次从头开始。理论上你似乎只要持续微调就行。这方面有根本障碍吗？你认为未来会怎样？
我越来越多地在思考这个问题。我很喜欢稀疏模型，因为我认为模型不同部分应该擅长不同事情。Gemini 1.5 Pro 和其他一些模型采用混合专家架构：输入某个词元时，模型会激活部分专家，其他专家则不激活。例如，其中一部分专门擅长数学，另一部分擅长理解猫的图像。这样模型容量很大，但推理时只激活其中一小部分，效率仍然较高。
不过目前有个限制：结构仍然很规则，每个专家大小相同，而且各条路径很快就重新合并。数学相关的分支不会一直和猫图像处理分开，最终还是会合在一起。
我觉得模型结构应该更有机一些。我还希望模型的不同部分能独立开发。目前训练模型前，我们会先准备一整套很好的算法和数据组合。
但这里总有权衡：我们想加入更多多语言数据，却可能因此减少编程数据；模型就会更擅长多语言、但编程变差，或者相反。我希望能有一小组人专门负责某些语言，制作高质量训练数据，并训练模型的一个模块。之后我们把它接到更大的模型上，让模型更擅长东南亚语言，或更会推理 Haskell 代码。
这还有个软件工程层面的优点：可以拆分问题，而不是像现在这样一大群人共同工作，却要经历一个整体单体式的预训练流程。
如果能做到这一点，Google 内部就可以有一百个团队，世界各地的人也可以共同改进模型，专注自己关心的语言或问题。这也算是一种持续学习。
那就太好了。你可以把模型拼起来，把某些模块拿出来再塞进别的模型……
升级其中一个部分，而不必丢掉其他内容……
……或者接一根消防水管，从这个模型抽出全部信息，再塞进另一个模型。不过这里存在相反的考虑，也就是科学实验。现在我们还处于快速进展阶段，要做受控实验，就希望能直接比较这个方案和那个方案。实际操作中，从零开始训练完整模型往往更合适，因为这样可以比较两次完整训练，帮助我们决定未来该做什么。虽然没那么令人兴奋，却能带来快速进展。
是的。我认为可以用模块化和版本管理来获得大部分好处。比如冻结一个模型版本，再接入某个模块的不同变体，比较效果或继续训练；再把带有某模块 N' 版本的模型和基线比较，比如这个模块专门负责理解 Haskell。
这甚至可能加快研究。如果你有个系统，做一项改进的成本远低于从头训练整个系统，就能让研发成本大幅降低、速度大幅加快。
对，而且我觉得这也能让团队之间更容易并行工作。
好，那我们把它弄清楚，之后就这么做。
刚才顺带提出的这个想法，和如今的做法相比，其实会带来很大的范式转变。如果未来趋势真是如此，这就是一个非常有意思的预测：模型不再是一个来回传递数据的整体，而是可以进行类似外科手术的改造，想改进什么部分就改进什么部分。
对，可以扩展模型，在这里增加一小部分。我已经在 Pathways 里勾画这个愿景一段时间了……
对，你一直在开发……
……我们一直在为它搭建基础设施。Pathways 系统能支持这种结构复杂、不同部分异步更新的模型。我们用 Pathways 训练 Gemini，但还没用上其中一些能力。也许该试试。
哦，也许吧。
这太有意思了，我不想丢掉这个话题，但先等一下。
TPU Pod 的设计就是个例子。我不知道是谁做的，但他们做得非常出色。底层软件栈和硬件栈配合得很好：有高性能硬件、优秀的环面网络互连，以及合适的底层集合通信操作，例如 all-reduce。它们可能来自超级计算，但后来证明正好适合构建分布式深度学习系统。
好，我有几个问题。假设 Noam 又有了一个架构突破，我们现在有更好的架构了。你们会把各个模块蒸馏到这个新架构里，让系统这样持续改进吗？
我确实觉得蒸馏是很有用的工具，因为它能把当前架构中的模型转换成另一种形式。人们常用它把能力很强、但又庞大笨重的模型蒸馏成更小的模型，方便部署，并且有更好的低延迟推理特性。
但也可以把它看成发生在模块层面的过程。也许每个模块都能持续维护几个不同表示：一个非常大的版本，以及一个小得多的版本，并不断把大模型蒸馏进小模型。
小版本蒸馏完成后，就删除大版本，再增加一些参数容量，利用更多数据学习小版本尚未掌握的内容，然后重复这一过程。如果模块化模型里有一千个不同位置同时运行这样的流程，我觉得效果会不错。
这也可以成为扩展推理的一种方法：路由器决定应该调用多大的模型。
对，你可以有多个版本。碰到简单数学题，就把它路由给很小、经过蒸馏的数学模型；碰到特别难的问题，就……
至少从公开研究来看，似乎很难解读混合专家模型里的每个专家都在做什么。如果使用这样的系统，你会怎样确保它的模块化结构对我们来说可见、可理解？
其实我过去发现专家相对容易理解。我是说，最早的混合专家论文里，你可以直接查看各个专家。
“我不知道啦，我只是混合专家模型的发明者。”
是的——哦，什么？
对，对。
对，你能看出，比如我们使用了一千或两千个专家，其中某个专家负责的是指向圆柱体的词语。
这个专家特别擅长日期。
对。
讲时间的内容。
对，这很容易看出来。
不过，在运行模型时不一定需要人类理解这些模块，因为你只需要一个根据输入样例学习出来的路由器。
还有一大类研究是模型可解释性，试图理解模型内部在做什么。专家级可解释性只是这个大领域里的一个子问题。我很喜欢以前的实习生 Chris Olah 和他在 Anthropic 的同事所做的一些研究。他们训练了一个很稀疏的自编码器，推断大语言模型中的某个神经元具有哪些特征，比如发现了一个讨论金门大桥时会激活的“金门大桥神经元”。我认为可以在专家层面或其他不同层面做这类研究，得到相当可解释的结果。不过，也不确定是否一定需要这样做。如果模型整体表现很好，我们未必需要理解 Gemini 每个神经元做什么。这正是深度学习的一大优点：不必逐一理解或手工设计每个特征。
这方面的含义太有意思了，我可以一直问下去，也不想错过继续追问的机会。一个推论是，现在一个模型有几十亿到数千亿参数，可以用少量 GPU 提供服务。
在这种系统里，每个请求可能只经过全部参数中的一小部分，但你仍需要把整个模型加载到内存中。Google 投资建设的 TPU Pod，由数百或数千个芯片组成，因此会非常有价值，对吧？
对任何现有的混合专家模型来说，你都希望整个模型在内存里。我猜有种误解认为，混合专家的好处是根本不需要访问模型中未使用的权重。
如果某个专家没被调用，并不代表你不用取出相应内存，因为要提高效率，你通常会用很大的批次处理请求。
也就是独立请求构成的批次。
对，独立请求组成的批次。因此不是某一步只看某个专家，或者完全不看它。
如果真是那样，调用专家时批次大小就会是 1，效率极低。现代硬件的运算强度大概有数百，所以实际不是这样。你会同时使用所有专家，只是把批次中的一小部分数据送给每个专家。
对，每个专家处理的批次会更小。为了平衡负载，当前模型通常让各专家的计算成本大致相同，然后把大小差不多的批次送给各专家，以便处理推理阶段的大批次并保持效率。
不过未来你可能会需要计算成本相差一百倍、一千倍的专家。或者针对某些输入，路径会经过很多层；另一些输入只经过一层，甚至走跳接。那时你仍需要很大的批次，但希望推理过程能异步地通过模型，这比训练时更容易实现。
这是 Pathways 设计支持的功能之一。系统里有许多组件，每个组件的成本可以不同。你可以针对某个输入指定经过模型的这部分，针对另一个输入指定经过另一部分，再让系统统一调度。
这也意味着，只有一定规模和技术能力的公司才能做到。现在任何人都能训练一个足够小的模型。但如果未来训练模型的最佳方法真是这样，就需要公司拥有能为单个“整体模型”提供服务的数据中心。这会带来一次有意思的范式转变。
你至少得有足够的高带宽内存（HBM）来放下整个模型。具体需要多少取决于模型大小，但很可能至少要配这么多 HBM。
这也意味着模型本身未必得大到塞满整个数据中心。可能只要略小于数据中心规模。
然后，对于经常使用的专家模块，可以部署很多复制版本来改善负载均衡。比如数学问题很多，数学专家就经常被调用；而擅长大溪地舞蹈的专家可能很少被调用。
后者甚至可以放到 DRAM，而不是高带宽内存里。系统需要根据负载情况自行决定这些事。
对。语言模型显然是输入语言、输出语言，而且它也是多模态的。
但 Pathways 的博客文章列出了许多不明显属于同一种自回归模型的应用。你能想象 Google 搜索、Google 图片、Gmail 都通过这个系统运行吗？
也就是说，整台服务器都像一个由专用模块组成的巨大混合专家系统？
你已经能看到一些类似趋势：Gemini 模型在 Google 的很多服务中都有应用，未必都需要微调，只要针对具体功能和产品场景给模型指令就可以。
所以我确实认为，让更多服务共享底层模型的能力，是个有意思的发展方向。
我觉得听众可能没意识到，这是个多么有趣的 AI 发展预测。就像 2018 年请 Noam 上播客，然后他说：“语言模型会成为重要技术。”如果事情真这么发展，那会非常有意思。
对，我认为可能会有一个大型基础模型，然后根据不同场景加入不同模块，形成定制版本，其中一些模块可能有访问限制。
比如可以有一个 Google 内部使用的模型，在模块上用内部数据训练，但不允许其他人使用这些模块。我们可以自己使用。也可以由其他公司增加适合其场景的模块，再通过我们的云 API 提供服务。
什么是让这类系统真正可行的瓶颈？是系统工程还是机器学习？
这和我们当前开发 Gemini 的方式很不一样。我认为我们会探索这些方向并取得进展。
但我们需要真正看到证据，确定它确实有很多好处。这些好处可能是质量提升，也可能不太容易量化，比如多个团队可以并行开发不同模块。但这仍然是很有吸引力的改进，因为它能让我们更快提升模型在许多不同领域的能力。
数据控制和模块化听起来也很棒。模型可以有专门为我训练的部分，掌握我所有的私人数据。
像为你定制的个人模块就很有用。另一个可能性是，某些数据只能用于某些场景，不能用于其他场景。
比如某些 YouTube 数据只能用于 YouTube 产品界面，不能用于其他场景。我们就可以专门针对这种用途训练一个模块。
是的。
我们得有一百万个自动化研究员来发明这一切。
肯定会很棒。
对，整体模型就像一个大块头，然后它会告诉你怎么改进自己。
Blob 2.0。也许不会分成版本，而是这个整体不断增长。
对，真的很有意思。好，Jeff，请从宏观层面说说：为什么这是个好主意？为什么这是下一个方向？
这种有机发展、而非精心数学设计的机器学习模型，我已经思考一段时间了。神经网络中的人工神经元从生物神经元获得灵感，确实是个很好的思路，也推动了深度学习领域的发展。
我们已经取得很大进步，但我觉得对真实大脑其他特征的借鉴还不够。这不是说应该照搬大脑，因为硅芯片和生物组织的特征与优势很不一样。但我确实认为，可以更多借鉴这种思路：模型中有不同的专门部分，各自擅长不同事情。
混合专家模型已经有一点这种结构，但整体仍然很规整。我希望专业能力能更自然地生长：需要某种能力时，就增加模型在那部分的容量，让它在相关领域继续学习。
我还认为，让模型连接方式适应硬件结构也是个好主意。同一芯片、同一 HBM 内的人工神经元应该密集连接，因为成本不高；但与附近神经元之间的连接可以少一些。比如隔一块芯片，就保留一定数量的连接；隔很多块芯片，连接还要更少，只传递最重要的信息，让模型其他部分使用。跨越多个 TPU Pod 时，传递的信息应该更少，但要保留最关键的表示；跨都市区时则更少。
对，而且应该让这种连接方式自然形成。
是的，我希望它能自然形成。你可以手动指定这些特点，但我认为我们并不知道各种连接的正确比例，所以最好让硬件在一定程度上决定。例如，如果某条连接总是让数据很快到达，就可以增加一些连接，让数据稍晚一点、恰好在合适的时机到达。
Dwarkesh Patel
再举一个有意思的推论。现在我们会用“横向扩展”来思考 AI 使用量，比如 Google 会有多少 AI 工程师在工作？你会数有多少个 Gemini 3 实例同时运行。
如果有一个整体模型，能有机地决定激活自身多少部分，那么你要十个工程师的产出时，它只需激活不同的模式或更大的模式；要一百个工程师的产出，也不是启动更多智能体或实例，而是调用模型中不同的子模式。
我认为，你会想根据具体推理任务来调整算力。很简单的任务和非常困难的任务，算力可能相差一万倍，甚至一百万倍。模型可以迭代地处理：先运行一遍、得到一些结果，然后决定需要调用模型的其他部分。
这听起来可能很难部署，因为系统很复杂、持续演化，而且各个部分之间的通信方式也未必优化得很好。但你总可以从这种整体模型中蒸馏。如果有一种任务特别重要，可以把这个庞大的有机系统蒸馏成一种已知能够高效服务的模型。你可以随时蒸馏，比如每天一次、每小时一次。我觉得这会很有用。
是的，我们需要更好的蒸馏方法。
对。
如果有人能发明神奇的蒸馏技术，把一个庞大的整体模型立即蒸馏到手机上，那就太好了。
你觉得当前蒸馏技术缺少什么？
我只希望它能更快。
另一个相关问题是，我觉得我们需要在预训练时使用有趣的学习技术。我不确定当前训练目标是否充分利用了每个词元。也许有些词元需要让模型多花些力气思考。
比如看到“答案是”时，模型在训练阶段花的功夫应该比处理“这个”更多。
对。我们应该有办法从相同数据里学到更多，让模型正着学、反着学。
还可以用各种方式：隐藏不同部分的信息，让模型根据不完整信息推断。我觉得计算机视觉领域早就在这么做了。比如遮住图像的一部分，让模型根据左上角或左下角等区域，猜出这是一只鸟。
这会让任务更难。我觉得文本或代码数据也有类似方法，可以迫使模型更认真地思考，从而得到更有意思的观察。
是啊，图像领域的人当时没有足够的标注数据，所以不得不发明这些方法。
比如 dropout 最早是在图像任务中发明的，但文本训练里基本没怎么用。这也许是一种在大型模型中获得更多学习、又不致过拟合的方法：把世界上的文本数据重复训练一百轮，并使用 dropout。
当然，这在计算上很昂贵。但即使人们说“文本数据快用完了”，我也不太相信，因为现有文本数据应该还能训练出强大得多的模型。
一个人也见过十亿个词元。
对，而且他们很多事情都做得不错。
所以，人的数据效率显然为模型可能达到的效率设了一个下限，或者说上限之一，也许还不能这么说。
这是个很有意思的参照点。
确实。这里有个正向推理和反向推理的问题。一种看法是：大语言模型还有很大进步空间，只要它们达到人类的数据效率，样本效率就能提高几个数量级。另一种看法是：它们现在的能力和人类相差几个数量级，或许说明它们采用了截然不同的方式。你觉得要让模型达到人类的样本效率，需要什么？
我认为我们应该稍微改变训练目标。单纯根据前面的词预测下一个词，似乎不是人类学习的方式。两者有一点相似，但并不完全一样。一个人也许读完一整章书后再回答书末的问题，这是另一种学习方式。
我还觉得，我们没有充分利用视觉数据。现在只用少量视频数据训练，离使用所有可能获得的视觉输入还很远。因此我们还有大量视觉数据尚未用于训练。
另外，我们还可以从每一份数据中提取更多信息。人类之所以有很高的样本效率，部分原因是他们会探索世界、采取行动、观察结果。你能看到小婴儿拿起东西再扔掉，通过这种方式学习重力。这比被动观察更难学。
我认为，让模型在学习过程中采取行动，会比被动观察庞大的数据集好得多。
那 Gato 就是未来吗？
让模型观察、采取行动，再观察相应结果，这种方式应该很有用。
人也能通过无需额外输入的思想实验学到很多。爱因斯坦用思想实验学到了很多东西；牛顿在隔离期间被苹果砸中脑袋，然后发明了重力之类。数学也没有额外输入。
国际象棋就是一个例子：让系统和自己下棋，它就能学会下棋。DeepMind 做过这件事，但它只需要知道棋规。因此，即使没有外部数据，仍然有很多学习方式；而且可以把学习定向到我们关心的具体领域。人类当然有些知识必须靠外部数据获得，但也许可以让模型彼此对话、自我提升。
我想问一个问题。你过去一小时所说的内容，可能预示着 AI 的下一个重大范式转变。这是一项非常有价值的洞见。Noam，你在 2017 年发表了 Transformer 论文，许多其他公司由此获得了数百亿美元的市值；此外 Google 这些年也发布了许多研究成果，而你们一直挺慷慨地公开分享。
回头看，公开这些帮助了竞争对手的信息，你会觉得：“我们还是会这么做。”还是会想：“我们当时没意识到 Transformer 影响这么大，应该留在内部。”你怎么看？
这是个好问题。我觉得我们确实需要看到机会有多大，而其他公司在做什么也能反映这一点。此外，世界并不是一个固定大小的蛋糕；当前世界离固定蛋糕的情况还很远。
我认为 GDP、健康、财富以及其他各方面都有可能提高几个数量级。所以 Transformer 得到广泛应用，我认为确实是好事。
它改变了整个领域。
还好 Google 自己也发展不错。所以现在我们公开的工作确实少了一点。
这里一直存在权衡：我们要不要立即公开正在做的事情？要不要把成果放进后续研究，再整合到 Gemini 产品中而不公开？或者选择某种折中办法？
比如在 Pixel 手机的计算摄影领域，我们常会先开发有意思的新技术，比如让夜视功能在低光下表现得非常好；先把它放进产品，再等产品发布后发表系统相关的正式论文。
不同的技术和进展会采用不同处理方式。有些特别关键的内容我们可能不会发表；有些研究很有意思，也能改进产品，我们会先整合到产品里，再决定是否发表，或者只做简略介绍而不公开全部细节。
还有些研究我们会开放发表，推动整个领域和社群进步，因为参与交流对所有人都有好处。我觉得上周参加有 15,000 人的 NeurIPS 非常棒，大家在那里分享许多好点子。我们像过去一样发表很多论文，也很高兴看到整个领域进步。
你们的情况是，Google 很早就有这些洞见，也有顶尖研究人员。现在 Gemini 2 已经发布，大家都知道它是个很优秀的模型。
确实非常优秀。正如我们在微型厨房里常说的：“模型真好，模型真好。”
它在 LMSYS Chatbot Arena 排名靠前，所以现在 Google 领先了。不过你们早就有很多出色想法，为什么其他竞争对手有一段时间反而做出了更好的模型？
我们很早就开始研究语言模型。Noam 在 2001 年做的拼写纠正、机器翻译、2007 年的大规模语言模型、seq2seq、word2vec，以及后来更近期的 Transformer 和 BERT，都是这条发展路线的一部分。
还有内部的 Meena 系统，这是一个旨在与人进行有趣对话的聊天机器人。甚至在 ChatGPT 发布之前，Google 内部员工就能体验聊天机器人。疫情期间大家都居家办公，很多 Google 员工午休时会和 Meena 聊天，因为它就像一个愉快的午餐伙伴。
我觉得我们从搜索的视角出发，有一点过于谨慎。我们知道模型经常产生幻觉、有时会给错事实，所以没那么有用；我们希望把事实准确性提升到更高水平。对搜索来说，理想情况是百分之百给出正确答案，事实准确度要非常高，而这些模型还没有达到这个标准。
我们当时没完全意识到，这些模型其实非常有用，尤其是搜索引擎无法回答的问题。它们也有各种安全问题，比如会说冒犯性的话，我们需要处理这些问题，让模型达到可以发布的程度。但我觉得我们没有充分认识到它们能完成搜索之外的许多任务，比如帮我写一封给兽医的信，或者快速总结一段文字。人们蜂拥使用聊天机器人，是因为它们提供了搜索引擎之外的新能力。
所以我们花了些时间，最后发布了能力很强的聊天机器人，随后通过 Gemini 系列不断改进。我认为走这条路也不错。也许我们希望能更早发布聊天机器人，但现在我们有很棒的 Gemini 模型，而且一直在进步，这很不错。
好，最后一个问题。过去 25 年你们做过很多领域的工作：从搜索、索引到分布式系统、硬件、AI 算法。还有很多很多，不妨看看你们的 Google Scholar 页面。保持数十年职业生涯、持续取得突破，同时还能涉猎这么多不同领域，这其中的诀窍是什么？
我喜欢了解新的、有趣的领域。最好的办法之一是关注进展、和同事交流、留意新发表的论文，观察研究领域如何变化。
要愿意进入新领域。比如芯片设计：“能不能用强化学习来解决其中某个问题？”和熟悉不同领域的人合作，比如 AI 医疗。我曾与临床医生交流，了解真正的问题是什么、AI 能如何帮忙。它对某件事不太有用，但对另一件事可能非常有帮助。
从这种合作中获得洞见，也和五六位拥有不同专业知识的同事一起工作，会让团队共同完成任何一个人都无法独立完成的事。他们的专业知识会影响你，你的知识也会影响他们；作为工程研究员，你的工具箱就会变得更大，之后可以用来解决新问题。
我觉得持续学习是这份工作的美好之处之一，也是我非常珍视的东西。我很喜欢深入新领域，看看我们能做什么。
我认为一个重要因素是谦逊，比如我会说自己最谦逊。认真地说，能意识到“刚才做的事，和我能做的、或者未来能做到的事相比不算什么”很重要。还要能在看到更好的想法时立刻放弃自己的点子；你或别人提出更好的思路后，你能看出自己或对方的方案，甚至一个完全不同的方案，可能更有效。
有时人们会想：“我刚发明的东西很棒，应该给我更多芯片。”如果资源分配高度自上而下，这种倾向尤其明显。但我们也要鼓励人们坦诚地说：“我做的东西根本不管用，那就彻底放下，试试别的。”
我觉得 Google Brain 当时就做得很好。我们用了一种很偏自下而上的通用芯片资源分配方式。
你们还有通用基本收入？
对，差不多就是每个人都有一个额度，可以把额度集中起来使用。
Gemini 项目大部分是自上而下管理的，某种意义上这很有效，因为它促进了合作和团队协同。大家不太会出现五个团队同时做同一件事，或者重复开发互相替代的东西。
但另一方面，人们也会受到激励，说：“我做的事情效果很好。”领导者听到数百个团队都说“你应该给我更多芯片”，就比较少有人会说：“其实我的方案效果不怎么样，我想换个方向试试。”
所以我认为未来应该结合一定程度的自上而下和自下而上管理，同时鼓励合作与灵活性。我认为这两者都能带来大量创新。
把自己认为有意思的发展方向说出来也很好。我有一套内部幻灯片，叫《Jeff 的疯狂点子》。里面多是偏产品的构想，比如：“我们现在有这些能力，可以做这十七件事。”
这是好事，因为有时其他人会因此兴奋起来，想跟你一起做其中一项或几项。我觉得这样可以带动大家探索发展方向，而不必直接命令别人：“我们必须做这个。”
好，今天聊得很棒。
是啊。
谢谢你们。
感谢你们抽时间来聊，真的很开心，太棒了。