← Acquired

Google 第三部:AI 公司

Google Part III: The AI Company

Episode 2025-10-062025-10-06简体中文
Listen to this episode00:00 / 3:56:05
Reading settings
Reading preferences
Text size
Download in-depth read
Read offline

English · In-depth read · Current version

Downloads are not available yet.

Full transcript · Read the full conversation in order, with its original context.

Contents3 chapters§01文稿(第一部分)§02文稿(第二部分)§03文稿(第三部分)

§01文稿(第一部分)

Ben:我去附近看了一间录音室,不,一间准备改成录音室的小办公室,但条件很糟。天花板是吊顶,所以隔壁办公室那个人说话我都能听见,节目里也会收进去。

David:第三位共同主持人。

Ben:第三位共同主持人。

David:是 Howard 吗?

Ben:不是,是个律师。他好像在讲一件很棘手的麻烦事,我一点也不想听,可我却每句话都听得清清楚楚。

David:他想让几百万人都听见他的谈话吗?

Ben:好,我们来做播客吧。

David:来做播客吧。

Ben:欢迎收听《Acquired》2025 年秋季节目。这是一档讲述优秀公司及其故事和经营方法的播客。我是 Ben Gilbert。

David:我是 David Rosenthal。

Ben:我们是本期主持人。先设想一个两难局面:你有一门盈利业务,每卖出一个单位都能赚取极高利润;你所处的市场也巨大,可以说是世界上最大的市场之一。更幸运的是,在这片巨大的市场里,你还拥有垄断地位,占据 90% 的份额,而且用户很难离开。

David:你说的垄断,是按美国政府的定义来说的。

Ben:没错。但再想象一下:你们研究实验室里的杰出科学家发明了一项新技术。把这项发明与公司其他科学家之前创造的一大堆旧发明结合起来,结果发现,做出的产品在大多数用途上都比你现有产品好得多。

你推出基于这项新发明的产品,尤其是因为出于纯粹的好意,你们的科学家已经发表论文,说明这项新发明有多厉害,以前的很多发明也一样。如今创业公司正在迅速把这项技术商业化。当然啦 David,你会把整个产品都换成新技术,对吧?

David:这听起来像电影情节。

Ben:没错。但问题是,你还没想出怎样才能让这款新产品的盈利能力接近旧业务那台巨大的印钞机。也许你不该推出新产品。

David,这可真是个两难局面。听众们,这说的就是今天的 Google,可能是教科书里最经典的“创新者的窘境”案例。我们现在身处的整个 AI 革命,都建立在 Google Brain 团队 2017 年发明 Transformer 的基础上。

想想 OpenAI 和 ChatGPT、Anthropic,还有股价创历史新高的 NVIDIA。如今的一切疯狂发展,都依赖于 Google 在 2017 年发表的那一篇研究论文。

再想想,不仅十年前全球 AI 人才最密集的地方就是 Google,并在那里诞生了这项突破;时至今日,Google 也几乎拥有任何公司都梦寐以求的一整套顶尖资产。

他们有 Gemini 这个顶尖 AI 模型,不必依赖外部公有云来托管,因为自己有 Google Cloud,年收入如今已达 500 亿美元,规模相当可观。他们还是芯片公司,拥有张量处理单元 TPU;除了 NVIDIA GPU,这是全球唯一实现大规模部署的 AI 芯片,也许 AMD 也算,但公认领先的就是前两家。

David:有人在做研究时跟我说,如果你没有基础前沿模型,也没有 AI 芯片,那你在 AI 市场里可能只是个普通商品。而 Google 是唯一一家两者兼有的公司。

Ben:Google 依然人才济济。尽管 ChatGPT 已成了这个时代的 Kleenex(代指品类通用名称),Google 仍然掌握着那个文本搜索框——对绝大多数人而言,它就是互联网的入口,也是大家每次想在网上做事时最先会用的入口。

但问题依然存在:从战略上看,Google 应该怎么做?是押上一切,全力发挥自己在人工智能领域的先天优势?还是为了保护搜索业务滚滚而来的利润,最终让自己错过 AI 浪潮?不过,也许我们得先回答一个问题:Google 怎么走到了今天这一步,David Rosenthal?听众们,今天我们来讲 Google 作为 AI 公司的故事。

David:呜呼!

Ben:你觉得怎么样,David?不错吧?

David:我喜欢。你是不是没告诉我就请了好莱坞编剧顾问?

Ben:这稿子百分之百是我自己写的,没有用 AI,谢谢。

David:没有用 AI。

Ben:听众们,如果你想在每次节目发布时收到通知、参与投票决定未来选题,或者查看往期节目的勘误,请订阅我们的邮件列表:acquired.fm/email。

听完节目后,欢迎到 Slack 和整个《Acquired》社群讨论本期内容,网址是 acquired.fm/slack。

David:说到《Acquired》社群,我们马上要举办周年庆典了。

Ben:没错。

David:节目开播十周年。我们要和大家一起开一场公开 Zoom 会议庆祝,就像以前和有限合伙人开的 LP 电话会。会议时间是 2025 年 10 月 20 日下午 4 点,太平洋时间。详情请看节目说明。

Ben:如果想听更多 Acquired 内容,也可以收听我们的访谈节目 ACQ2。上一期特别有意思,我们采访了 Shopify 创始人兼 CEO Tobi Lütke,聊 AI 如何改变他的生活,以及他认为 AI 接下来会如何发展。在任何播客平台搜索 ACQ2 就能找到。正式开始之前,先简短感谢本节目冠名合作伙伴 J.P. Morgan Payments。

David:正如我们常说,每家公司都有自己的故事,而每家公司的故事都离不开支付。J.P. Morgan Payments 参与了许多公司的发展历程,从种子阶段一路走到 IPO,之后也继续相伴。

Ben:所以先提醒一下,本节目不是投资建议。David 和我可能持有节目中讨论公司的投资。本节目仅用于信息分享和娱乐。David,Google,这家 AI 公司。

David:Ben,正如你在精彩的开场里提到的——你又进步了,真不错——如果我们把时间倒回十年前,也就是 Transformer 论文发表前,下面这些人当时全是 Google 员工,正如我们之前谈到过的:OpenAI 创始首席科学家 Ilya Sutskever;此前几年,他与 Geoff Hinton、Alex Krizhevsky 共同完成了 AI 领域开创性的 AlexNet 研究,并刚刚发表成果。

这三个人当时都是 Google 员工,Dario Amodei 也是,他后来创立了 Anthropic;还有 Andrej Karpathy,直到不久前还担任 Tesla 首席科学家;Andrew Ng、Sebastian Thrun、Noam Shazeer;以及 DeepMind 的所有人:Demis Hassabis、Shane Legg、Mustafa Suleyman。Mustafa 曾是 DeepMind 创始人之一,如今负责 Microsoft 的 AI。基本上,所有有名的 AI 人才都在 Google 工作,唯一的例外是当时在 Facebook 的 Yann LeCun。

Ben:现在追溯重要 AI 实验室的发展史,很难找不到 Google 在其中留下的源头。

David:这个类比就像计算机时代刚开始时,有一家 IBM 这样的公司把所有懂编程的人都招进去了。其他人要是想写电脑程序,只能说:“抱歉,不行。所有会编程的人都在 IBM 工作。”

2010 年代中期,AI 领域的情况就是如此:人才都在 Google。但学会给电脑编程并没有难到外面的人无法自学;想成为 AI 研究员可要难得多。

Ben:那需要读特定的博士项目,导师数量也极其有限,而且这个领域内部一直争论不休:研究方向到底该往哪里走,哪些观点合理,哪些又是疯狂、离经叛道的“异端邪说”。

David:是啊。那我们怎么走到这一步的?得从公司成立之初说起。Larry Page 一直认为 Google 是一家人工智能公司。事实上,他的父亲是计算机科学教授,曾在密歇根大学攻读机器学习与人工智能方向的博士;当时这在计算机科学中并不热门。

Ben:很多人觉得专攻 AI 是浪费时间,因为此前几十年里许多大型理论都已经被推翻,或者至少当时大家以为它们被推翻了。Larry 的父亲一辈子都把职业和研究投入 AI,这在当时确实很反主流。

David:这也影响了 Larry。若仔细看,Google 创立所依据的 PageRank 算法是一种统计方法。你可以把它归到计算机科学里的 AI 范畴。Larry 当时显然还在设想更宏大得多的目标。

2000 年 Larry 说过一句我们在节目里引用过的话,也就是 Google 创立两年后:“人工智能会是 Google 的终极形态。如果我们拥有终极搜索引擎,它就能理解 Web 上的所有内容,准确理解你的需求,并把正确的东西给你。

这显然就是人工智能。我们现在离这个目标还很远,但可以一点一点地接近,而这基本上就是我们在 Google 做的事。”Google 一直以来都是一家 AI 公司。

Ben:这话是 2000 年说的。

David:有一天,大概是 2000 年底或 2001 年初,具体时间记不清了。Google 工程师 George Herrick 在午餐时和两个人聊天:一位是后来领导搜索部门、很有名的 Google 工程师 Ben Gomes,另一位是刚入职不久的工程师 Noam Shazeer。

George 是 Google 最早的十名员工之一,是位出色的工程师。和 Larry Page 的父亲一样,他也有密歇根大学的机器学习博士学位。即使在 George 就读时,这也仍是计算机科学里相当冷门、非主流的子领域。

三人午餐时,George 随口说起自己读博士时形成的一种理论:数据压缩在技术上其实等同于理解数据。思路是这样的:如果你能把一段信息缩小、储存起来,之后再按原样还原,那么执行这一过程的系统就必须理解这段信息的含义,否则根本不可能做到。

你把信息缩成更小的形式时会丢掉信息,再把它还原。就像学生在学校学习:读完一本厚厚的教科书,把内容记在脑子里,再参加考试检验是不是真的理解了。如果你能把那些概念重新表达出来,就说明你确实理解了材料。

Ben:这预示了今天的大型语言模型:把全世界的知识压缩进若干 TB 的数据里,就像压成一小组向量——和世界上的全部信息相比,这当然算很小。就是这个概念。你可以把全世界的信息储存在一个难以理解、令人费解的 AI 模型里;但如果把它解压缩,就能让知识恢复成原本的形式。

David:这些模型展现了理解能力,对吧?

Ben:嗯,真的有吗?这就是问题。它们当然会模仿理解。

David:这场对话发生在 25 年前。Noam 还是个新员工、年轻小伙子。他停下脚步说:“哇,如果这是真的,那可太深刻了。”

Ben:这事发生在 Google 的微型厨房里吗?

David:是在 Google 的微型厨房里。他们当时在吃午餐。

Ben:顺便问一下,你在哪儿找到这个故事的?这是 25 年前的事……

David:在《In the Plex》里。这本 Stephen Levy 写的好书一直是我们所有 Google 节目的资料来源。这段只是一小节,因为书出版时 ChatGPT、AI 热潮之类的事还没发生。

于是 Noam 对 George 的想法产生了兴趣,两人不断深入探讨。接下来几个月,他们决定用最 Google 的方式做这件事:停下手头所有其他工作,专门研究语言模型、数据压缩,以及能否用数据实现机器理解。如果做到了,这对 Google 就很有价值。

我觉得这正好发生在 2001 年左右,当时 Larry Page 解雇了工程部门的所有经理。每个人都在做自己想做的事。

Ben:真有意思。

David:书里有段 George 的精彩引述:“很多人认为 Noam 和我把才华浪费在这件事上,但 Sanjay Ghemawat 觉得这很酷。”Sanjay 当然就是那位著名、多产的程序员,常和 Jeff Dean 搭档。

George 会用这样一句话回应他们遇到的怀疑者:“Sanjay 觉得这是好主意,而世界上没有人比 Sanjay 更聪明,所以为什么 Noam 和我要接受你们说这主意不好的看法?”

Ben:这就像你在橄榄球赛里击败了最强球队,你是不是不管怎样就成了新一届最强队伍?

David:没错。最终,Noam 和 George 沿着这条路深入研究自然语言的概率模型。也就是说,对于互联网上出现的任意一段词语序列,接下来跟着另一段特定词语序列的概率是多少?熟悉当今大型语言模型工作原理的人,听起来应该会觉得很熟悉。

Ben:就像预测下一个词。

David:或者推广一下,预测下一个 token。他们这项工作的第一个成果,是 Google 搜索里的“您是不是要找”拼写纠正功能。

Ben:噢,这个功能就是从这里来的?

David:没错,是 Noam 开发的。对 Google 来说这很重要,因为用户打错搜索词后还得再输入一次,是很差的使用体验;同时也会消耗 Google 的基础设施。每当有人输入拼错的查询,Google 的系统就得去查找并返回一批毫无用处、马上又会被新查询结果覆盖掉的内容。

Ben:这是一个范围非常明确的问题。你会发现,别人每次输入“god groomer”,80% 的时候其实想打的是“dog groomer”(狗狗美容师),于是他们会重新输入。如果系统有很高把握,就可以直接帮用户纠正,而不是先询问;同时提供退出选项,而不是要求用户主动加入。这是很棒的功能,也是语言模型在一个狭窄领域里的绝佳首个应用场景。

David:确实。于是 Noam 和 George 继续研究,最终创建出一个以当时标准来看相当“大”的语言模型。他们亲切地称它为 PHIL,也就是“概率层级推理学习器”(Probabilistic Hierarchical Inferential Learner)。

Ben:这些 AI 研究人员可太喜欢创造回溯式首字母缩写了。

David:他们就爱玩文字梗。快进到 2003 年,Susan Wojcicki 和 Jeff Dean 正准备推出 AdSense。他们需要理解第三方网页、也就是发布商页面的内容,以便把 Google 的广告库投放到这些页面上。PHIL 正好就是他们使用的工具。

Ben:我完全不知道语言模型还参与了这件事。

David:Jeff Dean 借用了 PHIL,据说只花一周就写出了 AdSense 的实现——因为他是 Jeff Dean。然后 AdSense 就上线了。Google 一夜之间新增了数十亿美元收入,因为他们把原本用于搜索广告的 AdWords 广告库投放到第三方网页上,大幅扩展了现有广告系统的库存。这都要感谢 PHIL。

Ben:感谢 PHIL。

好,现在得停下来聊聊 Jeff Dean 的趣闻了。他会贯穿本期节目,让人不断惊叹:“等等,Google 到底怎么做到的?Jeff Dean 怎么周末回家就重写了整个大型分布式系统,还解决了 Google 的所有问题?”

Chuck Norris 趣闻风靡一时的时候,Google 内部也流传着 Jeff Dean 趣闻。我给大家讲几个我最喜欢的。真空中的光速过去大约是每小时 35 英里。后来 Jeff Dean 花了一个周末优化了物理学。

David:太棒了。

Ben:Jeff Dean 的 PIN 码是圆周率最后四位。

David:只有 Googler 才会想出这种梗。

Ben:在 Jeff Dean 看来,NP 的意思是 no problemo(没问题)。

David:噢,是啊,我以前也见过这个。我觉得这是我最喜欢的一条。太棒了。还有,他本人也是个特别好的人。我们在准备节目时和他聊过,他帮了我们很多。谢谢你,Jeff。

显然,语言模型确实有用,也一定会为 Google 带来大量价值;它们和 Google 的使命也很契合:整理全世界的信息,让人人都能访问并从中获益。如果你能理解全世界的信息,把它压缩起来,再重新还原,我想这确实符合使命。这个目标算是打勾了。

Ben:绝对是。

David:PHIL 的规模后来变得很大。听说到 2000 年代中期,它竟然占用了 Google 整个数据中心基础设施的 15%。我猜其中很大一部分用于 AdSense 广告投放,但 Google 后来把它用于“您是不是要找”和其他项目。

Ben:所以早期自然语言系统的计算成本非常高。

David:没错。快进到 2007 年,这是我们要讲的故事里非常重要的一年。Google 不久前刚推出 Google Translate。这正是我们以前聊过的那些优秀 Google 产品密集推出的时期:Maps、Gmail、Docs,还有之后出现的 Chrome 和 Android。

Ben:Google 有十年时间,几乎推出了你能想到的所有 Google 产品,搜索除外。真的是在十年里推出了全部。再往后,从 2013 年起,他们差不多又过了十年,几乎没有推出你听说过的新产品,直到 Gemini 出现,这特别有意思。但 2003 到 2013 年这段时期,真是佳作连连,一个接一个。

David:太神奇了。Google Translate 就是其中一个产品。它的用户量和全球影响力或许不及 Gmail、Maps 等产品,但依然非常神奇。Google Translate 的首席架构师是另一位杰出的机器学习博士 Franz Och。

Franz 的专业背景是自然语言处理和机器学习,也是他的博士研究方向。他是德国人,在德国获得博士学位。当时,美国国防部高级研究计划局 DARPA……

Ben:也就是美国政府的国防高级研究计划局。

David:……当时正举办一个著名的机器翻译挑战赛。Google 和 Franz 当然也参加了。Franz 建了一个更大的语言模型,在那一届 DARPA 挑战赛中击败所有对手。我记得是在 2006 或 2007 年,模型取得了极高的 BLEU 分数。BLEU 是“替代评估的双语评测”(Bilingual Evaluation Understudy),当时用于算法评估翻译质量;它的得分超过了此前任何可能达到的水平。

Jeff Dean 听说了这个结果,也了解到 Franz 和 Translate 团队的工作。他说:“太好了,真棒。你们什么时候能把它部署到正式产品里?”

Ben:噢,我听过这个故事。

David:Jeff 和 Noam 曾在 DoorDash 的播客中谈过这件事。那期节目特别好听。Franz 说:“不不不,Jeff,你不明白。这只是研究,不是给产品用的。我们不能把做出来的模型上线。”这是一个 n 元语言模型,也就是一个词组里有多少个词;他们用 Google 搜索索引里 2 万亿个词训练了它。

这个模型大到翻译一句话要花 12 个小时。那次 DARPA 挑战赛的规则是,星期一发给你一组句子,星期五之前提交对这些句子的机器翻译。

Ben:服务器有很多时间慢慢跑。

David:他们就想:“好吧,我们从周一到周五有这么多个小时,那就尽可能多地用计算资源来翻译这几句话。”

Ben:了解游戏规则,然后善用规则。

David:正是如此。工程领域的 Jeff Dean 就像 Chuck Norris。他说:“嗯,把代码给我看看。”接着他加入 Translate 团队一起工作了几个月,把算法重构成并行处理词语和句子,而不是逐个串行处理。翻译句子或一组词时,不一定非要按顺序处理;可以把问题拆成不同部分,分别独立解决,也就是并行化。

Ben:这样做不会得到完美翻译。不过你可以把每个词都分别翻译,同时并行处理,最后再把句子重新拼起来,大体理解原文意思。

David:没错。Jeff 很清楚,他和 Sanjay、Google 基础设施负责人 Urs Hölzle 基本上一起打造了 Google 的底层系统。Google 的基础设施非常适合并行化和分布式处理:可以把工作负载拆成小块,发到各个数据中心分别运行,再把结果汇总并返回给用户。

Ben:在把工作负载分配到不同 CPU、不同数据中心这件事上,Google 是全世界最擅长的公司。

David:当时我们谈的还是 CPU。Jeff 和团队合作后,把句子的平均翻译时间从 12 小时缩短到 100 毫秒。然后他们把它部署到 Google Translate,体验神奇。

Ben:这听起来像一条 Jeff Dean 趣闻。原来要 12 小时,Jeff Dean 跟团队花几个月优化后,就变成 100 毫秒。

David:这是第一款在 Google 正式产品中投入使用的“大型”语言模型。看到它效果这么好,他们想,也许还能用它做别的事,比如预测你正在输入的搜索查询。这可能挺有意思。

当然,也许还能把它用于 Google 业务的皇冠明珠。AdWords 广告的质量得分,本质上就是预测特定广告文案的点击率。你能看出,一个很擅长摄取和理解信息,并基于信息作出预测的大型语言模型,可能非常适合计算 Google 的广告质量分。

Ben:直接关系到 Google 的利润。

David:确实。语言模型方面的一切进展都很棒。我刚才说 2007 年很重要。同年,Google 园区里几位计算机科学教授的重要交汇也开始了。

2007 年 4 月,Larry Page 从 Stanford 聘来 Sebastian Thrun,先兼职、再全职加入 Google,研究机器学习的应用。Sebastian 当时领导 Stanford AI Lab,也就是 SAIL。这是一所有传奇色彩的 AI 实验室,早在 20 世纪 60 至 70 年代的第一波 AI 浪潮中就很重要,那时 Larry 的父亲还活跃在 AI 领域。实验室后来关闭了一段时间,到了 2000 年代初重新启动并焕发活力,Sebastian 当时正是负责人。

Ben:Sebastian 来 Google 的过程有个有趣故事。他很热心地帮我们准备本期节目。我之前不知道这基本上是一场人才收购。他和一些研究生好像正准备创办公司,已经拿到 Benchmark 和 Sequoia 的投资意向书。Larry 找上门来说:“如果我们在公司正式成立前就收购你们呢?具体做法就是给你们签约奖金。”

David:他们大概作出了非常好的决定。SAIL 这个 Stanford 计算机科学系里的团队,不仅聚集了全球一些最杰出、最有成就的教授和 AI 博士研究员,也有一批 Stanford 本科生陆续加入,在攻读计算机科学、符号系统等学位期间参与研究。

其中一位就是 Chris Cox,如今担任 Meta 的首席产品官。

Chris:不会吧。

David:真的。他就是从那里开始接触这些领域的。显然,Facebook 和 Meta 稍后还会回到故事里。真是难以置信。

Sebastian 在 SAIL 任职时,另一位在那里做过研究的本科生,是个年轻的大一、大二学生。后来他从 Stanford 辍学,创办了一家公司,并参加了 Y Combinator 2005 年夏天的第一期创业营。

Ben:我都坐不住了。是谁?

David:猜猜看?

Ben:Dropbox、Reddit?我想想,还有哪些公司参加了第一期创业营。

David:不是,不过和本期主题贴切得多。那家公司是一个失败的本地移动社交网络。

Ben:噢,Sam Altman。Looped。

David:Sam Altman。

Ben:太神奇了。他当时也在 SAIL 吗?

David:他当时在 SAIL,没错,是本科生研究员。

Ben:哇。

David:很疯狂吧?我们不是说过吗?这么少的一群人,几乎参与了所有这些事情。

Ben:天哪,我真怀念那个年代。Sam 穿着衣领翻起来的衬衫,和 Steve Jobs 一起站在台上做 WWDC 发布。这是科技行业完全不同的时代。

David:双层翻领,那简直太棒了,很有那时候的感觉,确实是一段标志性时刻。好了,2007 年 4 月,Sebastian 从 SAIL 加入 Google。他接下来几个月最先做的项目之一,是 Google Maps 的 Ground Truth。

Ben:本质上就是 Google Maps。

David:没错,基本就是 Google Maps。在 Ground Truth 出现前,Google Maps 已经作为产品上线,但地图数据必须从一家叫 Tele Atlas 的公司购买。

Ben:我记得有两家供应商,它们是双头垄断。另一家是 Navteq。

David:对,Navteq 和 Tele Atlas。

Ben:但那套地图数据质量很差,而且所有公司都用同一批数据,所以大家都没法做得更好。

David:数据确实不怎么样,而且非常昂贵。Tele Atlas 和 Navteq 都是价值数十亿美元的公司。我记得其中一家或两家曾上市,后来又被收购。总之它们有大量收入。

Ben:没错。Sebastian 最初做的事情是 Street View。他之前已经有经验,曾组织一大批汽车上路拍照。

David:加入 Google 后,Ground Truth 成了一个登月项目,他们要从头重建 Tele Atlas 的全部地图数据。

Ben:主要依靠他们自己拍摄的街道照片,也就是 Street View,同时还整合了其他数据源。他们用了人口普查数据,我想总共整合了四十多种数据源。Ground Truth 是一个雄心勃勃的项目,要从白纸开始重建地图。

David:正如我们提到的 Google 内部所有 AI 和 AI 应用项目,效果非常好,而且很快就实现了。这是一次重大胜利。

Ben:特别是他们还在印度雇了 1,000 人,帮忙梳理数据里的各种冲突,人工把地图一条条画出来。

David:那时候还远远谈不上 AI 自动化。Ground Truth 成功之后,Sebastian 开始游说 Larry 和 Sergey:“我们应该多做这种事。应该把 AI 教授和学者请进 Google。我认识这些人,可以让他们兼职。”

他们不必成为全职员工,可以保留学术职位,同时来 Google 和我们一起做产品项目。学者们会喜欢的,因为他们的研究能被几百万人使用。我们给他们报酬、Google 股票,他们还可以继续在自己的学术机构当教授。

Ben:三赢。

David:不出所料,Larry 和 Sergey 都说:“对,对,这主意不错,多做点这个。”于是 2007 年 12 月,Sebastian 把一位当时名气不大的机器学习教授请到 Google 园区。他叫 Geoff Hinton,来自多伦多大学。这次不是要聘用他,而是请他给 Google 全体员工做技术演讲,介绍他与多伦多大学的博士生、博士后团队在神经网络上的最新研究,以及他们如何开辟新路。

Ben:不熟悉这个名字的听众可能不知道,如今 Geoff Hinton 被誉为神经网络之父,也被视为 AI 整个发展方向的奠基人。

David:现代 AI 的奠基人。

Ben:可在当时,他是学术界的边缘人物。神经网络并不是 AI 领域里受尊重的分支。

David:完全不是。

Ben:其中一个原因是,三四十年前神经网络曾经被大肆炒作,结果并没有实现承诺。大家基本认定这条路已经被证伪,当然也就成了冷门方向。

David:Ben,你还记得我们做 NVIDIA 那几期时,我最喜欢的一条 Geoff Hinton 趣闻吗?

Ben:记得,他的曾曾祖父是 George Boole?

David:没错。他是 George 和 Mary Boole 的曾曾孙,他们发明了布尔代数和布尔逻辑。

Ben:现在了解更多之后,这件事就特别好笑,因为布尔逻辑是符号逻辑的基本构件,也就是那种有明确定义、完全确定性的计算机逻辑。神经网络却不是这样。它不是符号 AI,不是我给你一套具体指令,你再照着庞大的 if-then 树执行。它是非确定性的,正好和那套领域相反。

David:这也再次说明,机器学习和计算机科学中的这个分支当时有多离经叛道。正如 Ben 刚才说的,神经网络并非新概念,理论上也曾承载很多希望;但实际训练多层网络所需的计算量实在太大。

那时电脑上的神经网络通常只有一层,最多也就个位数的几层。Geoff 和他的前博士后 Yann LeCun 开始在学界积极推广这个想法:“如果我们能让神经网络真正实现多层、深层结构,也就是我们说的深度学习,就能兑现它的潜力。”

Ben:问题不是这个想法不好,而是实现它需要大量计算,必须完成神经网络逐层传播时所需的乘法运算,用来识别、理解并存储模式。如果真能做到这一点,一个规模庞大的多层神经网络会很有价值,也有可能真的可行。

David:现在是 2007 年,也就是 2000 年代中期。摩尔定律带来的性能提升,终于让人们可以开始验证这些理论。Geoff 来 Google 做了这场演讲。演讲视频还在 YouTube 上,想看的人可以找到,我们会把链接放进节目说明。

Ben:真的?

David:这是一份难以置信的历史档案,就摆在 YouTube 上。Google 的 Sebastian、Jeff Dean 和我们提到的其他人都特别激动,因为他们已经用 Translate 及正在研究的语言模型做过类似工作,只不过还没有使用 Geoff 正在研究的深度神经网络。

这是一种全新的架构思路。如果能够成功,正在构建的模型就能表现得好得多,识别更复杂的模式,也更好地理解数据。前景非常非常诱人。

Ben:再强调一下,当时这一切都还只是理论。

David:这场技术演讲之后,Sebastian Thrun 把 Geoff Hinton 带进了 Google。起初我想是先做顾问,过了几年,Geoff 又成了 Google 的实习生。Google 通过这种身份安排绕开了兼职、全职的政策限制。

Ben:他大概在 2011 或 2012 年的某个暑假做实习生。要记住,那时他已经 60 岁了。

David:从 2007 年之后的几年里,Sebastian 邀请计算机科学、机器学习领域的学者以承包人或兼职实习生身份加入 Google,让他们保留学术职位,同时参与 Google 产品的大型项目。这种模式非常成功。到 2009 年末,Sebastian、Larry 和 Sergey 决定在 Google 内部新设一个完整部门,于是 Google X,也就是“登月工厂”,诞生了。

Google X 的第一个项目由 Sebastian 亲自带队……

Ben:David,别说出来,别说出来。

David:我不说项目名字。我们稍后会再聊。但就现在的故事而言,第二个项目至关重要,不仅关系到我们本期内容,也……

Ben:关系到整个世界。

David:AI 改变整个世界。而这个第二个项目叫 Google Brain。

Ben:好了,David。Google Brain。

David:Sebastian 从 Stanford 全职离开并加入 Google 后,当然需要有人接手 SAIL。接替他的是另一位杰出的计算机科学教授 Andrew Ng。

Ben:这全是明星阵容。

David:全都是 AI 明星。Sebastian 做了什么?他邀请 Andrew 兼职,每周到 Google 园区来一天。与此同时,Google X 刚刚成立,Sebastian 正在把这个部门正式搭建起来。

2010 年到 2011 年左右,有一天 Andrew 每周固定到 Google 园区工作一天,碰巧遇到了谁?Jeff Dean。Jeff 跟 Andrew 聊起自己和 Franz 在语言模型上的工作,也谈到 Geoff Hinton 正在研究的深度学习。

Andrew 当然都知道这些进展,也介绍了自己和 Stanford SAIL 在做什么。两人于是决定,现在可能终于到了一个时机,可以在 Google 内部大举投入:利用 Google 易于并行化的基础设施,按照 Geoff Hinton 的思路,构建一个巨大、大规模的深度学习模型。

Ben:你说“时机可能成熟了”时,Google 之前已经试过两次,但都没成功。一次叫 Brains on Borg。Borg 是他们内部运行所有基础设施的系统。另一个是 Cortex 项目,都不太奏效。因此研究团队有过挫折:大规模神经网络究竟能不能在 Google 的基础设施上跑起来?

David:Andrew Ng 和 Jeff Dean 把神经科学博士、优秀研究员 Greg Corrado 也拉了进来。他当时已在 Google 工作。2011 年,三个人启动了 Google X 内第二个正式项目,名字恰如其分:Google Brain。他们开始构建一个规模极其庞大的深度神经网络模型。

Ben:要做这件事,他们需要一个运行系统。Google 擅长把前沿研究转成架构和工程系统,让它真正跑起来。

David:Jeff Dean 负责这套基础设施系统,并把它命名为 DistBelief。这个名字是双关:既指系统的分布式特性,也暗指“难以置信”,因为……

Ben:没人觉得它会成功。

David:没错。大多数领域专家都认为它行不通,Google 内部也有很多人不看好。

Ben:这里解释一下原因,稍微有点技术性,不过跟我说一会儿。那段时间的研究普遍认为训练必须同步:所有计算都得非常密集地集中在一台机器上,并保持极高并行度,就像 GPU 那样。你需要让所有计算集中在一个地方,这样每次下一步运算时,都很容易查到系统里其他部分计算出的最新数值。

Jeff Dean 用 DistBelief 编写的恰恰相反。它把计算分散到许多 CPU 核心上,可能遍布整个数据中心,甚至分布在不同的数据中心。

理论上这很糟,因为每台机器都得停下来等其他机器同步更新后的参数。但这套系统实际以异步方式运行,不会每次都去取其他核心的最新参数,而是基于过期数据继续更新。按理说应该不行,但令人惊讶的是,它成功了。

好了,有了 DistBelief,接下来做什么?他们想开展研究,看看能不能用神经网络实现一些酷炫功能。2011 年底提交的一篇论文,题目是《利用大规模无监督学习构建高级特征》,大家都简称它为“猫论文”。

David:猫论文。

Ben:你跟 Google 的人聊,跟 AI 领域的人聊,他们都会说:“噢,对,猫论文。”

他们用 1,000 台机器上的 16,000 个 CPU 核心,训练了一个 9 层的大型神经网络,从没有标签的 YouTube 视频画面中识别猫。

听众们,要说明它有多么开创性:我们准备这期节目时和 Sundar 聊过。他提到,看到猫论文出现在自己桌上,是 Google 发展史上令他印象最深的几个时刻之一。

David:后来他们在一场 TGIF 全员会上展示了猫论文的结果。你跟 Google 的人聊,他们会说:“就是那次 TGIF。天哪,一切都从那时改变了。”

Ben:这证明大型神经网络能够在没有监督、没有标注数据的情况下学会有意义的模式。不仅如此,它还能运行在 Google 为自家基础设施打造的分布式系统上。这是整个发展过程中的重大突破。Google 拥有庞大的基础设施,能否把研究人员提出的理论计算机科学概念,通过 DistBelief 放到自己的系统上实际运行?答案是能。

David:这就是了不起的技术成就。相比之下,猫论文对商业的影响似乎更大。我觉得这么说并不夸张:在接下来的十年里,猫论文可能间接帮助 Google、Facebook 和 ByteDance 创造了数千亿美元的收入。

Ben:当然。数据中的模式识别能力。

David:当时 YouTube 面临一个大问题:每天有大量视频上传,但上传者并不擅长描述视频内容。

YouTube 想成为更多人会主动访问的网站,让大家看更多视频、打造信息流并增加用户停留时间。但推荐系统只能根据用户自己填写的视频标题和简介,判断该推荐什么。

Ben:无论是用户主动搜索视频,还是系统决定接下来推荐什么,都必须知道视频的内容。

David:没错。猫论文证明,深度神经网络可以在 DistBelief 上运行,分析 YouTube 视频库里的视频、理解其内容,再利用这些信息决定向用户推荐什么。

Ben:如果你能判断一张图里是不是有猫,那就能回答许多其他问题。

David:Jeff Dean 对此有一段引述:“我们搭建了一套系统,可以通过模型并行和数据并行训练相当大的神经网络。我们对 1,000 万帧随机抽取的 YouTube 画面做无监督学习。”正如 Ben 说的,“模型试着根据高级表征重构画面,并在表征中建立无监督表示。我们让这套系统运转起来,在 2,000 台计算机上使用 16,000 个核心进行训练。”

过了一段时间,模型能在神经网络的最高层形成一种表示,其中一个神经元会被猫的图片激活。它从来没有被告知“猫”是什么,只是在训练数据中看过足够多正面拍摄的猫脸,那个神经元就会对猫产生响应,而对其他事物则很少响应。”

Ben:太疯狂了。无标注、无监督学习最不可思议的地方,就是系统从未被明确告知猫是什么,却能学会辨认猫,甚至还有一个“猫神经元”。

David:之后还有 iPhone 神经元、旧金山巨人队神经元,以及 YouTube 推荐所需识别的其他东西。

Ben:更不用说色情内容过滤、露骨内容过滤。

David:还包括版权识别,以及让版权持有人参与收入分成。这些最终拓展到了 YouTube 的方方面面。它基本上让 YouTube 踏上了今天的发展道路,成为互联网上最大的内容平台,也是全球最大的媒体公司。

这一切开启了一个十年时期,从 2012 年猫论文问世,到 2022 年 11 月 30 日 ChatGPT 发布。AI 已经开始塑造我们每个人的生活,并创造数千亿美元收入。

最初它只是 YouTube 信息流的一部分,后来 Facebook 借鉴了这种做法,聘请 Yann LeCun 并成立 Facebook AI Research;接着应用到 Instagram,再到 TikTok 和 ByteDance,之后 Facebook 和 YouTube 又推出 Reels 和 Shorts。接下来的十年里,这成了全球人们消磨闲暇时间的主要方式。

Ben:我最喜欢的一点是,大家总把 2022 年以后称为 AI 时代。我喜欢你提到的这个观点:实际上,对任何能在公司里的社交信息流中用好推荐系统和分类系统的人来说,AI 时代从 2012 年就开始了。

David:是的,AI 时代始于 2012 年,其中一个因素就是猫论文。另一个因素是 NVIDIA 的 Jensen 常称为 AI“大爆发时刻”的 AlexNet。

我们刚讲过 Geoff Hinton。当时他在多伦多大学,手下有两位研究生:Alex Krizhevsky 和 Ilya Sutskever。

Ben:当然。

David:他后来成了 OpenAI 的联合创始人和首席科学家。三个人运用 Geoff 的深度神经网络理念与算法,准备参加计算机科学界著名的 ImageNet 竞赛。

Ben:这是 Stanford 的 Fei-Fei Li 创建的项目。

David:没错。这是每年一届的机器视觉算法竞赛。Fei-Fei 建立了一个包含 1,400 万张人工标注图像的数据库。她当时据说用 Amazon Mechanical Turk 众包平台给图片逐一标注。

Ben:对,我想是这样。

David:比赛要看哪支团队写出的算法,在只看图像、不查看标签的情况下,能正确识别出最多的图片。前几年的优胜算法仍会把超过四分之一的图片分错,也就是准确率约 75%。听着不错,但比人差得多。

Ben:如果有四分之一的时间会出错,就很难在生产环境里做什么实际用途。

David:于是 2012 年 AlexNet 登场,错误率为 15%。还是很高,但前一年最好的错误率是 25%,仅一年就降低了 10 个百分点。此前从没出现过如此大的跨越。

Ben:相对而言,它比次好的算法提升了 40%。David,为什么它能好这么多?他们发现了什么,后来竟催生出一家市值 4 万亿美元的公司?

David:Geoff、Alex 和 Ilya 知道,正如我们整期都在谈的,深度神经网络潜力巨大,而且摩尔定律的进展已让人可以用 CPU 构建几层网络。

他们突然想到:如果不再用 CPU,而改用另一类本身就高度并行的芯片,会怎样?那就是当时由领先厂商 NVIDIA 制造的电子游戏显卡。那时并不显而易见,尤其想不到前沿学术计算机科学研究……

Ben:当时通常都在超级计算机上进行。

David:……他们竟会用这种电子游戏玩具显卡,而不是配备顶级 CPU 的超级计算机。

Ben:一张零售价才 1,000 美元。

David:那时候还更便宜,大概几百美元。多伦多的团队跑去当地 Best Buy 之类的商店,买了两张 NVIDIA GeForce GTX 580,也就是当时 NVIDIA 最顶级的游戏显卡。团队用 NVIDIA 的编程语言 CUDA 重写神经网络算法,并在两张现成的 GTX 580 上训练。这就是他们如何训练深度神经网络,并在 ImageNet 竞赛中比任何其他参赛者都好 40%。

Jensen 称这是人工智能的大爆发时刻,确实没错。这让所有人都意识到:天哪,两张现成的 GTX 580 都能做到这一步,更多显卡或专用芯片能干什么?其次,这件事让 NVIDIA 从一家略显挣扎的 PC 游戏配件厂商,走上了成为 AI 浪潮领头羊、乃至如今全球最有价值公司之一的道路。

Ben:AI 研究常是这样:某项突破带来一次巨大的阶跃式提升;之后要花好几年不断优化,收益曲线逐渐变缓。第一次飞跃可能一下子就实现了,第二阶段的提升却需要多年摸索。这种事既罕见又奇妙。当你想到一个办法、尝试之后发现“天哪,我找到了这个领域的下一个重大突破”,那种感觉一定太棒了。

David:就像视频游戏里解锁了下一关、升了级。AlexNet 之后,整个计算机科学界都在热议。

Ben:到这时,人们开始不再怀疑神经网络了。

David:AlexNet 之后,多伦多的三人组——Geoff Hinton、Alex Krizhevsky 和 Ilya Sutskever——做了一件顺理成章的事,成立了 DNN Research(深度神经网络研究公司)。这家公司没有产品,只有 AI 研究人员。

Ben:而且刚赢了一场重要竞赛。

David:可以想见,这家公司很快就被 Google 收购了。

Ben:噢,你是故意把故事说得这么简短吗?

David:我原来以为就是这样。

Ben:噢,并不是立刻收购。

David:噢,好吧。

Ben:中间还有一段很疯狂的过程:最早出价的其实是 Baidu。

David:噢,我不知道。

Ben:Baidu 开价 1,200 万美元。Geoff Hinton 不知道该怎么给公司估值,也不确定这是否公平。为了判断市场价值,他做了任何学者都能想到的事:先致谢,然后宣布开始竞拍,并安排了一场结构化拍卖——每当有人出价,计时就重置,接下来还有一小时可供其他人继续出价。

David:不会吧,我完全不知道这件事,太离谱了。

Ben:他联系了研究界所有在大型公司工作的熟人,觉得这些公司适合他们继续做研究。这些竞标者包括 Baidu、Google、Microsoft,还有一家。

David:当然是 Facebook。

Ben:一家才成立两年的创业公司。

David:噢,等等,不是 Facebook?

Ben:不是 Facebook。想想年份,这是 2012 年,Facebook 还没怎么涉足 AI,他们还在组建自己的 AI 实验室。

David:因为 Yann LeCun 和 FAIR 要到 2013 年才出现。那是 Instagram 吗?

Ben:不是。这是本期最后一段里最重要的部分。

David:等等,那也不可能是 Tesla,因为它成立得更早。

Ben:不是。

David:OpenAI 还要过好几年才成立。哇,你真把我难住了。

Ben:哪家公司的使命和 OpenAI 本质相同,只是比它早几年成立?

David:噢,对了,就在眼前却没发现。DeepMind!天哪。

Ben:就是 DeepMind。他们是 DNN Research 四方拍卖中的第四位竞标者。当然,竞价一开始,DeepMind 就退出了。毕竟它还是创业公司,没有钱完成收购。

David:我压根没想到 DeepMind,因为我第一个问题就是他们哪来的钱?他们根本没钱。

Ben:但 Geoff Hinton 早就认识并尊重 Demis,虽然当时 Demis 只是刚创立 DeepMind。

David:太不可思议了。等等,为什么 DeepMind 能参与竞拍,Facebook 却没有?

Ben:很奇怪吧?

David:真奇怪。

Ben:这件事发生时,NeurIPS 当时还叫 NIPS,会议正在举行。Geoff Hinton 甚至在太浩湖 Harris Casino 的酒店房间里主持拍卖。

David:我的天,太神奇了。

Ben:各方出价接连抬高。这里得感谢《Genius Makers》的作者 Cade Metz。这本关于整个 AI 发展史的好书,本期会多次引用。出价越抬越高。Microsoft 一度退出,之后又回来;DeepMind 则退出了。最后主要是 Baidu 和 Google 在竞争。

最终,几位研究人员互相看了看,开始想:“我们到底想去哪儿?我们想去 Google。”他们把出价停在 4,400 万美元,说:“Google,这已经够多了,我们选你们。”

David:哇。我知道价格大约是 4,000 万美元,但不知道当年还有这段故事。这就像 Google 自己的荷兰式 IPO 拍卖流程,多么符合他们的基因。

Ben:完全符合他们的基因。原本计划让三人各持 33%。后来 Alex 和 Ilya 找到 Geoff,说:“我觉得应该给你更高的比例。你拿 40%,我们各拿 30%。”最后股权就这么分了。

David:哇,这真是一支很棒的团队。这之后三人直接加入 Google Brain,让团队的发展全面提速。先剧透一下:几年后接管 Google X 的 Astro Teller 曾在《纽约时报》的人物专访中说,Google Brain 给 Google 核心搜索、广告业务带来的收益,远超公司在 Google X 和整个公司内部其他项目上的投入。

Ben:只要能让一家每年赚数百亿甚至上千亿美元的公司提升几个百分点,就会在沙发垫底下发现不少零花钱。

David:确实不少。不过 Google 的 AI 历史还没结束。另一个极其重要的环节,是 Google 从外部收购了一家公司。这是 AI 领域相当于 Google 收购 YouTube 的交易,也就是刚才提到的 DeepMind。

Ben:好了,David,DeepMind。我喜欢你这个说法:AI 领域的 YouTube。

David:对,Google 的 AI 领域的 YouTube。

Ben:他们买下这家公司。收购价我们之后会谈,不过它今天值多少,5,000 亿美元?这和 Instagram 或 YouTube 一样,堪称史上最成功的收购之一。

David:百分之百。我记得这笔交易发生时的情景,就像我记得 Facebook 收购 Instagram 一样。

Ben:因为当时金额特别大。

David:金额很大,不过我记得它的另一个原因是,那时的科技格局发生了像地壳板块移动一样的巨变。2014 年 1 月,我记得在 TechCrunch 读到一条当时不起眼的新闻。

Ben:你是不是心想:“Deep 什么?”

David:Google 花了很多钱,买下伦敦一家我从没听说过、研究人工智能的公司?

Ben:这确实说明,当时 AI 在科技主流中有多么边缘。

David:后来再深入了解,这家公司好像没有任何产品,官网上甚至都没怎么解释 DeepMind 是什么。网页只说它是一家“前沿人工智能公司”。

Ben:你去 Wayback Machine 查了官网吗?

David:查了。

David:它说的愿景是为模拟、电商和游戏开发通用学习算法。这是 2014 年,可当时的人完全理解不了这到底是什么。

Ben:模拟、电商和游戏,听起来就是随便拼在一起的一堆东西……

David:没错。可后来发现,DeepMind 的这段描述不仅相当准确,Google 对它的收购更像是蝴蝶振翅效应,直接引出了 OpenAI、ChatGPT、Anthropic,几乎一切……

Ben:当然还有 Gemini。

David:当然。也引出了今天 AI 世界里的 Gemini。

Ben:可能还有 xAI,毕竟 Elon 也参与其中。

David:当然还有 xAI。

Ben:从某种奇怪的角度说,它还影响了 Tesla 的自动驾驶,比如 Karpathy。

David:绝对是。那么这段历史究竟怎样发展的?DeepMind 于 2010 年由一位名叫 Demis Hassabis 的神经科学博士创立。

Ben:他以前还创办过一家电子游戏公司?

David:是的。还有一位伦敦大学学院的博士后 Shane Legg,以及 Demis 一位从小一起长大的朋友 Mustafa Suleyman,三人共同创办了 DeepMind。怎么说呢,这组合很不寻常。

Ben:后来还造就了一位骑士勋章获得者和诺贝尔奖得主。

David:Demis 是 CEO。他小时候是国际象棋神童,后来成为电子游戏开发者。1994 年他 17 岁,被 Cambridge 录取,但年龄太小,学校告诉他:“先休学一年,再回来。”

他决定先去一家叫 Bullfrog Productions 的游戏工作室工作一年。在那里,他参与制作了《Theme Park》,如果你还记得的话,那就像主题公园版的《模拟城市》。这款游戏影响很大,商业上也非常成功。之后《过山车大亨》借鉴了这个玩法,多年来推出了许多续作。

Ben:噢,我玩过好多。

David:这款游戏在 90 年代中期卖出 1,500 万份。哇,很惊人。之后 Demis 去了 Cambridge 学计算机科学。毕业后他又回到游戏行业,创办另一家叫 Elixir 的游戏工作室,但最后失败了。然后他决定:“我去读神经科学博士吧。”这就是他最后来到 University College London 的原因。

在那里,他认识了当时的博士后 Shane Legg。Shane 自称当年属于 AI 社群里的“疯子边缘派”,因为他相信——那是 2008、2009、2010 年——AI 每年都会越来越强,最终强到超过人类。他还是“人工通用智能”(AGI)这个术语的早期推广者之一。

Ben:有意思。现在很多人都在谈 AGI,但当时几乎没人担心这种事。当然,像 Nick Bostrom 那一类人例外,可真正考虑超级智能、奇点之类问题的人少之又少。

至于 Elon Musk,他不在那份名单里,因为是 Demis 后来把这个想法告诉 Elon 的。

说到底,这不是 Elon Musk 把 Demis 列入那份名单的情况,因为是 Demis 后来把 AI 的这个想法告诉了 Elon。

David:没错。Demis 和 Shane 一拍即合,又拉上 Demis 的童年好友 Mustafa。他本人也非常聪明,曾去 Oxford 上学,后来好像 19 岁时辍学,去做一些创业相关的事。

三人决定创办 DeepMind。这个名字当然是指深度学习、Geoff Hinton 的研究,以及多伦多大学正在开展的相关工作。三人的目标是用深度学习创造一个智能的“思维”,而 Geoff、Ilya 和 Alex 当时还没想到这么远。正如我们说的,这还属于 AI 社群的疯狂边缘想法。

Ben:AlexNet 和猫论文那一整个领域,主要是在改进数据分类。我们能不能更好地把信息归纳成不同模式?从这里一下子跳到“我们要创造智能”,中间还隔着很远。

David:我想当时 Google 肯定有人认为,我们可以创造某些狭义智能,让它在特定任务上胜过人类。

Ben:计算器在特定任务上就比人强。

David:但我不觉得当时有多少人认为,这会变成人类之上的通用智能。他们于是把公司的标语定为“解决智能,再用它解决其他一切问题”。

Ben:噢,我喜欢这个说法。

David:我也喜欢。他们也很会做营销。不过有个问题:要实现目标……

Ben:钱。直说吧,问题就是钱。

David:没错。许多原因导致资金紧张,但在 2010 年代初,这比一般创业公司更难。他们不能随手开个 AWS 实例、做个 App、再放到应用商店里。他们要训练极其庞大的深度学习神经网络,这需要 Google 级别的算力。

Ben:有意思的是,当时他们还不需要那么多资金。那时的 AI 研究就是找几块 GPU,他们还不是在训练巨型语言模型。最终目标是这样,但眼下只需要融几百万美元。问题是,没有商业计划、只想“解决智能”,谁会给你几百万?你得找到一些疯子才行。

David:这对风险投资人来说很难推销。

Ben:不过有一类人正合适——

David:正如你说的,他们得找一些疯子。

Ben:噢,我用词可是仔细挑过的。

David:我们这里说“疯子”是……

Ben:带着一点亲切的意思。

David:……完全是在夸他们,因为后来发现他们的判断基本都对了。2010 年 6 月,Demis 和 Shane 设法获得邀请,前往加州旧金山参加 Singularity Summit(奇点峰会)。

Ben:因为他们在伦敦根本融不到这笔钱。

David:绝对融不到。我想他们试了几个月,发现那不是可行的融资路径。这个奇点峰会由 Ray Kurzweil、Eliezer Yudkowsky 和 Peter Thiel 组织。Kurzweil 后来好像也加入 Google,担任首席未来学家,他是著名的未来学家。Demis 和 Shane 对获得邀请很兴奋,觉得这可能是唯一一次能拿到融资的机会。

Ben:但我们总不能一进去就直接冲到 Peter 面前说:“能听听我们的融资推介吗?”

David:所以他们想办法,让 Demis 能在峰会上台演讲。

Ben:这就是他们擅长的破局办法。

David:太好了,这就是计划。演讲要变成对 Peter 和 Founders Fund 的推介。Peter 当时刚创办 Founders Fund,是 PayPal Mafia 的成员,也很有钱。

Ben:更准确地说,我觉得他当时有一大笔 Roth IRA 账户资产。

David:没错,那是他投资 Facebook 的 Roth IRA,他也是 Facebook 的首位投资人。Peter 是他们的完美目标。他们准备好演讲,让 Demis 在峰会上直接向 Peter 推介,基本上是披着演讲外衣的融资介绍。

Shane 在 Parmy Olson 的好书《Supremacy》中说:“我们需要一个愿意给 AGI 公司投钱的疯子,既有足够资源,不会因为几百万美元而心疼,又喜欢极其宏大的目标。”他们还得非常反主流,因为 Shane 去问的每位教授,肯定都会告诉他:“千万别想给这件事投钱。”这听起来简直就是 Peter Thiel。

他们来到峰会,Demis 准备上台演讲。他走上台环顾观众,却没看到 Peter。原来 Peter 并没有真正参与峰会的日常组织。

Ben:他很忙。他是共同创办人、共同组织者,但确实忙得不可开交。

David:Demis 心想:“糟了,我们错过机会了,怎么办?”接着运气来了。他们发现 Peter 当晚会在旧金山的家里办派对。

他们设法进了派对,Demis 找到 Peter。Demis 非常非常聪明,听过他说话的人都知道。他想,与其直接向 Peter 推介,不如旁敲侧击地聊。他知道 Peter Thiel 很喜欢国际象棋,于是先和他聊棋。

Demis 青少年时期曾是 14 岁以下组世界排名第二的棋手。

Ben:策略高明。

David:非常高明。他棋路老练。Peter 觉得:“嗯,我喜欢你,你看起来很聪明。你是做什么的?”Demis 这才介绍自己的 AGI 创业公司,说他们就在峰会上演讲,大家都很关注。Peter 说:“好吧,明天来 Founders Fund,给我做一次推介。”

他们第二天去了。推介很顺利,Founders Fund 领投了 DeepMind 的种子轮,金额大约 200 万美元。如今 AI 公司种子轮的规模可真不一样了。

Ben:是啊。

David:想想看,不到 200 万美元的投资就领投了 DeepMind 种子轮。通过 Peter 和 Founders Fund,他们又被介绍给……

Ben:嘿,Elon,你应该认识这个人。

David:……PayPal Mafia 的另一位成员 Elon Musk。

Ben:介绍得特别随意:“嘿,Elon,你应该认识这个人。他很聪明,在研究人工智能。”Elon 说:“好啊,来 SpaceX,我带你参观。”

Demis 参加了一次火箭发射,也参观了工厂。他当然觉得很酷,但其实一直试图把话题重新引回人工智能。

我来读一段《卫报》的精彩报道:“Musk 告诉 Hassabis,他的首要目标是把人类送上火星,在地球出事时把那里当作备用星球。那时我不认为他认真考虑过 AI。”

Hassabis 指出他的计划有个漏洞。我说:“如果导致地球出事的是 AI 呢?那住在火星也帮不了你,因为如果我们能到火星,AI 显然也可以通过通信系统或其他方式抵达。”

他以前没想过这个问题。他坐在那里,一言不发地想了一会儿:“嗯,这可能确实成立。”不久之后,Musk 也成了 DeepMind 的投资人。”

David:对,对,对。

Ben:我觉得很离谱,Demis 竟然是那个让 Elon 意识到“即使去火星,也未必能躲开 AI”的人。

David:我以前还真没考虑过这个问题。

Ben:我想这是 Elon 第一次突然意识到:“我们真的需要开发安全、可靠、造福人类的 AI。”这个念头就在他脑中种下了。DeepMind 的抱负当然也是这样:像科学家一样,以同行评审的方式开展研究,造福人类。

David:这些都没错。不过,在 Demis 和 Elon 见面、Elon 投资 DeepMind 后的几个月到一年里,Elon 也开始越来越相信 AI 在不远的将来会有强大能力,尤其是 AI 对 Tesla 的意义。

Ben:Elon 做任何事都这样:一旦某个念头让他突然改观,他就会彻底改变看待世界的方式,抛下旧观念和做法,全力拥抱这个新世界观,思考自己还能做什么。

David:而这时其他人早就在做自动驾驶了。AI 驾车,对 Tesla 来说听着确实挺不错。

Ben:确实。

David:Elon 开始尽可能多地招募 AI 研究员、机器视觉和机器学习专家加入 Tesla。接着 AlexNet 出现了。它很擅长识别和分类图像、YouTube 上的猫咪视频以及 YouTube 推荐信息流里的内容。那这和汽车行驶过程中实时拍摄的视频、理解周围发生什么,有多大不同?

Ben:我们能不能实时处理视频,比较连续帧之间的变化?

David:甚至控制汽车?其实没有那么不同。Elon 最初通过 DeepMind 和 Demis 对 AI 的兴趣,尤其是 AI 对 Tesla 的用处,开始迅速升温。

与此同时,伦敦的 DeepMind 正在开展工作。他们招募研究人员、开发模型,也向投资者含糊地谈一些可能的产品方向:购物、游戏之类,就像当时收购时网站上的描述。但他们真正想做的,主要还是构建模型、研究智能。

2013 年末,有一天他们接到 Mark Zuckerberg 的电话。他想收购公司。AlexNet 之后,Mark 也开始关注 Google 的进展、AI 如何改善社交媒体信息流,以及 AI 对 Facebook 和 Instagram 可能有什么帮助。他招募了 Yann LeCun——Geoff Hinton 过去的博士后之一,他和 Geoff 都是 AI 与深度学习领域的奠基人。

Ben:他还大力推动了卷积神经网络的理念,那是当时 AI 领域的新热点。

David:Yann 加入后,他们成立了 FAIR,也就是 Facebook AI Research,成为 Facebook 内部与 Google Brain 竞争的团队。还记得谁是 Facebook 的首位投资人、至今仍在董事会……

Ben:Peter Thiel。

David:……而且他也是 DeepMind 的领投人。你觉得 Mark 怎么知道 DeepMind 的?Peter Thiel。

Ben:是吗?你确定是 Peter 告诉他的?

David:不确定,但 Mark 还能从哪里听说这家伦敦创业公司呢?

Ben:我还知道 Larry Page 怎么听说这家公司的一个精彩故事。

David:好,马上就讲。不过 Mark 的收购报价具体是多少有多种传闻。Parmy Olson 在《Supremacy》这本书里说,报价最高达到 8 亿美元。公司没有产品,距离实现 AGI 也还很远。

Ben:这和 Cade Metz 书里的说法吻合:如果接受 Facebook 报价,创始人拿到的钱会是接受 Google 报价的两倍左右。

David:没错。Demis 当然把这个消息告诉了投资人。

Ben:顺带说一句,这完全背离了公司创立时的承诺。公司目标以及 Demis 对团队的承诺,都是 DeepMind 会保持独立、从事研究并在学术界发表成果,不会被资本机构的想法控制。

David:没错。如果要和 Mark、Facebook 达成收购,这些交易条款必须谈清楚。

Ben:不过 Mark 急着收购,愿意对这类条款作出很大让步,比如让 Yann LeCun 留在纽约,继续在 NYU 领导自己的实验室。

Yann LeCun 是教授,地点上比较灵活。但 Mark 不愿意让 Demis 在收购后继续掌控 DeepMind。Demis 坚持公司必须保持独立,还要设立独立监督委员会;如果 DeepMind 不再遵循使命,他必须有权介入。Mark 的答复是:“不行,你们会成为 Facebook 的一部分。”

David:不过你们会赚很多钱。双方谈判期间,DeepMind 的投资人当然也听说了这件事。Elon 得知后立刻给 Demis 打电话:“我现在就用 Tesla 股票收购公司。”

这是 2013 年底到 2014 年初,Tesla 市值约 200 亿美元。之后 Tesla 股价大约涨了 70 倍。Demis、Shane 和 Mustafa 心想:“哇,情况太复杂了。”不过正如你说,他们与 Elon、Tesla 也面临和 Mark 一样的问题。Elon 想让他们加入 Tesla 做自动驾驶,而他们并不想做自动驾驶。

Ben:至少不想只做自动驾驶。

David:至少不想只做这个。然后 Demis 接到了 Larry Page 的第三个电话。

Ben:你想先听 Larry 怎么知道这家公司的故事吗?

David:当然想。

Ben:好。DeepMind 还处在早期阶段。Elon Musk 和 PayPal Mafia 的另一位成员、DeepMind 天使投资人 Luke Nosek 坐在一架私人飞机上。

他们在读 Demis 发来的邮件,里面介绍了一项突破:DeepMind 的 AI 找到了 Atari 游戏《Breakout》的巧妙玩法。没有经过人工训练,它自己学会把球从砖块边缘打上去,让球沿着砖块顶端反弹,这样就不需要反复操作底部挡板,还能更快赢下游戏。

他们正在飞机上看 AI 多聪明地玩游戏;和他们坐在同一架私人飞机上的人,正是 Larry Page。

David:当然,因为 Elon 和 Larry 曾经是非常要好的朋友。

Ben:是啊,Larry 心想:“什么?等等,你们在看什么?这是什么公司?”他就是这样得知 DeepMind 的。

David:哇。Elon 肯定气坏了。

Ben:更不可思议的是,我想正是 Larry 和 Demis 之间的惺惺相惜,让这笔交易最终在 Google 达成。

David:两人一见面就特别投缘。Larry 一直把 Google 看作 AI 公司。Demis 更是把 DeepMind 视为 AI 公司,甚至认为在实现 AGI 之前都不该做产品。

Ben:我们应该和听众分享一下:准备本期节目时,我们和 Demis 聊过。他说自己就是觉得 Larry 理解他。Larry 完全支持 DeepMind 的使命。

David:Google 还有个非常方便的地方:他们已经有 Google Brain。Larry 不必让 Demis、Shane、Mustafa 和 DeepMind 来 Google 开发产品,因为 Brain 已经在为 Google 产品工作。如果 Larry 说“你们留在伦敦,继续研究智能,做你们正在做的事,我不需要你们来 Google 做产品”,Demis 确实可以相信他。

Ben:Brain 团队正在主动和产品部门合作,想办法把神经网络放进产品里,让产品变得更好。这就是他们存在的目的,所以很乐意这样合作。

David:而且一切确实奏效了。Brain 和神经网络逐渐融入搜索、广告、Gmail 等各项业务。这是 DeepMind 的完美归宿,算是它的“第二个家”吧。

Google 适合 DeepMind 还有第三个原因:基础设施。Google 手头拥有你能想象到的一切计算基础设施。

Ben:至少现在还是 CPU。那收购是怎么谈成的?收购 DNN Research 后,David 采访过的 Alan Eustace 当时是 Google 工程负责人。他决定尽可能招揽最优秀的深度学习人才,也有明确途径可以做到。几个月前,Larry Page 在南太平洋的一座岛上举行战略会议。Cade Metz 的书里没透露具体是哪座岛。

David:当然了。

Ben:Larry 认为深度学习会彻底改变整个行业,于是告诉团队:“我们放手大干吧。”这基本上等于给 Alan 一张空白支票,让他招揽最优秀的研究人员。于是 2013 年 12 月,Alan 决定赶在假期前坐飞机去见 DeepMind。

这里有个疯狂的故事。当时 Geoff Hinton 在 Google 工作,背部有问题,无法坐下,只能站着或躺着,所以根本没法坐长途飞机。但尽职调查需要他参与。要收购一家深度学习公司,当然得让 Geoff Hinton 帮忙评估。

Alan Eustace 决定包一架私人飞机,还设计了一套特别的固定带装置,确保 Geoff Hinton 起飞和降落时躺在地板上也不会滑来滑去。

David:哇。我一开始还在想,Google 应该有自己的飞机吧,直接坐 Google 的飞机不就行了吗?

Ben:不知什么原因,这次他们另外包了一架。

David:但不是有私人飞机就行了,还得配套一条安全带。

Ben:Alan 还创下过人类从最高处跳伞自由落体的纪录。我也不知道当时是从气球上跳的,还是其他地方;他的高度甚至超过几年前的 Red Bull 特技跳伞。他很习惯给飞机设计这种定制装置。他会说:“没问题,只需要一张床和几条绑带就行。我穿着潜水服从大气层边缘跳过伞,应该没事。”

David:太不可思议了。

§02文稿(第二部分)

Ben:他们飞到伦敦,完成尽职调查,谈成了交易。Demis 和 Larry 确实非常投缘,交易就这么定了,价格是 5.5 亿美元。双方还设立了独立监督委员会,确保 DeepMind 的使命和目标真正得到遵守。今天 Google 拥有的这项资产,如果保持独立运营,我觉得价值会达到 5,000 亿美元。

David:收购完成后,PayPal Mafia 里还有哪位成员进入了伦理委员会?

Ben:Reid Hoffman?

David:就是 Reid Hoffman。

Ben:考虑到他后来和 OpenAI 的关系,这肯定说得通。

David:一会儿我们会再聊 Reid。

Ben:收购后,DeepMind 很快就带来了成果。著名的机房冷却项目就发生在这段时间:DeepMind 抽出部分团队作为使者来到 Google,寻找可以使用 DeepMind 的场景,其中之一就是数据中心冷却。

2016 年 7 月,Google 宣布数据中心冷却所需的能源减少了 40%。Google 有大量数据中心,能源下降 40% 非同小可。我还和节目老朋友、这个项目的重要负责人 Jim Gao 聊过。他说这是神经网络在 Google 内部最直接的应用之一,很快就能回本。

David:想必这很快就让收购成本回本了。

Ben:David,我们要不要在本期聊聊 AlphaGo?

David:要,要,要。

Ben:我把 Google 为此制作的纪录片从头到尾看完了,很棒。即使你不是在为播客做研究,只是想找部片子看一两个小时,我也很推荐。YouTube 上就有。

纪录片讲的是 DeepMind 被 Google 收购后,如何训练出一个模型,在围棋上击败世界冠军。整个围棋界一开始都觉得这不可能,这位棋手 Lee Sedol 太厉害了,AI 根本不可能赢他。

比赛一共五局。AI 连赢前三局,干净利落;它下出人类从未下过的、新颖又有创造性的棋步。这才是最疯狂的地方。

David:有一局里出现了一手棋,大家当时都在想:“这是失误吗?”……结果过了 100 手才看出它的意义。

Ben:那完全是神来之笔。如今人类也在从 DeepMind 下棋的策略中学习、探索新战术。

给《Acquired》听众补充一个有趣的背景:为什么围棋这么复杂?相比之下,国际象棋开局时每一回合大约有 20 种走法;进入中盘后,可能有 30 到 40 种。

而围棋每回合大约有 200 种选择。如果按组合数计算,棋盘上可能出现的局面,比宇宙中的原子还多。

顺便说,这是 Demis 的一句精彩名言:“即使把全世界的计算机都拿来运行一百万年,以 2017 年的技术也不足以计算所有可能变化。”

很酷的一点是,这个问题无法靠暴力穷举解决。你必须用类似神经网络的方法,才能探索和发挥创造力。围棋成了一个绝佳试验场,让人看到神经网络如何创造性地与人类对弈。

David:当然,这也和 Demis 的经历及公司基因很契合,他是国际象棋冠军。围棋之后,他们又玩了 StarCraft(星际争霸),对吧?

Ben:真的吗?这个我还真不知道。

David:这是他们接下来挑战的游戏。StarCraft 是需要对抗对手的即时战略游戏。稍后我们会谈到 OpenAI 的另一个对手时再回来聊。

Ben:没错,David。在谈论另一位对手的诞生前,要不要感谢《Acquired》的另一位老朋友?

David:要,应该感谢。

Ben:好了,David,Google 收购 DeepMind 带来了哪些二阶影响?

David:有一个人对此非常非常生气。要是把 Mark Zuckerberg 也算上,可能还有另一个人,不过 Mark 通常更谨慎地隐藏自己的牌。当然,Elon Musk 对这笔收购非常不满。

Google 把 DeepMind 从 Elon 手里买走后,Elon 勃然大怒。正如我们说的,Elon 和 Larry 一直关系很好。此时 Google 也开始让 Elon 有点不满,因为他正试图招募 AI 研究员。Alan Eustace 周游世界,把 AI 研究员尽可能招进 Google;Elon 投了 DeepMind,本想把它拉进 Tesla 的 AI 团队,结果却眼看着它被别人拿走。

这引出了硅谷历史上最具决定性的一场晚宴之一。2015 年夏天,晚宴在 Sandhill Road 的 Rosewood Hotel 举行,由当时硅谷最有影响力的两个人物 Elon Musk 和 Sam Altman 组织。Sam 当时是 Y Combinator 总裁。为什么要办这场晚宴?他们想向所有被 Google,某种程度上还有 Facebook,挖走的 AI 研究员提出邀请。两家公司基本上已形成双头垄断。

Ben:再说一次,Google 和 Facebook 的商业模式,都极度依赖这些推荐信息流和分类系统。它们的价值高得惊人,所以两家公司——事后看有点好笑——可以付给这些人很多钱。

David:很多钱,几百万美元。

Ben:把他们从大学挖出来,带进这些靠广告赚钱、脏兮兮的资本主义研究实验室。

David:用来卖广告。能有多脏?Elon 和 Sam 在晚宴上向这些研究员提出的问题是:“要什么条件,你们才愿意离开 Google?”几乎所有人都说不可能,为什么要走?他们拿到的钱远远超过想象,很多人还能保留学术职位和头衔,还能和同事待在 Google——

Ben:还能和彼此待在一起?

David:——和彼此待在一起。

Ben:优秀人才之间可以互相砥砺。这些世界上最聪明的人能做前沿研究,而且拥有庞大的资源和硬件。条件好极了。

David:还有世界顶级的基础设施,Jeff Dean 也在这里。你不可能说出什么理由让我们离开 Google。不过有一个人被这个提议吸引了。这里引用一下 Cade Metz 当时为《Wired》写的一篇精彩文章,之后他还会写《Genius Makers》,对吧?

Ben:没错。

David:引文是:“问题在于,最有能力解决这些问题的人几乎都在 Google 工作。晚宴上的人并不确定,即使有 Musk 和 Altman 支持,能否把这些思想家挖到一家新创业公司。可有一位关键人物至少愿意考虑离开。他说:‘我觉得这有风险,但也觉得尝试会是一件很有意思的事。’”

Ben:这是最 Ilya 的一句话。

David:确实最 Ilya。这位关键人物当然就是 Ilya Sutskever,他参与了 AlexNet、DNN Research 和 Google Brain,之后会成为 OpenAI 的创始首席科学家。Elon 和 Sam 向这些研究员提出的方案,是成立一家新的非营利 AI 研究实验室,所有研究都公开进行,可以发表论文。

Ben:不受 Facebook 和 Google 的影响,也不受它们控制。

David:你们不用做产品,只专注研究,可以发表成果。所有东西都会公开,也会造福全人类。我们相信未来即将诞生强大的智能;它应该造福每个人,而不只是 Google 和 Facebook。

Ben:有一位研究员觉得这个提议好得难以置信。他们原本没这么做,因为不认为别人也会加入,这就像启动门槛的问题。顺便说,Google 后来给了很高的反报价,据说大约是双倍。我想是 Jeff Dean 亲自出面谈的。Ilya 说:“不,我还是要做这件事。”他的决定促使其他顶尖研究员也跟着加入。

David:当然,并不是所有顶尖研究员都离开了 Google,但也有足够多的人离开,大约七位研究员辞职加入 Elon、Sam 和来自 Stripe 的 Greg Brockman,一起创办 OpenAI。因为当时的提议就是:大家一起公开研究。

Ben:这完全就是他们当初的承诺。

David:确实。OpenAI 对外公布的使命是:“以最可能造福全人类的方式推进数字智能,不受盈利需求的限制。”

Ben:只要实现使命不需要数百亿美元,这都没问题。最初他们打算这样筹资:承诺提供 10 亿美元。著名出资者包括 Elon Musk、Sam Altman、Reid Hoffman、Jessica Livingston——我想很多人不知道她也是这批出资者之一——以及 Peter Thiel。Founders Fund 后来也给 OpenAI 投了大量资金。

有趣的是,后来报道称承诺的 10 亿美元并没有全部到账,实际上只有约 1.3 亿美元用于资助这家非营利机构。最初几年,这对他们做的研究、需要的算力来说已经足够。

David:这笔钱大部分用来支付研究人员的工资。虽然没达到他们在 Google 或 Facebook 能拿到的水平,但每年仍有 100 万到 200 万美元。

Ben:这套做法一直管用,直到它真的不管用了。David,他们早期都在做些什么?

最初那段时间,他们忙着招募研究员、组建团队。第一批人加入后,到了 2016 年初,他们又取得重大成果:Dario Amodei 离开 Google,加入 Ilya 和 OpenAI 团队。梦之队正在集结。

Ben:他之前在 Google Brain 工作吗?

David:没错。他和 Ilya 后来共同领导 OpenAI 的许多工作,几年后——当然——又离开创办 Anthropic。

但 Anthropic、Claude、ChatGPT、Gemini 以及今天的这一切,都还要再过几年才出现。OpenAI 最初一两年的计划,基本上是观察 DeepMind 在做什么,然后向研究社群证明:我们作为一家新实验室,也能做出同样惊人的成果,甚至做得更好。

Ben:这就是他们看起来特别像在玩游戏、专注游戏的原因吗?

David:没错。他们开始开发玩游戏的模型。最著名的是 Dota 2,也就是《远古遗迹 2》,这款大型多人在线竞技游戏。他们想:“好吧,DeepMind 在玩 StarCraft,那我们来玩 Dota 2。”它更加复杂,而且是即时游戏。

Ben:和围棋里出现的新兴策略一样,模型会想出人类从未尝试过的独特策略。显然不是人类把自己喜欢的策略和规则编码进去,而是模型自己涌现出了这些策略。他们还做了其他项目。

他们有一个叫 Universe 的产品,训练计算机玩成千上万种游戏,从 Atari 游戏到《侠盗猎车手》这种开放世界游戏都有。还训练模型玩魔方。项目种类很多,却看不出哪一个会成为重大突破。

David:就是研究工作,基本和 DeepMind 做的一样。

Ben:就像大学里的研究。

David:如果回想 Elon 投资 DeepMind、又因为 Google 抢先收购而非常恼火,就能理解这个故事。

Ben:我觉得 Elon 值得很多肯定,因为他一开始就把名字和时间投入 OpenAI。很多重量级人才之所以加入,是因为 Elon 用自己的影响力表态:“我愿意为这件事冒险。”

David:完全正确。

Ben:好,这就是当时 OpenAI 在做的事:做很多类似 DeepMind 的项目,种类繁多,却还没有汇聚到一个显而易见的大方向。还不是 ChatGPT 时代,可以这么说。

我们回到 Google。上次讲到他们已经收购 DeepMind,但人才也被挖走了。我不想让大家误以为 Google 当时的处境很差,因为有些人去了 OpenAI。

Alex Krizhevsky 2013 年和 Geoff Hinton、Ilya Sutskever 一起加入 Google 时,震惊地发现公司所有现有机器学习模型都在 CPU 上运行。过去有人要求用 GPU,因为机器学习工作负载适合并行处理;但 Google 基础设施团队反对,理由是扩展、混合不同设备会让机器集群更复杂,还是保持简单为好,这对我们来说好像不重要。

David:我们这里是 CPU 公司。

Ben:引用《Genius Makers》里的话:“刚入职时,他从本地电子商店买了一台 GPU 机器,”这里说的是 Alex,“把它放进走廊尽头、离办公桌不远的储物间,接入网络,开始用这台借来的硬件训练神经网络。和他在大学时做的一样,只不过现在 Google 替他付电费。”

显然,一张 GPU 不够用,尤其是越来越多的 Googler 也想用。Jeff Dean 和 Alan Eustace 也得出结论:DistBelief 虽然很出色,但必须重新架构,才能在 GPU 而非 CPU 上运行。

时间来到 2014 年春天。Jeff Dean 和 John Giannandrea——这期还没提到他……

David:对,就是 JG。

Ben:你可能会想,等等,他不是后来去了 Apple 吗?对。当时他在 Google,负责 2014 年的 Google Brain,之后才成为 Apple AI 部门负责人。他们坐下来计划如何正式把 GPU 部署到 Google 数据中心。这是个重大变化,但他们看到神经网络的各种反响,知道应该这么做。

David:AlexNet 之后,这只是时间问题。

Ben:于是他们决定向 NVIDIA 订购 40,000 块 GPU。

David:当然了,还能向谁买呢?

Ben:成本高达 1.3 亿美元。金额太大,采购请求要交给 Larry Page 审批。他亲自批准了,尽管财务团队想否决,因为 Larry 说:“Google 的未来是深度学习。”顺便看看当时的 NVIDIA。这笔订单极其庞大,公司总营收才 40 亿美元,这一张订单就值 1.3 亿。

David:NVIDIA 当时主要还是消费级显卡公司。

Ben:没错,市值只有 100 亿美元。这差不多等于 Google 给了 NVIDIA 一个秘密信号:这项技术不只在 ImageNet 等研究项目中有效,对我们的业务也足够有价值,让我们现在就愿意毫不犹豫投入超过 1 亿美元。

我们以后一定得问问 Jensen。这对 NVIDIA 来说肯定是个强烈信号,让他们相信应该提前大举投资,把它当作未来的大事。

整个 Google 都开始意识到这个机会,并把神经网络应用到产品里。Google Photos 随之出现,Gmail 开始提供打字建议。正如 David 前面指出的,Google 庞大的 AdWords 业务也找到了通过深度学习赚更多钱的办法。

特别是把它整合进去后,系统可以预测用户未来会点击哪些广告。Google 因此又在那 1.3 亿美元之外投入数亿美元购买 GPU,但广告系统很快就挣回了这笔钱。此后再多买 GPU 越来越显而易见。

不过神经网络一旦有效,所有使用者都会遇到一个问题,尤其是 Google 这种规模的公司:每当有人要使用模型,就需要进行巨量矩阵乘法。矩阵乘法本质上就是数据在神经网络各层之间传递时所需的计算。于是问题来了。

David:完全如此。除了效率低,还有商业问题:等等,照这样发展,我们是不是要在可预见的未来,每年向 NVIDIA 支付数亿、很快甚至数十亿美元?

Ben:Google 刚把神经网络用于语音识别,先在 Nexus 手机上推出。这项功能非常成功。由于基础设施还不够强,他们无法立即推广到所有 Android 手机。

Jeff Dean 算了一笔账:如果用户每天用语音识别三分钟,并且把它推广到所有十亿部 Android 手机,Google 就需要把目前所有数据中心的总量翻倍,才能支撑这项功能。

David:这仅仅是为了这一个功能。

Ben:Jeff Dean 有句精彩的话。他去找 Urs Hölzle 说:“我们还得再造一个 Google。”或者正如 David 暗示的,另一条路是开发一种专门为自家应用定制的新芯片。

David:矩阵乘法、张量乘法。你可以叫它张量处理单元。

Ben:那不是很理想吗?恰好当时 Google 的工程师 Jonathan Ross 正利用 20% 的自由时间研究 FPGA。这类可编程芯片价格昂贵,但结果很出色。Google 决定把他的研究正式立项,和其他已有工作结合起来,打造定制 ASIC,也就是专用集成电路。

于是就有了你说的 TPU,张量处理单元。它专门用于神经网络,比当时的 GPU 效率高得多,但代价是几乎不能用在其他领域。它不适合图形处理,也不适合许多其他 GPU 工作负载,只适合矩阵乘法和神经网络。但它让 Google 可以扩展数据中心,而不必把整体规模翻倍。

TPU 的核心创意在于降低计算精度。例如,把 4586.8272 这样的数四舍五入到 4586.8,甚至直接约为整数 4586。乍一听有点反直觉:这么复杂的数学计算,为什么要用不那么精确的数字?答案是效率。

如果能通过软件架构或所谓量化来弥补精度损失,就能用更少精度存储数据。这样一来,用相同的功耗、内存和芯片晶体管数量,每秒能完成更多计算。你可以更快得到结果,也可以使用更大的模型。TPU 背后的设计相当巧妙。

TPU 还有一点:它必须尽快完成。语音转文字的价值已经很清楚,Google 其他一些应用场景也一样。

David:Google Brain 推出的这些功能需求立刻就大幅增长。

Ben:而当时我们还没有大型语言模型。只是像 Google Photos 的计算机视觉、语音识别这类功能,大家已经开始认为它们是必需品。如果 Google 没有这些能力,经济状况就会被彻底颠覆。

TPU 从设计、验证、制造到部署进数据中心,只用了 15 个月。它不能像一般研究项目那样花几年慢慢做,这是火烧眉毛的问题,所以他们马上行动。其中一个巧妙做法是先用 FPGA 过渡。虽然单价太贵,还是可以先部署一批测试,确认所有数学计算都正确,再把 ASIC 送去代工厂制造并准备就绪。

他们还把 TPU 做成了硬盘的外形尺寸,可以直接插进现有服务器机架。只要抽出一块硬盘,换上 TPU,不需要重新设计物理架构。

David:哇,太神奇了。这是自软木板以来最具 Google 风格的基础设施故事。

Ben:没错。而且这些工作并非在 Mountain View 完成,而是在 Google 位于 Wisconsin 州 Madison 的卫星办公室。

David:哇,为什么选在 Wisconsin 的 Madison?

Ben:当地大学有位特定教授,而且能招到很多学生。那里可能只有 Google 或 Epic 可选,你会去哪里工作?

David:好吧,哇。

Ben:他们还把 TPU 项目保密了。

David:当然了,为什么要把这事告诉别人?

Ben:一开始 Google Cloud 还没对外提供这些芯片,告诉全世界自己的做法有什么好处?整件事完全保密,至少过了一年,直到 Google I/O 才正式宣布。非常不可思议。

TPU 的另一件事是,AlphaGo 对弈时它们已经及时上线了。那场比赛是在 Google Cloud 的一台机器上,用四个 TPU 运行的。只要成功,就会让 Google 更有信心把这项技术投入真正的生产环境。

那就是 TPU。各方都认为第一代并不出色,如今已经发展到 V7 或 V8,性能好得多。现在 TPU 和 GPU 看起来比以前更相似,彼此吸收了很多功能。据估计,Google 目前有 200 万到 300 万个 TPU。作为对照,外界不清楚 NVIDIA 去年出货量的准确数字,大约是 400 万块 GPU。

人们谈到 AI 芯片时,常觉得这是 NVIDIA 一家独大的竞赛。其实 Google 已经拥有一个几乎达到 NVIDIA 规模的内部芯片项目,既服务自家,也供 Google Cloud 客户使用。TPU 在 AI 领域意义巨大,我觉得很多人并未意识到这一点。

David:这也是 OpenAI 和 Elon Musk 非常无奈、甚至恼火的一件事。OpenAI 于 2015 年创立,本想把人才从 Google 挖出来、拉平竞争环境;结果 Google 反而加速前进了。

Ben:他们还开发了 TensorFlow。这是 Google Brain 构建的框架,让研究人员能够开发、训练和部署机器学习模型。它并不局限于 TPU,而是很容易移植,不需要重写就能在 GPU、甚至 CPU 上运行。它后来取代旧的 DistBelief 系统,成为 Google 内部和外部机器学习研究人员使用的框架。

David:有点讽刺的是,OpenAI 成立后的几年里,一些杰出的研究员确实从 Google 和 Google Brain 流失了;与此同时,Google Brain 在那段时间也火力全开。

Ben:不断为 Google 的业务创造价值。

David:也不断推动多个领域的技术水平。然后到了 2017 年,Google 品牌团队的八位研究人员发表了一篇论文。

Ben:当时还不算特别引人注目。

David:这八个人显然对论文内容、意义和影响非常兴奋,觉得它会很重要。而 Google 公司内部的反应却是:“不错,这是我们语言模型研究的下一步。很好。”

Ben:这对我们很重要。但我们确定它会成为下一个 Google 吗?不确定。

David:不。我们还在做很多其他项目,看起来更有可能成为 Google 的下一个重大产品。不过,这篇论文及其发表,后来给了 OpenAI 一个机会……

Ben:去打造下一个 Google。

David:……抓住机会,努力打造下一个 Google,因为这就是 Transformer 论文。

Ben:Transformer 是怎么来的?当时 Google 的语言模型发展到了哪一步?

David:从 Franz Och 在 Google Translate 上取得的成果,以及之后的改进说起。

Ben:大概是 2000 年代末?2007 年?

David:对,2000 年代中后期。他们不断迭代 Translate;Geoff Hinton 加入、AlexNet 出现后,又把 Translate 改成基于神经网络的语言模型。

Ben:这次改进效果非常显著,也在 Google 内部引起了巨大的文化变化,因为一群研究人员空降进来,由 Jeff Dean 带头说:“我很确定神经网络能比我们过去十年用的传统方法好得多。要不要花几个月做个概念验证?”

他们最后把整套旧代码都扔掉,全面切换到了神经网络。2016 年《纽约时报杂志》有篇精彩报道。我记得当时读得目瞪口呆,心想“哇,神经网络真是了不起”,而这时距离 Transformer 论文发表还有一年。

David:对,发生在 Transformer 论文之前。他们重写 Google Translate,改用当时最先进的循环神经网络。效果提升很大。

不过 Google Brain 和 Translate 团队继续研究时,发现这种模型有局限,特别容易忘事。我不确定这个比喻是否完全恰当,但按今天 Transformer 的说法,它们的上下文窗口相当短。

Ben:语言模型处理文本时,得记住读过的所有内容。这样之后需要修改一个词或生成下一个词时,才能利用整段文本的上下文。

David:Google 尝试用一种叫长短期记忆网络的方法改进,也就是大家熟悉的 LSTM。简单说,LSTM 为模型建立了持续的、长短期记忆——这里要动动脑子理解这个名字——让它在处理一连串步骤时保留上下文。

Ben:最初大家对 LSTM 很兴奋。

David:人们觉得 LSTM 会把语言模型、大型语言模型带入主流。事实上,2016 年 Google Translate 整合了 LSTM,错误率降低了 60%,提升巨大。

但 LSTM 虽然有效,计算成本却很高,也不太容易并行化。AlexNet 以及 TPU 项目都在推动并行处理,大家认为这是 AI 真正发挥作用的未来;LSTM 却成了瓶颈。

因此 Google Brain 的一个团队开始寻找更好的架构。它要有 LSTM 的优点,也就是不会太快忘掉上下文,同时还能更好地并行和扩展。

Ben:这样才能利用所有这些新架构。

David:一位名叫 Jakob Uszkoreit 的研究员一直在琢磨,能否扩展语言处理中的“注意力”范围。与其只关注眼前的几个词,不如告诉模型:“注意整段语料,不要只看接下来的几个词。通读全部内容,根据完整上下文,把注意力放在整段文本上,然后预测下一个该翻译成什么词。”

顺便说一句,这正是专业的人类译者翻译文本的方法。你不会逐字翻译。我大学时上过一门翻译课,特别有意思。你会先用原文语言读完整篇,理解原文内容与上下文,再回头开始翻译,脑子里始终保留整篇文章的语境。

让模型这么做会耗费很多算力,但同时也很容易并行化。Jakob 开始和 Brain 团队的几位同事合作,大家都很兴奋,决定把这种新方法叫作 Transformer。一方面,它确实像是在做转换:先接收一大段信息,处理并理解,然后进行变换;另一方面,他们小时候也都很喜欢《变形金刚》。当然,也不能说这和名字完全无关。

Ben:模型把大量文本作为输入,然后以压缩形式存储起来,对吧?

David:没错。

Ben:我提这个是因为,这正好呼应 2000 到 2001 年间 Noam Shazeer 在微型厨房里的那场对话。17 年后,他成了 Transformer 论文的共同作者。

David:说到 Noam Shazeer,他听说这个项目后想:“我有相关经验。这听起来挺有意思。LSTM 确实有问题,这个方法很有希望。”于是他加入团队一起研究。

还好他加入了。因为 Noam 加入前,他们虽有一个可运行的 Transformer 实现,但效果并不比 LSTM 好。Noam 加入后,基本上像 Jeff Dean 一样把整个代码库推倒重写。完成后,Transformer 就彻底击败了基于 LSTM 的 Google Translate 模型。模型越大,结果越好,而且看起来可以非常非常好地扩展。

Stephen Levy 在《Wired》写过这段历史,文章中引用了团队其他成员的一些说法:“Noam 是魔术师。”“Noam 是巫师。”“Noam 接手这个想法后回来告诉我们:现在能用了。”

Ben:所以你就明白,为什么如今 Noam 和 Jeff Dean 会一起开发下一代 Gemini。

David:Noam 和 Jeff Dean 确实特别合拍。

Ben:我们和 Google Brain 创始人之一 Greg Cprrado 聊过,讨论非常有意思。他强调 Transformer 的优雅简洁。他说,这个设计太简洁,以至于人们常常觉得它不可能有效,太简单了,几乎算不上神经网络架构。

David:它和 AlexNet、Geoff Hinton 那条神经网络路线相比,又是一次重大变化。

Ben:这改变了我看世界的方式,因为他指出,在自然界里,一般来说,事物会以最节能的方式运作。从进化的角度看,最简单、最优雅的方案往往能存活下来,因为它们能最有效地利用资源。

他认为,这个想法也能用于计算机科学。他在研究实验室里形成了一种模式识别经验:如果某个方案非常简单、高效,很可能就是正确答案;复杂的方案反而未必。

这想法很聪明,我觉得也很对。你知道那种感觉吧?面对一个棘手问题,讨论、白板推演、想出各种办法,最后突然说:“我的天,答案这么简单。”而这往往就是正确答案。

David:Transformer 有一种优雅感。

Ben:还有你刚才提到的另一点:现代 AI 正是从这里开始的——继续喂更多数据。Rich Sutton 的著名文章《苦涩的教训》要到 2019 年才发表。没读过的人可以了解一下:AI 研究人员总觉得自己很聪明,工作就是想出另一个好算法;但从语言、计算机视觉到国际象棋,所有领域似乎都一样,只要找到能扩展的架构,数据越多,效果就越好。然后就这样不断扩展……

David:更多数据、更多算力、更好的结果。

Ben:没错。这大概就是可扩展架构的起点。在接近十年的时间里,效果似乎一直能随着更多数据、更多能量、更多算力而持续变好。

David:团队和 Noam 心想:“这东西潜力巨大。”

Ben:它能做到的远不只是改进 Translate,我们可以把它用到更多地方。

David:这绝不只是让 Google Translate 变得更好。不过 Google 的其他部门醒悟得慢得多。

Ben:他们还是做了些产品。一年之内,他们就做出了大型语言模型 BERT。

David:这完全正确。有种错误的说法认为 Google 发表 Transformer 论文后什么都没做。实际上,他们做了很多。

Ben:事实上,BERT 是最早的大型语言模型之一。

David:论文发表后,他们确实用 Transformer 架构的大型语言模型做了很多事。但他们没有把它当作一次彻底的技术平台转型。

Ben:他们做了 BERT 和另一个模型 MoM,并把它们用于改进搜索结果质量。我觉得这确实带来了显著效果,虽然 Google 没有大肆宣传。他们改进了查询理解,把技术整合进核心业务,就像 Google Brain 每次创造出好东西时都会做的那样。

David:也许有史以来对人类最有价值、同时可能是 Google 最糟糕的企业决策之一,就是 Google 允许八位研究员以《Attention Is All You Need》为题发表论文。标题显然借用了披头士那首讲爱情的经典歌曲。

截至 2025 年,这篇论文在其他学术论文中被引用超过 173,000 次,目前是 21 世纪引用量第七高的论文。我想排在它之前的那些论文都发表得早得多。

当然,几年之内,Transformer 论文的八位作者全都离开了 Google,去创办或加入 AI 创业公司,包括 OpenAI。

Ben:太惨了。当然,Noam 后来创办了 Character.AI。那该怎么称呼这件事?“黑客式收购”吗?最后他通过一项包含许可、知识产权和招聘的奇怪协议,以数十亿美元的规模回到了 Google。

David:这对 Google 来说是非常非常昂贵的失误。

Ben:可以说,2017 年开启了长达五年的时期,在这段时间里,Google 没有充分把握自己创造出来的机会。

David:说的是 Transformer,没错。说到把握机会,这段时间 OpenAI 在做什么?

Ben:还有人认为 Transformer 是大事吗?

David:有人认为。接下来历史变得越来越不可思议。2017 年 9 月 Google 发表 Transformer 论文后不久,Elon 对 OpenAI 内部的情况越来越不满。

Ben:当时有七种不同的战略。我们究竟要做什么?玩电子游戏?搞竞赛?计划到底是什么?

David:照我看来,你们只是在照搬 DeepMind。与此同时,我在建设 SpaceX 和 Tesla。自动驾驶对 Tesla 未来的重要性越来越明显。我需要 AI 研究员,也需要出色的 AI 进展来支持 Tesla 的工作。OpenAI 这边不行。

他向 Sam 和 OpenAI 董事会其他成员发出最后通牒:“我愿意全面接管 OpenAI,并把它并入 Tesla。”我也不知道非营利机构要怎么并进 Tesla。

Ben:但在 Elon 的世界里,只要他当了 OpenAI CEO,事情就不那么重要了。反正我们会把它看成同一家公司,就像我其他公司那些交易一样。

David:否则他就会彻底退出,连资金也一起撤走。Sam 和其他董事会成员说:“不行。”

Ben:正如我们现在知道的,他们当时是在一笔一笔地把资金注入公司,并非一开始就收到全部现金。

David:他们当时实际只拿到了 10 亿美元承诺中的约 1.3 亿美元。双方没能达成一致。到 2018 年初,Elon 离开了,OpenAI 最主要的资金来源也随之消失。

要么这是 Elon 一次非常糟糕的判断,要么他离开给 OpenAI 带来的恐慌,恰好催生了他们转向 Transformer,说:“好吧,得想办法了。”需要是发明之母,我们就全力投入吧。

Ben:没错。我不知道在 Elon 和 Sam 个人关系紧张期间,他们是否已经决定全押 Transformer。如果决定采用 Transformer 语言模型,很快就会发现,你需要大量数据、大量算力、大量能源和大量资金。

如果最大的支持者要离开,三维棋的策略就是:“他不能走,我们马上要转型,转型需要他的资金。”四维棋的策略则是:“既然他离开了,也许我们能把公司改成营利机构,再从中融资,最后赚到足够利润,资助这个成本极高的新方向。”我也不知道当时是哪一种想法。

David:我也不知道。我猜实际情况可能两者都有。

Ben:不管怎样,想想看,这两件事竟然同时发生,而公司当时并没有烧掉太多资金;随后他们决定全押在一件极其昂贵的事上。为了真正实现使命,他们必须转型为营利公司,因为在可预见的未来,这件事可能需要数千亿美元。

David:没错。2018 年 6 月,OpenAI 发表论文,介绍他们如何在 Transformer 基础上开发出一种新方法:先用互联网上大量通用文本进行预训练,再针对具体用途微调这个通用模型。

他们还宣布训练并运行了这种方法的第一个概念验证模型,叫 GPT-1(Generatively Pre-trained Transformer,生成式预训练 Transformer,第一版)。

Ben:大约同一时期还有 BERT,以及西雅图的 Allen Institute 开发的另一种 Transformer 大型语言模型。

David:没错。

Ben:所以这并非异端或秘密。其他 AI 实验室,包括 Google 自己,都在做类似研究。但从一开始,OpenAI 就更认真地对待这件事,因为如果要继续发展下去,投入的成本可能高到必须拿公司本身来押注。

David:准确说,是押上这个非营利机构。这种情况我们得发明个新说法。

Elon 刚刚离开,他们要从哪里筹这笔钱?Sam 去找 OpenAI 的另一位董事 Reid Hoffman。就在一年前左右,Reid 把 LinkedIn 卖给了 Microsoft,现在他也是 Microsoft 的董事。Reid 说:“你们去和 Satya 聊聊怎么样?”

Ben:你知道他是在哪里见 Satya 的吗?

David:知道。2018 年 7 月,Sam Altman 和 Satya Nadella 约好在 Sun Valley 的 Allen & Company 会议期间见面。地点是爱达荷州的 Sun Valley。

Ben:太合适了。

David:他们在那里敲定了协议:Microsoft 以现金和 Azure 云服务额度相结合的方式,向 OpenAI 投资 10 亿美元。作为回报,Microsoft 能使用 OpenAI 的技术,并获得将这项技术用于 Microsoft 产品的独家授权。

具体结构是:非营利组织 OpenAI 创建一个受其控制的营利实体 OpenAI LP。Microsoft 把钱投进这个营利实体。Reid Hoffman 加入新实体的董事会,其他成员还有 Sam、Ilya、Greg Brockman、Adam D’Angelo 和 Tasha McCauley。现代的营利/非营利混合体 OpenAI 就这样诞生了。

Ben:我们今天,2025 年,还在摸索怎么处理这个结构。这就是完整的 AI 发展史,不只是 Google 的 AI 节目。

David:这些事情完全分不开。我本来想说,这期虽然叫 Google 第三部,但 Microsoft 又回来了。Microsoft 是 Google 的宿敌。在第一期讲 Google 和搜索的起源,第二期讲 Alphabet 及其产品时,我们提到 Google 的整个战略一直围绕 Microsoft 展开。Google 终于在每条战线上都赢了,结果 Microsoft 又……

Ben:又出现了。Satya 当时怎么说的?“我们只想看他们起舞。”

David:我想几年后他说的是:“我们想让全世界知道,我们让 Google 跳起了舞。”天哪。

Ben:不过这时还没有 ChatGPT。Sam 只是在为接下来扩大 GPT-2 等模型规模、进行大规模训练筹措资金。

David:现在正好可以谈谈,为什么 Microsoft 对 OpenAI 来说是完美伙伴。原因不只是他们有很多钱。

Ben:虽然钱确实有帮助。

David:很有帮助。但比钱更重要的是,Microsoft 有非常出色的公有云 Azure。

Ben:OpenAI 在 2018 年还不是那种能买一堆 NVIDIA GPU、自己建数据中心的公司。他们需要云服务商,才能完成想要的计算。如果他们还在 Google,研究人员当然可以用上全部基础设施;但 OpenAI 得与拥有基础设施的公司合作。

David:而 Google 以外,基本上只有两家选择。它们都在西雅图,其中 Microsoft 很感兴趣,而且资金充裕。这看起来是很好的合作。

Ben:没错。我想知道他们当时有没有和 AWS 谈过。这是个疯狂的冷知识,但我有点不敢说出口:AWS 可能参与了 Elon 最初对 OpenAI 的那轮投资。

David:噢,哇。

Ben:我不知道当时是提供服务额度还是其他形式,但我在几个地方看到报道,说 AWS 也参与了非营利机构的那一轮融资。

David:也就是早期向 OpenAI 捐款的那轮非营利融资。

Ben:不管怎样,Microsoft 和 OpenAI 就此绑定在一起。

David:天作之合。

Ben:Satya 和 Sam 一起登台,谈这段美好合作关系如何成形,之后就开始训练模型。

David:这为 OpenAI 的 GPT 时代铺平了道路。

Ben:当时在训练 GPT-2,对吧?

David:对,GPT-2。

Ben:这是我第一次听说它。西雅图的数据科学家都在聊这个,挺有意思。

David:第一次 Microsoft 合作和 10 亿美元投资之后,OpenAI 于 2019 年推出 GPT-2。它还处于早期阶段,但潜力很大,已经能做很多事。

Ben:确实能做很多事,但需要你发挥大量创造力。你必须是开发者才能用;对普通消费者来说,门槛很高。你得先写几段话,再粘贴到语言模型里,它会根据原文段落,建议如何续写。但它不是交互式的。

David:它没有聊天界面,基本上什么界面都没有。

Ben:它是通过 API 提供的。

David:不过它可以翻译文本,Google 很早就会做这个。但 GPT-2 还能做别的,比如给它一条假新闻标题,它就能写出整篇文章。读起来会觉得“好像是机器人写的”。不过普通用户仍然没有入口,必须愿意在繁琐的开发流程里摸索,才能使用。

第二年,也就是 2020 年 6 月,GPT-3 发布。它仍然没有面向用户的前端界面,但已经很强。GPT-2 展示了可能性,到了 GPT-3,人们开始讨论它是否能通过图灵测试。GPT 写的文章有时已经很难和人写的区分,大家也越来越关注它。

Ben:虽然消费者还没有真正使用它,但越来越多人意识到,前方出现了很有意思的东西。我觉得这时候风险投资人看到的 AI 商业计划书也开始增多了。

David:NVIDIA 股价也在上涨。之后到了 2021 年夏天,Microsoft 发布了使用 GPT-3 的 GitHub Copilot。这不只是 Microsoft 第一个集成 GPT 的产品,也是第一个……

Ben:产品化案例。

David:对,任何地方都还没有过的 GPT 产品化。

Ben:也是第一个使用 OpenAI 技术的产品。

David:它直接融入工作流程。这开启了全球软件开发方式的一场重大变化。

Ben:起初慢慢发生,随后突然变得普遍。刚开始只有少数软件工程师使用,大家私下说:“这挺酷,让我效率高了一点。”如今却常听到公司说,75% 的代码由 AI 编写。

David:之后 Microsoft 又向 OpenAI 投资了 20 亿美元,当时听起来是一大笔钱。这就来到 2021 年底,接着宏观环境发生了有意思的变化。

Ben:科技股、加密货币和整体市场都遭遇大跌,大家突然从风险偏好转为避险。部分原因是俄乌战争,但很大程度上是利率上升。Google 受冲击尤其严重。股价高点在 2021 年 11 月 19 日,当时市值刚好达到 2 万亿美元。大约一年后,市值跌到 1 万亿美元,接近回撤 50%。

David:哇,那是在 2022 年底、ChatGPT 发布前不久。

Ben:我觉得那时大家开始认为 Google 反应慢,是一家老旧、迟钝的公司,好像成了 2000 年代没有新突破产品的 Microsoft。人们不看好 Google 的未来。随后 ChatGPT 就发布了。

David:这也意味着,如果当时你看好 Google、愿意逆势投资,买入时市值只有 1 万亿美元。

Ben:挺有意思。到 2021 年 10 月,市场似乎认为即将到来的 AI 浪潮不会成为 Google 的优势;也可能是当时大家根本不知道有 AI 浪潮要来。虽然人们一直在谈 AI,

但也一直在谈 VR、加密货币和各种前沿技术,结果那些都不是未来。公司看起来反应迟缓、难以适应。我认为,在那个历史节点,说 Google 反应慢、适应能力差,算是公平描述。Google 当时有内部聊天机器人,对吧?

David:是的。在聊 ChatGPT 之前,Google 已经有聊天机器人。Noam Shazeer 是非常出色的工程师,他重新架构了 Transformer、让它真正可用,也是论文的主要作者之一;他在 Google 也很有资历和影响力。Transformer 论文发表后,他和团队的人就说:“大家听着,这可以做的远不止 Google Translate。”事实上,论文最后一段写道……

Ben:你要现场读 Transformer 论文吗?

David:对。“我们对基于注意力机制的模型前景感到兴奋,并计划将其应用于其他任务。我们计划把 Transformer 扩展到文本以外的输入和输出形式,研究图像、音频、视频等大型输入和输出。”这就写在论文里。

Ben:哇。

David:显然,Google 很长一段时间都没有这样做。但 Noam 马上开始游说管理层:“Transformer 潜力非常大。我们应该考虑抛弃搜索索引和十条蓝色链接的模式,让整个 Google 都变成一个庞大的 Transformer 模型。”随后他真的在 Google 内部做了一个大型 Transformer 模型的聊天界面。

Ben:那是 LaMDA 吗?

David:比 LaMDA 还早,他把它叫作 Mina。在 2010 年代末到 2020 年左右,Google 内部就有 Noam 做的聊天机器人,论能力可能已经相当接近 ChatGPT。不过它没有 ChatGPT 后来的安全后训练,所以会失控。

Ben:有人告诉我们,你可以问它谁该死,它就会列出一些人名。那产品肯定不能发布。

David:那是个很原始、不安全、未经后训练的聊天机器人和模型。但它确实存在于 Google 内部,只是没有发布。

Ben:而且严格来说,它不仅没有后训练,也没有 RLHF,也就是基于人类反馈的强化学习。如今模型里的这个核心组件,ChatGPT 不知道 GPT-3 时是否有,但 3.5 版肯定有,ChatGPT 发布时也有。实际上,那时的模型还不能发布;如果是 OpenAI 做的也一样,它的表现很糟。不过 Google 这样规模的公司当然更承担不起风险。这就是他们面对的战略障碍之一。

除此之外,还有两个商业模式问题。第一,如果你提议放弃十条蓝色链接,把 google.com 变成一个巨大的 AI 聊天机器人,那么直接回答用户问题会减少收入;而展示广告并让用户点击外部网站,却能赚钱,这会彻底打乱现有格局。显然他们现在正在考虑,但直到 2021 年之前,这种建议都绝对行不通。

第二,Google 还面临站在出版商与读者之间的法律风险。几十年来,Google 一直在应对公众观感和法院裁决,别人指责它把出版商与读者拆开。公司内部有很高的文化门槛,任何类似做法都得先说服大家。即使是那些十几年前才逐步推出的信息摘要框,大多也只出现在无法变现的查询上。只要你想说“Google 将直接给出答案,而不是十条蓝色链接”,就必须有无可挑剔的理由。

David:此外还有品牌承诺与信任问题。消费者非常信任 Google。即使今天我为《Acquired》做研究,需要确保信息正确时,也会去 Google 搜。

Ben:我在 Claude 里查问题,它给了一个很好的答案。如果不能直接点击 Claude 的来源,我会再用 Google 搜索,确认也能查到这些事实。这就是我的工作流程。

David:听起来今天很正常,但这点很重要。如果你提议用聊天机器人取代十条蓝色链接,就得非常确定它能给出准确答案。2020 到 2021 年时肯定还做不到。严格说来,今天或许也做不到。

而且当时根本没有充分理由这么做,因为没人真的在要这种产品。Noam 和 Google 里其他人都知道,Transformer 大型语言模型可以做成非常有吸引力的聊天机器人。普通大众还不知道这一点,OpenAI 也没有完全意识到,尽管 GPT 已经问世。

Ben:你知道 ChatGPT 是怎么发布的吗?

David:我想知道,笔记里正好有。

Ben:好,他们已经有 GPT-3.5,而且它变得非常有用。

David:那是 2022 年底,他们已经有 3.5 了。

Ben:但问题仍是,我到底该怎么用它,怎么把它做成产品?Sam 说:“我们应该做个聊天机器人,这似乎是最自然的交互方式。有人能不能一周内就搭个聊天界面,先在公司内部用起来……”

David:于是有人做出了聊天界面。

Ben:他们只是把对 ChatGPT 3.5 API 的调用做成产品:用户跟它聊天,每发一条消息,系统就调用一次 GPT-3.5 API。结果这成了一个有魔力的产品。

我觉得他们没料到会这么火。服务器都快撑不住了。他们和 Microsoft 一起设法扩充算力,同时实时协商更多投资、更多 Azure 额度,或预支 Azure 额度,好应付 2022 年 11 月突然涌入的大批用户。

他们还突然加上付费墙,因为原本以为业务会是 API 服务,收入预测也都基于 B2B 技术授权。后来才发现有这么多消费者在用。于是他们临时加了付费墙,至少限制最昂贵的使用方式,抵消一些成本或减缓使用量增长。

David:这可不是 Google 搜索那种 89% 毛利率的业务。

Ben:他们周末临时搭起 Stripe 付费墙来应付需求,收入很快就开始爆发。如果说 OpenAI 早就预见到会发生什么,那也完全不对。它发布时也没料到这会成为下一个重大消费产品。

David:Ben Thompson 喜欢把 OpenAI 称为“意外成为消费科技公司的企业”。这确实是意外。不过,关于他们为什么推出聊天界面,还有另一种略有不同的说法。

Ben:是不是 Dario……

David:……界面的说法?没错,是 Dario 和 Anthropic 的版本。Anthropic 正在做后来成为 Claude 的产品。传闻已经传开,OpenAI 内部也听说了:“噢,Anthropic 和 Dario 正在做聊天界面,我们可能也该做一个。既然要做,最好赶在他们之前发布。”

我想这可能影响了发布时间。但同样,没人,甚至包括 OpenAI,能预料到接下来会发生什么。Ben 你刚才提到过,但我还是给出具体数字。

2022 年 11 月 30 日……

Ben:差不多就是感恩节前后。

David:……OpenAI 发布了基于全新 GPT-3.5 的研究预览聊天界面 ChatGPT。当天早上,Sam Altman 发推说:“今天我们发布了 ChatGPT。来这里和它聊聊。”然后贴上 chat.openai.com 的链接。

不到一周就有 100 万用户。到年底,一个月后,也就是 2022 年 12 月 31 日,它达到 3,000 万用户。再过一个月,到 2023 年 1 月底、也就是上线两个月后,注册用户突破 1 亿,成为历史上最快达到这一里程碑的产品。简直难以置信。

在说这件事如何引发 Google 著名的 Code Red(红色警报)之前,先回到 Google 内部的 Noam 聊天机器人 Mina。Google 继续开发 Mina,把它发展成 Lambda,也是一个内部聊天机器人。

Ben:我觉得当时它只是语言模型。那时大家还会把底层模型的品牌名与应用产品名称分开。

David:Lambda 是模型,Google 内部也有一个基于 Lambda 的聊天界面。Noam 仍在向管理层倡议发布它。2021 年他离开 Google,创办了至今仍在运营、也融了很多钱的聊天机器人公司 Character.AI。后来在 2024 年,ChatGPT 已发布,Google 花了大约 27 亿美元——我想是这个数——与 Character.AI 达成许可交易,最终 Noam 通过一项包含许可、知识产权和招聘的协议回到 Google。

Ben:我觉得 Larry 和 Sergey 当时大概想:“如果我们要认真竞争,就得把 Noam 找回来,并给他不设上限的预算。”

David:2021 到 2022 年间,Google 一直在研发 Lambda 模型和对应的聊天界面。2022 年 5 月,他们推出了面向公众的 AI Test Kitchen,让用户体验 Google 内部的 AI 产品,包括 Lambda 聊天界面。

Ben:公平地说,这比 ChatGPT 早。

David:你知道他们如何限制 AI Test Kitchen 里的 NeRF 聊天机器人,让它不至于跑偏吗?太妙了。

Ben:不知道。

David:AI Test Kitchen 里的 Lambda Chat 会在对话五轮后停止。你只能和聊天机器人聊五轮,之后它就会说:“今天就到此为止,谢谢,再见。”

Ben:噢,哇。

David:这么做是为了安全。对话轮数越多,模型越可能开始跑偏。

Ben:说实话,这种担心有道理。这个产品不适合公开发布。还记得几年前 Microsoft 发布过 Tay,一个疯狂、带有种族歧视的聊天机器人吗?

David:他们把它做成 Twitter 机器人,对吧?它在 Twitter 上一路失控。我想那是 2016 年。

Ben:尽管 Sundar 早在 2017 年就宣布 Google 是一家 AI 优先公司,面对公开发布 AI 产品,尤其是面向消费者的产品时,他们还是非常谨慎。

David:在 ChatGPT 出现之前,其他人看到的 Google 确实是一家 AI 优先公司,不断推出各种优秀 AI 功能;只是这些功能都融入了已有产品。

于是 ChatGPT 发布,成为历史上最快达到 1 亿用户的产品。Sundar、Larry、Sergey 以及所有 Google 高管立刻看出,这对 Google 构成生存级威胁。ChatGPT 用更好的用户体验,完成了与 Google 搜索相同的工作。

Ben:再强调一下,如果你在 2022 年 11 月还没看出来,那到了 2023 年 2 月就一定明白了,因为老对手 Microsoft 发布了由 OpenAI 驱动的新 Bing。

Satya 说:“搜索新时代开始了,竞赛从今天开始。”他们公布了新的 AI 搜索页面。他还说:“我们想重新思考搜索最初应该是什么样。Google 最初能成功,正是因为重新想象了搜索还能做什么。我认为正在进入的 AI 时代,也会促使我们重新思考。”

这对 Google 来说是最糟糕的局面:Microsoft 现在可以在 Google 自己的主场挑战它,在互联网上有明确用户意图的领域里,带着真正不同、更好的产品杀入。它不再是模仿 Bing,而是一次彻底的超越,而且 Microsoft 还有技术合作伙伴支持。

David:至少当时大家都这么认为。

Ben:我的天,太吓人了。

David:Satya 在 Bing 发布前后的采访中说:“我希望大家知道,是我们让 Google 跳起了舞。”天哪。不过挑战王者最好一击即中,而这次大型发布最终没能成功。

Google 内部接下来发生了什么?2022 年 12 月,甚至在 Bing 发布前、但在 ChatGPT 之后,Sundar 在公司内部发出了 Code Red(红色警报)。

Ben:这是什么意思?

David:在此之前,Sundar、Larry 和其他人一直把 AI 看作 Clayton Christensen 所说的持续性创新。这对 Google 和产品都很好,看看我们已经做出的这些精彩功能。

Ben:它让现有领先者的优势更牢固。

David:它进一步巩固了我们在各个领先产品中的优势。

Ben:我们可以有计划地继续投入资本、降低成本,或让产品体验比创业公司做得更好。

David:还能把变现做得更好,方方面面都是如此。但 ChatGPT 一发布,AI 一夜之间就从持续性创新变成了颠覆性创新,成了生存威胁。Google 过去 10 年、15 年、20 年积累的许多 AI 优势,突然都可能变成负担。它们有太多既有城堡要保护。

Ben:没错。他们必须经过许多层审核,才能决定要不要尝试用新产品正面挑战 OpenAI。

David:Sundar 向全公司发出的 Code Red 是个重大时刻。他的意思是:我们必须尽快构建并发布真正原生的 AI 产品。

这其实就是面对颠覆性创新时,现有企业应该采取的教科书式做法:不能埋头不看,而要承认问题,着手构建并发布能与颠覆性创新者竞争的产品。

Ben:还得关注所有运营细节,弄清新产品会在哪些方面蚕食旧产品,在哪些方面能与旧产品互补。凡是能互补的用例,都要积极发挥。

从 2022 年起,Google 一直在努力平衡两件事:保护搜索业务的增长,同时打造最好的 AI 体验。他们只对部分查询提供 AI Overviews,只给部分用户 AI Mode;还有完整的 Gemini AI 应用,但没有把 google.com 直接改成 Gemini。这是一场非常微妙的平衡:保护既有业务,同时尽可能建立不蚕食它的新业务。

David:我觉得他们真的很努力,在搜索不容易被蚕食的领域打造领先产品,比如视频。

Ben:例如 Veo 3 或 Nano Banana。这些产品完全不会蚕食既有业务,反而能利用 Google 的优势,比如 YouTube 的训练数据。

David:接下来会发生什么?如你所料,情况先变得更糟,之后才好转。Code Red 在 2022 年 12 月发出。

Ben:Bard 来了,赶快发布 Bard。

David:2023 年 1 月 23 日,ChatGPT 注册用户达到 1 亿;Microsoft 宣布再向 OpenAI 投资 100 亿美元,并表示持有其营利实体 49% 的股份。

这件事本身就很惊人。再从 Google 的角度看,它的宿敌 Microsoft 似乎可能拥有 OpenAI。事后看来并非如此,但当时肯定会让人想:“我的天,Microsoft 会不会拥有 OpenAI?”对 Google 来说,这像是公司历史上第一次真正的生存威胁。

Ben:情况不妙,Bob。

David:于是到了 2023 年 2 月,Bing 的大型整合发布了。Satya 还说要让 Google 起舞。Google 内部则争分夺秒地推出 AI 产品。他们先把 Lambda 模型和聊天界面重新包装,改名为 Bard。

Ben:公开发布它,然后——

David:马上就发。2023 年 2 月,面向公众全面开放。

Ben:这或许是正确的战略决定,但天哪,产品真糟。

David:确实很糟。

Ben:我当时还不知道 RLHF 这个词,但能明显看出它缺了一种 ChatGPT 拥有的关键能力。通过人类反馈进行强化学习,可以调整回答的适当性、语气、风格和准确度;Bard 当时还没有。

David:更糟的是,Bard 的发布演示视频是预先编排、录制好的,其中一个演示问题的回答就出现了事实错误。

Ben:这是史上最糟糕的主题演讲之一。

David:Bard 发布和主题演讲之后,Google 股价当天跌了 8%。就像我们说的,真正的产品随后发布,大家发现它确实不好用。很快也发现不只是聊天机器人不好,模型本身也不行。

5 月,他们用 Brain 团队的新模型 PaLM 替换 Lambda。PaLM 稍微好一点,但明显仍落后于 GPT-3.5。到了 2023 年 3 月,OpenAI 发布了 GPT-4,能力更强,现在可以通过 ChatGPT 使用。

接下来 Sundar 作出了两个重大决定。第一,他说:“Google 不能再有两支 AI 团队了。我们要把 Brain 和 DeepMind 合并成一个部门,叫 Google DeepMind。”

Ben:这可是件大事,完全违背了最初引进 DeepMind 时的收购条款。

David:他让这件事得以实现的方式是任命 Demis 为 Google AI 部门 Google DeepMind 的 CEO。这是全面动员,Demis 和 DeepMind 要带领这场变革,与 Google Brain 整合,并改变过去十年 Google 在内部研发和发布 AI 产品的文化。

Ben:Alphabet 成立时旗下有许多独立公司,但像 YouTube 这种 Google 的核心资产仍留在 Google 内部。DeepMind 则是独立公司,双方的业务分离程度就是这么高。他们开发自己的模型,而且这些模型以强化学习为基础。这正是 DeepMind 一直在研究的核心方向。

从字里行间看,Sundar 面对两支 AI 实验室时的意思是:“我知道你们关系不太好,也知道你们之前有不同的职责,但现在我把 Google Brain 的责任交给 DeepMind,让 DeepMind 吸收 Brain 团队。”我觉得随着后来模型的发展,可以看出确实是 DeepMind 带头做的。

David:这背后还有一段有意思的故事。DeepMind 第三位联合创始人 Mustafa Suleyman,在这之前某个时候……

Ben:他是不是转去做 Google AI 政策负责人之类的工作了?

David:……他已经转到 Brain 和 Google 工作了一段时间,之后与 Reid Hoffman 走得很近。还记得 Reid 是 DeepMind 伦理委员会成员吗?Mustafa 和 Reid 后来离开,一起创办 Inflection AI。快进到 2024 年,OpenAI 在 2023 年感恩节期间发生大混乱:Sam Altman 在周末被解雇,到周一又被请回来,因为团队威胁要辞职去 Microsoft。

Ben:OpenAI 真喜欢感恩节。期待今年的感恩节。

David:他们真喜欢感恩节。那件事肯定损害了 Microsoft 和 OpenAI 的关系。还记得 Reid 也是 Microsoft 董事吗?之后 Microsoft 和 Inflection AI 做了一笔类似收购的交易,把 Mustafa 招进来负责 Microsoft AI。

Ben:太疯狂了。

David:真是离谱。

Ben:事态发展太疯狂。

David:Sundar 的第一个重大决定是合并 DeepMind 和 Brain。影响巨大。另一个同样重大的决定是,他说:“你们去做一个新模型,我们只保留一个模型。它要供 Google 内部所有团队使用,也供外部所有 AI 产品使用。它叫 Gemini。不再有多个模型、多个团队,所有事情都用一个模型。”这是极大的变化。

Ben:变化很大,有两个层面:一方面是在说“如果有人需要 AI 模型,就开始使用 Gemini”;另一方面,这有点像当年的 Google+,公司开始告诉每个团队:“Gemini 是我们的未来,你们要想办法把它整合进自己的产品。”

David:我很高兴你提到 Google+。做研究时,我和几个人聊过这个话题。事情还在实时发展,不过很多 Google 员工指出,Gemini 和 Google+ 的情况完全不同。

这属于技术问题:(a)技术一直是 Google 的强项;(b)更重要的是,在大型模型时代,这也是合理的商业决策。即使对 Google 这样的公司来说,模型的规模规律也意味着模型越大,能力越强。

Ben:输入的数据越多,模型效果越好,输出也会越来越好。

David:由于规模规律,想让模型表现最佳,就得尽可能做大。如果公司内部要维护多个模型,就得重复承担维护多个大型模型的巨大成本。肯定不想这样,应该集中资源开发一个模型。

Ben:还有个细节值得注意:最初 Bard 产品底层用的是 Gemini 模型,消费者用的产品仍叫 Bard。后来 Google 说不,我们全部统一叫 Gemini。Gemini 也就成了用户能看到的名字。

这也让我想到上一期谈 Alphabet 时总结的本质观点。虽然听起来有点玄,但 Google 把 AI 模型的名字直接用作消费者服务名称,其实是在承认:这个产品除了技术本身,并没有其他产品层面的东西。

就像 Gmail 是一项技术:搜索快、存储空间大、能在网页上使用。但 Gmail 的产品体验并不像 Instagram 那样本身是一种独特产品。

Gemini 模型,或者说 Gemini 聊天机器人,等于直接把突破性技术提供给所有用户,让大家直接和它互动。从外部观察,这似乎正体现了这一原则。

David:我完全同意。我觉得把服务命名为 Gemini,对 Google 和其文化来说,是非常重要的品牌策略和集结号。

Ben:好了,这些就是 Google 在 2023 年前后 AI 领域发生的事。在谈当前之前,Alphabet 还有另一个 AI 亮点。能不能让我稍微岔开一下,聊聊这条支线?

David:你要把方向盘接过去吗?

Ben:我能接手方向盘,探索另一项投资吗?

David:请讲 Waymo 的故事。

Ben:好。我们得把时间倒回 2004 年的 DARPA Grand Challenge。竞赛旨在推动军用自主地面机器人的研究。不过对今天的故事来说,它更重要的作用,是为 20 年后的整个自动驾驶汽车革命培养了早期人才。

比赛本身很酷。赛道长 132 英里。要记住,这是 2004 年,比赛在莫哈维沙漠的土路上举行。人类不能进入车辆或遥控干预,车辆只能全程远程监控,获胜团队奖金 100 万美元。

David:100 万美元。

Ben:通常政府提供的是研究拨款,不是奖金,所以这笔奖金打破了常规,必须由国会授权。后来 100 万美元显得有点滑稽,第二年奖金池就提高到 200 万美元。现在想想这些研究人员如今的价值,当时那笔奖金也实在很低。

2004 年首届比赛进展顺利,预算有限的团队也展示了惊人的技术。但最终,报名的 100 支队伍没有一支跑完全程。

不过到了 2005 年,情况就很特别。所有参赛团队在头 12 个月里从失败中吸取教训,整个行业取得的进步令人难以置信。

23 支决赛队伍中,有 22 支都超过了前一年跑得最远的那支队伍的成绩。仅仅一年,整个领域就进步了这么多,实在不可思议。

更有意思的是,其中有五支队伍跑完全程 132 英里。两支来自 Carnegie Mellon,一支来自 Stanford,领队是后来大家都认识的 Sebastian Thrun。

David:确实如此。

Ben:这是 Sebastian 加入 Google 之前的故事。他很热心地帮我们准备本期节目。不过,我大部分内容是看一部 20 年前的 PBS Nova 纪录片学到的,现在 Amazon Prime Video 上还能看。感谢 Bret Taylor 告诉我们哪里能找到。

David:没错,真是热门研究资料。

Ben:Stanford 团队有什么特别之处?第一,这些传感器产生了很多噪声数据。车辆在沙漠里颠簸行驶,天气很热,阳光强烈。常见做法,Carnegie Mellon 采用的办法,是尽可能改造硬件来减少噪声,比如定制支架、云台和大型弹簧来稳定传感器。他们会买一辆悍马,把车彻底拆开,从车轮开始重新改装,甚至要焊接并动手造车。

Stanford 团队采取完全相反的做法。他们认为,每多一种新硬件,就多一个可能故障的部件。为了降低比赛当天的风险,他们只用普通商品化的相机和传感器,把它们装在几乎没怎么改过的大众汽车上。他们只创新软件,并打算设计聪明算法,之后再清理杂乱数据。非常像 Google,对吧?

David:太像 Google 了。

Ben:他们的第二项创新是早期用机器学习融合多种传感器。车顶装了其他队伍也在用的激光传感器,可以测量车前方物体的纹理和距离。它的数据很精确,但由于视野固定且狭窄,车辆无法开得很快,也看不远,因此无法判断该开多快、前方是否要转弯。

所以他们还装了一台普通摄像机。它能像人眼一样看到较宽的视野,一直延伸到地平线,而且关键是能看见颜色。

摄像机的工作方式很巧妙:2005 年,车子中央的电脑实时运行机器学习算法,把激光数据叠加到摄像画面上。激光能判断车前紧邻区域是否安全;算法会识别那片安全区域的颜色,再查看画面更远处,推断安全区域延伸到了哪里,于是计算出穿越沙漠的安全路线。

David:太棒了。

Ben:太酷了。

David:我都能想象,2005 年这车里放着一台 Dell 台式机。

Ben:差不多。我们会在邮件里放几张照片。这样一来车辆就能更有把握地提高速度,也能知道前面什么时候要转弯。记住,这是 2005 年,所有计算都在车载电脑上实时进行,技术上真是不可思议。

最终,两支队伍都押对了方向,Stanford 团队以极其戏剧化的方式获胜。他们的车甚至在沙漠里自动超越了 Carnegie Mellon 的一辆车。纪录片有一段非常紧张的场面。

你可能会以为 Sebastian 接下来就去了 Google 并创办 Waymo。不是的。正如我们之前说的,他是通过“别去找 Benchmark 和 Sequoia 融资了,我们直接聘用你”的奇特方式加入 Google。他先做 Street View 和 Ground Truth,随后共同创办了 Google X。

David,正如你前面提到的,后来成为 Waymo 的 Project Chauffeur,是 Google X 的第一个项目。

David:我记得 Larry 找 Sebastian 说:“这就是自动驾驶汽车,去做吧。”Sebastian 回答:“不行,那只是 DARPA 的挑战赛。”Larry 说:“不不不,你应该做。”

Ben:Sebastian 说:“不行,那不安全。城市里到处都是人,我不能把几吨重的杀人机器放到路上,可能会伤害别人。”Larry 最后问:“为什么?技术上有什么原因让这件事无法实现?”Sebastian 回家睡了一觉,第二天早上来公司说:“我想明白了,是我自己害怕。”

David:这段太好了。

Ben:他们于是开始做。他说:“这没有技术上的障碍,只要采取所有必要防护,把安全标准定得很高,就可以开始。”Larry 说:“好,我给你一个评测基准,来判断有没有进展。”他选了加州十段很难自动驾驶的路,总共约 1,000 英里。团队称它为 Larry 1000,包括开去 Tahoe、旧金山的 Lombard Street、沿 Highway 1 开到洛杉矶,以及 Bay Bridge。这就是他们要达到的目标。

David:如果能在这些路段自动驾驶,基本就说明什么路况都能应付了。

Ben:项目于 2009 年启动。18 个月内,这支很小的团队——我想只有十来个人——就让汽车自动驾驶了数千英里,并完成了整个 Larry 1000。

David:他们进展快得不可思议。而之后要花多长时间,才能把技术产品化、打造今天的 Waymo,同样不可思议。

Ben:就像第一个 99% 花很短时间,第二个 99% 又要十年。自动驾驶这类问题很棘手,入门看起来似乎不可能,实际上却出乎意料地容易起步。

但接下来会遇到各种边缘情况:天气、道路状况、其他司机、新的道路布局、夜间驾驶等等。要把系统打磨到能投入生产,得做海量工作。

接下来要问的是:我们要做什么业务,产品是什么?Sebastian 想做的是高速公路辅助驾驶,风险最低、最现实,本质上就是更好的定速巡航。

Eric Schmidt 则提出了一个疯狂想法:直接把 Tesla 买下来,以它为基础,然后把自驾设备装到所有车上。David,你知道当时谈判时买下 Tesla 要多少钱吗?

David:我记得当时 Elon 和 Larry 还在谈,正值 Model S 量产遇到困难,可能是 Tesla 最艰难的时期。我记得 Google 大约花 50 亿美元就能买下公司。

Ben:其实是 30 亿美元。

David:30 亿?我的天。

Ben:当然,这笔交易没有发生,但那会是多么疯狂的另一条历史路线。

David:如果当时真的发生了,DeepMind 后来可能不会发展成现在这样,OpenAI 可能也就不会成立。

Ben:这么说可能没错。

David:我觉得这显然无法证明。

Ben:就像我们在节目里经常讨论的反事实情况,实际上没人知道答案。

David:我觉得至少 OpenAI 很可能不会存在。

Ben:然后是 Larry 想做的第三个方案:打造无人出租车。至少在目前,这就是他们最终选择的方向。

Waymo 这一路可以单独做一期节目。为了节省时间,我们只谈几个重点。要记住,Google 和公众都不知道自动驾驶究竟能在两年内实现,还是还要等十年。

一个例子是,Project Chauffeur 开始后的头五年完全没有用深度学习。他们不靠深度学习就完成了 Larry 1000,之后又过了三年半。

David:哇,太疯狂了,也充分说明你根本不知道终点还有多远。

Ben:这个领域的进步只能通过一连串突破实现。你不知道下一次突破什么时候来,因为当下有很多看似有希望的方向,但大多数不会成功;即使出现突破,也不知道它相比现有方法能带来多大提升。因此有人预测“AI 会在 X 年内实现某某功能”时,基本是在做不可能完成的事。连专家都不知道。

§03文稿(第三部分)

先看几个重要节点。2013 年,他们开始使用卷积神经网络,可以识别物体,感知能力明显提升。2013 到 2014 年间,Google 真正开始重视深度学习——这正好是 40,000 块 GPU 部署之后,他们终于有硬件能做这件事。

2016 年,他们已经看到足够的技术验证,开始考虑商业化:这项技术可以独立成为一家企业。于是 Waymo 成为 Alphabet 内的独立子公司,不再属于 Google X。

2017 年,Transformer 当然问世了。Waymo 从中吸收了一些成果,特别是对预测和规划的帮助。

2020 年 3 月,他们从 Silver Lake、加拿大养老金计划投资委员会、Mubadala、Andreessen Horowitz 等投资人那里融资 32 亿美元,金额最大的一笔我想还是来自 Alphabet。即使后来又融资多次,Alphabet 仍是多数股东,所以我觉得它一直都是最大出资方。

2020 年 10 月,他们在 Phoenix 推出了全球首个没有驾驶员坐在方向盘后的公开商业服务。这距离他们完成 Larry 1000 已经 11 年,真让人难以置信。我那时已经放弃希望,觉得 Waymo 和其他公司在折腾自动驾驶,似乎永远不会实现。结果他们真的在 Phoenix 安全地提供大量乘车服务,并向消费者收费。

David:之后他们把服务带到 San Francisco。对我和许多住在这里的人来说,Waymo 已经成了城市生活中很重要的一部分,体验太棒了。

Ben:是啊,我每次来都喜欢坐。它很快要在 Seattle 上线,我特别期待。有意思的是,他们不制造汽车,而是用 Jaguar 车型。从我看到的情况看,这款车好像只提供给 Waymo。不知道别人能不能开这种 Jaguar、能不能买到。他们接下来还要开发一款面包车,也在研发下一代硬件。

对没坐过的人来说,它就是没有司机的 Uber。商业服务于 2024 年 6 月上线。此前他们融了所谓 B 轮的 25 亿美元。旧金山推广后,又完成所谓 C 轮融资,金额 56 亿美元。今年 1 月,有报道称他们在旧金山的总订单额已经超过 Lyft。

David:哇,我完全相信。我和认识的所有人都觉得,它现在是旧金山打车的首选。大家总会先试试能不能叫到 Waymo;如果等太久,再考虑其他选择。

Ben:我们已经生活在未来,却很快就不再觉得它特别。

David:我觉得对那些所在城市还没有 Waymo、生活中还没用过的人来说,它不仅仅是没有司机很酷。很快,这种新鲜感就会消失;关键是它确实带来不同的体验。

如果我要带年长的女儿去某个地方,我不介意叫一辆 Waymo、带上儿童座椅并安装好,再和女儿一起坐车。她很喜欢,我们把它叫“机器人汽车”,她就会兴奋地说:“机器人汽车!”但我不会在 Uber 上这么做。

Ben:这挺有意思。

David:带狗出门也是一样。叫 Uber 时跟司机说“我带狗”,会觉得很尴尬,怕狗是不是可以……但 Waymo 上就没这个问题。除此之外,在城里出行时……

Ben:我们甚至可以在车里谈私密话题。

David:可以打电话。它确实是一种不同的体验。

Ben:说得太对了。顺便追上当前情况:它已在 Phoenix、San Francisco、洛杉矶、Austin 和 Atlanta 五座城市运营,每周提供数十万次付费乘车。无人驾驶累计超过 1 亿英里,目前每周还增加 200 万英里。车队共有 2,000 辆车,付费订单已超过 1,000 万次。

明年他们要在美国更多城市开放服务,也将进入第一个国际城市 Tokyo,逐渐扩张,然后一下子遍地开花。这就是其中的启示。技术方面,他们从 DARPA 挑战赛开始就一直采取多传感器路线:摄像头、激光雷达,后来还加了雷达和外部音频传感器。基本原则是,能采集到的数据越多越好,这样系统就更安全。

他们的车上有 13 个摄像头、4 个激光雷达、6 个雷达,以及一组外部麦克风。这显然比 Tesla 单靠摄像头的方案贵得多。但 Waymo 的标准说法是,要达到他们设定的安全和监管门槛,这可能是实现完全自动驾驶的唯一办法。每次和 Waymo 的人聊到这个话题,都能感觉他们把这当成一道非常明确的界线。

David:我平常既用这两种产品,也很喜欢自己的 Model Y,同时经常坐 Waymo。至少以我现在使用的 Tesla FSD 来说,它们是截然不同的产品。

Model Y 的 FSD 很好用,我在高速公路上经常用,但我绝不会因此放松注意力。相反,每次坐 Waymo,我都有点像在用 Google 搜索:我完全相信它会安全运行,自己坐在后座可以放松下来。

Ben:我觉得自己比你更信任 Model Y 的 FSD,但我懂你的意思。严格来说,监管规定你开 Tesla 时仍需注意路况,而坐 Waymo 则不需要自己驾驶。

安全问题确实非常重要。数据显示,每年超过一百万起机动车碰撞事故会造成人员死亡,美国一年就有超过四万起死亡。这相当于每天约 120 人死亡,是一个主要死因。

Waymo 上个月刚公布的一项研究显示,与平均人类司机相比,他们的严重伤害及更严重事故减少了 91%。虽然 Waymo 目前只在城市地面道路行驶,但他们把行驶条件与人类驾驶数据进行了苹果对苹果的比较,结果是这类严重事故减少 91%。为什么我们没有每天都在谈这件事?自动驾驶可能会从根本上改变一个造成大量死亡的问题。

趁还在聊 Waymo,要不要做个快速分析?我一直在琢磨,这到底是一门什么生意。然后我保证会回到 Google 的 AI 故事,讲到今天。

这门生意的运营成本非常高,尤其在初期规模下:训练成本、推理成本、硬件成本,等等。

David:运营费用也很高。

Ben:他们还在尝试外包一些城市的运营。例如在 Texas 有家租车公司帮他们管理车队。我想他们也和 Lyft、Uber 合作过。他们正在尝试自营与合作等各种运营模式。

David:运营工作包括给电动车充电、清洁、送回车库、检查车辆、更换传感器。

Ben:所以问题是潜在市场有多大,业务规模能到什么程度?有几种衡量方式。

一种估算整体市场规模的方式,是把全球所有汽车制造商的市值加起来。如果包括 Tesla,大约是 2.5 万亿美元;不包括则是 1.3 万亿美元。但 Waymo 并不真的造车,这种比较可能不恰当。

可以看看所有网约车公司的市值,这可能是更好的对照,因为 Waymo 目前实际从事的就是这门生意。总规模大约 3,000 亿美元,其中大部分是 Uber。这是当下网约车行业的市值。

不过 Waymo 的雄心更大。他们希望进入人们自己拥有的汽车市场,也想做长途卡车运输。他们认为还能扩大交通服务的覆盖面,例如盲人可以拥有汽车,老年人也能自己去想去的地方,不再需要司机。

最难衡量、但我觉得最有意思的角度,是减少交通事故究竟能创造多少价值。因为这实际上是他们在做的事:用不会发生事故的出行替代事故。

David:我觉得这个说法成立。但我作为经常使用服务的人还是要说,它不仅是网约车的另一种形式,而是提供了一种不同、并且还在拓展的产品体验。

Ben:所以你认为,无论我估算减少事故能产生多少价值,实际市场都更大,因为产品体验本身还创造了额外价值。

David:是啊。现在只看网约车,在旧金山有了 Waymo 后,我会在一些原本绝不会用 Uber 或 Lyft 的场景下选择 Waymo。

Ben:我们有这样的数据:CDC 报告称,2022 年美国交通事故死亡造成总计 4,700 亿美元的成本,其中包括医疗费用,以及对生命损失的估值。CDC 竟然能估算生命的价值,听起来有点不可思议,不过他们确实这么做了。

如果交通事故减少十倍——这大致是 Waymo 数据所显示的严重事故降幅——那么从国家角度来看,我们每年可以节省超过 4,200 亿美元的总成本。

我知道这种比较并非完全严谨,但这笔节省超过 Google 整家公司现在的年收入。可以想象,Waymo 有机会成为一家规模接近 Google 的独立公司,只要能把成本降下来,形成大规模且盈利的业务。

David:这真是 Google 二十多年来最成功的故事之一。

Ben:最后我想说,考虑到这个机会,Waymo 目前的投入其实还不算大。他们大约烧了 100 亿到 150 亿美元。这就是我前面逐一列出这些投资的原因。

David:和基础模型相比,这点钱只是零头。

Ben:老兄,就在这个行业内比,这也只相当于 Uber 一年的利润。

David:哇,看来真是好投资。

Ben:我以前觉得这像一场疯狂的追逐,如今看起来真的非常明智。

David:完全同意。

Ben:而且那 100 亿到 150 亿美元,只是 Google 上个月的利润。

David:说到 Google,我们要不要回到今天的 Google AI?

Ben:好。我们刚才聊到 Gemini 发布。

David:2023 年年中,Sundar 作出两项决定:(1)将 Google Brain 和 DeepMind 合并为一支 Google AI 团队;(2)统一使用 Gemini 这个未来的模型,由 DeepMind/Brain 团队开发,之后 Google 内部各团队都要使用。

Ben:顺便一提,听说 Sergey Brin 现在也回到公司,作为员工参与 Gemini 的工作。

David:员工编号……

Ben:他又拿回了 Newton 门禁徽章。

David:对,他拿回了门禁徽章。Sundar 作出这些决定后,Jeff Dean 和 Google Brain 的 Oriol Vinyals 转去与 DeepMind 团队合作,开始研发 Gemini。

Ben:顺便说一下,我现在相信这件事了。Jeff Dean 也在参与,我支持。

David:如果 Jeff Dean 加入,项目大概就能成。如果你还没信服,接下来还有更精彩的。Google 和 Character.AI 达成交易、把 Noam 招回来后,他也加入 Gemini 团队。如今 Jeff 和 Noam 是 Gemini 的两位技术共同负责人。所以……

Ben:冲啊。

David:……冲啊。实际上,他们很快就在 2023 年 5 月的 Google I/O 主题演讲上宣布了 Gemini 和相关计划,同时推出搜索里的 AI Overviews,最初是 Labs 测试产品,后来成为所有 Google 搜索用户都能看到的标准功能。

Ben:这很疯狂。Google 搜索的次数多到难以想象。我相信有具体数字,不过你只要想想,这是计算规模最高的应用之一,只有高带宽的流媒体可能更高。Google 每秒处理那么多搜索,而每次搜索(至少许多会展示 AI Overviews 的查询)都要运行一次 LLM 推理,尽管我肯定不是每个查询都会展示 AI 摘要。

David:只覆盖一部分,但依然是海量搜索。我经常看到。这说明 Google 立即开始以 AI 的速度运作。ChatGPT 是 2022 年 11 月 30 日发布的;现在已经到 2023 年 5 月,所有这些决策都已作出、变化也已发生,他们还在 I/O 大会上公布了一系列产品。

Ben:他们也在展示自己的基础设施有多强。Google 可以说:“当然,我们可以对每个搜索查询运行推理,完全撑得住。”

David:他们在 2023 年 5 月宣布的新 Gemini 模型有一个关键特性:多模态。还是一个模型处理所有内容:文本、图像、视频、音频,什么都能处理。2023 年 12 月他们开始开放早期体验。真不可思议,六个月内就把它做出来、训练好并发布了。

Ben:太棒了。

David:很疯狂。2024 年 2 月,他们推出 Gemini 1.5,支持 100 万 token 的上下文窗口,比当时市场上的其他模型大得多。

Ben:这带来一大堆新用例。之前有人试用 AI,却发现它无法处理某些需求;现在终于可以了。

David:次年,也就是 2025 年 2 月,他们发布 Gemini 2.0。一个月后的 3 月,以实验模式推出 Gemini 2.5 Pro,到了 6 月正式开放使用。

Ben:他们的发布速度简直像 NVIDIA。

David:确实。2025 年 3 月,他们也推出了 AI Mode。现在你可以在 google.com 切换到聊天机器人模式。

Ben:他们还在做测试,让部分用户自动进入 AI Mode,看看大家反应如何。这就是他们的金蛋。

David:这就像大象在跳舞。此外还有其他 AI 产品在这段时期推出,比如 NotebookLM 和 AI 生成播客。

Ben:这个听起来像我们吗?感觉有点像专门针对我们训练的。

David:NotebookLM 发布后,有很多人给我们发消息,说这肯定是用 Acquired 训练的。我知道 NotebookLM 团队里有不少节目粉丝,但不知道他们有没有用我们的内容训练。后来还有视频、图像产品,比如 Veo 3、Nano Banana,以及最近推出的 Genie 3。Genie 太疯狂了,是个根据提示和视频内容构建世界的工具。

Ben:你其实还没用过它,对吧?只是看了宣传片?

David:对,我看了视频,还没实际用过。

Ben:如果真能做到那样,太不可思议了。它是实时生成式……

David:世界构建器。

Ben:……对,世界构建器。你往右边看,它就能在右边创造东西。再配上 Vision Pro 这样的硬件,你就住进幻想世界了。

David:他们宣布 Gemini 的月活用户已达 4.5 亿。这个数字包括所有使用 Nano Banana 的人。

Ben:我不敢相信这个数字,太夸张了。即使它最近登上应用商店榜首,我还是觉得 Google 说的这个数字难以置信;但他们既然公布了,应该有依据。我只是好奇,他们把什么算作 Gemini 应用的使用?

David:只要有人在用 Nano Banana,肯定也算在用 Gemini。

Ben:但 AI Overviews 算不算?AI Mode 算不算?还是说我不小心碰到 Meta AI,Meta 就像之前那样宣称超高使用量?当时那个数字完全不靠谱:有人在 Instagram 上搜索时误触 Llama 模型,模型弹出东西让他们很烦,他们只是在想“走开,我只想找一个用户”。所以,到底是真的有 4.5 亿,还是……

David:问题问得好。不管怎样,从零做到这个规模,在这么短的时间内确实很了不起。

Ben:尤其是收入已经创历史新高。至少在目前这个还不确定的早期阶段,他们似乎既保住了核心业务,也成了 AI 前沿领域的强劲竞争者。

David:提前透露一点我们待会儿会聊的看多与看空理由。正如 Alphabet 那期提到的,Google 曾经很擅长应对平台转型,比如移动互联网。

Ben:没错。

David:这次 AI 平台转型开局明显更坎坷,困难得多。但如果要为一次艰难开局列出应对方案,很难找到比 Google 过去两年做得更好的清单了。

Ben:好,我来介绍一下 Google 当前业务的情况?

David:请介绍一下现在的业务。顺便说,联邦政府认定他们是垄断企业,最后却因为 AI 而没有对他们采取实质行动。

Ben:从我们发布 Alphabet 那期到现在这期 Google AI,中间有一宗美国政府对 Google 的反垄断诉讼。法官先裁定 Google 在互联网搜索领域构成垄断,随后却没有提出实质性补救措施。虽然也有少数规定,但我认为影响很小。他们不用拆分 Chrome,也不用停止向 Apple 等公司支付数百亿美元。

也就是说,Google 是垄断企业,但采取措施会对整个生态造成太多连锁影响,所以就让他们继续照常经营。法官没有采取行动的理由之一是 AI 竞争。OpenAI、Anthropic 和 Perplexity 等公司已经获得数百亿美元投资,Google 面对一场新战争。政府决定让自由市场自行发展,形成有效竞争,不给 Google 增加限制。

我个人觉得这个理由有点站不住脚。这些 AI 公司都没有净利润,仅仅融到很多钱,并不代表这种情况会一直持续。它们很快就会烧完现有资金。如果资金来源枯竭,Google 现在在旧的搜索业务和 AI 领域都没有能自我维持的竞争对手。所有对手都依赖投资人相信机会巨大,继续投入数百亿美元。

David:很多人都开过这个玩笑,但也有点道理:ChatGPT 出现时,Google 开局确实很被动。如果这样就避免了美国联邦法院的垄断裁决对业务造成类似 Microsoft 的干扰和损害,那可能也值了。

Ben:有个有趣的梗图可以用来说明。你知道那个有人推倒第一张多米诺骨牌,最后撞倒一堵大墙的梗图吗?

David:知道。

Ben:第一张骨牌是 Ilya 离开 Google 创办 OpenAI,最后的结果却是 Google 没有被拆分。

David:正是如此。

Ben:这反而救了 Google。

David:确实救了 Google。

Ben:太离谱了。

David:确实太离谱。

Ben:好,来看现在的业务。过去 12 个月,Google 营收 3,700 亿美元,收益约 1,400 亿美元,比任何其他科技公司都高。全世界只有沙特阿美的利润比它多。别忘了,Google 是有史以来最好的生意。

David:我们在 Alphabet 那期结尾也提过,即使 AI 时代到来、过去十年或五年发生了这么多变化,Google 的核心业务仍持续增长。从 2015 到 2016 年的 Alphabet 那期以来,核心业务规模增长了五倍。

Ben:市值方面,Google 突破了此前 2 万亿美元的高点,本月早些时候刚达到 3 万亿美元。它是全球市值第四大的公司,仅次于 NVIDIA、Microsoft 和 Apple。简直疯狂。

资产负债表上,Google 有 950 亿美元现金和有价证券。我觉得这挺有意思,平常不会把资产负债表作为分析重点,但这里值得看:我本来想说“哇,现金和资源太多了”。

David:其实我还以为会更多。

Ben:2021 年它曾有 1,400 亿美元。过去四年,公司从大量累积现金转向积极支出。其中很大部分是 AI 数据中心建设的资本支出。Google 正像 Meta、Microsoft 和 Amazon 一样积极投入这些资本开支。

但我没完全想明白的是,支出里最大的一块其实是股票回购,他们还开始发股息。如果你不熟悉金融,可以这样理解:他们说自己仍需要大量资金投资 AI 和数据中心,但除此之外还有太多现金,于是决定把钱分给股东。这很令人意外。

David:这才是史上最好的生意,对吧?

Ben:这体现了核心搜索广告业务有多赚钱。如果他们说“如今商业史上最耗资本的竞赛正在展开,我们打算赢下来”,同时又有大笔闲置现金,超过了投资这场资本开支竞赛所需的安全储备,那就说明现金牛业务有多强。

David:是啊,哇。

Ben:有两块业务值得分析:第一是 Gemini,看看它目前的情况;第二是 Google Cloud 的简史。我想告诉你们 Cloud 现在的数字,但最好先理解它是怎么发展到今天的。

先谈 Gemini。Google 的财务信息可能是我们研究过的公司里最不透明的,我最讨厌他们总能在财报里藏着关键数据。当然,我们不知道 Gemini 的具体收入。

我们知道 Google One 套餐有超过 1.5 亿付费订阅者。大多数人都在非常低价的档位,每月 5 到 10 美元。AI 功能包含在每月 20 美元的高级套餐中,但我认为这 1.5 亿人里,购买高级套餐的人只占很小一部分。

David:我想我就订了这个。

Ben:不过有两点值得注意:第一,订阅人数增长很快,1.5 亿这个数字同比增长接近 50%。第二,Google 已经有一个拥有 1.5 亿订阅者的订阅套餐。我一直觉得 AI 不适合作为用户付费的商业模式,应该像搜索一样靠广告支撑。

David:但这已经不小了,差不多是……

Ben:差不多有美国人口的一半。

David:Netflix 有多少订阅用户?

Ben:Netflix 有数亿用户,Spotify 大概有 2.5 亿付费用户。如今确实有规模很大的消费订阅服务。

这个观点要感谢 Shishir Mehrotra。其实昨晚他联系我,因为上一期里提到过他,我们聊了聊,让我彻底改变了想法。我以前认为,一旦向用户收费,潜在市场规模就会缩小 90% 到 99%。但他指出,如果你打造出非常有吸引力的套餐,而 Google 又拥有很多数字资产,完全可以做出吸引人的捆绑服务……

David:我的天。YouTube Premium、NFL Sunday Ticket。

Ben:没错,还有 Play Store 里的内容、YouTube Music、Google One 存储。他们可以把 AI 放进套餐里,通过聪明的捆绑定价,把付费 AI 产品提供给大量订阅用户。

David:完全可以。

Ben:所以我们真的不知道 Gemini 现在赚了多少钱。反正它大概还没盈利,继续分析收入又有什么意义?

David:好吧,那给我们讲讲 Cloud 的故事。不过我们在 Alphabet 那期里有意没讲 Cloud。

Ben:相当于 Google 第二部。

David:对,Google 第二部。它是 Google 在同一时期推出、后来非常成功的新产品之一,而且现在对 AI 至关重要。

Ben:事后看来,它比刚推出时看起来战略价值大得多。简单回顾一下:Google App Engine 于 2008 年推出,让人可以快速为 Web 或之后的移动 App 搭建后端。它是平台即服务(PaaS),所以你必须按照一种非常 Google 式的方式来开发。

它规定得很严格:必须使用指定 SDK,用 Python 或 Java 编写,并严格按他们的方式部署。它不会像后来那样对开发者说“你想怎么做都行,只要用我们的基础设施”。这和当时 AWS 的做法完全不同。

而 AWS 当时做的,也就是后来全世界终于理解的正确做法:云应该是基础设施即服务。连 Microsoft 很快也把 Azure 转向这个模式:你要存储空间,我们提供;要虚拟机,我们提供;要计算资源或数据库,也都能提供。

David:什么都能给你。

David:没错。最后 Google 于 2012 年推出自己的基础设施即服务,前后花了四年。他们发布了 Google Compute Engine,后来更名为 Google Cloud Platform,也就是今天的 Google Cloud。

Ben:外界常批评 Google 一直不懂怎么服务企业客户。它的核心业务是做出消费者喜欢、不断打磨的优秀产品,并尽可能做成自助服务;赚钱则靠广告。说句实话,Google 搜索其实别无选择。

David:面向广告客户时,他们不一定需要做出很好的企业级体验,因为客户反正都会来。

Ben:所以他们做的是自助体验。与此同时,云服务领域竞争异常激烈,几乎是商品化市场……

David:市场完全围绕企业客户展开。

Ben:尽可能压低价格,争取企业客户关系,通过巧妙的捆绑方式提供完整方案。

David:你说“解决方案”,我听到的却是“毛利率”。不过没错,Google 在这个领域确实离开了自己的舒适区。

Ben:早期他们不愿意把核心资产交给别人,觉得基础设施是自家秘密,不想让别人用。为自己打造的优秀软件工具,比如 Bigtable、Google 运行基础设施所用的 Borg、DistBelief,当时都没有作为 Google Cloud 的服务对外提供。

David:这些都是竞争优势。后来他们聘请了 Oracle 前总裁 Thomas Kurian。

Ben:之后一切都变了。2017 年,也就是他加入的两年前,Google Cloud 营收只有 40 亿美元。2018 年,他们作出了第一个巧妙的战略决策:推出 Kubernetes。关键洞察是,如果让开发者更容易把应用迁到其他云,企业就能实现多云部署,而市场确实需要多云。

David:我们是第三名,没什么可失去的,所以可以推出这种工具,与 AWS 和 Azure 采取反向定位。

Ben:让开发者用容器来编排应用,在我们的平台上运行,我们再提供很好的管理服务。这个决定很聪明。多云策略成了支柱之一:“你想用多云?我们让它变得简单。你当然也可以选择 AWS 或 Azure。”一切都会很顺利。

正如 David 所说,Oracle 前总裁 Thomas Kurian 于 2018 年底受聘。再也找不到比 Oracle 前总裁更了解企业客户需求的人了。这很快就体现在营收增长上。

2020 年,Google Cloud 营收超过 130 亿美元,三年里几乎增长了三倍。Kurian 到任时,销售团队约有 150 人,大多都在加州,地区分布很有限;后来他们又招了约 1 万人加入市场拓展团队。我不是夸张,真的有这么多人。最有意思的是,Google 一直都是云计算公司:它拥有最优秀的工程师,建成了惊人的基础设施。

David:产品有了,基础设施也有了,只是缺少市场拓展团队。

Ben:他们的产品化方式太 Google 式了,只考虑工程师,不懂企业该怎样构建系统。这一切后来都改变了。2022 年营收达到 260 亿美元,2023 年成了真正有竞争力的第三大云服务商,并在 2023 年开始盈利。如今年化营收已超过 500 亿美元,同比增长 30%,五年增长五倍,是大型云服务商中增速最快的。

原因主要有三点:(1)他们终于理解如何服务企业;(2)他们坚定推进多云策略,按企业开发者的实际需求来做;(3)AI 为所有超大规模云厂商带来顺风,因为这些工作负载需要大量数据、算力和能源,只能放在云端。而在 Google Cloud 上你可以用大量自研 TPU,其他公司却在拼命向 NVIDIA 争取 GPU 配额。如果你愿意不使用 CUDA,转而构建在 Google 的技术栈上,他们就有充足的 TPU 可供使用。

David:所以我们才把 Cloud 留到这一期讲。我觉得 Google Cloud 有两项战略价值,当年推出 App Engine 时他们或许没有预见到,但今天对 Google 极其重要。

第一,云是 AI 的分发渠道。如今想参与 AI 市场,你要么拥有优秀应用、优秀模型、出色芯片,要么拥有优秀云服务。Google 想同时具备这四项。我想没有其他公司拥有其中两项以上。

Ben:我觉得这个判断很对。看看大型 AI 玩家:NVIDIA 也有云服务,但不太算,它本质上只有芯片。芯片做得最好,也是大家最想要的芯片,但终究还是芯片。

再看看其他大型科技公司。Meta 目前只有应用,暂时完全退出了前沿模型竞争,之后看看他们这轮大规模招聘能带来什么。Amazon 呢?有基础设施,也许有应用。我不太清楚 Amazon.com 算不算,但它肯定会从 LLM 中受益。

David:它的核心还是云。

Ben:而且它是云服务领导者。Microsoft 主要也是云服务。他们也做一些模型,但……

David:他们也有应用,不过没错,核心还是云。

Ben:Apple 呢?

David:什么都没有。

Ben:什么都没有。AMD 只有芯片。

David:OpenAI 有模型,Anthropic 有模型。

Ben:这些公司没有自己的数据中心。它们在谈自研芯片,但还没做成,肯定没有规模。Google 有大规模数据中心、大规模芯片,以及大规模模型使用场景,包括 google.com 上的 AI Overviews。

David:还有大规模应用。Google 拥有 AI 的所有支柱,我觉得没有别的公司超过一个。

Ben:而且他们是最有能力承受损失的公司。

David:TPU 芯片这一点尤其重要。如果 Google 没有云服务,就不会有面向外部客户的芯片业务,只会有内部芯片。外部公司、用户、开发者和模型研究人员想用 TPU,只能通过 Google Cloud 获得。Amazon 和 Microsoft 绝不会把 Google 的 TPU 放进自家云里。

Ben:以后再看吧。

David:以后再看,我想也是。

Ben:我觉得一年内可能就会发生。已经有传闻说,接下来几个月一些新型云厂商就会提供 TPU。

David:有意思。

Ben:还没正式宣布,但 TPU 很可能很快就在新型云服务商那里上线。那 Google 为什么要这么做?是想像 NVIDIA 一样靠卖芯片赚钱?我觉得不是。他们更可能是在芯片周围建立生态,就像 CUDA 一样。要让生态可信,芯片必须容易获得,而且能在大家运行现有工作负载的地方使用。

David:如果真能发生,会很有意思。你也许说得对,未来 AWS 或 Azure 可能会提供 TPU。但如果 Google 没有自己的云,也没有途径让开发者使用 TPU、产生使用需求,Amazon 或 Microsoft 会说“好吧 Google,我们来买些 TPU”,哪怕没有开发者在用吗?我觉得不太可能。

David:好,接下来进入分析。我觉得这期必须谈谈看多与看空的情形。

Ben:这次必须谈。

David:得把看多、看空环节重新加回来。

Ben:讲当前情况的节目,应该描绘各种可能的未来。

David:我喜欢把看多、看空环节加回来。然后再谈经营手册、优势、本质,最后收尾。

Ben:好,我先讲看多的论据。Google 几乎是所有人进入互联网的入口,拥有极广的分发渠道,想怎么引导流量都可以。AI Overviews 和 AI Mode 就是例子。尽管很多人在许多场景会用 ChatGPT,我猜 Google 的流量依然接近历史最高水平,而且搜索已经是默认习惯。

David:没错,非常强大。

Ben:这当然赌的是 Google 能否落实计划,把 AI 做成好生意,但主动权仍然在他们手里。

David:而且他们有可行产品。我看不出 Gemini 一定比 OpenAI 或 Anthropic 的产品差。

Ben:我完全同意。这是创造价值和获取价值之间的区别。创造价值方面,他们已经很强;如何获取价值还不确定。Google 以前的变现方式是历史上最优秀的商业模式之一。这才是关键。别误以为 AI 体验不好,它的体验很好。

我们谈过 Google 拥有所有胜出 AI 需要的能力,而且优势巨大:基础模型、芯片、超大规模云服务,以及可自我维持的资金来源。另一个更惊人的地方是,云服务商和 NVIDIA 都能自我维持,但模型公司都不能,它们仍然依赖外部资本。

David:Google 是唯一有自我维持资金来源的模型公司。

Ben:这不是很疯狂吗?其他大型基础模型公司的使用规模都很大,但本质上还是创业公司。Google 则由庞大的现金流支持,甚至还有余钱给股东发放回报。记住,我们现在讲的是看多情形。

David:你这么一说,确实如此。

Ben:还有一点没提:Google 数据中心之间的骨干网络带宽极大。2000 年互联网泡沫破裂后,他们以极低价格买下了大量暗光纤,过去十年逐步启用。现在他们拥有自有的私有骨干网络,连接各地数据中心。没有其他公司有这样的基础设施。它当然也服务 YouTube,带宽非常充足。

David:这本身就是 Google 未来的另一项看多理由。

Ben:说得好。

David:录制前一天,Ben Thompson 刚发表了一篇关于这个问题的重要文章。

Ben:这篇文章是本周极其看多 Google 的论述,其中一个观点很有意思。文本互联网是旧互联网,是互联网的第一种形态,因为当时带宽有限。真正有吸引力的用户体验应该是……

David:视频。

Ben:……到处都有高分辨率视频,随时可以观看。

David:我们已经生活在 YouTube 互联网里了。

Ben:Google 不仅能用唯一一个同时覆盖长视频和短视频的大规模用户原创内容来源训练模型,还拥有全球第二大搜索引擎和巨大的内容平台。比如,他们预告过以后可以在视频里展示 AI 识别或标注出来的商品。

如果他们愿意,就可以自动识别每个视频里的每件商品,让所有内容立刻都能购物化,完全不需要人工处理。之后像现在一样投放广告即可。这让我打开了思路。Ben 是昨天——或者你们听到节目时可能是几周前——发表了这篇文章。

David:此外,他们还在开发许多视频 AI 应用,比如 Flow 和 Veo。想想这些东西会怎样帮助 YouTube 生成视频,提升用户参与度和广告收入。这会很有效。

Ben:没错。Google 仍然人才济济,虽然有人才流失,也有人离开;但他们证明了愿意花数十亿美元招募和留住真正重要的人。

再谈谈芯片的单位经济效益。所有购买 NVIDIA 芯片的公司都在付 75% 到 80% 的毛利率,相当于制造成本的四五倍售价。

很多人把它称作 Jensen 税或 NVIDIA 税。你可以说这是好生意,也可以说是定价权或供应短缺,但事实是:凡是不自制芯片的公司,都要向 NVIDIA 支付非常高的溢价。

Google 仍要给芯片硬件合作方 Broadcom 支付一定利润,由 Broadcom 负责大量芯片制造工作,并与 TSMC 对接。我听说 Broadcom 与 Google 合作制造 TPU 时的利润率约为 50%,而 NVIDIA 是 80%。差距依然非常大。供应商毛利率 50% 和 80% 的区别,可能意味着两倍加价与五倍加价之差。

David:我想确实如此。

Ben:这样看,成本影响差距巨大。有人可能会问,芯片真的是运行数据中心或训练模型的最大成本吗?芯片确实是主要成本。它们折旧很快。考虑到芯片性能的发展极限、下一代模型的需求,以及 TSMC 的制造速度,折旧年限最多也就五年。

David:五年都很乐观。想想看,五年前我们离 ChatGPT 还有两年。

Ben:顺便说,我最喜欢这一点。我们今年去 GTC 时,Jensen 谈到了 Blackwell,也提到了 Hopper。他说:“嗯,现在你们不想要 Hopper。”虽然我的销售团队会恨我这么说,但现在真的不该买 Hopper。那就是 H100,正是我们最近做 NVIDIA 那期节目时的明星芯片。

David:变化太快了。

Ben:我看过一些估算,运行 AI 数据中心的成本中,超过一半来自芯片及其折旧。人员成本也不少,包括研发、招聘 AI 研究员和软件工程,这部分大概占 25% 到 33%。电费反而很少,只占 2% 到 6%。

所以如果分析 Google 做这些业务的经济效益,就会发现对芯片供应商支付的利润率极其敏感,因为芯片是整个业务的最大成本来源。

为准备本期节目,我和 Atreides Management 的合伙人 Gavin Baker 核对过一些数据。他是研究这个领域多年的优秀公开市场投资人。我们还在 NVIDIA GTC 预热节目中采访过他。

他指出,历史上很多技术时代,成为最低成本生产者并不那么重要。Google 不是因为搜索成本最低才胜出,Apple 也不是靠最低成本取胜,胜出的原因并非如此。

但这一次可能不同,因为 AI 公司没有传统科技、特别是软件公司常见的 80% 毛利率。这些 AI 公司顶多能做到约 50% 毛利率。

Google 自己运营基础设施,又能使用加价较低的硬件,因此可以成为 token 生产成本最低的供应商。这可能非常重要,甚至会让 Google 成为全球 token 生产领域的赢家。

David:这是个很有说服力的看多理由。

Ben:这是一个绕了不少弯的看多分析,但说到底,它们生产 token。

David:我再补充一个看多 Google 的理由。上一期 Alphabet 节目提到,Google 的其他产品——Gmail、Maps、Docs、Chrome、Android——都拥有关于你的个性化数据。Google 可以用这些数据为你打造其他公司无法复制的个性化 AI 产品。

Ben:这个观点也很好。看多论点的核心问题是:相比搜索,AI 是不是一门好生意?搜索是门好生意,目前 AI 还不是。但抽象来看——毕竟现在在讲看多理由——它理应是一门好生意。传统网页搜索的平均查询长度只有两三个词。

我和 Bill Gross 聊过。他指出,AI 聊天里用户经常输入 20 多个词,因此广告模式应该会出现,广告单价也可能高很多,因为系统能够更准确地理解用户。

David:用户的意图也更明确。

Ben:你会非常了解用户想要什么,可以据此决定是否向他投放广告。AI 很适合做精准广告。关键是设计用户界面、决定付费和免费功能的搭配,以及广告模式到底是什么。理论上,尽管今天还不知道产品最终形态,但它应该很容易变现。

AI 是一种惊人的变革体验。过去用户要么在现实世界里完成某些互动,要么根本没有这种互动,例如提出问题并花时间阅读答案;如今这些互动都发生在 AI 聊天中。数字互动的整体市场似乎比搜索时代更大。因此,市场扩大后,变现收入理应增加。

另外一个看多理由是 Waymo 本身就可能发展成一家和 Google 一样大的公司。

David:我刚才也想到这一点。只算搜索替代市场还不够,Waymo 和 AI 在传统搜索之外的其他应用都可以扩大整体市场。

Ben:最后还有一个近乎“银河大脑”级别的看多理由:如果 Google 真能创造 AGI,那其他一切都不重要了,AGI 会是最有价值的东西。

David:这好像超出《Acquired》这一集的讨论范围了。

Ben:确实有点脱节,我同意。

Ben:看空理由。到目前为止,讨论都很有意思,但 AI 产品本身还不太适合广告。创造的价值更多了,实际能获取的价值反而少了。粗略估算一下,Google 在美国每年从每个用户身上赚约 400 美元。它提供免费服务,人人都在用,却能年赚约 400 美元。谁会每年花 400 美元用 AI?只有很小一部分人。

David:确实有人会付钱,但不可能所有美国人都会付。

Ben:当然有人愿意付 1,000 万美元。但如果只看当下,我看不到明确的价值变现路径。回想 Google 1998 年上线,到了 2000 年就推出了 AdWords,迅速找到了绝佳的变现方式。

David:非常快。另一个看空理由是,回顾 1998 年 Google 上线时,产品明显更好;这次可不是这样。

Ben:对。现在有四五个优秀产品。

David:Google 最早推出的专用 AI 聊天产品明显不如别人;现在 Gemini 大概与另外几家产品差不多。

Ben:Google 占搜索市场 90%。我不知道它占了多少 AI 市场份额,肯定不是 90%。是 25% 吗?我不知道,但长期来看,它可能占 25%,最多 50%。这个市场会有好几家大公司竞争。因此即使 Google 每个 AI 用户都能像搜索用户那样充分变现,它拥有的用户也少得多。

David:至少目前看起来是这样。

Ben:AI 可能会取代大多数搜索场景;即使不会,也可能抢走很多价值最高的搜索。如果我要计划旅行,我会去问 AI,而不会再用 Google 搜索,看到 Expedia 广告。

David:健康也是一个很大的领域。

Ben:比如我觉得自己可能得了间皮瘤,我想确认到底是不是。那律师广告该放在哪儿?或许还能放进去,也可能只是广告产品的问题。但这都是价值很高的……

David:搜索查询。

Ben:……之前的搜索。它们似乎是最早被 AI 抢走的高价值需求。还有其他看空理由吗?

David:我能想到的最后一个看空理由是,这次他们是现有巨头。和 Google 当年作为创业公司,或在移动转型期间一样,公众和生态系统不一定会支持他们。

如今创业公司更能赢得人心。我觉得这无法量化,但至少会让 Google 这条路更难走。

Ben:你说得对。最初那段时期,他们得到了极强的公关和公众好感顺风。

David:这也有系统性因素。如今整个科技行业、尤其大型科技公司,相比十到十五年前,普遍更不受这个国家和世界的欢迎。

Ben:科技公司的重要性更高了,现在它们是基础设施,不再是弱小挑战者。

David:这也会影响 OpenAI、Anthropic 和其他创业公司,不过我觉得程度稍轻。

Ben:和 Google 相比,他们更早就得表现得像大型科技公司。Google 在 IPO 静默期还接受了《花花公子》采访。时代变了。

David:不过考虑到 OpenAI 那些闹剧,我也不觉得它像一家成熟公司。

Ben:有道理。

David:公司实体也好,总之有道理。

Ben:我大部分经营手册分析都已经融进前面的故事了。要不谈谈七大力量?

David:好。来用 Hamilton Helmer 的“七大力量”分析 AI 时代的 Google:规模经济、网络经济、反向定位、转换成本、品牌、稀缺资源,以及流程能力。

Ben:关键问题是,其中哪些能让企业长期获得高于竞争对手的回报?是什么让它能持续比最接近的竞争者赚得更多?通常我们会分析整家公司,但这次应该只看 AI 产品。

David:同意。

Ben:也就是看 Gemini、AI Mode、AI Overviews 与 Anthropic、OpenAI、Perplexity、Grok、Meta AI 等产品竞争时的情况。

David:规模经济肯定算一项。在 AI 领域里,规模效应比传统科技产品更强。

Ben:Google 的规模优势就是更大。看看它如何把模型训练成本分摊到每次 Google 搜索上。我相信 AI Overviews 用的是高度精简的模型,但想想其他模型公司需要多少推理 token,而 Gemini 需要多少。Google 可以把固定训练成本分摊到海量推理上。我见过一张很惊人的图,之后会发给邮件订阅用户。

2024 年 4 月,Google 所有服务每月处理 10 万亿个 token。2025 年 4 月,这个数字接近 500 万亿。一年之内,通过推理在 Google 服务中提供的 token 数量增加了 50 倍。

从 2025 年 4 月到 6 月,一个月不到 500 万亿个,增长到略低于 1,000 万亿个 token。严格说是 980 万亿,但现在已经是夏末,肯定超过了 1,000 万亿,甚至可能达到数千万亿。

David:哇。

Ben:因此,除了分摊硬件成本等明显规模经济之外,他们还能把训练成本分摊到海量价值创造上。

David:规模经济肯定是最大的力量。

Ben:我觉得转换成本相对较低。我有时用 Gemini,有时也很容易换到别的产品。等它变成了解你个人的 AI,整合日历、邮件等内容后,转换成本可能就会上升。

David:目前 AI 产品还没有真正形成转换成本,不过我预计未来会有。

Ben:企业领域肯定已经有转换成本。那网络效应呢?我不觉得别人也用 Gemini 会让我的体验更好,因为 Google 不需要用户主动参与,就能抓取整个互联网的信息。

David:同意。我相信 AI 公司未来会出现网络效应,也能想到一些实现方式,但目前还没有。至少对基础模型公司而言,暂时看不到明显的网络效应。

Ben:Hamilton 说的“分销”属于什么力量?Google 有别人没有的分销能力。即便 ChatGPT 有广为人知的品牌,Google 的分销依然惊人。我不知道这算不算稀缺资源?

David:大概算稀缺资源吧?是的。

Ben:毫无疑问。

David:Google 搜索肯定是稀缺资源。

Ben:它没有反向定位,反而遭到反向定位。我不觉得它有流程能力,除非他们能持续创造下一代 Transformer,但目前还没有明显证据。很多实验室都在做出色的研究。品牌算一项力量。

David:品牌这项有点微妙。我本来想说,这和刚才的看空理由有关:Google 是现有巨头。

Ben:品牌力量有好有坏,但我觉得总体是正面的。

David:大多数人确实信任 Google。

Ben:他们可能不信任那些 AI 公司,谁知道呢?但我信任 Google。只要他们愿意继续发布前沿产品,品牌带来的好处应该超过负面影响。

总结一下,最大的力量是规模经济,然后是品牌和稀缺资源。

David:未来可能还有转换成本。没错,我觉得就是这样。

Ben:值得注意的是,Google 并不具备所有力量。搜索业务显然拥有全部或大多数力量。

David:这点很值得玩味。

Ben:好几个月来,我花了几十个小时研究这家公司,最后浓缩出的核心结论是:这是历史上最有意思的“创新者的窘境”案例。

Larry 和 Sergey 仍掌控公司,而且他们反复说过,宁愿破产也不要在 AI 上落败。他们真的会这么做吗?如果 AI 不如搜索赚钱——当然直觉上它应该会,也必须会,因为创造的价值实在太大——但如果它最终没那么赚钱,他们要在两个结果之间选择:一是实现使命,整理全世界的信息并让人人都能访问和使用;二是保住全球最赚钱的科技公司地位。他们会选哪一个?如果使命最重要,他们就应该比现在更激进地推进 AI Mode,甚至彻底转向 Gemini。这是一个很难把握的平衡。

我其实很佩服他们目前保护核心业务的做法,但也可能出现一种情况:搜索业务的根基正在被慢慢侵蚀,只是财务数据还没体现出来。我也不确定。

David:我完全同意。受你的影响,我想我的核心总结也有点类似。如果看看所有大型科技公司,尽管 Google 的处境看起来并不乐观,但现在它可能是最努力在 AI 领域寻找平衡点的公司。

Sundar 和领导团队值得肯定。他们在作出艰难决策,例如合并 DeepMind 和 Brain、整合并统一到一个模型、快速发布产品,同时又没有仓促行事。

Ben:确实很难。要做到快速但不草率。

David:当然,现在这一切还处于早期阶段,十年后我们再看最终会发展成什么样。

Ben:同时肩负使命守护者和上市公司业务守护者这两种职责,非常困难。Sundar 和公司处理得相当好,尤其考虑到五年前他们所处的位置。我觉得这是历史上最值得观察的案例之一。

David:完全同意。好了,Google 系列暂时讲到这里。

Ben:好,来聊聊各自的推荐内容。

David:好。首先有个特别开心的消息要和大家分享。NFL 给我们打电话了。

Ben:我们要去超级碗啦!

David:《Acquired》要去超级碗现场。这太酷了。

Ben:简直是最疯狂的事。

David:超级碗那周,NFL 会举办一场创新峰会,就在超级碗周日前的星期五。今年 2 月,超级碗将在 San Francisco 举行。NFL 回到 San Francisco 办超级碗,顺势举办创新峰会很合适,而我们将担任主持人。

Ben:没错。活动会安排很棒的台上访谈和节目。我们没办法在超级碗那周,把数百万听众都塞进 San Francisco 一间小礼堂里;其他场地也会排满活动。但大家可以在线观看直播。等 2 月临近时,我们会告诉大家怎么收看主持、访谈以及超级碗周的各种庆祝活动。

David:这会是精彩的一天,也是迈向精彩周日的好开端。

Ben:说到体育,我终于去看了《F1》。非常棒。不管你是不是 F1 粉丝,我都很推荐去看,电影拍得太美了。

David:太棒了。你是在电影院看的,还是……?

Ben:对,我去电影院看了。

David:哇,不错。

Ben:可惜错过了 IMAX 场次,但电影很好看。我已经很久没进电影院了。不管是在家还是影院看,我都推荐去影院;不过无论在哪里看,环绕声体验都会很棒。

David:我上次进电影院还是看 Taylor Swift 的 Eras Tour。我想这更能说明我现在有两个小孩,家庭生活有多忙。

Ben:我的第二个推荐——你们笑我也没关系——是 Travelpro 行李箱。

David:这是飞行员和空乘用的那个品牌,对吧?

Ben:可能吧。我好像见过他们用。有时他们会用 Briggs and Riley 或 Tumi 之类的高端品牌。Travelpro 不是最高端的行李箱,但我为了带 2 岁的孩子出国旅行,买了两个很大的。

必须说,它们很结实,轮子滑得顺、推起来很稳,功能齐全。软壳箱可以塞很多东西,同时又有足够厚的保护层,所以即使装得很满也不容易坏。这大概是能买到的最便宜的行李箱了。

我看的这款大型国际托运行李箱,在 Amazon 上现在卖 416 美元。我见过更便宜的价格,他们经常有促销。这个箱子几乎满足了我所有要求。我原来以为自己会买 Rimowa 之类的高端箱子,但这款已经完美了。我可能还会再买几个 Travelpro。

David:再买几个 Travelpro,不错。家庭旅行时没必要带太贵的东西。

Ben:没错。我一开始想“这趟旅行买个便宜箱子凑合一下”,结果用得很好。我不明白为什么不全套都买 Travelpro。

David:太棒了。

Ben:这就是我推荐给大家的预算款好物,便宜但好用。

David:我喜欢《Acquired》现在变成 Wirecutter 测评节目了。

Ben:我的推荐就到这里。

David:好。我也有两个推荐,一个是常规推荐,另一个是持续更新的 Google 推荐系列。先说常规推荐:播客《Glue Guys》。

Ben:噢,太好了。那几个人都很棒。

David:节目特别有意思。我们朋友 Ravi Gupta 是 Sequoia 合伙人,他和好友 Shane Battier(前职业篮球运动员)以及 Alex Smith(曾效力于 49ers、Kansas City Chiefs 和 Redskins 的前四分卫)一起主持,几个人的互动特别好,很有趣。

他们一半的节目像我们一样是几位主持人聊天,另一半会邀请嘉宾。Ben 和我几周前也去上了节目,聊得很开心。当时我们还谈到,不同集的表现有好有坏,以及做节目时承受的压力。

他们提到自己采访过一位叫 Wright Thompson 的人,那集只有 5,000 次收听,几乎没人听,但内容特别棒。他们的想法不是“没人听,我很丢脸”,而是“那些还没听到这集的人真可惜,因为它太好了”。我听完觉得,这才是看待自己节目的正确方式。

Ben:所以你是在把这份礼物送给大家……

David:我们确实要把这份礼物送给大家。于是我想:“好吧,我自己也该去听听这集了。”

我以前不认识 Wright Thompson,但这些年可能在杂志上读过他的文章,却没记住名字。他是个很酷的人,说话有和 Bill Gurley 一样的口音。听他讲话,就像 Bill Gurley 不当风投、转而只写体育,花一辈子研究运动员和教练的思维、心理状态一样。特别有意思,强烈强烈推荐。

Ben:好,我现在就把这集加入收听列表。

David:好,这是我的推荐。还有,我要继续更新家里的电子游戏故事。Google 第一部时,我说自己在 Switch 2 和 Steam Deck 之间犹豫。

Ben:对。你先买了 Steam Deck,因为你觉得女儿还不够大,不能跟你一起玩,于是就自己买了。

David:对,当时我觉得如果只是自己玩,Steam Deck 更合适。我有新进展。

Ben:你还买了 Switch?

David:还没有。不过发生了特别不可思议的事。我女儿发现家里多了一台爸爸偶尔会玩的设备。我们在度假时我正玩 Steam Deck,她问:“那是什么?”我来告诉你。

我最近在玩一款很酷的独立复古 RPG,叫《Sea of Stars》。它像《超时空之轮》那种 Super Nintendo 风格的角色扮演游戏。女儿过来问能不能看,我说:“当然可以。”我能玩游戏,而她坐在旁边靠着我,太棒了。

Ben:我能玩电子游戏,还可以说是在陪孩子。

David:后来更棒。大概两周前我们在玩,她问:“爸爸,我能试试吗?”我说:“当然可以。”然后把 Steam Deck 给她。这是我当父亲以来最难忘的体验之一,因为她还不会玩游戏。我看着她学会用摇杆、按按键。

Ben:哇,监督式学习。

David:是啊,监督式学习。我告诉她该做什么,两三天晚上后她就学会了。她还不识字,却弄明白了。我实时看着她学会玩游戏。

最近这一周,大部分时间变成她在玩,我在旁边帮她提问题:“你觉得接下来该做什么?要不要去那里?我觉得目标在那儿……”真的特别特别好玩。

我想过不了多久,我可能就会给她买一台 Switch,她生日快到了,这样我们可以一起玩。但没想到 Steam Deck 成了我快满 4 岁女儿接触电子游戏的“入门毒品”。

Ben:太棒了,这就是年度家长。可以玩电子游戏,还能说……“亲爱的,我来处理。”

David:没错,我来处理。

Ben:听众们,本期有很多人要感谢。我们和许多人聊过,他们都帮助我们完成了这集节目。

David:首先感谢《Wired》的 Steven Levy 和他那本经典著作《In the Plex》。它是我们三期 Google 节目的重要资料来源,一定要买来看看。

也感谢 Bloomberg 的 Parmy Olson,她写了关于 DeepMind 和 OpenAI 的《Supremacy》,是本期的主要资料来源。

我想还要感谢 Cade Metz,对吧?

Ben:对,他写的《Genius Makers》是很棒的书。

David:也要感谢研究时帮忙的 Max Ross、Liz Reid、Josh Woodward、Greg Corrado、Sebastian Thrun、Anna Patterson、Bret Taylor、Clay Bavor、Demis Hassabis、Thomas Kurian 和 Sundar Pichai。

还要特别感谢 Nick Fox。他是唯一一位参与了我们三期 Google 节目研究的人,帽子戏法完成了。

Ben:也感谢 Worldly Partners 的 Arvind Navaratnam,他写了篇很好的 Alphabet 分析,链接放在节目说明里。

感谢 TPU 原始团队成员 Jonathan Ross。他如今是 Groq 的创始人兼 CEO,公司正在开发推理芯片。

感谢 Waymo 的 Dmitri Dolgov 和 Suzanne Philion。

感谢 Atreides Management 的 Gavin Baker。

感谢 Spyglass 作者 M.G. Siegler。他是我最喜欢的科技作家和评论人之一。

David:他是 TechCrunch 的元老作者。

Ben:没错。还要感谢 Ben Eidelson,他是本期很棒的讨论伙伴,最近也在 Stepchange 播客上做了一期关于数据中心历史的精彩节目。如果还没听过,我强烈推荐。那是他们整档节目才做的第三期,却已经有三四万次收听,势头正猛。

David:太棒了。兄弟,他们第三期的数据比我们当年好太多了。

Ben:确实好太多了。如果你喜欢《Acquired》,一定也会喜欢《Stepchange》。Ben 是我们的好朋友,强烈推荐去听。

还要感谢 Google DeepMind 核心 Gemini 模型团队的 Koray Kavukcuoglu。

感谢 Grammarly CEO、前 YouTube 产品负责人 Shishir Mehrotra。

感谢 Phaidra CEO、DeepMind 前团队成员 Jim Gao。

感谢 Benchmark 合伙人 Chetan Puttagunta。

感谢 Akash Patel 帮我思考本期的结论,也感谢 Oakcliff Capital 的 Bryan Lawrence 帮我分析 AI 数据中心的经济模型。

如果喜欢本期节目,可以收听我们讲 Google 早期历史、也就是 Google 第二部的 Alphabet 节目,当然还有 Microsoft 和 NVIDIA 系列。听完本期后,也可以收听我们采访 Shopify 创始人兼 CEO Tobi Lütke 的 ACQ2,然后到 acquired.fm/slack 的 Slack 社群和我们讨论。

David:别忘了《Acquired》十周年庆祝活动。我们会和大家一起开一场公开 Zoom 会议,就像过去和有限合伙人开的电话会。听众们都可以参加,时间是 10 月 20 日下午 4 点,太平洋时间。详情请看节目说明。

Ben:听众们,就这样,我们下次再见。

David:下次再见。

‍

‍

— A LITTLE MORE TO THINK ABOUT. —