Google 第三部：AI 公司

主持人把 Google 面临的 AI 挑战描述为经典的“创新者的窘境”。想象一家公司的业务利润极高、市场份额巨大，而且客户很难离开；公司自己的研究人员却创造了一项技术，可以做出比现有产品更好的产品，而现有产品恰恰是利润来源。推出新产品可能会冲击原有现金牛；如果按兵不动，创业公司就可能先把发明商业化。节目把这个两难局面套用到 Google：Google 的研究人员帮助创造了 Transformer，但基于它的 AI 产品开始挑战为 Google 提供资金的搜索体验。

主持人并没有把威胁说成抽象概念，而是指出 Transformer 论文在更广泛 AI 生态中的作用，以及 Google 特别强大的位置：Gemini、自有云基础设施、定制 TPU 芯片，以及仍是多数人互联网入口的搜索框。这些资产使 Google 能在模型、芯片、基础设施和分发渠道等多个方面竞争。但开场留下的仍是战略问题，而不是技术问题：Google 应不应该冒着损害搜索经济效益的风险来领先 AI，还是保护利润、却可能因此拖慢响应？主持人把这个选择视为尚未解决的问题，并未断言哪一方已胜出。

节目认为，Google 的 AI 优势既来自人才集中，也来自某项发明。它列出一批后来创办或领导 OpenAI、Anthropic 等机构的人，以及在 Tesla、DeepMind 工作的人。主持人把这种人才集中度比作一家 IBM 把全世界所有会编程的人都招了进去。这个类比故意说得极端，但也抓住了当时 AI 专业知识稀缺的事实：研究需要特定的博士项目、少数导师，整个领域还在争论哪些研究方向是正统。

Larry Page 对 AI 的兴趣也早在 Google 创立前就已形成。他的父亲研究机器学习与人工智能，当时这个领域并不受欢迎；PageRank 本身也可以看作与 AI 相关的一种统计方法。主持人把这段背景与 Larry 在 2000 年的描述联系起来：终极搜索引擎应该理解整个 Web 和用户想要什么。因此，Google 长期以来就有让搜索更智能的雄心。真正的难题是，一旦 AI 能够改变产品本身，Google 要如何推进这个雄心。

故事的早期线索出现在 2000 或 2001 年的一顿午餐上。Google 工程师 George Herrick、Ben Gomes 和刚入职的 Noam Shazeer 讨论了一个想法：从技术上说，压缩数据可能等同于理解数据。类比是学习教科书内容，之后再把概念还原出来：如果系统能把信息缩小再恢复，也许它已经抓住了信息的某些含义。节目并未声称这场讨论解决了机器理解的本质，而是说明这一推测如何引导工程师研究自然语言的概率模型，并预测接下来会出现什么词语序列。

尽管不少同事觉得这项研究浪费人才，Herrick 和 Shazeer 仍继续推进。他们打造了当时规模相当大的语言模型 PHIL。2003 年，Jeff Dean 使用 PHIL 帮助实现 AdSense，让 Google 能根据第三方网页内容匹配广告，为已有的广告系统大幅增加库存。同一项研究还催生了 Google 的“您是不是要找”拼写纠正功能，减少用户输错查询后再次搜索的麻烦，也避免系统为错误查询白做一遍搜索。这些例子清楚连接了探索性研究与产品价值：早在对话式 AI 成为消费产品之前，语言模型就已经对 Google 有用。

Google 早期语言模型研究始于一个范围很窄、定义清楚的问题：识别可能的拼写错误，例如用户输入“god groomer”，但实际想搜的是“dog groomer”。如果系统很有把握，就可以直接更正，而不必要求用户重新输入。团队把当时较大的模型称为 PHIL。2003 年，Susan Wojcicki 和 Jeff Dean 用它理解第三方网站、也就是发布商网页的内容，从而把 Google 的 AdWords 广告投放到这些页面上。主持人认为，AdSense 通过扩充现有广告系统的库存，创造了新的巨大收入来源。

同一项研究也支持了“您是不是要找”拼写纠正功能。它改善了用户输入错误查询时的体验，也让 Google 不必为随后会被正确搜索取代的错误查询提供一遍结果。主持人把这种实际价值与 Google 整理信息的使命联系起来：压缩并重建语言，与改善产品和理解信息都有关。然而模型消耗了大量基础设施；据说到 2000 年代中期，PHIL 占用了 Google 数据中心容量的 15%，其中很多用于 AdSense 等服务。早期 AI 能创造真实经济价值，同时也会消耗稀缺算力。

Google Translate 成了一个很好的测试案例，可以检验更大的语言模型是否能从研究走向产品。Franz Och 的团队用 Google 搜索索引中的两万亿词训练了 n 元语言模型。它在 DARPA 机器翻译竞赛中表现出色，但翻译一句话要花 12 个小时。竞赛允许好几天准备结果，因此这样可以接受；消费者服务却无法等这么久。Jeff Dean 帮团队重构计算流程，使词语和句子可以并行处理。借助 Google 的分布式基础设施，平均翻译时间从 12 小时降到了 100 毫秒，最终得以部署到 Google Translate。

这个例子把算法进展与 Google 的工程优势连在一起。模型本身很重要，但跨 CPU 和数据中心分配工作，才能让它快到足以成为产品。系统投入生产后，Google 开始考虑其他用途，包括预测用户正在输入的搜索查询，以及根据广告的预期点击率计算 AdWords 广告质量分。主持人认为这直接影响 Google 的利润：模型的价值不只在于翻译，也在于它的预测能力能改善广告业务的经济效益。

Google 还有第二种能力：紧密的学术人才网络。2007 年，Larry Page 邀请 Sebastian Thrun 从 Stanford 的 AI 实验室 SAIL 加入 Google，先兼职，之后全职。Thrun 曾领导一间汇集知名研究者的实验室，也接触到一批 Stanford 本科生。主持人举例说，其中一些人后来成为科技行业领军人物，包括 Chris Cox 和 Sam Altman。这套网络不只是传统招聘渠道，而让 Google 能把研究人员、学生、教授和产品团队连在一起，同时让学者保留原有教职，为有机会服务数百万人的产品做研究。

Thrun 参与 Google Maps Ground Truth，说明这类研究网络如何解决产品瓶颈。在 Ground Truth 之前，Google 依赖 Tele Atlas 和 Navteq 提供地图数据，主持人认为这些数据既贵又不够好。Thrun 把自己参加 DARPA 挑战赛和 Street View 的经验带入 Ground Truth，利用 Google 自己拍摄的照片及其他数十种数据源重新绘制地图。项目结合了机器学习和大量人工劳动：主持人说 Google 在印度雇了约 1,000 人来解决数据差异、手工绘制地图。成果并非只有 AI 自动化，而是把数据采集、算法与人工审核整合成一套系统。