Jeff Dean 与 Noam Shazeer：在 Google 的 25 年——从 PageRank 到 AGI

访谈将 Jeff Dean 和 Noam Shazeer 描绘为 Google 技术演进的长期参与者。Dean 参与了 MapReduce、BigTable、TensorFlow 和 Gemini 等系统；Shazeer 则参与开发 Transformer 和混合专家方法。Dean 说，公司规模扩大后，任何人能掌握的信息都会改变：在 25 人的公司里认识每位同事，后来则会遇到从未听说过的项目。他认为，在大型组织中建立广泛人脉有助于找到合适的专业人士。

两位嘉宾的职业生涯都始于 AI 尚未成为主流商业领域时。Shazeer 看到 Google 搜索业务增长后加入公司，希望将来能资助自己长期从事 AI 研究；他在 2000 年左右就对 AI 感兴趣。Dean 说，Google“组织全球信息”的使命本身就很广泛，要求公司不断打造更先进的系统。他们的经历把早期搜索基础设施和神经网络实验，与后来的大规模 AI 研究联系起来。

Dean 说，硬件发展从通用 CPU 的快速提升转向 TPU 和机器学习 GPU 等专用加速器。如今搬运数据比算术运算更昂贵，深度学习因此受益于以矩阵计算为主的任务。Google 围绕低精度线性代数设计 TPU，之后推理还采用更低精度。Dean 将这视作硬件与算法协同设计：量化可以提升吞吐量、降低成本，但算法研究者必须理解权衡，而不能只把低精度视为风险。

Dean 回忆，1990 年的本科论文比较了在 32 处理器超立方体机器上进行模型并行和数据并行的反向传播训练。神经网络能解决当时其他方法无法处理的玩具问题，让他很兴奋，但那时算力远远不足以解决真实问题。后来摩尔定律让神经网络可用于实际任务。2007 年，Google 机器翻译团队使用基于两万亿词语的五元语法模型；Dean 改造其存储和查询系统，将翻译一句话从一整晚缩短到约 100 毫秒。这说明系统工程能把有潜力的模型变成实用服务。