Dr. Fei-Fei Li: AI 教母谈工作、机器人，以及为什么下一步是世界模型｜Fei-Fei Li 博士
The Godmother of AI on jobs, robots, and why world models are next | Dr. Fei-Fei Li
Guests: Dr. Fei-Fei Li
Full transcript · Read the full conversation in order, with its original context.
Contents1 chapter
§01原文文稿 · 00:00–1:19:06§01原文文稿 · 00:00–1:19:06
很多人称你为 AI 教母。你所做的工作实际上是点燃了把我们带出 AI 寒冬的火花。
在 2015 年年中到 2016 年年中，一些科技公司会避免使用 AI 这个词，因为他们不确定 AI 是否是一个带有负面意味的词。大约 2017 年，企业开始称自己为 AI 公司。
我记得你在国会作证时说过一句话：AI 没有什么是人工的。它受到人的启发，由人创造，更重要的是，它影响着人。
我并不是认为 AI 不会影响工作或人。事实上，我相信 AI 现在或未来会做什么，取决于我们，取决于人类。我确实相信，技术总体上对人类有正面作用，但我认为每项技术都是一把双刃剑。如果作为社会和个人的我们没有做对事情，也可能把这件事搞砸。
你曾有一个突破性的洞见：好吧，我们可以训练机器像人一样思考，但它缺少人类从童年开始学习时拥有的数据。
我选择通过视觉智能的视角来研究人工智能，因为人类是深度依赖视觉的动物。我们需要用尽可能多的物体图像信息来训练机器，但物体非常、非常难学。一个物体在图像中呈现时，可能有无限种情况。为了用成千上万种物体概念训练计算机，你确实需要向它展示数百万个例子。
今天的嘉宾是 Fei-Fei Li 博士，她被称为 AI 教母。Fei-Fei 参与了许多最大突破，并处于其中的核心位置，这些突破点燃了我们如今正在经历的 AI 革命。她主导创建了 ImageNet，核心想法是意识到 AI 需要大量清晰标注的数据才能变得更聪明；这个数据集后来成为突破口，推动了如今构建和扩展 AI 模型的方法。她曾任 Google Cloud 首席 AI 科学家，那里诞生了一些早期最重要的技术突破。她曾任斯坦福人工智能实验室 SAIL 主任，许多最优秀的 AI 人才都从那里走出。她还是斯坦福以人为本人工智能研究院的共同创建者，该研究院正在对 AI 的发展方向发挥重要作用。她也曾担任 Twitter 董事会成员。她入选过《时代》杂志 AI 领域最具影响力的 100 人，也曾担任联合国咨询委员会成员。我还可以继续列下去。（00:02:29）在我们的谈话中，Fei-Fei 简要分享了 AI 世界如何走到今天，包括一个令人震撼的提醒：就在 9 到 10 年前，称自己是 AI 公司基本等于给品牌判了死刑，因为没有人相信 AI 真能奏效。如今完全不同了，每家公司都是 AI 公司。我们还聊到她如何看待 AI 未来对人类的影响，当前技术能把我们带到多远，为什么她如此热衷于构建世界模型，以及世界模型究竟是什么；最令人兴奋的是，全球首个大型世界模型 Marble 的发布，它在本期播客上线时刚刚推出。任何人都可以在 marble.worldlabs.ai 上体验。它非常惊艳，绝对值得去看看。Fei-Fei 的影响如此巨大，却仍然远未得到应有的关注，所以我非常高兴能邀请她来，把她的智慧传播给更多人。（00:03:22）非常感谢 Ben Horowitz 和 Condoleezza Rice 为这次谈话建议主题。如果你喜欢这档播客，别忘了在你最喜欢的播客应用或 YouTube 上订阅和关注。接下来，在一段广告之后，我将带来 Fei-Fei Li 博士。（00:03:37）本期节目由 Figma 赞助，Figma Make 的开发者。还记得我在 Airbnb 担任产品经理时，Figma 刚刚出现，它极大改善了我们作为团队的工作方式。突然间，我可以让整个团队参与设计过程，很快地对设计概念提出反馈，整个产品开发过程也变得有趣得多。但 Figma 似乎从来不是为我这种人准备的。它非常适合对设计提出反馈，但作为一个构建者，我想做出东西。这就是 Figma 开发 Figma Make 的原因。只需几条提示，你就可以把任何想法或设计变成一个功能完整的原型或应用，任何人都能继续迭代并与客户验证。Figma Make 是一种不同类型的 vibe coding 工具。因为它就在 Figma 里，你可以使用团队已有的设计构件，很容易做出外观良好、感觉真实，而且与你的团队构建方式相连接的成果。别再花那么多时间向别人讲述你的产品愿景，直接展示给他们。用 Figma Make 快速制作代码驱动的原型和应用。访问 figma.com/lenny 了解详情。（00:04:40）你知道吗，我有一个团队帮助我制作播客和 newsletter。我希望团队里的每个人都能在自己的岗位上开心并成长。Justworks 知道，员工不只是员工，他们是你的人。我的团队分布在科罗拉多、澳大利亚、尼泊尔、西非和旧金山。如果没有 Justworks，要在国际范围内招聘、按时以当地货币支付薪资，并全天候回答 HR 问题，我的生活会复杂到难以想象。但有了 Justworks，这一切非常容易。无论你是在设置自动化工资发放、提供优质福利，还是进行国际招聘，Justworks 都为你和你的员工提供简单的软件以及全天候人工支持。它帮你把人力资源做好，让你能善待自己的人。Justworks，为你的人服务。Fei-Fei，非常感谢你来这里，欢迎参加播客。
我很高兴来到这里，Lenny。
我更激动能请到你。这次能和你聊天真是太难得了。我有很多东西想谈。你长期以来一直处于我们现在所看到的 AI 爆发的中心。我们会聊一段很多人甚至不知道的历史，讲讲这一切是如何开始的。不过我先读一段《连线》杂志对你的评价，让大家对你有个大致认识；在开场白中，我还会分享你做过的其他所有了不起的事情。但我觉得这段话很适合先交代背景：‘Fei-Fei 是极少数科学家中的一员，这个群体小到也许能围坐在一张厨房餐桌旁；他们共同促成了 AI 最近惊人的进步。’（00:06:10）很多人称你为 AI 教母。与很多 AI 领袖不同，你是 AI 乐观主义者。你不认为 AI 会取代我们，不认为它会拿走我们所有的工作，也不认为它会杀死我们。所以我想从这里开始很有意思：你怎么看 AI 长期以来会如何影响人类？
好，Lenny，我先说清楚。我不是乌托邦主义者，所以我不是认为 AI 不会影响工作或人。事实上，我是人文主义者。我相信 AI 现在或未来会做什么，取决于我们，取决于人类。我确实相信，纵观文明发展的漫长历程，技术总体上对人类有正面作用。归根结底，我们是一个不断创新的物种。从几千年前留下的文字记录到今天，人类一直在创新自己、创新工具；借此我们让生活变得更好，让工作变得更好，建设文明，我相信 AI 也是其中的一部分。这就是我的乐观来源。但我认为每项技术都是一把双刃剑，如果作为物种、社会、社区和个人的我们没有做对事情，也可能把这件事搞砸。
我记得你在国会作证时说过一句话：‘AI 没有什么是人工的。它受到人的启发，由人创造，更重要的是，它影响着人。’我没有问题要问，只是觉得这句话太精彩了。
是的，我对此感受很深。我开始从事 AI 工作已经有二十五年了，过去二十年一直在培养学生。几乎每个从我实验室毕业的学生，我都会在他们毕业时提醒：你们研究的领域叫人工智能，但其中没有任何东西是人工的。
回到你刚才说的‘走向何方取决于我们’这一点，你认为我们需要把什么事情做对？我们该如何让它走上正确的道路？我知道这是一个很难回答的问题，但你的建议是什么？你认为我们应该记住什么？
好，我们有多少个小时？
我们如何让 AI 与人类目标保持一致？好，这就来解决它。
我认为无论做什么，人都应该成为负责任的个体。这是我们教育孩子的方式，也是在成年后需要做的事。无论你参与 AI 开发、AI 部署还是 AI 应用中的哪一部分，而且尤其是技术人员，我们很可能同时参与多个环节，我们都应该像负责任的个体那样行动，并且在意这件事。实际上，要非常在意。我认为今天每个人都应该关心 AI，因为它会影响你的个人生活，会影响你的社区，会影响社会和下一代。以负责任的态度关心它，是第一步，也是最重要的一步。
好，那我先退一步，回到 AI 的起点。大多数人开始听说并关心今天所称的 AI，是在 ChatGPT 出现之后，也就是几年前。可能是三年前。
三年前，差不多还要再过一个月，就是三年前。
哇，好。ChatGPT 就是在那时出现的。你心中的里程碑是这个吗？
是的。
好，很酷。我当时也是这样看的。但很少有人知道，在那之前有一段很长很长的历史，很多人一直在研究当时叫作机器学习的东西，还有其他一些术语；而如今一切都被叫作 AI。曾经有很长一段时间，很多人都在研究它。然后出现了人们所说的‘AI 寒冬’，几乎所有人都放弃了，很多人都认为：好吧，这个想法不会有结果。后来你所做的工作实际上成为带我们走出 AI 寒冬的火花，直接促成了我们如今所处的这个世界：我们谈论的几乎一切都是 AI。就像你刚才说的，它会影响我们所做的一切。所以我很想听你简要讲讲 ImageNet 之前的世界是什么样的，你创建 ImageNet 的工作是怎么回事、为什么它如此重要，以及之后发生了什么。
对我来说，当我一生都在 AI 领域从事专业工作时，很难记住 AI 对所有人来说都还很新。我的一部分自我只是觉得非常满足：我在刚过青春期时萌生的个人好奇心，如今已经成为改变文明的力量。它总体上是一项文明级技术。这段旅程大约持续了 30 年，或者说 20 多年、超过 20 年，能看到它发展到今天真的令人满足。那它是从哪里开始的？我甚至不是第一代 AI 研究者。第一代研究者可以追溯到 20 世纪 50、60 年代；Alan Turing 在 40 年代就走在时代前面，向人类提出了一个大胆的问题：‘机器会思考吗？’当然，他设计了一种具体方式来测试思考机器这个概念，也就是对话式聊天机器人。按照他的标准，我们现在已经有了思考机器。（00:12:02）但那只是比较轶事式的启发。这个领域真正始于 50 年代，当时计算机科学家开始共同研究如何利用计算机程序和算法，构建能够完成过去只有人类认知才能完成的事情的程序。那就是起点。1956 年达特茅斯研讨会的奠基者之一是后来来到斯坦福的 John McCarthy 教授，他创造了‘人工智能’这个术语。从 50、60、70 年代到 80 年代，是 AI 探索的早期阶段：我们有逻辑系统、专家系统，也对神经网络做了早期探索。（00:13:23）随后进入 80 年代末、90 年代和 21 世纪初。大约 20 年的这段时期，其实是机器学习的开端，是计算机编程与统计学习的结合。这种结合为 AI 带来了一个非常关键的概念：纯粹基于规则的程序，无法涵盖我们想象中计算机能够完成的大量认知能力。因此，我们必须让机器学习模式。一旦机器能够学习模式，就有希望完成更多事情。比如，你给它看三只猫，希望它不只是识别这三只猫，而是能识别第四只、第五只、第六只以及其他所有猫。这种学习能力是人类和其他动物的基本能力。作为一个领域，我们意识到：‘我们需要机器学习。’这就是 21 世纪初以前的发展。我在 2000 年正式进入 AI 领域，那时我在加州理工学院开始攻读博士。（00:14:33）所以我是第一代机器学习研究者之一，我们已经在研究机器学习，尤其是神经网络。我记得在加州理工学院上的第一门课之一就叫神经网络，但那段时间非常痛苦，因为仍然处于所谓的 AI 寒冬中期：公众不太关注，资金也不多，但有大量想法在流动。我认为有两件事让我的职业生涯靠近现代 AI 的诞生。第一，我选择通过视觉智能的视角研究人工智能，因为人类是深度依赖视觉的动物。我们的很多智能建立在视觉、感知和空间理解之上，并不只是语言。我觉得两者是互补的。（00:15:37）所以我选择研究视觉智能。在博士阶段和早期任教时，我和学生们坚定地围绕一个北极星问题工作：解决物体识别，因为它是感知世界的基础模块。我们在世界中进行解释、推理和互动，大体上都是在物体层面进行的。我们不是在分子层面与世界互动。有时会，但很少。比如你想拿起一个茶壶，不会说：‘茶壶由一百块瓷器组成，让我逐一处理这 100 块。’你会把它视为一个物体并与之互动。因此物体非常重要。我是最早将其识别为北极星问题的研究者之一。但作为 AI 学生和研究者，我也在研究各种数学模型，包括神经网络、贝叶斯网络以及许多其他模型。（00:16:53）其中有一个突出的痛点：这些模型没有可供训练的数据。整个领域都在关注模型，却逐渐让我意识到，人类学习和进化其实都是大数据学习过程。人类持续依靠大量经验学习；如果从时间角度观察进化，动物也是通过不断体验世界而进化。因此，我和学生们推测，让 AI 真正活起来、却被严重忽视的关键成分可能是大数据。于是我们在 2006、2007 年开始了 ImageNet 项目。我们的目标非常大胆：获取互联网上全部关于物体的图像数据。不过当时互联网比今天小得多，所以我觉得这个目标至少还不算太疯狂。现在看来，认为一位教授和几个研究生能够做到这一点，完全是妄想。（00:18:05）我们确实做到了。我们非常仔细地整理了互联网上的 1500 万张图片，建立了包含 22,000 个概念的分类体系，借用了其他研究者的成果，比如语言学家关于 WordNet 的工作，它是一种对词语进行词典化的方式。我们将这些结合成 ImageNet，并把它开放给研究社区。我们还举办年度 ImageNet 挑战赛，鼓励所有人参与。我们继续做自己的研究，而 2012 年成为许多人认为深度学习开始、现代 AI 诞生的时刻：由 Geoff Hinton 教授带领的一组多伦多研究者参加了 ImageNet 挑战赛，使用 ImageNet 的大数据和 NVIDIA 的两块 GPU，成功创建了第一个能够……（00:19:12）它并没有彻底解决问题，但在解决物体识别方面取得了巨大进展的神经网络算法。大数据、神经网络和 GPU 这三种技术的结合，成为现代 AI 的黄金配方。快进到 AI 面向公众的时刻，也就是 ChatGPT 时刻：从技术上看，把 ChatGPT 带到世界上的要素仍然是这三种。现在主要是互联网规模的数据，且大多是文本；神经网络架构比 2012 年复杂得多，但仍然是神经网络；GPU 多得多，但仍然是 GPU。所以这三种成分仍然处于现代 AI 的核心。
太不可思议了。我以前从没听过完整的故事。我喜欢‘最初是两块 GPU’这一点，太棒了。而现在我不知道，可能是几十万块，对吧？数量级和能力都强大得多。
是的。
而且那两块 GPU 是直接买来的？它们是游戏 GPU，就只是拿去……
是的。
……拿去 GameStar，也就是人们用来玩游戏的那种。正如你所说，这在很大程度上仍然是模型变得更聪明的方式。现在世界上一些增长最快的公司，我大多都请来过播客，包括 Mercor、Surge 和 Scale。它们仍然为实验室做这件事，只是不断提供更多关于它们最感兴趣、最重视的事物的标注数据。
我记得 Scale 早期的 Alex Wang。我可能还保存着他刚开始做 Scale 时发给我的邮件。他非常友善，一直给我发邮件，说 ImageNet 启发了 Scale。我看到这一点非常高兴。
我从你刚才分享的内容中得到的另一个最喜欢的启发，是这真是高能动性的例子，也就是 Twitter 上常说的梗：你可以直接做事。你只是想，好吧，这可能是推动 AI 发展所必需的。当时它叫机器学习，对吧？那是大多数人使用的术语吗？
我认为这两个词当时可以互换。确实，我记得那些科技公司，我不想点名，但在早期的一次谈话中，大概是 2015 年年中到 2016 年年中，一些科技公司避免使用 AI 这个词，因为他们不确定 AI 是否是一个带有负面意味的词。我记得当时还鼓励大家使用 AI 这个词，因为对我来说，这是人类在追求科学和技术的过程中提出过的最大胆的问题之一，我为这个术语感到非常自豪。但当初确实有人不确定。
大概是哪一年，AI 还是一个带负面意味的词？
我想是 2016 年，因为那是……
2016 年，也就是不到 10 年前。
那是转变发生的时候。一些人开始称它为 AI，但如果你观察硅谷科技公司的营销用语变化，我认为大约 2017 年是企业开始称自己为 AI 公司的起点。
太不可思议了。世界变化得真快。
是的。
现在你不能不称自己为 AI 公司。
我知道。
仅仅大约九年之后。
是啊。
好吧。关于那段历史，关于早期历史，还有没有什么你认为人们不知道，但在我们聊未来和你正在做的工作之前很重要的内容？
我认为，像所有历史一样，我很清楚自己因为参与了这段历史而得到认可，但其中还有如此多的英雄和研究者。我们谈论的是一代又一代的研究者。在我自己的世界里，有很多人启发了我，我在书中也谈到过他们。但我确实觉得，我们的文化，尤其是硅谷文化，往往把成就归给一个人。这样做有一定价值，便于记忆，但要记住，AI 到现在已经是一个有 70 年历史的领域，我们经历了许多代人。没有任何人能够独自走到今天。
好，那我问你这个问题。我们似乎总是站在 AGI 的悬崖边，这个模糊的术语人们经常抛出来：AGI 要来了，它会接管一切。你觉得我们距离 AGI 还有多远？你认为按照现在的轨迹我们会到达那里吗？我们需要更多突破吗？当前的方法能带我们到那里吗？
这是一个非常有意思的术语，Lenny。我不知道是否有人真正定义过 AGI。它有很多不同定义，从机器拥有某种超能力，到机器成为社会中具有经济价值的代理，也就是能挣工资养活自己。这算 AGI 的定义吗？作为科学家，我非常认真地看待科学；我进入这个领域，是因为那个大胆的问题启发了我：机器能不能像人一样思考并做事？对我来说，这始终是 AI 的北极星。从这个角度说，我不知道 AI 和 AGI 有什么区别。（00:25:10）我认为我们已经很好地实现了部分目标，包括对话式 AI，但我不认为我们已经完全征服了 AI 的所有目标。我想，如果奠定这个领域基础的 Alan Turing 还活着，你让他比较 AI 和 AGI，他可能只会耸耸肩说：‘我在 1940 年代提出的也是同一个问题。’所以我不想陷入定义 AI 和 AGI 的兔子洞。作为科学家和技术人员，我觉得 AGI 更多是一个营销术语，而不是科学术语。AI 是我的北极星，也是这个领域的北极星；人们爱怎么称呼它就怎么称呼吧。
那我换一种方式问。正如你所说，从 ImageNet 和 AlexNet 走到今天，有一些组成部分：GPU、数据、标注数据，以及模型的算法。Transformer 似乎也是这条轨迹上的重要一步。你觉得这些组成部分会把我们带到某种十倍聪明的模型，带到一种能改变整个世界的东西吗？还是说我们需要更多突破？我知道我们会谈到世界模型，我认为它是其中一个组成部分，但你还觉得有没有其他东西？你是否认为某些东西会遇到平台期，或者这条路只需要更多数据、更多算力和更多 GPU？
不，我绝对认为我们需要更多创新。继续扩大规模、增加数据、增加 GPU、扩大现有模型架构，仍然有很多事情可以做，但我绝对认为我们需要更多创新。人类历史上没有任何一个真正的科学学科走到‘我们完成了，不再创新了’的位置，AI 是人类文明中最年轻的科学技术学科之一，我们还只是触及表面。比如我们马上要谈世界模型。今天，你可以把一个模型放进包含几间办公室的视频中，让它数椅子的数量。这是幼儿甚至小学生都能做到的事，但 AI 还做不到，对吧？（00:27:50）AI 今天还有太多做不到的事情，更不用说思考 Isaac Newton 如何观察天体运动并推导出支配所有物体运动的方程式或方程组了。我们如今没有办法让 AI 达到那种创造力、外推能力和抽象能力。再看情感智能：一个学生来到老师办公室，就动机、热情、该学习什么以及真正困扰自己的问题进行交谈。这种对话很有力量，但无论今天的对话机器人多么强大，你仍然无法从 AI 得到这种程度的情感和认知智能。所以我们还有很多可以做得更好的地方，我不相信创新已经结束。
DeepMind 或 Google 的 Demis 最近接受了一次很有意思的采访。有人问他：我们距离 AGI 还有多远？它会是什么样？他的思路很有意思：如果我们把截至 20 世纪末的所有信息交给最前沿的模型，看它能否完成 Einstein 所有的突破；到目前为止，我们离那还很远，但它们也许可以……
不，我们还差得远。事实上更糟。我们可以把所有数据，包括现代仪器采集的天体数据都给 AI，这些数据甚至是 Newton 没有的，然后让它创建 17 世纪关于物体运动规律的方程组。今天的 AI 做不到。
好，我听到的意思是，我们还差得非常远。
是的。
好，我们来谈世界模型。对我来说，这是你又一次走在大家最终会到达的地方之前的惊人例子。你很早就意识到，AI 和神经网络只需要大量干净的数据来学习。你谈世界模型这个想法已经很久了。你创办了一家公司，本质上，语言模型是一种模型，而这是一种不同的东西，是世界模型。我们会讨论它是什么。现在，在我准备节目时，Elon 在谈世界模型，Jensen 也在谈，Google 似乎也在做这件事。你已经研究很久了，而且刚刚发布了一个产品，会在本期播客上线前不久推出。什么是世界模型？为什么它如此重要？
我很高兴看到越来越多人开始谈论世界模型，比如 Elon 和 Jensen。我一生都在思考如何推动 AI 前进。过去几年，研究界、OpenAI 等机构发展出的大型语言模型，即使对我这样的研究者也极具启发。我记得 GPT-2 发布时，大概是 2020 年底。我当时是斯坦福以人为本人工智能研究院的共同主任，现在仍然是，只不过当时是全职共同主任。我记得那时公众还没有意识到大型语言模型的力量，但研究者已经看到了它，看到了未来。我和自然语言处理同事 Percy Liang、Chris Manning 进行了很长时间的讨论，谈论这项技术将有多关键。斯坦福 HAI 是第一个建立完整基础模型研究中心的机构。（00:31:59）Percy Liang 和许多研究者带领完成了第一篇学术界关于基础模型的论文。所以这对我非常有启发。当然，我来自视觉智能领域，我一直在想，我们可以超越语言推动多少事情，因为人类利用空间智能和世界理解来完成许多超越语言的事情。想象一个极其混乱的急救现场，无论是火灾、交通事故还是自然灾害。置身其中，思考人们如何组织起来营救他人、阻止灾害扩大、扑灭火灾，其中很多是运动、对物体的即时理解以及对人和环境的态势感知。语言是其中一部分，但在许多情况下，语言无法帮你把火扑灭。（00:33:21）这到底是什么？我一直在思考。同时我也做了大量机器人研究，逐渐意识到，把语言之外的额外智能、具身 AI，也就是机器人，与视觉智能连接起来的关键，是理解世界的空间智能。这就是为什么我在 2024 年做了关于空间智能和世界模型的 TED 演讲。我在 2022 年就根据机器人和计算机视觉研究开始形成这个想法。很明确的一点是，我想和最优秀的技术人员合作，尽快把这项技术变成现实。于是我们创办了 World Labs。你可以从公司名称中看到 world 这个词，因为我们非常相信世界建模和空间智能。
人们已经习惯了聊天机器人，也就是大型语言模型。理解世界模型的一个简单方式是：你描述一个场景，它就生成一个可以无限探索的世界。我们会链接你发布的产品并继续讨论，但这样理解是否简单准确？
这只是其中一部分，Lenny。理解世界模型的一种简单方式是：它可以让任何人通过提示词，无论是图像还是句子，在脑海中创建任何世界。你还可以在这个世界中互动，比如浏览、行走、拿起物体或改变物体；也可以在这个世界中推理。举例来说，如果消费世界模型输出的是机器人，它应该能够规划路径，帮助整理厨房。世界模型是一种基础，可以用来推理、互动并创造世界。
很好。机器人似乎可能成为 AI 研究者和整个世界影响的下一个重点。你的意思是，世界模型是让机器人真正能够在现实世界中工作的关键缺失部分，也就是理解世界如何运作。
首先，我确实认为不只是机器人，这件事令人兴奋。但你刚才说的我都同意。我认为世界建模和空间智能是具身 AI 的关键缺失部分。我也认为不能低估人类也是具身代理，人类可以被 AI 的智能增强。就像今天人类是语言动物，但 AI 已经通过帮助我们完成语言任务，包括软件工程，增强了我们的能力。同样，我们不应低估，或者说我们往往没有谈到，作为具身代理的人类也能从世界模型和空间智能模型中获得巨大帮助，机器人同样如此。
这里的重大突破包括机器人，如果成功会非常重要：想象我们每个人都有机器人帮忙完成许多事情，帮助应对灾难之类。游戏当然也是很酷的例子，就像可以无限游玩的游戏，完全由你在脑中发明。创造力也是如此：玩得开心、进行创作、想象魔法、全新的狂野世界和环境。
还有设计，人类用机器设计建筑、房屋等，也有科学发现。能说明这一点的是 DNA 结构的发现。如果回顾 DNA 发现史上最重要的材料之一，就是 Rosalind Franklin 拍摄的 X 射线衍射照片，那是一张平面的二维结构照片，看起来像带衍射纹的十字。你可以搜索这些照片。但凭借这张二维平面照片，再结合其他信息，两个重要的人 James Watson 和 Francis Crick 能够在三维空间中推理，推导出 DNA 高度立体的双螺旋结构。这个结构不可能是二维的。你不能只在二维中思考并推导出它，必须运用三维空间思维和人类空间智能。因此，即使在科学发现中，空间智能或 AI 辅助的空间智能也很关键。
这就是一个例子。我记得 Chris Dixon 说过，下一个重大事物一开始会让人觉得像玩具。ChatGPT 刚出现时，我记得 Sam Altman 在推文里只是说：‘这是我们正在玩的一个很酷的东西，来看看。’后来它成了历史上增长最快的产品，改变了世界。很多最终最能改变世界的东西，一开始往往只是看起来很酷、玩起来有趣。（00:39:33）本期节目由客户通信云 Sinch 赞助。数字客户通信有一个关键问题：无论你发送营销活动、验证码还是账号提醒，都需要可靠地送达用户。Sinch 就是为此而来。全球前十大科技公司中有 8 家以及超过 15 万家企业使用 Sinch API，把消息、邮件和通话整合进产品。消息领域还有一件产品团队需要了解的大事：富通信服务 RCS。可以把 RCS 想成 SMS 2.0。用户不再收到来自随机号码的短信，而是能看到经过验证的公司名称和标志，也无需下载新东西。它更安全、品牌体验更好，还有交互式轮播和建议回复等功能。美国运营商开始采用 RCS，Sinch 已经帮助主要品牌在全球发送 RCS 消息，并帮助 Lenny 的播客听众在美国市场普及前优先完成注册。访问 sinch.com/lenny 了解详情并开始使用。就是 S-I-N-C-H.com/lenny。（00:40:45）我联系了很喜欢你、也是你的忠实粉丝 Ben Horowitz。他们是 World Labs 的投资者，我相信……
是的，我们认识很多年了，但没错，他们现在是 World Labs 的投资者。
太棒了。我问他该问你什么，他建议问：为什么单靠‘苦涩的教训’不太可能让机器人成功？首先，请解释 AI 历史中的‘苦涩的教训’是什么，然后说明为什么它无法把我们带到机器人所需的地方。
首先，‘苦涩的教训’有很多种，但大家引用的通常是 Richard Sutton 写的一篇论文。他最近获得了图灵奖，并且长期从事强化学习。Richard 说，从历史，尤其是 AI 算法发展的历史来看，最终总是拥有大量数据的简单模型胜过数据较少的复杂模型。这篇论文是在 ImageNet 之后多年发表的。对我来说那不是苦涩的教训，而是甜蜜的教训，因为我创建 ImageNet 正是因为相信大数据会发挥这样的作用。那为什么单靠苦涩的教训不能解决机器人问题？首先我们要承认今天所处的位置：机器人仍在实验的早期阶段。（00:42:25）这项研究远没有语言模型成熟。很多人仍在尝试不同算法，其中一些算法受大数据驱动。所以我确实认为大数据会继续在机器人领域发挥作用，但机器人难就难在几件事。第一，数据更难获得，难得多。有人会说，网上有数据，最新的机器人研究正在使用网络视频。我认为网络视频确实有作用。但如果你想想语言模型为什么能取得这么大的成就，作为研究计算机视觉、空间智能和机器人的人，我很羡慕语言领域的同事：他们拥有完美的设置，训练数据是词语，后来是 token，模型的输出也是词语。（00:43:36）训练数据与希望得到的结果，也就是目标函数之间存在完美对应。但机器人不同，甚至空间智能也不同。我们希望机器人输出动作，但训练数据缺少三维世界中的动作，而机器人必须在三维世界中行动，对吧？因此需要想办法把一个方形塞进圆孔。我们拥有大量网络视频，接下来必须补充远程操控数据或合成数据，让机器人以‘苦涩的教训’的假设接受大量数据训练。我仍然认为有希望，因为我们在世界建模方面的工作，确实会为机器人解锁大量信息。（00:44:53）但现在还处于早期，必须谨慎；‘苦涩的教训’仍有待验证，因为我们还没有完全解决数据问题。机器人领域还有另一部分苦涩的教训需要现实看待：与语言模型甚至空间模型相比，机器人是物理系统。机器人更接近自动驾驶汽车，而不是大型语言模型。这一点非常重要。机器人要工作，不仅需要大脑，还需要身体和应用场景。回顾自动驾驶历史，我的同事 Sebastian Thrun 曾在 2006 或 2005 年带着斯坦福的汽车赢得第一届 DARPA 挑战赛。从能在内华达沙漠行驶 130 英里的自动驾驶原型，到今天在旧金山街道运行的 Waymo，已经过去 20 年。（00:46:17）而我们还没有完成。那是 20 年的旅程。自动驾驶汽车其实是更简单的机器人，只是在二维表面运行的金属盒子，目标是不碰任何东西；而机器人是在三维世界中运行的三维事物，目标却是要接触东西。因此这条路会涉及许多方面和要素。当然，也有人会说自动驾驶早期算法处于深度学习时代之前，所以深度学习正在加速机器的大脑。我认为这是真的，这也是我研究机器人的原因，也是我研究空间智能并为之兴奋的原因。但汽车行业本身很成熟，产品化还涉及成熟的使用场景、供应链和硬件。因此这是研究这些问题的有趣时期。不过 Ben 说得对，我们可能仍然会受到多种苦涩教训的影响。
做这项工作时，你会不会对大脑的运作方式感到敬畏？它能为我们完成这一切。仅仅让机器走动、不撞东西、不摔倒，就需要极其复杂的系统，这是否让你更尊重人类已有的能力？
当然。我们大约只消耗 20 瓦，比我现在所在房间里的任何灯泡都暗，但我们却能完成这么多事。所以我从事 AI 越久，越尊重人类。
我们来谈谈你刚刚发布的产品。它叫 Marble，名字很可爱。请谈谈它是什么、为什么重要。我一直在体验，太不可思议了。我们会给大家放链接。Marble 是什么？
我非常兴奋。首先，Marble 是 World Labs 推出的第一批产品之一。World Labs 是一家基础模型和前沿模型公司，由四位拥有深厚技术经历的联合创始人创办。我的联合创始人是 Justin Johnson、Christoph Lassner 和 Ben Mildenhall。我们都来自 AI、计算机图形学和计算机视觉研究领域。我们相信，空间智能和世界建模和语言模型同等重要，甚至更重要，并且与语言模型互补。因此我们想抓住机会，建立一家能够把前沿模型与产品连接起来的深科技研究实验室。Marble 是建立在我们前沿模型之上的应用。我们花了一年多时间，构建了世界上第一个能够输出真正三维世界的生成模型。这是极其困难的问题。（00:49:30）过程非常艰难，我们的创始团队聚集了来自优秀团队的杰出技术人员。大约一两个月前，我们第一次看到：只要输入一句话、一张图片或多张图片，就能创建可以自由导航的世界。如果使用我们提供的 Google 选项，甚至可以在里面行走。虽然我们已经构建了很久，看到它仍然令人敬畏。我们希望把它交给真正需要的人。我们知道很多创作者、设计师、思考机器人模拟的人，以及探索可导航、可互动、沉浸式世界不同用途的游戏开发者都会觉得它有用。因此我们开发了 Marble，作为第一步。它仍然很早期，但这是世界上第一个做到这件事的模型，也是世界上第一个让人们输入提示词就能‘从提示词生成世界’的产品。
我一直在体验，太疯狂了。你可以创建一个小小的夏尔世界，基本上在中土世界里无限行走；那里还没有人，但太不可思议了，你可以去任何地方。有反乌托邦世界。我正在看这些例子。我最喜欢的部分其实是，在它用所有纹理渲染出来之前，你能先看到世界的点。不知道这是功能还是 bug，但我喜欢它让你看到模型正在做什么。
听你这么说太酷了，因为作为研究者，我也从中学习。这些引导你进入世界的点，是有意设计的功能可视化，并不是模型的一部分。模型其实只是生成世界。我们在寻找引导用户进入世界的方法，几位工程师尝试了不同版本，最后选择了点。很多人都告诉我们这种体验很愉悦，你不是唯一一个。听到这个有意设计的可视化功能，而不是核心模型本身，也能让用户开心，我们真的很满足。
哇，所以你们加入它，是为了让人更容易理解发生了什么……
是为了好玩，对。
……让体验更愉悦。太有意思了。这让我想到 LLM，以及它们会谈论自己正在思考和做什么的方式。虽然不是同一回事。
是的，确实。
它还让我想到《黑客帝国》，完全就是那种体验。我不知道这是不是你们的灵感。
正如我说的，很多工程师参与了它的设计，可能是他们的灵感。
这应该是潜意识里的灵感。好，对于可能想体验它的人，今天有哪些实际应用可以开始使用？你们发布它的目标是什么？
我们确实认为世界建模是横向技术，但已经看到一些非常令人兴奋的用例，比如电影虚拟制作，因为他们需要能与摄影机对齐的三维世界。演员在其中表演时，团队能定位摄影机并很好地拍摄片段。我们已经看到非常惊人的效果。事实上，不知道你是否看过展示 Marble 的发布视频，它由一家虚拟制作公司制作。我们与 Sony 合作，他们使用 Marble 场景拍摄视频。我们和这些技术美术及导演合作时，他们说这把制作时间缩短了 40 倍。事实上，它必须……
40 倍？
是的，因为我们只有一个月制作这个项目，而他们要拍的东西非常多。所以使用 Marble 极大加速了 VFX 和电影的虚拟制作，这是一个用例。我们已经看到用户拿 Marble 场景和网格导出文件去制作游戏，包括 VR 游戏和他们自己开发的娱乐游戏。我们还展示了机器人模拟的例子。我一直是、现在仍然是机器人训练研究者，最大的痛点之一就是为训练机器人创建合成数据。这些数据必须非常多样，来自不同环境，包含可供操作的不同物体。一个办法是让计算机模拟，否则人类必须为机器人逐一构建所有资产，这会花费更长时间。（00:55:10）已经有研究者联系我们，希望使用 Marble 创建这些合成环境。我们还收到了意料之外的使用咨询。例如，一支心理学团队联系我们，希望用 Marble 做心理学研究。他们研究的一些精神科患者需要观察大脑如何回应不同类型的沉浸式场景，例如杂乱场景、整洁场景，或任何其他特征。研究者很难获得这类沉浸式场景，自己制作会耗费太多时间和预算，而 Marble 几乎可以即时生成大量实验环境。因此目前我们已经看到多个用例，VFX、游戏开发者、模拟开发者和设计师都很兴奋。
这非常符合 AI 领域的工作方式。我请过其他 AI 领袖上节目，他们总是尽早把产品放出来，尽快发现真正的大用例。ChatGPT 负责人曾告诉我，他们最初发布 ChatGPT 时，会在 TikTok 上浏览人们如何使用它、讨论什么，这让他们知道应该在哪些方向投入，也帮助他们了解人们真正想如何使用它。我喜欢最后这个用于治疗的用例。我在想，比如怕高的人，或者面对蛇和蜘蛛的人……
这很神奇。昨晚一位朋友还给我打电话，谈到他的恐高问题，并问我 Marble 是否可以用于此。我很惊讶你直接想到了这里。
因为我在想象所有暴露疗法的场景，这对它可能非常有帮助。太酷了。好，我本来应该更早问：它和 VO3 以及其他视频生成模型有什么不同？对我来说已经很清楚，但我觉得解释一下它与大家见过的视频 AI 工具的区别会很有帮助。
World Labs 的论点是，空间智能从根本上非常重要，而且空间智能不只是视频。世界不是被动地看着视频经过。我很喜欢 Plato 用‘洞穴寓言’描述视觉：想象一个被绑在椅子上的囚徒，他在洞穴里观看前方完整的生活剧场，但真正表演的演员在身后，只是用灯光把动作投影到洞壁上。囚徒的任务是弄清发生了什么。这是极端例子，但说明了视觉的本质：从二维中理解三维或四维世界。对我来说，空间智能比创造一个平面的二维世界更深。（00:59:14）空间智能是创造、推理、互动并理解深度空间世界的能力，无论是二维、三维还是四维，包括动态等。World Labs 专注于此，创造视频本身也可以是其中一部分。事实上，我们几周前推出了世界上第一个可实时演示的、在单个 H100 GPU 上进行实时视频生成的系统。这是我们技术的一部分，但 Marble 非常不同，因为我们真正希望把能提供三维结构世界的模型交给创作者、设计师和开发者，让他们用于工作。这就是 Marble 的不同之处。
在我看来，它是一个能带来大量机会的平台。正如你说的，视频只是一个一次性、有趣、很酷的视频，然后就结束了。
顺便说，Marble 可以允许用户导出视频。你进入一个世界，比如霍比特人洞穴，作为创作者，你可以按照导演脑中的特定轨迹移动摄影机，然后把 Marble 中的内容导出成视频。
创建这样的东西需要什么？团队有多大？使用多少 GPU？如果这是私密信息，也可以不说，但创建你们发布的产品需要什么？
需要大量脑力。我们刚才说过每个大脑大约消耗 20 瓦，从这个角度看人数不多，但那其实是半亿年的进化成果。我们现在大约有 30 人，主要是研究人员和研究工程师，也有设计师和产品人员。我们真正相信，应该建立一家扎根于空间智能深科技、同时也构建严肃产品的公司。因此我们把研发和产品化结合起来，当然也使用大量 GPU。
这是技术层面的事情。
很高兴听你这么说。
祝贺你们发布产品。我知道这是一个重大里程碑，也知道你们付出了大量工作。
谢谢。
我想祝贺你和团队。我们聊一会儿你的创始人旅程。你创办这家公司多久了？两三年？
一年。
一年？
一年多。
一年？好，哇。
大概 18 个月，是的。
在开始这件事之前，有什么是你希望自己知道、想对 18 个月前的 Fei-Fei 轻声说的话？
我仍然希望知道技术的未来。我认为，我们创办公司的一个优势就是通常比大多数人更早看见未来。但这件事仍然令人兴奋：未知的事和即将到来的事太惊人了。不过我知道你问的不是技术未来。再说，我并不是 20 岁就创办了这样规模的公司。我 19 岁时开过一家干洗店，但规模小得多。
我们得谈谈这件事。
之后我创办了 Google Cloud AI，又在斯坦福创办了一个研究院，但那是不同的事情。相比 20 岁的创始人，我确实觉得自己对漫长而艰苦的创始人旅程更有准备。但我仍然惊讶，有时甚至陷入偏执：AI 领域在模型、技术本身以及人才方面的竞争有多激烈。创办公司时，我们还没有听说某些人才会有多高的成本。所以这些事情仍然会让我意外，我必须保持高度警觉。
所以你说的竞争包括人才竞争，以及事情发展的速度。
是的。
你刚才提到，纵观整个职业生涯，你一直身处那些促成今天许多突破的人才群体中。我们会谈 ImageNet；斯坦福 SAIL 发生了大量工作；Google Cloud 也产生了很多突破。是什么把你带到这些地方？对于想推进职业、处于未来中心的人来说，是否有一条贯穿其中的线索，解释你为什么不断被这些群体吸引？
这是个很好的问题。我确实思考过。我们谈过，是好奇心和热情把我带到 AI，这更像科学上的北极星。我并不在乎 AI 是否热门，这是其中一部分。但我如何选择具体工作地点，包括创办 World Labs，我认为自己很感激自己，也许也感激父母的基因。我在智力上非常无畏。招聘年轻人时我会寻找这种品质，因为想要产生影响，就必须接受自己在创造新事物、进入别人没做过的领域。拥有这种自觉后，你几乎必须允许自己无所畏惧并保持勇气。（01:06:42）例如我从普林斯顿学术界接近终身教职时，选择去了斯坦福。普林斯顿是我的母校，我很喜欢它，但当时斯坦福有非常出色的人，硅谷生态也很强，所以我愿意冒险，重新开始终身教职评审周期。成为 SAIL 第一位女性主任时，相对而言我还是很年轻的教员，但我想这样做，因为我在乎那个社区。我没有花太多时间思考所有失败的可能。（01:07:46）当然，资深教员的支持让我很幸运，但我只是想产生影响。后来去 Google 也一样：我想和 Jeff Dean、Jeff Hinton、Demis 以及其他优秀的人一起工作。World Labs 也一样。我有热情，也相信拥有共同使命的人能做出不可思议的事。这就是贯穿我的线索。我不会过度思考所有可能出错的事，因为那太多了。
我觉得这里的重要因素是不要专注于下行风险，而更多关注人、使命，以及什么让你兴奋和好奇。
我想对 AI 领域的年轻人才、工程师和研究者说一句。有些人申请 World Labs，我很荣幸你们考虑过它。我发现现在很多年轻人决定工作时，会考虑方程式中的每一个因素。也许他们确实想这样做，但有时我想鼓励年轻人关注重要的事。我与求职者交流时经常进入导师模式，不一定是招不招聘，而是看到优秀年轻人过度关注工作选择的每个细小维度。最重要的也许是：你的热情在哪里？你是否认同使命？你是否相信并信任这个团队？关注影响、你能做的事，以及你能与什么样的团队合作。
对 AI 领域的人来说确实很难。现在有太多事情、太多新事物、太多变化，也有太多 FOMO。
确实如此。
我能看到那种压力。所以这个建议很重要：要思考什么真正能让你在工作中获得满足，而不是哪里增长最快、谁会赢。我还想问问你今天在斯坦福 HAI 做的工作。我想这是你仍在做的副业。
就是 HAI。
HAI，即以人为本人工智能研究院。你在那里做什么？我知道你仍在参与。
HAI 由我和 John Etchemendy、James Landay、Chris Manning 等一批教师于 2018 年共同创办。我当时刚结束在 Google 的最后一次休假。那是一个非常重要的决定：我可以留在产业界，但在 Google 的经历让我明白，AI 将成为文明级技术。我意识到它对人类的重要性，因此在 2018 年为《纽约时报》写文章，谈论需要一个指导框架来开发和应用 AI，而这个框架必须以人类善意和以人为本为基础。我认为，斯坦福这所位于硅谷中心、世界顶尖的大学，孕育了从 NVIDIA 到 Google 的重要公司，应该成为创建以人为本 AI 框架的思想领导者，并把它落实到研究、教育、政策和生态系统工作中。（01:12:10）所以我创办了 HAI。六七年后，它已成为世界上最大的人本 AI 研究院，开展以人为本的研究、教育、生态建设、对外合作和政策影响。它涉及斯坦福八个学院的数百位教师，从医学、教育、可持续发展、商科、工程、人文到法律。我们支持跨学科研究，范围从数字经济、法律研究、政治学，到新药发现、新算法以及超越 Transformer 的方向。（01:13:27）我们也非常重视政策。创办 HAI 时我发现，硅谷没有和华盛顿、布鲁塞尔或世界其他地区充分交流。鉴于这项技术的重要性，我们需要让所有人参与进来。因此我们创建了国会训练营、AI 指数报告、政策简报等项目，参与政策制定，包括推动在第一届 Trump 政府时期通过的国家 AI 研究云法案，并参与州级 AI 监管讨论。我们做了很多事。我仍是领导者之一，虽然运营参与少得多，因为我不仅关心创造技术，也关心用正确方式使用它。
哇，我以前不知道你还做了这么多工作。听你说这些，我想起 Charlie Munger 的一句话：‘把一个简单想法当回事，并非常认真地对待它。’我觉得你在许多不同方面都做到了，坚持了下来，而且多年来产生了难以置信的影响。我不做快速问答了，只想问最后一个问题：还有什么想分享的吗？还有什么想留给听众的吗？
我对 AI 非常兴奋。世界各地的人都会问我：如果我是音乐家、中学老师、护士、会计师或农民，我在 AI 中有角色吗？还是 AI 会接管我的生活和工作？我认为这是 AI 最重要的问题。在硅谷，我们不太会和普通人面对面、真心实意地谈这些，而只是抛出无限生产力、无限闲暇、无限力量之类的词。但归根结底，AI 关乎人。当人们问我时，答案是响亮的：每个人在 AI 中都有角色。（01:16:03）这取决于你做什么、想要什么，但任何技术都不应夺走人的尊严。人的尊严和能动性应该处于每项技术开发、部署和治理的核心。如果你是年轻艺术家，热爱讲故事，就把 AI 当作工具，甚至拥抱 Marble。我希望它能成为你的工具，因为你讲故事的方式独一无二，世界仍然需要它。如何用最强大的工具以最独特的方式讲述故事很重要，你的声音需要被听见。如果你是接近退休的农民，AI 仍然重要，因为你是公民，可以参与社区，也应该对 AI 如何使用、如何应用发表意见。（01:17:14）如果你是护士，我希望你知道，在我的职业生涯中，我一直努力做医疗研究，因为医疗工作者应该得到 AI 的大力增强和帮助，无论是提供更多信息的智能摄像头，还是机器人辅助。护士已经过劳、疲惫，而随着社会老龄化，我们需要更多帮助来照顾人。因此 AI 可以发挥作用。我想说，即使是像我这样的技术人员，也必须真诚地相信每个人在 AI 中都有角色。
这是一个很美的结尾，也回到了开头：未来取决于我们，我们要为 AI 在生活中的作用承担个人责任。最后一个问题，人们在哪里可以找到 Marble？如果想尝试加入 World Labs，该去哪里？网站是什么？
World Labs 的网站是 www.worldlabs.ai，那里有我们的研究进展和技术博客，也能找到 Marble 产品并登录，还能找到招聘链接。我们在旧金山，期待与世界上最优秀的人才一起工作。
太棒了。Fei-Fei，非常感谢你来这里。
谢谢你，Lenny。
大家再见。（01:19:09）非常感谢收听。如果你觉得内容有价值，可以在 Apple Podcasts、Spotify 或喜欢的播客应用上订阅节目。也请考虑评分或留下评论，这会帮助其他听众找到播客。你可以在 lennyspodcast.com 找到往期节目或了解更多信息。下期再见。