Fully autonomous robots are much closer than you think – Sergey Levine

此外，我们还会谈 VLA 模型的工作原理、机器人部署后的自我改进，以及中国在硬件方面的优势。

世界顶尖机器人研究人员之一、Physical Intelligence 联合创始人 Sergey Levine 认为，通用机器人正处在“自我改进飞轮”即将启动的边缘。他对机器人能够完全自主地打理家务的时间中位数估计是 2030 年。

如果 Sergey 的判断正确，五年后的世界会和今天截然不同。这次对话将重点讨论我们如何走到那一步：深入探讨机器人基础模型，以及怎样扩大数据和硬件规模，从而推动机器人领域全面爆发。

00:00今天和我聊天的是 Sergey Levine。他是 Physical Intelligence 的联合创始人；这是一家研发机器人基础模型的公司。他也是加州大学伯克利分校教授，并且是世界领先的机器人、强化学习和人工智能研究人员之一。Sergey，感谢你来参加播客。

谢谢，也感谢你这么友善的介绍。

我们来聊聊机器人。在我向你连珠炮似地提问之前，能不能先给听众介绍一下 Physical Intelligence 目前的进展？你们一年前才成立，进展如何？现在在做什么？

Physical Intelligence 想要打造机器人基础模型。简单来说，就是一种通用模型，理论上能够控制任何机器人完成任何任务。我们认为这很重要，因为它是人工智能问题中一个非常基础的方面。机器人几乎囊括了所有 AI 技术。如果能造出真正通用的机器人，希望它就能完成很大一部分人类能做的事情。

目前我们大致已经把许多基础工作做好了。这些基础能力其实挺酷，也运行得不错。我们能让机器人叠衣服，也能让它进入一间陌生的房子，试着收拾厨房。但在我看来，Physical Intelligence 现在做的仍是极早期的工作，只是在搭建基础模块；之后我们才能在此基础上攻克那些真正棘手的问题。

未来逐年会怎样？公司成立一年了，我看过一些机器人的演示，它们能完成相当灵巧的任务，比如用夹爪折纸盒。即使我用自己的双手，折好一个纸盒也挺难。

如果从现在逐年推演，直到机器人领域全面爆发，每年会发生什么？需要解锁哪些能力，等等？

有几件事我们必须做到。灵巧操作显然是其中之一。起初，我们很想确认自己开发的方法能否处理人类可以完成的精细任务。比如折纸盒、叠不同的衣物、收拾桌子、煮咖啡之类。现在这些任务已经能做，效果也不错。我们展示的成果很酷，但 Physical Intelligence 的最终目标并不是把一件漂亮的 T 恤叠好，而是要验证最初的假设：基础模块确实可靠。

之后还有许多重大的挑战。有时，演示被剪成三分钟视频后，观众会觉得：“哦，挺酷，他们就是这么做的。”但实际远不止于此，也只是未来能力的非常简单、初级版本。你真正希望机器人做到的，不是对它说：“嘿，请把我的 T 恤叠好。”而是告诉它：“机器人，你现在负责帮我做各种家务。我喜欢下午 6 点吃晚饭，早上 7 点起床上班，周六洗衣服，所以要确保那时衣服洗好。还有这些、这些、这些事情。对了，每周一问问我购物时要买什么。”

这才是我们想发出的指令。之后机器人要持续工作六个月、一年，这才是任务的时间跨度。如果这些研究成功，目标就大得多：机器人要能持续学习，理解物理世界和常识；需要更多信息时，还能主动查找。比如我说：“今晚给我做这种沙拉。”它就要弄清楚需要哪些东西，查找信息并买好食材。要做到这一切，需要很多能力。

这需要常识，也需要理解哪些边缘情况要灵活处理、哪些情况需要更仔细思考。还需要持续改进、安全意识、在关键时刻可靠运行，以及出错后修正错误的能力。要实现的东西很多。但原则上，你得善用已有知识，也得采用合适的表示方式。

这个宏大愿景大概什么时候能实现？如果一定要估一个时间，你的 25%、50%、75% 分位数分别是什么？

我不认为会是这样的：我们先在实验室开发好一切，全部完成；到了 2030 年左右，再把一台装在箱子里的机器人交付给你。它会和 AI 助手的发展类似。一旦能力达到基本水平，机器人能提供有用服务，就会进入现实世界。好处是，它进入真实环境后，可以收集经验，再利用经验变得更好。所以我通常考虑的时间节点，不是“全部完成”的那一天，而是飞轮开始转动的那一天。

飞轮什么时候开始转动？

可能很快就会发生。这里需要作出一些取舍：任务范围限定得越窄，就越早能让机器人进入现实环境。我们已经在探索了，也在尝试找出它目前真正能做、足以启动飞轮的任务。至于你真正关心、希望看到的能力……我不确定，但在个位数年内实现非常现实。我真心希望一两年内就能有东西投入实际环境，不过很难说。

你说的“投入实际环境”是什么意思？具体指什么？

就是有一台机器人能完成你真正关心、确实想让它完成的任务。它还得足够可靠，能在现实中为真正需要这项服务的人工作。

我们已经大范围部署了大语言模型，但这并没有明显推动模型公司进入某种自我改进飞轮，比如 Claude 学会经济中的每一种工作，或 GPT 学会经济中的每一种工作。为什么 LLM 的飞轮没有转起来？

我觉得其实已经非常接近了，而且我百分之百确定很多机构正在做这件事。甚至可以说，飞轮已经开始转动，只不过是人在其中参与的飞轮。每个部署 LLM 的人都会观察它的表现，再据此调整它的行为。

问题很复杂，因为这又回到表示方式，以及如何找到合适的监督信号，并把监督信号与系统行为结合起来，使系统按照你希望的方式改进。我不认为这是什么根本不可能解决的问题，只是具体细节非常复杂，算法和稳定性方面也有不少挑战。整个研究界花了一段时间，才逐渐摸索出应对这些问题的方法。

你觉得机器人更容易启动这种飞轮吗？还是说，用这些技术给现实环境中收集的数据打标签，再把它作为奖励，所有领域都会一起进步，机器人也会跟着受益？或者机器人有什么特别之处，使它能从中获益更多？

我不认为机器人有根本性的不同。不过有些小差异让问题更容易处理。尤其是机器人与人合作时，无论是有人监督它，还是有人给它指令，都会产生非常自然的监督信号。人有很强的动机提供帮助，让任务成功。现实中还会经常出现犯错、从错误中恢复、事后回顾并在将来避免重蹈覆辙的过程。

与 AI 助手回答问题相比，在现实世界做事时，这类情况确实更常发生。AI 回答错了，你不一定能直接回去调整几个参数；收到错误答案的人甚至可能不知道答案错了。但机器人叠 T 恤时，如果叠得稍微不对，错误就很明显。你可以回顾一下，弄清楚发生了什么，下次做得更好。

好，假设一年后机器人能做一些有用的事。比如在简单且循环重复的流程中帮忙，像是持续折叠成千上万个纸盒。

但之后还需要飞轮……那从一年后能做简单任务的机器人，到能像人类管家一样完全自主地打理我的家，差距有多大？

在某些方面，这和 LLM 的发展很像，关键在于任务范围。想想编程助手：最开始，最好的工具只能帮你补全少量代码。你给它一个函数签名，它会尽力写完整个函数，但可能只写对一半。随着能力进步，我们就愿意赋予它更多自主性。

如今最好的编程助手，如果你做的是相对模式化、难度适中的工作，它或许能替你完成大半个代码合并请求。机器人也会如此：随着能力逐渐提升，我们愿意扩大交给它的任务范围。最初可能只是完成一项具体任务，比如煮咖啡。随着它更有能力、常识更多、能处理的任务也更丰富，我们就会扩大范围，最后让它管理整家咖啡店。

我理解这是一个渐进过程，不会有某个时刻让大家都觉得“终于实现了”。但如果一定要给出一个年份，你认为中位数是多少？

我觉得这大概会在十年以内。很难准确估计，因为和所有研究一样，我们还得解开一些未知问题。就问题的性质而言，我不认为需要提出完全不同、极其深奥的新理论，但必须把现有的各种方法正确整合起来。要说明的是，有时候综合已有知识和提出新理论一样困难。

这在智识上是个深刻而重大的问题。想弄明白它会非常令人兴奋。但我觉得我们大致知道有哪些拼图，接下来得把它们拼起来。如果我们努力推进，运气也不错，一切按计划进行，那么个位数年是合理的估计。

我就用二分法一直问，直到问出具体年份。既然不到十年，那是五年以上吗？我知道只是一个范围。

我觉得五年是个不错的中位数。

好，五年。如果机器人能完全自主地管理家务，那大多数蓝领工作也都能完全自主地完成。你的估计是，五年后机器人就能做经济中的大多数蓝领工作。

这里需要作个区分。想想编程助手就更清楚了。不是说编程助手发展到某个阶段，就会突然出现一个开关：软件工程师集体失业，所有软件都改由 LLM 编写。实际情况很可能是，生产率提升最大的是专家——也就是软件工程师——他们借助这些强大的工具提高效率。

撇开人们会不会失业不谈，另一个问题是五年后会产生多大的经济影响。我好奇这一点，是因为 LLM 的营收与它们看起来的能力之间，关系一直有些神秘。你有个东西感觉像 AGI，可以和它对话，它几乎通过了图灵测试。它似乎能做知识工作、写代码等等。但 AI 公司的年收入加起来大约只有 200 亿到 300 亿美元，远低于全部知识工作的 30 万亿到 40 万亿美元。

五年后，情况会和现在的 LLM 类似吗？还是说到时候机器人已经无处不在，确实在做大量实际工作了？

这是个非常微妙的问题。最终可能取决于任务范围。LLM 目前没有承担所有软件工程工作，是因为它们只擅长某个范围，仍有局限。当然，每年这些局限都在缩小。我认为机器人也会出现类似的情况。

起步时任务范围必须较小，因为有些事情系统能做得很好，另一些则需要更多人工监督。之后任务范围会逐步扩大，从而提高生产率。部分生产率来自机器人本身的价值，部分则来自使用机器人的人能更高效地工作。

但提高生产率的因素太多了。比如戴手套也能提高生产率，或者其他类似办法。你想知道的是，什么东西能把生产率提高一百倍，而不只是稍微提高一点。机器人本来就能提升工人的生产率。

如果看 LLM 目前能完成的知识工作占整个经济的比例，按营收算，我想大约是千分之一。你是说，五年后机器人也能完成体力劳动的千分之一吗？

这个问题很难回答。我现在没准备好告诉你，机器人能完成全部体力劳动的百分之几，因为我对那么广泛的体力劳动需要什么，还没有充分了解。但我可以告诉你一件事：采用人在环路中的模式，更容易逐步推广有效系统。

这和编程系统的情况完全一样。我认为自动化也会如此：机器人加人工监督，会比只有人或只有机器人效果更好。这很合理，而且能让技术更容易起步。因为当机器人和人协作时，它有更多机会在工作中学习、掌握新技能。

因为人可以给发生的事情做标注？

也因为人可以提供帮助和提示。我讲个例子。我们做 π0.5 项目，也就是去年 4 月发表的那篇论文时，最初通过遥操作来控制机器人，让它在各种环境中完成任务。后来模型足够好时，我们发现，给它低层级的动作指令不够；直接用语言告诉它该怎么做，实际上能取得显著进展。

当然，你得先让系统具备一定能力；达到这个程度后，只要站在旁边对机器人说：“好，现在把杯子拿起来，放进水槽，再把盘子放进水槽。”仅仅用语言，它就能获得可用于改进的信息。现在想想，这对人机协作意味着什么。

这样一来，系统不再只是从原始动作中学习，也能从语言中学习。最终，它还能通过观察人们的行为，以及和别人一起工作时收到的自然反馈来学习。大型模型提供的先验知识在这里极其有价值，因为它们能帮助机器人理解这种互动。人机协作部署很有潜力，能够让模型变得更好。

17:25说到机器人进展，为什么它不会像自动驾驶汽车一样？谷歌 2009 年启动自动驾驶项目，已经过去十多年了，对吧？我记得自己还是青少年时，看过一些演示：我们去买 Taco Bell，再开车回来。直到现在，自动驾驶汽车才真正投入部署；即使如此，它们仍可能犯错，等等。也许还要很多年，大多数汽车才会自动驾驶。

你说五年内就会有相当可靠的机器人，但现实中会不会感觉像要等 20 年？五年后有了酷炫演示，还得再等十年，Waymo 和特斯拉 FSD 才真正能用？

这是个很好的问题。2009 年和现在有个重要区别：如今我们有了能理解周围世界的机器学习技术。自动驾驶主要依赖感知；机器人还涉及其他几方面。2009 年的感知技术并不成熟。感知的问题在于，你可以通过一些工程化系统做出非常亮眼的演示，但试图将它泛化时就会撞上瓶颈。

到了 2025 年，我们已经有了更好的技术，可以构建具备泛化能力和鲁棒性的感知系统，以及更广义上理解周围世界的稳健系统。在机器学习里，说系统可扩展，主要是指它有泛化能力。这意味着我们今天有了更好的起点。这不是在说机器人比自动驾驶容易，而是说 2025 年的条件比 2009 年好。

机器人和驾驶还有其他不同之处。在某些方面，机器人的操作难得多；但在另一些方面，机器人更容易开始运行，先从有限任务范围启动飞轮。举个例子，学开车时，你如果不找人教，自己学会开车就挺疯狂的。你不会把十几岁的孩子独自扔进汽车里，说：“你自己去开吧。”更不会把五岁孩子放进车里让他开始学。但如果想让人帮忙洗碗，盘子也会打碎；不过你大概可以让孩子试着自己洗，不用一直有人坐在旁边随时踩刹车。

很多机器人操作任务都允许你犯错、再纠正错误。犯错后纠正，既完成了任务，也积累了知识，让你下次能避免同样的错误。驾驶则不同：由于驾驶过程的动态特性，很难犯错后及时纠正并从中学习，因为错误本身会造成严重后果。

当然，并非所有操作任务都如此。有些任务确实高度安全关键。这就引出下一个问题：常识，也就是能够对可能发生的事情作出合理推断，即使你没有事先亲身经历过那种错误。常识非常重要。大约五年前，我们基本还不知道该怎么实现。但现在可以用 LLM 和 VLM 向模型提问，它们会做出合理猜测。它们还达不到专家水平，但你可以问：“嘿，地上有个牌子写着‘地滑’，我走过去会发生什么？”答案显而易见。2009 年的自动驾驶汽车不可能回答这个问题。

常识加上犯错、纠错的能力，听起来和人学习时做的事情很像。这未必能让机器人操作变简单，但让我们可以先从较小的任务范围开始，再逐渐扩大。

所以我们多年来都有视频数据、语言数据和 Transformer，已经有五到八年了。谷歌、Meta 等很多公司都试过用大量训练数据构建基于 Transformer 的机器人。它们为什么遇到瓶颈？现在有什么变化？

这是个很好的问题。先稍微修正你的说法：他们其实取得了很多进展。Physical Intelligence 现在做的许多工作，都是建立在其他团队此前优秀工作的基础上，比如谷歌的研究。我们不少人在谷歌工作过，也参与过其中一些研究；我们借鉴了其他团队做的工作。过去确实有很多进展。

但要让机器人基础模型真正发挥作用，它就不只是实验室里的科学实验，而需要工业规模的建设投入。它更像阿波罗计划，而不是一项科学实验。过去工业研究实验室里的优秀工作——我自己也参与了不少——主要属于基础研究。这当然很重要，但光有基础研究还不够；还必须有推动它落地的动力。

要让研究落地，就得真正把机器人部署出去，收集能代表真实环境的数据，以及它们在现实世界需要完成的任务；还要大规模获取数据、搭建整套系统，并把一切都做好。这需要高度专注于把机器人基础模型真正做好，而不是只把它当作做更多科学实验、发表论文或维持研究实验室的手段。

现在是什么阻止你们进一步扩大数据规模？如果数据是个瓶颈，为什么不能马上把办公室扩大 100 倍，让 100 倍的操作员控制机器人并收集更多数据？为什么不立刻把规模扩大 100 倍？

这是个很好的问题。挑战在于要理解，哪些规模维度会带来哪些能力。如果我们想横向扩展能力——也就是让机器人从会做十件事扩展到会做一百件事——可以直接横向扩大现有能力。但我们还想让机器人具备在现实世界完成实用任务的能力。

这就需要沿其他维度继续扩展，例如实现很高的鲁棒性、让机器人高效快速地完成任务，以及识别边缘情况并做出明智反应。这些能力也可以通过规模扩展来增强，但我们必须找出正确的扩展维度；这意味着要弄清楚该收集什么数据、在哪些环境下收集、用什么方法处理，以及这些方法如何运作。

更彻底地回答这些问题，能让我们更清楚该沿哪些维度扩展，也就是哪些变量和能力需要扩展。目前我们还不完全清楚具体方案。我想很快就会弄明白，这也是我们正在积极推进的工作。我们想先把方向找对，这样扩展规模时，才能直接转化为对实际应用非常重要的能力。

给个数量级概念：你们收集的数据量和互联网规模的预训练数据相比如何？我知道很难逐个 token 计数，因为视频信息和互联网文本该如何比较？但按你们合理的估算，大约占多少？

这很难计算，因为机器人经验由许多彼此高度相关的时间步组成。按原始字节数算，数据量巨大；但信息密度可能相对较低。也许更好的比较对象是多模态训练数据集。我记得上次统计时，我们的数据量差了一到两个数量级。

你对机器人的愿景，是否要等到再收集 100 倍、甚至 1,000 倍的数据才可能实现？

我们还不知道。可以合理推测，机器人是个很难的问题，可能需要和语言模型同等规模的经验。但因为答案未知，我觉得与其问“离全部完成还要多少数据”，更有用的问题是“要开始运转，需要多少数据”。也就是说，多少数据才能启动一个自我维持、不断增长的数据收集机制。

你说的自我维持机制，是指机器人在工作中学习，还是另有所指？

可以是在工作中学习，也可以是以一种本身有用、有价值的方式获取数据。

我懂了，像某种强化学习。

执行真实任务。理想情况下，我希望它是强化学习，因为机器人能够自主行动，会更容易一些。但混合自主模式也完全可行。正如我刚才所说，机器人可以从各种信号中学习。我之前讲过，机器人可以通过人和它说话来学习。从全程遥操作到完全自主之间，还有很多种中间模式。

27:28π0 模型是怎么工作的？

我们当前的模型基本上是一个改造后用于运动控制的视觉—语言模型。用一个不太严谨的大脑类比来解释：VLM，也就是视觉—语言模型，基本上是给 LLM 接上一块模拟视觉皮层，也就是视觉编码器。我们的模型有视觉编码器，也有动作专家，基本上就是动作解码器。可以把它想象成一个带有小型视觉皮层和小型运动皮层的模型。

模型做决策时，会读取机器人传感器采集的信息，再进行内部处理，其中可能会生成中间步骤。比如你让它“把厨房收拾干净”，它可能会想：“要收拾厨房，我得先拿起盘子和海绵，再把这些东西放到那里。”最后，它会沿着这条思维链继续推进，交给动作专家生成连续动作。

动作专家必须是不同模块，因为动作是连续的、频率很高，数据格式也不同于文本 token。但从结构上看，它仍然是端到端 Transformer。粗略地说，从技术角度看，它对应一种混合专家架构。

实际上，模型会预测“我应该做 X”，接着出现一个图像 token，再出现一些动作 token——也就是它最后实际执行的动作——然后又是图像、更多文字描述和更多动作 token。基本上，我关注的就是这条信息流。

没错，不过动作并不表示为离散 token。因为动作是连续的，而且灵巧控制需要非常精确，所以我们用流匹配和扩散模型来生成动作。

我觉得很有意思的是，你们使用了谷歌开源的 Gemma 模型，这是谷歌发布的开源大语言模型，然后再叠加一个动作专家。人工智能不同领域的进展不仅依靠相同的技术，甚至直接使用同一个模型，这很有意思。你可以拿开源 LLM，再加上动作专家。

直觉上，你可能会觉得机器人是独立的研究领域，LLM 和自然语言处理又是另一个研究领域。其实不是，真的是同一套东西。要考虑的问题相同，架构也相同，甚至权重也相同。我知道你们会在这些开源模型上继续训练，但这一点让我觉得非常有意思。

这里有个重要观点：这些基础模块之所以有价值，是因为 AI 社区越来越擅长利用先验知识。预训练 LLM 和 VLM 带来的是关于世界的先验知识，其中一部分比较抽象。模型可以识别物体，大致判断它们在图像中的位置，等等。

如果要用一句话概括，近期 AI 创新给机器人带来的最大好处，就是利用先验知识的能力。模型本身和语言模型相同，这在深度学习中一直如此。真正强大的地方在于能调取先验知识和抽象知识，而这些知识可以来自许多不同来源。

我之前和 GDM 的研究人员 Sander 聊过，他研究视频和音频模型。他提出一个观点：不同模态之间的迁移学习目前有限。也就是说，让语言模型使用视频和图像训练，似乎不一定会让它在文本问答和任务上变得更强，因为图像的语义层级和文本不同。

他的论点是，文本在模型里已经具有较高层次的语义表示；图像和视频却只是压缩过的像素。它们被嵌入后，并没有表示高层次的语义信息，仍然只是压缩像素。因此，这些模态进入模型时所处的表示层级不同，也就难以产生迁移学习。

这显然和你们的工作密切相关。你的希望是，让模型通过机器人看到的视觉数据学习，也许最终还会用 YouTube 等一般视频数据；再加上语言信息和机器人本身的动作数据，所有这些结合起来就会让它变得更通用、更稳健。你之前写过一篇很有意思的博客，讨论为什么视频模型不像语言模型那样稳健。抱歉，我这个问题说得不太清楚，只是想听听你的看法。

是啊，问题到底出在哪里？我有好消息，也有坏消息。坏消息是，你刚才说的正好触及视频和图像生成模型长期以来面临的核心难题。某种意义上，通过预测视频来构建智能系统的想法，比通过预测文本还要早。可是，文本模型先于视频模型发展出实用能力。视频模型当然很出色，可以生成很酷的视频，近期相关工作也令人惊叹。但仅仅生成图像和视频，并没有让系统具备深入理解世界的能力，让人可以要求它去做生成图像、视频以外的事情；语言模型显然已经做到了这一点。

表示方式是关键。想象一下，你把摄像机对准这栋楼外面：天空、飘动的云、河水、来往的汽车和行人。要预测未来发生的一切，可以有很多种做法。你可以说：“这里有人，我要深入理解人群心理，预测行人的行为。”但你也可以说：“云在移动，那我就要深入理解水分子和空气中的冰粒子。”你可以钻研得非常深入。如果你想从亚原子层面理解所有变化，一个人可能要花几十年思考，还没轮到行人或水流。

如果真要预测场景里的所有事，信息量太大了。即使你把其中一类现象百分之百研究透了，等研究其他所有现象时，几十年就过去了。相比之下，文本已经被抽象成我们人类关心的信息单元，所需的表示方式已经在那里。它们不仅是好的表示，也聚焦在真正重要的内容上。

坏消息说完了，好消息是，我们不必只靠摄像机拍摄建筑外面的一切来学习。机器人有明确任务，感知是为了完成任务服务的。这是一个很好的聚焦因素。

我们知道这对人类也很重要。你要做的事情会影响你能看到什么。心理学实验早已反复证明，人会有惊人的注意盲区：如果某件事和目标无关，他们甚至看不到眼前的东西。这种聚焦机制非常有力。人身上出现这种机制肯定有原因。待在丛林里，看到的东西越多肯定越好；但如果人有这么强的聚焦机制，就说明它对达成目标一定非常重要。机器人也有这种聚焦机制，因为它们在努力完成某个目标。

视频模型不够稳健，会不会对机器人研究前景不利？你们要用的数据里会有很多……我想你的意思是，其中许多数据都要加标签。理想情况下，你只想把 YouTube 上所有视频、所有人录制过的视频都扔进去，让模型学会物理世界如何运作、如何移动。它只要看人类做任务就能学会。我想你的意思是，只靠这些视频很难学会，机器人还得亲自练习任务。

我打个比方。假设我给你很多体育比赛录像，让你花一年时间只看比赛。一年之后，我告诉你：“好了，现在去打网球。”这显然很愚蠢，对吧？但如果我先告诉你要打网球，再让你学习，你就知道该关注什么。

这确实是个现实挑战，我不想淡化它。但让具身基础模型通过交互、控制机器人系统来学习，也很有潜力让它更善于吸收其他数据源，因为它知道自己要做什么。这不是万能药，不能解决所有问题，但确实很有帮助。我们已经看到一些初步迹象：把网络数据纳入机器人训练，确实能改善泛化。我怀疑长远来看，这会让模型更容易利用那些至今难以使用的数据来源。

大家都知道，LLM 会涌现出从未被专门设计过的能力，因为互联网文本中某处存在训练数据，能让它学会某类任务。机器人似乎不同，你们手动收集所有数据。这样一来，数据集中就不会隐藏着某种神秘的新能力，而是你们必须有意收集。

这似乎意味着实现稳健的分布外能力会更难。我想象未来五到十年会是这样：每个子任务都得给它数千个训练样例。只靠子任务，很难自动化大量工作。想想咖啡师、服务员、厨师要做什么，很少有人只是待在一个工作台前做事。他们得走来走去、补货、修机器，在柜台、收银台和机器之间穿梭，等等。

接下来会不会有无穷无尽的新任务和技能，每个都要靠人工不断添加样例、标注数据并检查表现？还是说机器人能以更通用的方式进步？

这里有个微妙之处。涌现能力不只是因为互联网数据内容丰富，还因为泛化达到一定程度后，就会具有组合性。我有个学生很喜欢在演讲中举一个可爱的例子。你知道国际音标（IPA）是什么吗？

不知道。

查词典时，你会看到单词的发音用一些奇怪的符号写出来，那基本上就是国际音标。它几乎只用于在词典里标注单个单词的发音。你可以让 LLM 用国际音标写一道菜谱，它也能做到。这简直不可思议，因为它显然没见过这种用法：国际音标只用来标记单个词的发音。

这就是组合泛化：把见过的东西用全新的方式组合起来。严格说来，这也并非完全前所未有，因为模型见过用音标写的不同词语；但它能理解，可以像组合英语单词那样，把这些词组合成另一种语言。涌现能力正是这样出现的。因此，只要行为样本足够多样，模型原则上就应该能学会把这些行为重新组合，在新情境中使用。

我们现在的模型其实已经展现出类似能力。五年后回头看，我们可能会觉得目前的规模还很小。但已经出现了我称之为早期涌现能力的现象。我们在调整一些叠衣服策略时，偶然发现了这一点：机器人从箱子里不小心拿起两件 T 恤，而不是一件。它开始叠第一件时，另一件挡住了它，于是它拿起另一件，把它扔回箱子里。我们没料到它会这样做。太不可思议了。

之后我们试着再做几次，发现它每次都会这么处理。它能继续完成任务。你再在桌上放个别的东西，它会把东西捡起来放回去。挺厉害。它开始把东西放进购物袋；购物袋倒了，它会重新把袋子扶起来。没人特意收集这种行为的数据。我确信有人曾经偶然或有意地捡起过购物袋。

大规模学习会自然产生这种组合能力，这正是许多惊人能力的来源。如果再加上语言和各种思维链推理，模型就有很大潜力以新的方式组合能力。

对。我在参观你们办公室的机器人时也遇到过类似例子。它们当时在叠短裤。我不知道训练集中有没有这种情况，但我只是出于好玩，把一条短裤翻了过来，让里面翻到外面。它就理解了应该先把短裤翻正，再把它叠好。首先，它的夹爪看起来只是两个相对的手指，像拇指和手指。光靠这样的结构能做的事已经非常惊人了。但它确实明白，必须先翻过来才能正确折叠。

尤其令人惊讶的是，这个模型似乎只有一秒钟的上下文。语言模型通常能看到整个代码库，观察几十万个 token 后再输出；它们还会在制定编码计划前，先把自己的思维链生成数千个 token。你的模型却只看到一张图像、过去一秒内发生的事情，还隐约知道自己要叠这条短裤。它看到的也就是上一秒的画面。我想，它竟然真的能完成任务。

它只看到刚刚发生的事情，然后就继续执行计划，这真让人难以置信。先把短裤翻过来，再正确折好。仅靠一秒的上下文，就能执行持续一分钟的任务，太令人惊讶了。我很好奇，你们最初为什么要这样设计，又为什么这种方式能完成任务……如果人类只有一秒钟记忆，还得做体力活，我觉得根本不可能。

先说明，并不是说记忆越少越好。增加记忆、延长上下文、提高图像分辨率，都会让模型更好。但对于你在我们这里看到的那些技能，记忆之所以不是最重要的部分，在某种程度上回到了莫拉维克悖论。

莫拉维克悖论是机器人领域最值得了解的事情之一。它说，在 AI 里，容易的事很难，困难的事反而容易。也就是说，我们觉得理所当然的事——拿起物体、视觉感知、理解周围世界——都是 AI 的难题；我们觉得困难的事，比如下棋和做微积分，反而通常更容易。

我认为记忆问题其实是莫拉维克悖论的一种隐蔽体现。我们以为，认知负担很重、让我们觉得“天啊，真累，真费劲”的任务，都需要记住很多信息。如果你在解一道大数学题，或在播客里进行复杂的技术讨论，就需要把许多拼图块都放在脑子里。

如果你做的是熟练任务，比如奥运会游泳选手以标准姿势游泳，进入大家所说的“心流”状态——仿佛整个人只活在当下。你练习得太多，动作已经融入大脑的神经网络，不必再小心翼翼地记住所有上下文。这正是莫拉维克悖论的体现。

这不意味着我们不需要记忆。它只是说明，如果想达到人类的灵巧度和身体技能水平，首先应该把其他基础问题解决好，然后再逐步进入更复杂的认知领域，比如推理、上下文和规划。这些能力同样重要。

45:37这里有个三难问题：有三项都需要更多推理算力，而你又想同时提升它们。第一是推理速度。人类每秒处理 24 帧左右，反应非常快。第二是上下文长度。要让机器人帮你打理家务，我觉得它必须记得几分钟前甚至几小时前发生的事情，并理解这些事情如何影响下一项任务。第三是模型规模。至少从 LLM 来看，参数增加后能力会提升。

我认为目前模型的推理速度是 100 毫秒，上下文长度是一秒，模型有几十亿个参数。至少其中两项比人类水平低了许多数量级。人脑有数万亿参数，而这个模型约有 20 亿。人类处理信息至少和模型一样快，实际上快得多，而且有数小时的上下文。人类上下文具体怎么定义还有争议，但总之可以有数小时甚至数十年的记忆。

有时候甚至能记几十年。

没错。这三项似乎彼此制约：提升其中一项，就会减少推理时能够用于其他项目的算力。我们该怎么解决？

这是个非常大的问题。我们慢慢拆开来看。这里有一个非常有趣的技术问题，未来几年可能会出现许多创新：上下文应该如何表示？

你刚才举过一些例子。比如家用机器人执行任务时，必须持续记住某些事情。人会把部分信息以非常符号化、近似语言的方式记下来。我有购物清单，出门购物时能在脑中直接看到清单：买酸奶、买牛奶，等等。我不会在脑中想象牛奶货架和牛奶盒，只会想“牛奶”这个词。

但另一些信息更具空间性，甚至近似视觉信息。比如我想去你的录音室时，会想：“这条街长这样，那条街长那样，入口应该是什么样。”

用合适的形式表示上下文，保留完成目标所需的信息，同时丢掉不必要的内容，我认为这非常重要。多模态模型已经开始展现这种能力，但多模态远不只是把图像和文本放到一起。这方面还有很大的创新空间。

你指的是表示方式吗？

我指的是如何表示上下文：包括过去发生的事情，也包括计划、推理，也就是你希望接下来发生的事情，或完成任务时的中间处理步骤。如果能用多种模态来表达，其中也可能包括专门学习出来、适合该任务的模态，就有很大潜力解决其中一些难题。

有意思。谈到推理时这些艰难的权衡，我还想拿人脑来比较。人脑能记住数小时、数十年的上下文，同时在大约 10 毫秒的时间尺度上采取行动；参数量则有 100 万亿左右，或者你想怎样计算都行。我想知道，该怎么理解这种差距：人脑硬件是不是远比 GPU 先进？还是视频信息编码算法效率高得多？也许是某种复杂的混合专家机制，让活跃参数也只有几十亿，算是低几十亿规模？还是这两者的组合？

如果要解释为什么这些模型在很多维度上都比人脑低效几个数量级，你觉得原因是硬件还是算法？

这是个很好的问题。我真的不知道答案，也不熟悉神经科学。如果非要猜测，并用我比较了解的领域作答，我会说大脑的并行程度极高。由于生物物理机制，它必然高度并行，而且并行度甚至超过 GPU。

想想现代多模态语言模型如何处理输入：给它一些图像和文本，它先读图像，再读文本，然后逐个 token 生成输出。对具身系统来说，我觉得并行进程更合理。当然，从数学上可以建立并行处理与顺序处理之间的近似等价关系。Transformer 本质上并非顺序结构；只有加入位置嵌入后，才把它变成顺序处理。这恰恰也是 Transformer 易于并行化、因而非常出色的原因。

我不认为从数学角度看，这种高度并行的系统——同时进行视觉感知、本体感觉和规划——一定要和 Transformer 完全不同，尽管实际实现会不一样。你可以想象一个系统同时处理：“这是我的长期记忆、十年前见过的事情、短期空间信息、语义信息、当前观察，以及我正在做的计划。”所有这些都可以用某种熟悉的注意力机制实现，但实际上并行运行，可能采用不同频率：复杂处理慢一些，快速反应则快一些。

如果五年后我们有了一个和人类一样稳健、能与世界互动的系统，究竟发生了什么，才让这种系统在物理上成为可能？它能实时接收视频，或把之前数小时的视频编码并纳入考虑，同时在毫秒级解码，而且还拥有更多参数。是因为英伟达推出了更好的 GPU，还是你们开发了更好的编码器？这五年里究竟发生了什么？

这个问题有很多方面。显然，这也是个很有意思的系统工程问题。我不是系统工程专家。我猜，如果想做一个价格实惠的系统，实际架构可能需要把部分思考过程放到机器人外部。你可以想象，未来某种机器人在网络连接不佳时，会进入更迟钝的反应模式；但网络连接良好时，它就会更聪明一点。挺有意思的。

此外，研究和算法也能提供帮助，关键是找到正确的表示方式，简洁地表示过去的观察，也表示观察中的变化。感官信息流在时间上高度相关：每多看一帧，新获得的信息并不等于整帧所包含的信息。我现在看到的图像和之前看到的图像高度相关。原则上，我们应该用简洁的表示来编码。如果不把每张图像独立表示，我们可以大幅压缩信息。算法层面有很多工作可以让这件事做得更好，这也是非常有意思的研究方向。

这也确实是个很有意思的系统工程问题。老实说，我还没开始研究系统工程，因为要先弄清楚机器学习方案的结构，才能实现整个系统。但这方面还有很多有趣的事情可以做。

也许你们可以把 YouTube 数据中心的工程师招过来，他们懂得如何编码视频信息。

这引出一个有意思的问题。理论上，你可以在笔记本电脑之类的设备上运行自己的 LLM。现实中，规模最大、效果最好的模型会成千上万、甚至数百万用户一起批量运行，而不是本地运行。由于批处理本身有效率优势，加上机器人推理计算量极大，机器人领域也会这样发展吗？你不会想让每台机器人都配一块价值 5 万美元的 GPU。你当然希望计算能放在别处完成。

在机器人领域，我们是不是应该预期所有地方都要联网？机器人必须反应很快，还要双向传输视频，至少得把视频传回去。这会如何影响机器人的部署方式？

我不知道。但如果非要猜，我觉得两种方式都会出现：用外部设备做推理的低成本系统，以及更可靠的系统。比如在户外使用、无法依赖网络连接的机器人，成本会更高，但会在本机运行推理。

从技术角度看，有几点可能有助于理解这个问题。实时系统当然必须实时控制，往往需要高频率执行；但每个时间步所需的思考量可能出乎意料地少。人类和动物也是如此。我们规划动作时，大脑确实会进行规划。记录猴子的大脑活动，就能发现规划的神经活动相关指标。动作开始之前，确实会发生某些处理；动作的形态也与此前发生的事情相关。这就是规划。

这意味着先设定某些条件，然后让过程展开，动作也就随之发生。在动作进行期间，计算量会减少，因为部分计算已经提前批量完成。但这并不是完全开环运行，也不是像磁带录音机那样照放不误。你仍会边做边调整，只是调整发生在更基础的抽象层级。

这又回到了表示方式的问题。要弄清哪些表示方式足以支持提前规划并执行计划，哪些则需要紧密的反馈回路。紧密反馈回路中，你要反馈什么？开车时，可能要根据车道线的位置调整，确保车辆走直；频率低一些时，我还会大致判断自己在车流中的位置。

57:59几年前你做过几场讲座，说即使在机器人领域，很多情况下强化学习也优于模仿学习。但目前这些模型似乎只在做模仿学习。我想知道你的想法有没有变化。也许没变。那接下来就要实现强化学习。你们为什么还做不到？

关键在于先验知识。要想从自己的经验中有效学习，事先懂一点相关知识其实非常重要。否则学习要花很长时间，就像一个孩子得花很久才能学会最基本的事情，例如第一次学写字。一旦已有一些知识，就能很快学新东西。我们现在用监督学习训练模型，就是为了建立基础，让模型获得先验知识，以便之后更快地弄清新事情。

这并不是新想法。LLM 的发展正是如此：最初完全通过预测下一个 token 进行训练。这为各种合成数据生成打下了良好基础，之后又支持了强化学习。我们完全可以预期，任何基础模型项目都会走类似路径：先用某种蛮力方法把基础建立起来。基础越扎实，之后就越容易通过更容易获得的训练方式继续改进。

十年后，最好的知识工作模型会不会也是一个机器人模型，或者内置了动作专家？我这样问是因为，我们已经看到通用模型有优势。机器人也会属于这一类吗？最终是不是会有一个模型包办所有事情，包括体力劳动和知识工作，还是两者会继续分开？

我非常希望它们最终能合为一体。当然我有很强的偏见，因为我喜欢机器人，也认为机器人是 AI 的根本问题之一。但从乐观角度看，我希望情况反过来：加入机器人能力会让其他方面的能力也变得更好。

我可以解释其中两个原因。第一个和表示方式、注意力焦点有关。正如我之前说的，如果视频预测模型只是想预测所有会发生的事，就很难判断哪些信息相关。若你正努力完成一项任务，这个目标会让你更聚焦地理解世界，从而更有效地利用其他信号。这会非常强大。

第二个原因是，深入、从根本上理解物理世界，超越我们用语言能表达的范围，可以帮助解决其他问题。我们经常会这样做。谈论抽象概念时会说：“这家公司有很强的动能。”我们会用社会隐喻来描述无生命物体，比如：“我的电脑讨厌我。”我们以某种方式体验世界，这种主观体验会深刻影响思考方式，然后我们把它当作锤子，去解决那些抽象得无法用其他方式处理的问题。

另外，实体机器人在推理速度、模型规模等方面，也可能有不同于知识工作的要求。也许它还是同一个模型，只是用不同方式提供服务。共同训练的优势足够大，值得这样做。

我在想，如果五年后我用模型帮我写代码，它会不会也懂机器人？也许代码生成在机器人领域的优势足够大，值得把它们合在一起。

从抽象知识工作的角度看，编程可能是巅峰。计算机编程在数学结构上非常抽象，所以人们才这么难掌握。

我有点不明白，为什么机器人领域不能更好地利用模拟。人类如果有意识地学习，会留心模拟环境与现实生活的相似之处，并关注这些部分，从而学到东西。

飞行员在模拟器里训练，F1 赛车手也在模拟器里训练。随着机器人变聪明，我们是不是也该期待它们通过模拟学会更多技能？还是说模拟一直都会有问题，我们永远需要真实世界的数据？

这是个非常微妙的问题。你提到飞行员用模拟器训练，这个例子很有意思。但要记住，飞行员在模拟器里学习驾驶飞机时，目标非常明确：他们的目标不是学会使用模拟器，而是学会驾驶飞机。他们知道之后还有考核，也知道未来要负责几百名乘客的安全，绝不能坠机。

我们用来自多个领域的数据训练模型时，模型并不知道自己要解决哪个具体任务。它只会看到：“这是我要掌握的一件事，那是另一件事。”更好的类比是：你在一个能驾驶飞机的视频游戏里玩，然后某天有人把你塞进真实驾驶舱。这并不意味着视频游戏毫无用处，但两者不是一回事。如果你的目标是精通那个游戏，你的学习方式会完全不同。

能不能对此进行某种元强化学习？你在 2017 年写过一篇非常有意思的论文。也许损失函数不是看模型玩某个视频游戏玩得多好，而是看它在不同游戏中的训练能否让它更擅长某个下游任务。我解释得很差，你能讲讲你理解我想说什么吗？

你的意思是，如果我们有一个非常聪明、具备元学习能力的模型，它或许能发现：在模拟器里做某些事情，可以提升它在现实任务中的表现。

具体来说，你是说把这个作为损失函数，对吧？

没错。但有个关键点。这类想法都是为了“通过其他手段提升现实任务表现”。关键枢纽是：你必须有办法训练模型，使它在现实任务中变得更好。我怀疑现实里未必需要做得如此明确。正如你刚才说的，元学习可以自然涌现。LLM 通过上下文学习，基本上就在做一种元学习。我们可以讨论这算不算学习，但重点是：用正确目标和真实数据训练的大型强力模型，会越来越擅长利用其他一切数据。我认为这才是关键。

回到飞行员的例子。飞行员在真实世界任务中受训，目标是成为优秀的飞行员、取得成功、拥有一份好职业。这些目标会影响他们的行动，也会让他们利用其他数据源。因此我认为，要利用模拟等辅助数据源，关键是建立一个足够强的基础模型，让这种能力自然涌现。正如你所说，要做到这一点，模型必须有正确的目标。我们现在知道如何从真实数据中提取正确目标，也许以后能从其他数据中做到，但目前还更困难。

还可以看看其他领域的经验。如今，人们训练 LLM 解决复杂问题时会用大量合成数据。它们能有效利用合成数据，是因为一开始就用大量真实数据打下了基础。模型先理解真实世界后，才更有能力利用其他数据。说来有些讽刺，要想用好模拟等其他数据源，关键反而是先学会利用真实数据、理解世界，然后才能有效使用其他数据。

假设在 2030 或 2035 年，我们真的进入了科幻世界。真正的 AGI 能不能构建模拟环境，排练人类或 AI 从未练习过的技能？比如我们在建造戴森球，需要它练习成为宇航员，就可以让它在模拟里训练。还是说无论模型有多聪明，模拟依然有根本问题？

我会这样回答：从根本上说，自己生成的合成经验不能让你学到更多关于世界的新信息。它可以让你排练、考虑反事实，但系统必须以某种方式获得关于世界的信息。你这个问题问得很好。在机器人领域，人们传统上把模拟看成一种注入人类知识的方式：人类写出微分方程、编写代码，机器人就获得了原本没有的知识。

但从其他领域的经验——比如视频生成以及 LLM 合成数据——我们越来越发现，生成合成经验最强大的方式可能是依靠一个优秀模型。模型对那些细节的了解可能比人类更多。但这个模型的知识从哪里来？来自它对现实世界的体验。

某种意义上，你说得很对：非常强大的 AI 系统可以模拟很多东西。但到了那个阶段，这件事本身可能就不重要了。把系统看作黑箱，输入信息、输出能力。至于它是通过想象和模拟处理信息，还是通过某种无模型方法处理，对我们理解它的能力影响不大。

你觉得这在人类身上对应什么？我们做白日梦或睡觉时，大脑究竟在做什么？如果要用机器学习作类比，你觉得这种辅助过程是什么？

你睡觉时，大脑确实会做一些和清醒时很相似的事情。它看起来很像在回放经历，也可能是在生成统计上相似的新体验。很合理的一种猜测是，大脑可能通过学习得到的模型进行模拟，从而思考反事实。

还有一个更根本的问题：无论采用什么方式，最优决策都需要考虑反事实。你得问自己：“如果我做另一件事，会不会更好？”然后必须想办法回答。你可以用学习到的模拟器、价值函数或奖励模型来回答；归根结底都是一样的。只要你有办法考虑反事实，并判断哪个更好，就行了。我喜欢这样理解，因为问题会变简单：关键不一定是做好模拟，而是找到考虑反事实的方法。

69:18有意思。再回到宏观问题。我想弄清机器人经济何时能部署，是因为这关系到 AGI 的发展速度，显然也关系到数据飞轮。

此外，如果把 AI 的资本支出外推到 2030 年，不同人估算不一样，但很多预测认为届时需要数百吉瓦：100、200、300 吉瓦。你可以算一算，如果到 2030 年部署 100 到 200 吉瓦，所需的年度边际资本支出会达到数万亿美元。也就是每年 2 到 4 万亿美元。你真的得建数据中心、芯片工厂和太阳能板工厂。

我很想知道，到 2030 年时，最大的瓶颈是否只是缺少人手，无法在数据中心旁铺设太阳能板或组装数据中心？还是说机器人产业已经足够成熟，能显著参与这些工作？

有意思。你的意思是，我们现在要买多少混凝土来建数据中心，才能在 2030 年给所有机器人供电？这比我原先想到的更雄心勃勃，但确实是个好问题。当然，机器人也可以帮你建造这些设施。

但到那时机器人真的能做到吗？不考虑机器人，其他基础设施本身就需要大量资本支出。机器人方面也要建机器人工厂，等等。整条产业链都会出现工业级扩张。机器人能把这件事加速多少，或让它成为可能？

理论上能做的事情相当多。有时我们会把机器人想成机械人类，但机器人不是人类，人类是人类，机器人是机器人。更好的类比是汽车或推土机：维护需求更低，可以放到各种环境中使用，而且完全不必长得像人。你可以造一台 30 米高的机器人，也可以造一台很小的机器人。

如果你有足够智能的系统来驱动形态各异的机器人，整体效果很可能比单纯制造机械人类好得多。这能显著提高人的生产率，也能解决一些非常难的问题。比如我不是数据中心专家，但你可以把数据中心建在非常偏远的地方，因为机器人不需要附近有购物中心。

软件在哪里运行是一回事，世界上会有多少台实体机器人又是另一回事。Physical Intelligence 训练的这些桌面机械臂，实际有多少台？到 2030 年会有多少台？这些问题很难回答。要推动 AI 爆发，到底需要多少机器人？

这些问题确实很难。到目前为止，机器人还没有像长远来看可能那样享受到规模经济。举个例子，2014 年我开始研究机器人时，用的是一台非常好的 PR2 研究机器人，买一台要 40 万美元。我在加州大学伯克利分校建立研究实验室时，买的是每台 3 万美元的机械臂。我们现在在 Physical Intelligence 使用的机械臂，每台大约 3,000 美元。我们觉得实际制造成本还能降到这个数字的一小部分。

成本下降的原因是什么？

有几个原因。一个当然是规模经济：定制、高端的研究硬件肯定比规模化生产的硬件贵。另一个是技术进步：我们越擅长制造带执行器的机器，它们就会越便宜。

还有软件因素。AI 系统越聪明，硬件就不必满足某些苛刻要求。传统工厂机器人必须做高度重复的动作，所以需要高精度和高鲁棒性；如果能使用廉价的视觉反馈，这些要求就没那么高。AI 也能让机器人更便宜，并降低硬件要求。

有意思。你觉得成本下降趋势会继续吗？到本世纪 20 年代末，移动机械臂会不会只要几百美元？

这个问题最好问我的联合创始人 Adnan Esmail，我认为他大概是全世界最适合回答的人。可以肯定的是，我看到的成本下降速度年复一年都超出预期。

全球大概有多少机械臂？超过一百万台吗？还是不到一百万？

我不知道，而且这个问题也很难回答，因为各种机械臂并不相同。工厂里用来装配汽车的机器人，未必是我们应该考虑的那一类。

也不是我们想用来训练模型的那类。

对，目前它们还不是商业化部署的工厂机器人。

不到 10 万台？

我不知道，但大概是吧。

好。我们想要数亿、至少数百万台机器人。如果要推动 AI 爆发，就不仅需要机械臂，还需要能够移动的机器人。我想知道，等 AI 繁荣需要更多劳动力时，部署足够多的机器人是否可行？

需求旺盛时，经济体很擅长满足需求。2001 年全球有多少部 iPhone？——当然，那时还没有 iPhone。扩大规模确实是个挑战，值得认真思考。对我这样的研究人员来说，一个特别重要的问题是：AI 如何改变我们对硬件的思考方式？

有些需求确实非常重要，比如设备不能总是坏。另一些则还是未知问题：我们需要几根手指？你刚才也说，双指机器人能做很多事情，让你很惊讶。也许还是需要更多手指，但找到兼具良好功能的最低配置很重要。这仍是个开放问题。

有些要求我们可能根本不需要。机器人不一定需要极高精度，因为我们知道反馈控制可以补偿误差。我现在的工作重点是弄清楚，最低限度需要什么配置才能满足要求。我会从“最低配置”角度思考机器人，因为我不认为最终会出现唯一一款终极机器人，也就是机械人类。

我们将会有许多种机器人，各自满足有效机器人需要具备的一些条件。就像优秀的智能手机需要触摸屏，这是大家认同的基本配置；除此之外，还有许多选配功能，取决于具体需求和价格区间等。未来会有大量创新：一旦出现能接入任何机器人的强大 AI 系统，赋予机器人基本智能，不同的人就可以针对各个细分场景优化机器人硬件。

从制造商角度看，机器人领域会不会出现一个类似英伟达的公司？

现在还没有，也许未来会有。我可能有点理想化，但我希望机器人行业能保持多样性。

作为设计机器人算法的人，你觉得当前硬件最大的瓶颈是什么？

这个问题很难回答，主要因为变化太快。从硬件角度看，我花很多时间思考的主要是可靠性和成本。我不是特别担心成本本身，只是成本决定机器人数量，机器人数量又决定数据量。作为机器学习研究人员，我非常喜欢拥有大量数据。所以我希望机器人价格低廉，这样就能部署更多机器人，获得更多数据。可靠性也很重要，原因大致相同。

随着技术发展，这些问题会逐渐清楚。基本上，今天的 AI 系统还没有把硬件推到极限。等 AI 越来越强，硬件就会被推到极限；到那时，希望我们能更好地回答你的问题。

78:01很多嘉宾都听我问过这个问题。沿着 AI 爆发的任何一层往下看，都会发现不少关键供应链环节在中国生产，芯片除外。比如数据中心所需的许多太阳能电池片、组件和晶圆，都在中国制造。沿整条供应链看，机器人机械臂显然也在中国生产。

你会看到一个世界：制造硬件极具价值，因为每台机器人都能创造一部分人类工人的产值。不仅如此，劳动力本身——无论是人还是其他工人——价值也大幅提高，因为我们需要大量人手来铺设数万英亩的太阳能农场、建设数据中心和晶圆厂，等等。

在这个繁荣时期，最大瓶颈会不会只是能部署多少机器人、能制造多少机器人？你们会开发算法，我们只需要硬件。这是我问过许多嘉宾的问题。如果看你观察到的产业链，为什么中国不会轻易胜出？如果机器人都由中国生产，而你们开发的算法让它们极具价值，中国为什么不会直接赢？

这个问题非常复杂。我先谈更广泛的主题，再具体展开。如果一个经济体想靠高素质劳动力领先，也就是靠高生产率的人——每个人工作一小时，就能产出很多东西——自动化会非常有用。自动化能成倍提高每个人的生产率。还是拿编程工具作比：LLM 编程工具提高软件工程师的生产率，机器人也会提高几乎所有劳动者的生产率。

这是最终状态，也是理想状态。但如何达到这个状态、如何让社会接受这一过程、如何处理地缘政治问题，都很复杂，需要作出许多正确决策。投资方向要均衡，机器人生态要平衡，同时支持软件创新和硬件创新。我不认为这些问题无法解决，只是需要长远眼光和恰当的投资平衡。

让我很乐观的是最终状态。我们应该都同意，美国希望成为这样一种社会：人民生产率高、受教育程度高，并从事高价值工作。这个目标显然与自动化和机器人相容，因此从某种程度上说，我们应该有很强的动力去实现它。

之后还需要解决各种细节。这并不容易，涉及私营企业、投资和政治等复杂问题。但我很乐观，因为实现目标的方向是对的。

我想问的是另一个问题。如果瓶颈在硬件，只需要制造更多硬件，那么要通过什么途径才能在美国或盟友国家生产数亿乃至数十亿台机器人？我不知道该如何回答，但这似乎和人类工资或其他问题不是一回事。

具体怎么做到，这是一个很长的话题，我恐怕不是最适合回答的人。但关键因素之一是，机器人能帮忙做实体工作。如果机器人生产本身也是实体工作，那么把机器人技术做好，应该能帮助解决生产问题。

这当然有点循环论证；所有循环系统都得先启动引擎。但这似乎比数字设备的情况更容易解决。制造电脑、手机等产品需要人力，而电脑和手机本身无法帮助完成这些制造工作。

对，我想反馈循环可以往两个方向发展。它们可以帮助我们，也可以帮助别人；这本来就是一个正和世界，别人受益不一定对我们不利。不过，供应链中的许多环节——零部件制造和生产链——已经存在于中国，这就意味着更强的反馈循环可能会在那里形成。我不确定这是否有问题，也许这是好事，他们或许会继续把产品出口给我们。但我觉得值得注意：每当我问嘉宾产业链上的各个环节，都会听到“几年内每个关键瓶颈都会落在中国控制的供应中，某些环节中国甚至占全球供应的 80%”之类的答案。

所以我前面才说，最重要的是建立一个平衡的机器人生态系统。AI 固然令人兴奋，但也要认识到，发展 AI 并非唯一要做的事。我们得考虑如何平衡优先事项、投资和时间分配。例如，Physical Intelligence 非常重视硬件，我们自己制造很多设备，也希望硬件发展路线和 AI 发展路线并行。不过这是我们公司的选择。

对美国，乃至整个人类文明而言，我们需要从整体上思考这些问题。当某个领域的进展非常令人兴奋时，很容易被它吸引，忽略其他事情，包括你提到的硬件、计算基础设施等。总体而言，最好能用更全面的视角来看待这些问题。希望以后能有更多这样的整体性讨论。

从整个社会的角度看，我们应该如何思考机器人和知识工作的进步？基本上，社会应该为全面自动化做好准备。会有一段时期，人力价值会大幅上升，因为经济将迎来巨大繁荣，需要建设大量数据中心和工厂。最终，人类可以用身体做事，也可以用头脑做事。除此之外并没有什么神秘的第三种工作。

社会应该为怎样的未来做准备？应该为人类工作全面自动化做准备。社会也会富裕得多。我想，总有办法让所有人的生活都比现在好得多。最终目标，也就是隧道尽头的亮光，是全面自动化，加上一个超级富裕的社会，并通过某种再分配方式确保共同受益。不知道你是否同意这种描述。

从某种角度看，这样想很合理。但如果我从技术发展中学到了一件事，那就是技术演进很少完全按照人们的预期进行。有时，走向目标的过程和目标本身一样重要。很难提前规划好最终状态。大方向上，你说得很有道理。我确实认为，我们所有人都应认真思考如何建设周围的世界，使各个行业都能逐步实现自动化。但过程和终点同样值得重视，因为技术发展会以各种难以预测的方式展开。自动化会出现在各种领域，最先出现的地方可能和我们预想的不同。

这里有一点始终非常重要：教育极有价值。面对变化带来的负面影响，教育是一个人最好的缓冲。如果社会只能采取一个杠杆，那就是普及更多教育。

真的吗？莫拉维克悖论指出，对人类最有用的教育内容，可能恰好最容易让 AI 自动化，因为教 AI 非常容易。你花一个下午就能把需要读八年研究生才能读完的教科书都输入进去。

教育让人获得灵活性。重要的不只是你知道哪些具体事实，而是你能不能获得技能、理解新事物。前提是教育本身必须良好。

Dwarkesh Patel

是啊。好，Sergey，非常感谢你来上播客。这次对话太有意思了。