Pieter Abbeel: 彼得·阿比尔：深度强化学习
Pieter Abbeel: Deep Reinforcement Learning
嘉宾：Pieter Abbeel
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01原文文稿 · 00:00–11:39
以下是与彼得·阿比尔（Pieter Abbeel）的对话。
他是加州大学伯克利分校的教授，也是伯克利机器人学习实验室的主任。
他是世界上顶尖的研究者之一，研究如何让机器人理解周围的世界并与之互动，
尤其是使用模仿学习和深度强化学习。
这次对话是 MIT 通用人工智能课程和人工智能播客的一部分。
如果你喜欢，请在 YouTube、iTunes 或你常用的播客平台订阅，
或者在 Twitter 上联系我，账号 @LexFriedman，拼写为 F-R-I-D。
现在，请听我与彼得·阿比尔的对话。
你提到过，如果能见一个人，你想见罗杰·费德勒。
那么让我问，你认为什么时候会有一个机器人，
能完全自主地在网球上击败罗杰·费德勒，也就是费德勒水平的网球选手？
嗯，首先，如果你能让我见到罗杰，请告诉我。
至于让机器人在网球上击败他，这是个有趣的问题，
因为对于我们思考的很多 AI 挑战，缺失的真正一环是软件。
但对于这件事，硬件也远远没有达到。
要真正有一个能在物理上四处奔跑的机器人，波士顿动力的机器人开始接近了，
但仍然没有达到人类水平的奔跑和挥拍能力。
所以你认为那是硬件问题？
我认为不只是硬件问题，而是硬件和软件的问题。
我认为两者都是，而且它们会各自独立地进步。
所以我会说硬件也许要 10 到 15 年。
在红土上，而不是草地上。我是说，草地可能更难。
嗯，红土，我不确定草地和红土哪个更难。
红土涉及滑步，实际上可能更难掌握。
但你并不局限于双足。我确信没有——
嗯，如果我们能造一台机器，那当然是完全不同的问题。
如果你说，“好，这个机器人可以装轮子，用轮子四处移动，
可以设计得不同”，那么我认为这可以更早做到，
大概比完整的人形设置更早。
你怎么看挥拍这件事？你研究过基本的操作。
你认为挥拍这个任务有多难，
能够打出漂亮的反手或正手？
假设我们只是架设一个固定的机器臂，
比如一个标准的工业机械臂，
它能看着球飞来，然后挥拍。这是个好问题。
我不确定它会超级难做。
我是说，我确信它需要大量的——
如果我们用强化学习（原文转写为 reinforced milling）来做，会需要大量的试错。
它不会第一次就挥对。
但我看不出为什么它不能把球挥对。
我认为它是可学习的。如果你在一边架设一台发球机，
另一边是拿着网球拍的机器人，
我认为它是可学习的，也许加一点仿真中的预训练。
对，我认为这是可行的。我认为挥拍是可行的。
很有意思的是看它能达到多大的精度。
因为，我是说，有些人类选手能把球打在线上，
那是非常高的精度。
还有旋转。旋转是个有趣的——
强化学习能否学会给球加旋转。
嗯，你让我感兴趣了。也许哪天我们会把它搭起来。
总有一天，当然。
你让我很好奇。
你的回答基本上是：好，对这个问题，听起来很迷人。
但对于网球选手这个一般性的问题，我们可能还差得远一点。
你见过机器人在物理世界里做的最令人印象深刻的事是什么？
就物理方面，对我来说，是波士顿动力的视频。
总是让我印象深刻、深有感触。
最近，机器人跑上楼梯，做那种跑酷式的动作。
我是说，是的，我们不知道底层是什么。
他们并没有写很多细节。
但即使底层是硬编码的，也许是，也许不是，
单是做那种跑酷的身体能力，就非常令人印象深刻。
那你亲自见过 Spot Mini 或者那些机器人吗？
去年四月，在杰夫·贝佐斯组织的火星大会上见过 Spot Mini。
他们把它带到那里，它很好地跟着杰夫四处走。
杰夫离开房间时，他们让它跟着他，相当令人印象深刻。
所以我想，知道那些机器人里没有学习在发生，会让人有些信心。
那种心理。
所以即使知道这一点，知道如果有学习在发生也非常有限，
我今年早些时候见过 Spot Mini，了解所有正在发生的事，
有过一对一的互动，所以我可以单独花些时间。
立刻就在心理层面产生了深深的联结。
即使你知道基本原理、它是如何运作的，也有某种神奇的东西。
那么你会思考与物理世界中的机器人互动的心理学吗？
甚至你刚给我看了 PR2 机器人，它有点像一张脸，
有一点像脸。
有某种东西立刻吸引你。
你会思考机器人问题的这一方面吗？
嗯，有布拉德（Brad）在这儿，这很难。
我们给他起了名字，伯克利机器人，用于消除繁琐任务（BRETT）。
很难不把机器人当作一个人。
而且似乎每个人都不知为何称它们为“他”，
但这也让它比称“它”更像一个人。
这样想似乎相当自然。
刚过去的这个周末真的触动了我。
我在视频里见过很多次 Pepper，但随后我参加了一个活动，
是富达投资组织的，他们给 Pepper 写了脚本，让它帮忙主持一些环节。
他们给 Pepper 写的脚本让它有一点孩子的性格。
很难不把它看作某种意义上有自己人格的存在，
因为它会突然插话，
让它非常有互动性。
主持人说话时，Pepper 会突然插进来：“等等，那我呢？
我也能参与吗？”
然后你就觉得：“好，这就像一个人。”
而那百分之百是写好脚本的。
即使这样，也很难不产生那种感觉：好像那里真有什么东西。
所以当我们让机器人在这个物理世界里互动时，
那是否是一个可以用于强化学习的信号？
你在这个方向上做过一点工作，
但你认为这种心理学能以某种方式被引入吗？
是的，我会说很多人问这个问题。
我认为他们问它的部分原因是，他们在想，
我们作为人，到底还有多独特？
比如在他们看到一些结果之后，看到电脑下围棋，
看到电脑做这个、做那个，他们就想：“好，但它真的能有情感吗？
它真的能以那种方式和我们互动吗？”
而一旦你身边有机器人，你已经开始感觉到了。
我想，从方法论上，我的思路是，
如果你运行强化学习之类的东西，它是关于优化某个目标。
没有理由这个目标不能与
一个人有多喜欢与这个系统互动挂钩。
为什么强化学习系统不能为
机器人好相处、有趣而优化呢？
那么它为什么不会自然而然地变得越来越有吸引力，
也许越来越像一个人或一只宠物，我不知道具体会是什么，
但越来越多地具备那些特征，并自动获得它们。
——只要你能把“喜欢某样东西”意味着什么形式化为一个目标，
你如何表现，基本事实是什么？
你如何从人类那里得到奖励？
因为你得以某种方式在你内部收集那些信息，人类。
但你是说，如果你能把它表述为一个目标，它就能被学到。
没有理由它不能通过学习涌现。
也许把它表述为目标的一种方式，
你不一定非得显式地打分。
标准的奖励是数字，而数字很难获得。
“这在某个量表上是 1.5 或 1.7”，
这对人来说很难做到。
但容易得多的是人说：
“好，你过去五分钟做的
比之前五分钟做的要好得多。”
这样就给出了一个比较。
事实上，在这方面已经有一些成果。
比如，OpenAI 的保罗·克里斯蒂亚诺（Paul Christiano）及其合作者
让 MuJoCo 里的单腿跳跃机器人学会了后空翻。
完全是依靠反馈：我更喜欢这个而不是那个。
这两个差不多一样好。
经过一堆互动之后，
它弄明白了那个人要的是什么，也就是后空翻。
所以我认为同样的事——
——哦，它并不是在试图做后空翻。
它只是根据人给出的比较得分，
依据——
——那个人心里想的，在他自己心里，
我想让它做后空翻，
但机器人不知道自己该做什么。
它只知道有时那个人说：
“这个更好，这个更差。”
然后机器人弄明白了，
那个人真正想要的是后空翻。
我想象同样的事情对于
像更具互动性的机器人也是如此：
机器人会随着时间弄明白：
“哦，这类事情显然更受欢迎，
胜过另一类事情。”
——所以当我第一次拿起萨顿（Sutton）的，
理查德·萨顿的强化学习那本书时，
那是在深度学习之前，
在神经网络作为机器学习的强大机制
重新崛起之前，
强化学习在我看来像魔法。
它很美。
所以那似乎就是智能的样子，
强化学习。
那么你认为，当行动的奖励是延迟的、如此稀疏时，
关于世界的任何东西，当行动的奖励
是延迟的、如此稀疏时？
你为什么认为强化学习有效？
你为什么认为你还能学到任何东西，
在如此稀疏的奖励之下，
无论是普通强化学习
还是深度强化学习？
你的直觉是什么？
——与之对应的问题是，为什么强化学习
为什么它需要这么多样本，
这么多经验来学习？
因为实际发生的是，
当你有稀疏奖励时，
你做某件事，也许，我不知道，
你执行了一百个动作，然后得到一个奖励。
也许你得到的分数是三。
我会想，好，三，不知道这意味着什么。
你再来一次，现在得到二。
现在你知道，那个由一百个动作组成的序列，
也就是你第二次做的那个，
不知怎么比那个由一百个动作组成的序列更差，
也就是你第一次做的那个。
但现在很难知道
其中哪些更好、哪些更差。
有些可能在任何一次里既有好的也有坏的。
所以这就是你需要这么多经验的原因。
但一旦你有了足够的经验，
强化学习实际上就是在把这些理清。
它开始说，好，
当你得到更高奖励时，什么是一直都在的？
当你得到更低奖励时，什么又是一直都在的？
然后某种神奇之处，
有时策略梯度更新就是在说，
现在我们来更新神经网络，
让那些出现过的动作，
在事情顺利时的，更有可能发生，
§02原文文稿 · 11:41–19:37
并让那些出现的动作，
在事情不那么顺利时的，更不可能发生。
——所以那是反面的论点，
但似乎你需要运行它的次数
比实际要多得多。
尽管现在人们可以说
强化学习非常低效，
但它似乎比纸面上想象的
要高效得多。
策略的简单更新，
策略梯度，不知怎么你就能精确学到。
你刚说了，哪些是常见的动作，
似乎能产生一些好结果？
那种东西不知怎么能学到任何东西。
至少看起来反直觉。
它背后有什么直觉吗？
——对，我认为有几种思考方式。
我最初主要的思考方式是，
当我们在这里伯克利开始研究深度强化学习时，
大概是 2011、12、13 年前后，
大约那时，约翰·舒尔曼（John Schulman）是博士生，
最初在这里推动这件事。
我们当时的想法是，
如果你想想整流线性单元，
或者整流器类型的神经网络，
你得到什么？
你得到的是分段线性的
反馈控制。
而如果你看文献，
线性反馈控制极其成功。
它能出人意料地好地解决很多很多问题。
比如我记得我们做直升机飞行时，
如果你处于一个定常飞行状态，
不是非定常的，而是定常飞行状态，
比如悬停，你可以用线性反馈控制
来稳定一架直升机，这是一个非常复杂的动力系统，
但控制器相对简单。
所以我想很大一部分在于，
如果你做反馈控制，
即使你控制的系统可以非常、
非常复杂，往往相对简单的控制架构
就已经能做很多事，
但同时，仅仅线性还不够好。
所以你可以这样看这些神经网络：
从某种意义上说，它们对空间做了“铺砖”（分块），
这是人们本来就在更多靠手工，
或用有限状态机尝试做的事：
比如这里用这个线性控制器，
这里用这个线性控制器。
神经网络学会对空间分块，
说这里用一个线性控制器，
这里用另一个线性控制器，
但它比那更微妙。
所以它既受益于这种线性控制的一面，
也受益于分块，
但它是一次一个维度地分块。
因为假如你有一个两层网络，
如果在那个隐藏层里，
你让某个单元从激活变为不激活，
或者反过来，
那基本上是一个轴，
但不是与坐标轴对齐的，
而是你改变的一个方向。
所以你得到的是一种非常渐进的空间分块，
其中分块空间的各个线性控制器之间
有大量的共享。
这一直是我的直觉，解释为什么我预期
这可能会相当有效。
它本质上是在利用这样一个事实：
线性反馈控制是如此之好，
但当然还不够。
这是用线性反馈控制
对空间做渐进的分块，
而它们之间共享大量的“专长”。
——这真是很好的直觉。
但你认为它能推广
到越来越一般的问题上吗，
当维度数量开始增加，
当你开始降低
获得清晰奖励信号的频率时？
这种直觉能否延续到
那些我们认为是现实世界的、
更疯狂、更古怪的世界？
——我认为，在现实世界里，
与我们迄今在强化学习中
取得巨大成功的那些东西相比，
事情真正变得棘手的地方
是时间尺度，
它把我们带向一个极端。
所以当你想想现实世界，
我是说，我不知道，
也许某个学生决定来这里读博士，对吧？
好，那是一个决定。
那是一个非常高层次的决定。
但如果你想想他们的生活，
我是说，任何人的生活，
它是一连串肌肉纤维的收缩
和舒张，
而那就是你与世界互动的方式。
那是一件非常高频的控制的事，
但它最终就是你所做的，
也是你影响世界的方式。
直到，我想，我们有了脑信号读取，
你也许可以稍有不同地去做，
但通常情况下，那就是你影响世界的方式。
而读博士的决定，相对于你在世界上实际做的事，
是如此抽象。
我认为这正是信用分配
变得完全超出
任何现有强化学习算法能力的地方。
我们需要层次化推理，
其水平是目前完全还不具备的。
——你认为我们可以从哪里获得层次化推理？
通过什么机制？
——对，也许让我先强调一下
我认为的局限所在，
也就是 20、30 年前已经做过的东西的局限。
事实上，你会发现一些
在相对较长的时间跨度上进行推理的系统，
但问题在于它们没有根植于
现实世界。
所以人们必须手工设计
某种逻辑的、
关于世界的动力学描述，
而这并没有与感知联系起来。
所以它也没有与真实物体等联系起来。
所以那是一个很大的鸿沟。
现在有了深度学习，
我们开始有能力
真正通过传感器去看、处理，
并理解世界上有什么。
所以这是一个尝试
把这些东西结合起来的好时机。
我看到几种实现的途径。
一种途径是说，
深度学习可以以某种方式“嫁接”
到某些更传统的方法上。
“嫁接”大概意味着
你需要做某种端到端的训练，
你说：“我的深度学习处理
不知怎么得出一种表示，
而这种表示又使用某种
传统的底层动力系统，
可以用于规划。”
比如，那就是
这里的阿维夫·塔马尔（Aviv Tamar）和塔纳·库雷塔奇（原文转写为 Thanar Kuretach）
一直在用 causal infoGAN 推动的方向，
当然还有其他人。
这是一种途径。
我们能否以某种方式把它强行塞进
适合推理的形式？
另一个我们思考了很久的方向，
很久很久，
却没有取得任何进展的，
是更偏信息论的方法。
那里的想法是，
采取高层动作的含义
是现在选择一个隐变量，
它告诉你很多关于
未来将会是什么情况的信息。
因为那就是
采取高层动作的意义。
我说：“好，我决定导航
去加油站，因为我的车需要加油。
那么到那儿现在要五分钟。”
但我会到那里这个事实，
我早就能从
更早之前采取的高层动作中判断出来。
这个，我们很难做成功。
不是说它一定是死胡同，
但我们在让它奏效上遇到了很多麻烦。
然后我们开始重新审视这样一个概念：
我们真正想要实现的是什么？
我们想要实现的
不一定是层次结构本身，
而是你可以想想层次结构给了我们什么？
我们希望它给我们的
是更好的信用分配。
更好的信用分配给了我们什么？
它给了我们更快的学习。
所以，更快的学习最终也许才是我们所追求的。
所以，那就是我们最终得到的，
关于“学习如何强化学习”的 RL²（RL squared）论文，
当时由洛基·段（Rocky Duan）牵头。
那正是元学习的方法，
你说：“好，我们不知道如何设计层次结构。
我们知道想从中得到什么。
那就直接对我们想从中得到的东西
进行端到端的优化，
看看它是否会涌现。”
而我们确实看到了一些东西涌现。
迷宫导航里出现了沿走廊持续前进的运动，
这正是你想要的。
层次化控制应该说：
“我想沿着这条走廊走。”
然后当有拐弯的选项时，
我可以决定是否拐弯，并重复这个过程。
甚至还有这样的概念：
“你以前去过哪里，没去过哪里？”
不要重访你去过的地方。
§03原文文稿 · 19:39–27:49
它仍然没有推广到
你所想到的那种
真实世界场景，
但这是某种生命迹象，
表明也许你可以元学习这些层次化概念。
我是说，似乎通过这些元学习的概念，
我们触及了我认为是 AI 中最难
也最重要的问题之一，
那就是迁移学习。
也就是泛化。
在这条通向构建通用系统的路上，
我们走了多远？
能够把迁移学习做好。
所以有一些迹象表明你能做一点泛化，
但你认为我们走在正确的路上，
还是需要完全不同的突破
才能在不同的学到的模型之间
迁移知识？
——对，我对此相当纠结。
我认为已经有一些非常令人印象深刻的——
——当下的成果。
——嗯，已经有一些非常令人印象深刻的结果了。
对吧？
我是说，我会说，当
即便是 2012 年最初那次大突破，
也就是 AlexNet，对吧？
最初的反应是，好，太棒了。
它在 ImageNet 上表现更好，也就是图像识别。
但随后紧接着，
当然出现了这样的想法：
哇，在 ImageNet 上学到的东西，
当你现在想解决一个新任务时，
你可以为新任务微调 AlexNet。
而这常常被发现是更大的事情：
你学到了可重复使用的东西，
而这在以前并不常见。
通常机器学习，
你为一个场景学点东西，就到此为止。
——对，这真令人兴奋。
我是说，这是一个巨大的应用。
这大概是迁移学习
迄今最大的成功，
就范围和影响而言。
——那是一次巨大的突破。
然后最近，我感觉有类似的情况，
通过规模化，
这似乎被进一步扩展了。
比如人们训练更大的网络，
它们可能迁移得更好。
如果你看看，比如
OpenAI 在语言模型上的一些结果，
以及谷歌近期在语言模型上的一些结果，
它们学习的只是预测，
然后被重新用于其他任务。
所以我认为那里面有些东西：
不知怎么，如果你在足够多的东西上
训练一个足够大的模型，
它似乎就能迁移。DeepMind 的一些结果
我认为非常令人印象深刻，
就是 Unreal 的结果，
它学会了导航迷宫，
方式不只是在做强化学习，
而是还有其他目标
在被优化。
所以我认为已经有很多有意思的结果了。
我想，也许我难以理解的地方
是在多大程度上，
或者说我们何时把某件事称为泛化，
或者这些不同任务中
所涉及的泛化层次。
——对。
顺便说，为了给事情定个框架，你划了这样一条线。
我听你在某处说过，
这是“学会精通”
与“学会泛化”的区别。
这是个值得思考的好区分，
我想你是说，这是一个灰色地带：
学会精通和学会泛化，
一个从哪里开始、一个到哪里结束。
——我想我可能听过这个。
我可能是在别处听到的，
我想也许是在你的某次访谈里，
也许是和约书亚·本吉奥（原文转写为 Yoshua Benjamin）那一期，
我不是百分之百确定，
但我喜欢那个例子，
我不确定是谁说的，
但那个例子基本上是，
如果你用当前的深度学习技术，
我们所做的，用来预测，
比如说，我们这些行星的相对运动，
它会做得相当好，
但如果现在有一个巨大的新质量
进入了我们的太阳系，
它大概就无法预测会发生什么，对吧？
那是另一种泛化。
那是一种依赖于我们今天所拥有的
最终的、最简单的解释
拥有的、可用来解释行星运动的
也就是我们今天所拥有的解释。
而单纯的模式识别可以预测
当前太阳系的运动，相当好，没问题。
所以我认为这是一个例子，
说明有一种泛化，与我们迄今
所取得的有一点不同。
而且并不清楚，仅仅加强正则化，
强迫它给出一个更简单、
更简单、更简单的解释，
是否行得通，比如说，看，这并不简单，
但物理学研究者就是这么做的，对吧？
他们会说，我能不能让它更简单？
我能把它简化到多简单？
能解释一切的最简单的方程是什么，
对吧？
关于整个宇宙动力学的主方程。
我们在深度学习里并没有真正这么用力地推进那个方向，
我会这么说。
不确定它是否应该被推进，
但似乎从那里能得到一种泛化，
是我们目前的方法迄今得不到的。
——我刚和弗拉基米尔·瓦普尼克谈过，比如说，
他是统计学家，做统计学习，
他有点梦想着创造
学习领域的 E=mc²，对吧？
也就是学习的一般理论。
你认为这在近期是一种徒劳的追求吗，
在未来几十年之内？
——我认为这是一种非常有意思的追求，
意思是，
有大量证据表明，
大脑相当模块化。
所以我也许不会把它看作那个理论，
也许是底层的理论，
而更像是一种原理。
有一些发现表明，
盲人会把
通常用于视觉的那部分大脑
用于其他功能。
而且即使在某种之后，
如果人们以某种方式被重新布线，
他们也许能把大脑的某些部分
重新用于其他功能。
所以这暗示的是某种模块化，
我认为去追求它是相当自然的，
看看我们能否找到那种模块化？
我们能找到这样的东西吗？
当然，并不是大脑的每个部分
都完全相同。
不是所有东西都能被任意重新布线。
但如果你想想新皮层这样的东西，
它是大脑相当大的一部分，
从迄今的发现来看，似乎相当模块化。
你能设计出同样模块化的东西吗？
而如果你可以直接让它生长，
它大概会变得更强大。
我认为那将是一种有意思的
可以追求的底层原理，
而且并不脱离现实。
你更偏好数学，
还是经验性的试错，
来发现做某件聪明的事
意味着什么的本质？
强化学习兼具这两类，对吧？
证明某个东西收敛，证明界。
同时，
很多那样的成功是，
嗯，我们试试这个，看看行不行。
那你倾向于哪一种？
你怎么看待你大脑里的这两部分？
——也许我会更希望
我们能靠数学取得进展。
我更喜欢那样的原因，
是因为常常如果你有某样
能够用数学形式化的东西，
你就能跳过大量的实验。
而实验需要很长时间才能走完。
而且需要大量试错，
有点像对你的研究过程做强化学习，
但你需要做大量的试错，
才能取得成功。
所以如果你能跳过这些，在我看来，
数学就是干这个的。
希望一旦你做了一批实验，
你开始看到某种模式。
你可以做一些推导，跳过一些实验。
但我同意你的看法。
我是说，实际上，很多进展
都是这样的：我们没能找到
能让它跳跃式前进的数学。
我们是在一步一步地
逐渐取得进展。
这里一个新实验，那里一个新实验，
给我们新的洞见，逐渐积累，
但还没到这样的程度：
“好，这里有一个方程，现在解释了如何，
你知道，那本来需要
两年的实验才能得到，
但这个告诉我们结果会是什么。”
遗憾的是，目前还不太行。
——目前还不太行，但你的希望在那里。
在尝试教机器人或系统
§04原文文稿 · 27:53–35:45
做日常任务，甚至是在仿真中，
你对什么更感兴奋？
模仿学习还是自我对弈？
也就是让机器人向人类学习，
还是让机器人自己规划，
以它们自己的方式去摸索，
最终去玩、最终与人类互动，
或者解决无论什么问题。
对你来说哪个更令人兴奋？
你认为哪个作为研究方向更有前景？
——当我们看自我对弈时，
它之所以如此美妙，
要回到
强化学习的挑战上。
强化学习的挑战
是获得信号。
如果你从不成功，
你就得不到任何信号。
在自我对弈中，你站在双方两边。
所以你们中有一方成功。
美妙之处在于也有一方失败。
于是你看到了对比。
你看到“我”的一个版本
比另一个版本做得更好。
所以每次你与自己对弈，
你都会得到信号。
因此只要你能把某件事变成自我对弈，
你就处在一种美妙的处境中：
你可以自然而然地学得快得多，
比大多数其他强化学习环境快得多。
所以我认为，如果我们能以某种方式把更多的
强化学习问题
变成自我对弈的形式，
那将会走得非常非常远。
到目前为止，自我对弈主要围绕游戏，
那里有天然的对手。
但如果我们能为其他事情做自我对弈，
比如说，我不知道，
一个机器人学着盖房子。
我是说，对机器人来说这是相当高级的事，
要它去做，
但也许它尝试盖一间小屋之类的。
如果那能通过自我对弈做到，
如果有人能弄明白这一点，
它会学得快得多。
我认为那将是
更接近
数学式跳跃的东西：
有人找到一种形式化，说：
“好，任何强化学习问题，通过玩这个、这个想法，
你都可以把它变成一个自我对弈问题，
在那里你能容易得多地得到信号。”
现实是，很多问题
我们不知道怎么变成自我对弈。
所以要么我们需要提供详细的奖励，
不只是奖励达成目标，
而是奖励取得进展，
而这会变得很耗时。
一旦你开始这样做，
比如说你想让机器人做某件事，
你需要给出所有这些详细的奖励，
那么，为什么不直接给一个示范呢？
——对。
——因为为什么不直接给机器人演示呢？
现在的问题是，你怎么给机器人演示？
一种演示方式是遥操作机器人，
这样机器人确实亲身经历了这些事情。
这很好，因为那是信噪比非常高的数据，
我们做了很多这样的工作。
你教你的机器人技能，
只需 10 分钟，你就能教机器人一个新的基本技能，
比如：“好，拿起瓶子，把它放到别处。”
那是一个技能，不管瓶子从哪儿开始，
也许它总是被放到某个目标位置之类的。
用遥操作来教你的机器人相当容易。
现在，更有意思的是，
如果你现在能教你的机器人
通过第三人称学习，
也就是机器人看着你做某件事，
它没有亲身经历，只是看着，然后说：
“好，如果你给我展示这个，
那意味着我应该做这个，
而且我不会用你的手，
因为我控制不了你的手，
但我会用我的手，我来做这个映射。”
我认为这就是今年发生的
重大突破之一。
这是这里的切尔西·芬恩（Chelsea Finn）牵头的。
这几乎就像为示范学习一种机器翻译：
你有一个人类的示范，
机器人学会把它翻译成
对机器人来说怎么去做。
那是一种元学习的表述：
从一个学习，去得到另一个。
我认为这打开了很多机会，
可以学得快得多。
——我的关注点是自动驾驶汽车。
你认为这种第三人称观看的方法，
自动驾驶适合
这种方法吗？
——对自动驾驶，我会说，
第三人称略微容易一点。
我说用第三人称略微容易的原因是
因为
汽车动力学被理解得非常透彻。
所以——比第一人称
更容易，你的意思是？
还是比……更容易——我想
我认为第三人称
和第一人称的区别，对于自动驾驶
并不是一个很重要的区别。
它们非常相似，因为区别实际上在于
谁来转方向盘，
或者，让我换个说法。
如何从你现在所在的点，
到你前方，比如说，几米远的一个点。
那是一个被理解得非常透彻的问题。
而那就是
那里第三人称和第一人称之间的唯一区别。
而对机器人操作来说，
相互作用力非常复杂，
它仍然是非常不同的事情。
对自动驾驶，我认为仍然存在这个问题：
模仿与强化学习。
模仿给你多得多的信号。
我认为模仿的不足之处，
需要一些额外机制的地方是，
它在通常的形式下，
并不考虑目标或目的。
当然，也有一些版本的模仿学习，
逆强化学习类型的模仿学习，
它也会考虑目标。
我想那样我们就近得多了。
但我认为很难设想一辆
完全反应式的汽车能泛化得很好，
如果它真的没有目标的概念，
就很难泛化到
你所想要的那种普适程度。
你想要的不只是单靠行为克隆/监督学习
得到的那种反应性。
——那么很多工作，
无论是自我对弈还是模仿学习，
都会显著受益于仿真，
受益于有效的仿真。
你在物理世界里做了很多事，
也在仿真里做了很多。
你是否希望仿真的能力越来越强，
最终变得没有边界，
以至于我们在物理世界里运作所需要的大部分东西
都可以被仿真到
能直接迁移到物理世界的程度？
的程度？
还是我们离那还很远？
——我认为我们甚至可以在某种意义上
重新表述这个问题。
——请。
——仿真的力量，对吧？
随着仿真器越来越好，
当然会变得更强，
我们也能在仿真中学到更多。
但还有另一个版本，
就是你说仿真器
甚至不必那么精确。
只要它有一定代表性，
与其试图得到一个
精确到足以在其中学习、
并很好地迁移到现实世界的仿真器，
我要建很多个仿真器。
——仿真器集合。
——仿真器集合。
其中任何单个仿真器
都不足以充分代表现实世界，
以至于在其中训练就能奏效。
但如果你在所有这些里训练，
就会有某种东西在所有这些里都表现良好。
现实世界只会是其中的另一个，
与其中任何一个都不完全相同，
只是其中的另一个。
——仿真器分布中的另一个样本。
——没错。
——我们确实生活在一个仿真之中，
所以这只是另一个。
——这我不确定，但对。
如果是的话，那肯定是一个非常先进的仿真器。
——对，是个相当不错的仿真器。
我和罗素（Stuart Russell）谈过。
这也是你会稍微思考一下的事。
当然，你真正在努力构建这些系统，
但你会思考 AI 的未来吗？
很多人担心安全。
你如何思考 AI 安全，
当你构建在物理世界里运作的机器人时？
你如何以工程的方式、
系统的方式来处理这个问题？
——当机器人在做事时，
你要担心几种安全概念。
一是机器人在物理上很强壮，
当然可能造成很大的破坏。
汽车也是一样，我们在某种意义上也可以把它们看作机器人。
而这可能是完全无意的。
§05原文文稿 · 35:48–42:37
所以它可能不是那种长期的 AI 安全担忧：
AI 比我们聪明了，现在怎么办？
而可能只是非常实际的问题。
好，这个机器人，如果它犯了错，
后果会是什么？
当然，仿真在那里发挥很大作用，
可以在仿真中测试。
这是个困难的问题。
我总是在想，
比如说你看看，我们回到驾驶上，
因为很多人当然很了解驾驶。
我们是怎么考察一个人会不会开车的，对吧？
为了拿到驾照？
他们到底做什么？
我是说，你填一些测试，然后开车。
而且我是说，在加州郊区，
那个驾驶考试就是你绕街区开一圈，
靠边停车，成功地在停车标志前停一下，
然后再靠边停车，就基本结束了。
而你会想，好，如果一辆自动驾驶汽车做到了这些，
你会相信它会开车吗？
我会说，不，那不足以让我信任它。
但对于人类，我们不知怎么弄明白了：
某个人能做到那些，就代表
他们能做很多其他事情。
所以我想对于人类，
我们找到了具有代表性的测试，说明
如果你能做到这个，你究竟能做什么。
当然，测试人类，
人类不希望随时被测试。
自动驾驶汽车或机器人
大概可以被更频繁地测试。
你可以让复制体接受测试，
而且已知它们是相同的，
因为它们用的是同一个神经网络等等。
但我仍然觉得，我们没有这类单元测试
或对机器人的恰当测试。
我认为那里有些非常有意思的东西
值得思考，
尤其是当你更新东西的时候。
你的软件在改进，
你有了更好的自动驾驶软件套件，你更新了它。
你怎么知道它确实在所有方面都比以前更强，
比以前更强，
没有任何坏东西悄悄混进去？
所以我认为这是一个非常有意思的研究方向，
目前还没有真正的解决方案，
除了对人类来说我们不知怎么做到了。
因为我们说，好，你有驾驶考试，你通过了，
你现在可以上路了。
而人类大约每一百万或一千万英里出一次事故，
这相当惊人，
相比于所做的那个简短的考试。
——那么让我问，你提到过安德鲁·吴（原文转写为 Andrew Ang），
他以身作则向你展示了善良的价值。
你认为好策略的空间，
对人类和对 AI 来说的好策略，
里面充满的是
带有善良的策略，还是相反的策略？
剥削，甚至邪恶。
所以如果你只看我们作为人类所遵循的策略之海，
我们作为人类所遵循的，
或者如果 AI 系统必须在这个现实世界里运作，
你认为找到充满善良的策略是否真的很容易，
那些充满善良的策略，
比如我们会自然地落入其中？
还是说这像一个非常困难的优化问题？
——我是说，对人类来说有两种优化在发生，
对吧？
对人类来说，有
非常长期的优化，
也就是进化为我们做的。
我们天生倾向于喜欢某些东西。
从某种意义上说，这就是让我们的学习变得更容易的原因，
因为我们知道疼痛、
饥饿和口渴这类事。
我们知道这些，
并不是别人教的。
那是天生的。
饿的时候我们不开心。
渴的时候我们不开心。
疼的时候我们不开心。
最终是进化把这些植入了我们，
让我们去考虑这些事情。
所以我认为有这样一种说法：
人类似乎总体上演化成了
在某些方面更倾向于和睦相处，
但同时也非常有领地意识，
并以自己的部落为中心。
似乎这就是
我们收敛到的那种空间。
我是说，我不是人类学专家，
但似乎我们在自己的部落内部
表现得很好，
但需要被教导，
才会善待其他部落。
——嗯，如果你看看史蒂芬·平克，
他在《人性中的善良天使》里
把这一点突出得很好，
他在那里谈到暴力
随时间持续减少。
所以无论是什么紧张关系，无论我们挑哪些团队，
似乎历史的长弧
都朝着我们越来越和睦相处的方向延伸。
——我希望如此。
（笑）
——那么你认为，
你认为有可能教给基于强化学习的机器人
这种善良，
这种与人类互动的能力，
这种策略吗，
甚至，让我问个有趣的问题。
你认为有可能教会基于强化学习的机器人
去爱一个人，
并激励那个人也回过来爱这个机器人吗？
也就是说，一个基于强化学习的算法
能带来一段幸福的婚姻。
——这是个有意思的问题。
也许我先用另一个问题来回答，好吗？
（笑）
因为，我是说，不过我会回到这个问题上来。
所以你可以问的另一个问题是，
好，我是说，有些人从只是和一只特别乖的狗互动中
得到的幸福感能有多接近？
比如，我是说，狗，你回到家，
狗就是那样。
它们迎接你，很兴奋。
回到家看到你的狗，会让你开心。
你会想，好，这很让人兴奋。
我在这儿的时候它们总是很开心。
我是说，如果它们没有迎接你，
因为也许是因为什么，
你的伴侣带它去旅行了之类的，
你回到家时可能就远没有那么开心了，对吧？
所以这类……
狗的推理水平似乎
相当精细，
但仍然没有达到人类推理的水平。
所以似乎我们甚至不需要达到
人类水平的推理，就能和人类建立起非常强烈的情感，
与人类之间。
所以我的想法是，为什么不呢，对吧？
为什么一个 AI 不能，
我们为什么不能达到那种程度的情感，
也就是人类之间，
或与友善动物之间所感受到的那种？
这是个问题：对我们来说这是好事还是坏事？
那是另一回事，对吧？
因为，我是说，
但我看不出为什么不能。
——为什么不能，对。
——埃隆·马斯克说爱就是答案。
也许他应该说爱是目标函数，
而强化学习是答案，对吧？
（两人都笑了）
——嗯，也许吧。
（两人都笑了）
——哦，彼得，非常感谢你。
我不想再占用你更多的时间。
非常感谢你今天的交谈。
——嗯，谢谢你来访。
很高兴你来。
（轻快的音乐）
（轻快的音乐）
（轻快的音乐）
（轻快的音乐）
（轻快的音乐）
（轻快的音乐）