Leslie Kaelbling：强化学习、规划与机器人
Leslie Kaelbling: Reinforcement Learning, Planning, and Robotics
嘉宾：Leslie Kaelbling
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01原文文稿 · 00:00–19:06
以下是与莱斯莉·凯尔布林的一段对话。她是一位机器人学家、
麻省理工学院的教授。她因在强化学习、规划、机器人导航、以及 AI 中
其他若干主题上的工作而受到认可。她赢得了 IJCAI 计算机与思想奖、
并曾任享有盛誉的《机器学习研究期刊》的主编。这场对话是
MIT 及其他地方「人工智能播客」的一部分。如果你喜欢它，请在 YouTube、iTunes 上订阅，
或干脆在推特上关注我 @LexFriedman，拼作 F-R-I-D。而现在，
这就是我与莱斯莉·凯尔布林的对话。
——让我对 AI 兴奋起来的，我可以说，是我高中时读了《哥德尔、埃舍尔、巴赫》。
那对我来说相当具有塑造性，因为它揭示了
基元与组合的有趣之处、以及你如何能用简单的部件造出复杂的东西，
以及 AI 的理念、哪类程序可能产生智能行为。
——所以你先爱上的是 AI 的推理、逻辑，而非机器人？
——是啊，机器人是后来才有的，因为我的第一份工作——我在斯坦福读完了哲学的
本科学位、正要读完计算机科学的硕士，然后我被 SRI
的 AI 实验室雇用了。他们当时在造一个机器人。它算是「Shakey」的一个后继，
但所有做 Shakey 的人都不在那里了。所以我的工作
是设法让这个机器人做事，而那真的算是让我对机器人产生兴趣的原因。
——那么也许退一小步，你在斯坦福的本科是哲学，
硕士和博士做的是计算机科学，但本科是哲学。那么那段
旅程是什么样的？你觉得你把哲学的哪些元素带进了你在计算机科学的工作？
——它出人意料地相关。所以我没读计算机科学
本科学位的部分原因，是斯坦福当时没有，但哲学里有一部分，
而事实上，斯坦福有一个特别的分支专业，如今叫
符号系统，即逻辑、模型论、自然语言的形式语义。所以那
其实是为 AI 和计算机科学工作做的完美准备。
——那挺有意思。所以如果你对人工智能感兴趣，
人们甚至会考虑读什么样的专业？是神经科学吗？
所以除了哲学，如果你被「创造智能」这个想法迷住了，
你本该做什么？
——做那个的人不够多，连成为一个话题都谈不上。我是说，
我觉得大概是哲学。我是说，有意思的是，在我那一届、我那届毕业的
本科哲学生中，大概略少于一半去读了计算机科学、
略少于一半去读了法律，而大概一两个继续读了哲学。
所以那是一种常见的关联。
——你觉得 AI 研究者是否有一个角色、该做兼职哲学家，还是他们应该坚守
扎实的科学和工程、而不去岔入哲学化的离题？我是说，
你和机器人打交道、你思考创造智能存在需要什么。你难道不是
最适合去思考那种大图景哲学的人吗？
——与 AI 最接近的哲学部分，我觉得，或至少我所想的与 AI 最接近的，
是像信念、知识、指称那类东西。而那，
你知道，它相当形式化、而且像是离
我们算是例行在做的那类计算机科学工作只有一步之遥。
我觉得关于「你用一台机器能做什么、不能做什么」等等
仍有一些重要的问题。尽管至少我个人的看法是，我完全是个唯物主义者，
我不觉得有任何理由说我们不能让一个机器人在行为上与一个人
无法区分。而「它在内部是否可区分、它是不是一个僵尸」——用哲学的术语说——这个问题，
我其实不，我不知道，而我不知道我是否太在意
那个。——没错，但有一些哲学性的概念，它们既是数学的也是哲学的，
因为我们所知甚少——关于那有多难、感知问题有多难、
规划问题有多难、在这个世界里成功地运作有多难。
因为我们的机器人目前在很多任务上不像人类那么成功，
关于当前机器人与人类之间差距的问题，有点接近于
哲学。你知道，在这个世界里运作所需的那片广阔的知识、
形成常识知识的能力、对不确定性进行推理的能力——
你一直在做的很多工作，那里有一些开放的问题，我不知道，
需要激活某种大图景的视野。——对我来说那根本不像一个哲学上的
差距。对我来说，有一个大的技术差距、有一个巨大的技术差距，但我看不出任何
理由说它不止是一个技术差距。——完美。那么，当你提到 AI 时，你提到了
SRI，而也许，你能跟我描述一下你第一次爱上机器人学、爱上机器人是什么时候吗，
受到启发，那，所以你提到了 Flakey 或 Shakey、Shakey、Flakey，而那个
最先俘获你想象的、让你看到「什么是可能的」的机器人是什么？——没错，嗯，所以我用的第一个机器人是
Flakey。Shakey 是 SRI 的人造的一个机器人，但到了我，我想我到的时候，
它正坐在某人办公室的角落里、往一个盘子里滴着液压油。
但它是标志性的，而说真的，每个人都该读那份 Shakey 技术报告，因为它里面有这么
多好的想法。我是说，他们发明了 A* 搜索、符号规划、以及学习
宏操作符。他们为他们的机器人做了底层那种构型空间规划，
他们有视觉，他们有这一切——一大堆东西的基本理念。——你能不能
一步步地，Shakey 有胳膊吗，它的工作是什么、目标是什么？——Shakey 是一个移动机器人，
但它能推物体，所以它会把东西挪来挪去。——用哪个执行器，用胳膊？
——用它自己、用它的底座。——好，很好。——所以它能，但它，而他们把踢脚板
漆成了黑色，所以它用视觉在一张地图里给自己定位，它检测物体，它能检测
让它意外的物体，它会基于所看到的进行规划和重规划，它会推理
是否去看、去拍照。我是说，它真的具备了我们现在所思考的
这么多东西的基本雏形。——它如何表示它周围的空间？——所以它有
在一堆不同抽象层次上的表示，所以它有，我想，在最底层有某种占据栅格。
在高层，它是抽象、符号式的那种房间
和连通性。——那么 Flakey 是从哪儿来的？——是啊，好，所以我到了 SRI，而
我们在造一个全新的机器人。如我所说，上一个项目的人没有一个
还算在那里或还参与了，所以我们算是从头开始，而我的导师
是斯坦·罗森沙因（原文转写为「Rosenstein」），他最终成了我的论文导师，而他被这个
「情境计算」或「情境自动机」的想法所驱动，这个想法是，逻辑推理的工具
是重要的，但也许只是供工程师或设计者在分析一个系统时使用，
而不一定要在系统自己的脑子里被操纵，对吧？所以我可能用逻辑
去证明一个关于我机器人行为的定理，即便那机器人没在它脑子里用逻辑
去证明定理，对吧？所以那算是那个区别。所以这个想法是算是用
那些原理去让一个机器人做事，但很多基本的东西我们得算是
自己学，因为我在机器人学上零背景，我对控制一无所知、
我对传感器一无所知，所以在让那个机器人做事的路上我们重新发明了很多轮子。
（接上）——你觉得那是个优势
还是个阻碍？——哦，不，我是说，我非常赞成
重新发明轮子，其实。我是说，我觉得你通过做它学到很多。不过重要的是，
最终要有那些指引，这样你才能看清真正在发生什么，但我觉得你能
在自己瞎折腾一阵、找到一个糟糕的解之后，更好地欣赏那些好的解。
（接上）——是啊，我想你提到过
重新发明强化学习、并把奖励称为「愉悦」、一种愉悦，我想，
我觉得那是个不错的名字。——是啊，对我来说它看起来不错。
——它几乎更有趣。你觉得你能讲讲 AI、机器学习、
强化学习的历史吗，你如何看待它从 50 年代到现在？
——一件事是它来回摆动，对吧？所以有些东西变得时髦、然后过气，
然后别的东西变酷、然后它又过气，等等。所以有某种有意思的
社会学过程实际上驱动着很多正在发生的事。早期算是
控制论和控制，对吧？以及稳态的想法，对吧？那些造出这些机器人的人，
这些机器人能，我说不好，在需要电时试着插进墙上的插座、然后拔下来、
滚来滚去、做事。然后我想随着时间，那个想法，嗯，那很鼓舞人心，
但人们说，不不不，我们想更靠近一点那种感觉像真正智能或
人类智能的东西。然后也许专家系统的人试着那么做，但也许
有点太表面了，对吧？所以，哦，我们得到了对「智能是什么样」的表面理解，
因为我理解一座钢铁厂如何运作、我可以试着向你解释、而你可以
把它用逻辑写下来、然后我们可以让一台计算机去推断那个。然后那没有
奏效。但有意思的是，我觉得，当一个东西开始不太奏效时，
我们不只是换方法，我们还换问题，对吧？所以并不是我们有了更好的
去做专家系统的人试图做的那个问题的方式。我们没有任何方式
去试着做那个问题。哦是的，我知道，我想，或也许有几个，但我们算是放弃了
那个问题、转到一个不同的问题、做那个一阵子、然后取得
进展。——作为一个大的共同体。
——作为一个共同体，是啊。——而有很多人
会争辩说你没有放弃那个问题，只是你减少了做它的人的数量。
你几乎算是把它束之高阁、说，我们 20 年后再回到这个。
——是啊，我觉得那是对的。或者你可能判定它是畸形的。
——比如你可能说，只是试图让某个做表面符号推理的东西
表现得像个医生是错的。你没法做那个，直到你有了「成为一个医生」
之类的感觉运动经验，对吧？所以有一些论证说那个问题没有被很好地
界定，或者也可能它界定得很好、但我们只是没有好好地去着手它。
——那么你提到你最喜欢逻辑和符号系统的部分，是它们为大的集合
给出短的名字。所以这有某种用处，符号推理的用处。那么，
看专家系统和符号计算，你觉得 80 年代和 90 年代遇到的
障碍是什么？——啊，好。所以没错，所以「我
不是专家系统的粉丝」这个事实并不意味着我不是某些种类符号推理的粉丝。
让我想想，障碍。嗯，主要的障碍，我觉得，是「人类能够
有效地把他们的知识表述成某种逻辑陈述」这个想法。
所以这不只是成本、精力的问题，而真的就是做到这件事的能力。
对，因为我们都是视觉方面的专家，对吧？但完全没有内省式的
去了解我们是怎么做到的渠道，对吧？确实是这样，我是说，我觉得当时的想法是，嗯，当然，
即便当时的人也会知道，当然，我不会要求你请把你
用来识别一个水瓶的规则写下来。那太疯狂了。大家都明白这一点。但是
我们也许会要求你把你用来决定——我不知道——该打哪条领带的规则写下来，
或者怎么架设一个麦克风之类的。但即便是那些事情，我觉得人们
也许——我觉得他们发现的是——我不太确定这一点——但我觉得他们发现的是，
所谓的专家能给出一些解释，那种事后的解释，说明他们如何以及为什么
那样做事，但那些解释未必很好。而且它们可能还依赖于某些
种类的感知性东西，而这些东西，同样地，他们也没法很好地定义。所以我觉得
根本上，我觉得那件事背后的问题，是那个假设——以为人们能够
清楚地表述他们如何以及为什么做决定。——对，所以这几乎就是在编码知识，
把专家的东西转换成某种机器能够理解并据以推理的东西。
不不不，甚至不只是编码，而是把它从你身上掏出来。
只是……——对吧？不是写下它，
我是说，对，为计算机写下来也很难，但我不认为人们能够
产出它。你可以给我讲一个你为什么做某事的故事，但我不太确定那就是真正的「为什么」。
很好。那么在分层规划这一侧仍然有一些
地方，符号推理在那里非常有用。正如你谈到过的，所以……
对，所以别……——那缺口在哪里？
是的，好，很好。所以说人类无法提供对自己推理过程的描述，
这没问题，可以，但那并不意味着在计算机内部做各种风格的推理不好。
那只是两个彼此正交的论点。那么接下来的问题是，你应该在计算机内部做
哪种推理？而答案是，我觉得你需要做所有各种不同的
推理，在计算机内部，取决于你面对的是什么样的问题。
我想问题是，你能把哪种东西用符号编码出来，以便对其进行推理？
我觉得关于——甚至「符号」这个术语，我都不喜欢，
因为我不知道它在技术上和形式上到底意味着什么。我确实相信抽象。
所以抽象是至关重要的，对吧？你没法对你生活中的每一件事
都在完全精细的粒度上推理，对吧？你没法在图像和力矩的层面上去规划如何读完一个博士。
所以你必须缩小状态空间的规模，你也必须缩短时间跨度，
如果你要去推理读博士，甚至只是去买做晚饭的食材。
那么你怎样才能缩小你必须进行的推理的空间和时间跨度呢？而
答案是抽象——空间抽象、时间抽象。我觉得沿着
目标这条线索来做抽象也很有意思。就像你可能——嗯，抽象与分解。
目标也许更偏向于分解这类事。所以我觉得这就是这些——如果你想
把它叫做符号模型或离散模型——登场的地方。你谈论你家里的一个房间，而不是
你的姿态。你谈论在下午做某件事，而不是在 2 点 54 分做。
你这样做，是因为它让你的推理问题变得更容易。也是因为
你反正也没有足够的信息，去高保真地推理今天下午 2 点 35 分你肘部的姿态，
无论如何。——对。当你正试图读完博士时。
对。或者当你在做任何事情时，真的。——是的，好。
除了在那个当下。在那个当下，你确实不得不去推理你肘部的姿态，
也许吧。但那时你或许是在某种连续关节空间的模型里做这件事。所以再说一次，
我关于这一切最大的观点是，应该——教条不是那个关键，对吧？
不应该是我反对符号推理、而你反对
神经网络。应该是，计算机科学本身告诉我们所有
这些问题的正确答案是什么——如果我们足够聪明能把它弄明白的话。——嗯，对。当你试图
真正用计算机去解决这个问题时，正确的答案就会浮现出来。你提到了抽象。
我是说，神经网络会形成抽象，或者更确切地说，存在自动化的方式来形成抽象。
确实如此。——而且还有
由专家驱动的形成抽象的方式、由专家人类驱动的方式。而人类目前似乎
在形成抽象方面要强得多，在某些问题上。所以当你提到
下午 2 点 45 分对比「下午」时，我们是如何构建那套分类体系的？有没有空间让自动化的
这类抽象的构建存在？——哦，我觉得最终会有的，是的。我是说，
我觉得当我们成为更好的机器学习工程师时，我们会构建出那种
能构建出很棒抽象的算法。——那种在你所描述的这种
方式上有用的抽象。——对。
好。那我们就从抽象的讨论迈出一步，来谈谈 POMDP（原文转写为 BOM MDPs），
部分可观测马尔可夫决策过程。也就是不确定性。那么首先，
什么是马尔可夫决策过程？——什么是马尔可夫决策过程？
也许还有，我们这个世界有多大一部分能被建模成 MDP？有多少——当你早上醒来、
正在做早餐时，你会把自己看成一个 MDP 吗？那么你是怎么看待
MDP、以及它们如何与我们这个世界相关联的？——嗯，这里有一个「立场」的问题，对吧？
所谓立场，是我针对一个问题所采取的一个位置。所以我，作为一名研究者，或者一个
设计系统的人，可以决定用某些术语来给我周围的世界建一个模型。所以我把
这个杂乱的世界拿过来，然后说，我打算把它当作仿佛是某种这类形式化的问题来对待，
然后我就可以应用求解概念、算法或者别的什么来解决那个形式化的
东西，对吧？所以当然，世界本身什么都不是。它不是一个 MDP，也不是一个 POMDP。我不
§02原文文稿 · 19:11–38:40
知道它究竟是什么，但我可以用这种方式或那种方式去给它的一些方面建模。而当我以某种特定方式给它的某个
方面建模时，那就给了我某一组可以使用的算法。——你可以用各种各样的方式去给
世界建模。有些更能接纳不确定性，更容易给世界的不确定性建模，
有些则真的强迫世界是确定性的。所以 MDP 当然会给世界的
不确定性建模。——是的。会给一部分不确定性建模。它们建模的不是当前状态的
不确定性，而是建模未来将如何展开这件事上的不确定性。——对。那么什么是
马尔可夫决策过程？——好，马尔可夫决策过程是一个模型。它是你可能会建的一种
模型，它说，我完全知道我这个系统的当前状态。
而所谓「状态」的含义是，我此刻拥有全部的信息，这些信息能让我尽可能好地
对未来做出预测。以至于记住我历史上的任何东西，
都不会让我的预测变得更好。但接着它还说，我可以采取一些动作，
这些动作可能会改变世界的状态，而且我对这些变化并没有一个确定性的模型。
我有的是一个关于世界可能如何变化的概率模型。对某些种类的系统来说，它是一个有用的模型。
我觉得它是——我是说，对大多数问题而言，它肯定不是一个好模型。
我觉得是因为，对大多数问题来说，你其实并不知道状态。对大多数问题来说，
它是部分可观测的。所以那现在就是一个不同的问题类别了。——那么，好，这就是
POMDP、部分可观测马尔可夫决策过程登场的地方。那么它们是如何应对
这样一个事实的——你没法观测到大部分，你对你周围世界的大部分都只有不完整的信息？
——对。那么现在的想法是，我们仍然算是假设存在一个状态。我们
认为关于外面那个世界存在某些信息，以至于如果我们知道了它，我们
就能做出很好的预测，但我们并不知道这个状态。于是我们就得去想办法——
不过我们确实能得到观测。也许我得到图像，或者我听到东西，或者我感觉到东西，而这些可能是
局部的或者有噪声的。因此它们并没有把正在发生的一切都告诉我。然后我
就得去推理——在给定我已采取的动作历史和我已得到的观测历史的情况下——
我认为世界上正在发生什么？然后，在给定我自己对世界上正在发生之事的那种不确定性的情况下，
我就能决定采取什么动作。——那么，在你看来，在你建模世界的漫长经验里，
不确定性下的规划这个问题有多难，
尤其是在现实世界系统里试图应对这种不确定性？——哪怕只是对
离散 POMDP 做最优规划，都可能是不可判定的，取决于你怎么设置它。所以很多人说，
我不用 POMDP，因为它们是难解的。而我觉得那是一种很好笑的
说法，因为你必须解决的问题就是你必须解决的问题。
所以如果你必须解决的问题是难解的，那正是让我们成为「搞 AI 的人」的东西，
对吧？所以我们解决——我们明白我们正在解决的问题是极其难解的，
我们没法——我们永远也无法最优地解决它。至少我做不到。是的，对。所以
稍后我们可以回到关于有界最优性之类的一个想法。但不管怎样，
我们没法为这些问题拿出最优解。所以我们必须做近似——
建模上的近似、求解算法上的近似等等。所以
我不介意这样说：是的，我的问题实际上，它是连续空间里的、带连续观测的 POMDP，
而它在计算上如此复杂，我甚至没法去想它的
那个——你知道的——大 O 什么的。但那并不妨碍我，反而帮助我，
那样去思考它给了我某种清晰感。然后就去采取步骤，做一个又一个的近似，
直到降到某种能在合理时间内计算出来的东西。
当你想到最优性时，你知道，整个学界在这上面已经发生了转变，
我觉得在他们有多看重最优性这个想法、有多看重去追逐一个最优解这件事上，有一点转变。
这些年当你和机器人打交道时，你对追逐最优解的看法是怎样改变的？
这很有意思。我觉得我们其实有一点方法论上的危机，
从理论这一侧来说。我是说，我确实认为理论很重要，而现在我们并没有
做多少理论。所以有大量经验性的鼓捣，训练这个、做那个、
报告一些数字，但它好吗？它差吗？我们不知道。很难说出什么结论。
而如果你看看计算机科学理论，人们曾经有一阵子谈论——大家都在讲
最优地或完全地解决问题。然后出现了一些有意思的松弛，对吧？所以
人们会看，哦，我能不能——有没有后悔值的界，或者我能不能做某种——你知道的——
近似？我能不能证明某件事，证明我能近似地解决这个问题，或者证明随着我花更多时间，
我会越来越接近解等等？我觉得有意思的是，我们并没有
针对非常困难的问题的好的近似求解概念，对吧？我喜欢——你知道的——
我喜欢说，我感兴趣的是把非常大的问题做得非常糟糕。
这是句好引言。
对。把非常大的问题做得非常糟糕。我喜欢做这个。但我希望我能说出
点什么。我希望我有一个——我不知道——某种形式化的求解概念，我能用它来
说，哦，这个算法实际上给了我某种东西。比如我知道我将会得到什么。
我能做点别的，而不只是跑一下它、然后跑出个 6.7。
那个想法对你来说仍然在某处有着深深的吸引力。那个想法是，你能说，
你能把某样东西拍在桌上说「这个」，你能期待这个算法会给我带来某种好
结果。
我希望有——我希望科学会——我是说，有工程，也有科学。我觉得
它们并不完全一样。而我觉得现在我们正在取得巨大的工程上的——比如说——
突飞猛进。所以工程正跑在科学的前头，这很酷，
而且常常就是这样发展的，对吧？所以我们在造出一些东西，而大致上没人知道它们如何以及为什么起作用。
但我们需要把那变成科学。
有某种形式——它，是的，有一些可以形式化的空间。
我们需要知道原理是什么。为什么这个起作用？为什么那个不起作用？我是说，
有一阵子人们靠不断尝试来造桥，但如今我们常常能够在不把它造出来的情况下就预测它
会不会行得通。我们能对学习系统或机器人做到这一点吗？
所以你的希望是，从一种唯物主义的视角来看，
智能、人工智能系统、机器人，只不过是更花哨一些的桥。
信念空间。信念空间和状态空间之间的区别是什么？你提到了 MDP、
POMDP，关于——你感知世界，存在一个状态。这个信念空间的想法是什么？
是啊，那听起来好棒。
那听起来不错。所以信念空间，也就是说，作为一个机器人，我不是去想世界的状态是什么、
并试图控制那个状态，而是去想，我可能对世界持有的信念的空间是什么？
如果我把一个信念想成是关于世界可能呈现的各种状态的一个概率分布，
把一个信念状态想成是一个分布，那么我的控制问题——如果我是在推理
如何穿越一个我并不确定的世界——我的控制问题实际上就是
控制我自己信念的问题。所以我在考虑采取动作时，不只是想它们将对
外部世界产生什么效果，而是想它们将对我自己对外部世界的理解产生什么效果。
因此那可能会促使我去问一个问题、或者朝某处看一眼来收集信息，
这也许并不会真的改变世界的状态，但它改变了我自己对世界的信念。
那是一种很强大的方式，用来赋予智能体对世界进行推理、去探索世界的能力。
考虑信念空间而非仅仅状态空间，能让你解决哪种问题？
嗯，任何需要刻意收集信息的问题，对吧？所以如果——
在某些问题里，比如国际象棋，没有不确定性，或者也许有关于
对手的不确定性，但关于状态没有不确定性。而某些问题里有
不确定性，但你是边走边收集信息，对吧？你可能会说，「哦，我在开我的
自动驾驶汽车沿路行驶，它并不完美地知道自己在哪儿，但激光雷达（原文转写为 light hours）一直
都在工作，所以我不必去考虑要不要收集信息。」但如果你是一个
开车上路的人，你有时会回头看一眼，看看你所在车道后面正发生什么，
而你得决定现在该不该这么做。而且你得权衡
这样一个事实：你没在看前方，而在往后看，以及那条信息
有多宝贵，等等。所以，要对信息收集做出选择，
你就得在信念空间里推理。另外，我是说，也是为了在试图做事之前把你自己的
不确定性考虑进去。所以你可能会说，「如果我相当准确地理解自己相对于门框
站在哪儿，那我穿过那扇门就没问题。但如果
我真的不确定门在哪儿，那现在也许最好别那么做。」
你对世界的不确定性的程度，实际上是你在制定计划时试图去
优化的东西的一部分，对吧？——没错。
所以这个为读博士而做长时间跨度规划的想法，或者哪怕只是如何走出家门、
或者如何做早餐。你展示过那个「WTF，叉子在哪儿（where's the fork）」的演示，
一个机器人盯着一个水槽。你能描述一下在这个世界里我们是如何规划的吗，
就是我们提到过的分层规划这个想法？那么，是的，一个机器人怎么能指望
去规划这样一件时间跨度如此之长、目标相当遥远的事情？
人们，大概自推理开始之时起，就一直在思考分层推理。
尤其是时间上的层级。嗯，也有空间上的层级，但我们先谈
时间上的层级。所以你可能会说，「哦，我有这么一长串必须去执行的事，
但我可以抽象地把它划分成若干段。」所以也许你得走出家门、
我得上车、我得开车，等等。于是你就能规划。如果你能构建出
抽象——所以这个，我们一开始就在谈抽象，而现在我们又回到了这上面。
如果你能在你的状态空间里构建出抽象，以及那种时间上的抽象，
那你就能在一个高层级上制定计划。你可以说，「我要进城，然后我
得去加油，然后我可以去这里，我还可以做另外那件事。」而你可以推理
这些动作之间的依赖关系和约束，再次强调，无需去想完整的
细节。我们在分层规划工作里所做的，就是接着说，「好，我在一个高抽象层级上
做了一个计划。我必须有某种理由认为它是可行的，而不用
把它完整地推演出全部细节。」而那其实正是有意思的那一步。我总喜欢
拿穿过一个机场来举例。比如，你可以计划去纽约、到达
机场，然后稍后去某栋办公楼。你甚至没法事先告诉我你
穿过机场的计划是什么。一部分是因为你太懒、懒得去想它，也许吧，
但一部分也是因为你根本就没有那个信息。你不知道你会在哪个登机口
降落，或者你前面会是些什么人，什么都不知道。所以根本没必要
去做详细的规划。但你必须有——你必须做出一个信念上的飞跃，相信一旦到了那儿你就能把它
弄明白。而你是如何达到那种状态的，这对我来说真的很有意思。
你是怎么——所以你在一生当中已经学会了能够对
实现某些种类的子目标有多难做出某种预测。而那是至关重要的。比如，
你绝不会计划飞去某个地方，如果你没法——如果你没有一个关于做其中一些中间步骤
有多难的模型。所以我们现在正在思考的事情之一是，
你如何做这种非常激进的泛化，泛化到你从未
身处过的情境等等，去预测穿过吉隆坡机场要花多长时间？
比如，你能给我一个估计值，而且它不会离谱。而你必须有那样一个估计，
才能去制定涉及穿过吉隆坡机场的计划，即便你
并不需要详细地知道它。所以我真的很感兴趣于这类抽象模型、
以及我们如何获得它们。但一旦我们有了它们，我们就能用它们来做分层推理，
我觉得这非常重要。是的，有这么一个「目标回归」的概念，还有
前像回溯链（pre-image backchaining），就是从目标出发、然后不断形成这些巨大的
状态云团的想法。我是说，这几乎就像在对机场说，你知道的，你知道的，一旦你出现在
机场，你就差不多离目标只有几步之遥了。所以这样去想它，
是挺有意思的。我不知道你对此有没有什么进一步的评论，
关于从目标出发。是啊，我是说，有意思的是，司马贺（Herb Simon），在
AI 的早期，大量谈到过手段—目的推理，以及从目标往回推理。
人们有一种直觉，觉得状态空间很大，
你能采取的动作数目真的很大。所以如果你说，我就坐在这儿，我想
从我所在之处向前搜索，我能做的所有事情都有哪些？那简直让人招架不住。
如果你说，如果你能在另一个层级上推理，说，这就是我希望达到的目标，
我能做什么来让它成真？那样分支数不知怎的就更小了。而现在，
有意思的是，在 AI 规划学界，这并没有奏效。在他们所看的那类
问题、以及他们倾向于使用的方法里，结果并不是说往回走
更好。我的直觉仍然算是认为它更好，但我现在没法向你
证明这一点。——对。我和你有同样的直觉，至少对我们这些凡人而言。说到这个，
当你——也许现在我们把它往那个哲学的圈子里稍微迈一小步，
当你想到人类生活时——你经常举那些例子——它会有多难，
你觉得把人类生活、或者人类生活的某些方面表述成一个规划问题有多难？
所以当你看机器人时，你常常是在试图思考物体操纵、
任务、移动一样东西。而当你稍微迈出那个房间一步，让机器人
离开去吃午饭，或者也许去追求一些更模糊的目标时，你觉得那个问题
有多难？如果你要——也许换个说法——试着把人类生活表述成一个规划
问题。嗯，那会是个错误。我是说，它并不全是一个规划问题，对吧？我觉得
我们理解这一点真的真的很重要：你必须把具有不同推理、表征和学习风格的
各个部件和零件拼装在一起。我觉得这对任何人来说
大概都很清楚：它不可能全是这个、或者全是那个。大脑并不全是这样
或者全是那样，对吧？它们有不同的部件、零件、子结构等等。
所以我不认为有什么好理由去认为，会存在某一个
唯一正确的算法性的东西，能把整件事全部搞定。
只是一堆零件拼在一起，被设计来解决一堆特定的问题。
或者也许是若干种风格的问题。我是说，大概有一些推理需要在
图像空间里进行。我觉得，再说一次，有这么一个基于模型对比无模型的想法，对吧？所以
在强化学习里，人们会谈，「哦，我该学什么？我可以学一个策略，
直接就是一种行为方式。我可以学——这很流行——学一个价值函数，
那是某种奇怪的中间地带。或者我可以学一个转移模型，它告诉我
一些关于世界动力学的东西。」如果我拿一个转——设想我学了一个转移
模型，然后把它和一个规划器耦合在一起，再在外面画一个框，那我又有了一个策略。只不过它是以
一种不同的方式存储的。但它和另一种策略一样，照样是一个策略。只是我做出了——
我觉得，在我看来，它是计算当中的一种时间—空间的权衡。对吧？一种更外显的
策略表征。也许它占更多空间，但也许我能很快地算出我该采取什么
动作。另一方面，也许一个非常紧凑的世界动力学模型加上一个
规划器也能让我算出该采取什么动作，只不过更慢。没有——我不——我是说，
我不觉得这里有什么可争论的。它只是一个问题：哪种形式的计算
对我们来说最好。——针对各种子问题。——对。所以，比如说，出于某种原因，学习做代数
变换，我是说，那大概自然而然地会想要一种
与骑独轮车（原文转写为 writing a unicycle）不同的表征。骑独轮车的时间约束很
严苛。空间也许更小。我不知道。但所以我——。——而也可能有更偏人性的那一面，
坠入爱河、拥有一段关系，那也许又是另一种。——是啊，我完全不知道
该怎么给那个建模。是啊。我们先解决代数和物体操纵吧。
你觉得哪个更难，感知还是规划？——感知。这就是为什么。——理解。
这就是为什么。那么你觉得感知到底难在哪里，
难在理解你周围的世界？——嗯，我是说，我觉得那个大问题
是表征层面的。这个问题极大程度上是表征问题。所以感知近来取得了
巨大的进步，对吧？我们能对图像分类，我们能
玩某些种类的游戏、预测如何给汽车转向，诸如此类的所有东西。
我不觉得我们对感知应当交付什么有一个很好的概念，对吧？所以如果你——
如果你相信模块性，好，有一种非常强的观点说，
我们不该内建任何模块性。我们应该造一个巨大的、无比庞大的神经网络，
端到端地训练它去做那件事。而那就是最好的前进道路。而这很难
§03原文文稿 · 38:47–58:51
反驳，除非基于样本复杂度来反驳，对吧？所以你可能会说，哦，嗯，如果我想
在这个巨大无比的神经网络上做端到端的强化学习，那会需要
大量的数据和一大堆弄坏了的机器人之类的东西。所以那么唯一的答案就是说，好，
我们不得不内建点什么，内建某种结构或某种偏置。我们从机器学习的理论里
知道，削减样本复杂度的唯一方式，就是设法削减——
设法削减假设空间。你可以通过内建偏置来做到这一点。有各种各样的
理由去认为，大自然把偏置内建进了人类。卷积就是一种偏置。它是一种非常强的
偏置，而且是一种非常关键的偏置。所以我自己的观点是，我们应该去寻找更多
像卷积这样、但处理推理其他方面的东西，对吧？所以卷积在某种
空间推理上帮了我们很大的忙。那相当接近于成像。我觉得
还有别的类似那样的想法。也许是一定程度的前向搜索，也许是某些抽象的概念，
也许是「物体存在」这个概念。实际上，我觉得那相当重要。而很多人
一开始根本不会承认这一点给你。对吧？——所以几乎就像是在那个
物体、语义物体空间里的一个卷积，或者某种——里面的某种想法。
没错。而人们正开始——比如图、图卷积就是一个想法，它
与关系型表征相关。所以，所以我觉得有——所以你，我已经从感知
扯得很远了，但我觉得，我觉得会让感知迈出那种
下一步的东西，实际上是更好地理解它应该产出什么。对吧？所以我们打算
拿它的输出做什么？对吧？当我们要拿输出去做的事情是明确的时候，一切都好。
当我们只是试图造一个单一的、整合的智能体时，就不那么清楚了。感知的
输出应该是什么？我们毫无头绪。而那又该如何与其他东西挂接起来？
我们不知道。所以我觉得迫切的问题是，我们能内建哪些种类的结构，
使之像卷积的某种对应物那样，会造就一个真正很棒的
上层结构，然后学习就能在其上比较高效地推进。
我同意。对我们在感知问题上实际所处位置的一个非常有说服力的描述。
你正在教一门关于具身智能的课程。你觉得要造一个具有人类水平智能的机器人
需要什么？——我不知道，要是我们知道的话我们早就做到了。
如果你要——我是说，好。那么你觉得一个机器人需要拥有自我意识、
意识、对死亡的恐惧吗，还是说它比那更简单？或者说意识本身是一件简单的
事？你会去思考这些概念吗？——我不太思考意识。
即便是大多数关心它的哲学家也会承认，你可以有一些是「僵尸」的机器人，
对吧？它们表现得像人，却没有意识。而我，在此刻，
对那样就已经够满意了。所以我并不真的为这一边或那一边担心。
所以在技术这一侧，你没在考虑自我意识的用处？
嗯，但我，好。但那么自我意识又意味着什么？我是说，
它意味着你需要有系统的某个部分，能够观察系统的其他部分，并且
判断它们工作得好不好。那似乎至关重要。那么那算不算——我是说，
那算不算自我意识？嗯，这取决于你是否认为有
一个「家里的人」能够清楚说出他们是否自我觉知。但显然，如果我有
某一段代码，在数这个过程被执行了多少次，
那就是一种自我意识，对吧？所以有一个很大的谱系。很清楚的是，你必须有一些
这种东西。——对。我们离得还相当远，
有那么多维度，但有没有一个研究方向，对你来说在试图在我们的机器人身上
实现人类水平智能这件事上最具吸引力？
嗯，对我来说，我想此刻对我来说最具吸引力的东西，就是这个
「内建什么、学习什么」的问题。我觉得我们缺了一堆想法，而
我们——你知道的——人们——你知道的——你可别斗胆问我那件事还要多少年才会
发生，因为我甚至都不会参与那种对话，因为我觉得我们缺想法，
而我不知道要花多久才能找到它们。——那我就不问你多少年了，
但也许我会问你，到什么时候你会充分地折服，认为我们已经实现了它。那么什么是一个好的
智能测试？你喜欢图灵测试、自然语言以及机器人领域里的测试吗？有没有
某样东西会让你往后一靠、心想，「哦，作为一个测试、作为一个基准，那相当令人印象深刻」？
你会思考这类问题吗？——不，我抗拒这个。我是说，我觉得我们
花在争论那类东西上的所有时间，都可以更好地花在仅仅让机器人
工作得更好上。——你不看重竞争。所以，我是说，基准、
数据集或者图灵测试挑战有一种性质，就是大家算是聚到一起、试着造一个更好的
机器人，因为他们想在竞争中胜过彼此。就像 DARPA 那个自动驾驶
车辆的挑战赛。你看到那种价值了吗，还是说它会碍事？——我觉得它会碍事。
很多人觉得它能激励人，所以那挺好。我个人觉得它起反激励作用。
但我觉得你会得到一个有意思的循环：为了一场比赛，一群聪明人变得超级
有干劲，然后拼了命地鼓捣。而做出来的东西里很多只是些拼凑的技巧，但有时
真正很酷的想法会冒出来。然后那就在之后给了我们一些可供琢磨的东西。所以，它不是一个
适合我的东西，但我不为别人去做它而感到遗憾。——是啊，就像你说的，对一切
别的事情一样，混搭是好的。那么，稍微跳一下话题，你创办了《机器学习研究杂志》（JMLR），
并担任它的主编。这本刊物是怎么诞生的？以及你怎么
看待当前机器学习、人工智能领域里的出版模式格局？——
好，很好。它之所以诞生，是因为曾经有一本叫《机器学习》的期刊，它如今仍然
存在，由克鲁维尔（原文转写为 Cluer）拥有。而我在它的编委会里，我们过去每年都开这种
会，会上我们会向克鲁维尔抱怨说它对图书馆来说太贵了，
人们没法发表。而我们真的很希望在那些方面得到某种缓解，
而他们总是表示同情，却什么也不做。所以我们干脆就决定办一本新
期刊。当时已经有《人工智能研究杂志》（JAIR），采用的是同样的模式，它已经
存在了大概五年左右，而且办得相当不错。所以我们干脆就办了一本新
期刊。我是说，我不知道，我想那是要花些功夫，但也没那么难。所以基本上，
编委会——大概《机器学习》编委会的 75% 辞职了，然后
我们创办了这本新期刊。——但它算是——它更开放。——是啊，对。所以，它是
完全开放的。它是开放获取的。实际上，我有一个博士后，乔治·康尼达里斯（George Konidaris），他想
把这类期刊叫做「free for all」。因为它们有——我是说，它既没有版面费，又没有
访问限制。而原因是——所以很多人，我是说，有一些人
对这本期刊的存在感到很恼火，他们觉得它是个骗局之类的。他们说，
要办一本这样的期刊是不可能的，基本上用——我是说，有很长一段时间，我没有
甚至没有一个银行账户。我自掏腰包付了律师费来注册、付了 IP 地址的钱，而它运营下来
一年也就花几百美元。现在要稍微多一点，但也多不了
多少。但那是因为我觉得计算机科学家在某种程度上是有能力且能够自给自足的，
这是很多其他领域的科学家做不到的。我是说，在做这类事情上。我们本来就
自己打自己的论文。我们都有学生、都有能在一个下午就拼凑出一个网站的人。
所以对我们来说，基础设施根本就不成问题。但对其他领域的其他人来说，
那就是一件更难做的事。——是啊，而这种开放获取的期刊尽管如此却是
最有声望的期刊之一。所以，声望并不是——它可以在不花任何钱的情况下取得。
——结果表明，纸张对于声望来说并不是必需的。
——那么，在评审流程这一侧，
其实很久以前，我不记得是什么时候了，但我评审过一篇论文，你也是那篇的
评审人，我记得读了你的评审意见、受到了它的影响。它写得真的很好。它
影响了我后来怎么写评审意见。你其实不同意我。而你把它写成了
我那篇评审的样子，但好得多。但尽管如此，评审流程有它的缺陷。
那你怎么看，你觉得什么地方运作得好？它怎样才能被改进？
那么，其实当我创办 JMLR（原文转写为 JamLR）时，我本想做一件完全不同的事。
而我没那么做，因为当时感觉我们需要一本传统的、作为存档记录的期刊。所以我们就
基本上把 JMLR 办成了几乎像一本普通的期刊，除了它开放获取的那些部分之外。
当然，越来越多地，「发表」甚至都算不上一个说得通的词了。你可以通过把某样东西
放到 arXiv（原文转写为 archive）上来发表它，所以我明天就能把一切都发表出来。所以让东西公开，是没有
门槛的。我们仍然需要甄选和评估。我没有时间读完整个 arXiv。
而你可以争辩说，那种对文章进行社交式点赞就足够了，对吧？你可能会说，
「哦，去它的。我们根本不需要期刊。我们会把一切都放到 arXiv 上，然后人们
会给文章投赞成票和反对票，然后你的简历上会写，『哦天哪，他拿到了好多赞成票。』」
所以，那挺好。但我觉得对事物进行仔细的阅读和评注仍然是有价值的。而且
当人们在推特和 Reddit 上对你的论文投赞成反对票、或者争论时，很难判断
他们是否知道自己在说什么，对吧？所以，那么我就有了那个
二阶问题——试图决定我该看重谁的意见等等。所以，我不知道。
如果我有无限的时间——我没有——而且我也不会去做这个，因为我真的很想让
机器人能工作，但如果我有意在出版这个方向上多做点什么，
我会去做那件另外的事，就是我第一次想过要做的那件，也就是召集
一群我看重其意见、而且相当善于表达的人。我想我们会是
公开的，尽管我们也可以是私下的，我不确定。然后我们会评审论文。我们不会
发表它们，你也不会投稿给它们。我们只是去找论文，然后我们会写
评审意见，然后把那些评审意见公开。而也许如果你——你知道的——所以我们是「Leslie 那帮
评审论文的朋友」，而也许最终如果我们——我们的意见被足够看重，
就像 JMLR 的意见被看重那样，那你就会在你的简历上说，Leslie 的朋友们给了我的论文一个
五星评读，而那会和说「我让它被这本期刊接收了」一样有分量。
所以，我觉得我们应该有良好的公开评注，并以某种方式把它组织起来，
但我真的不知道该怎么做它。这是个有意思的时代。
——你描述它的方式其实真的很有意思。我是说，我们对电影就是这么干的，
imdb.com。有专家、影评人进来，他们写影评，但同时也有
普通的非影评人。人们写评论，而这两者是分开的。
——我喜欢 OpenReview。ICLR（原文转写为 iClear）的流程我觉得挺有意思。
——它是朝正确方向迈出的一步，但它仍然不如
评论电影或电子游戏那样引人入胜。我是说，它有时几乎——这么说也许很傻，
至少从我的视角来说，但它归根结底在于用户界面，
实际去做这些评审有多好玩、多容易，有多高效，以及你作为一名评审人
因为是个好评审人而能赢得多少「江湖声望」。那些人性的要素就起作用了。
——是啊，好好评审一篇论文是一笔很大的投入，而论文的洪流已经失控了。
对，所以，你知道的，没有 3000 部新——我不知道一年有多少部新电影。
我不知道，但那大概会少于现在一年里有多少篇
机器学习论文。而我很担心，你知道的，我，对，所以我像个老年人，所以我当然
会说，「嗷嗷嗷，一切都发展得太快了。我是个老顽固。」
所以我可以那样说，但我这种抱怨的具体口味是，我觉得研究者的时间跨度
已经变得非常短。学生们想发表大量论文，而有一种巨大的——
是有价值的，它令人兴奋，那里面有价值，而且你会因此被拍拍脑袋表扬
等等。但是，其中一部分没问题，但我担心我们正在赶走那些
愿意花两年时间去思考某件事的人。在我那个年代，当我们做学位论文时，
我们不发表论文。你花好几年做你的学位论文。你挑一个难题，然后
你干活、反复啃它、做各种事、浪费时间，持续很长时间。而当它——
大致当它做完时，你才会写论文。所以我不知道怎么——而且我并不认为
每个人都必须以那种模式工作，但我觉得有些问题难到那种程度，
以至于拥有一个更长的研究时间跨度很重要，而我担心
此刻我们根本就没有在激励那种做法。——在当前这种结构里。
——对。——是啊。那么你怎么看
——顺着这个主题继续下去，你对 AI 的未来有什么希望和恐惧？AI 已经经历了
好几次寒冬、起起落落。你觉得又一个 AI 寒冬要来了吗？还是说你更有希望地
看待让机器人能工作这件事，像你说的那样？——我觉得这些周期是不可避免的，
但我觉得每一次我们都爬得更高，对吧？我是说，所以，你知道的，这就像在爬某种
地形，用的是一个带噪声的优化器。所以很清楚的是，你知道的，深度学习那套东西
做出了深刻而重要的改进。所以如今的高水位线更高了。这毫无疑问，
但当然，我觉得人们言过其实了，而最终投资者——我猜——以及其他人
会环顾四周说，嗯，你并没有完全兑现这个宏大的断言和那个狂野的
假设。所以，它大概会崩塌一定程度，然后就没事了。我是说，
但我不——我无法想象会有那种从这里一路到人类水平 AI 的、了不起的单调
改进。——那么，你知道的，我不得不问这个问题。我大概能预料到答案，
那些答案，但你有没有一种担忧，短期或长期地，关于 AI 的存在性威胁，
也许短期而言不那么「存在性」、而更多是机器人抢走工作的那种？
嗯，其实，让我稍微谈一点用途。其实，我和一些军事伦理学家有过一次有意思的
对话，他们想跟我谈谈自主武器。
他们是一些有意思、聪明、受过良好教育的人，但对 AI 或机器学习了解得不太多。
而他们问我的第一个问题是，你的机器人有没有做过某件你没有
预料到的事？而我简直要笑出声来，因为任何一个曾经在机器人上做过点什么的人
都知道，对吧，它们做不了多少事。而我意识到的是，他们关于我们如何给机器人
编程的心智模型完全错了。他们关于我们如何给机器人编程的心智模型，就像乐高 Mindstorms，
比如，哦，前进一米、左转、拍张照、做这个、做那个。所以如果你有
那种关于编程的心智模型，那么它就是真的。你的机器人会做出某件你没预料到的事
确实挺怪的。但事实是——而实际上，所以现在这成了我新的教育
使命。如果我得跟非专家交谈，我会试着教给他们这样一个想法：我们并不是在那个层面操作，
我们是在关于那件事的至少一个、也许许多个抽象层级上操作。而我们说，哦，
这里有一个假设类。也许它是一个计划的空间，或者也许它是一个分类器的空间，或者
别的什么，但有某一组答案，以及一个目标函数。然后我们鼓捣某个
优化方法，它试图在那个类里优化出一个解。而我们并不知道会跑出什么
解来。所以我觉得把那一点传达出去很重要。所以我是说，当然，
大概听这个节目的人都懂那个道理。但我觉得把那个道理传达出去真的至关重要。
然后很多人现在都在谈价值对齐
问题。所以你会想要确保，随着机器人或软件系统变得更有能力，它们的
目标与你的目标是对齐的，或者我们的目标在某种程度上是兼容的，
又或者当它们有不同目标时我们有一个好的调解办法。所以我觉得
开始以这种方式去思考是重要的——就是，你不必被机器人末日吓坏，
也能接受「思考目标函数、思考价值对齐很重要」这一点。
——是的。——而且你真的必须——
每一个做过优化的人都知道，你得小心你所许的愿，因为，
你知道的，有时你得到了最优解，然后你意识到，天哪，那个目标定错了。
所以务实地讲，在较短的期限内，在我看来那些是真正有意思且
至关重要的问题。而我们将从「工程算法的人」转变为
「工程目标函数的人」这个想法，我觉得那肯定会发生。而
那将改变我们的思维方式和方法论。——你是从斯坦福的
哲学起步的，那么你应该回到哲学那儿去。——哲学，也许吧。
——设计目标函数。——嗯，我是说，它们是混在一起的，
因为我们作为搞机器学习的人也知道，对吧，当你设计——事实上，这正是
我今天在课上讲的那节课——当你设计一个目标函数时，你得同时戴两顶帽子。
有一顶帽子说，我想要什么？还有一顶帽子说，但我多少知道我的
优化器能做什么，在某种程度上。而我必须把那考虑进去。所以它总是一种权衡，
而我们算是得对那保持留意。关于抢走人们工作的那部分，我明白
那很重要。但我不太懂社会学、经济学或者人。
所以我不知道该怎么去思考那个。——所以那——是啊，所以那里可能有一个
社会学的面向、一个经济学的面向，非常难以思考。好。
§04原文文稿 · 58:56–1:01:04
——我是说，我觉得其他人应该去思考它，但我只是——那不是我的强项。
——那么你觉得短期内最令人兴奋的研究领域是什么，
对这个学界而言、对你自己而言？——嗯，所以，我是说，有这么一个
我一直在讲的故事，关于如何工程化地造出智能机器人，对吧？所以那就是我们想做的事。我们
都算是想做——嗯，我是说，我们当中有一部分人想做这个。而问题是，什么是
最有效的策略？而我们试过了，在两个极端上你可以做一大堆不同的事，
对吧？一个超级极端是，我们做内省，然后我们写一个程序。好，
那没能很好地奏效。另一个极端是，我们拿一大坨巨大的神经
黏糊糊的东西，然后试着把它训练成能做某件事。我也不认为那会奏效。
所以问题是，那中间地带是什么？而且再说一次，这不是一个神学问题
或者诸如此类的东西。它只是，我们怎么——让这件事行得通的最好方式是什么？
而我觉得很清楚，它是学习的一种组合。对我来说，这很清楚。它是
学习与不学习的一种组合。而那个组合应该是什么？以及我们内建的那些东西
是什么？所以对我来说，那是最具吸引力的问题。——而当你说「工程化地造机器人」时，
你是指工程出能在现实世界里运作的系统？是那个——那是重点所在吗？
最后一个问题。科幻作品里哪些机器人、或者哪个机器人是你最喜欢的？
你可以选《星球大战》或者 R2-D2（原文转写为 RTD2），或者你可以选更现代一些的，也许是来自——的 HAL——
——不，我觉得我没有一个最喜欢的科幻机器人。
——这又回到——你喜欢让机器人在现实世界里运作，而不是在——
——我是说，我热爱这个过程。而我更在乎的是过程。
——那个工程化的过程。——是啊。我是说，我做研究是因为它好玩，
而不是因为我在乎我们产出什么。——嗯，其实这是一个很美的收尾音符，
用来结束。Leslie，非常感谢你今天来聊。
——当然，很有意思。
（无语音）