Yoshua Bengio: 约书亚·本吉奥：深度学习
Yoshua Bengio: Deep Learning
Guests: Yoshua Bengio
Full transcript · Read the full conversation in order, with its original context.
§01原文文稿 · 00:00–10:40
——生物神经网络和人工神经网络之间，
哪一点差异对你来说最神秘、
最迷人、最深刻？
——首先，关于生物神经网络
我们不知道的东西太多了，
这非常神秘、非常迷人，
因为它也许掌握着
改进人工神经网络的钥匙。
我最近研究的一件事，
一件我们不知道生物神经网络是怎么做到、
但对人工神经网络会非常有用的事，
就是进行信用分配的能力，
跨越非常长的时间跨度。
有些事情原则上我们可以
用人工神经网络做到，
但这不太方便，
而且在生物学上并不合理。
而这种不匹配，我认为这种不匹配
可能是一件值得研究的有趣事情，
一是为了更好地理解大脑可能如何做这些事，
因为我们在人工神经网络中
没有很好的对应理论，
二是也许能提供一些新想法让我们去探索，
关于大脑以不同方式做的事情，
而我们可以把它们融入人工神经网络。
——那我们把信用分配稍微拆开来看。
——好。
——这是个漂亮的技术术语，
但它可以涵盖很多东西。
那么它更偏向 RNN 的记忆那一面，
那样去思考，
还是关于知识，
随时间积累常识知识，
还是更偏向强化学习的意义，
也就是你随时间获得奖励，
为了某个特定的、为了实现某种目标？
——我想的更多是前两种含义，
也就是我们在大脑里存储各种记忆，
情景记忆，
我们可以在之后调取它们，
以帮助我们既推断
我们现在正在观察的事物的原因，
又把信用分配给我们之前做出的决定或解释，
也就是一段时间之前、
这些记忆被存储时做出的。
然后我们就可以改变
我们过去会对事情作出的反应或解释。
这就是用于学习的信用分配。
——那么你认为人工神经网络，
当前的 LSTM，
当前的架构在哪些方面无法捕捉，
大概你想的是非常长期的？
——是的。
当前的网络在处理
几十个或者说几百个时间步的序列时做得相当好。
然后，当你考虑更长的时长时，
视你需要记住什么等等，
就会变得越来越难。
而人类似乎能够
跨越基本上任意长的时间进行信用分配。
比如我能记得去年做过的某件事，
然后现在因为看到了一些新证据，
我会改变自己对去年那种想法的看法，
并且希望不再犯同样的错误。
——我觉得其中很大一部分大概是遗忘。
你只记住真正重要的东西。
所以这是非常高效的遗忘。
——是的。
所以我们记住什么是有选择的。
而且我认为这里与更高层次的认知
有非常酷的联系，涉及意识、
决策和情感。
也就是决定什么进入意识、
什么被存进记忆，
这些也都不简单。
——你一直站在最前沿，
展示神经网络、深度神经网络
能做的一些惊人的事情，
在人工智能领域，
在各种各样的应用中。
这些我们可以一直谈下去，
但在你看来，
因为我们在着眼未来，
深度神经网络表示世界的方式
最薄弱的方面是什么？
在你看来缺少的是什么？
——当前最先进的神经网络，
在大量图像或文本上训练后，
对什么能解释这些数据集
有一定程度的理解，
但非常基础。
它非常低层次，
远远不如我们的理解那样稳健、
那样抽象和普遍。
好，这并没有告诉我们怎么解决问题，
但我认为它促使我们去思考，
我们也许可以如何以不同方式训练神经网络，
让它们聚焦于，比如说，
因果解释，
这是我们目前在神经网络训练中
没有做的。
另外，我今天下午演讲中会谈的一件事是，
与其一方面单独从图像和视频中学习，
另一方面单独从文本中学习，
我们需要更好地
联合学习语言以及语言所指涉的世界，
让两方面能够互相帮助。
我们需要在神经网络中有好的世界模型，
它们才能真正理解
那些谈论世界上正在发生的事情的句子，
而且我认为我们需要语言输入，
来帮助提供线索，说明哪些高层次概念，
比如语义概念，应该被表示在
这些神经网络的顶层。
事实上，有证据表明，
纯粹的无监督表示学习
不会产生高层次的表示，
像我们从监督学习中
得到的那样强大。
所以，仅仅是从标签中得到的线索，
甚至都不是句子，就已经非常强大了。
——你认为这是架构上的挑战，
还是数据集上的挑战？
——都不是。
（笑）
——我真想就此结束。
（笑）
——不，好吧。
——你能稍微详细说说吗？
——好。
（笑）
当然，数据集和架构
是你总想去调整的东西，
但我认为关键更在于
训练目标、训练框架。
比如，从被动地观察数据
转向更主动的智能体，
它们通过干预世界来学习，
学习原因和结果之间的关系；
那种可能很重要的目标函数，
能让最高层次的解释
从学习中涌现出来，
我认为我们现在还没有；
那种可以用来
奖励探索的目标函数，
奖励正确类型的探索。
所以这类问题既不在数据集里，
也不在架构里，
而更多在于我们如何学习，
在什么目标之下等等。
——是的，我听你在好几个场合提到
孩子学习的方式，
他们与世界上的物体互动，
这看起来很迷人，因为在某种意义上，
除了强化学习中的一些情况，
这个想法并不是人工神经网络
学习过程的一部分。
这几乎就像，你是否设想
一个目标函数会说：
“你知道吗，如果你以这种方式戳一下这个物体，
对我进一步学习会非常有帮助。”
有点像是在引导学习的某个方面。
——对，对，对。
我一个小时前刚和丽贝卡·萨克斯（Rebecca Saxe）聊过，
她谈到大量证据表明，
婴儿似乎明显会有方向地
挑选他们感兴趣的东西。
所以他们不是被动的学习者。
他们把注意力集中在世界上
最有趣、最令人意外的方面，
以一种并非平凡的方式，让他们改变
自己对世界的理论。
——这是对未来进展的一种迷人看法，
但问一个也许更无聊的问题，
你认为变得更深，
你认为只是增大那些
在过去几年已经大幅增长的东西的规模，
也会带来显著进展吗？
你提到的一些表示问题，
在某种意义上是有点浅的。
——哦，你说的浅是指抽象意义上的？
——在抽象的意义上。
它们没有得到，就像你说的——
——我不认为让网络更深，
比如从 100 层变成
10000 层，就能解决我们的问题。
——你不这么认为？
——不。
——这对你来说是显而易见的吗？
——是的。
我清楚的是，工程师、公司、
实验室和研究生会继续
调整架构，探索各种小改动，
让当前最先进的水平
一点点地变得更好。
但我认为那远远不够。
我认为我们需要相当大幅度地改变
我们看待学习的方式，
才能实现让这些学习者
深刻理解它们所处的环境，
§02原文文稿 · 10:44–19:51
也就是它们在其中观察和行动的环境。
——但我想我想问的问题
比单纯更多的层更有意思一点。
基本上是，一旦你找到了一种
通过互动来学习的方法，需要多少参数
来存储那些信息？
所以我认为我们的大脑
比大多数神经网络大得多。
——对，对。
哦，我明白你的意思了。
哦，这一点我同意你。
所以我同意，要构建一个
拥有典型成年人那种
对世界广泛知识的神经网络，
我们现在拥有的这种算力
大概是不够的。
嗯，好消息是有硬件公司
在造神经网络芯片，所以情况会变好。
然而，从某种意义上的好消息，
同时也是坏消息，
是即使是我们最先进的深度学习方法，
也学不出能够理解
哪怕非常简单的环境的模型，
比如我们搭建的一些网格世界。
即使是这些相当简单的环境。
我是说，当然，如果你用足够多的例子去训练，
它们最终会学会。
但就是说，人类可能
只需要几十个例子，
而这些东西却需要几百万个，对吧？
对于非常非常非常简单的任务。
所以我认为这为学术界提供了一个机会，
他们没有像谷歌那样的算力，
却可以做真正重要的、
令人兴奋的研究，去推进
训练框架、学习模型、智能体学习的最先进水平，
即使是在简单的、合成的环境中，
这些环境看起来微不足道，
然而当前的机器学习却在其中失败。
——我们谈到了先验和常识知识。
看起来我们人类把很多知识视为理所当然。
那么你如何看待这些先验，
如何形成这种对世界的广泛认识，
这种信息的积累，
以及我们如何教神经网络或学习系统
获取这些知识？
所以知识，你知道，有一段时间，
人工智能，
大概是在 80 年代，
有一个时期，知识表示、
知识获取、专家系统，
我是说，符号 AI 是一种观点，
是一组有意思的待解决问题。
而它似乎被搁置了一点。
——因为它行不通。
——它行不通，没错。
但没错。
——但它的目标仍然重要。
——是的，仍然重要。
你认为这些目标可以如何实现？
——对，首先，
我认为经典专家系统方法
失败的一个原因是，
我们拥有的很多知识，
你谈到了常识、直觉，
有很多这样的知识
是意识无法触及的。
我们做的很多决定
是我们无法真正解释的，
即使有时我们会编一个故事。
而这种知识对机器做出好的决定
也是必需的。
而这种知识很难被编码进专家系统、
基于规则的系统和经典 AI 形式体系中。
当然，还有其他问题，
老式 AI 的问题，
比如没有处理不确定性的好办法。
我还要说一点更微妙的东西，
我们现在理解得更好了，
但我认为在人们的脑海中仍然不够，
那就是有一种非常强大的东西
来自分布式表示，
正是它让神经网络运作得如此好。
而在符号世界里很难复制
那种力量。
专家系统等中的知识
被整齐地分解成一堆规则。
而如果你想想神经网络，情况正相反。
你有一大团参数，
它们紧密地协同工作，
来表示网络所知道的一切。
而它的因子化程度不够。
所以我认为这是当前神经网络的
弱点之一，
我们必须从经典 AI 中吸取教训，
以引入另一种组合性，
这种组合性在语言中很常见，
在这些规则中也很常见，
但对神经网络来说并不那么天然。
——沿着这个思路，
解耦表示。
——是的。
——那么。
——那让我把它和解耦表示联系起来，
如果你不介意的话。
——好，好，正是。
——多年来我一直认为，
而且现在仍然相信，非常重要的是
我们要想出学习算法，
无论是无监督的还是监督的，
还是强化学习，什么都行，
它们构建的表示中，重要的因素，
希望是因果因素，被很好地分离开来，
并且容易从表示中提取出来。
这就是解耦表示的想法。
它说要把数据变换到一个空间，
在那里一切都变得容易。
我们也许只用线性模型
就能学到我们关心的东西。
我仍然认为这很重要，
但我认为这遗漏了
一个非常重要的成分，
经典 AI 系统可以提醒我们这一点。
假设我们有了这些解耦表示。
你仍然需要学习
变量之间的关系，
那些高层次的语义变量。
它们不会是相互独立的。
我是说，那个假设太强了。
它们会有一些有意思的关系，
使我们能够预测未来的事情，
解释过去发生的事。
关于这些关系的那种知识，
在经典 AI 系统中被编码在规则里。
一条规则就像一小块知识，
它说：哦，我有这两个、三个、四个变量，
它们以这种有意思的方式联系在一起。
那么给定另外几个，我就能对其中一两个
说点什么，对吧？
除了解耦
表示的各个元素，
它们就像基于规则的系统中的变量，
你还需要解耦
把这些变量彼此联系起来的机制。
也就是像规则那样。
规则被整齐地分开。
每条规则各自独立存在。
当我因为学习而改变一条规则时，
并不需要破坏其他规则。
而当前的神经网络，比如说，
对所谓的灾难性遗忘非常敏感，
也就是在我学会了一些东西之后，
再去学新的东西，
就可能破坏我之前学会的旧东西，对吧？
如果知识能更好地因子化、
分离、解耦，
你就能避免很多这种情况。
你没法在感官域里做到这一点，
但我的想法——你说的
感官域是什么意思？——比如在像素空间里。
但我的想法是，当你把数据
投射到正确的语义空间中，
就有可能表示这种额外的知识，
它超出了从输入到表示的变换，
也就是表示之间如何相互作用、
如何预测未来等等，
并且能以可以整齐解耦的方式表示。
所以现在是规则彼此解耦，
而不只是变量
彼此解耦。
——你在语义空间和像素之间
做了区分。
那需要有架构上的差异吗？
——嗯，是的。
有像像素这样的感官空间，
在那里一切都是纠缠在一起的。
信息，比如那些变量，
以非常复杂的方式
完全相互依赖。
还有计算，不只是变量，
它们彼此如何联系
也全都交织在一起。
但我的假设是，在正确的高层次
表示空间中，变量
以及它们彼此之间的关系都可以被解耦，
而这将提供很强的泛化能力。
——泛化能力。——是的。
——测试集的分布被假定
与训练集的分布相同。
——对。
这正是当前机器学习太薄弱的地方。
它不告诉我们任何东西，
无法告诉我们任何关于我们的，
你知道，比如说会如何泛化
到一个新的分布。
而且，你知道，人们可能会想，
嗯，可是如果我们不知道新分布是什么，
就什么也说不了。
事实是，人类能够
泛化到新的分布。
§03原文文稿 · 19:53–28:51
——是啊，我们是怎么做到的？
——对，因为有某种东西，
这些新的分布，
即使看起来与训练分布
非常不同，
它们也有共同之处。
我给你举个具体的例子。
你读一部科幻小说。
这部科幻小说也许，你知道，
把你带到另一颗星球，
那里的东西表面上看起来非常不同，
但物理定律仍然是一样的，对吧？
所以你能读这本书，
并且理解发生了什么。
所以分布非常不同，
但因为你可以把很多知识迁移过去，
也就是你在地球上获得的关于底层
因果关系、
物理机制等等的知识，
甚至也许还有社会互动，
你现在就能理解这颗星球上发生的事，
而那里，比如说在视觉上，
事物完全不同。
——把这个类比再推进一步，并稍加变形，
我们进入一个科幻世界，
比如《2001 太空漫游》和 HAL。
——好。
——这大概是我最喜欢的 AI 电影之一。
然后——我也是。
——还有另一部很多人喜欢的，
也许稍微在 AI 圈之外，
就是《机械姬》（Ex Machina）。
——对。——我不知道
你有没有看过。——看过，看过。
——顺便问一下，你对那部电影怎么看？
它，你能享受它吗？
——有我喜欢的地方，也有我讨厌的地方。
——那让我，你可以结合
我想问的一个问题来谈，
那就是有相当大的一群人，
来自不同背景，往往在 AI 圈之外，
他们担心人工智能的
存在性威胁。——对。
——你见证了这个群体的逐渐发展，
你见过，你有自己的看法。
那么你认为，最好的方式是什么，
去谈论 AI 安全，去思考它，
在 AI 圈内外就它展开讨论，
并且要立足于这样一个事实：《机械姬》
是公众了解 AI 的
主要信息来源之一？
——我认为你说得对。
有很大的区别，一边是那种讨论，
也就是我们应该在 AI 圈内进行的讨论，
另一边是那种讨论，
也就是在公众中真正重要的讨论。
所以我认为，《终结者》那样的画面，AI 失控
并杀人，超级智能
无论我们怎么努力都会毁灭我们，
对公共讨论并不太有用，
因为对公共讨论而言，
我认为真正重要的是 AI 对社会
短期和中期的、很可能出现的负面影响，
无论是安全方面，
比如用人脸识别实现的“老大哥”式情景，
还是杀手机器人，或者对就业市场的影响，
或者权力集中和歧视，
各种各样的社会问题，
其中一些甚至真的可能威胁到民主。
——澄清一下，你说杀手机器人时，
指的是自主武器，那种武器系统。
——是的，我不是指——不是《终结者》。
——没错。
所以我认为这些短期和中期的担忧
应当成为公共辩论的重要部分。
至于存在性风险，对我来说
是一个可能性非常低的考量，
但仍然值得学术研究，
就像你可以说，
我们是否应该研究如果一颗陨石
撞上地球并毁灭它会发生什么？
所以我认为这件事发生的可能性非常低，
或者在可预见的未来发生的可能性非常低。
那种 AI 失控的情景
与我的理解相悖，
至少与我对当前机器学习
和当前神经网络等的理解相悖。
在我看来它不可信。
但当然，我没有水晶球，
谁知道 50 年后 AI 会是什么样。
所以我认为科学家研究这些问题是值得的。
只是就我而言，这不是一个紧迫的问题。
——在我沿着这个思路继续之前，
我在这方面有几个问题，
但作为一部电影，你喜欢和不喜欢《机械姬》的
哪些地方？
因为我其实看了第二遍，
而且很享受。
第一遍我很讨厌它，
第二遍我享受得多了，
因为我在某种程度上学会了接受其中的某些部分。
你把它看作一部概念电影。
你的体验是什么？
你有什么想法？
——负面的地方是，它描绘的
科学的图景完全是错的。
一般意义上的科学，尤其是 AI。
科学不是在某个隐秘的地方
由某个非常聪明的家伙完成的。
——一个人。
——一个人。
这完全不现实。
事情不是这样发生的。
即使是在某个与世隔绝的地方的一个团队
也做不到。
科学是一小步一小步前进的，
这得益于大量人员互动所形成的
合作与共同体。
所有在自己领域里是专家的科学家
大致都知道正在发生什么，
即使是在工业界的实验室里。
信息会流动、会泄露，等等。
其精神与这部电影里
描绘科学的方式截然不同。
——好，在这一点上让我问一下。
到目前为止的情况是，
即使研究发生在
谷歌或 Facebook 内部，发生在公司内部，
它仍然会流传出来，想法会流传出来。
——绝对是。
——你认为 AI 会一直是这样吗？
有没有可能把想法封存起来，
以至于有一系列突破
完全不被
整个研究界发现？
你认为这可能吗？
——有可能，但可能性不大。
——可能性不大。
——现在不是这样做的。
在可预见的未来，我也预见不到会这样。
但当然，我没有水晶球。
所以谁知道呢？
毕竟这是科幻。
但通常——
——我觉得在讨论这个的时候灯灭了，
这有点不祥。
——所以问题是，再说一次，有一个，
一方面是电影，
你可以想象各种各样的科幻。
对我来说的问题是，
也许和存在性风险的问题类似，
这类电影描绘了一幅如此错误的图景，
关于实际情况，你知道，实际的科学
以及它如何进行，
以至于可能对人们理解当前科学
产生不幸的影响。
所以这有点可悲。
研究中有一条重要原则，
那就是多样性，不是吗？
换句话说，研究就是探索。
研究是在想法空间中的探索。
不同的人会专注于不同的方向。
这不仅是好事，而且是必要的。
所以我完全接受人们去探索
与我相反或看起来与我正交的方向。
我不止是接受。
我认为这很重要。
我和我的朋友们并不声称我们掌握了
关于将会怎样的普遍真理，
尤其是关于未来会发生什么。
话虽如此，我们有我们的直觉，
然后我们据此行动，
根据我们认为自己在哪里最能发挥作用，
以及社会在哪里得失最大。
我们应该有这些辩论，
而不是最终陷入一个只有一种声音、
一种思维方式的社会，研究经费也应分散开来。
所以——
——分歧是好研究、好科学的标志。
——是的。
——人类意义上的偏见这个概念。
——对。
——你如何看待在机器学习中灌输
在偏见方面与人类价值观一致的东西？
作为人类，我们凭直觉
就有偏见意味着什么的概念，
也有对他人的基本尊重意味着什么的概念。
但你认为我们如何把它灌输到
机器学习系统中？
——我认为有一些短期的事情
已经在发生，
还有一些长期的事情是我们需要去做的。
短期来看，已经有一些技术
被提出，
而且我认为会继续被改进，
也许还会出现替代方案，
用于处理那些我们知道存在偏见的数据集，
我们可以测量它。
几乎任何一个人类，
你知道，被观察、在做决定的数据集，
§04原文文稿 · 28:53–39:01
都会有某种偏见，
对特定群体的歧视，等等。
我们可以用机器学习技术
来尝试构建预测器、分类器，
让它们偏见更少。
比如，我们可以用对抗方法来做，
让我们的系统对那些我们不应该敏感的
变量不那么敏感。
所以这些是清晰、定义明确的
尝试解决问题的方式。
也许它们有弱点，
需要更多研究，等等。
但我认为，事实上，它们已经足够成熟，
政府应该开始在关键领域监管公司，
比如保险公司，
让它们使用这些技术，
因为这些技术很可能会减少偏见，
但有代价。
比如，它们的预测可能会不那么准确，
所以除非你强制，公司是不会这样做的。
好，这是短期的。
长期来看，我真正感兴趣的是思考
我们如何能把道德价值观灌输给计算机。
显然，这不是我们在
未来五到十年能实现的。
我们如何能，你知道，已经有一些工作
在检测情绪，比如说，
在图像中、在声音中、在文本中，
还有研究不同的智能体
以不同方式互动，可能对应于
比如说不公正的模式，而这可能引发愤怒。
所以这些是我们中期能做的事情，
最终训练计算机去建模，比如说，
人类在情绪上如何反应。
我会说最简单的是不公平的情境，
它们会引发愤怒。
这是我们与其他动物共有的
最基本的情绪之一。
我认为在未来几年内这是相当可行的，
所以我们可以构建能检测
这类事情的系统，不过遗憾的是，前提是
它们对我们周围的世界有足够的理解，
而这还很遥远，
但也许我们可以先在虚拟环境中做到这一点。
所以你可以想象一个电子游戏，
其中智能体以某些方式互动，
然后某些情境会引发一种情绪。
我认为我们可以训练机器去检测这些情境，
并预测如果一个人扮演其中一个角色，
很可能会感受到
那种特定的情绪。
——你对无监督学习表现出了热情，并做了很多出色的工作，
但在监督，
你知道，在监督学习方面
已经取得了很多成功。
——是的，是的。
——而我真正热衷的事情之一
是人类和机器人如何协作。
在监督学习的语境下，
那就意味着标注的过程。
你是否思考过标注的问题，
或者换一种更有意思的说法，
人类教机器的问题？
——是的。——有吗？
——是的，我认为这是个重要的课题。
把它简化为标注，对明天就要构建系统的人
也许有用，
但从更长远看，教的过程，
我认为值得机器学习界
给予多得多的关注。
有人创造了“机器教学”这个术语。
那么，教一个学习智能体的好策略是什么？
我们能否设计、训练一个系统，
让它成为一个好老师？
在我的研究组里，我们有一个项目，
叫 BabyAI（原文转写为 BBI）或 BabyAI 游戏，
其中有一个游戏或场景，
有一个学习智能体和一个教学智能体。
按设想，教学智能体最终会是一个人，
但我们还没做到那一步。
老师的角色
是利用它对环境的知识，
这些知识它可以用任何方式获得，蛮力也行，
来帮助学习者尽可能快地学习。
所以学习者会尝试自己学习，
也许用一些探索之类的方法，
但老师可以选择，
可以影响与学习者的互动，
以便引导学习者，
也许教它那些
学习者最感困难的东西，
或者就在它知道和不知道的东西的
边界上去教，等等。
这类想法在其他领域有一定传统，
比如辅导系统，
以及 AI，当然，人文学科的人
也一直在思考这些问题，
但我认为是时候让机器学习的人
来研究这个了，因为在未来，
我们会有越来越多的人机交互，
也就是有人在回路中，
而我认为理解如何让这运作得更好——
——围绕它的所有问题都非常有意思，
而且没有得到充分的解决。
你在语言方面也做了很多工作。
按传统表述的图灵测试，
也就是对自然语言理解和生成的测试，
在你看来哪个方面最难？
在对话中，在你看来，
对机器来说最难解决的是哪一部分？
——我会说是所有与
非语言知识有关的东西，
也就是你隐含地需要的、
用来理解句子的知识。
比如威诺格拉德模式（Winograd schema），
也就是那些语义上有歧义的句子。
换句话说，你需要对世界有足够的理解，
才能真正正确地解释
那些句子。
我认为这些是机器学习的有趣挑战，
因为它们指向一个方向，
即构建既理解世界如何运作、
理解世界中的因果关系的系统，
并把这些知识与如何用语言表达它们联系起来，
无论是读还是写。
——你说法语？
——是的，那是我的母语。
——它是罗曼语族的语言之一。
你认为通过图灵测试，
以及我们刚才提到的所有底层挑战，
取决于语言吗？
你认为用法语会不会
比用英语更容易？
——不会。
——还是说它与语言无关？
——我认为它与语言无关。
我想构建的系统，
能够用同样的原则、
同样的学习机制，
向人类学习，无论他们说什么语言。
——嗯，我们人类当然能用诗歌
说得更优美、更流畅。
我原本是俄罗斯人。
我知道用俄语写诗，也许比用英语
更容易传达复杂的思想。
但也许我暴露了自己的偏见，
有些人也可能对法语这么说。
但当然，归根结底，我们的人脑
能够利用任何一种语言，
把它们当作传达意义的工具。
——是的，当然语言之间有差异，
也许有些在某些方面略胜一筹。
但从大局来看，
当我们试图理解大脑如何运作、
语言如何运作等等时，
我认为这些差异微乎其微。
——你也许经历过某种 AI 寒冬。
——是的。
——你是如何保暖并继续你的研究的？
——和朋友在一起取暖。
——和朋友在一起。
好，所以有朋友很重要。
你从这段经历中学到了什么？
——倾听你内心的声音。
不要只想着取悦大众和追逐潮流。
如果你对某件事有强烈的直觉，
而它没有被实际证据否定，那就去做。
我是说，它可能被别人否定。
（笑）
——不是被你自己基于
所学一切的本能所否定。
——当然，当你的实验与你的信念相矛盾时，
你必须调整你的信念。
但除此之外，你必须坚持你的信念。
正是这让我熬过了那些年。
正是这让我能够坚持那些方向，
那些需要时间的方向，不管别人怎么想，
都需要时间才能成熟并结出果实。
——所以 AI 的历史以这些为标志，
当然它以技术突破为标志，
但也以这些开创性事件为标志，
它们抓住了整个圈子的想象力。
最近的，我会说 AlphaGo 成为
击败人类世界冠军的围棋棋手，就是这样的时刻之一。
你认为下一个这样的时刻可能是什么？
——好，首先，我认为这些
所谓的开创性事件被高估了。
（笑）
就像我说的，科学真的是一小步一小步前进的。
实际发生的是，你又迈出了一小步，
它就像那一滴，
让桶满了，然后你就有了
巨大的后果，因为现在你能够
做到以前做不到的事情。
或者现在，比如说制造某种设备
或解决某个问题的成本比现有的更低，
于是一个新市场打开了。
所以，尤其是在商业和应用的世界里，
一点小小的科学进步的影响可能是巨大的。
但在科学本身之中，我认为它是非常非常渐进的。
§05原文文稿 · 39:07–42:11
——现在这些步骤是在哪里迈出的？
有无监督学习。
——如果看我所在圈子里一个我喜欢的趋势，
比如在我的研究所 Mila（原文转写为 Miele），
两个最热门的话题是什么？
GAN 和强化学习。
尽管尤其是在蒙特利尔，
强化学习在两三年前
还几乎不存在。
所以学生们真的很感兴趣，
像我这样的人也很感兴趣。
所以我会说，这是我们会看到
更多进展的方向，尽管它在实际的
产业成果方面还没有带来多少。
比如尽管有 AlphaGo，
谷歌现在并没有靠它赚钱。
但我认为从长远来看，
出于许多原因，这真的非常非常重要。
换句话说，我会说强化学习，
也许更一般地说是智能体学习，
因为它不一定要有奖励。
它可以是智能体了解其环境的
各种各样的方式。
——强化学习让你兴奋，
你认为 GAN 能否提供某种东西，
——能。——某个时刻——
——嗯，GAN 或其他生成模型，
我相信将是构建能够理解世界的
智能体的关键成分。
过去强化学习的很多成功
都来自策略梯度，
你只学一个策略，
并不真正学习一个世界模型。
但这有很多问题。
而我们现在还不知道如何做基于模型的强化学习。
但我认为这是我们必须前进的方向，
才能构建泛化得更快、更好的模型，
比如泛化到新的分布，
它们在某种程度上能捕捉，
至少是世界中底层的因果机制。
——最后一个问题，是什么让你爱上了
人工智能？
回顾过去，你人生中第一次
被人类心智或人工心智吸引
是在什么时候？
——你知道，我十几岁时读了很多书。
然后我开始读科幻小说。
（两人都笑了）
——原来如此。
——我就，就是这样。
我就是从那时迷上的。
后来我有了最早的一批个人电脑之一，
然后我迷上了编程。
所以就这样，你知道。
——从虚构开始，然后让它成为现实。
——没错。
——约书亚，非常感谢你和我交谈。
——我的荣幸。
（轻快的音乐）
（轻快的音乐）
（轻快的音乐）
（轻快的音乐）
（轻快的音乐）
（轻快的音乐）