Tomaso Poggio: Tommaso Poggio：大脑、心智与机器
Tomaso Poggio: Brains, Minds, and Machines
嘉宾：Tomaso Poggio
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01原文文稿 · 00:00–11:53
以下是与托马索·波焦的一段对话。
他是麻省理工学院的教授、
脑、心智与机器中心的主任。
他的工作被引用超过 10 万次，
对我们理解生物与人工神经网络中
智能的本质
产生了深远的影响。
他曾是许多极具影响力的 AI 研究者
和创业者的顾问，包括
DeepMind 的德米斯·哈萨比斯、Mobileye 的阿姆农·沙书亚，
以及艾伦脑科学研究所的克里斯托夫·科赫。
这场对话是 MIT 那门
关于通用人工智能的课程
以及人工智能播客的一部分。
如果你喜欢它，请在 YouTube、iTunes 上订阅，
或干脆在推特上关注我
@LexFriedman，拼作 F-R-I-D。
现在，这就是我与托马索·波焦的对话。
你提到过，在你的童年，
你培养出了对物理学、尤其是
相对论的迷恋。
而且爱因斯坦也是你童年的英雄。
你觉得爱因斯坦天才的哪个方面、他天才的本质，
对于发现相对论
是至关重要的？
你知道，爱因斯坦对我、
我确信对很多人来说都是英雄，因为他
能够，当然，仅凭把一个思想实验
稍加简化，就对物理学做出重大、重大的贡献——
一个思想实验，你知道，想象一个静止的观察者
和火车上某人之间用光进行通信。
（接上）
而我想，你知道，仅凭他思想的力量、
他思考的力量、
他心智的力量，他就能抵达物理现实中
如此深刻的东西，即时间如何
依赖于空间和速度，这件事
绝对令人着迷。
那是智能的力量、
心智的力量。
你觉得那种想象、
像他那样、像许多伟大物理学家那样去可视化的能力，
你觉得它存在于我们所有人类身上吗？
还是说那一个特定的人身上有某种特别的东西？
（接上）
我觉得，你知道，原则上我们所有人都能学习、都能
有类似的突破。
从爱因斯坦身上有一些教训可学。
他是苏黎世联邦理工学院（ETH，
德语 Eidgenössische Technische Hochschule）物理专业
五名博士生之一。
而他是五人中最差的，
是唯一一个毕业时、
读完博士时没有拿到学术职位的。
而他去工作了，众所周知，
去了专利局。
所以与其说是他为专利局工作，
不如说这个事实——显然他很聪明，
但他显然不是顶尖学生——
他是个反从众者。
他没有按照大概他的老师
和其他学生所用的传统方式去思考。
所以关于「试着去做相反的、或与
其他人正在做的颇为不同的事」
有很多可说的。
那对股市当然也成立。
在每个人都买时千万别买。
对科学也成立。
是的。
那么你还提到过，
继续物理学这个主题，你年轻时为
物理学所能揭开的宇宙奥秘感到兴奋。
比如，我看到提到的，时间旅行的可能性。
所以，我想我今天能问的最天马行空的问题，
（接上）
你觉得时间旅行可能吗？
嗯，如果它现在就可能，那就太好了。
在科学里，你永远不说「不可能」。
但你对时间本质的理解。
是啊。
非常可能的是，在时间中旅行是不可能的。
我们也许能够向前旅行到未来，
如果我们能，比如说，冻结自己、或登上某艘
以接近光速旅行的飞船。
但就主动地旅行、比如说
回到过去而言，我觉得大概非常不可能。
那么你是否仍然怀有「工程出智能」的
那个底层梦想——
去建造能够做出这种巨大飞跃的系统，
比如发现时间旅行所需要的
那种机制？
你是否仍然怀有那个梦想、或它从你童年
留下的回响？
是啊。
我不觉得——不管有没有某些问题大概
无法被解决，取决于你对物理现实的信念，
比如也许从无中创造能量、
或回到过去旅行是完全不可能的，
但关于造出能像我们一样好、
甚至更好地思考的机器，或者更可能的是，尤其是
在短期和中期，帮我们思考得更好，
这在某种意义上已经在发生，
靠我们现有的计算机。
而它会越来越多地发生。
但那个我当然相信。
而我原则上看不出，为什么计算机在某个时刻
不可能变得比我们更智能，
尽管「智能」这个词是个棘手的词，
也是一个我们应该讨论的词。
我说那个是什么意思。
智能、意识、像「爱」这样的词，
所有这些都需要被解开、分清。
那么你还提到过，你相信
智能问题是科学中最大的问题，
比生命的起源
和宇宙的起源都更大。
你还在我听过的一次演讲里
说你对反对你的论点持开放态度。
那么你觉得「理解智能本质」这个问题
最吸引人的方面是什么？
它为什么如你所表现的那样吸引着你？
嗯，最初，我想我作为一个——我猜是青少年、
当我迷恋相对论时所拥有的动机之一，
真的是，
我发现有时间和空间的问题、
以及广义相对论的问题。
但还有如此多其他的、
同等难度和重要性的问题，
以至于我，即便我是爱因斯坦，
也很难指望把它们全都解决。
那么解决一个「其解能让
我解决所有问题」的问题怎么样？
而这就是，如果我们能找到那把钥匙，
通往一种比爱因斯坦好或快 10 倍的智能呢？
所以那算是把人工智能
看作一个扩展我们能力的工具。
但在你身上，是否有一种单纯的好奇，
只是想理解这里面
是什么让这一切运作？
是的，绝对，你说得对。
所以我一开始说这是我青少年时的
动机。
但很快之后，我觉得人类智能问题
成了我的科学和研究的真正焦点，
因为我觉得对我来说，最有意思的问题
真的是追问我们是谁。
它追问的不只是一个关于科学的问题，
甚至是关于我们用来做科学的那个工具本身，
也就是我们的大脑。
我们的大脑如何运作？
它从哪里来？
它的局限是什么？
我们能让它变得更好吗？
而那在许多方面，是
支撑着科学这整项事业的终极问题。
那么你在智能的科学
和智能的工程两方面
都做出了重大贡献。
让我假设性地问，
你觉得在不理解生物、
不理解人脑如何创造智能的情况下，
我们在创造智能系统上能走多远？
换句话说，你觉得我们能不能
造出一个强 AI 系统，而不真正抵达
对大脑功能本质的核心理解？
嗯，这是个真难的问题。
我们确实解决了像飞行这样的问题，
而没有真正太多地用上我们关于
鸟如何飞的知识。
我猜，知道「你能有比空气重、
却仍能像鸟一样飞起来的东西」是重要的。
但除此之外，我们大概没学到很多，一些。
莱特兄弟确实从观察鸟
并设计他们的飞行器中学到了很多。
但你可以说，在那个特定案例里，
我们没怎么用到生物学。
现在，在智能的案例里，
我觉得眼下这有点像一场打赌。
如果你问，好，我们都同意我们会在某个时刻、
也许很快、也许更晚，得到一台
就我能让它做的事而言、
与我的秘书无法区分的机器。
我觉得我们会走到那一步。
而现在问题是，你可以问人们，
你觉得我们能不能在对人脑
毫无知识的情况下走到那一步？
还是说走到那一步的最好方式
是更好地理解人脑？
好，我觉得这是一个有根据的打赌，
不同背景的不同的人
会以不同的方式来下注。
AI 近来——我会说过去五年或十年——
进展的历史，
一直是，主要的突破、
主要的近期突破，真的都始于神经科学。
我可以提强化学习作为一个例子。
它是 AlphaGo 核心算法之一，
AlphaGo 就是那个两三年前在首尔
击败了围棋官方世界冠军之一李世石的系统。
那是一个。
§02原文文稿 · 11:53–24:07
而那其实始于巴甫洛夫 1900 年的工作、
60 年代的马文·明斯基，以及之后许多其他
神经科学家。
而深度学习开始了，它同样处于
AlphaGo 以及像汽车自动驾驶系统这类系统的核心，
比如 Mobileye 所做的系统——
Mobileye 是我一位前博士后、
阿姆农·沙书亚创办的公司。
所以那处于那些东西的核心。
而深度学习，真的，就这些分层的、
层级式网络的架构而言，
其最初的想法始于托斯滕·维泽尔
和大卫·休伯尔 60 年代在河对岸哈佛的工作。
所以近来的历史表明，神经科学在这些突破中
扮演了重要角色。
我个人的打赌是，它很有机会继续
扮演重要角色。
也许不是在所有未来的突破中，
但在其中一些里。
至少在启发上。
至少在启发上，绝对，是的。
那么你研究了人工和生物神经网络两者。
你说了这些支撑深度学习
和强化学习的机制。
但在生物和人工神经网络之间，
就目前的状况而言，
仍然有显著的差异。
那么在两者之间，你觉得
就我们当前的理解而言，最有意思、最神秘、
甚至也许最美的差异是什么？
（接上）
我必须坦白，直到最近，
我都觉得人工网络相对真实神经网络
太过简化。
但最近，我开始觉得，是的，
对你在大脑里所看到的东西，有一个非常大的简化。
（接上）
但另一方面，就架构而言，它们比
其他我们曾有的、
计算机科学用作思维模型的模型——
即数理逻辑、LISP、
Prolog 那类东西——离大脑近得多。
所以与那些相比，它们
离大脑近得多。
你有神经元构成的网络，
而那正是大脑的本质。
而模型里的人工神经元，正如我所说，
是生物神经元的漫画化。
但它们仍是神经元，与其他单元
通信的单个单元，而这正是在
传统的、数学、推理等的
计算机式模型里所缺失的。
那么你希望随时间看到
人工神经网络中加入哪个方面，
当我们设法找出改进它们的途径时？
所以如今就深度学习而言——而且不只是
深度学习——与大脑之间的主要差异和问题之一，
是深度学习技术
需要大量带标签的样本。
比如，对于 ImageNet，你有
一个训练集，它是一百万张图像，每一张都
由某个人类标注了里面是什么物体。
而很清楚的是，在生物学里，一个婴儿
也许能在生命最初几年里看到数百万张图像，
但不会从父母或照护者那里
得到数百万个标签。
（接上）
那么你如何解决那个？
我觉得有这样一个有意思的挑战：
如今，深度学习和相关技术
全都是关于大数据，大数据意味着
大量由人类标注的样本，
而在自然界里，你这个大数据
是 n 趋向无穷。
那是最好的，n 指带标签的数据。
但我觉得生物世界更像 n 趋向 1。
一个孩子能从非常少量的
带标签样本中学习。
比如你告诉一个孩子，这是一辆车。
你不需要像 ImageNet 那样说，这是车、
这是车、这不是车、这不是车，
说一百万次。
而当然，有了 AlphaGo，或至少 AlphaZero
的变体，因为围棋的世界
如此简单，以至于你其实可以
通过自我对弈自己学习，
你可以互相对弈。
在真实世界里，你广泛研究过的视觉系统
比围棋这个游戏
复杂得多。
关于孩子的那条评论——他们
在学习新东西上好得令人着迷——
你觉得其中有多少是硬件、
有多少是软件？
是啊，那是个好的、深刻的问题。
在某种意义上，它是那个古老的后天与先天的问题，
有多少在基因里、有多少
在一个个体的经验里。
显然，是两者都起作用。
而我相信，演化所给予的方式，
所谓硬连线地放入先验信息，
并不是真的硬连线。
但那本质上是一个假说。
我觉得正在发生的是，演化几乎
必然地——如果你相信达尔文的话——是非常机会主义的。
想想我们的 DNA 和果蝇的 DNA。
我们的 DNA 并不比果蝇有多很多的基因。
那只苍蝇。
那只苍蝇、果蝇。
现在，我们知道果蝇在其个体生存期间
学得不多。
它看起来像这样一种机器——
它真的大部分，不是 100%、而是 95%，
由基因硬编码。
但既然我们并不比果蝇有多很多基因，
演化就可以把一台通用的学习机器编码进去、
然后只需给出非常弱的先验。
比如，举一个具体的例子，
它是我们脑、心智与机器中心一位成员
近来的工作。
我们知道，因为我们组
和其他组的其他人的工作，在我们大脑的
一个部位里有一些细胞、神经元，是调谐于人脸的。
它们似乎参与人脸识别。
现在，这个人脸区域似乎在幼儿
和成人身上都存在。
而一个问题是，它从一开始就在吗？
是由演化硬连线的吗？
还是不知怎么地被非常快地学到的？
那么你的——顺便说，我问的很多问题，
答案都是我们其实不知道。
但作为一个在这些领域贡献过
一些深刻想法的人，
你是个适合猜测其中一些的人。
所以当然，在我们谈的很多东西之前
有一个告诫（即未必确知）。
但你的直觉是什么？
那个似乎集中于人脸识别的
大脑部位，
你是生来就有它，
还是它只是被设计成能快速学到那个，
比如母亲的脸等等？
我的直觉、我的偏见是第二个，非常快地学到。
而结果是，哈佛的玛格·利文斯通（指玛格丽特·利文斯通）
做了一些惊人的实验，她在其中养育
幼猴，在它们生命最初几周里剥夺它们看到脸的机会。
（接上）
所以它们看到技术员，但技术员戴着面具。
是的。
所以当他们查看这些猴子大脑中
通常被界定为人脸（区域）的那个区域时，
他们没有发现人脸偏好。
所以我猜，在这种情况下演化所做的，
是有一个可塑的区域，它是
可塑的，算是被预先设定为
非常容易被印刻。
但来自基因的指令不是一张详细的、
用于人脸模板的电路图。
可以是，但这大概需要很多比特。
你得指定很多神经元的很多连接。
相反，来自基因的指令
是类似于「印刻、记住你在生命最初两周里
最常看到的东西」这样的东西，
尤其是与食物、也许与乳头相关联的。
我不知道。
嗯，食物的来源。
所以那个区域起初非常可塑，然后固化。
如果那个实验的一个变体能展示出
一种与食物、而非与人脸模式相关联的
与食物、而非与人脸模式相关联的不同模式，看那是否能固定下来，会很有意思。
有迹象表明，在那个实验期间，
猴子相当经常看到的
是给幼猴喂奶的技术员的
蓝色手套。
而那个区域里的一些细胞，
不是对人脸敏感、而是对手敏感。
那很引人入胜。
你能谈谈大脑的不同部分是什么，
以及在你看来、大致地，
它们如何对智能做出贡献吗？
你是把大脑看作一堆不同的模块、
它们在人脑里一起
创造出智能吗？
还是它全都是同一种基本架构的
一团糊？
是啊，那是个重要的问题。
而神经科学里曾有一个阶段，大约在 1950 年代，
在那段时间里有一阵子人们相信
大脑是等势的。
这就是那个术语。
你可以切掉一块，而除了性能稍微
差一点之外，什么特别的事都不会发生。
有一位外科医生，拉什利，
用小鼠和大鼠做了很多这类实验，
并得出结论：大脑的每一部分
本质上都等同于任何其他部分。
结果那其实不是真的。
正如你所说，大脑里有非常特定的模块。
而人们可能会失去说话的能力，
如果你在某个区域中风，
§03原文文稿 · 24:07–36:03
或在另一个区域失去对腿的控制。
所以它们非常特定。
大脑也相当灵活、冗余，
所以它常常能纠正一些事、把功能
从大脑的一个部分接管到另一个部分。
但确实，有一些特定的模块。
所以我们从这项基于损伤的旧工作中知道的答案——
这些工作基本上基于损伤，要么在动物身上，
要么很多时候有一座非常有意思的数据富矿，
来自战争、来自士兵大脑中
不同类型的损伤。
而更近来，功能性磁共振成像，
它让你能查看当你做不同任务时
大脑的哪个部分是活跃的，
可以取代其中一些（旧方法）。
你能看到大脑的某些部分参与、
在某些任务中是活跃的。
视觉、语言，是啊，没错。
但算是退一步，看那个
发现、专门处理人脸的大脑部位，
以及它可能如何被学到，你背后的直觉是什么？
有没有可能，从物理学家的视角看，
当你走到越来越低的层次时，它全都是同样的东西，
而它只是，当你出生时，它是可塑的、
并很快弄清楚这部分将关于视觉、
这将关于语言、
这关于常识推理。
你是否有一种直觉，觉得那种学习
正非常快地进行，还是它真的
算是固化在硬件里？
那是个很棒的问题。
所以有一些大脑部分，比如小脑
或海马体，它们彼此很不一样。
它们显然有不同的解剖结构、
不同的连接。
然后是皮层，它是人类大脑中
最发达的部分。
而在皮层里，你有皮层的不同区域，
它们负责视觉、
听觉、运动控制、语言。
现在，关于这一点的一大谜题是，
在皮层里，皮层就是皮层。
看起来，就硬件而言、
就神经元类型和连接而言，
跨越这些不同的模态它都是一样的。
所以对于皮层，我觉得，除了大脑的
其他这些部分，比如脊髓、海马体、
小脑等等，对于皮层，
我觉得你那个关于硬件和软件、
学习等等的问题，我觉得是相当开放的。
而我觉得去思考一个架构、一个计算机架构，
（接上）
它既擅长视觉、同时又擅长语言，是非常有意思的。
似乎是你必须解决的如此不同的问题领域。
但底层的机制也许是一样的。
而那对人工神经网络真的很有启发。
那么我们在视觉——
人类视觉、计算机视觉——方面做了很多很棒的工作。
而你提到人类视觉的问题
其实和通用智能的问题一样难。
而那也许连接到皮层的讨论。
你能描述一下人类的视觉皮层、
以及人类如何开始通过原始的感官信息
理解这个世界吗？
对于那些不熟悉的人，
尤其是在计算机视觉这一面，
我们其实不常退一步，除了用
一两句话说一个受另一个的启发。
关于人类的视觉皮层，我们知道些什么？
那很有意思。
我们知道相当多。
与此同时，我们不知道很多。
但我们知道的那一点，在某种意义上，我们知道很多细节。
而许多我们不知道。
而我们知道很多顶层的、
顶层问题的答案。
但我们不知道一些基本的问题，
甚至就一般神经科学而言，先别管视觉。
我们为什么睡觉？
这是个如此基本的问题。
而我们真的没有那个问题的答案。
所以在那上面退一步。
所以睡眠，比如说，是迷人的。
你觉得那是个神经科学问题吗？
或者如果我们谈抽象层次，你觉得
研究智能的一种有意思、
或最有效的方式在哪些抽象层次上？
是化学的、是生物的、
是电生理的、数学的——
正如你在那一面做了很多出色的工作？
心理学，你觉得在哪个抽象层次？
嗯，就抽象层次而言，
我觉得我们需要所有这些。
这就像如果你问我，理解一台计算机
是什么意思？
那简单得多。
但对一台计算机，我可以说，嗯，
我懂得如何用 PowerPoint。
那是我理解一台计算机的层次。
它是合理的。
它给了我一些制作幻灯片、
制作漂亮幻灯片的能力。
现在，你可以问别人。
他说，嗯，我知道计算机内部那些晶体管如何工作。
（接上）
我能写出晶体管、二极管
和电路、逻辑电路的方程。
而我可以问这个人，你知道如何操作 PowerPoint 吗？
毫无头绪。
那么你觉得，如果我们发现了行走在我们中间的计算机、
满是这些晶体管、也在
Windows 下运行、还有 PowerPoint，
你觉得再往里深挖一点？
为了能够理解 PowerPoint
和这些更高层次的智能过程，
理解晶体管有多大用处？
所以我觉得，在计算机的案例里，
因为它们是工程师、是我们造的，
这些不同层次的理解
是有意地相当分离的。
它们是分离的模块，这样为芯片
设计电路的工程师就不
需要知道 PowerPoint 内部是什么。
而某个人可以写出在两者之间
做翻译的软件。
所以在那种情况下，我不觉得理解晶体管
能帮你理解 PowerPoint，或帮助极小。
如果你想理解计算机，这个问题，
我会说你必须在不同的层次上
理解它。
如果你真的想造一台，对吧？
但对于大脑，我觉得这些理解的层次，
即算法、哪一类计算、
PowerPoint 的等价物，以及电路、
晶体管，我觉得它们彼此
交织得多得多。
并没有一个把软件与硬件
利落地分开的层次。
所以那就是为什么我觉得在大脑的案例里，
这个问题更困难，而且比起计算机更
需要不同类型专长之间的
互动、协作。
大脑是一团巨大的层级式混乱。
你没法就把各个层次解开。
我觉得你能，但那困难得多。
而且它不是完全显而易见的。
而正如我所说，我觉得它是，就我个人而言，
我觉得是科学中最大的问题。
所以我觉得它困难是合理的。
那是个困难的问题。
话虽如此，你确实谈到了组合性
以及它为什么可能有用。
而当你讨论为什么这些神经网络——
无论人工还是生物意义上——能学到任何东西时，
你谈到了组合性。
你看，有一种感觉，即自然可以被解开。
或者，嗯，我们认知的所有方面
都可以在某种程度上被解开。
那么你觉得，首先，
你如何看待组合性？
以及你觉得它为什么会在自然界里存在？
我谈到过，我用「组合性」这个词，
是在我们看深度神经网络、多层网络、
并试图理解它们何时、为何比
更经典的单层网络——
比如线性分类器、所谓核机器——更强大时。
而我们发现的是，就
逼近、或学习、或表示
一个函数、一个从输入到输出的映射而言——
比如从一张图像到图像中的标签——
如果这个函数有一个特定的结构，
那么深度网络就比浅层网络
在逼近底层函数上强大得多。
而那个特定的结构是组合性的结构。
如果这个函数由函数的函数构成，
这样当你在解读一张图像、
分类一张图像时，你不需要
一下子看所有像素。
而是你可以从小组的像素中计算出某样东西。
然后你可以在这个局部计算的输出上
再计算出某样东西，如此等等，
这类似于你读一个句子时所做的。
你不需要读第一个和最后一个字母。
而是你可以读音节、把它们组合成词、
把词组合成句子。
所以这就是这类结构。
所以那是「为什么深度神经网络可能比
浅层方法更有效」
这个讨论的一部分。
而你的感觉是，对于我们能用神经网络
去处理的大多数东西，那些问题
在本质上会是组合性的，比如语言、
比如视觉？
我们能以这种方式走多远？
所以这里几乎是哲学。
嗯，那我们就去那儿。
是啊，我们去那儿。
所以我的一个朋友，马克斯·泰格马克，他是 MIT 的物理学家。
我就这件事和他聊过。
是啊，而他不同意你，对吧？
§04原文文稿 · 36:03–47:54
有一点。
是啊，我们在大多数事情上一致。
但结论有点不同。
他的结论是，比如对图像来说，
我们必须学习、或用来解决这些问题的这个函数的组合性结构
（接上）
来自物理学，来自这个事实——
即在物理学里你有局部的相互作用，
在原子与其他原子之间、在物质粒子
与其他粒子之间、在行星
与其他行星之间、在恒星与其他恒星之间。
它全都是局部的。
而那是真的。
但你可以把这个论点再推进一点。
不是这个论点，其实。
你可以论证说，也许那是真相的一部分。
但也许发生的情况算是相反的，
即我们的大脑被接线成一个深度网络。
所以它能学习、理解、解决
具有这种组合性结构的问题，
而它不能解决不具有
这种组合性结构的问题。
所以我们习惯的、我们思考的、
我们在其上测试算法的那些问题，
是这种组合性结构的，因为我们的大脑就是那样构成的。
而那在某种意义上是一种演化的视角，
即我们（的大脑如此构成）。
所以那些不具备、那些没能
应对现实之组合性本质的（大脑）就消亡了？
是的，但也可能，也许我们大脑里有这种
局部连接的原因——
比如皮层里的简单细胞，每一个都
只看图像的一小部分，
然后另一些细胞看这一小批
简单细胞，如此等等。
这样做的原因也许纯粹是，
长程连接难以生长。
所以假设这是生物学的缘故。
有可能生长短程连接、却不能
生长长程，也因为你能（建立的）长程连接
数量有限。
所以你有这种来自生物学的限制。
而这意味着你造出一个深度卷积网络。
这会是类似深度卷积网络的东西。
而这对于解决某一类问题很好。
这些正是我们觉得容易、且对我们的生活重要的问题。
而且是的，它们足够让我们生存下来。
而你可以靠解决那些问题
创办一家成功的企业，用 Mobileye。
驾驶是一个组合性的问题。
那么在学习任务上，就优化而言，
我们对大脑如何学习知道得不多。
（接上）
所以那个东西——随机梯度下降——
是人工神经网络大体上用来
调整参数的方法，以使它
能够基于带标签的数据
去解决问题。
那么你对它为何能起作用的直觉是什么？
优化一个神经网络、一个人工神经网络
是一个多难的问题？
有其他的替代方案吗？
就总体而言，你对这个
看起来做得相当好、意外地好的
非常简单的算法背后的直觉。
是啊。
所以我发现神经科学、皮层的架构，
真的和深度网络的架构很相似。
所以在生物学与这种
局部连接、层级式架构之间，
有一个很好的对应。
随机梯度下降，正如你所说，
是一种非常简单的技术。
从我们现在对皮层、神经元
和突触所知的来看，
生物学似乎相当不可能做那个。
所以有一个大的开放问题：是否有
其他的优化学习算法
能取代随机梯度下降。
而我猜是有，但还没人找到真正的答案。
我是说，人们在尝试、仍在尝试，
而且有一些有意思的想法。
随机梯度下降如此成功这个事实，
这已经明显变得不那么
神秘了。
而原因是，它是一个有意思的事实。
它在某种意义上，是人们思考统计学
方式的一个转变。
而它是这样的，即通常当
你有数据、你有，比如说，一个带参数的模型，
你试图把模型拟合到数据、
去拟合参数。
通常，那种群众智慧式的想法
是你应该至少有参数数量两倍的数据。
（接上）
也许 10 倍更好。
现在，你如今训练神经网络的方式
是它们有比数据多 10 倍或 100 倍的参数，
恰恰相反。
而它一直是关于神经网络的谜题之一。
当你有这么多自由度时，
你怎么能得到真正起作用的东西？
从那么少的数据，它却能以某种方式泛化。
没错，正是。
你觉得它那种随机的性质、
那种随机性，是本质性的吗？
所以我觉得我们对这为什么发生
有了一些初步的理解。
但拥有这种过参数化——参数比数据多——
的一个很好的副作用是，
当你去寻找一个损失函数的极小值时，
就像随机梯度下降所做的，
你会发现——我基于一条
古老的代数基本定理做了一些计算，那条定理叫贝祖定理（原文转写为「Bezu」），
它给你一个
多项式方程组解的数量的估计。
总之，归根结底，大概有
一个典型深度网络的极小值
比宇宙中的原子还多。
只是说说，有很多，因为
过参数化。
更全局的极小值、零极小值、好的极小值。
更全局的极小值。
是啊，很多个。
所以你有很多解。
所以你能相对容易地找到它们，
并不那么令人惊讶。
而这是因为过参数化。
过参数化把整个空间
撒满了相当好的解。
这并不那么令人惊讶，对吧？
这就像如果你有一个线性方程组，
而你的未知数比方程多，那么你就有，
我们知道，你有无穷多个解。
而问题是挑出一个。
那是另一回事。
但你有无穷多个解。
所以有很多你未知数的取值
满足这些方程。
但有可能其中很多解
不是很好。
令人惊讶的是，它们相当好。
所以那是个好问题。
你为什么能挑出一个泛化得好的？
是啊。
那是一个有单独答案的单独问题。
有一条人们喜欢谈论的、算是
激发对神经网络威力之想象的定理，
是普适性、普适逼近定理，
即你可以用单个隐藏层里
有限数量的神经元
逼近任何可计算的函数。
你觉得这条定理令人惊讶吗？
你觉得它有用、有意思、鼓舞人心吗？
不，这一条，我从没觉得它很令人惊讶。
它从 80 年代起就为人所知，自我进入这个领域起，
因为它基本上和魏尔斯特拉斯定理一样，
那条定理说我可以用一个
项数足够多的多项式
逼近任何连续函数。
所以基本上是一回事。
而证明非常相似。
所以你的直觉是，从来没有
任何疑问——神经网络在理论上
可以是非常强的逼近器。
没错。
问题、有意思的问题是，
这条定理说你可以逼近，好。
但当你问需要多少个神经元，比如，
或在多项式的情况下，多少个单项式，
才能得到一个好的逼近时。
结果那取决于你函数的维度，
即你有多少个变量。
（接上）
但它以一种糟糕的方式
取决于你函数的维度。
它，比如，假设你想要一个
不差于 10% 的逼近误差。
你想出一个在 10% 以内
逼近你函数的网络。
结果你需要的单元数量
在 10 的 d 次方量级，
d 是维度、你有多少个变量。
所以如果你有两个变量、这两个词，
你有 100 个单元，好。
但如果你有，比如说，200 乘 200 像素的图像，
现在这是 40000，不管多少。
我们又很快走到宇宙的尺度。
没错，10 的 40000 次方之类的。
所以这被称为维度灾难，
叫得不太恰当。
而希望是，有了额外的层，
你可以消除这个灾难。
我们所证明的是，如果你有深层、
带有卷积深度学习那种局部连接的
层级式架构，
而且如果你处理的是一个
具有这种层级式架构的函数，
那你就完全避免了这个灾难。
你谈了很多关于监督式深度学习。
§05原文文稿 · 47:54–59:53
你对无监督学习的挑战——
用 GAN、用生成对抗网络——
有什么想法、希望、看法？
你把它们看作不同的吗？
GAN 的威力，你是把它们看作
与神经网络里的监督式方法不同，
还是它们其实都在同一个表示的范畴里？
GAN 是一种得到概率密度估计的方式，
这是一种人们以前没做过的、某种程度上新的方式。
（接上）
我不知道这是否真的会在智能里
扮演重要角色。
或者它很有意思。
我对它没有这个领域里许多人那么热情。
我有一种感觉，领域里许多人
真的被「以这种生成的方式
产生逼真图像」的能力所折服。
这描述了这些方法的流行。
但你是说，尽管那令人兴奋、看着很酷，
它也许不是对此有用的工具。
所以你把它描述得很美。
当前的监督式方法在带标签点的数量上
趋向无穷。
而我们真的得弄清楚如何走向 n 趋向 1。
而你在想 GAN 也许能帮上忙，
但它们也许不是对的（工具）。
我不觉得对于那个我真的认为
重要的问题，我觉得它们可能有帮助。
它们当然有应用，
比如，在计算机图形学里。
而我很久以前做过的工作，
在某种意义上有点相似——即说，好，我有一个网络。
我呈现图像。
我可以输入它的图像。
而输出是，比如，图像的姿态。
一张脸，笑得多厉害、是否旋转了 45 度。
让一个网络用同样的数据集训练、
但现在把输入和输出反过来怎么样。
现在输入是姿态或表情，一个数、
一组数。
而输出是图像。
而我训练它。
而我们在产生非常逼真的图像上
做出了相当好、有意思的结果。
它是个不那么复杂的机制。
但输出比 GAN 差一点。
但输出基本上是同样的质量。
所以我觉得对于计算机图形学类型的应用，
是啊，GAN 肯定能相当有用。
而且不只是那个，还能帮助，
比如，在这个无监督的、
减少带标签样本数量的问题上。
我觉得人们，像是他们觉得自己能取出
比放进去的更多。
没有免费的午餐，正如你所说。
你怎么想，你的直觉是什么？
我们如何能减缓监督学习里 N 趋向无穷的
增长？
所以比如，Mobileye 非常成功地，
我是说，本质上标注了大量数据
以便能够驾驶一辆车。
现在一个想法是，所以我们在设法
教机器、一所 AI 的学校。
而我们在设法，所以我们如何能成为更好的老师，
也许？
那是一种方式。
不，我喜欢那个。
因为再一次，计算机科学史的一幅漫画，
你可以说，始于程序员，昂贵的。
接着是标注者，便宜的。
而未来会是学校，就像我们为孩子设的那样。
是啊。
目前，这些标注方法对于我们
用哪些样本来教网络并不加以筛选。
所以我觉得「造出学得快得多的网络」的焦点
常常在架构这一面。
但我们如何能挑出更好的样本来学习？
你对那个有直觉吗？
嗯，那是问题的一部分。
但另一个是，如果我们看生物学，
一个合理的假设，我觉得，
是本着我说过的同样精神——
演化是机会主义的、有弱先验。
我觉得一个孩子、一个婴儿的智能
可能发展的方式，是通过从演化那里
自举出弱先验。
比如，你可以假设，在大多数生物里，
包括人类婴儿，
内建了某种检测运动
和相对运动的基本机器。
而事实上，我们知道所有昆虫，从果蝇
到其他动物，它们都有这个，
甚至在视网膜里、在非常外围的部分。
它在物种间非常保守，是某种
演化很早就发现的东西。
它也许是为什么婴儿在最初几天里
倾向于看运动的物体、
而不看不动的物体。
现在，运动的物体意味着，好，他们被运动吸引。
但运动也意味着，运动
给出了从背景中自动分割（物体）。
所以因为运动边界，要么是物体
在运动，要么是婴儿的眼睛在追踪那个运动的物体、
而背景在动，对吧？
是啊，所以纯粹就场景的视觉特征而言，
那似乎是最有用的。
没错，所以它就像看一个没有背景的物体。
它对于学习那个物体是理想的。
否则，就真的很难，因为你有
那么多东西。
所以假设你在一开始、最初几周做这个。
那之后，你就能识别物体。
现在它们被印刻了，第一号，
即便在背景中、即便没有运动。
所以那，顺便说，我只是想
在物体识别问题上问一问。
所以有这个「对运动做出反应、
本质上做边缘检测」。
「在视觉上有效地识别东西、检测它在哪里」
与「理解场景」之间的差距是什么？
（接上）
这是许多层的巨大差距，还是很接近？
不，我觉得那是个巨大的差距。
我觉得目前的算法，尽管我们取得了所有这些成功、
尽管有很多非常有用的东西——
我觉得我们正处于低层视觉、
低层语音识别等应用的黄金时代，
Alexa 等等。
还有许多类似层次的事
有待完成，包括医疗诊断等等。
但我们离我们所称的对场景、
对语言、对动作、对人的「理解」
还很远。也就是说，尽管有那些声称，我觉得那还很远。
我们还差一点。
那么在流行文化里、在许多研究者当中——
我和其中一些人聊过，斯图尔特·罗素
和埃隆·马斯克，在 AI 领域内外——
有一种对 AI 生存性威胁的关切。
而你如何看待这种关切？
去思考我们试图建造的智能系统
大规模、长期、意料之外的后果，
有价值吗？
我总觉得早点、提前担心
比晚担心要好。
所以担心是好的。
是啊。
我一点也不反对担心。
就我个人而言，我觉得还要很长时间
才会有真正值得担心的理由。
但正如我所说，我觉得去设置、
去思考可能的安全防护是好的。
我觉得有点误导的，是那些
由我认识的人说的话，比如埃隆·马斯克，
以及那个——博斯特罗姆，具体来说，
他的名字叫什么来着？
尼克·博斯特罗姆。
尼克·博斯特罗姆，没错。
还有另外一两个人，比如说 AI
比核武器更危险。
我觉得那真的不对。
那可能有误导性。
因为就优先级而言，我们仍然应该
比起 AI，更担心核武器、
以及人们在那上面在做什么等等。
而你谈到过德米斯·哈萨比斯，
并说过你自己觉得
还要大约 100 年，我们才会有一个
与人类相当的通用智能系统。
（接上）
你对那些预测有什么更新吗？
嗯，我觉得他说过。
他说 20，我觉得。
他说 20，没错。
这是几年前了。
我没再问过他。
那我本该再问吗？
你自己的预测，你对「你会真正感到惊讶」
是什么时候的预测是什么？
而那个预测的置信区间是多少？
预测未来、有时甚至预测现在都如此之难。
（接上）
它相当难预测。
但我会，正如我所说，这完全是，
我会更像罗德·布鲁克斯（指罗德尼·布鲁克斯）。
我觉得他大约是 200 年。
200 年。
当我们有了这种 AGI 系统、
通用人工智能系统，
你和她、他、它坐在一个房间里。
你觉得这样一个系统的底层设计
是我们能够理解的东西吗？
它会简单吗？
你觉得它会是可解释的、
能被我们理解的吗？
你的直觉，再一次，我们有点
进入哲学的领域了。
嗯，大概不。
但再一次，它取决于你所说的「理解」
真正是什么意思。
所以我觉得我们不理解深度网络是如何运作的。
§06原文文稿 · 59:53–1:11:54
我觉得我们现在开始有了一个理论。
但在深度网络的案例里，
甚至在更简单的核机器
或线性分类器的案例里，我们真的不理解
其中单个的单元之类的。
但我们理解它的计算、它的局限
和它的性质是什么。
它和很多事情相似。
理解一颗聚变弹如何工作是什么意思？
我们当中有多少人理解其基本原理？
而我们当中一些人可能理解更深的细节。
在那个意义上，理解是，作为一个共同体、
作为一个文明，我们能造出它的另一份副本吗？
而在那个意义上，你觉得
会需要某种演化的成分、
让它逃离我们的理解吗？
还是你觉得它可以从头工程出来，
就像你从晶体管走到 PowerPoint 那样？
所以很多年前，这其实是 40、41 年前，
我和大卫·马尔合写了一篇论文，他
是计算机视觉、计算视觉的
奠基之父之一。
我写了一篇关于理解层次的论文，
它与我们早先讨论的那个问题相关——
关于理解 PowerPoint、理解晶体管
等等。
而在那种框架里，我们
有硬件的层次、以及算法的
顶层。
我们当时没有学习。
最近，我更新了它、加了一些层次。
而我加到那三个之上的一个层次是学习。
而你可以想象，你可以很好地理解
你如何构造一台学习机器，就像我们所做的。
但却无法详细描述那台学习机器
会发现什么，对吧？
那仍然会是一种有力的理解，
如果我能造出一台学习机器，
即便我不详细理解它每一次
学到某样东西（的过程）。
就像我们的孩子，如果他们开始
听某种类型的音乐，
我说不好，麦莉·赛勒斯之类的，
你不理解他们为什么会
形成那个特定的偏好。
但你理解那个学习过程。
那非常有意思。
那么关于让系统成为我们世界的一部分的学习，
它有某种——你谈到过的一件有挑战性的事
是学习伦理、学习
道德。
而你觉得，首先，人类理解我们自己的伦理
这个问题有多难？
伦理在神经层面、低层面上的起源是什么？
在更高层面上它是什么？
在你的直觉里，它是机器可以
学到的东西吗？
我觉得，是啊，伦理是可学的，很可能。
我觉得它是这类问题之一，
我觉得理解伦理的神经科学，
人们讨论有一种「神经科学的伦理」。
是啊，是的。
一个神经科学家应该或不应该如何行事。
你可以想一个神经外科医生、以及他、
或她必须遵守的伦理规则。
但我更感兴趣的是「伦理的神经科学」。
你现在把我的脑子都炸开了。
伦理的神经科学非常「元」。
是啊，而我觉得那对于能够设计
在我们伦理意义上
是伦理的机器，也会很重要。
而你觉得神经科学里有某种东西、
有某些模式、工具
能帮我们为伦理照亮一些东西吗？
还是它主要在心理学、社会学
那种更高的层面上？
不，有心理学。
但与此同时，也有
证据，fMRI，关于大脑中
参与某些伦理判断的特定区域。
而且不仅如此，你可以用磁场
刺激那些区域、改变伦理决定。
是啊，哇。
所以那是我一位同事的工作，丽贝卡·萨克斯（指丽贝卡·萨克塞）。
而且有其他研究者在做类似的工作。
而我觉得这是个开端。
但理想情况下，在某个时刻，我们会
理解这是如何运作的。
以及它为什么演化出来，对吧？
那个大的「为什么」问题。
是啊，它一定有某种目的。
是啊，显然它大概有某些社会目的。
如果神经科学握有至少照亮
伦理某个方面的钥匙，那就意味着
它可能是一个可学的问题。
是啊，正是。
而随着我们进入越来越难的问题，
我们去意识这个难题。
这是一个对我们来说重要的、值得
在智能工程上去思考并解决的问题吗？
（接上）在你的工作、我们的梦想那一面？
这不清楚。
所以再一次，这是个深刻的问题，
部分因为「意识」非常难以定义。
（接上）
而神经科学家之间有一场争论，
关于意识——当然还有哲学家——
关于意识是否是某种需要
血肉之躯的东西，可以这么说。
或者有没有可能我们能有
有意识的硅器件，或者直到这样的陈述——
比如一切都有某种程度的意识，
有些比另一些更多。
这就像朱利奥·托诺尼（原文转写为「Tonioni」）和 Φ。
我们最近刚和克里斯托夫·科赫聊过。
好。
克里斯托夫是我的第一个研究生。
你觉得为了工程出智能系统，
照亮意识的一些方面
重要吗？
你觉得一个智能系统最终
会拥有意识吗？
它们相互关联吗？
从事人工智能工作的大多数人，
我觉得，会回答，严格来说我们
不需要意识才能有一个智能系统。
那算是比较容易的问题，
因为它是对这个问题的一个非常工程式的回答。
通过图灵测试，我们不需要意识。
但如果你要去问，你觉得
有没有可能我们需要有
那种自我觉知？
我们可能需要，是的。
所以比如，我个人认为
当在图灵测试、
在一个扩展的图灵测试里测试一台机器或一个人时，我觉得
意识是我们在那个测试里隐含地要求的
一部分，才能说这是智能的。
克里斯托夫不同意。
是的，他不同意。
尽管他持有许多其他浪漫的观念，
他不同意那一个。
是的，没错。
所以我们走着瞧。
你觉得，问个快速的问题，
欧内斯特·贝克尔的死亡恐惧，你觉得
必死性以及那类东西
对意识、对智能重要吗？
生命的有限性、存在的有限性，
还是那只是演化的一个副作用、
一个对自然选择有用的演化副作用？
你觉得这种「这次采访
很快会用完时间、我们的生命
很快会用完时间」的东西，你
觉得是让这场对话和生命变好
所必需的吗？
我从没想过它。
这是个非常有意思的问题。
我觉得史蒂夫·乔布斯，在他于
斯坦福的毕业演讲里，论证说拥有一个有限的生命
对激发成就是重要的。
所以它是不同的。
是啊，把每一天都当作你的最后一天来活，对吧？
是啊。
所以理性地说，我不觉得严格来说你需要必死性
才能有意识。
但谁知道呢？
在我们的生物系统里，它们似乎是一起出现的，对吧？
是啊，是啊。
你之前提到过，而且学生们都和
AlphaGo、Mobileye 这些 AI 近来的大成功故事相关联。
而我觉得它俘获了整个世界——AI 能做什么。
那么你觉得下一个突破会是什么？
而你对下一个突破的直觉是什么？
当然，我不知道下一个突破在哪里。
我觉得有很大机会，正如我之前所说，
下一个突破也会
受神经科学启发。
但是哪一个，我不知道。
而有，MIT 有这个「对智能的求索」。
而有几个登月计划，本着那种精神，
你对哪些感到兴奋？
哪些项目算是？
嗯，当然，我对其中一个
登月计划感到兴奋，即我们的脑、心智
与机器中心，它是完全由 NSF 资助的那个。
而它是关于视觉智能的。
而那个特别是关于理解。
视觉智能，即视觉皮层，
以及视觉智能，在这个意义上——
我们如何环顾四周、理解
我们周围的世界，即正在发生什么、
我们如何能从这里走到那里而不撞到
障碍物、环境里是否有其他的智能体、
人。
这些都是我们非常快地感知到的东西。
而它其实相当接近于有意识，
不完全是。
但有这个有意思的实验，
它是在 Google X 做的，在某种意义上
§07原文文稿 · 1:11:54–1:20:04
只是一个虚拟现实实验，
但在其中，他们让一个受试者坐着，比如说，
坐在一把椅子上、戴着护目镜，像 Oculus 之类的，还有耳机。
而他们通过附近一个机器人的眼睛——
用来接收的摄像头、麦克风——在看。
所以他们的感官系统在那里。
而所有受试者的印象，非常强烈、
他们甩都甩不掉的，是他们
就在机器人所在的地方。
他们可以从机器人那里看自己，
却仍然感觉自己在机器人所在之处。
他们在看自己的身体。
他们的「自我」移动了。
所以场景理解的某个方面
必须有能力把你自己放置好、
对你在世界中的位置、以及世界是什么
有一种自我觉知。
所以我们也许不得不解决意识这个难题
才能解决它。
顺带地，是的。
它是个相当（远大）的登月计划。
那么你曾是一些了不起的头脑的顾问，
包括德米斯·哈萨比斯、克里斯托夫·科赫、阿姆农·沙书亚，
像你说的。
他们都成了各自领域里
奠基性的人物。
从你自己作为研究者的成功、
以及从作为这些研究者导师的视角——
在以建议的方式引导过他们之后，
在科学和工程的职业生涯里取得成功
需要什么？
无论你是在对一个十几岁、
二十几岁、三十几岁的人说话，那条路是什么样的？
是好奇心和乐趣。
而我觉得同样重要的是，和其他好奇的头脑
一起享受乐趣。
也是你所围绕的人，
所以是乐趣和好奇心。
有没有，你提到了史蒂夫·乔布斯，
有没有一种你所看到的、
独特的底层雄心？
还是它真的归结为
永不满足的好奇心和乐趣？
嗯当然，是以一种主动而雄心勃勃的方式
保持好奇，是的。
当然。
但我觉得有时在科学里，
我有一些朋友是这样的。
有一些科学家
喜欢自己一个人工作，
并且算是只在完成他们的工作
或发现某样东西时才交流。
我觉得我一直发现，发现某样东西的
实际过程更有乐趣，
如果它是和其他聪明、
好奇、有趣的人一起的话。
所以如果你在那个过程里看到乐趣，
那个过程的副作用
会是你实际上最终
会发现一些有意思的东西。
那么当你在这里领导了许多了不起的事业时，
在研究环境里成为一个好的顾问、
导师、领导者的秘诀是什么？
是一种相似的精神吗？
或者，是啊，你能给年轻教员等人
什么建议？
它部分是重复我说过的，
关于一个应该友好、
有趣而雄心勃勃的环境。
而我觉得我从我的一些导师
和朋友、
以及一些身为物理学家的人那里学到了很多。
而有，比如，
一种被鼓励的行为——
当有人带着一个新想法来到组里时，
你，除非它真的很蠢，
否则你总是充满热情。
然后，你热情几分钟、
几个小时。
然后你开始批判性地问几个问题，
检验它。
但这是一个，
我觉得它非常好的过程。
你必须充满热情。
有时人们从一开始就非常挑剔。
那不是……
是的，你必须给那颗种子
一个生长的机会。
话虽如此，对你的一些
相当具革命性的想法，
所以有一个见证，尤其是在人类视觉这一面
和神经科学这一面，
可能会有一些相当激烈的争论。
你享受这些吗？
那是科学和学术追求中
你所享受的一部分吗？
是啊。
那也是你组里会发生的事吗？
是啊，绝对。
我也在德国待过一段时间。
再一次，有这样一种传统，
在其中人们比这里更直率、
不那么客气。
所以在美国，当你写一封差评信时，
你仍然会说，这家伙人不错。
是啊，是啊。
所以……
是啊，在美国这里，是程度不同的「不错」。
是的。
它全都只是程度不同的「不错」，是啊。
没错，没错。
所以只要这不变成针对个人的，
而它真的像一场有这些规则的
足球比赛，那就很好。
那很有趣。
那么如果你不知怎么发现自己处在
一个能向一位神谕——
像一个精灵、也许一位神——提一个问题的位置，
而你保证会得到一个清晰的答案，
你会问什么样的问题？
你会问的那个问题会是什么？
本着我们这场讨论的精神，
它可以是，我怎样才能变得聪明 10 倍？
所以，但你看，你只得到一个清晰、简短的答案。
那么你觉得那个有一个清晰、简短的答案吗？
没有。
而那就是你会得到的答案。
好，所以你提到过《献给阿尔吉侬的花束》。
哦，是啊。
作为一个在你童年激励你的故事，
这个关于一只老鼠、
一个人达到天才级智能、
然后在慢慢又变得不聪明时
理解正在发生什么的故事，
以及这个「获得智能
又失去智能」的悲剧，
你觉得本着那种精神、在那个故事里，
从幸福和生命意义的视角看，
你觉得智能是一份礼物还是一个诅咒？
你试图创造一个
理解宇宙的智能系统，
但在个体层面上，生命的意义，
你觉得智能是一份礼物吗？
这是个好问题。
我不知道。
作为被人们认为是世界上
最聪明的人之一，
至少在某个维度上，你怎么看？
我不知道，幸福的程度
也许对智能是不变的。
如果是那样就好了。
那是希望所在。
是啊。
你可以聪明又幸福，也可以懵懂又幸福。
是啊。
一如既往，在关于生命意义的讨论上，
它大概是一个很好的收尾之处。
托马索，非常感谢你今天与我交谈。
谢谢你，这很棒。