Vladimir Vapnik: 弗拉基米尔·瓦普尼克：统计学习
Vladimir Vapnik: Statistical Learning
嘉宾：Vladimir Vapnik
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01原文文稿 · 00:00–11:08
以下是与弗拉基米尔·瓦普尼克（Vladimir Vapnik）的对话。
他是支持向量机、
支持向量聚类、VC 理论
以及统计学习中许多基础性思想的共同发明者。
他出生于苏联，
曾在莫斯科的控制科学研究所工作。
之后在美国，
他先后在 AT&T、NEC 实验室、Facebook 研究院工作，
现在是哥伦比亚大学的教授。
他的研究被引用超过 17 万次。
他对人工智能和学习的本质
有一些非常有意思的想法，
尤其是关于我们当前方法的局限
以及这个领域中的开放问题。
这次对话是 MIT 通用人工智能课程
的一部分，
也是人工智能播客的一部分。
如果你喜欢，请在 YouTube 订阅，
或者在 iTunes 或你常用的播客平台上评分，
或者在 Twitter 或其他社交网络上
联系我，账号 Lex Friedman，拼写为 F-R-I-D。
现在，请听我与弗拉基米尔·瓦普尼克的对话。
爱因斯坦有句名言：上帝不掷骰子。
——是的。
——你通过统计学的眼睛研究世界，
所以让我从现实的本质，
现实的根本本质来问你：上帝掷骰子吗？
——你不知道某些因素。
而因为你不知道某些
可能很重要的因素，看起来就像上帝在掷骰子。
但我们只应该去描述。
在哲学中，人们区分两种立场，
工具主义的立场，
即你创造理论是为了预测，
以及实在论的立场，
即你试图理解上帝做了什么。
——你能稍微描述一下工具主义和实在论吗？
——比如，如果你有某些力学定律，
那是什么？
它是永远、处处都成立的定律，
还是只是让你能够预测
运动物体位置的定律？
你相信什么。
你相信它是上帝的定律，
上帝创造了这个世界，
世界遵循这条物理定律，
还是它只是用于预测的定律。
——那哪一个是工具主义？
——用于预测的那个。
如果你相信这是上帝的定律，
而且它永远处处成立，
那就意味着你是实在论者。
也就是你在试图真正理解上帝的思想。
——那么你看待世界的方式是工具主义者的方式？
——你知道，我在研究一些模型，
机器学习的模型。
在这个模型里，我们可以看到一个设定，
我们试图求解，
解析这个设定来解决问题。
而你可以用两种不同的方式来做，
一种是从工具主义者的角度，
这也是现在每个人都在做的，
因为他们说机器学习的目标
是找到分类的规则。
这没错，但它是用于预测的工具。
但我可以说，机器学习的目标
是了解条件概率。
也就是上帝如何运用，
他如何玩，在给定情形下一种结果的概率是多少，
另一种结果的概率又是多少？
但为了预测，我不需要这个。
我需要的是规则。
但为了理解，我需要条件概率。
——那让我先稍微退一步，
谈谈你提到的、我昨晚读过的，
尤金·维格纳 1960 年那篇论文的部分内容，
《数学在自然科学中
不合理的有效性》。
顺便说一句，这篇论文真美。
说实话，它让我感到，
坦白说，我过去几年
在深度学习上的工作，偏重应用，
让我觉得自己错过了
自然中的某些美，
也就是数学能够揭示的那种美。
那我先暂时离开
这种诗意。
你怎么看待数学在你生活中的角色？
它是工具，还是诗？
它处于什么位置？
在你看来，数学在它能描述的东西上
有极限吗？
——有人说数学是上帝使用的语言。
所以我相信——
——是对上帝说的，还是上帝使用的？
——上帝使用的。——上帝使用的。
——对。
所以我相信这篇文章，
关于数学的有效性，不合理的有效性，
讲的是，如果你去看数学结构，
它们知道关于现实的某些东西。
大多数自然科学的科学家
都在看方程，试图理解现实。
机器学习也是一样。
如果你非常仔细地看所有
定义条件概率的方程，
你能理解到的关于现实的东西，
会比从你的幻想中得到的更多。
——所以数学也许能揭示现实背后
简单的根本原理。
——你知道“简单”意味着什么吗？
要发现它们是非常难的。
但当你发现它们、看着它们时，
你会看到它们有多美。
而令人惊讶的是，为什么人们之前没有看到。
你看着方程，从方程中推导出来。
比如，我昨天讲了最小二乘法。
人们有很多关于如何改进
最小二乘法的幻想。
但如果你一步一步地求解一些方程，
你会突然得到某一项，经过思考，
你会明白它描述的是
观测点的位置。
在最小二乘法中，我们丢掉了大量信息。
我们不看观测点的构成，
只看残差。
但当你理解了这一点，那是一个非常简单的想法，
但要理解它并不那么简单。
而你仅从方程就能推导出这一点。
——所以一些简单的代数，几步推导，
就会把你带到某个令人惊讶的东西，当你思考——
——完全正确，是的。
——你就理解了。
——而这证明了人类的直觉
并不丰富，而且非常原始。
它看不到非常简单的情形。
——那让我退一步。
总体上是这样，对吧？
但人类呢，相对于直觉，
人类的独创性、灵光一现的时刻呢？
你非得对人类的直觉这么苛刻吗？
人类的直觉中是否有一些灵光时刻，
能跃过数学，
然后数学再追上来？
——我不这么认为。
我认为人类最好的直觉，
体现在设定公理上。
然后就是技术性的方式——
——看公理把你带到哪里。
——对。
但前提是他们正确地选取了公理，
而公理是经过一代代科学家打磨的。
这是一种整体的智慧。
——说得真好。
但如果你看看，
当你想到爱因斯坦和狭义相对论时，
在一个想法被发现的那一刻，
想象力先行的作用是什么？
所以那里显然混合了数学
和跳出框框的想象力。
——这个我不知道。
我做的任何事情，都排除了任何想象。
因为我在机器学习中看到的
那些来自想象的东西，
比如特征，比如深度学习，
它们与问题本身无关。
当你非常仔细地
从数学方程出发去看，
你会推导出非常简单的理论，
它在理论上远远超出
人们所能想象的任何东西。
因为那不是好的幻想。
它只是解释，只是幻想，
但不是你需要的东西。
你不需要任何想象，
就能推导出，比如说，机器学习的主要原理。
——当你思考学习和智能时，
也许是想着人脑，
并试图用数学来描述
学习的过程，
某种类似于人脑中发生的事情。
你认为我们现在有这样的工具吗？
你认为我们将来会有工具
去尝试描述那种学习过程吗？
——那不是对正在发生之事的描述。
那是解释。
那是你的解释。
你的看法可能是错的。
你知道，那个发明显微镜的人，
列文虎克（原文转写为 Levenguk），第一次，
只有他拥有这个仪器，没有别人，
只有他对显微镜保密。
但他给伦敦的科学院（皇家学会）写了报告。
在报告里，他观察血液，
他到处看，看水，
看血液，看皮肤。
但他把血液描述成
王后与国王之间的战斗。
也就是他看到了血细胞，红细胞，
而他想象那是军队在互相交战。
§02原文文稿 · 11:11–21:43
这是他对情况的解释。
他把这份报告寄给了科学院。
他们看得非常仔细，因为他们相信
他是对的，他确实看到了某些东西。
但他给出了错误的解释。
我相信大脑的问题上也可能发生同样的事。
——大脑，是的。
——因为最重要的部分，
你知道，我相信人类的语言。
有些谚语里有那么多智慧。
比如，人们说，与其勤奋学习一千天，
不如跟一位伟大的老师
学习一天。
但如果我问你老师做了什么，没人知道。
而那就是智能。
但我们从历史中知道，
现在也从数学和机器学习中知道，
老师能做很多事。
——那么从数学的角度来看，
伟大的老师是什么？
——我不知道。
——这是一个开放问题。
——不，不，不，但我们可以说老师能做什么。
他能引入一些不变量，
一些用来构造不变量的谓词。
他是怎么做到的，我不知道，
因为老师了解现实，
并能从这个现实中描述出
谓词不变量。
但他知道，当你使用不变量时，
就能把观测数量减少到百分之一。
——那么，也许试着把这一点拆开来看。
我想你提到过，比如钢琴老师
对学生说：像蝴蝶一样弹奏。
——对。
——我弹过钢琴，弹了很长时间吉他。
是的，那，也许这很浪漫、很诗意，
但感觉那句话里有很多真理。
那句话里有很多指导。
那你能把它拆开来讲吗？
那是什么？
语言本身也许并不包含这些信息。
——它不是空话。
——它不是空话，是的。
——它影响你。
——它什么？
——影响你。
——对。
——影响你的弹奏。
——是的，确实如此，但它不是语言，
感觉像是，在那里交换的
信息是什么？
信息的本质是什么？
那种信息的表示是什么？
——我相信它是某种谓词，但我不知道。
这正是机器学习中的智能
应该是的东西。
——是的。
——因为其余的只是数学技巧。
我认为最近发现的是，
存在两种类型、两种学习机制。
一种叫强收敛机制，
另一种叫弱收敛机制。
以前人们只用一种收敛。
在弱收敛机制中，你可以使用谓词。
“像蝴蝶一样弹奏”就是这样的东西，
它会立刻影响你的弹奏。
你知道，有一句很棒的英语谚语：
如果它看起来像鸭子，游起来像鸭子，
叫起来也像鸭子，那它大概就是鸭子。
——是的。
——而这正是关于谓词的。
“看起来像鸭子”是什么意思？
你见过很多鸭子，那就是你的训练数据。
所以你有关于鸭子外观的描述，
鸭子外观的整体描述。
——对，鸭子的视觉特征，对。
——对，但你想要，而且你有一个
识别鸭子（原文转写为 doubts）的模型。
所以你希望模型给出的理论描述
与你在训练数据（原文转写为 teletext data）中
看到的经验描述相吻合。
所以“看起来像鸭子”是一般性的。
但“游起来像鸭子”呢？
你应该知道鸭子会游泳。
你可以说它“下棋像鸭子”。
好吧，鸭子不下棋。
那是一个完全合法的谓词，但毫无用处。
所以老师能识别出哪些谓词不是无用的。
到目前为止，我们在现有的机器学习中
还没有使用这种谓词。
——而你认为那绝对——
——那我们为什么需要海量的数据？
但在这句英语谚语里，
他们只用了三个谓词。
看起来像鸭子，游起来像鸭子，叫起来像鸭子。
——你不能否认，“游起来像鸭子”
和“叫起来像鸭子”有幽默感，有模糊性。
——我们来谈谈“游起来像鸭子”。
它没有说“跳，跳起来像鸭子”。
为什么？
因为——因为不相关。
——但那意味着你了解鸭子，
了解各种鸟，了解动物。
你由此推断出说“游起来像鸭子”
是相关的。
——所以在底层，为了让我们理解
“游起来像鸭子”，感觉我们需要知道
成百万条其他的零碎信息，
这些是我们一路上积累下来的。
你不这么认为。
不需要这样一个知识库。
那些陈述中携带着某种丰富的信息，
帮助我们理解鸭子的本质。
我们离整合谓词还有多远？
——你知道，当你考虑完整的
机器学习理论时。
它做的是，你有很多函数。
然后你说，它看起来像鸭子。
你看着你的训练数据。
从训练数据中你认识到
预期中鸭子应该是什么样子。
然后你去掉所有那些看起来不像
你根据训练数据认为它应该有的样子的函数。
这样你就减少了候选函数的数量，
你要从中挑出一个。
然后你给出第二个谓词。
再一次缩小函数集合。
之后你挑出你能找到的最好的函数。
好，这就是标准的机器学习。
这就是为什么你不需要太多例子。
——因为你的谓词不太好。
或者你没有——
——对，那意味着谓词是可变的。
因为每个谓词都是为了
缩小可容许函数集合而被发明的。
——所以你谈到了可容许函数集合，
也谈到了好的函数。
那么什么构成一个好的函数？
——可容许函数集合是这样一个函数集合：
它的容量小或多样性小，
比如 VC 维小，
并且其中包含好的函数。
——顺便为不了解的人说一句，
VC 里的 V 就是你。
那么你会如何向外行描述 VC 理论是什么？
你会如何描述 VC？
——当你有一台机器，
这台机器能从可容许函数集合中
挑出一个函数。
但可容许函数集合可能很大。
比如它包含所有连续函数，那就没用了。
你没有那么多例子来挑出函数。
但它也可以很小。
小，我们称之为容量，
但也许叫多样性更好。
也就是集合中的函数差别不大。
它是一个无限的函数集合，但多样性不高。
所以它的 VC 维小。
当 VC 维小时，
你需要的训练数据就少。
所以目标是构造一个可容许函数集合，
它 VC 维小，
并且包含好的函数。
然后你就应该，你就能够
用少量观测挑出那个函数。
——所以那就是学习的任务。
——对。
——就是构造一个
VC 维小的可容许函数集合。
然后你想出一种聪明的方法去挑选。
——不，那是学习的目标，
是我昨天提出的。
统计学习理论并不涉及
构造可容许函数集合。
在经典学习理论中，
到处都是，教科书里百分之百都是，
函数集合，也就是可容许函数集合，是给定的。
但这是一门关于虚无的科学，
因为最困难的问题
是构造可容许函数集合，
给定，比如说，大量的函数，
连续的函数集合。
构造可容许函数集合，
意思是它的 VC 维有限、
VC 维小，并且包含好的函数。
所以这一点被排除在考虑之外了。
——那么做到这一点的过程是什么？
我是说，这很迷人。
构造这个可容许函数集合的
过程是什么？
——那就是不变量。
——不变量。
你能描述一下不变量吗？
——好，你去看训练数据的性质。
性质的意思是，你有某个函数，
你只是计算它的值，
即函数在训练数据上的平均值。
你有一个模型，以及这个函数在模型上的
期望是多少。
§03原文文稿 · 21:44–32:25
而它们应该相吻合。
所以问题在于如何挑选函数。
它可以是任何函数。
事实上，这对所有函数都成立。
但因为当我们说，比如，
鸭子不会跳，
你就不会问“跳起来像鸭子”这个问题。
因为这很平凡，它不会跳，
而且也无助于你识别。
但你知道一些东西，知道该问哪个问题。
当你问的是，它游起来像鸭子。
而“看起来像鸭子”是一般性的情形。
“看起来像”，比如说，一个患了这种病、
这种疾病的人，这是合法的。
所以有一种一般类型的谓词，
“看起来像”，还有一种特殊类型的谓词，
与这个具体问题相关。
而这就是整件事中智能的部分。
也正是老师发挥作用的地方。
——纳入专门的谓词。
好，你怎么看深度学习，
也就是神经网络，这些任意的架构，
在帮助完成你所思考的某些任务方面
的作用？
它们有效还是无效？
弱点是什么，可能的优势又是什么？
——你知道，我认为这是幻想。
一切，像深度学习、像特征这样的东西。
我给你举这个例子。
最伟大的书之一，丘吉尔那本
关于第二次世界大战历史的书。
他在这本书的开头
描述说，在过去，战争结束时，
那些伟大的国王们会聚在一起，
而他们几乎都是亲戚。
他们讨论应该做什么，
如何缔造和平。
然后他们达成了协议。
而当第一次世界大战发生之后，
普罗大众掌握了权力。
他们如此贪婪，以至于掠夺了德国。
每个人都清楚这不是和平。
那和平只会持续 20 年。
因为他们不是专业人士。
我在机器学习中也看到了同样的情况。
有些数学家从非常深的角度，
从数学的角度看问题。
还有计算机科学家，
他们大多不懂数学。
他们只是对此有一种解释。
于是他们发明了一大堆空洞的解释，
比如深度学习。
你为什么要搞深度学习？
数学不知道什么深度学习。
数学不知道什么神经元。
它只是函数。
如果你想说分段线性函数，
那就这么说。
并在分段线性函数类中去做。
但他们发明了某种东西。
然后他们试图通过解释来证明它的优势，
而这些解释大多是错的。
而当这还不够时，他们就诉诸大脑，
而他们对大脑一无所知。
没有人知道大脑中发生了什么。
所以我认为更可靠的是看数学。
这是一个数学问题。
尽你最大的努力去解决这个问题。
试着去理解，收敛的方式不只一种，
也就是强收敛。
还有一种弱收敛方式，
它需要谓词。
而如果你把所有这些都弄透，
你会看到你并不需要深度学习。
更进一步，我会说有一个定理，
叫表示定理（原文转写为 representative theory）。
它说，描述学习的那个数学问题的
最优解，是在浅层网络（原文转写为 shadow network）上，
而不是在深度学习上。
——浅层网络，是的。
最终的问题就在那里。
完全正确，所以归根结底，
你说的完全正确。
问题是，你认为把某样东西扔到桌上、
摆弄它、而不是用数学，
没有任何价值。
就像在神经网络中，
就像你说的，把东西扔进桶里，
或者那个生物学的例子，在显微镜下看着
国王和王后，或者说细胞。
你看不出想象细胞或国王王后、
并把它当作灵感和想象，
指引数学最终把你带往何处，有什么价值。
你认为解释基本上是在欺骗你，
而且是以一种没有成效的方式。
——我认为，如果你试图分析
学习这件事，
尤其是关于深度学习的讨论，
那是关于解释的讨论，
而不是关于事物本身，不是关于你能对事物说些什么。
——没错，但你不惊讶吗，
不为它的美而惊讶吗？
我说的不是数学之美，
而是它居然能奏效这一事实。
还是说你批评的恰恰是那种美，
我们人类想要去解释的欲望，
想在这些构造中找到我们愚蠢的解释。
比如，让我问你这个。
你惊讶吗，它激励你吗？
你怎么看像 AlphaGo 这样的系统
在围棋上的成功？
用神经网络来估计棋盘局面的质量，
以及……的质量——
——那是你的解释，棋盘局面的质量。
——对，是的。
——对。
（笑）
——但那不是我们的解释。
事实是，一个神经网络系统，
不管叫什么，一个学习系统，
一个我认为我们在数学上理解得并不太好的系统，
击败了最好的人类棋手，
做到了曾被认为不可能的事。
——那意味着它不是一个很难的问题。
——就是这样。
所以，你从经验上，我们从经验上
发现这不是一个很难的问题。
——对。
（笑）
——确实如此。
所以，也许，无法反驳。
所以——
——更进一步，我会说，
如果他们用的是深度学习，
那并不是学习理论中最有效的方式。
而且通常，当人们使用深度学习时，
他们用的是海量的训练数据。
——对。
——但你并不需要这些。
所以，我提出了一个挑战，
对于一些深度学习方法做得很好的问题，
也就是用深度网络做得很好的问题，
我们能否只用百分之一的训练数据就做到？
更进一步，有些问题深度学习解决不了，
因为不一定，
它们构造的是可容许函数集合。
构造深层架构就意味着
构造可容许函数集合。
你不能说你在构造
好的可容许函数集合。
你只是，那是你的幻想。
它不是来自我们。
但构造可容许函数集合是可能的，
因为你有你的训练数据。
实际上，对数学家来说，
当你考虑不变量时，
你需要用到大数定律。
当你用现有算法进行训练时，
你需要的是一致大数定律，
它要困难得多，
需要维数之类的所有东西。
但无论如何，如果你同时使用
弱收敛和强收敛两种方式，
你就能大幅减少训练数据。
——对，你可以用那三个，
游起来像鸭子、叫起来像鸭子。
——对，对。
——那么，让我们退一步，思考一下
一般意义上的人类智能。
显然，它是以非数学的方式演化出来的。
据我们所知，并不是
上帝或者谁想出了一个模型，
把可容许函数放进了我们的大脑。
它是演化出来的。
我不知道，也许你对此有看法。
艾伦·图灵在 50 年代的论文中，
提出并否定了这个问题：
机器能思考吗？
这不是一个很有用的问题，
但你能简单谈谈这个无用的问题吗？
机器能思考吗？
谈谈智能以及你对它的看法。
——这个我不知道。
我知道图灵描述的是模仿。
如果计算机能模仿人，
我们就称它为智能的。
而他明白那不是会思考的计算机。
——是的。
——他完全明白自己在做什么。
但他设定了模仿这个问题。
所以，现在我们明白问题不在于模仿。
我不确定智能只存在于我们内部。
它也可能存在于我们之外。
我有几个观察。
当我证明某个定理时，
那是一个非常难的定理，
但在几年之内，在好几个地方，
有人证明了同一个定理。
比如在我们之后，绍尔引理（Sauer Lemma）被证明了。
然后又有其他人证明了同一个定理。
§04原文文稿 · 32:28–43:31
在科学史上，这种事一再发生。
比如几何学。
它是同时发生的。
先是罗巴切夫斯基，然后是高斯，
还有鲍耶，以及其他人。
而且大约是在十年
这样一个时间段之内。
我见过很多这样的例子。
而且许多数学家认为，
当他们发展出某种东西时，
他们发展出的是某种影响所有人的普遍的东西。
所以，也许我们认为智能
只存在于我们内部的模型是不正确的。
——那是我们的解释，是的。
也许存在某种联系，
与世界智能的联系。
我不知道。
——你几乎就像是接入了——
——对，正是。
——并为这个做贡献——
——接入一个大网络。
——一个大的，也许是神经网络（原文转写为 own network）。
——不，不，不，不。
——从另一方面，也许你可以
谈谈大 O 复杂度，
以及你如何看待按最坏情况运行时间
相对于输入规模来对算法分类。
也就是这种思考函数的方式。
你认为 P 等于 NP 吗？
你认为那是个有意思的问题吗？
——是的，那是个有意思的问题。
但让我谈谈关于最坏情况的
复杂度。
这是一个数学设定。
我 1990 年来到美国时，
人们并不了解。
他们不了解 VC 理论（原文转写为 They see theories），不了解统计学习。
在俄罗斯，它已经以两本专著的形式出版了，
我们的专著，但在美国他们并不知道。
后来他们学了。
有人跟我说，那是最坏情况的理论，
他们会创造出真实情况的理论。
但直到现在也没有。
因为它是一个数学工具。
你只能做用数学能做到的事，
而且是有清晰理解、清晰描述的事。
正是因为这个原因，我们引入了复杂度。
我们需要它，因为使用，
实际上那是多样性，我更喜欢这个说法。
用 VC 维（原文转写为 You see dimension），你可以证明一些定理。
但我们也为已知概率测度的情形
建立了理论。
那是可能发生的最好情况，
也就是熵理论。
所以从数学的角度看，
你知道最好可能的情况，
和最坏可能的情况。
你可以在中间推导出不同的模型。
但那并不那么有意思。
——你认为边界情况是有意思的？
——边界情况是有意思的。
因为要得到好的界、精确的界并不容易。
界并不精确的情况并不多。
但会有一些有意思的原理，由数学揭示出来。
——你认为它有意思，是因为
它有挑战性，揭示了有意思的原理，
让你能得到那些界？
还是你认为它有意思，
是因为它对于理解一个函数、
一个算法的本质
确实非常有用？
这就像我以你做过的最坏的事和最好的事
来评判你作为一个人的一生，
而不看中间的所有事情。
这似乎没有成效。
——我不这么认为，因为你无法描述
中间的情况。
或者说那样描述就不具有一般性。
所以你可以描述边界情况，
而且很清楚它有某种模型。
但你无法为每一种新情况描述模型。
所以当你使用模型时，你永远不会准确。
——但从统计学的角度看，
从你研究函数
以及世界中学习本质的方式来看，
你不认为现实世界有一条很长的尾巴吗？
边界情况离均值非常远？
中间的东西呢，还是说不是这样？
——这个我不知道。
——因为——
——我认为，从我的角度看，
如果你用形式化的统计学，
你需要一致大数定律。
如果你用不变量这一套，
你只需要大数定律。
你不需要，而一致大数定律和大数定律之间
有巨大的差别。
——稍微再描述一下这一点有用吗？
还是我们就把它——
——不，比如说，当我谈到鸭子时，
我给出了三个谓词，这就够了。
但如果你试图用形式化的方式去区分，
你就需要大量的观测。
——我明白了。
——所以那意味着“看起来像鸭子”这条信息
包含了很多比特的信息，
形式意义上的比特信息。
所以我们不知道，来自人工智能的东西
包含多少比特的信息。
而那就是分析的对象。
到目前为止，所有这一切，我不看好，
我不喜欢人们看待人工智能的方式。
他们把它看作模仿人类活动的
某些代码。
那不是科学，那是应用。
你想模仿，那就去做，
那是非常有用的好问题。
但你需要学习更多的东西。
人们如何尝试、如何能够发展出
比如说谓词，游起来像鸭子，
或者像蝴蝶一样弹奏之类的。
不是，不是老师告诉你，
它是怎么出现在他脑子里的。
他是怎么选择那个意象的。
——所以那个过程——
——那就是智能的问题。
——那就是智能的问题。
而你认为它与学习的问题相关联？
——绝对是。
因为你立刻给出了这个谓词，
比如具体的谓词，游起来像鸭子，
或者叫起来像鸭子。
它是以某种方式被选出来的。
——那么你会说该沿着什么方向工作？
如果你要把它表述为一组开放问题，
能把我们带到那里，带到“像蝴蝶一样弹奏”，
让一个系统能够——
——我们把两件事分开。
一件是数学上的事：如果你有谓词，
你就能做些事情。
另一件事是如何得到谓词。
那是智能的问题，
而人们甚至还没有开始理解智能。
因为要理解智能，首先，
要试着理解老师在做什么。
老师是怎么教的。
为什么一位老师比另一位更好？
——是的，所以你认为我们在生成谓词这条路上
真的还根本没有起步？
——没有，我们不理解。
我们甚至不理解这个问题的存在。
因为你听说过——你理解。
——不，我只知道名字。
我想理解为什么一位老师比另一位更好。
以及老师如何影响学生。
不是因为他重复了
教科书里的问题。
他会做一些评论。
他会讲一些推理的哲学。
——是的，这很美，所以这是对一个问题的表述，
而那个问题就是开放问题。
为什么一位老师比另一位更好？
——对。
他做得更好的是什么。
——对，是什么，为什么，在每一个层面上？
他们是怎么变得更好的？
更好意味着什么？
整个——对，对。
从我所拥有的任何模型来看，
一位老师能给出一个非常好的谓词。
一位老师会说：“游起来像狗。”
而另一位会说：“跳起来像狗。”
而“跳起来像狗”携带的信息为零。
——对。（笑）
那么最令人兴奋的问题是什么，
在统计学习中，
你曾经研究过或正在研究的？
——我刚完成了这个不变量的研究。
我很高兴，因为我相信
它是终极的学习理论。
至少我能证明不存在其他机制，
只有两种机制。
但它们把统计部分
与智能部分分开了。
而我对智能部分一无所知。
而如果我们了解了这个智能部分，
它将在教学上，
在学习上给我们很大帮助。
——在学习上。——对。
——你知道我们见到它时能认出它吗？
——比如，在我的演讲中，
最后一张幻灯片是一个挑战。
比如说你有 NIST（MNIST）数字识别问题。
深度学习声称他们做得非常好。
比如说，99.5% 的正确率。
但他们用了 6 万个观测。
——对。
——你能否只用百分之一的数据做到同样的效果？
但要纳入不变量。
这意味着什么呢，你知道，数字一、二、三。
§05原文文稿 · 43:34–54:00
——对。
——只是看着它们，
告诉我应该保持哪些不变量，
才能只用 100 个例子，
或者说，只用百分之一的例子来完成同样的工作。
——对，最后那张幻灯片，
可惜你的演讲结束得很快，
但最后那张幻灯片是一个有力的开放挑战，
表述了这里的本质。
——对，那正是智能的问题。
因为每个人，
当机器学习刚开始时，
它是由数学家发展起来的，
他们立刻认识到
我们使用的训练数据比人类所需要的多得多。
但现在，我们又回到了同样的问题。
必须减少。
而那就是学习的问题。
它不像深度学习那样，
使用海量的训练数据。
因为如果你有好的不变量，
也许海量都不够。
也许你永远收集不到某个数量的观测。
但现在这是一个向智能提出的问题。
怎么做到？
因为统计部分已经准备好了。
一旦你给我们提供谓词，
我们就能用少量的观测做得很好。
而第一个挑战就是众所周知的
数字识别。
你认识数字。
那么请告诉我不变量。
我想过这个问题，我可以说，
对于数字三，我会引入
水平对称的概念。
数字三有水平对称性，
比如说比数字二之类的更对称。
但一旦我有了水平对称的想法，
我就能在数学上发明很多
水平对称的度量。
甚至竖直对称、对角对称，随便什么。
只要我有对称的想法。
但还有什么呢？
看着数字，我看到那是一个元谓词。
它不是形状。
它是类似对称这样的东西，
比如整幅图有多暗，诸如此类。
它能自行产生一个谓词。
——你认为这样的谓词能从
某种不具有一般性的东西中产生吗？
意思是，感觉上我要能够
理解二和三之间的区别，
我需要有一个童年，
十到十五年和孩子们一起玩，
上学，被父母吼。
所有这些，走路、跳跃、看鸭子。
然后，我才能生成
正确的谓词来区分
二和三。
还是你认为有更有效率的方式？
——我不知道。
我确定的是，你必须知道某些
比数字更多的东西。
——是的，这是一个有力的论断。
——对，但也许有好几种语言
可以描述数字的这些元素。
所以我在谈对称，
谈一些几何性质，
我在谈某种抽象的东西。
这个我不知道。
但这是一个智能的问题。
在我们的一篇文章中，很容易证明，
每个例子实际上
最多只能携带一比特的信息。
因为当你展示一个例子，
并说这是一，
你就能去掉，比如说，那些不认为它是一的函数。
比如说，这是最好的策略。
如果你能完美地做到，
它会去掉一半的函数。
但当你使用一个谓词，
比如“看起来像鸭子”，
你就能去掉远多于一半的函数。
而那意味着，从形式的角度看，
它包含了很多比特的信息。
但当你对想要识别的东西
有一个总体的图景，
对世界有一个总体的图景时，
你能发明出这个谓词吗？
而那个谓词携带着大量信息。
——说得真好。
也许只是我个人的感受，但在你展示的所有数学中，
在你的工作中，那是学习、AI 领域
乃至整个数学中
最深刻的数学工作之一，
我听到了很多诗意和哲学。
你真的在某种程度上谈论科学哲学。
你所做的很多工作和你思考它的方式中，
都有一种诗意和音乐感。
那么它从何而来？
你会逃进诗歌里吗？
你会逃进音乐里吗，还是不会？
——我认为存在基本真理。
——存在基本真理？
——对，而且它随处可见。
那些聪明的哲学家，
有时我惊讶于他们看得有多深。
有时我看到他们中的一些人
完全跑题了。
但我在音乐中看到了基本真理。
——音乐就是基本真理？
——对。
还有诗歌，许多诗人
相信自己是在听写。
（笑）
——那么哪一首音乐，
作为一份经验证据，
让你感到它们触及了
基本真理中的某种东西？
——是结构。
——音乐的数学结构。
——对，因为当你听巴赫时，
你能看到结构。
非常清晰，非常古典，非常简单。
数学中也是一样，
当你有几何公理时，
你会有同样的感觉。
而在诗歌中，有时你也会看到同样的东西。
——如果你回顾你的童年，
你在俄罗斯长大，
也许你作为研究者诞生于俄罗斯，
作为研究者在俄罗斯成长，
然后来到美国，
在好几个地方待过。
如果你回顾过去，
作为研究者，你最快乐的时刻有哪些？
一些最深刻的时刻，
不是就它们对社会的影响而言，
而是就它们对你的影响而言，
那天你感觉有多么棒，
而你记住了那个时刻。
——你知道，每次当你发现了什么，
都很棒。
——对，人生中的事情之一。
——每一件简单的事。
——哪怕只是——但我的总体感觉是，
我大部分时间都是错的。
你应该一次又一次地重来，
并试着对自己诚实。
不要做解释，
而是试着理解它是否与基本真理相关。
它不是我那些空洞的解释
之类的东西。
——但你可以为发现的可能性
而兴奋。
——哦，是的。
——你得反复核查，但——
——不，但它与基本真理有什么关系，
它只是暂时的，还是永恒的？
——你知道，当你发现某样东西时，
你总会有一种感觉，它有多重大？
所以 20 年前，当我们发现统计学习时，
没有人相信，只有一个人例外，MIT 的达德利（Dudley）。
然后在 20 年里，它成了潮流。
支持向量机也是一样。
也就是核机器。
——那么在研究支持向量机和学习理论时，
你当时有那种感觉吗？
你感觉到它的深刻了吗？
感觉这似乎是对的，似乎是强大的。
——对，绝对，立刻就感觉到了。
我认识到它会永远流传。
而现在，当我发现这个不变量的理论时，
我有一种感觉，它完全是（原文转写为 completely wrong，从上下文看可能是 complete，即“完备的”）。
因为我有证明，不存在别的机制。
你可以做一些表面上的改进，
但就不变量而言，你既需要不变量，
也需要统计学习，而且它们应该协同工作。
而且我也很高兴，我们可以由此
表述什么是智能。
并把它与技术部分分开。
那是完全不同的。
——完全正确。
好，弗拉基米尔，非常感谢你今天的交谈。
——谢谢。