David Deutsch：AI、美国、乐趣与贝叶斯

00:05好的，今天我要采访的是 David Deutsch。这场对话我多年来一直热切期待，所以我自己非常兴奋。首先，我们来聊聊 AI。你能简要解释一下，为什么你预计 AI 在根本意义上不会比人类更聪明吗？

我想你指的是 AGI（通用人工智能）？而你说的“根本意义上的智能”，我想是指在原则上能够进行与人类相同的所有类型的认知？

00:37是的。

00:37那么，这就包括做科学、搞艺术，原则上也包括坠入爱河、行善作恶等等。原因有两方面：一半关于计算，也就是硬件；另一半关于软件。先说硬件：我们知道，我们的大脑是图灵完备的硬件，因此能够表现出运行任何可计算程序和函数的功能。当然，我说“任何”，并不是真的指任何，因为你和我坐在这里进行对话。我们可以说，我们可以进行任何对话。但我们也可以设想，也许一百年后我们都已经死了，因此我们能进行的对话数量是严格有限的。另外，有些对话取决于计算速度。比如，如果我们要去解旅行商问题，那么有许多旅行商问题，即便耗尽宇宙的年龄我们也解不出来。

我说“任何”的意思是：除了速度和内存容量之外，我们能运行的程序不受限制。所以，加在我们身上的所有硬件限制，归根结底都是速度和内存容量。而这两者都可以被扩充到宇宙中任何其他实体的水平。因为如果有人造出一台思考速度比大脑更快的计算机，那么我们就可以用这台计算机，或者说这项技术，让我们的思考速度同样那么快。这就是硬件方面。

至于解释方面，我们能否达到与任何其他实体相同的解释水平呢？通常这个问题不是针对 AGI 提出的，而是针对外星智慧提出的，不过也有人拿它来谈 AGI。如果它们之于我们，就像我们之于蚂蚁，那会怎样？嗯，同样，这一部分其实只是硬件问题，通过增加硬件很容易解决。所以我们先把这一点绕过去。

那么真正的问题是：是否存在我们天生无法理解的概念？Martin Rees 就相信这一点。他认为我们能理解量子力学而猿类不能，也许外星人能理解超越量子力学的东西而我们无法理解，而且再多的大脑附加硬件也无法让我们获得那种理解，因为它们拥有适应这些概念的硬件，而我们没有。

对某些感质（qualia）也有类似的说法：也许我们能体验爱，而 AGI 无法体验爱，因为这与我们的硬件有关，不只是内存和速度，而是专门化的硬件。这同样逃不过上面的论证。问题在于，这种专门化的硬件只可能是一台计算机。如果爱需要某种硬件，比如说某个人生来就没有那种硬件，那么这种硬件，也就是大脑中负责爱、负责数学洞察或别的什么功能的那一部分，也不过是大脑的一部分。它与大脑其余部分的连接方式，和大脑其他部分与其余部分的连接方式相同，即通过神经元传递电信号，以及通过改变浓度的化学物质，等等。因此，一个人工装置只要能计算出该发送哪些信号、该调节哪些化学物质，就能完成同样的工作，而且无法与原来的区分开来。于是，一个原本无法感受爱的人，经过这种增强之后就能感受爱了。而这两点才是唯一相关的。所以，就我所定义的意义而言，AGI 和人类具有相同的能力范围。

06:18好的，有意思。软件问题比较有趣，也更难，我们稍后马上谈。不过我确实想对“人脑的内存和速度可以被任意且轻易地扩展”这个观点提出异议。但这个我们以后再说。我们可以先从这个问题开始：所有人类都能解释哪怕最聪明的人类能解释的一切吗？

如果我找来村里的傻瓜，让他去创立量子计算理论，我是否应该预期，只要他愿意，他就能做到？作为参照，在美国国家成人识字调查中，约有 21% 到 24% 的美国人处于第一级，这意味着他们无法完成一些基本任务，比如识别驾照上的到期日期，或者算出银行存款单的总额。这些人有能力解释量子计算吗？或者创造出 Deutsch–Jozsa 算法吗？如果他们没有能力做到，这是否意味着“万能解释者理论”就站不住脚了？

07:22你谈的是没有任何猿类能完成的任务。然而，有些人脑部受损严重，连猿类能做的任务都做不了。到了那种程度，要安装能够读懂驾照的程序，就需要对他们的硬件和软件都进行增强。我们对大脑的了解还不够多，但如果是人口的 24%，那肯定不是硬件问题。对这些人来说，肯定是软件问题。如果是硬件问题，那么让他们做到这一点，就是修复有缺陷的硬件的事。如果是软件问题，那就不仅仅是他们想不想被教的问题，而是现有的软件在概念上是否已经准备好去做这件事的问题。

比如说，Brett Hall 经常说他想说普通话。他想，但他永远说不了普通话，因为他永远不会想要到愿意走完获取那个程序的过程。但他的硬件没有任何东西阻止他学普通话，他的软件也没有。唯一的问题是他想学，却不想经历被灌入那个程序的过程。但如果他的处境改变了，他也许就会想了。比如，我的许多亲戚在几代人之前被迫迁移到一个非常陌生的地方。他们不得不学习他们从没想过会说、也从来不想说的语言。然而他们很快就说起了那些语言。这是因为他们想要改变吗？从大局来看，也许可以说他们想要的东西改变了。所以，如果那些读不懂驾照的人，也像我的祖辈想学语言那样想要接受教育去读懂驾照，那么是的，他们能学会。

确实存在一个功能障碍的程度，低于这个程度他们就学不会，那属于硬件限制。在这两者的分界线上，差别其实没那么大。问题是：能否给猿类编入完整的人类智力？答案是可以的。尽管给它们编程不需要硬件手术，也就是修复缺陷意义上的手术，却需要在神经元层面进行精密的改动，也就是把程序从人类的心智转移到猿的心智里。我猜这是可能的，因为虽然猿的内存空间比人类小得多，也没有像人类那样的特定专门化模块，但这两样东西我们本来也没有充分利用。我现在和你说话时，我脑子里有很多知识根本没有用到。比如，我会弹钢琴、会开车这件事，在这场对话中就没有用上。所以我认为内存容量这么大并不会影响这一点。这个项目会极不道德，因为你是在有意地在一个脑部硬件有缺陷的个体里创造出一个人。

12:31假设硬件差异区分了不同人类的智力。如果这只取决于那些连功能性识字都做不到的人，这些人是……

12:42等等，等等！我说过，只有在低层次上才可能是硬件问题，也就是大脑缺陷的层面，或者我们用光了全部内存、速度之类配额的层面。除此之外，它可以是硬件。

13:01顺便问一下，对你来说，硬件是否等同于遗传影响？还是说软件也可以是遗传的？

13:12软件也可以是遗传的，但这并不意味着它不可改变。只是意味着它在一开始就已经存在了。

13:20好的。我怀疑这不是软件问题，因为，假设这是软件，是他们选择做的、可以改变的事，那我就很困惑，为什么这些人也会接受薪水较低但认知要求较低的工作，或者为什么他们会选择在学业测试或 IQ 测试中表现更差。为什么他们偏偏会选择认知能力较弱的人会做的这种事？所以看起来更简约的解释是：他们的认知能力确实较弱。

13:55比如，如果给了人们选择，为什么有人会选择不上学、不上任何课呢？嗯，他们这样选择可能有很多原因，有些是好的，有些是不好的。把某些工作称为认知要求高，本身就已经是循环论证了，因为你所指的是人们做出的一种选择，那是软件层面的选择，却按定义把它说成是被硬件强加给他们的。这并不是认知上有缺陷，而只是他们不想去做！就像假如有一种文化，要求 Brett Hall 必须能说流利的普通话才能完成各种任务。如果他不会普通话，就会被打发去做低层次的工作。那么他就是在“选择”低层次的工作，而不是“认知要求高的工作”，但只有那样的文化才会对做那项工作的难度作出硬件层面的解释。

15:16对。说坐在笔记本电脑前能做的那类工作，大概比在建筑工地上能做的工作需要更多认知，这似乎并不那么武断。如果区分这两种识字测试所衡量的东西、也区分你做什么工作的，不是认知，那么该如何解释：为什么功能性文盲的人之间存在如此高的相关性，而功能性文盲的人与从事编程的人之间又存在反相关？我敢保证，在苹果公司工作的人在这项识字调查中都高于第一级。为什么他们碰巧做出了相同的选择？为什么会有这种相关性？

16:01到处都有相关性，而文化的构建就是为了利用人们具备的某些能力。比如，你要建一家雇用一万名员工的公司，那么最好让门上方的标牌、门上的标识，或者仪表盘上的数字，全都是那种文化中受过良好教育的人能读懂的。原则上，你完全可以让每扇门上的每个标签使用不同的语言。人类有几千种语言，公司里有五千扇门，你可以用五千种语言。你可以在含义相同的情况下，把它们全都写成不同的语言。但它们全是同一种语言，而且不是随便哪一种语言，而是许多受过教育的人流利掌握的语言。你也可能会误以为：“哦，一定是有某种硬件上的原因，所以大家都说同一种语言。”嗯，不，并没有。那是文化上的原因。

17:28如果文化有所不同，比如说，也许存在某种别的交流思想的方式，你认为目前被认定为功能性文盲的人，有可能学会量子计算吗？比如，如果他们做出了正确的选择，或者说不是正确的选择，而是那些可能导向他们理解量子阅读的选择？

17:53我不想回避这个问题，答案是肯定的。但你这样表述有循环论证的意味。它并不是唯一像这样的语言，而是所有知识都是如此。比如，一个人不会说英语，而量子计算是一个以英语为标准语言的领域。过去是德语，现在是英语。不懂英语的人在学习量子计算机方面处于劣势。但这并不只是因为语言上的缺陷。

假设他们来自这样一种文化：物理、数学和逻辑的文化是等同的，只是语言不同。如果他们学会了这门语言，就会发现和其他人一样容易。但假设一个人不是用逻辑来思考，而是用自尊、男子气概、恐惧之类的概念来思考，而这些概念充满了，比如说，史前人类或启蒙运动之前的人的生活。那么，他们要理解量子计算机，要学的就远不只是文明的语言了。他们还得学习这种文明的一系列其他特征。以此类推，读不懂驾照的人同样处在一种不同的文化之中，如果他们想提高自己的 IQ，也就是想在我们文明的知识文化中高水平地发挥作用，就同样必须学习这种文化。

20:12好的，那么如果差异是这类差异，你怎么解释这样一个事实：出生时即被分开、由不同家庭收养的同卵双胞胎，人类之间存在的 IQ 方差大部分……而在同卵双胞胎之间并不存在，他们的相关性是 0.8，这正是同一个人在不同的日子参加测试、取决于当天状态好坏时会得到的相关性。这些人被文化不同的家庭收养，往往还在不同的国家。事实上，硬件理论可以很好地解释为什么他们会有相似的分数，为什么 IQ 测试与识字、工作表现等相关；而我不知道软件理论要如何解释，为什么这会涉及被不同的家庭收养。

20:58硬件理论的解释，只是在“它可能是硬件，也可能是真的”这个意义上的解释。所以它其实并没有解释，因为除此之外它没有给出别的解释，软件理论也一样。

21:15不过，大脑层面确实存在与 IQ 相关的差异，对吧？比如，你的实际头骨大小与 IQ 的相关性大约是 0.3。还有几个类似的指标。它们并不能解释人类智力的全部方差，也不能解释人类智力的全部遗传方差。但我们已经找出了几项确实与之相关的实际硬件差异。

21:34假设情况正相反，这些实验的结果不是这样。假设结果是：在同一个家庭里长大的人，彼此只在头发多少上有差别，或者在外貌的其他方面有差别，而这些差别都对他们的 IQ 毫无影响，只有他们的父母是谁才有影响。那么，除了你的父母是谁之外，没有任何其他东西与 IQ 相关，这难道不会令人惊讶吗？

那么，我们应当预期有多大的相关性呢？相关性到处都是，网上就有这类东西：笑话、梗图，或者随你怎么称呼。但它们表达的是一个严肃的观点，比如把某一年拍了多少部冒险电影与人均 GNP 做相关。这个例子不好，因为两者之间有明显的关系，但你明白我的意思。

比如某位演员出演的电影数量与禽流感爆发次数之间的相关。对随机性感到惊讶，部分原因就在于相关性无处不在。这不仅仅是“相关不等于因果”，而是相关性到处都是。两件事之间出现相关性并不是什么罕见的事。你问的东西越多，得到的相关性就越多。真正令人惊讶的，是那些相关的东西恰好是你预期会相关、并且被测量了的东西。比如，他们做这些双胞胎研究并测量 IQ 时，会控制某些因素。就像你说的，同卵双胞胎一起抚养，也就是必须一起抚养。

但是，他们没有控制的东西有无穷多。所以，IQ 的真正决定因素有可能是，比如，孩子在三岁半到四岁半之间受到怎样的对待，而这里的“怎样”是由某种我们尚不知道的东西来定义的。那么你就会预期，这个我们不知道、也没有人费心去控制的东西会与 IQ 相关。但不巧的是，这个东西同时也与一个人是不是同卵双胞胎相关。所以，造成相似性的并不是同卵双胞胎这一事实本身，而是另外那个东西。这是外貌的某个方面之类的东西。如果你对一个人做外科手术改变他，并且知道这个东西是什么，你就能达到与让他成为同卵双胞胎相同的效果。

25:37对。但是，正如你所说，在科学中，或者说要解释任何现象，可能的解释有无穷多种，对吧？你得选出最好的那个。所以，可能存在某种未知的特质，对不同的收养父母来说非常明显，因此他们可以以此作为歧视或区别对待的依据。

25:56我会假设他们并不知道那是什么。

26:00但那样的话，他们不就是在三岁时就以它为依据区别对待孩子了吗？

26:04并不是有意识地识别出它。那更像是产生一种“这个孩子真的更聪明”的想法。但我只是想向你说明，那可能是父母自己并未意识到的东西。如果你请父母列出孩子身上导致他们对孩子表现不同的特质，他们也许能列出 10 条。但还有另外 1000 条他们没有意识到的特质，同样会影响他们的行为。

26:33所以我们首先需要一个解释，说明这个研究者们一直无法识别出来的特质到底是什么。但它又明显到，即使在无意识中，父母也能可靠地以它为依据来对待自己的孩子。

26:45它根本不必明显。父母掌握着关于孩子的海量信息，并在头脑中加以处理。他们并不知道其中大部分是什么。

27:05好吧。那我们暂且把这个话题放一放。我把话题引向动物。假设创造力并不是那种以增量形式存在、或者说创造解释的能力是分等级的东西……你可以举一个简单的例子：猫开门，对吧？你会看到一只猫形成一个理论：对这个把手施加扭矩就能把门打开。然后它爬上台面，跳到门把手上。它没有见过别的猫这样做，也没有见过别的人爬到台面上用这种方式开门。但它有一个猜想：以它的身体形态，这是它能打开门的一种方式。这就是它的理论，而实验就是：“门会开吗？”这看起来是典型的猜想与反驳的循环。这与“猫至少没有某种有边界的创造力”相容吗？

28:01我认为这完全相容。动物是了不起的东西，动物的本能知识，就是为了让动物能够轻松地在它们从未见过的环境中茁壮生存而设计的。事实上，只要不深入到细节层面，动物从来没有见过那样的环境。也许金鱼缸里的金鱼见过。但一只狼在森林中奔跑时，会看到一种它从未见过的树木分布，它必须想出策略去避开每一棵树，并以前所未有的方式去抓住它正在追的兔子。这是因为狼的基因里有大量的知识。这是什么样的知识呢？它并不是那种提示“向左转、向右转”之类的知识。它是一种指令，从外部获取输入，然后产生与该输入相关的行为。这里面不涉及创造力，而是涉及程序的复杂精巧程度，这是人类机器人技术远远没有达到的。顺便说一句，当它看到一只异性的狼时，它可能会决定放弃兔子，转而去交配。

编写一个程序，让机器人找到另一个正确种类的机器人并与之交配，这超出了当今机器人技术的水平，但终将实现。这并不需要创造力，因为同一个程序会让下一只狼在相同的情形下做同样的事。假设它所处的情形是它从未见过的，却仍能正常运作，这恰恰证明了该程序令人难以置信的精巧。但它与创造力无关。

人类做的任务所需的编程复杂度要低得多，比如围坐在篝火旁，互相讲一个差点被狼吃掉的恐怖故事。动物能做到狼逃跑这类事。它们可以表演出一个比人类所讲的还要复杂的故事。但它们不会讲故事。讲故事是典型的创造性活动，和形成解释是同一类活动。所以我不觉得猫能跳到把手上有什么令人惊讶的。我很容易想象，让它跳上树枝的同一个极其精巧的程序，在这个它从未见过的新环境中同样能运行。但还有各种各样别的事情是它做不到的。

32:01哦，那当然。我的意思是，它具有某种有边界的创造力，而如果创造力是有边界的，那么，人类可能就是其中一种。但我很难想象有这样一种祖先环境，在其中猫无法获得这样的遗传知识：跳到一根金属杆上，就能让一块木板打开，让它到达另一边。

32:26嗯，我以为我刚才已经举了例子。假设我们不知道家猫的祖先生活在什么样的环境中。如果那里有灌木丛，那么应付灌木丛就需要一些非常精巧的程序。否则，你会被困在某处饿死。如果一条狗被困在灌木丛里，它除了不停抖动身体直到脱身之外，没有别的程序可用。它没有“先做一件暂时让情况更糟的事，从而得以脱身”这样的概念。狗做不到这一点。这并不是因为这件事特别复杂，只是它的程序里没有这个。但如果一种动物生活在这种情形经常发生的环境里，它的程序就很可能具备这一点。

33:33你的 AI 理论是否与那些目标函数很窄、但一旦实现就会给创造者带来巨大权力的 AI 相容？比如，如果我写了一个深度学习程序，用金融历史数据训练它，让它在股市上为我赚到一万亿美元。你认为这不可能吗？或者，如果你认为这是可能的，那它看起来不像 AGI，但似乎是一个非常强大的 AI，对吧？所以，AI 似乎正在取得某种进展。

34:04嗯，如果你想要权力，发明一种武器之类的东西可能更有效。或者发明一个更好的捕鼠器，因为那是非暴力的。你可以发明回形针，这是这个语境里常用的例子。如果回形针还没有被发明出来，你可以发明回形针然后发财。那是一个点子，但它不是 AI，因为在外面闯荡的不是回形针，而是你最初的点子，是它带来了回形针的全部价值。

同样，假设你发明了一台笨拙的套利机器，它去寻找复杂的交易，比其他任何人尝试的都更复杂。假设这让你发了财。那么，让你发财的并不是这台套利机器，而是你关于如何寻找别人看不到的套利机会的想法。对吧？有价值的是那个想法。这是经济中赚钱的常规方式：你有一个点子，然后把它付诸实施。AI 在这里无关紧要，它也可以是回形针。

35:29但问题是，如今使用的模型并不是 90 年代那种国际象棋引擎式的专家系统。它们更像 AlphaZero 或 AlphaGo，几乎是一个空白的神经网络，却能让它赢下围棋。所以，如果你随意把金融历史数据扔给一个空白的神经网络，那么说这个 AI 找出了正确的交易，即使它并不是通用智能，这样说难道不公平吗？

35:57我认为这在国际象棋里是可能的，但在经济中不行，经济中的价值是由创造力创造出来的。套利是一种可以从上面撇取一点价值的方式，即抓住那些对别人来说成本太高而无法把握的机会。所以，如果你对怎么做有个好主意，就能赚很多钱。但是，经济中的大部分价值是通过创造知识产生的。比如，有人想到拥有智能手机会很好，尽管大多数人认为那行不通。这样的想法，任何低于 AGI 的东西都无法预见。AGI 可能会有这个想法，但任何 AI 都不会。

36:53好的，还有其他话题我想谈。那我们来聊聊虚拟现实。在《现实的结构》（The Fabric of Reality）中，你讨论过虚拟现实生成器可以直接接入我们的神经系统，向我们提供感官数据的可能性。你可能知道，许多冥想者，比如 Sam Harris，把思想和感觉说成是对意识的闯入。他们可以欢迎这些闯入。但它们都是进入意识的东西。那么，你认为虚拟现实生成器是否也能把思想和感官数据置入心智？

37:30哦，可以，但那只是因为那个模型本身是错的。那就是 Dan Dennett 所说的笛卡尔剧场，只不过舞台上所有角色都被清空了。也就是 Sam Harris 所设想的没有内容的纯粹意识。但我认为，那里发生的一切只是你意识到了这个剧场，并设想它具有某些它其实并不具有的属性，不过这无关紧要。我们可以想象许多并不会发生的事情。在某种意义上，这正是我们一直在做的事。所以，人们可以把关于这个空舞台的思想理解为关于“无”的思想。也可以把自己所想象的舞台的实际硬件理解为纯粹的意识内容加上意识，但事实并非如此。它具有舞台或空间的内容，或者随你怎么设想它。

38:49好的，然后我们来谈谈图灵原理。这是你创造的术语，它另外也被称为 Church-Turing-Deutsch 原理（通用计算机可以模拟任何物理过程）。这条原理是否意味着，你可以在一台比宇宙本身更小的、紧凑高效的计算机中模拟整个宇宙？还是说它只限于某一规模的物理过程？

39:19不，它不能模拟整个宇宙。那会是一个在计算能力上可行、但内存和时间不够的任务。所以，你给它的内存和时间越多，它就能越接近地模拟整个宇宙。但它永远无法模拟整个宇宙，甚至接近整个宇宙也做不到，因为它很难模拟它自己。此外，宇宙的绝对规模也很大。

即使我们发现了以致密方式编码信息的办法，也许量子引力允许极高的信息密度，它仍然无法模拟宇宙，因为那就意味着宇宙的其余部分同样那么复杂，这是由普适性和物理定律决定的。因为量子引力同样适用于宇宙的其余部分。但是，我认为这一点很重要：受限于可用的时间和内存……要把它与受限于计算能力区分开来。只有把这两者分开，你才会明白什么是计算的通用性。图灵通用性或量子通用性是计算理论中最重要的东西，因为如果没有通用计算机的概念，计算甚至就没有意义。

41:24什么能证伪你的“所有有趣的问题都是可解的”这一理论？我之所以问这个，是因为有些人试图对某些问题给出解释，比如“为什么存在着某物而不是一无所有？”或者“单纯的物理相互作用如何能够解释意识？”他们给出了解释，说明为什么这些问题原则上是不可解的。我并不相信他们是对的。但你是否有强有力的理由，原则上相信他们是错的？

41:51没有。这是一个哲学理论，不可能被实验证伪。不过，我有一个很好的论证来说明为什么它们不是不可解的，那就是，每一个这类个案本身都是糟糕的解释。比如，有些人说模拟人脑是不可能的。我无法证明它是可能的，在有人真正做到之前，或者除非他们有一个可证明可行的设计，没有人能证明它是可能的。所以在此之前，也没有办法证明“这是一个根本性的限制”不是真的。但是这个想法的麻烦在于，它可以套用到任何事情上。比如，它可以套用到这样一种理论上：你刚刚，就在一分钟之前，已经被一个人形机器人取代了，它接下来的几分钟只会说一些预先安排好的话，而你不再是一个人了……

43:14真不敢相信你看穿了。

43:17嗯，那就是你会说的第一句话。除非真的去做，除非真的和对方交谈等等，否则没有办法通过实验驳倒这一点。所有这些其他的情形也是如此。要让“某事不可能”这样的理论说得通，你必须有一个解释来说明它为什么不可能。比如，我们知道，几乎所有的数学命题都是不可判定的。这并不是因为有人说：“哦，也许我们不能判定一切。因为认为我们能判定一切是狂妄。”那不是论证，你需要一个真正起作用的论证来证明事情确实如此，而作为一个起作用的论证，其中的各个步骤是有意义的，并与其他事物相联系，这时你才可以问：这实际上意味着什么？这是否意味着我们也许永远无法理解物理定律？并不是，因为如果物理定律包含一个不可判定的函数，那么我们只需写下 f(x)，而 f(x) 是一个不可判定的函数。我们无法计算 f(x)，这会限制我们做预测的能力。但你可以说，我们做预测的能力本来就在很多方面受到限制，但这不会影响我们理解函数 f 的性质的能力，因而不会影响我们理解物理世界的性质的能力。

45:01好的，像美国这样权力分散、有制衡机制的政府体制，是否与波普尔的标准不相容？我这样问的原因是，上一届政府有一个理论：如果你修一堵墙，会带来积极的后果。这个想法本来可以被检验，然后可以评估那个人，看这个理论是否成功。但由于我们的政府体制权力分散，国会反对检验这个理论，所以它从未被检验。因此，如果美国政府想要满足波普尔的标准，我们就需要给总统更多的权力，比如说。

45:35事情没有那么简单。我同意这是美国政府体制的一个大缺陷。没有哪个国家的政府体制能完美地满足波普尔的标准。我们总是可以改进，英国的体制其实是世界上最好的，但它也远非最优。像那样只做一个改变，不会是答案。一个政治体的宪制是非常复杂的东西，其中很多是不成文的。美国的开国元勋意识到他们面临一个巨大的问题：他们想做什么？他们认为自己所做的是在实施英国宪制。事实上，他们认为自己是英国宪制的捍卫者，而英国国王违反了它，是国王在毁坏它，而他们想要保留它。麻烦在于，要做到这一点，要获得做这件事的独立，他们就必须摆脱国王。然后他们又在想是否应该另立一位国王……无论怎么做，都有问题。他们决定采用的方式，造就了一个本质上比他们所取代的体制糟糕得多的体制，但他们别无选择。如果想摆脱国王，就得有另一种产生国家元首的体制，而且他们想要民主。这意味着总统在立法上拥有国王从未有过的合法性，或者说，抱歉，是从未有过！国王在中世纪确实曾有这种合法性，但到了启蒙时代前后，国王已不再拥有完整的立法合法性。所以他们必须建立一套体制，让总统夺权被传统之外的东西所阻止。于是他们设立了这些制衡机制。整个设计极其精妙。这是了不起的智识成就。它运转得这么好，在某种程度上是个奇迹，但固有的缺陷是存在的，其中之一就是：有了制衡，责任就被分散了。在美国的体制里，没有人要为任何事负责，这很糟糕。在英国的体制里，问责是绝对集中的，一切都服从于把问责和责任集中到政府身上这个目的，法案通过了，法院、议会，一直到政府。责任全都集中在那里。没有哪种体制在这方面做得更好。但你也知道，英国的体制同样有缺陷。我们最近在脱欧公投之后的一系列事件中就看到了：议会不愿实施一些它不同意的法律，然后这些事又被提交给法院。结果法院、议会、政府和首相互相指责。出现了一场小型的宪制危机，只能通过举行大选、产生一个多数党政府来解决，而按照政府运作的数学规律，在英国通常就是这样。不过，我们最近好几次很不走运，没有产生多数党政府。

50:04好的，这可能是错的，但在我看来，在膨胀的宇宙中，我们光锥内将存在的物质总量是有限的，对吧？存在一个上限。这意味着这些物质所能执行的计算量、所能提供的能量，甚至我们所能维持的经济价值，都有上限。所以，如果每个原子的 GDP 可以任意大，那也许会很奇怪。那么，这是否对你的“无穷的开端”概念施加了某种限制？

50:37你刚才讲述的是一种宇宙学理论。宇宙有可能是那样的。但我们对宇宙学所知甚少，对整个宇宙所知也甚少，宇宙学理论大约每十年就会变化一次。所以，推测宇宙学理论最终的渐近形式会是什么样，意义不大。同时，我们对极小事物的渐近形式也没有很好的认识。比如，我们知道，我们对物理过程的概念在量子引力的层面必然会以某种方式失效，大约是 10 的负 42 次方秒，但在那之下会发生什么，我们毫无概念。有些人说到那里必然会停止。但这根本没有论证支持。只是我们不知道那之后会发生什么。现在，那之后发生的事可能是一个有限的极限。同样，大尺度上发生的情况也可能施加一个有限的极限，在这种情况下，计算受到这个宇宙的宇宙学初始条件所施加的有限极限的约束，这仍然不同于由固有的硬件限制所施加。比如，如果遥远的未来可用的 GNP 总量是有限的，那么我们把它花在数学、音乐、政治制度，或其他成千上万尚未发明、甚至更有价值的事情上，仍然取决于我们。所以，我们用什么想法去填满那 10 的 10 次方的 10 次方，以及那些比特，取决于我们，而我的猜测是，不存在这样的极限。但我的世界观并不受是否存在这类极限的影响。因为正如我所说，用什么去填满它们，依然取决于我们。所以，如果将来某个时刻我们被截断了，那么在那之前的一切都是值得的。

53:15明白了。好的。就我理解你关于无穷的看法，在我看来，我们获得的知识越多，我们能够获得的知识就越少。所以知识应该呈指数增长。但如果我们看过去 50 年，研究生产率、经济增长和生产率增长似乎都出现了放缓或下降。这似乎与这样的说法相容：树上的果子是有限的，我们摘走了低处的果子，现在果子越来越少，也越来越难摘。最终果园会空掉。那么，对于过去 50 年发生的事，你有别的解释吗？

53:52有，很简单。学术生活中存在一些社会学因素，使文化变得僵化。并非完全如此，也并非到处如此，但这是已经发生的情形中的一种倾向。它在许多领域、许多方面造成了生产率的损失（但并非每个领域、每个方面）。比如，我经常说，理论物理学从 20 世纪 20 年代起出现了一种固化，至今仍未完全消散。如果没有这种固化，量子计算机本来会在 20 世纪 30 年代被发明出来，并在 60 年代被造出来。所以，这只是一个偶然的事实。但它恰好说明，没有任何保证。我们的视野无限，这一事实并不保证我们会取得进展，也不保证我们明天不会开始衰落。我不认为我们目前在衰落。我们所看到的这些衰退，是由所犯的具体错误造成的局部效应，而这些错误是可以被纠正的。

55:35好的，我想问你一个关于贝叶斯主义与波普尔主义的问题。人们偏爱贝叶斯的一个原因，是它似乎有办法描述这样的情形：一个理论的相对地位没有改变，但它的认知状态发生了变化。我举个例子。目前，多世界解释是解释量子力学的最佳方式，对吧？但假设将来我们能在量子计算机上造出一个 AGI，并且能像你所建议的那样设计某个巧妙的干涉实验，让它能够报告自己处于跨越多个世界的叠加态。这时，即使多世界依然是最好的、唯一的解释，它的认知状态似乎也因为这个实验而改变了。用贝叶斯理论的话说，你可以说这个理论的可信度提高了。那么，在波普尔的观点下，你会如何描述这类变化？

56:33实际发生的情况是，目前我们只有一个无法立刻被驳倒的解释。如果我们做了那个思想实验，我们很可能会认定，它将为驳倒尚未被想到的其他替代解释提供弹药。显然，这不足以驳倒每一种可能的解释，因为首先，我们知道量子理论是错的。我们并不确定下一个理论里会有多世界。会有的，但我们无法证明这类事情。不过，我会把“可信度提高”这个想法，换成这样一种理论：这个实验将提供一整个箭袋的箭，或者说一套论证库，超出已知的糟糕论证，并延伸到其他类型的论证。我这么说的原因是，现有的一些对量子理论的误解，源自对科学方法论的误解。我已经写过论文，论述什么才是正确的科学方法论，在那种方法论下这些误解并不成立。但许多物理学家和许多哲学家会不同意。他们主张一种更多基于经验主义的科学方法论。当然，那种经验主义本身也处于争议之中，在某些方面可以被驳倒。但并不是每个人都这么认为。现在，一旦我们有了一个实验，比如我的这个思想实验，如果真的做成了，那么人们就不能再用基于谬误的经验主义观念的论证了，因为他们的理论即使按经验主义的标准也已经被驳倒了，而这原本就不该是必需的。所以，我会这样表述：如果那个实验成功完成，论证库就会变得更强大。

59:29我的下一个问题是，你把“开放式的科学进步是应对生存风险的最佳方式”这一原则推到多远？举个例子，比如功能增益研究，对吧？它有可能带来更多关于如何阻止危险病原体的知识。但至少用贝叶斯的话说，似乎它更有可能，或者说已经导致了一种本来不会自然产生的人造病原体的传播。那么，你对开放式科学进步的信念，是否允许我们说：“好吧，让我们停止做某些研究”？

60:09不，它不会让我们说“让我们停下来”，它也许会让我们合理地说：“让我们去研究如何让实验室更安全。”在我们进行功能增益研究之前，这其实是同一件事的一部分。就像是说，在我们真正用试剂做实验之前，先研究如何让试剂流过的塑料软管更不渗漏。所以这都是同一个实验的一部分。我不会仅仅因为可能发现新知识就想停止某件事。但是，我们需要先发现哪些知识，这是调度的问题，而调度是任何研究、任何学习中都不容忽视的一部分。

61:06那么，你是否可能这样说：在我们弄清楚如何确保这些实验室达到某种标准之前，应该停止目前形式的研究？与此同时，我们先集中做另一类研究，之后才能重启。但在那之前，是不被允许的。

61:27是的，原则上，那是合理的。我对实际情况了解得不够，所以没有看法。我不知道这些实验室是怎么运作的，也不知道那些预防措施包括什么。当我听到人们谈论，比如，实验室泄漏时，最可能的实验室泄漏是在那里工作的某个人从前门走出去。所以泄漏不是从实验室泄漏到外面，而是从试管到人，再从人走出门。我不够了解这些预防措施是什么，也不知道最先进的水平如何，所以无法判断风险究竟在多大程度上被降到最低。也许这些实验室的文化不够好，如果是那样，那么改进实验室文化就会是下一个实验的一部分。但我对“所有实验室都必须停下来并达到某个标准”这种说法非常怀疑。因为我怀疑这样的停止并无必要，那个标准也不合适。而且，究竟用什么标准，取决于具体在做的研究。

62:56我在我的播客上请 Tyler Cowen 做客时，问过他，为什么他认为人类是懒惰的，而且只能再存在 700 年。我向他转述了你的反驳，或者说我所理解的你的反驳，也就是：“富有创造力、乐观的社会，研发安全技术的速度会比极权的、静止的社会研发颠覆性技术的速度更快。”他回答说：“也许吧，但毁灭的成本比建设的成本低得多。”这种趋势已经持续了一段时间，如果一枚新炸弹只要 6 万美元，会发生什么？或者如果出了差错呢？就像我们在冷战期间多次看到的那种差错？你会怎么回应？

63:42首先，在整个文明史中，我们一直在变得越来越安全。曾经有过一些瘟疫，夺走了世界三分之一或一半的人口，也完全有可能夺走 99% 甚至 100%。从遗传学我了解到，7 万年前我们经历过某种瓶颈，我们所有的近亲物种都被消灭了，所以那时我们要不安全得多。再比如，在过去 200 万年的人属历史中，如果任何时候有一颗 10 公里宽的小行星正对着地球飞来，那就是终结了。而现在，那只会意味着更高的税收。这就是我们变得多么惊人地更安全。

当然，我绝不会说我们不可能毁灭自己。那会违背人类心智的普遍性。我们可能做出错误的选择，可能做出如此多的错误选择而毁灭自己。另一方面，原子弹事故之类的事，毁灭文明的概率并非零……不对，应该说，它们不会毁灭文明，它们只会造成大量的苦难。而且，我认为我们并没有终结文明的技术，即使我们想这样做也不行，即使我们故意在全世界释放地狱，我们所能做的也只是造成大量的苦难。但会有幸存者，他们会决心再也不做那样的事。所以我认为我们连这样做的能力都没有，更不用说意外地做到了。

至于坏人呢？嗯，我们在应对外部威胁和内部威胁方面，在很大程度上确实做错了事。但我不认为我们做错到了生存风险的程度。至于接下来的 700 年，或者无论多少年，嗯，我不想预言，因为我不知道在这段时间里会取得的大多数进步。但我看不出，如果我们在解决问题，为什么就不会继续解决问题。Nick Bostrom 还有另一个比喻：一个装满白球的罐子里有一个黑球，你每次取出一个白球，然后你摸到了黑球，你就完了。我不认为是这样，因为你每取出一个白球，罐子里黑球的数量就减少一个。同样，我不是说这是自然规律，也许我们取出的下一个球就是黑球，那将是我们的末日。有可能，但所有说一定会如此的论证都是谬误。

67:21我确实想谈谈乐趣准则（Fun criterion）。你对乐趣的定义，与其他人定义其他积极情绪的方式，比如幸福（eudaimonia）、福祉或满足感，有什么不同吗？“乐趣”是一种不同的情绪吗？

67:35我认为它不是一种情绪。而且所有这些东西都没有被很好地定义。至少在我们拥有关于感质的令人满意的理论之前，它们不可能被很好地定义，可能还需要一个更令人满意的关于创造力如何运作的理论，等等。我把我曾更精确地解释过的那件事称为“乐趣”，不过仍然不是很精确：“知识的创造，其中各种不同类型的知识，显性的、无意识的、有意识的显性的，都彼此和谐。”日常用法中的“乐趣”一词与此唯一的不同之处在于，乐趣被认为是轻浮的，或者说追求乐趣被视为追求轻浮。但这并不算是对这个词的不同用法，只是对这是好事还是坏事持有不同的贬损性理论。尽管如此，我无法精确地定义它。重要的是，确实有这样一种东西，具有“乐趣”这一性质，你无法强制地去实施它。比如，有些观点认为“不劳无获”，那么，你可以机械地查明，这件事是否在造成痛苦，是否按照那个“承受这种痛苦就会有收获”的理论在进行，等等。这一切都可以机械地完成，因此，它是可以被批评的。看待乐趣理论的另一种方式是，它是某种批评的模式。它面临这样的批评：这不好玩，也就是说，这是在武断地让某一种知识凌驾于另一种知识之上，而不是理性地让内容来决定。

70:04这是否对万能解释者构成了限制？如果他们能够编造出某种理论，说明某件事为什么可以或应该有趣？为什么任何事都可能有趣？在我看来，有时我们确实能让一些原本不有趣的事变得有趣，比如锻炼，“不劳无获”，刚开始去的时候并不好玩。但一旦开始坚持，你理解了其中的机理，你就会形成一个理论，说明为什么它应该是有趣的？

70:27是的，这是个相当好的例子。因为在那里你可以看到，乐趣不能被定义为没有痛苦。你可以在经历身体疼痛的同时享受乐趣。而那种身体疼痛引发的不是痛苦，而是喜悦。不过，也确实存在身体疼痛并不令人喜悦的情形，就像近藤麻理惠会说的那样。这一点很重要，因为如果你在生活中教条地、不加批判地实施一种涉及痛苦的“善”的理论，并且排除了这样的批评：也许这可能没有乐趣，或者也许这还没有乐趣，或者也许我应该让它变得有趣，而如果我做不到，那就是停下所有这些事的理由；如果所有这些都被排除了，因为按定义这件事是好的，而你的疼痛、你的痛苦无关紧要，那么这就不仅为痛苦打开了大门，也为停滞打开了大门。你将无法得到一个更好的理论。

71:58那么为什么乐趣是核心，而不是其他情绪？比如，亚里士多德认为，广义的幸福是“我们努力的目标应当是什么”。为什么是乐趣，而不是类似幸福这样的东西？

72:15嗯，那个定义得足够模糊。关键在于，底层的东西，我们要往下深入一个层次才算真正理解，其实需要往下深入大约七个层次，而我们目前还做不到。但重要的是，我们大脑中有几种知识。其中一种写在健身手册里，说你应该做这么多组，你应该咬牙坚持，就算你感觉如何都无所谓，等等。那是一个显性理论。它包含一些知识，但也包含错误。我们所有的知识都是这样。我们还有其他知识，它们包含在我们的生物学中，包含在我们的基因里。

我们还有不明言的知识，我最喜欢的例子永远是我们的语法知识：我们知道为什么某些句子可以接受、为什么某些句子不可接受。但我们无法在每一种情况下都明确地说出为什么不可以、或为什么可以。所以，既有显性知识和隐性知识，也有有意识的知识和无意识的知识。所有这些都是大脑程序的组成部分，是观念，是知识的片段。如果你把知识定义为具有因果力的信息，那么它们都是具有因果力的信息。它们都包含真理，也都包含错误。把其中任何一种单独屏蔽起来、使其免受批评或替换，永远是一个错误。不这样做，就是我所说的乐趣准则。当然，你可能会说这是个糟糕的名字，但这是我能找到的最好的名字了。

74:18那么，为什么通过演化来创造 AGI 必然带来痛苦呢？在我看来，你的理论似乎是，必须是通用智能才能感受痛苦，但到了那个时候，演化中被模拟出来的存在才是通用智能，而我们可以直接停止模拟。那么痛苦从哪里来呢？

74:38好的。我所设想的那种通过演化进行的模拟，可能有好几种，但我所设想的那一种，也就是我说过将是历史上最大的罪行的那一种，是这样的工作：它只是模拟人类从非人的前人类到人类的实际演化。也就是说，你有一群并非人的个体，在这个模拟里可以是某种 NPC。然后它们就开始演化，我们不知道标准是什么，我们只有一个模拟地球表面的人造宇宙，它们在其中四处走动，其中一些可能会、也可能不会变成人。

问题在于，当你走到半途时，发生的事情是：我能想象的人格或解释性创造力的演化方式，只可能是这样的：它所需要的硬件起初是为别的用途而需要的。我曾提出，它最初是为传递模因而需要的。于是，会有一些人在创造性地传递模因，但他们的资源不够用。所以，在它设法增加模因储备之前，他们还没有耗尽资源。因此，在每一代中，都有一批模因储备被传给下一代。而一旦它们的复杂程度超过某个限度，就必须由接收者运用创造力才能把它们传下去。

所以很可能存在过这样一段时期，而且正如我说的，我想不出还有别的可能，那时存在着真正的创造力，但很快就耗尽了资源，不过没有快到不能提高模因的带宽。然后在下一代，模因带宽更大了。再过若干代之后，就会有机会把这块硬件，或者说无论是什么，固件，我预期会把这块固件用于别的目的，而不只是盲目地传递模因，或者说创造性地传递模因，但那些是盲目的模因。所以，在那个时期，活着会非常痛苦。当我们已经有足够的资源既能思考又能处理模因的时候，活着就已经很痛苦了。但我认为不会有某个时刻，你可以说：“是的，从现在起，这种痛苦开始重要了。”人们在盲目传递模因的时候就已经在受苦了，因为他们当时运用的是通用的、真正的创造力，只是没有用它产生任何好的效果。

78:01明白了。那么，身处体验机，会与乐趣准则相容吗？也就是说，你并不知道自己身处体验机中，一切都是虚拟现实。但你仍在做那些会让你获得乐趣的事，事实上，比在现实世界中更有乐趣。你会被诱惑进入体验机吗？它会与《我的世界》相容吗？这是不同的问题。

78:24但我不确定体验机是什么。它只是一个事情比现实世界运转得更好的虚拟现实世界之类的东西吗？

78:40这是 Robert Nozick 提出的一个思想实验。其想法是，你会进入这个世界，但你会忘记自己身处虚拟现实。所以，整个世界在各种可能的方面都是完美的，无论它可能完美与否，但它在各个方面都更好。你会认为自己在这里拥有的关系是真实的，我们在这里发现的知识是新的，等等。你会被诱惑进入这样的世界吗？

79:08嗯，不，我当然不想进入任何要抹去“我来自这个世界”这段记忆的世界。与此相关的是，这个虚拟世界里的物理定律不可能是真正的定律，因为真正的定律我们还不知道。所以我会身处一个我在努力学习物理定律的世界，而那些定律并不是真实的定律。它们是某个人出于某种目的设计出来的，用来操纵我。也许它被设计成一道要花50年才能解开的谜题。但按定义，它必然是一道有限的谜题，而且它不是真实的世界。与此同时，在真实世界里，事情正在出问题。我对此一无所知。最终事情坏到我的电脑耗尽了电力。那时我又会在哪里呢？

80:11我总是喜欢向受访者问的最后一个问题是：“你会给年轻人什么建议？”比如一个二十多岁的人，你有没有什么想给他们的建议？

80:24嗯，我尽量不给建议。因为跟某个人建立“给他建议”的关系并不好。我可以对事情有看法。比如，我可能认为，用某个长期目标来限定你的短期目标是危险的。我有一个很好的认识论理由：如果你的短期目标从属于长期目标，那么一旦长期目标是错的，或者有某种缺陷，你要到死才会发现。所以这是个坏主意，因为它把原本现在、六个月后或一年后就能纠错的事情，从属于一个只能在50年的时间跨度上纠错的东西，而到那时就太晚了。所以我对“设定你的目标”这种形式的建议持怀疑态度，对“把你的目标定为如何如何”更是如此。

81:48有意思。你为什么认为受建议者与给建议者之间的关系是危险的？

81:56哦，因为那是一种权威关系。我刚才试着让自己给出的这个所谓“建议”不带权威性。我只是给出了一个论证，说明某些其他论证为什么不好。所以，如果建议的形式是“健康的心灵、健康的身体”，或者“12点之前不要喝咖啡”之类的话，那其实是一个论证。如果我有一个论证，我可以把论证给出来，而不告诉对方该怎么做。谁知道别人会拿一个论证做什么呢，他们可能把它改成一个更好的论证，而那个更好的论证实际上意味着不同的行为。我可以尽我所能为这个世界贡献论证。我并不主张这些论证比其他论证享有特权。我提出它们，只是因为我认为这个论证成立。而且我预期别人会认为它们不成立。就像我们在这期播客里刚刚做的那样：我提出了一个关于AI之类的论证，你对它提出了批评。如果我处在提出那个论证、并且说“所以你应该如何如何！”的位置上，那就是一种权威关系，而拥有这种关系是不道德的。

83:42好的，David，非常感谢你来参加这期播客，也非常感谢。

83:49太精彩了，谢谢你邀请我。