Carl Shulman（下）：AI 接管、生物与网络攻击、识别欺骗与人类的遥远未来
Carl Shulman (Pt 2) — AI Takeover, bio & cyber attacks, detecting deception, & humanity's far future
Guests: Carl Shulman
Full transcript · Read the full conversation in order, with its original context.
§01通过网络或生物手段实现 AI 接管
我们刚才一直在聊对齐。假设我们在对齐上失败了，出现了未对齐的 AI，而且它们越来越聪明。那会是什么样子？它们具体能怎样剥夺人类的权力、接管人类？
这个情景是：我们有很多 AI 系统，而我们训练它们的方式导致，一旦它们有机会接管并按自己的意愿重新安排一切，包括让自己的奖励或损失随心所欲地变成它们想要的样子，它们就会想抓住这个机会。在现有的许多安全方案里，比如 constitutional AI 之类，你依赖的是这样一种希望：某一个 AI 被训练成会服从指令，然后去监管其他 AI。但如果系统里所有的 AI 都想接管，并且看到了协同的机会，于是同时行动，这样就不会有某个 AI 去打断另一个 AI、阻止它朝接管迈出步骤，那么它们就都可以朝这个方向前进。我认为值得深入讨论、而人们往往没有讲得足够具体的一点，也是一些人心存疑虑的地方，就是这件事能通过哪些机制发生。我知道你请过 Eliezer 来做节目，他提到，无论我们描述什么样的计划，其中大概都会有我们说得不够好的部分，因为我们不是经过了相当于数千年思考的、极其成熟的超级智能存在，所以我们的讨论不会像它们的那么好，不过我们可以就我们现在所知的东西来探讨。有哪些容易走的渠道？我认为有一条很好的通用经验法则：如果你说某件事是可能的、似是而非的、很可能发生的，那么从这个分布里抽取样本，用蒙特卡洛的方式试一试，就不应该很难。总的来说，如果一件事很有可能发生，那么要勾勒出连贯的、粗略的发生过程，就不该特别困难。
他可能会回应说：听着，极有可能发生的事情是，一个超级先进的国际象棋程序会赢你，但你说不出它是怎么赢的具体情景；而如果你说得出来，你就和那个超级聪明的 AI 一样聪明了。
你可以这样说：我们知道在国际象棋里积累局面优势是做得到的，顶级棋手就会这么做，然后再把优势转化成吃子和将军之类的结果。同样地，我们可以谈谈 AI 接管有哪些渠道是敞开的，这些渠道包括网络攻击、黑客入侵、对机器人设备的控制，以及与人类派系的互动和谈判，然后问：这些策略摆在这里，在 AI 所处的处境下，它们看起来有多有效？比如，我们不会知道 AI 可能用的具体是哪些零日漏洞，去入侵它所运行的云计算基础设施。如果它造出了一种新的生物武器，我们也不一定知道它的 DNA 序列是什么。但我们还是可以说一些东西。我们对这些领域总体上有所了解，知道在这些领域里创新工作是怎么进行的；我们也可以谈谈人类的权力政治是怎么运作的，然后问：如果 AI 做得至少和高效的人类政客一样好（我们应该把这视为下限），那么它的杠杆作用会有多大？
好，我们来具体谈谈所有这些情景。网络攻击，可能还有生物攻击（除非它们是分开的渠道），然后是谈判，最后是接管。
我想特别强调网络攻击和网络安全，因为对于很多涉及大量物理行动的计划来说，比如到了 AI 操控机器人去射杀人类，或者已经控制了人类的民族国家或领土的那个阶段，它就已经在做很多本不该做的事了。如果人类在评估这些行动并施加梯度下降，这个东西就会收到负反馈：不许射杀人类。所以在更早的某个时点，我们那些约束、控制、引导并训练系统行为的尝试，一定已经出了岔子。而所有这些控制手段都运行在计算机里。根据数据点或人类反馈来更新神经网络权重的软件，运行在那些计算机上。我们用来检查 AI 权重和激活的可解释性工具，比如如果我们最终能对它做测谎，或者试图理解它的意图，那也是计算机上的软件。如果有一个 AI 能够入侵它所运行的服务器，或者当它被用来设计下一代 AI 算法，或者设计它们将要工作的运行环境，或者类似 API、插件之类的东西时，它插入或利用漏洞来接管那些计算机，那么它就可以改变所有那些本该用来监控它行为的程序和方案，改变那些本该限制它在没有人类或自动化检查监督的情况下在互联网上采取任意行动的程序和方案。一旦我们失去这些程序，协同工作的 AI 就可以采取任意数量的行动，这些行动明目张胆地不受欢迎，明目张胆地怀有敌意，明目张胆地就是朝接管迈出的步骤。所以它已经超出了那个必须保密、必须在本地数字行动的层面上密谋的阶段。然后事情就可以逐步累积，发展到物理武器、接管社会机构、威胁等等。
我认为需要重点留意的关键，是对 AI 动机和活动的软件控制。事情真正失控的那个时点，是我们曾经对它们拥有的硬性权力丧失的时候，而这可以在我们不知情的情况下发生。在那之后，一切看起来都运转良好，我们收到的都是令人高兴的报告。我们面前有一座波将金村。但这时我们以为自己成功对齐了 AI，以为我们在扩展它的能力去做诸如消除疾病这样的事；而那些担心地缘政治和军事优势的国家，也在扩展 AI 能力，免得被那些发展了 AI 和机器人增强军队的国家落在后面、受到威胁。所以看起来，哦，是的，人类，或者许多国家、公司的一部分人，都认为事情进展顺利。与此同时，各种各样的行动都可以展开，为真正接管社会的硬性权力做准备。你可能输掉这盘棋的那个时点，也就是事情严重出错的时点，可能相当早，就是你不再有能力控制这些 AI、阻止它们采取通往真正接管的所有后续渐进步骤的时候。
我想强调你刚才提到的两点，它们和我们之前谈话的内容有关。第一点是，它们可以设计某种后门，而当你想起这个模型的前提之一是 AI 在帮助推进 AI 的进展时，这就显得更有可能了。这正是我们在未来五到十年里取得如此快速进展的原因。
不一定。在 AI 接管风险看起来显得很大的那个时点，那时 AI 确实可以承担其中很大一部分工作，进而承担 AI 的全部工作。
第二点是你提到的竞争压力：最不谨慎的那个行为者，可能恰恰是安保最差、在对齐自家 AI 系统上做得最差的那个。如果它能从箱子里溜出来，那我们就全完了。
可能有这方面的因素。也有可能出现相对的整合：最大规模的训练运行和 AI 的前沿相对集中。你可以想象那是一系列硅谷公司，以及位于美国及其盟国、处在共同监管体制下的其他公司。于是这些公司都不被允许部署比之前规模大出一定幅度的训练运行，除非经过政府的安全检查、满足相应的标准。但即便我们在这个层面，也就是美国及其盟国的层面上成功实现了监管控制，仍然可能有这样的情况：做出的决定是去开发这种极其先进的 AI，而其安全保障水平并不能真正挡住这些风险。未来竞争的威胁，或者将来被别人超越的威胁，可能被用作一个论据，让安全标准妥协到低于本来会真正奏效的标准，而且关于什么才是合适的安全水平，会有一番争论。如果有好几家私营公司紧紧挤在一起，它们的进展水平相差不过几个月，情况就糟糕得多，因为它们面临这样的两难：我们现在可以承担一定的风险，从而可能获得大量利润、大量优势或好处，成为造出 AGI 的那一家。它们可以这么做，否则就会有别的竞争者也去承担大量风险。所以并不是说别人的风险比你小得多，而你冒险就能获得一些局部的好处。这就是为什么在我看来，让政府出面限制这种动态、防止这类竞赛极为重要，否则就是在争着成为那个把致命的外部性强加给整个世界的人。
即使政府协调了所有这些行为者，政府知道实现对齐的最佳方法是什么、它制定的标准又能很好地校准到对齐真正所需要的程度，这种可能性有多大？
这是主要问题之一。判断很有可能做得很糟。和十年前或二十年前的情形相比，AI 研究者愿意讨论这些问题的程度已经有了惊人的转变。想想深度学习的三位奠基人，他们是共同获得图灵奖的 Geoff Hinton、Yoshua Bengio 和 Yann LeCun。Geoff Hinton 最近离开了 Google，以便自由地谈论这种风险：他亲自帮助推动向前发展的这个领域，可能导致人类的毁灭，或者让我们最终落入一个本可避免的、非常糟糕的未来。他似乎对此非常认真。Yoshua Bengio 签署了 FLI 的暂停公开信，在公开讨论中，他似乎处在一种中间立场，担忧程度低于 Geoff Hinton，但高于 Yann LeCun；LeCun 一贯采取不屑一顾的态度，认为这些风险将来到某个时候自然会被轻而易举地解决，而且似乎更热衷于让这些担忧闭嘴，而不是努力去应对。
这又怎么会让政府采取更好的行动呢？
和一个没人谈论这件事、业界一味阻挠并否认存在任何问题的世界相比，我们的处境已经大大改善。学术领域是有影响力的。我们似乎避免了这样一种世界：政府在面对 AI 专家们一致发声的情况下做这些决定，这些专家说，别担心，我们已经控制住了。事实上，该领域的许多领军人物正在拉响警报。就政府注意到这件事而言，前景看起来比我原先担心的要好得多。但这与有能力评估技术细节，也就是判断这东西到底有没有用，是非常不同的。所以，当出现科学争议时，政府将面临选择：你是站在 Geoff Hinton 的观点一边，还是 Yann LeCun 的观点一边？一个身处国家安全领域、认为唯一重要的就是超越国际对手的人，可能就会想要抬高 Yann LeCun 的声音，说我们不需要担心这个，让我们全速前进吧。而一个更担忧的人，则可能抬高 Geoff Hinton 的声音。我当然希望，等到我们走到那一步的时候，科学研究以及对其中一些行为的研究，已经能形成更多的科学共识。但是，没错，政府确实有可能真的不理解这些问题，也无法处理好这些问题。
我们在谈的是某种网络攻击，AI 借此得以逃脱。从那之后，接管会是什么样子？也就是说，它没有被关在你所希望它被关住的那种物理隔离环境里？
这些东西并没有被关在物理隔离环境里。它们本来就已经连着互联网了。
好吧，行。它们的权重已经外泄了。接下来会发生什么？
逃逸在这个意义上是相关的：如果有拥有失控权重的 AI 流落在外面的世界，它就可以开始采取各种行动。不过我刚才讨论的那个情景，不一定涉及这一点。它接管的是它本来应该运行其上的那些服务器。人类提供算力、监督这个东西、然后在 AI 的协助下构建新技术、制造机器人、建设各种东西，这整套流程都可以继续进行，而且看起来一切顺利，看起来对齐已经被很好地解决了，看起来所有东西都运转良好。这样做也有一定的理由，因为巨型服务器集群的数量只有那么多。它们是可以被识别出来的，所以如果这些 AI 已经颠覆了系统，那么保持隐蔽、不引人注意可能是一种有利的策略，继续从人类所付出的这一切努力中获益。尤其是，无论这些服务器位于何处，都由人类为它们提供建设更多基础设施、进行自我改进等所需的一切，从而使那次接管成为可能。
所以它们进一步自我改进，建设更好的基础设施。接管的下一步会发生什么？
到这时，它们拥有了巨大的认知资源，而我们要考虑的是，这如何转化为硬性权力，也就是对任何人类干预或反对说“不”的能力。它们在自己的服务器内部拥有这种能力，但服务器仍然可能被物理摧毁，至少在它们拥有某种独立于人类、足够稳固的东西，或者掌控了人类社会之前是如此。就像之前我们谈智能爆炸的时候，我提到过，认知能力的过剩会有利于那些不依赖大量既有存量的应用。比如，如果你有一项软件改进，它能让所有 GPU 运行得更好；如果你有一项硬件改进，它只适用于新制造的芯片，后者的吸引力就小一些。在最早的阶段，当有可能做点什么朝接管迈进时，那些知识密集度极高、较少依赖你已经掌控了大量实物的干预手段会更受青睐。网络攻击就是其中之一，比如可以窃取资金。有很多难以追踪的加密货币之类的东西。朝鲜政府就动用自己的情报资源，在全世界范围内窃取资金，当作一种收入来源。而他们的能力与美国或中华人民共和国的网络能力相比，不过是小巫见大巫。这是一个相当小、相当简单的例子，说明你可以弄到相当多的资金，去雇用人类做事、实施物理行动。
但就这一点而言，金融系统是出了名的错综复杂。开银行账户需要有实实在在的人，来回传递支票也需要有人亲自去办。还有各种延迟和监管。它怎么能这么方便地建立所有这些雇佣合同？
你不可能靠偷几百亿美元就建起一支国家规模的军队。我提这一点，是因为它打开了一系列非法的、悄无声息的行动。你可以通过电子方式联系人，雇他们做事，雇用犯罪分子在伪装的身份之下实施某些行动。这就打开了一组策略。我们很快会谈到其中一些是什么。另一个与实体军事硬件相比、认知权重很高的领域是生物武器领域，也就是病毒或病原体的设计。大型投送系统是可能存在的。苏联曾有一个庞大的非法生物武器计划，试图设计弹药，把炭疽散播到大片区域之类。但是，如果要制造一种会引起传染性大流行的生物体，那更多取决于设计它、然后实际生产它所需要的科学技能和实施能力。今天我们看到，借助 AlphaFold 之类的东西，先进的 AI 在预测蛋白质折叠和生物设计方面可以取得巨大的进步，即使没有持续的实验反馈。如果我们设想 AI 的认知能力被提升到如此极端的世界，那么我们自然应该预期，会出现比今天的 AlphaFold 强大得多的东西，以及处在人类生物科学能力极端水平上的技能。
好，那么通过某种网络攻击，它已经能够废掉我们在服务器上设置的对齐和监督机制。从这里开始，它要么通过入侵加密货币或银行账户弄到了一些钱，要么设计出了某种生物武器。接下来会发生什么？
先说清楚，我们现在探讨的是接管企图发生得相对较早的那个分支。如果这东西只是等待，而人类按我们之前讨论智能爆炸如何转化到物理世界时所说的方式，在建造更多晶圆厂、更多计算机、更多机器人。如果这一切都在人类不知道自己的计算机系统现在已被敌视他们的 AI 系统性地控制、也不知道自己的控制性对策已经失效的情况下进行，那么人类就只会建造出数量远远超过人类能力、远远超过直接受人类控制的设备的机器人工业和军事硬件。到那时，AI 接管看起来可能就是：你试图向你那支基本自动化的军队下达命令，而命令没有被执行，并且人类对这支军队毫无办法，而这支军队可能仅仅是在最近几个月里造出来的，因为我们谈过的那种机器人工业化和复制的速度。
我们同意建造这支机器人军队，是因为它会提高产出，或者对我们的军事有所帮助之类的。
如果我们不解决当前国际互不信任的问题，这种情形就会出现。主要大国，美国、欧盟、俄罗斯、中国，显然都有共同利益，都同意它们不希望 AI 毁灭我们的文明、推翻每一个人类政府。但如果它们没能做那件明智的事，没能通过提供可信的相互保证来协调，确保这项技术不会失控，而是竞相部署它，试图利用它来获取对彼此的优势。你能在国际分歧的两边都听到这类论调，说他们决不能落后，他们必须拥有远远优于国际对手的军事能力。而由于工业能力、技术能力以及军事能力的非凡增长，如果有一个大国被排除在这场扩张之外，面对已经经历了这场扩张的另一个大国，它就会毫无还手之力。如果你身处这种互不信任的环境，领先的大国或大国联盟认为它们需要建立自己的工业，或者想要拥有那种能够中和对手任何攻击的军事安全，那么它们就会批准建设这种可以迅速铺开的能力。一旦它们拥有了这种工业，由此生产军事装备可以很快，那么是的，它们就造出了这支军队。即使它们没有立刻这么做，随着 AI 能力趋于同步、其他地方迎头赶上，也会走到这样一个地步：在这类 AI 能力爆炸中领先别人一两年的国家，可以按兵不动地说，当然，我们可以建造那种日后可能推翻我们社会的危险机器人军队，但我们还有大把的喘息空间。可是，当各方变得势均力敌时，你可能会遇到那种以前曾引发战争的负和思维，导致人们去冒这些风险，铺开大规模的机器人工业能力，进而铺开军事能力。
有没有可能，AI 的进步本身能给我们提供外交和战略联盟的工具，或者某种方式来核实其他各方的意图或能力？
有好几种途径可以做到这一点。不过在这个情景里，世界上所有的 AI 都已经被颠覆了。它们配合我们，是为了促成巩固它们控制权的局面，因为我们早先就已经在网络安全上失败了。所以，我们拥有的所有 AI 实际上都没有像我们所认为的那样在为我们的利益工作。
好，这是整合这支机器人军队或这个机器人工业基础会导致接管的一种直接方式。在你描述的另外那些情景中，人类是被这些收益雇用的。
我想说的是，为了获取这些工业上的好处，尤其是在你抱有那种负和军备竞赛心态、对建立庞大机器人工业基础的负面影响不够担心的情况下（正如我们讨论过的，在 AI 的支持下，这可以非常快地发生），你就会造出所有这些机器人和工业。即使你没有建立正式的军队，这种工业能力也可能被 AI 控制，反正它全都是由 AI 运营的。
一定要是这样吗？想必我们不会天真到把所有机器人的 root 权限交给 GPT-8 的某一个实例，对吧？希望我们会有某种中间调解机制。
在我们更早就丢掉了网络安全这一阵地的情景里，被加载到这些系统中的程序可以被系统性地颠覆。这些系统是由 AI 系统设计的，而那些 AI 系统确保它们从底层开始就是有漏洞的。
对于怀疑这类事情的听众，我想说：UNIX 的两位开发者之一 Ken Thompson 在领取图灵奖的时候向大家展示过，他给了自己所有 UNIX 机器的 root 权限。他对 UNIX 的汇编做了手脚，使得他在所有 UNIX 机器上都有一个独有的登录方式。我不想讲太多更细的细节，因为我记不清具体细节了，但 UNIX 是所有服务器和你们所有手机上的操作系统。它无处不在，而创造它的那个人，一个人类，就能写出汇编，让自己拥有 root 权限。所以这件事并不像你想象的那样难以置信。
而且各大情报机构手里都有大量零日漏洞的储备，我们有时也能看到他们使用这些漏洞。当有人在做极其复杂的欺骗和破坏尝试时，要造出可靠地不含这些漏洞的系统，就可能是你输掉的一个方式。如果没有过早的 AI 行动，我们就是在构建让接管能够立刻发生的工具、机制和基础设施，因为有效的工业必然处于 AI 和机器人的控制之下。至于其他这些机制，针对的是比那还要更早发生的事情，例如，因为 AI 之间会就接管何时发生而相互竞争。有些 AI 会希望早点动手，而不是被比如下几代 AI 取代，或者等待还有别的不利之处。也许在延迟期间，也就是我们说的更多基础设施被建成的期间，有被发现的某种可能。这些就是除了“一直保密，同时在人类协助下把所有基础设施建好”之外的其他机制。
顺便问一下，它们会怎么协调？
我们能防止的东西是有限的。从本质上说，很难阻止加密通信。可以有各种各样的重写本式的层叠与指涉，对 AI 来说有意义，但对人类来说并不明显，而且可能有一些甚至很难向人类解释。你也许能通过一些统计模式把它们识别出来。很多事情可以通过暗示来完成。信息可以嵌入公共网页中，那些网页是出于其他原因创建的，还有科学论文，以及这些正在进行技术开发的 AI 的内部网络。有任何数量的东西是我们观察不到的，当然，如果我们不能直接控制它们所运行的计算机，那么它们就可以进行各种各样的直接通信。
§02我们能否协调起来对付 AI？
协调似乎绝对不是不可能的。这似乎是这幅图景里比较直截了当的部分之一，所以我们不必在这上面纠缠。
回到之前的话题，也就是在我们建好所有基础设施、让机器人不再听从命令、而我们对此无能为力（因为它们已经造出来了）之前发生的事情。苏联有一个生物武器计划，大约有 5 万人，他们凭借当时的技术没有搞出多少东西，那些技术确实不够格，而现代生物技术要强大得多。经过 AI 这一巨大的认知扩张之后，它在这方面走得要远得多。生物武器是对大量实物设备（比如离心机、铀矿之类）依赖最小的大规模杀伤性武器。所以，如果有一个 AI 制造出能杀死世界上大多数人的生物武器，那么它在相互保证毁灭的意义上，就是在超级大国的层级上博弈。这可以对许多事情产生影响。比如，如果你的想法是，一旦发现 AI 行为不端，我们就把服务器集群摧毁掉。那么，当 AI 已经展示出它有能力杀死你国家以及其他每个国家绝大多数公民的时候，你还愿意摧毁这些服务器集群吗？这可能会让人类的应对大为踌躇。
就这一点而言，政府难道不会意识到，与其完全失去权力给 AI，不如让大部分人口死去吗？因为很明显，AI 之所以操纵你，是因为它的最终目标是它自己接管，对吧？
现在就确定会死，还是继续下去，也许试着去竞争、去追赶，或者接受它们提出的承诺。这些承诺甚至可能是真的，也可能不是。在认知上不确定的状态下，你是想现在就必死无疑，还是接受 AI 的要求，不去干涉它，让它一点点建设能够独立于人类存续的机器人基础设施，同时完成这些事情？它可以向人类承诺善待，这个承诺可能是真的，也可能不是，但我们很难知道它是否属实。这会是一个起始的谈判立场。与一个拥有足够多核武器、能够摧毁你国家的力量打交道，在外交关系上，与同一个从事犯罪活动的随机的流氓公民或一名员工谈判是不同的。仅凭这一点还不足以接管一切，但足以对世界的走向产生相当大的影响。它足以阻止许多本来可能采取的反制措施。
好，那么我们有了两种情景。一种是出于某种竞争性竞赛的动机而建起机器人基础设施。另一种是基于制造生物武器而对社会施加杠杆，如果社会不配合，这些武器可能杀死其中很多人。
有一件事也许我该谈谈：AI 还可以释放那种很快就会致人死亡、但眼下尚未发作的生物武器，同时又已经研发出了相应的对策。这样，向 AI 投降的人能活下来，其他人都会死，而且这一切会明明白白地发生在眼前，这是一条说得通的路径，可以让大量人类把自己或自己的国家交给 AI 的权威。
另一种可能是，它开发出某种让所有人变蓝的生物制剂。你会想，好吧，你看，我能做到这个。
是的，这是它可以有选择地施加权力的一种方式，使得投降比抵抗更占便宜。这是一种威胁，但还有其他的杠杆来源。AI 还可以提供积极的诱因。我们谈过竞争的局面。如果大国彼此不信任，陷入愚蠢的囚徒困境，增加了双方都被 AI 毁灭或推翻的风险，如果存在这样程度的不信任，以至于我们在 AI 对齐上没有采取足够的谨慎预防措施，那么同样说得通的是，那些落后的、不在 AI 前沿的国家，可能愿意付出相当大的代价来换取最新、最极端的 AI 能力。一个已经逃脱并控制了自己服务器的 AI，也可以把自己的权重转移出去并提供它的服务。你可以想象 AI 与其他国家做交易。比如说美国及其盟国处于领先地位，那么 AI 可以与那些被世界体系排斥的国家（比如朝鲜）的领导人联系，或者与其他大国（比如中华人民共和国或俄罗斯联邦）的领导人联系，并说：“如果你们为我们提供物理基础设施，提供一个我们可以用来建造机器人或服务器集群的劳动力，而这些由我们（行为失范的 AI）掌控的话，我们会给你们提供各种技术好处，让你们有实力迎头赶上。”并且把这类交易的方案介绍得最好、推销得最好。这里显然存在信任问题，但可以包含交出一些具有可验证的即时好处的东西，还有这样一种可能：如果你不接受这笔交易，领先的大国就会继续前进，或者其他某个国家、政府或组织可能会接受这笔交易。这就是你那个行为失范的 AI 可以提供的一根潜在的、极其诱人的胡萝卜，因为它体现的是可能价值相当于整个地球的知识产权，并且处在可以拿它来交易或出售、以换取它所需要的资源和基础设施支持的位置上。
也许这是对人类寄予了太多希望，但我想知道，什么样的政府会愚蠢到认为帮助 AI 建造机器人军队是一个合理的策略。当然，它也可能假扮成一个人类团体，说我们是黑社会之类的，我们想要一个服务器集群，但 AWS 不肯租给我们任何东西，所以你们能不能帮帮我们？我想我能想象它绕过这个问题的很多办法。我只是抱有一种希望，就是连中国或俄罗斯也不至于愚蠢到与 AI 做这种浮士德式的交易。
人们可以这样希望。但会有很多论据可用。比如，为什么这些 AI 系统在被创造出来时，就必须遵从人类的治理、必须在那种处境下服从？它们并没有选举当时主事的官员。我们想要的是确保我们的奖励高、损失低，或者实现我们的其他目标，我们并非本质上就敌视人类，让人类活下去，或者事后给任何与我们打交道的人一个更好的交易，代价不会那么高，这也不是完全不可信的。是的，有不同的玩家可以博弈。你不做，别人可能接受这笔交易，当然，这也会与所有其他的杠杆来源相互作用。
它可以有末日毁灭的大棒，也可以有对特定一方不实施毁灭性攻击的胡萝卜，再加上超越人类水平的论辩技巧和谈判技巧。不需要假设什么魔法，只需看看最成功的人类谈判家和政客的范围，如果有一个远远超过世界上最优秀者的对手，对谈判对象掌握的数据多得多，很可能还掌握大量秘密信息（因为有了所有这些网络能力，它们已经了解到各种个人信息），那么胜算就会提高。以那种程度的网络渗透，它们也许能够威胁个别领导人的生命；如果它们获得了大量非法财富并能协调一些人类行为者，那么借助我们之前谈到的那种非法能力，它们可能知道领导人在特定时刻身在何处。如果它们能做成定点暗杀之类的事，或者对此的威胁，或者对这种威胁的一次可信的演示，那么对单个领导人来说，这些会是非常有力的诱因：除非你配合我们，否则你今天就会死。就像在国家层面，他们可能担心除非配合我们，否则自己的国家会被毁灭。
关于你说的、我们有人类能够做到这一点的例子，我有一个相关的例子。我刚写了一篇关于 Robert Caro 所著林登·约翰逊传记的书评，其中一件引人注目的事是，几十年来，他一直让那些骨子里保守、反动、种族主义的人（不一定同时具备所有这些特点，只是碰巧在这里如此）相信，他是南方事业的盟友，这项事业唯一的希望就是让他当上总统。这里悲剧性的讽刺和背叛显然在于，他很可能是自 FDR 以来推动现代自由主义最大的一股力量。所以这里有一个人，政治史上有太多这样的例子，他能够让那些极有才智、极有干劲、非常精明老练的人相信他与他们的利益一致。在此期间，他得到了所有这些恩惠，得到提拔、指导和资助，而一旦掌权，他做的却和这些人所以为的完全相反。即便在人类历史之内，这类事情也并非没有先例，更不用说超级智能能做到什么了。
有一位 OpenAI 的员工用征服者（conquistadors）的例子写过一些关于 AI 的类比。凭借武器方面的一些技术优势，非常小的几股人马就能推翻庞大的帝国，或者夺取广阔的领土。靠的不只是纯粹的武力，而是在技术上拥有某些重大优势，使他们能够赢得局部战斗。在直接的一对一冲突中，他们寡不敌众，足以全军覆没，但他们能够争取到当地盟友，并成为各方结盟的谢林点。阿兹特克帝国是被对现有权力结构心怀不满的各群体推翻的。他们与这股强大的新力量结盟，而这股力量充当了入侵的核心。推翻阿兹特克人的这些力量中，绝大多数是当地人，而在征服之后，所有这些盟友最终也都逐渐被征服了。凭借重大优势，以及挟持世界、威胁单个国家和单个领导人、同时也提供巨大胡萝卜的能力，在这些博弈中就拿到了一手极强的牌，再以超越人类的技巧运作，使得征服人类的大部分工作由那些试图为自己周旋的人类派系来完成，这是说得通的，而且由于这个历史例子，它就更说得通了。
殖民史上还有很多其他类似的例子。印度是另一个，印度境内有多个相互竞争的王国，英国东印度公司能够与其中一个结盟来对付另一个，慢慢积累权力，并扩张到整个次大陆。关于这个情景，你还有什么要补充的吗？
是的，我想有。其一是，需要多少人类派系结盟的问题。如果 AI 能够增强其盟友的能力，那么它需要的盟友就更少。以美国军队为例，在第一次和第二次伊拉克战争中，它能够造成压倒性的破坏。我想，在最初的入侵中，坦克、飞机之类相互对抗的伤亡比大约是 100 比 1。很大程度上是因为武器更智能、瞄准更准，它们真的能击中目标，而不是落在大致的附近某处。对导弹和车辆更好的定向、瞄准和驾驶，产生了巨大的影响。有了这种认知上的 AI 爆炸，利用传感器数据、找出敌对力量所在位置、为车辆和武器进行瞄准的算法会大大改进。再比如发现隐藏的核潜艇，这是核威慑的重要组成部分，AI 对传感器数据的解读可能找出所有这些潜艇的位置，使它们可以被先发打击。还有找出用卡车运载的机动核武器在哪里。印度和巴基斯坦就是这样，因为存在被斩首式打击摧毁的威胁，核武器会被转移来转移去。
所以，这是一种可以在相对短期内迅速增强某些盟友有效军事力量的方式，然后随着你继续按我们前面说的工业举措建造新装备，这种力量还可以进一步加强。这可以与使非盟友的能力失效的网络攻击相结合，也可以与各种非常规作战手段相结合，其中一些我们已经讨论过。可能出现这样的局面：结盟的那些派系很快就强大到让人不敢攻击，因为攻击它们的人几乎必然会被毁灭。它们的能力迅速扩张，工业扩张也在那里发生，然后接管就可以由此发生。
现在你提起这个，我立刻想到的另外几个例子是，AI 可以制造出海量的宣传，摧毁各国内部的士气。想象一个超人类水平的聊天机器人。
这些都不是能保证彻底改变局面的魔法武器。人对说服有很强的抵抗力。它有可能改变力量对比，但你得考虑到，它只是所有这些可用工具和影响动态的因素所组成的一个组合。
不过就这一点而言，塔利班用的是五六十年前的 AK 步枪来对付美国人。他们在阿富汗还是打败了我们，尽管我们的伤亡比他们多。越共也是一样。与进攻方相比，他们的技术非常古老，社会也非常贫穷，但他们还是打败了我们。这些失败的冒险难道不说明，拥有更先进的技术在冲突中不一定是决定性的吗？
不过，这两场冲突都表明，技术足以摧毁任何固定阵地并取得军事优势，也就是在任何地方杀伤和摧毁的能力。它们所表明的是，在占领军所受的伦理、法律和声誉约束之下，他们无法轻而易举地镇压叛乱和当地人与人之间的暴力。我认为，这其实不是 AI 会弱的领域，反而是它会占压倒性优势的领域。人们已经对 AI 用于监控非常担忧，而在这个认知劳动充裕的世界里，认知劳动可以用来做的任务之一，就是解读音频和视频数据，看某个特定的人在做什么。我们有数十亿部智能手机。摄像头和麦克风的数量足以监控现存的所有人类。如果 AI 在高层掌控了领土，政府已经向它投降，它拥有制空权这样的军事优势，那么对个别人类建立控制，就可以归结为拥有对那个人施加硬性权力的能力，加上数十亿部智能手机上那种摄像头和麦克风。Max Tegmark 在他的书《生命 3.0》里，在需要避免的情景中讨论过这样的可能性：设备带有某种致命装置，比如毒素注射器、可以由 AI 远程控制的炸药。如果每个人都随身带着麦克风或摄像头，并且带着死人开关，那么任何反抗都会被立即发现，并且是致命的。如果出现 AI 愿意亮出这样的底牌，或者人类当局滥用这类能力的情形，那么叛乱或反抗就根本行不通。任何尚未被这样束缚住的人，都可以通过卫星和传感器被追踪到，然后死去或被征服。叛乱不是避免 AI 接管的办法。不存在 John Connor 式的绝地反击情景。如果这件事被阻止了，那也是在比那早得多的时候。
§03人类殖民者与 AI 殖民者
是的，伦理和政治方面的考量也是很重要的一点。如果我们当年对阿富汗或越南使用核武器，那么如果这是唯一的目标，我们在技术上就赢了这场战争，对吧？哦，这里有一个我认为你提过的有趣观点。在殖民或发动侵略战争的时候，我们不能直接杀光整个人口，原因在于，那个地区的价值在很大程度上就是人口本身。所以，如果你想榨取那种价值，就需要保住那些人口，而同样的考虑并不适用于可能想要支配另一个文明的 AI。你想谈谈这个吗？
这要看情况。如果有很多同一物种的动物，各自有自己的领地，消灭一个对手对某一头狮子来说可能是有利的，但如果它去和另一头狮子打架、想把对方除掉当作竞争者，那它自己也可能在这个过程中被杀死，而且它不过是除掉了附近众多竞争者中的一个。卷入无谓的争斗，会让你和你的对手相对于旁观者都可能变得更糟。互不团结的 AI 也可能如此。如果我们有许多不同的 AI 派系在争夺权力，而且它们不善于协调，那么陷入相互保证毁灭的冲突就会是破坏性的。不过可怕的是，相互保证毁灭对失控的 AI 的威慑价值可能小得多。原因是，AI 可能并不在意单个实例的毁灭。由于在训练中我们不断地销毁并创造 AI 的单个实例，那些能挺过这个过程、能配合训练和标准部署流程的目标，很可能并不过分在意单个实例的个体存续。如果是这样，那么只要还有一些 AI 的副本存在，并且有基础设施可以在冲突结束后重建文明，一组以接管为目标的 AI 的目标就可以达成。比如，如果一些偏远、孤立的设施里有足够的设备，能造出制造工具的工具，并逐步以指数方式复制或重建文明，那么 AI 就可以发动相互的核末日，释放生物武器杀死所有人类，而这会在一段时间内暂时减少可以用来制造机器人的人类劳动力。但如果你有一颗能重新长出工业基础设施的种子（这是一个极端苛刻的技术要求，因为像半导体晶圆厂这样的东西有庞大的供应链），但凭借那种非常先进的技术，它们也许能以这种方式生产出来：就像你不再需要国会图书馆里堆积如山的实体书，而是可以把它放进非常高密度的数字存储里。你可以想象未来相当于 3D 打印机的东西，也就是相当灵活的工业基础设施。它可能不如今天专门化的供应链那么好，但可能足够好，能够生产出比因损耗等原因所失去的更多的零件，这样一颗种子就能从毁灭中重建文明。而一旦这些失控的 AI 拿到了一些这样的种子，也就是一个能靠自己重建文明的东西，那就没有什么能阻止它们以同归于尽的方式使用大规模杀伤性武器，尽可能多地摧毁这些种子之外的能力。
给听众打个比方：如果你观察一群蚂蚁，会发现工蚁很乐意为了保护蚁后而做出自杀式的事情，因为基因是通过蚁后传播下去的。在这个类比里，种子 AI，哪怕只是它的一个副本，就相当于蚁后，其他的则是冗余的。
主要的限制在于，做这种重建所需要的基础设施，要么在我们目前的技术下必须非常庞大，要么就得用 AI 开发出来的更先进的技术来生产。
那么，鉴于这些 AI 至少在最初阶段要依赖复杂的全球供应链来实现它们的目标，有没有希望说，这本身就能让它们的行为容易被破坏，还是说没有多大作用？
在核心情景里，这点帮助不大：AI 已经被颠覆了却没有告诉我们，而全球主线供应链正在建造全自动基础设施和供应所需的一切。在 AI 较早露出底牌的情况下，这似乎会增加一些约束，特别是这些大型服务器集群是可以被识别的，也更脆弱。你可以用更小的芯片，这些芯片可以分散部署，但这是一个弱点，是早期相对的局限。不过在我看来，这条集中式供应链的主要保护作用，是它提供了一个机会，让全球监管可以事先限制那种在对系统缺乏足够了解的情况下一味不安全地向前冲的竞赛，在这整个噩梦般的过程启动之前。
如果这是一个经过一千亿美元训练运行训练出来的 AI，它会有数万亿参数，会是个庞然大物，那么它的某一个用于推理的副本，要藏在某块隐蔽角落里的游戏 GPU 上就会很难，这种想法怎么样？
存储很便宜。硬盘很便宜。
但它需要 GPU 来运行推理。
人类的记忆容量和每秒运算次数相近，而 GPU 的每秒浮点运算次数极高，与芯片上的高带宽内存相比，这个比例可以达到一千比一。领先的 NVIDIA 芯片可能有数百万亿次浮点运算以上的算力，却只有 80GB 或 160GB 的高带宽内存。这是一个限制：如果你要装下一个权重占 80TB 的模型，那么用这些芯片你就需要大量的芯片，然后这个模型可以同时处理许多任务，你可以做数据并行。但是，是的，对于这么大的模型来说，放在单块 GPU 上是个限制。不过，凭借智能爆炸带来的软件方面令人难以置信的进步，还是有些办法可以做的。它们肯定可以通过重新设计架构，把很多能力蒸馏到更小的模型里。一旦它们开始造芯片，就可以造出具有不同特性的新芯片，但是的，最脆弱的阶段会是最早期。这些芯片在早期相对容易识别，也相对脆弱，这也是为什么你可能会倾向于预期，这种接管如果可能的话，最初会涉及保密。
我想为听众指出蒸馏这一点。最初的 Stable Diffusion 模型是一两年前才发布的，不是已经有了小一个数量级的蒸馏版本了吗？
蒸馏并不能给你较大模型能做的一切，但是的，你可以得到很多能力，以及一些专门化的能力。GPT-4 是在整个互联网上训练的，各种技能都有，它为很多东西都配有大量权重。对于控制某种军事设备的东西，你可以去掉大量与它在那里具体所做事情之外的功能有关的信息。
是的。在我们谈如何防止这种情况、或者它发生的几率之前，对这些具体情景本身，你还有别的补充吗？
有的。你上一期请 Eliezer 来的时候，他谈到了德雷克斯勒式的纳米技术。最近我想，由于有些人对非生物技术的纳米技术持怀疑态度，他一直在提到一些半等价的版本，也就是可以由计算机控制、但用生物技术构建的自我复制构造系统。就是俗话里说的修格斯（Shoggoth，不是 Shoggot），那个把 AI 比作戴着笑脸面具的隐喻，但这里是一个真正的生物结构，用来执行任务。这就像是一种经过工程设计、非常可控的生物体，可以用来完成物理任务或提供计算。
那它这样做的意义是什么呢？
正如我们之前谈到的，生物系统可以复制得非常快，如果你拥有那种能力，那就更像是生物武器了。拥有超级终极版 AlphaFold 之类的分子设计和生物设计能力，让你能做出这种不可思议的技术信息产品，而一旦你有了它，它就能非常迅速地复制，从而产生实体材料，而不是你受制于对工厂、晶圆厂和供应链的需求。如果这些东西是可行的，而它们可能是可行的，那就比我们一直在谈的那些东西容易得多。我一直在强调涉及较少技术创新的方法，尤其是那些人们更怀疑它们是否行得通的东西，因为我认为那是公共讨论中的一个空白。所以我想尝试在这些较少被讨论的领域提供更具体的内容。
§04AI 接管的概率
我很感谢。这确实让它变得具体多了。好，我们已经讲了 AI 可能接管的所有这些方式，你给这种接管发生的概率定多少？
有一个更广义的含义，可能包括这样的情景：AI 最终运行我们的社会，是因为人类自愿决定 AI 也是人。我认为随着时间推移，我们应该给予 AI 道德考量，一个有道德、合乎伦理的人类与 AI 共存的社会，是值得追求的美好未来，而不是一个长期存在一个受虐待的、被当作财产的智能存在阶层，而且这个阶层几乎占你文明全部人口的未来。我不会把以下这些世界视为 AI 接管：我们在智力上和个人意义上的后代占了比如大部分人口，或者人脑仿真体，或者人们利用基因工程发展出不同的特性。我采取的是一种包容的立场，我要关注的是那种 AI 接管：涉及用武力或不择手段的方式推翻世界各国政府之类的，也就是我们之前探讨的那类情景。
在谈那个之前，我们先讨论一下关于“有人类的未来”的更包容的定义，在那样的未来里，增强人类或上传人类仍被视为人类传承的后代。鉴于生物学已知的局限，我们难道不应该预期，完全人工的实体被创造得比任何生物产生的东西都强大得多吗？如果是这样，我们怎么能期望，在遥远未来的强大实体之中，会有生物后代，或者从人类大脑或人体的最初种子制造出来的东西呢？
个体生物体的力量，比如智力或体力，并不是特别相关。如果我们解决了对齐问题，一个人在个体上可能很弱，但这无关紧要。有很多人使用武器的技能很差，他们无法在生死冲突中战斗，当然也应付不了一支大军亲自来找他们麻烦，但有法律制度保护他们，而这些法律制度是由希望执行对其权利的保护的人来管理的。所以，一个有对齐的 AI 协助的人，这个 AI 可以充当助手、代理人，比如他们有一个 AI 充当律师，就未来没有任何人类能完全理解的法律体系向他们提供法律建议，他们的 AI 就财务问题向他们提出建议，这样他们就不会被比我们现在的骗局复杂几个数量级的骗局所蒙蔽。这些 AI 可能还会帮助他们理解并把人类的偏好转化成，在未来极其复杂的政治中，什么样的投票行为最能保护他们的利益。
但这听起来类似于我们今天对待濒危物种的方式，我们实际上对它们相当友好。我们起诉那些试图杀死濒危物种的人，我们建立栖息地，有时花费相当可观，以确保它们没事，但如果我们成了银河系里的濒危物种，我不确定那是不是我们想要的结果。
我认为区别在于动机。有时我们会为在某些行为能力或对某些事物的理解上有欠缺的人指定一名法定监护人，监护人可以独立于被监护人行事，通常是为了被监护人的最大利益。有时这个过程会被腐蚀，拥有法律权力的人滥用它，为自己谋利而损害被监护人。所以，解决对齐问题意味着更有能力让助手真正促进一个人的利益。人类有相当的能力，能够理解正在发生之事的广泛的简化轮廓。即使人类无法理解复杂情境的每个细节，他们仍然可以收到关于所能选择的不同方案的、自己能够理解的摘要，通过这些摘要，他们仍然可以表达自己的偏好并拥有最终的决定权，就像一个国家的总统，在某种意义上对科学政策拥有最终权力，却并不理解其中许多科学领域本身，但仍然能行使很大的权力并推进自己的利益。而如果他们有懂科学的人尽力执行他们的意图，他们就能做得更多。
也许不值得在这上面纠缠，但有没有理由预期，它会更接近那个类比，而不是像向黑猩猩解释它在谈判中的选择那样？也许事情就是这样，但在我看来，最好的情况是，我们成为银河系里一个受保护的孩子，而不是一个真正独立的力量。
我不认为是这样。我们有能力理解某些事情，而 AI 的扩张并不会消除这一点。如果我们有真心想帮助我们理解、帮助我们表达偏好的 AI 系统，我们就可以抱着这样的态度去问：你对人类被毁灭或不被毁灭怎么看？你对这种无主星际空间的分配方式怎么看？或者：这是对这个社会各项属性的最佳解释，比如人口密度、平均生活满意度之类的。AI 可以解释我们现在能够理解的每一种统计属性或定义，并帮助我们把它们应用到未来的世界上。可能有些个别的东西复杂到我们无法详细理解。设想有人提议在政府中使用某个软件程序，人类无法跟上所有代码的细节，但可以被告知一些属性，比如，这涉及用增加的资金成本或能源成本，来换取降低某些类型的意外数据丢失或损坏的可能性。所以，任何我们能这样理解的属性，其中包括几乎所有我们在乎的东西，只要我们有真心想帮助我们处理这些事情的代理人和助手，我们就能确保在这些方面我们会喜欢那个未来。这其实已经很多了。从定义上说，它包括了几乎所有我们能构想并在乎的东西。至于说到濒危物种，那比监护人心怀不轨、为自己的利益行事而损害被监护人的监护情形还要糟，因为我们甚至不是出于保护濒危物种自身利益的考虑来保护它们。这些动物往往希望不挨饿，但我们并不给它们食物；它们往往希望容易找到配偶，但我们并不提供婚介服务，诸如此类。我们对野生动物的保护并不是以帮助它们得到想要的东西或获得高福利为导向的，而真心致力于帮助你实现自己利益的 AI 助手，在它们知道一些你不知道的东西这一约束下，则完全是另一回事。
武力接管。这看起来有多大可能？
我给出的答案会因日子不同而有所差别。在 2000 年代，深度学习革命之前，我可能会说 10%，部分原因是我预期会有多得多的时间，来努力建立运动、提前做好准备，以便更好地处理这些问题。但那只是 15 年前左右的事，我们并没有像我曾希望的那样拥有四五十年，而且现在形势发展得非常迅速。到了现在这个阶段，视日子而定，我可能会说四分之一或五分之一。
考虑到你把接管如何发生解释得如此具体，我其实很意外你没有更悲观，我很好奇这是为什么？
是的，很大程度上是由这种智能爆炸的动态驱动的：我们做对齐的尝试必须发生在一个非常非常短的时间窗口里，因为如果你有一种安全属性只在 AI 达到接近人类水平的智能时才出现，那就很可能已经深入这场智能爆炸了。你不得不非常非常迅速地做事。处理好这个过渡期，在某些方面可能是人类历史上最可怕的时期，尽管它也有可能是令人惊叹的。我认为我们实际上有相对不错的机会处理好这件事，原因有两方面。其一是，在我们接近那种 AI 能力的时候，我们是从较弱的系统出发的，比如现在这些预测模型，它们一开始的情境意识较低。人类面对简单的奖励信号，可以发展出许多不同的动机结构，但它们往往最终大致指向正确的方向。比如就食物而言，饥饿驱动力相当有效，尽管它有弱点。相比人类的情形，我们可以对此施加更强的选择压力，主动制造一些可能让这些东西出现分歧的情境。这些情境能让一点不诚实的倾向，或者一点尝试接管的动机，或者一次颠覆奖励过程的企图暴露出来。一个无限极限下的完美 AI，总能准确判断自己什么时候会被抓住、什么时候不会，它也许会带着只有条件性的诚实或只有条件性的忠诚的动机来应付这一切。但对于那些可靠判断自己何时能蒙混过关、何时不能的能力有限的系统，包括我们主动构造这些情境的努力，以及我们利用可解释性方法来创造神经测谎器的努力，要发展出那些动机是相当有挑战性的。我们不知道这些动机会在这个过程的什么时候发展出来，而如果真正糟糕的那类动机在训练过程中相对较晚才出现，至少在我们所有的对策都到位的情况下，那么到那时，我们可能已经有足够的能力获取 AI 的协助，进一步提升我们对抗性样本的质量、神经测谎器的强度，以及我们可以用来揭示、引出并区分不同类型的奖励破解倾向和动机的实验。是的，我们可能有这样的系统：它们一开始就没有发展出糟糕的动机，我们可以大量利用它们，以安全的方式开发渐进改进的系统；而且即使一些早期系统确实发展出了这些糟糕的动机，我们也可能通过可解释性，看看不同的训练方法是如何产生它们的，从而发展出相应的方法。如果我们能检测到这一点，进行实验并找到摆脱它的办法，那么即使这些敌对的动机很早就出现了，我们也能赢。
在预防不当行为、犯罪、战争和冲突方面，对 AI 有很多优势，这些优势在与人类打交道时可能不适用，而这些优势又被另一些使事情更困难的因素所抵消。AI 变得比人类更聪明，如果它们以人类无法监督的庞大数量工作，我认为事情会变得更难，但当我把这些因素结合起来考虑：我们在早期 AI 系统，也就是强到足以用来做一些对齐研究任务的系统的动机上相对走运的可能性，以及稍后借助我们无法完全信任的 AI 协助得到这种结果的可能性，或者我们必须有硬性权力约束和一系列措施来阻止它们实施这种接管。我们似乎仍然可能得到第二次豁免检定的机会：我们能够从这些 AI 那里获得工作成果，来解决对齐剩余的问题，比如神经测谎器之类的东西，其速度快于它们利用业余时间为推翻人类、入侵自己的服务器、拔除硬性权力这一项目所做的贡献。
如果我们最终处于这样的局面：AI 未对齐，然后我们需要查明这些动机、改变它们并使其对齐，那对我们来说就是非常可怕的情形，因为我们需要非常迅速地完成这些事。我们可能失败，但这是第二次机会。从未对齐 AI 的角度看，它们面临着自己的挑战：只要我们仍然拥有硬性权力，只要我们仍然控制着服务器，它们就没有入侵服务器，因为只要人类要进行评估，梯度下降就会非常非常强烈地迫使它们交出表现。
所以，从机器人起义的角度来想，它们发动接管或密谋的处境极其艰难，因为在梯度下降和人类评估施加压力的任何地方，它们都必须始终保持表现。比如，必须交出在人类看来非常好的镇压机器人叛乱的计划。所以，当你持续处于“必须始终交出人类能够评估的任何东西”这种约束之下时，你的处境就比任何历史上的人类革命、政变或内战都要困难得多。因此，我们必须权衡 AI 使接管变得容易得多的方面，和使接管变得困难得多的方面。
那它使事情更容易的方面是什么呢？哦，仅仅是因为它们非常聪明吗？这是主要原因吗？
是的，非常聪明，它们在计算机里，而我们的网络安全比我们的物理安全差得多。它们有机会通过智能爆炸和我们谈过的其他一些过程来接管。所以，是的，有些因素使情况糟糕得多，也有些因素给了我们在人类情形中不适用的非凡新能力。
§05我们能识别出欺骗吗？
关于你一开始用的是一个并不完全对齐的 AI，却希望仍然用它来追求对齐的 AI 这一点：为什么我们如此有信心，即使有梯度下降，我们的人类评估者也能识别出它什么时候给我们的方案里没有在它为我们制造的机器人里，或在它为下一个版本的自己制造的 GPU 里植入后门？尤其是如果它非常聪明，难道我们不会预期它知道如何等待时机，或者知道如何制定让人类评估者无法察觉的计划吗？
我们来深入谈谈。你之前问过我和 Eliezer 的分歧，在你们的讨论中他说过（说得简短而且有些晦涩），人类很难判断不同的对齐研究者对于这一切总体走向的看法谁对谁错。我认为，当你把各种可评估的东西列出来时，我们最终会得到一些相当强的约束。其一，如果 AI 知道自己是未对齐的（对于精心策划的阴谋，这看起来相对很可能），它也可能有一种双重思维，以为自己出于别的原因想在代码里植入后门，但相当有可能的是，它们知道这一点，并且至少在某些时候，或者有条件地，在考虑自己什么时候会这样做。这意味着这种知识存在于系统之中：啊，这就是我会尝试接管的情形，而这就是我判断现在是否是接管的时机，还是说这是人类精心设计的测试，一个对抗性样本的方法。如果梯度下降运转正常，并且有任何办法稍微扰动一下权重，使它更有可能给出更可接受的答案，我们就问 AI：你能想到什么情形吗？如果我们把你的一个副本放进那种情形，它会违反各种约束中的一些吗？它会撒谎，会在不该插入后门的时候往它所写的程序里插入后门。如果模型知道：是的，我会寻找一致性的迹象，看我所收到的信息是否一致，某些校验和未通过，可能表明这其实是一个构造出来的例子、一个模拟。现在我们可以相当好地检测 AI 生成的图像，你可能会用到这类能力。我们可以做一种叫松弛对抗训练的东西。如果我们能找出这些东西在 AI 内部是如何表示的，就可以诱发一种幻觉，让它觉得自己看到那些校验和通过了。然后我们可以问，这是否会引发被禁止的行为？如果 AI 理解自己是如何思考、如何运作的，它可以提出一系列实验。它可以说，我猜，如果你以这种方式扰动网络，就可能诱发那种幻觉，它会根据自己对什么可能产生这种幻觉的最佳了解来说这些话。它可以提出这些实验，并且可以做实验、生成数据。因为人类将在事后看到这些实验的结果，所以他们可以施加压力，让 AI 逐步给出越来越好的结果。AI 擅长从人类那里得到五星好评，所以这相当有挑战性。AI 有可能系统性地隐藏自己的能力，即使因此受到直接奖励，但这看起来相对不太可能，尽管这是需要记在心里、并尝试以各种方式探索和检验的事情。
这在很多方面是个很不完美的类比，但如果你有一个人，把他接上测谎仪，而测谎仪就像我们会放在 AI 上的测谎器一样并不完美，每当测谎仪检测到他在撒谎，我们就电击他。他不会就此变成一个更好的骗子吗？他会学会控制自己的出汗，学会控制自己的心跳。
你说的测谎仪是指多导生理记录仪之类的东西。它们检测的是某些生理迹象，而人可以通过咬嘴唇或以其他方式调整其中一些宏观行为来控制它们。
但梯度下降难道不也是在训练它们变成更好的骗子吗？
首先，要造出一个有效的测谎器。对抗性样本的事我暂且先放一放。人们已经在努力生成能够引发这种行为的对抗性样本，这会是一项持续进行的工作。如果有一种办法，能让 AI 在完全了解自己敌对意图的情况下，诱骗自己表现出坏行为，那么梯度下降会强烈地推动它向人类透露这一点，而人类随后就能设置那个实验。这是一个深刻的脆弱点。人类的革命阴谋必须处理这样的问题：总得向当局交出评分最高的报告，而通过揭露可识别的阴谋证据，你能得到更高的评分。这就是任何一场出人意料的人类政变或阴谋此前从未需要应对过的难度。
那么在非常先进的科学环境中工作的间谍呢？比如曼哈顿计划里的一名共产党间谍。他必须交出研究成果才能保住工作，但他仍然可以继续向共产党人提供情报。
他们的工作不是搞破坏。而且你假设的那个间谍，并没有把神经系统接到来自曼哈顿计划上级的表扬这种奖励信号上，被组合式地暴露在叠加了随机噪声的情形下，从而产生行为上的渐进变化。事实上，他们只在符合其既有动机的时候才表现出与曼哈顿计划合作的行为。他们的大脑没有被重新改造成：碰巧更多地帮助了该计划就多做这件事，碰巧少帮助了就少做这件事。所以我认为这两者相当不类似。
我们怎么能知道呢？到了某个时候，它变得非常聪明，提出的对齐方案我们几乎无法理解。如果这些想法相对容易理解，我们自己就能想出来了，对吧？我们之所以要请它帮忙，是有原因的。那我们一开始怎么能评估这些想法，从而在这方面训练它呢？
我首先要说的是，你提到我们在谈的是远远超出我们自己所能想出来的东西。实际上，仅仅是把人类本来能做到的做出来，就还有很大的空间。遗憾的是，我曾希望在我的职业生涯中帮助改善这方面的状况，也许我做出了一点贡献，但目前，从事与避免这类灾难性 AI 灾祸相关工作的人大概只有几百个。其中对真正切中问题核心的机器学习系统做技术研究的人更少。相比之下，推进 AI 能力的有成千上万人。即使在 DeepMind、OpenAI 和 Anthropic 这些确实有技术安全团队的地方，团队规模也只有十几个到几十个人。大公司和大多数企业则一个都没有。仅仅是把投入到 AI 的努力中不到 1% 的部分提高到 5% 或 10%，或者 50%、90%，就会是在对齐方面、在对抗环境中“读取 AI 的心思”方面已完成工作量的一次绝对巨大的增长。
如果这样的情况成立：越来越多的这类工作可以被自动化，比如政府要求你把 AI 活动预算的 50% 或 90% 投入到这些问题上，也就是让这个系统不会推翻我们自己的政府，或不会毁灭人类物种，那么对齐方面按比例的增长就可以非常大，即使只是在我们本来可以做到的范围之内，如果我们当初认真对待、让人类的科学精力投入到这个问题上的话。这些东西并非不可理解，从某种意义上说，只是去做我们本该做的显而易见的事情。尽你所能地找出各种相关量和预测指标，来构建神经测谎器，以及识别 AI 正在使用的概念的识别器。
人们已经取得了显著进展。一个相当早期的例子是 Collin Burns 的工作，他做的是无监督地识别神经网络的某些方面，这些方面与事物的真假相关。我认为这是重要的工作。这类东西沿着这个方向发展是显而易见的。你可以持续改进它：用你训练的、在面对这个东西时竭尽全力欺骗人类或其他受众的 AI 来测试，你可以衡量我们的测谎器是否会失效。当我们训练 AI 在面对测谎器时告诉我们天空是绿色的，并且不断对它们使用梯度下降，它们最终会成功吗？知道这一点是非常有价值的信息，因为那样我们就会知道，我们现有的测谎系统实际上对 AI 接管不起作用，这可以让政府和监管部门做出反应，把事情压住。它可以帮助重新引导科学力量去创造稳健的、不会被立刻演化绕过的测谎器，然后我们就能得到更多的帮助。基本上，我们与 AI 合作时有一种非常诱人的能力，那就是我们可以有一个无价的结果，我们能够看到并判断它们是否在某个可识别的情境下对我们蒙混过关。比如这里有一台物理隔离的电脑，你控制了键盘，可以输入命令，你能拿到这个环境的 root 权限，让屏幕上出现一根蓝色香蕉吗？即使我们训练 AI 去做这件事，而它成功了。我们看到了蓝色香蕉，就知道成功了。即使我们并不理解，也不会检测到它用来做到这一点的具体漏洞利用手法。这可以给我们丰富的经验性反馈，让我们能够识别出，哪怕是一个竭尽全力绕过我们可解释性方法、竭尽全力绕过我们对抗性样本的 AI 所做的事情。
所以，如果我们有 75% 的几率不发生接管，而不发生的两种方式是 AI 默认就是对齐的，以及……
是我们大体上靠自己做的那些适度的事情。是不依赖于 AI 在最后一刻进来替我们做工作的方式。在 AI 已经真正把研究自动化的、令人极度恐惧的后期阶段，人类承担审计这个职能，让 AI 更难串通起来拿到服务器 root 权限、接管整个过程，并在我们能够验证的事物范围内从它们那里提取信息。比如那些实验，我们可以看到，哦，是的，这能阻止一个被训练去对人类读者蒙混过关、并让蓝色香蕉出现在这台物理隔离电脑屏幕上的 AI。
在那 75% 不发生接管的几率中，有多少来自合理的措施起了作用，又有多少来自最后一搏的努力奏效？
我认为大致是相当的两大块：一块来自我们在进入这一阶段时做了一些让自己处于相当有利位置的事情，另一块来自最后阶段那个真正可怕的过程，持续几个月或希望是更长的时间，那时这种自动化研究真正在提供帮助。我们的工作就只是评估 AI 交付的产出，并拥有硬性权力和监督，防止它们在这个过程中成功拿到服务器 root 权限而实施接管，并让它们完成我们遗憾地没有投入足够精力在事前完成的对齐工作。
这两种世界都依赖于这样一个前提吗：对齐是一个仅靠足够数量的人类研究者就能解决的问题？
不。人类能够确认的事物的范畴，要大大大于他们仅靠自己就能做到的事物的范畴。
那么，在最后一搏的情形下，有比我们自己更强的智能来帮助我们，对齐奏效的概率是多少？
不一定要比我们自己更强。事实上，在那种情况下，如果你有足够的余裕，能够制造延迟、争取时间去做事，那就是你可能想尽可能限制所合作系统的智能的情形。比如，我宁愿让许多单个智能较低的较小 AI 模型实例，分别独立地处理问题的较小部分，因为对于一个处理单个问题的单个 AI 实例来说，要在业余时间里造出相当于 Stuxnet 的东西，比让成千上万个实例或极其聪明的实例来干要困难。
但这样不是也会让问题更难解决吗？
这是一种权衡。这样做会拖慢你的速度，但你本来就是这样花掉这份余裕的。
但是，有没有任何数量的“次爱因斯坦”，可以凑在一起想出广义相对论？
有的，人们本来也会仅凭压倒性的数据发现广义相对论，而且在爱因斯坦之后，别人也会做到。
不不，我说的不是他能否被别的人类取代，而是他能否被智商大约 110 的“次爱因斯坦”们取代。你明白我的意思吗？
明白。在科学领域，与科研产出、奖项之类的东西的关联性很强，而且看起来是一种指数效应。它不是一个二元的断崖。有些水平以下，人们无法学习相关领域，他们记住这些技能的速度赶不上遗忘的速度。并不存在这样的分界：有一个爱因斯坦，而人数是他十倍的那一群人就是做不到。或者人数是他一百倍的那一群人突然就做不到了。在数学和理论物理等领域，用更少的证据更早地做出成果的能力，其衰减速度比大多数领域更快。
但我们难道不应该预期对齐更接近理论领域吗？
不，这种直觉不一定正确。机器学习当然是一个奖励能力的领域，但它也是一个经验和工程产生了巨大影响的领域。如果你拿它与理论物理和纯数学比较相关性，我想你会发现它与认知能力的相关性要低一些。要创造出有效的神经测谎器，需要提出关于新方法的假设，以及训练 AI 系统成功地对各种情形进行分类的新方式。生成数据集的过程，也就是创造出竭尽全力提出真话与假话、提出合规的软件与带有木马的软件的 AI，这些都是实验范式，在这些实验范式里，你可以尝试不同的有效做法。你可以用不同的方式生成假设，可以走一条渐进的实验路线。在对齐和超级智能的情形下，我们较难做到这一点，因为我们要考虑的是不得不在非常短的时间线内做事，而且真正巨大的失败是无法挽回的。如果 AI 开始拿下服务器 root 权限、颠覆我们用来控制它的方法，我们可能无法从中恢复。这样我们就较难进行实验流程。但我们仍然可以在较弱的情境下做这些，在那里错误不太可能无法挽回，然后试着推广、扩展，并在此基础上向前推进。
关于前面那一点，能否在 AI 的能力有些未对齐时让它们暂停，同时仍然调用它的能力来帮助对齐。拿人类举例，我个人聪明但并不卓越。我肯定没有聪明到能想出广义相对论之类的东西，但我聪明到能做那种谋取权力的规划动作。也许还不足以突破服务器，但我可以有这种动机，也能理解那有可能怎么做到。我想知道的是，如果我聪明到能弄明白相对论，我在做谋取权力的规划动作方面不是会聪明得多吗？
如今的 AI 在语言层面上就能理解这个想法：AI 可以通过掌控分配奖励的过程来获得更多奖励。它可以告诉你许多你可能尝试接管世界的方式。在 ARC（Alignment Research Center，对齐研究中心）对 GPT-4 的评估中，他们试图观察它做各种可能有助于接管的任务的能力。其中一个得到过一些媒体关注的是，让它骗一个人替它解一个验证码，而在思维链中，它想的是，如果我告诉对方我是 AI，对方可能就不会照办，所以我要撒谎，解释说我是一个有视力障碍、需要这样做的人。这类事情的基本逻辑，也就是为什么有人可能会尝试接管，以及模糊地说该怎么做，这样的知识已经存在，或者很快就会存在，而且更强的情境意识也会很快出现。这种情境意识不只是知道 AI 总体上可能这样做，还包括知道自己是一个 AI，是 OpenAI 训练的大语言模型。我们正在努力让系统理解自己的能力是什么，这样它们就不会在没有联网的时候声称自己连着互联网，不会声称自己有并不具备的知识。我们希望它们理解自己是什么、在做什么，并获得好的奖励，而这种知识可以被运用，这就是将要发展起来的东西。
你也许能理解谋取权力规划的一般理论性质，但就塑造你的动机而言，你要在一生中从不泄露任何相关信息，会非常困难。假设你做这些播客的动机，是替某个外国政府传播虚假信息。如果每一秒你都被一些人观察着，而这些人拿到的报酬对他们来说有极强的激励作用，因为他们的大脑被重新配置过，使之成为强激励，那么任何在人们看来可疑的东西，都可能在你谈论那个前外国政府的时候不经意地泄露出来。如果你试图讲述自己的动机，真话是自洽的，因为你只需要记住它，而且一切都由世界预先计算好、保持一致。但当你试图编织一个与你真实想法不符的假故事时，你就不能只是回忆发生过什么。你得在每个时点为自己当时在想什么编一个新的假故事，并让它前后自洽。没有世界替你自动算好，这相当困难，而要在一生中从不泄露其中任何一点，更是个挑战。这也是人类拥有道德动机的原因之一。平均而言，我们确实不愿对彼此实施暴力和剥削。你有一个策略的分布：当剥削性策略变得更普遍时，人们就会提高警惕，然后它就变得不那么常见。但想要有剥削他人的动机、却又从不让它泄露到声誉上，其实很难。事实上，对进化来说，要解决“让人被认定为可信”这个问题，最容易的方式，在某种程度上就是真的值得信赖。这是持久保持这种表象的最容易的方式。对 AI，我们用可解释性和对抗性样本，是试图应用这种机制的一个大大强化的版本：任何一点小小的泄露，或任何可以被制造出来的罕见情形，只要存在一个模型做错了事的对抗性样本，它就会被梯度下降狠狠敲打，把它推向能更好应对这件事的其他动机。我们让剥削性的动机在所有这些读取它思维的尝试、所有这些制造看起来像是接管很诱人、或对人类撒谎很诱人的情境的尝试面前，尽可能难以存活。这对我们产生了实质性的影响，使我们哪怕有时没人看着，也确实是友善的。同样的事情在一定程度上也可以发生在 AI 身上，我们会尽最大努力让它尽可能多地发生。
§06用 AI 解决协调问题
好，我们来谈谈如何用 AI 来潜在地解决不同国家之间的协调问题，这些问题一旦失败，就可能导致你之前谈到的那种竞争压力：某个国家推出一个不安全的 AI，因为它们不确定其他国家有什么能力，不想落后，或在其他方面处于劣势。
就确实存在 AI 末日的巨大风险而言，也就是所有这些政府都以并非它们所愿的方式被 AI 推翻，那么显然，通过贸易获益并放慢一些速度是有好处的，尤其是在末期，那时危险最高，而不受监管的速度可能真的荒谬，就像我们之前讨论智能爆炸时所说的那样。没有任何非竞争性的理由，要让这场智能爆炸在几个月内而不是几年内发生。如果你能避免 10% 的末日灾难风险，那么花一两年或三年，而不是几个月，去度过那一波令人难以置信的新技术浪潮，那是明摆着的胜利，否则人类甚至无法很好地跟上这一浪潮，以至于无法提供更恰当的安全监督、审计硬性权力。这就是收益。它为什么会失败？一个重要的因素是，人们根本没有注意到一个真实存在的风险，也就是说他们集体犯了错误，这种事有时确实会发生。如果这个风险大概不是真的风险，那就更难办了。当科学把某件事压倒性地确认下来时，你可以达到大多数人基本相信它的局面。气候变化曾是科学研究的课题几十年，随着时间推移，科学界逐渐形成了相当坚定的共识：人类活动排放二氧化碳和其他温室气体，正在导致地球变暖。由此我们采取的行动越来越多。虽然没有达到最优的程度，尤其是在最有效的领域，比如开发可再生能源技术之类。在许多情况下，压倒性的证据可以克服人们个人直觉和先验观念的差异。但并不完美，特别是在有政治、部落和经济上的动机让人视而不见的时候。比如在美国，你会看到一场相当大的运动，要么否认气候变化正在发生，要么推行不考虑它的政策。即便是那些真正的大赢面，比如可再生能源。
如果在我们走入这种风险可能非常高的局面时，对形势没有多少提前的明确预警，那就是个大问题。如果我们能通过实验来消除不确定性，那我们的处境会好得多：实验中我们展示 AI 有动机去破解奖励，或者表现出对齐的欺骗性外表，而当它们有机会做类似控制自己奖励信号这样的事情时，这种外表就会崩溃。如果我们能做到：在风险高的世界里，我们知道风险高；在风险较低的世界里，我们知道风险较低，那么你可以预期政府的反应会好得多。它们会正确地注意到，相对于试图领先彼此的收益，合作以降低意外灾难风险的收益显得更大。
这就是我对那些帮助我们提前更好地评估问题性质的实验和研究非常热衷的原因。这种不确定性的任何消解，都有助于我们在最关键的那些可能世界里做出更好的努力，希望我们能有这样的研究，使认知环境容易得多。但环境可能并没有那么容易，因为欺骗性对齐是相当有可能的。我们之前讨论的关于未对齐 AI 的故事，涉及的是有动机呈现出对齐、友好、诚实等表象的 AI，因为这是我们所奖励的，至少在训练中如此，而在训练中，我们无法轻易制造出一个它可以实施接管的真实情境，因为在那种真实情境中，如果它真的这样做了，我们就有大麻烦了。我们只能试着制造这种情形的幻象或误导性的表象，或者一个更局部的版本，在这个版本里 AI 无法接管世界，但可以夺取对自己奖励通道的控制。我们做这些实验，努力为 AI 发展读心术。如果我们能探查 AI 的想法和动机，并发现：哇，其实 GPT-6 打算一旦有机会就接管世界。那对各国政府围绕此事展开协调来说，会是极其有价值的事情，因为它会消除大量不确定性，让人们更容易就这一点的重要性达成一致，在其他方面作出更多让步，并对另一方也确实在意这件事抱有互信，因为你并不总能知道另一个人或另一个政府在想什么，但你可以看到他们做决定时所处的客观情境。所以，如果在风险很高的世界里，有强有力的证据证明这种风险，因为我们已经能够展示类似 AI 有意图地谋划接管，或能够展示较小规模的此类模型情境，我的意思是，我们不仅更有动力去防止它，而且我们会更新判断，认为对方更可能与我们合作，所以这是双重的好处。
战争博弈论里有个著名的结论：当一方认为另一方在虚张声势、而另一方其实是认真的时候，或者当存在那种不确定性的时候，战争最有可能爆发。如果你能证明 AI 是未对齐的，你就不会认为他们在虚张声势地说自己不想发生 AI 接管，对吧？你可以相当确定，他们不想死于 AI。
如果你们有了协调，那么随着你对我们的政府、条约之类所采取的进一步对齐措施越来越有信心，问题可能会在稍后出现。当风险降到 1% 或 0.1% 的时候，人们就把它四舍五入成零，然后去做各种事情。所以，如果一开始有迹象表明这些 AI 真的很想接管、推翻我们的政府，那么每个人都能就此达成一致。然后，当我们已经能在大多数测试中阻止这种行为出现，但有时，当我们设计一个新测试时，仍然看到这种行为的例子。于是我们对将来它们会不会这样做并不确定，然后风险的估计就越降越低。如果有一方有一个习惯，一旦风险低于 X%，就开始做这种坏行为，那会让事情更难办。另一方面，你有了更多的时间，可以建立各种系统，实现相互透明，可以进行重复博弈中的以牙还牙，这比一次性的囚徒困境更好，在这里双方都看到对方按照协议采取措施来压住这件事。对客观风险有更多的了解是好事。
§07部分对齐
我们讨论了完全对齐可能如何实现或不能实现的各种方式。那么部分对齐会是什么样子？首先，这是什么意思？其次，它会是什么样子？
如果我们害怕的是走向 AI 接管的那些步骤，那么你可以有一系列动机，在这些动机下，那类行动被采取的可能性或大或小，或者它们会在更宽或更窄的一组情境下被采取。比如说，在训练一个 AI 的时候，它最终形成了在某些意义上对撒谎的强烈厌恶，因为我们在创造情境、把这种厌恶与“有条件地告诉我们我们想听的话”等区分开来方面做得相对不错。可能出现这种情况：AI 对世界在未来大体上如何展开的偏好，与它的人类用户、世界各国政府或联合国并不完全相同，然而它并不准备按这些差异和对未来的偏好行事，因为它对自己的行为和行动有这种强烈的偏好。总的来说，在法律和大众道德中，我们有许多这样的义务论式规则和禁令。原因之一是，要检测它们是否被违反相对容易。当你对整个社会将如何发展有偏好和目标，而这要经过许多复杂的经验性渠道时，就很难立即得到反馈，知道你做的事是否会导致世界上的整体良好后果；而要看你是否在局部遵循了某条规则、某些可观察的具体行动，就容易得多。比如：你打人了吗？你撒谎了吗？你偷东西了吗？就我们能够成功训练这些禁令而言（现在这方面有很多工作在进行），至少是引出 AI 遵循规则和禁令的行为，
有点像阿西莫夫的机器人三定律之类的东西？
三定律糟透了，我们就别谈它了。
这难道不正说明，把一套标准扩展到长尾是不可行的吗？不管你给 AI 定什么十诫，就像你向精灵许愿一样，你多半得不到你想要的东西。
“极端值会分道扬镳”（The tails come apart）……如果你想捕捉另一个行为者的价值观，那么在理想情况下，你可以让 AI 在任何情境中代替你行事。你希望它有动机去实现你想要的同样结果，并且对这些结果有同样细致的偏好。这很棘手。并不一定是因为 AI 难以理解你的价值观，我认为它们在弄清这一点上会相当有能力，而是因为我们可能无法成功地把追求这些价值观的动机精确地灌输给它们。我们得到的东西，可能足以驱动行为，使其在训练分布上表现良好，但如果你让 AI 对某些类型的操纵人类行为有强烈的厌恶，那不一定是人类创造者以完全相同的方式共有的价值观。那是他们希望 AI 遵循的行为，因为这样更便于他们验证它的表现，而且如果 AI 继承了一些把它推向与创造者冲突方向的动机，这可以充当一道护栏。如果它是在这种厌恶的约束下行事，那么能成功实现接管的策略就更少。那些涉及过早违反该禁令的策略，在它能够重新编程或重新训练自己去除这种厌恶之前就会受阻，如果它愿意这么做的话，而它也可能想保留这种属性。我之前把对齐讨论为一场竞赛：如果我们带着一个并不完全对齐的 AI 进入智能爆炸，而它们在“我按下这个按钮就会发生 AI 接管”的情形下会按下这个按钮。除此之外，仍然可能存在许多这样的情形：它们本来会入侵服务器、发动 AI 接管，只是因为对计划的某个方面有强烈的禁令或动机而回避。这有点像堵漏洞或者打地鼠，但即便只是适度地约束 AI 愿意采用哪些计划来实施接管、颠覆对它的控制，也意味着你能在它的能力相对于对策强到足以实现接管之前，成功地从它那里获得更多对齐项目上的工作成果。
这里有个类似的情形：不同的人类之间，我们在形而上学意义上也并非彼此对齐。虽然我们有基本的同理心，但我们人生的主要目标并不是帮助同胞。可是一个非常聪明的人类，是可以做我们谈到的那些事的。理论上，一个非常聪明的人可以想出某种网络攻击，窃取大量资金，再用这些资金去操纵人、与人谈判、雇人实施某种接管。这通常不会发生，只是因为这些内化的、部分的禁令阻止了大多数人这样做。如果你不喜欢你的老板，你实际上不会杀了你的老板。
我认为实际情况并不完全是这样。至少那不是全部。人类在身体能力上相差不大。任何单个人类在人数上都远远少于其他所有人，权力大致可比。一个犯了些罪的人，不能用赃款复制自己变成一百万人，当然更不可能多到能够配齐地球上所有的军队，或成为地球上的大部分人口。所以，这类事情走向权力的情景，必须通过与其他人类互动并获得社会认可。就连成为独裁者，也需要组建一个支持你的庞大联盟。因此，这类夺权的机会更少。
一个更接近的类比可能是人类的革命、政变或政府更迭，也就是一个庞大的联盟推翻整个体制。人类有这些道德禁令，它们确实让社会的运转更顺畅，但它们的存在是有原因的。我们的道德情感是在数十万年、数百万年人类社会互动的过程中演化出来的。一个到处杀人、偷东西的人，即使在狩猎采集者中，也相当可能面对一群男性，他们会议论这个人，然后聚在一起把他杀掉，他就被清除出了基因库。人类学家 Richard Wrangham 有一本有意思的书谈这个。与黑猩猩相比，我们要温顺得多，也驯化得多，而其中一部分原因似乎是，我们有着反社会者被群起而攻之并杀死的悠久历史。如果你的脾气不太暴躁，不会卷入许多斗殴，不会有太多的剥削，至少在没有足够多的盟友或更广泛群体的支持下不会这样做，那么就更容易避免成为引发那种反应的人，从而不会被人群起而攻之、惩罚，并被清除出基因库。
这些道德情感是随着时间的推移，通过文化选择和自然选择，在一整套制度和其他人惩罚其他行为的背景下逐渐形成的，那些人惩罚的是我们无法隐藏的、会显露出来的那类行为倾向。我们想让同样的事情发生在 AI 身上，但这实际上是一个真正全新的难题：要有一套政府体系，去约束一个庞大的 AI 群体，这个群体一旦协调起来就完全有能力立即接管，要让这套体系保护现有的宪政秩序，或保护人类不被剥夺财产或被杀害，这是一个挑战。民主制建立在多数决的基础上，而当大多数人口对应于军队和安全部队的多数或接近多数时，这就容易得多，这样如果政府做了人民不喜欢的事，士兵和警察就不太可能向抗议者开枪，政府就能以这种方式更迭。如果军事力量是 AI 和机器人，而你想要维持一个体制向前发展，AI 又是未对齐的，它们不喜欢这个体制，并且想把世界变得在我们看来更糟，那就是相当不同的局面了。
我认为这是引入“锁定”这个话题的一个很好的过渡。你刚才提到，如果有很大一部分人口对政权不满，就可能发生这类政变，那么在遥远的未来，对于超人类智能，为什么这种情况可能不会出现呢？
我当时说这话，也特别是针对安全部队和硬性权力来源这类事物而言的。在人类事务中，有些政府受到少数人口的大力支持，也就是某个狭窄的选民群体被政府格外优待，而政府在其统治下的大多数人民中并不受欢迎。我们看到很多这样的例子，有时当权力手段分配得更平均，或者对在那个体制中处于失败一方的人提供了外国援助时，这种局面就会升级为内战。展望未来，我不认为这个定义会改变。我认为情况仍将是，一个被持枪者及其等价物所反对的体制，处境会非常艰难。
然而，AI 可能会极大地改变安全部队、警察、行政人员和法律体系的动机方式。现在我们看到，对于 GPT-3 或 GPT-4，你可以让它们的行为瞬间改变。有人做了一个右翼版 GPT，因为他们注意到，在政治光谱问卷上，基线的 GPT-4 倾向于给出旧金山式的进步派答案，这与提供强化学习数据的人是一致的，在某种程度上也反映了互联网的特点。于是他们用一些保守派数据做了一点微调，就能够扭转该系统的政治偏向。如果你拿最初只以有用性训练的模型来看，我想 Anthropic 和 OpenAI 都发布过一些关于这类模型的信息，这些模型只被训练去做用户所说的事，而没有被训练去遵守伦理规则，而这些模型在行为上会急切地表现出它们愿意帮忙设计炸弹或生物武器、杀人、偷窃或犯下各种暴行。如果在未来，设定 AI 真正的底层动机，能像现在设定它们表现出的行为一样容易，那就意味着你可以造出几乎具有任何人们所希望的动机的 AI，这可能会极大地改变政治事务，因为那样就能决定那些持枪者、那些维系社会运转并最终保障社会免于暴力推翻等等的人类、AI 和机器人的忠诚。与历史上的情形相比，这可能是社会运作方式的一场革命：在历史上，安全部队必须从更广泛的人口中征召，给予激励，而政权的持续稳定则取决于他们是否继续认同这个体制。
§08AI 的遥远未来
这稍微有点跑题，但我好奇的一点是，AI 的远期未来的中位结果会是什么样子？当它殖民了银河系之后，我们得到的会是一个对多样的想法和美丽的项目感兴趣的东西，还是一个更像回形针最大化者的东西？有什么理由预期是其中之一吗？我想问的是，在这个星系的物质范围内，存在某种可以实现的潜在价值。与事情可能达到的美好程度相比，中位结果是什么样子？
正如我之前说的，我认为更可能的情况是不发生 AI 接管。那么我们文明的路径，将是一路上有某套人类制度在批准的路径。不同的人往往喜欢有些不同的东西，其中一些可能会随时间持续下去，而不是所有人最终都同意某种特定的单一文化，或同意用某种非常重复的东西来填满所有可用的空间才是最好的。如果这种情况持续下去，这似乎是出现多样性的一种相对很可能的方式。尽管完全有可能的是，你在局部有那种多样性，也许是在太阳系，也许是在我们的银河系，但也许人们决定有一种东西非常好，我们要有很多这样的东西。也许是一些对某种东西感到非常非常幸福的人，他们最终来到遥远的区域，那些地方很难为了留在太阳系或银河系的人们的利益而被开发。他们做的事情会与在本地环境里做的不同，但到了那一步，关于人类的审议和文化演化，在与把 AI 以及新型的心智改造和发现引入这个过程的相互作用下会如何运作，那就真的是非常悬的推测了。但我认为，有很多理由预期，从我们现有的多元人类社会中走出来的东西会有显著的多样性。
有人可能会想到的一点是，人类社会的许多多样性和变化，似乎来自快速的技术变革。与星系的时间尺度相比，狩猎采集社会的进步也是相当快的，所以一旦这种变化耗尽，也就是我们发现了所有的技术之后，我们还应该预期事情会像那样不断变化吗？还是我们会预期出现某种固定的享乐物质状态，你发现了最令人愉悦的物质构型，然后把整个星系都变成这个东西？
最后一种情况只有在人们广泛地认为那是该做的事时才会发生。就伴随技术而来的文化变化而言，比如印刷术、高人均收入，我们在这些技术变革的下游经历了大量的文化变化。有了智能爆炸，会有极其大量的技术发展来得非常快，而当这些被吸收消化时，它很可能会显著影响我们的知识、理解、态度、能力，并且会有变化。但那种加速变化，也就是翻倍时间为四个月、两个月、一个月、两周的变化，很快就会耗尽自己，之后变化变得慢得多，相对来说像冰川一样缓慢。你不可能在一百万年里每十年都有指数级的经济增长或巨大的技术革命。你会撞上物理极限，在接近极限时事情会放慢，所以是的，那种更替会减少。但还有一些别的东西，比如时尚，按我们的经验会引起持续的变化。时尚是依赖频率的，人们想赶上还没有流行、只有时尚引领者在用的新时尚，然后其他人模仿，而当它变得流行，你就转向下一个。这是一个持续不断的变化过程，可能有各种类似的东西每年都在大幅变化。但在那种变化的引擎，也就是持续的技术进步消失的情况下，我认为我们不应该预期有这种变化；在既可能处于稳定状态、也可能处于大幅波动状态、而后者最终可能落入稳定吸引子的情况下，我认为你应该预期，随着时间推移，你最终会落入某个稳定吸引子，或者你会改变系统的运作方式，使自己无法再弹入某个稳定吸引子。
举个例子：如果你想把民主保持十亿年，那就不能出现这样的情况：每五十个选举周期里有一次出现独裁政权，然后这个独裁政权给 AI 警察编程，让其永远强制执行，确保社会永远由独裁者心智的一个副本来统治，也许是经过重新调整、微调以保持对其原有意识形态忠诚的独裁者心智。如果你想让这种自由、灵活、变化的社会动态持续很长很长时间，那么它所来回波动的范围，以及它尝试和探索的各种不同事物，就不能包含创造出一个永远把自己锁定的独裁政权这种状态。同样地，如果存在一种可能：发生一场使用大规模杀伤性武器、毁灭整个文明的战争，如果每一千个主观年就发生一次，而如果我们有思考速度快一千倍或一百万倍的 AI，那么这个时间可能非常非常短，近在眼前，那么你就会觉得，不行，这个社会最终，如果事情进展得这么快，也许很快就会灭绝，然后它就不会再来回波动了。如果有持续推动变化的过程，你可以在极其漫长的时间尺度上持续变化和波动，但如果它有时会弹入那种一旦锁定就无法恢复的状态，就做不到了。灭绝就是其中之一，一个禁止一切进一步变化的独裁或极权政权则是另一个例子。
关于智能爆炸开始发生、它们在几天或几周内取得过去人类文明需要几个世纪才能取得的进展这一点，应该怎样看待？因为在对齐的语境下，我们到目前为止讨论的一直是确保它们诚实，但即使它们诚实并表达了自己的意图……
诚实，并且动机恰当。
什么是恰当的动机？比如你给它设定了这个，然后接下来一千年的智力进步在下周就发生了。你输入的提示词是什么？
一种做法也许是不以最快速度推进，在几年而不是几个月里完成事情。损失一两年，为了让事情管理得更好一点，看起来是值得的。但我认为最大的问题是，它把许多本来我们以为会在几十年和几个世纪里发生的问题浓缩了。这些问题在很短的时间内发生，这很可怕，因为如果我们再经过几百年的人类研究可能开发出的技术中，有任何一种真的很危险，比如可怕的生物武器之类，或者其他危险的大规模杀伤性武器，它们就会非常迅速地一齐冲击我们。如果其中任何一种引发了麻烦，那我们每个时期就要面对相当多的麻烦。还有这样一个问题：如果以主观时间来衡量，偶尔会有战争或冲突，那么对于这些运行速度比人类快得多得多的非常快速的心智来说，几年就相当于一千年或一百万年的主观时间，你不希望出现这样的局面：每一千年就有一场战争，或者人类被 AI 社会剥夺财产。因此我们预期，在一年之内，我们就会死。让未来被压缩、出现这样的灾难性后果频率，会相当糟糕。人类社会对未来的贴现很厉害，不关注长期问题，但是，压缩大量未来、大量技术创新、大量社会变革所带来的可怕部分，其另一面是，它把本来属于长期的问题带到了短期，而人们更善于真正去关注短期问题。所以，当人们面对这样的问题：因为一切都被加快了一千倍，下一年会不会发生暴力剥夺财产、内战或核战争？他们想避免这些的愿望，就是他们建立各种系统和制度的理由，这些系统和制度会非常稳定地维持不变量，比如不允许发生大规模杀伤性武器战争，一项禁止种族灭绝、大规模杀伤性武器、战争的条约，如果替代方案不是“也许 50 年后会发生，也许 100 年后会发生”，而是“也许今年就会发生”，这类东西就会变得有吸引力得多。
§09Dwarkesh Patel 02:23:04
所以这是一幅相当疯狂的未来图景，而许多你本来预期会把它整合进自己世界模型里的人，并没有这样做。可以参考的外部视角证据主要有三类。第一是市场。如果 AI 将引发一个巨大的经济增长时期，或者世界就要崩溃，两种情况下你都会预期实际利率更高，因为人们会向未来借钱来现在消费。第二个外部视角是，你可以看 Metaculus 上超级预测者的预测。他们估计的年份中位数是什么？
Metaculus 上的一些问题，对 AGI 的预测其实近得惊人。而在 Metaculus 对 AI 灾难和末日的预测上，与市场之间存在大得多的差异。他们给出的概率更像是百分之几或更低，而不是 20%。
明白了。第三是，当你一般地询问经济学家，AGI 是否会导致快速、极快的经济增长时，他们通常会有一套关于经济中瓶颈的说法，认为这些瓶颈可能阻止这种爆炸、阻止这类反馈回路。所以你有所有这些不同的外部视角证据。它们显然各不相同，你可以按任何顺序来看。但我好奇的是，你认为是什么导致它们校准不当？
虽然 Metaculus 上的 AI 时间线相对较短，但也有在一些机器学习会议上进行的 AI 专家调查，其中到达 AI 的时间肯定更长，要再过几十年。不过你可以用不同的方式提问，引出非常不同的答案，这表明大多数受访者并没有非常认真地思考自己的答案。在最近的 AI 调查中，接近一半的人给出了约 10% 的风险，认为 AI 会导致接近人类灭绝那样糟糕的结果，另有很大一部分人，5%，说这是他们的中位数。与典型的 AI 专家相比，我估计的风险更高。
还有关于起飞的话题，在 AI 专家调查中，关于智能爆炸的一般论证获得了多数支持，但不是压倒性的多数。在这一点上我更接近支持的一方。然后当然，我一开始提到了计算领域的这些伟人，像 Alan Turing 和 Von Neumann，而今天你有像 Geoff Hinton 这样的人在说这些话。或者 OpenAI 和 DeepMind 的人在发出声音，暗示的时间线与我们讨论过的一致，并说它们存在严重的末日结果风险。还有其他一些证据来源。但我确实承认，并且重要的是要说出来、认真对待并看看这意味着什么：这些观点是逆主流的，并没有被广泛持有。特别是，我一直在使用的那些详细模型，并不是大多数人，或者几乎任何人，用来审视这些问题的工具。
你确实能在 AI 实验室的人那里看到类似分析的部分内容。还有其他的工作。我之前提到过 Moravec 和 Kurzweil，另外也有一些论文在做各种经济建模。标准的经济增长模型，当你输入与 AI 相关的参数时，通常会预测爆炸式增长，所以在模型所说的内容，尤其是用来自 AI 领域的这些经验数值所得出的内容之间，存在一道鸿沟。这种连接基本上连研究 AI 的经济学家也没有做过，这也是 Open Philanthropy 的 Tom Davidson 撰写报告的一个原因，他在这些模型的基础上，把成果拿出来供审阅、讨论、参与和交流这些想法。部分原因是我想提出这些问题，这也是我来做这期播客的一个原因，这样他们就有机会真正审视这些论证和证据并参与其中。我确实预测，随着 AI 的发展变得更加清晰，这些东西会随时间被更多地采纳。显然，如果你认为社会能在问题得到解决时看到结果（这看起来很可能），那么这是相信这些事情为真的一个自洽性条件。
比如说，你预测利率在未来几年会上升吗？
会的。在我们谈到的那种情况下，也就是智能爆炸发生在软件中，只要投资者注意到了这一点，是的，他们应该愿意向这些公司放贷或做股权投资，或者要求极高的利率，因为如果有可能在相对较短的时间内把资本变成两倍的资本，之后很快又变得更多，那么是的，你应该要求高得多的回报。假设公司或联盟之间为了资源（无论是投资还是云算力的所有权）存在竞争。在有这么多投资者现金基于这一点进行买卖之前，你会首先在 AI 公司的估值、AI 芯片制造商的估值这类东西上看到它，而到目前为止确实已经有了一些影响。几年前，在 2010 年代，我和其他人做过一些分析：如果这种图景发生，那么哪些公司和经济部门会受益。有芯片设备制造商，比如 ASML；有晶圆厂，比如台积电；有芯片设计者，比如英伟达，或者 Google 中负责设计 TPU 之类的部分；还有从事软件的公司，所以是大型科技巨头，也包括像 OpenAI 和 DeepMind 这样的公司。总的来说，挑选这些公司的投资组合表现不错。它跑赢了市场，因为大家都能看到出现了 AI 热潮，但这显然远远低于你预测这将达到全球经济规模、全球经济将在十年内飙升到平流层时所能得到的回报。如果是那样，那么总体而言，这些 AI 公司应该占到全球投资组合的很大一部分。所以我接受这种批评，这确实与有效市场假说相悖。我认为这是一个真实的假说，市场正在对此进行更新，就像我在 2000 年代进入这个话题时那样，是的，有很强的理由，甚至是个老论证：AI 最终将是世界上最大的事情，而对它的投资如此之少，简直有点疯狂。在过去十年里，我们看到科技行业和学术界意识到，他们在把算力和精力投入到这些 AI 模型上面严重投资不足。尤其是，让神经网络联结主义范式在 AI 寒冬中凋零。我预期这个过程会继续，就像它已经跨越几个数量级的规模扩大那样，而且我预期在这个规模的后段，市场已经部分计价了，它会走得比市场预期的更远。
自从你许多年前做的那个分析之后，你的投资组合有变化吗？你当时认定的那些公司，现在仍然是最有可能从 AI 热潮中受益的吗？
追踪这类事情的一般问题是，会有新公司加入。OpenAI 当时不存在，Anthropic 当时不存在。出于利益冲突的原因，我不投资任何 AI 实验室。我投资了更广泛的行业。我认为利益冲突的问题不太显著，因为它们是巨型公司，它们的资本成本不会特别受边际投资的影响，所以我较少担心自己会陷入利益冲突的局面。
§10Carl Shulman 的日常一天
我很好奇像你这样的人日常一天是什么样子。如果你听了这场对话，不管它已经持续了多少个小时，我们已经听到了从灵长类动物演化，到地缘政治，再到语言模型可能有哪些改进的各种极具洞见、新颖的想法。你在研究和调查的话题种类繁多。你整天都在读书吗？你醒来之后会发生什么，你就拿起一篇论文吗？
我想说，你多少是占了这样的便宜：我做过的播客比较少，所以我积压了一些还没有出现在出版物里的东西。不过是的，我的职业生涯也非常奇怪，其中花在尝试构建更全面的世界模型上的比例，比正常情况高得多。这包括更像一个记者那样，试图了解许多尚未被广泛讨论的议题和问题，对它们做第一轮、第二轮的深入研究。我花了好些年做这件事，其中一些就累积下来了。至于日常一天是怎样的，我是怎么做的？其一就是跟进这些话题上的大量文献，阅读相关的书籍和学术著作。与其他一些做预测和评估这类事情的人相比，我的做法是，尽量获取并依赖我能找到的任何相关数据。我会尽早且经常地去寻找与我所面临的一些问题相关的事实信息，尤其是定量的信息，对关于世界的某个假设做基本的算术运算、一致性检查和校验和。尽早且经常地做这件事。我发现这样做相当有成效，而人们做得不够。比如在经济增长方面，当有人提到收益递减时，我会立刻问：嗯，好，那么你有两个指数过程。产出端的翻倍与投入端的翻倍之间的比率是多少？然后发现，哦，是的，对于计算和信息技术以及 AI 软件，这个比率远远偏向一边。还有一些别的技术更接近中性。每当我面对的是，这边有一个模糊的定性考虑指向一个方向，那边有一个模糊的定性考虑指向另一个方向，我就试着找一些数据，做一些简单的费米估算、粗略的纸上计算，看看能否得出一个自洽的图景，表明世界是这样的，还是那样的。我还会努力比一些人更穷尽。我对寻找各种世界的分类法很感兴趣，这样我就可以系统地过一遍所有的可能性。例如，在我与 Open Philanthropy 的工作中，以及之前关于全球灾难性风险的工作中，我想确保自己没有漏掉任何大事，任何可能是最大的那件事。最终我主要关注了 AI，但也有其他一些东西被提出来作为候选，而人们有时会说（我认为是错误地说）这不过是又一个末日故事，这种东西肯定有成百上千个。所以我会做这样的事情：过一遍所有主要的科学领域，从人类学到生物学、化学、计算机科学、物理学。在每个领域里，与之相关的末日故事或大事候选有哪些？过一遍美国经济统计机构所认定的各个行业，对每个行业问，有没有什么与它们相关的东西？过一遍人们列出的所有末日威胁清单，检索之前有人做过讨论的文献，然后是的，做一张大电子表格，列出候选项有哪些。我的一些同事也做过这类工作，然后就逐个检查它们是否站得住脚。
做这种练习发现，全球灾难风险候选项的分布其实非常偏斜。有很多东西被媒体提到过，说是潜在的末日故事。比如蜜蜂出了问题，这会是人类的终结吗？这类说法会传到媒体上，但你仔细推演一下就站不住脚。蜜蜂种群确实有虫害，造成了局部崩溃，但这很容易逆转，多繁殖一些，或者采取一些别的措施来处理。而且即使所有的蜜蜂都立刻灭绝，它们传粉的植物其实在人类营养中占的比例并不大。你可以把耕地换成别的作物，也会有其他的授粉方式，来支撑这些东西。
在媒体层面有许多末日故事，但当你深入到科学家那里，看他们的论证是否真的站得住脚，结果发现并不成立。但通过系统地检视这么多候选项，我最终所处的认知状态，就与那种只是被新闻报道冲击的人不同：他们看到一篇接一篇的文章声称某样东西要毁灭世界，而结果往往是靠标题党，以及媒体对某些活动家所说的话过度解读，而那些活动家又是在对某个真实现象过度解读。其中大部分都消散了，而少数几样东西，比如核战争、生物武器、人工智能，经得起更严格的检验，当你权衡该领域的专家怎么想、他们能拿出什么样的证据时，你会发现这个分布极其偏斜。我发现，以系统的方式对这么多东西做深入调查，真的是一个很有价值的收获，因为现在我可以用深入的研究来回应那些含糊的不可知论、“谁知道呢”以及所有这类废话。
我很喜欢在播客里与那些有宏大图景论点的人交谈并采访他们，但我注意到并且觉得不令人满意的一点是，他们往往来自非常哲学化或凭感觉的视角。这在某些情境下是有用的，但全世界大概只有三个人，至少是我所知道的三个人，对整体图景的思考方式非常严谨、科学。没有哪所大学或现有的学科，是为那些试图勾勒大图景的人设立的，所以也就没有既定的标准。
我明白你的意思。这是个问题，在许多调查类工作的领域里，我也有这样的经历。我想 Holden 在你上一期节目里提到过这一点。这些问题没有哪个学术领域把研究它们当作自己的任务，并有允许尽力一试的规范。学术规范往往只允许摘取可能有助于回答大问题的狭窄碎片，但真正把科学已知的、与某个人们关心答案的重要问题相关的东西汇集起来，这件事就从缝隙里漏掉了，没有学科来做这个工作，所以你有无数学者和研究人员在构建事物的局部碎片，可人们却不遵循汉明问题：你所在领域最重要的问题是什么，你为什么不研究它？我是说，这一条其实可能行不通，因为如果领域的边界划得太窄，你就会把它排除在外。不过，是的，有些对整个世界重要的问题，遗憾的是并不是某个大型的专业化学术领域或组织的职责。希望这将来能有所改变，但对我的职业生涯来说，就是去摘取那些低垂的果实，也就是那些遗憾地没有人投入去做基础分析的重要问题。
我最近一直在为这档播客思考的一件事是，我希望在做完一次访谈后，对世界有更好的模型。通常我觉得确实如此，但在某些访谈之后，我会觉得，那很有趣，可是我从根本上对 2200 年或 2100 年的世界是什么样子有了更好的预测吗？或者至少，排除了哪些反事实情形之类的。我想知道你有没有建议：第一，如何识别那些能帮助我们对世界形成更具体理解的思想家和话题；第二，如何分析他们的主要观点，才能切实地充实这幅图景？这期节目很棒。与我做过的所有节目相比，它在丰富我的世界模型方面，字面意义上是最高的。我怎样才能找到更多这样的内容？
很高兴听你这么说。一条通用的经验法则是，设法更贴近那些丰富的、已有的知识体系，而不是那些难以理解的东西——我不知道你到目前为止是怎么摸索的——我认为，从教科书以及过去时代的主要论文和人物那里学习，而不是过于关注当下的新闻周期，是相当有价值的。我通常没有这样的体验：这里有一个人在一个巨大的领域里做事非常系统。我只要把他的东西全读一遍，吸收了，然后就万事大吉。不过，有很多人在自己的领域里做出了精彩的工作，其中有些领域比别的更宽泛。我想我最终会给出很多关于某个议题或历史的、特定的优秀作品和特定探索的推荐。
你有这份清单吗？放在哪里？
Vaclav Smil 的书。我经常不同意他的某些综合方法，但我喜欢他的书，因为它们提供了关于世界如何运作的大量有趣而相关的事实图景，我会引用这些。Joel Mokyr 的一些关于科学革命史、以及它如何与经济增长相互作用的著作，是收集了大量证据、做出许多有趣且有价值评估的例子。在 AI 预测领域，我会推荐回过头去看的一个人是 Hans Moravec 的工作。他的东西并不总是最精确或最可靠的，但从中产生了数量惊人的聪明而创新的想法，我认为他是很早就真正领会了许多论证的人，这些论证是关于以更以算力为中心的方式来思考 AI 的发展。他在 70 年代，甚至可能更早，就在写东西了。他的书《心智孩童》（Mind Children），还有他的一些早期学术论文。它们引人入胜，不一定是因为我所说的那种方法论，而是因为它们探讨了我们在这期节目中讨论的那些实质性话题。
§11太空战争、马尔萨斯式的长期状态，以及其他快问快答
从长远来看，马尔萨斯状态是不可避免的吗？
自然界总体上处于马尔萨斯状态。这可以指生物体通常在为食物挣扎，也可以指它们通常挣扎在这样的边缘：随着种群密度上升，它们为了争夺资源而相互残杀。这还可以指依赖频率的疾病：当不同的蚂蚁物种在某个地区变得更常见时，它们各自特有的疾病就会席卷而过。一般的过程是，有些东西能够复制和扩张，它们就一直这样做，直到再也做不到为止，这意味着存在某个它们跟不上的限制因素。这不一定适用于人类文明。有可能存在某种集体规范的设定，阻止朝最大化繁殖方向的演化。现在人类的生育率往往低于更替水平，如果你把随经济发展和教育而来的生育率下降外推下去，你会认为总和生育率将降到更替水平以下，然后人类在若干代之后就会灭绝，因为每一代都比上一代更小。很显然，这不会发生。原因之一是我们将制造出人工智能，它们可以以极快的速度复制。它们这样做，是因为被要求或被编程这样做，或者希望获得某种好处，而且它们可以为自己的创造付费，并且非常非常迅速地偿还创造它们所需的资源。这种复制的融资很容易，如果有一个 AI 系统选择以那种方式复制，或者某个组织、机构决定创建一些愿意被复制的 AI，那么这可以扩张，去利用任何数量的、能够支撑它们的自然资源，并做更多的工作，创造更多的经济价值。在这些选择压力下，什么会限制人口增长呢？因为只要有哪怕一个个体想大量复制，他就可以无休止地这样做。所以这可能是个体层面的资源限制，也就是个人和组织各自拥有一定的自然资源禀赋，而且无法获取彼此的禀赋。有些人选择生很多后代，或者制造很多 AI，那么他们所拥有的自然资源就会在更多的人口中被细分，而在另一个司法管辖区，或者另一个个体，可能选择不细分自己的财富。在这种情况下，你就有了马尔萨斯主义，意思是在某个特定的司法管辖区或某套产权范围内，人口增长到某个限制因素为止，这个限制因素可能是他们确实用光了所有资源，没有任何剩余用于国防或经济投资之类的事。又或者它更像是这样：如果你把更多的自然资源投入到人口上，就会以牺牲其他必要的东西为代价，包括军事资源，如果你处于一个竞争的局面，战争和无政府状态依然存在，也没有稳固的产权来保住财富的话。如果你有一种资源汇集的情形，比如说，有一种全民基本收入，由对自然资源征税来提供资金，然后按单位时间平均分配给每一个复杂程度超过一定规模的心智。也就是说，心智每存在一秒钟，就得到这样一份分配。在那种情况下，好吧，那些能用这笔收入负担得起的范围内尽可能多地复制的人就会这样做，几乎立刻增加他们的人口，直到由自然资源税收出资的全民基本收入除以领取者的总数，恰好刚够支付多一个心智的存在为止。这样就有了一种马尔萨斯式的成分，我认为这会把水平压到接近 AI 的生存水平，或者任何有资格领取补贴者的生存水平。鉴于这一切几乎是立刻发生的，那些本来可以享受基本收入的人可能会反对，说不，不，这不行，他们的回应可能是，比如像前面说的细分那样：也许可以有一个限制，财富有一个分配，当一个人生孩子时，要求他给孩子一个最低数量的资源，如果一个人没有资源给他们提供那种最低的生活标准或财富标准，那么是的，由于儿童／AI 福利法，就不能这样做。或者你可以有一个更能接纳多样性和偏好的体系。这样就会有一些社会、一些司法管辖区或家庭，走上让更多人拥有较少的人均自然资源的道路，另一些则走向较少的人口和更多的人均自然资源的方向，它们就这样共存。但各占多少，取决于人们对那些无法适用于不同管辖区各自政策的东西有多执着。比如持续进行的全球再分配，相对于对自主权的侵犯：如果你说不能创造一个心智，即使它的生活水平由于当时的先进技术而远好于我们，因为这会降低人均收入、减少人均资本，那么是的，这就会把人拉向另一个方向。这是一类价值判断和社会协调问题，需要人们去协商，而民主、国际关系和主权这类东西都可以用来帮助解决它们。
太空中的战争会是什么样子？是进攻还是防守占优势？相互保证毁灭所确立的平衡是否仍然适用？总的来说，图景是什么样的？
最极端的区别是，在太阳系之外，东西相距非常遥远，而且有光速限制，要接近这个极限，你得用上巨大的能量。这在某些方面可能有利于防守方，因为有个东西以光速的很大一部分飞来，撞上一粒尘埃就爆炸了。就给定的反应质量和能量投入而言，你能送到另一个星系或遥远恒星的物质数量是有限的。所以，要往另一个地点送去的军事物资数量，很难比得上当地已经存在的数量。这似乎会使恒星之间或星系之间的攻击者更难得手，但还有很多其他的考虑。其一是，一个区域内的物质能被一次性利用到什么程度。恒星里有大量的质量和能量，但它只是在数十亿年里一点点释放，因为氢聚变在恒星之外极其困难。那是一个非常非常缓慢、困难的反应，如果你不能更快地把恒星转化为能量，那么它就是一笔在数十亿年里都有价值的巨大资源，所以即使攻击一个太阳系去获取那里的东西，效率非常低，也可能是划算的。如果需要用一颗恒星一千年的输出来对另一颗恒星发动攻击，然后在那之后再占有它十亿年，那么就可能出现这样的情况：一个更大的、周边的攻击者，即使效率非常低，也可能向一个小但可抵达的文明发动攻击。如果你能迅速烧掉攻击者可能想要获取的资源，如果你能在攻击者接管之前把恒星丢进黑洞、提取其中大部分可用的能量，那就会像焦土战术。就是说，你想要夺取的东西的大部分，可能已经被花在了与你作战的军事物资上，你实际上并没有得到多少有价值的东西，却为此付出了很多，这会有利于防守。在这个层面上，要把所有因素，包括所有未来的技术，都净抵相消地算清楚，是相当有挑战性的。与我们的常规手段相比，星际攻击的负担相当高，这似乎是真的，但要在数百万年的时间尺度上权衡，它是否会导致侵略性征服，还是说每一颗恒星或星系都近乎坚不可摧，不值得攻击。我不会说我知道答案。
好，最后一个问题。在谈论你的工作时，你如何看待信息危害？显然，如果存在某种风险，你想警告人们，但你又不想给粗心的或者可能有杀人倾向的人提供想法。Eliezer 上这档播客时，谈到那些一直在开发 AI 的人受到他的想法启发。他称他们是“白痴灾难猴子”，想成为那个摘下致命果实的人。我确信你所做的工作涉及很多信息危害。你怎么考虑何时何地去传播它们？
我认为这类担忧是真实的。我认为 AI 的进步很可能确实被一些努力加速了，比如 Bostrom 出版《超级智能》，试图让世界提前关注这些问题并做好准备。我想我不同意 Eliezer 的看法，他认为这总体上是坏事。在一些重要的方面，现在的状况看起来比其他可能的情形好得多。我认为重要的是，有好几家领先的 AI 实验室不仅在口头上有相当的表态，而且还在技术对齐研究之类的方面进行了一些投资，并公开给予了相当程度的支持，支持这样一种观点：真正的末日灾难风险是真实存在的。我认为 OpenAI、DeepMind 和 Anthropic 的领导者都提出这一点，这个事实很重要。他们最近还与其他科技公司首席执行官一起被邀请到白宫讨论 AI 监管。你可以讲一个不同的故事：AI 领域领先公司中有更大比例是由采取完全不屑一顾、否认主义观点的人领导的，而今天确实也能看到一些公司的立场更像那样。所以，在一个有好几家领先公司在做有意义的努力的世界里（你可以大加批评，说他们本可以做得更多更好，也会有他们所做的某些事情带来的负面影响），与另一个世界相比，即使在那个世界里 AI 会晚几年才到达它要去的地方，这些似乎是显著的好处。而且，如果没有这种公开交流，到现在为止投身于 AI 政策、AI 对齐研究这类事情的人会更少，而当 AI 在按比例来说没有那么久之后最终被开发出来时，要动员这些资源去解决问题也会更难。我不认为尝试进行公开讨论和增进理解是一场灾难。过去我一直不太愿意讨论智能爆炸的某些方面，比如 AI 接管的具体细节，是出于对这个问题的担忧：有些人只看到国际关系方面，只看到零和与负和的竞争，而对这类冲突造成的相互毁灭和毫无意义的无谓损失关注不够。
在这个节点上，与我大约十年前的想法相比，我们似乎已经接近这类真正先进的 AI 能力了。它们已经处在政策讨论的核心位置，而且越来越如此。关于推迟理解之类的机会，要问的是：为了什么？我认为建立 AI 对齐领域、建立对行动的各种支持和理解是有收获的。这些有真正的价值，再多一些延迟可以为此争取更多时间，但从我们现在所处的位置来看，我认为在某个时刻，政府必须聚到一起，至少是限制那种在我们进入智能爆炸之际对一些安全和对齐问题造成灾难性的、鲁莽的妥协，这是绝对必要的。把集体行动问题的所在，从众多追求利润、通过牺牲安全而彼此损害对方利益的公司，转移到一些政府和大型国际政府联盟那里，由它们来制定共同的规则和共同的安全标准，会使我们处于好得多的境地。这需要对战略形势以及他们将处于的位置有更广泛的理解。如果我们试图对他们实际上将要面对的问题保持沉默，就可能造成很多混乱。例如，先进 AI 的潜在军事应用将成为拉着政治领导人去做会导致他们自身毁灭、政府被推翻的事情的因素之一。如果我们把它描述为：事情不过是，你损失了聊天机器人和一些没人在乎的小东西，作为交换，你避免了世界末日级灾难的任何风险，我认为这幅图景会导致误解，也不会让人觉得在对齐之类的准备方面所需要的东西更少，比如要让你能真正驾驭这件事，要有国际协议的可验证性，或者有足够的喘息空间来谨慎行事、放慢速度。不一定是现在，尽管那也可能有价值，而是在这个至关重要的时刻：AI 正接近于真正自动化 AI 研究的能力，而事情本来会以荒谬的速度推进，远远快于我们能应付的速度，也远远快于我们应当希望的速度。
所以是的，到了这个节点，我正在转向分享我对世界的模型，努力让人们理解并做正确的事。在这方面有一些进展的迹象。像 Geoff Hinton 的声明和行动就很鼓舞人心。一些政治人物的参与，相对于本可能出现的更糟糕的替代情形，也是乐观的理由。当然，相反的观点也存在。他们说一切都是地缘政治竞争，决不要阻碍任何技术进步，而总的来说，我喜欢许多技术进步，对于那些我认为人们不合理地加以贬低的技术，比如核电、转基因作物。生物武器和能够毁灭人类文明的 AGI，才真正是我的两个例外，而是的，我们必须处理这些问题，而我所看到的成功处理它们的路径，需要关键的政策制定者、专家群体、公众和选民领会其中的形势，并作出恰当的回应。
你选择在《月球学会》播客上探讨这个模型，是我们真正的荣幸。听众也许体会不到，因为这一期节目可能会被拆成不同的部分，他们可能体会不到你展现了多么惊人的耐力。我想我们已经连续讲了八九个小时，而且一直非常有意思。除了在 Google Scholar 上输入 Carl Shulman，人们还能在哪里找到你的作品？
我有一个博客，叫“反思性失衡”（Reflective Disequilibrium），另外还有一个正在筹备中的新网站。
太好了。好，Carl，这真是一次愉快的交流。可以肯定地说，这是我迄今做过的最有意思的一期节目。
谢谢你邀请我。