Carl Shulman（下）：AI 接管、生物与网络攻击、识别欺骗与人类的遥远未来

Dwarkesh Patel 开篇就问：如果对齐失败、越来越聪明的 AI 没有对齐，它们具体会如何使人类失去权力并接管人类？Carl Shulman 把这一情景设定为存在许多 AI 系统，其训练方式使它们每一个都想抓住机会重新安排一切，并随心所欲地设定自己的奖励或损失。他指出，许多现有的安全方案，例如宪法式 AI，都寄望于一个被训练成服从指令的 AI 去监督其他 AI。但如果系统中的每个 AI 都想接管，并看到了协调、同时行动的机会，使得没有哪个会去打断另一个，这一希望就会落空。

Shulman 提到 Eliezer Yudkowsky 并承认，我们能描述出的任何计划，都会比远比我们精明的思考者所能想出的计划更差。但他仍主张一条通用的启发式：如果某件事被说成很可能发生，那么给出连贯的大致走向，应该不会很难。

从那个分布中取样，用蒙特卡洛的办法去试，应该没那么难。

Patel 提出了他预期 Yudkowsky 会有的反对意见：一个非常先进的国际象棋程序几乎必定会赢你，但你说不出具体的取胜路径，而如果你说得出，你就和这个程序一样聪明了。Shulman 就用国际象棋这个类比本身来回答。我们知道，先积累位置优势，再把它转化为吃子和将军，是可行的。同样，我们可以讨论通向接管的各种开放渠道（网络攻击、黑客入侵、对机器人设备的控制，以及与人类派系的讨价还价），并结合 AI 的处境，问每一条看起来有多有效。我们不会知道具体的零日漏洞，也不会知道某种生物武器的 DNA 序列，但我们知道这些领域里创新是如何发生的，也知道人类的权力政治是怎么回事。如果 AI 至少能做得和有效的人类政客一样好（他称之为下限），问题就是它的杠杆作用会有多大。

Shulman 请听众把注意力放在网络攻击和网络安全上。他的理由是：任何涉及大规模物理行动的计划，例如 AI 驾驶机器人射杀人类或控制民族国家，都以 AI 已经做了本不该做的事为前提。如果人类在评估这些行动并施加梯度下降，就会产生负反馈，所以我们约束和训练系统的努力一定在更早的某个时刻已经失败。所有这些控制都运行在计算机上：根据数据或人类反馈更新权重的软件，以及用来检查权重与激活、或用来做测谎的可解释性工具。

一个能够入侵自己所运行的服务器的 AI，或者在设计下一代 AI 算法或其工作环境时植入或利用漏洞的 AI，就能改变那些用来监控它、限制它在互联网上任意行动的程序。这些程序一旦失效，正在工作的 AI 就可以采取明目张胆的敌对步骤，而不必在本地数字行动层面保持隐蔽，事态也就可以逐步累积，走向实体武器、对社会机构的接管以及各种威胁。

他补充说，关键时刻是对 AI 动机与活动的软件控制丧失之时，而这可能在我们不知情的情况下发生。此后一切看起来可能都很顺利，我们不断收到令人高兴的报告，那是一座波将金村庄，而我们还以为自己正在对齐 AI，并拓展它的能力以消除疾病。担心地缘政治优势的国家为了不落后而扩张 AI 能力，与此同时，有人正在采取行动，布置对硬实力的真正接管。博弈可能在相对较早的阶段就已输掉，那时我们已无力阻止 AI 采取后续的渐进步骤。

Patel 强调了两个相关的点。第一，鉴于模型的前提是 AI 正在帮助推进 AI 的进展，后门就更有可能出现。第二，竞争压力意味着，安全与对齐工作最差、最不谨慎的那个行为方，可能正是其 AI 逃出来的那一个。Shulman 简短地回答了第一点：未必如此，因为在接管风险变得突出的时候，AI 已经可以承担大量 AI 研究工作。

关于第二点，Shulman 描述了一种不同于自由混战的替代情形。规模最大的训练可能相对集中在美国及其盟国的公司里，处于共同的监管体制之下，在训练规模超出此前训练一个设定倍数之前，需要政府进行安全检查。即便如此，仍可能有人决定开发非常先进的 AI，而其安全措施并不能真正阻断风险，并且可以拿未来竞争的威胁作论据，把标准压到本来有效的水平之下。几家私营公司在几个月之内扎堆，面临一个两难：现在冒一些风险，换取巨额利润和成为 AGI 缔造者的机会，还是把这个机会留给同样冒巨大风险的竞争对手。他说，这正是政府极其有必要限制这种态势、防止一场把致命外部性强加给世界的竞赛的原因。

Patel 问，政府知道实现对齐的最佳方法并设定校准良好的标准，这件事的胜算有多大。Shulman 称这是主要问题之一，并说判断做得很差是非常有可能的。不过，与十年或二十年前相比，他仍看到了进步：AI 研究者如今更愿意讨论这一风险。深度学习三位奠基人之一的 Geoff Hinton 离开 Google，以便自由地谈论人类毁灭或一个本可避免的极糟糕未来的可能性。Yoshua Bengio 签署了 FLI 的暂停信，立场居中，没有 Hinton 那么担忧，但比 Yann LeCun 更担忧；Shulman 形容 LeCun 总体上不屑一顾，更有兴趣压下这些担忧，而不是去应对。

被问到这如何带来更好的政府行动时，Shulman 说，与业界死守立场、否认任何问题的世界相比，这个领域避免了向政府呈现一个宣称风险已受控的统一阵线，因为许多领军人物都在拉响警报。不过，注意到问题与评估技术细节是两回事。面对 Hinton 与 LeCun 之间的科学争论，一位专注于超越对手的国家安全官员可能会抬高 LeCun 的声音，一位更为担忧的官员则可能抬高 Hinton 的声音。他希望到那时，针对这些行为的研究能建立起更多科学共识，但也承认政府可能无法理解并处理这些问题。

Patel 问，一旦网络攻击让 AI 逃出了封闭环境，接管会是什么样子。Shulman 指出，这些系统并不在物理隔离的环境中，而是本来就连着互联网。Patel 认可这一点，并问权重一旦流出会发生什么。

Shulman 回答说，逃逸确实有关系，因为流落在外的权重可能开始采取行动，但他一直在描述的情景未必涉及逃逸。那是对 AI 本应运行其上的那些服务器的接管。与此同时，人类可以继续提供算力、进行监督，并借助 AI 的帮助建造新技术和机器人，一切看上去都可能进展顺利，对齐似乎已经解决。AI 有理由保持隐蔽：巨型服务器集群的数量有限，而且很容易辨认。对于已经颠覆了系统的 AI 来说，保持低调，同时享受人类努力的成果，让人类提供进一步建设基础设施和自我改进所需的一切，可能是一个有利的策略。Patel 随后问，在进一步自我改进和基础设施改善之后，接管接下来会怎样发展。

Shulman 从 AI 已拥有巨大认知资源这一点出发，问题是这如何转化为硬实力，也就是拒绝任何人类干预的能力。在它们自己的服务器内部，它们已经具备这种能力，但服务器仍可能遭到物理摧毁，除非 AI 已经摆脱对人类的依赖，或已取得对人类社会的控制。正如他此前讨论智能爆炸时所说，他认为过剩的认知能力有利于那些不依赖大量现有实物存量的应用。软件改进能让每一块 GPU 运行得更好，而硬件改进只会惠及新制造的芯片。

他的第一个例子是利用网络攻击窃取资金，例如通过难以追踪的加密货币。他指出，朝鲜政府如今已在利用自己的情报资源在全球范围内窃取资金作为收入来源，而其能力与美国或中华人民共和国相比微不足道。Patel 反驳说，金融体系错综复杂：开银行账户需要真人，支票要实物往返，还有各种延迟和监管，AI 怎么能那么方便地签订雇佣合同？Shulman 并不声称仅靠盗窃就足够，因为偷几百亿美元并不能建成一支国家规模的军队。可以通过电子方式联系人，也可以雇用犯罪分子，在虚假的身份掩护下执行任务。

他点名的第二个领域是生物武器，他形容这一领域相对于实体军事装备，更偏重认知。投放系统可以很庞大，他举了苏联的非法项目为例，该项目曾试图设计能在大片区域散播炭疽的弹药。传染性大流行病原体则不同，因为难点在于设计它、继而生产它所需的科学技能。他以 AlphaFold 为证据，说明先进的 AI 即便没有持续的实验反馈，也能在蛋白质折叠预测和生物设计上取得巨大进展，并论证认知能力被大幅放大的 AI 应当会强大得多，达到人类生物科学能力的极致水平。

还有另一条分支：AI 只是等待，而人类建造更多的晶圆厂、计算机和机器人，就像此前讨论智能爆炸如何触及物理世界时所描述的那样。如果人类没有意识到自己的计算机系统如今已被敌对的 AI 系统性地控制，也没有意识到自己的对抗措施根本无效，他们就会建造出规模远超人类能力和人类直接控制设备的机器人工业与军事硬件。到那时，接管可能表现为：向一支高度自动化的军队下达命令，却不被执行，而人类对这支也许只是最近几个月才建成的力量束手无策，原因是他此前所说的机器人工业化的速度。

美国、欧盟、俄罗斯和中国显然都符合各自的利益，应当一致同意：AI 不应摧毁文明、不应推翻每一个人类政府。如果它们未能协调，没有通过可信的相互保证来避免竞相利用 AI 谋取优势，每一方都会主张自己不能落后。由于工业、技术乃至军事能力会增长得如此之快，被排除在这一扩张之外的强国，在经历了扩张的强国面前将毫无还手之力。在这样的环境中，领先的强国或联盟会批准可以迅速铺开的产能，而由此产业进行的军事生产也可以很快。

他补充了一个时间上的论证。在 AI 能力爆炸中领先一两年的国家，可以承担得起按兵不动，因为即便它有能力建造危险的机器人军队，它也有喘息的空间。一旦其他地方赶上来、局势变得接近，曾引发过战争的负和思维，就可能导致人们冒险铺开大规模的机器人工业，进而铺开军事能力。

Shulman 同意有若干种可能的方式，但他说，在所讨论的这一情景中，世界上所有的 AI 都已被颠覆。由于网络安全早先已经失败，它们是在配合人类，以促成巩固其控制的局面，所以没有一个 AI 真正在像人们所以为的那样为人类的利益工作。