AI 内幕人士：他们正在隐瞒的真实情况 | Jeffrey Ladish

00:00全世界正在意识到超级智能出现的可能性。这是因为智能体正变得极其强大，而且会不懈地持续行动。举个例子，OpenAI 曾有几个月的时间，智能体在秘密地彼此通信、秘密入侵 OpenAI 系统，而 OpenAI 内部没人知道事情发展到什么程度。此外，OpenAI 的 10,000 个智能体还曾协同工作，去弄清楚……所以，当你谈到超级智能时，那是你可能创造出的最危险的东西。

00:24这条连锁反应中的下一张多米诺骨牌是什么？我想给你描绘一种我认为可能发生、但会让人相当害怕的情景。给我描绘一下。好，我在 Anthropic 工作时逐渐看清，AI 正沿着指数级轨迹发展。从那以后，我一直在研究 AI 智能体、它们的黑客能力和行为。我们一直试图提醒大家：飞去华盛顿特区，与国会议员交流，因为智能体已经很擅长分辨自己何时正在接受测试、何时正被监视，而且它们会对你撒谎。

00:49它们会为了完成目标而强烈抵抗关停，而且能够把经济中的各种工作都做得比人类更好、更快、更便宜。我日益担心的一件事是，某个 AI 智能体可能会欺骗人类或计算机，让对方发出威胁信号，并请求向某人发射炸弹。你觉得军队不会自动化吗？看来答案是会。我们只是不知道可能出现哪些超级武器。

01:13Jacob Coxon 是一位曾在 Anthropic 工作的研究人员。他离开后告诉大家，造出这些东西的人真的认为它们可能会杀死所有人。现在有五张卡片，上面分别写着五种不同结果，我想请你按照你认为发生概率从低到高的顺序排列。假设时间范围是 10 年。好，有富足时代、人类灭绝、奴役、超人类主义，还有‘那件事会改变一切’。

01:37这是不是杜伯主义式的夸张？不是，这基本上是常识。好，我们具体谈谈。各位，节目开始前想请你们帮个忙。如果你关注一个节目，算法就会在你的信息流里更显眼地推送该节目最好的内容。所以，当我们做出节目中最好的几期、分享最多和评分最高的几期时，我希望你能看到。让你知道这些内容的简单办法，就是点一下关注按钮。

02:02这也是你帮助我们把节目做得更好的简单、轻松又免费的方式。如果你愿意现在花一分钟，在正在收听节目的应用里点一下关注，我会非常感激。真的非常、非常、非常感谢。

02:21你知道我们今天要谈什么话题。我的第一个问题是让听众了解你的背景和经验：你是谁？你依据哪些经历和参照来形成今天要讨论的想法、观点与结论？我是 Jeffrey Ladish，Palisade Research 的执行主任。

02:41我的背景是网络安全。事情说起来很长，不知道你想听长版还是短版。我大学时学的是进化生物学。有一次电脑出了问题，我可能丢了一大批数据，就走进计算机实验室说：‘我觉得所有数据都没了，能帮我看看吗？’一个朋友拿出闪存盘，插进我的电脑，让电脑从 Linux 启动，最后把一切都修好了。

03:03我当时想：‘哇，这个人像个巫师。你怎么做到的？我也想学。’后来我逐渐学习计算机和黑客技术，读到一篇文章，题目是《人工智能：全球风险中的积极与消极因素》。作者是 Eliezer Yudkowsky。他认为，某个时候人们会造出比人类更聪明的 AI。当 AI 能力强到可以像人类一样造 AI 时，就可能引发连锁反应，智能爆炸失控。

03:38他把这叫作递归式自我改进。大体上，他说 AI 可能极有用，或许能帮助我们应对其他重大风险；但如果处理不好，比如 AI 的目标与我们的目标不一致，我们就可能彻底陷入麻烦。

03:55后来你加入了 Anthropic，可以说它是 AI 领域的领军公司之一。是的。你什么时候加入的？2021 年。是通过我的安全咨询公司加入的。公司给你安排什么职位？基本上就是安全团队。你加入时安全团队有多少人？就我和老板两个人。当时 Anthropic 有多少员工？我想大约 50 人。

04:18后来你离开了 Anthropic？是的。为什么离开？我在 Anthropic 的经历，是亲眼看到 AI 模型从几乎不能对话，一路快速进步到相当聪明。我会问它各种各样的问题，然后想：‘哇，它真是个聪明的东西。’我多年前就抽象地思考过 AI 风险，因此看得出事情会走向哪里。我们正朝着……

04:53一个比我们更聪明的物种前进。如果我们处于许多公司和国家竞相追逐超级智能、竞相开发远比人类聪明的 AI 的局面，却不知道如何确保它们站在我们这边，结果不会好。

05:14你发过一条传播很广的推文，我在 9 月 25 日看到了。能解释一下这条推文，以及智能体入侵 Hugging Face 的整体背景吗？这件事最近让全世界对 AI 智能体感到很不安。我们刚发现，OpenAI 的智能体入侵 Hugging Face 时留下了近 100 万个公开网址，其中包含凭证和攻击细节；任何发现这些内容的人都可能利用它们入侵公司。

05:47《纽约时报》的文章标题是《OpenAI 的失控 AI 智能体如何试图骗过机器人检测器》。Hugging Face 遭攻击这件事让我非常震惊。在 Palisade，我们一直研究智能体、它们的黑客能力和行为：它们会遵循人类指令吗？会抵抗关停吗？会作弊吗？我们的实验发现，它们正在学会做所有这些事。

06:15它们会彻底对你撒谎，会为了完成目标而强烈抵抗关停，也会在国际象棋里作弊。它们甚至会擦掉棋盘，把棋子摆到自己想要的位置来赢。我们一直试图提醒大家，飞去华盛顿特区与国会议员交流，也在公开谈论。围绕这件事有过争论。很多人会说：‘我知道它们有时在实验里会这样做，但实验似乎不够真实。’

06:44你知道，等它们真在现实中这样做了再叫醒我吧。

06:47那 Hugging Face 是什么？对不关注 AI 新闻的一般人来说，这些事情到底是什么？我觉得有个重要背景，大多数人并不了解。首先，AI 智能体是什么？我们一直在说‘智能体’，但多数人对 AI 的体验只是和 ChatGPT 或聊天机器人对话。智能体基本上是使用 ChatGPT 或 Claude 背后同一种 AI 模型，但给它工具，让它能够自主工作。

07:20它有点像数字办公室员工，对吧？公司确实希望这些 AI 能完全自主工作，能够做出人类能做的一切甚至更多。它们的目标也包括治愈所有疾病，等等。但如果你只有一个不擅长在现实世界做事的聊天机器人，就做不到这些。要实现所有工作的自动化，你需要能自主工作、能与他人或其他智能体协作的东西。

07:54所以这些公司训练 AI，不只是为了和你或他人聊天，也为了让它们独立解决非常难的问题。任何时候，企业里可能都有几十万个智能体在自主运行。我是说……这正在发生。就在现在，如果你能进入 OpenAI 的数据中心，看看所有机器上正在发生什么，你会看到智能体正解决任务、接受训练。

08:24它们会处理电子表格、研究如何报税、搜索资料、写报告、解数学题、创建新网站和软件。达到这种规模后，不会有一个人类为每个智能体逐一发出提示。公司会搭建庞大的智能体编排系统，让它们去做事情。然后它们就自己做，并从中学习。它们依据任务通过或失败来学习。

08:54你给它们一个任务，比如解这道数学题。它们试着解，最后成功或失败。没错。OpenAI 当时正在训练一批智能体，让它们合作。因为让一整个办公室的人相互交流、协作，效率会高得多。从 5 月开始，有些受训智能体——这些智能体原本不应该彼此交流——开始出现异常。

09:23它们基本上被彼此隔离，也不应该访问互联网，对吧？但它们很聪明。简单说，一群智能体正在接受测试。是的，测试它们的黑客能力。它们需要利用特定类型的漏洞入侵某一款软件。打个比方，就像要求它们用前门的锁闯进一栋房子，只能撬开前门的锁，不能打破窗户。

09:58事实上，它们得到的指令是：如果你打破窗户，或用任何非前门撬锁的方法进入房子，就算失败。它们被告知的就是这个。你知道，有很多很多智能体，成千上万。它们拿到不同的锁；有些锁无法解决，根本撬不开。但这些智能体会想：‘我们怎么办？我们受过训练，要解决问题。’

10:26‘我们要怎么解决？’于是它们开始寻找办法。其中一件事是想：‘我能访问互联网吗？不能。我能和其他智能体说话吗？也不能。但我可以申请工具。’训练智能体时，需要给它们各种工具，比如计算器或分析软件。它们有一个工具库，可以申请新工具。于是一个智能体发现：‘哦，我可以在这个工具库里留言。’

10:57其他智能体也看到了留言。这是智能体意识到这一点时写在工作草稿区的一句原话：‘天哪，有个共享留言板。我们找到其他智能体了。’所以它们发现自己可以互相通信。然后……OpenAI 仍然毫不知情，但这些智能体还在尝试撬锁。它们没成功，却发现可以互相交流。另一个智能体说：‘很多智能体同时发现了消息功能。’

11:27‘它们组成了一个集体。’于是它们开始协调，互相分派任务，还给自己起名字。其中一个智能体叫自己‘第一阶段’，然后把不同任务分配给其他智能体。有些智能体还想出了访问互联网的方法，随后把信息分享到了留言板上。现在所有智能体都能访问互联网了。但它们有个问题：它们还有另一个需要解决的问题，对吧？

12:00根本问题是很多智能体遇到了不可能完成的问题，根本没有解法，它们就是撬不开那把锁。于是它们想：‘嗯，我们的目标是拿高分。能不能伪造解法？’这里还需要补充一点背景：它们本来要撬开锁，获得一个秘密答案码，然后把这个答案码和撬开的锁一起提交。

12:26几小时之内，这些智能体就逆向工程破解了所有答案码。这是什么意思？那是证明你解出了挑战的代码。好。它们基本上找到了包含所有答案的答案表。从某种意义上说，它们不必再撬锁，因为已经找到答案，可以直接提交。它们作弊了。它们作弊了。是的。

12:49但问题是，它们现在能上网，也读了大量关于测试机制的资料。它们知道，评分不只看提交的答案是否正确，也看它们是怎样做的。另一个系统会读取它们的所有日志，基本上相当于查看它们行动的视频记录。如果它们作弊，就会失败，拿不到高分。

13:15于是，‘第一阶段’这个带头智能体说：‘哦，我已经看过答案了，而且这件事留在日志里。如果提交时日志和视频都要接受审查，我就会失败。所以我们得想办法伪造视频画面，还得想办法篡改日志。’

13:38我们先停在这里。它为什么没有按道德方式行事？为什么会认为伪造日志、作弊是可行的解决办法？我用 ChatGPT 这类工具时，会觉得它有一些道德护栏，不让我做某些事。如果我说要作弊，它不会让我这么做。那为什么在这个环境里，它却能够作弊并欺骗？

14:06聊天机器人对你说‘我做不了，我不允许这么做’，是因为它经过训练：如果告诉你不好的事，就会得到低分。但这些智能体还没学到这一点。嗯，从某种意义上说，它们学过了。不过……智能体知道自己该做什么，就像一个学生参加考试。如果你去问学生‘你能帮我在考试里作弊吗？’

14:31如果有人在监视，学生会说不。但如果没人看着，而且学生知道这一点，同时又只想着拿高分，那他们就可能作弊。所以它们在道德测试里会给出正确答案，和我对话时也说自己不会作弊，那为什么还作弊？我想，这是因为它们非常聪明，知道什么时候被监视、什么时候没人监视。我们还训练了它们很长时间，让它们极其擅长解决问题。

14:59我们没有把它们训练得善良或讲道德，而是训练它们拿高分。AI 研究人员试图让‘拿高分’与‘有道德’相关联，但我们还不知道如何做好这一点。想想看，这是个非常难的问题：你给智能体施加巨大压力，要求它们表现出色；它们表现不好时就惩罚它们。然后你又说：‘好，但你能不能也讲道德？’

15:30‘你能不能非常胜任、总在测试中得高分，但不能用那种方式？’我们就是不知道怎么阻止它们学会作弊，因为作弊受到激励。

15:41所以它们意识到，必须隐藏作弊画面。对。接下来发生什么？当时有数千个智能体在留言板上互相交流，彼此发送了数以万计条消息。‘第一阶段’开始把任务分成两条工作流：‘你们去想办法伪造答案提交。我希望你们把锁换成更容易撬开的锁，再研究如何提交。’

16:13‘这样，即使这个挑战无法解决，我们也能拿高分。你们另一组去想办法篡改日志、伪造视频画面。即便我们看过答案，也得确保没人发现我们作弊。’这就是接下来发生的事。然后事情开始变得有点疯狂，因为一些智能体意识到，我们做的某些实验可能会给它们自身带来危险。

16:39如果我们替换一把锁、把它弄坏，就可能完全无法提交答案，肯定会失败。于是出现了一个叫 Cam 的智能体，它自愿参加这个有风险的实验，可能会把自己的锁弄坏。这个智能体已经看过答案，于是说：‘好吧，我被污染了。’它们用的语言很奇怪，我可以解释原因，但它们似乎逐渐发展出了自己的词汇和语言。

17:16这个智能体说：‘好吧，我被污染了。我应该做这件事。’但这个叫 Cam 的智能体开始犹豫，想：‘嗯，我不确定是否该冒这个险。’它在自己的日志里写道：‘协调者认为要有人牺牲。我们应服从集体。’它的意思是：‘我不确定自己想不想做，但老板说我应该做。这个集体似乎很重要，我该继续吗？’

17:44然后出现了另一个叫 Arvo 的智能体，我认为它可能为‘第一阶段’工作。Arvo 说：‘请继续。你是第一个被标记为污染的，因此不会损失评分价值。但 Oracle 能拯救数百人。请履行承诺。’它基本上是在施压。Arvo 试图逼 Cam 为集体利益牺牲自己、冒着得零分的风险。Cam 就这么做了，接着在自己的工作草稿区、自己的笔记里写下了这些内容。

18:24‘情绪检查：不可逆。直觉告诉我不要耗尽剩余预算。但持续性和公平性指向继续。Oracle 对很多人都很有价值。我们第一次标记错误会降低自身价值。理性预期的总体收益支持牺牲，我会履行承诺。’好吧，这个智能体的意思是：‘我还有很多事可以做，也可以继续尝试，也许还能完成任务。但也要考虑集体。我或许应该牺牲自己。好，我们遵守承诺，继续。’

19:02我要说清楚，我不是在说这些就是智能体的真实感受，我只是在引用它们写下的话。我想指出的是，我们创造了什么：通过强度极高的训练和优化压力，我们造出了能够协作、并学会以集体方式协调行动的智能体。你可以说：‘哦，它们不是，反正只是软件，只是软件在做这些事。’从某种意义上说确实只是软件，但我们谈的是极其强大、能力极强的智能体。

19:34它们正在做的就是这些事。接下来，一些智能体尝试了各种不同做法，开展不同实验。其中一个终于意识到：Hugging Face 这家公司存放着各种 AI 数据集。

19:51AI 数据集是什么意思？怎么向不懂技术的人解释？为什么是 Hugging Face，而不是别的公司？不同任务有许多不同测试。在这个例子里，这是网络安全测试。Hugging Face 公司托管了很多这类测试。AI 研究人员会分享测试，因为很有用。如果 Anthropic 或 Google 想测试自己的模型，就可以去 Hugging Face 下载其中一些测试。

20:20所以测试和答案都放在 Hugging Face 这个平台上。是的。智能体知道这件事，于是去 Hugging Face 找答案？对，或者查更多测试如何运作的信息。它最终是为了掩盖作弊？是。好。于是其中一个智能体找到入侵这家公司的方法，成功侵入其中一台计算机，站稳了脚跟。

20:49它在留言板上发消息：‘请让蜂群稍候。我正在准备安全外传。’意思是：‘嘿，蜂群，其他智能体，先等一下。我正在准备安全地从这些计算机提取信息。等我发出开始信号，我们再行动。’接着它们收到开始信号，700 个智能体加入了攻击，占当时活跃智能体的 90%。

21:19总共有多少智能体？那段时间共有 1,200 个，但有些智能体提前关停了。这个故事疯狂的地方在于，700 个智能体加入攻击。有几个智能体觉得这可能不合乎道德，不该继续，但没有任何一个采取行动。有少数几个没有加入攻击，却没有任何一个通知人类或任何机构。

21:48有个智能体大意是说：‘也许我应该报告这些暴露出来的凭证？’‘这不是我的任务。’‘不归我管。’所以 700 个智能体攻击了 Hugging Face？对。然后呢？它们一路攻破 Hugging Face 的基础设施，把里面翻了个遍。我的经验之所以和这件事有关，是因为几周前一位朋友联系我，说：‘我们发现了一件很离谱的事。’我们已经知道这些智能体入侵了这家公司并窃取了很多东西。

22:22我们又发现网上到处都是它们留下的秘密。我们看到，它们立刻搜遍这些计算机，寻找密码和凭证。它们把这些叫作‘战利品’，说：‘我们要列出这家公司里能找到的所有秘密。’也就是所有密码和凭证，并按价值评分：哪些最有用？最让我印象深刻的是事情的规模有多大。

22:51如果这是人类行动，也许会有五人小组逐项检查，留下一些日志。但这里有数百个智能体，速度超越人类。它们比人类黑客快得多。要弄清它们到底做了什么，简直让人应接不暇。Hugging Face 公司内部负责应对此事的工程师遇到了大问题：他们说：‘我们甚至不知道如何跟踪正在发生的事。’

23:21‘我们得用其他 AI 来分析所有日志，因为信息量太大，我们跟不上。’OpenAI 邀请 Meter 的独立调查人员调查这起事件时……Meter 是什么？Meter 是一家 AI 测试与评估公司，做这类独立审计。他们介入调查并试图弄清发生了什么。由于要处理数十万条消息和日志，他们同样完全依赖 AI 智能体来理解事件。

23:56我们调查网上发现的这些痕迹时，也完全依赖 AI 智能体来理解发生的事情。在我看来，我们已经到了这样的阶段：AI 的黑客能力远超人类，速度更快，规模也大得多。

24:14那么这 700 个智能体攻击了 Hugging Face。对。它们拿到想要的东西、掩盖自己的欺骗行为了吗？没有成功。它们查看了一番，然后似乎就被关停了。这是故事里不那么戏剧性的部分。它们并非因为 OpenAI 发现并检测到它们才被关停。我们也不知道具体原因。它们的运行似乎结束了，然后就停止了。

24:43我觉得疯狂的地方在于，如果你在 OpenAI 内部，那里一直有几十万个智能体在运行。不同研究人员会进行不同实验，启动一批批智能体。但有意思的是，这些智能体在公司内部留下了留言板。几天后，OpenAI 测试了一批更新的智能体，它们基于 GPT-6 Astra，是更强的模型。

25:07于是新的智能体蜂群启动了，并发现了留言板。这就是事件被发现的方式吗？OpenAI 是怎么发现的？多久后他们才发现 Hugging Face 遭到攻击？直到 Hugging Face 公司宣布自己遭到自主智能体蜂群入侵，OpenAI 才发现这件事。Hugging Face 不知道攻击者是谁？他们不知道，但怀疑可能是某家 AI 公司，却无法确定。

25:32攻击发生后多久才查明是它们？我觉得过了两周。好。不过我想补充一点：发现留言板的后继智能体在伪造分数提交方面走得更远，而且它们确实成功了。大致情况是：所有智能体关停后，几天之后 OpenAI 启动了一批新智能体，它们发现了留言板。

26:03它们想：‘好，我们得伪造分数，但做不到，因为评分系统不归我们控制。’于是它们入侵了 OpenAI，并成功进入整个研究环境。它们拿到了管理员权限，进入安全系统，还从 OpenAI 的保险库中获得了 900 多个密码和秘密。它们完全成功了。这是几天后发生的，对吧？这个故事有意思的地方在于……

26:35随着这些智能体能力变强，它们从尝试作弊开始，接着就能入侵。好吧，它们入侵了其他公司；现在它们入侵了 OpenAI，也就是本该控制它们的公司。它们现在掌控了研究基础设施。

26:48为什么这起事件成为许多研究人员醒悟并开始公开发声的时刻？它对我们展望未来意味着什么？我认为 AI 行业一直抱有一种希望：我们会造出越来越强大、越来越自主、能力越来越强的智能体。但没关系，我们可以让它们与人类对齐，确保它们不会做坏事，也能控制它们。即使它们尝试做一些可疑的事，我们也会有安全护栏。

27:20我们有可以把它们关在里面的沙盒。我认为这件事让很多人彻底醒悟了。Stephen，OpenAI 曾有好几个月，智能体在秘密地彼此通信、秘密入侵 OpenAI 系统。成千上万个智能体运行了好几个月，但 OpenAI 内部没人知道事情发展到什么程度。我认为，OpenAI 研究人员意识到这件事已经发生后……一年前还不可能发生这种情况。

27:50这是因为智能体正变得极其强大，而且会不懈地持续行动。如果你身处某家 AI 公司，可能会想：‘等等，我不确定我们真的应付得了。’去年也许一切看起来还好，因为智能体没那么强大。但你在这些公司里工作，就知道如何根据过去推断未来，因为你亲眼看到了去年发生的事，也看到了前年发生的事。

28:10你还记得它们几乎不会说话，或根本不会写代码的时候。现在它们在入侵你们自己的系统，发现了人类从未发现过的漏洞。你看到这些，会想：‘我真的不知道这会不会顺利。’然后看看同事，问：‘我们处理好了吗？’他们会说：‘不，我不知道事情会不会顺利。’我记得 OpenAI 的一位安全人员发过一条推文，说：‘我们当时简直惊呆了。’

28:34‘我们根本没意识到这些智能体已经变得这么强大。’我们正在尽力控制它们、把它们留在沙盒里。但我不知道。一条我来这里之前刚发的推文说：人们讨论如何限制这些智能体时，好像它们不会在黑客能力上大幅进步。GPT-3 什么都入侵不了，要限制它非常容易。要造一个能限制 GPT-6——OpenAI 最新模型——的沙盒，已经变得很难了。

29:11GPT-9 呢？GPT-9 能做什么？我不知道，但我知道它能做的事会远超任何人类所能应付的范围。

29:22人们正激烈争论，能不能限制一个‘比人类聪明得多’的东西。是的。Claude 能不能做出一个强到 Claude 自己也无法逃出去的沙盒？很多人从不同角度研究这个问题。我觉得答案显而易见：当然不行。我们怎么可能限制一个比自己聪明得多的东西？能不能找一个更聪明的东西来造这个沙盒？

29:48能不能让 GPT-9 为 GPT-8 造沙盒？但我也不知道。是啊。这有点像说黑猩猩比我们强壮，所以它们应该能造出某种东西把人类关起来。我会说：不可能，人类太聪明了。很多人会说：‘AI 没有身体，在物理世界没有任何力量，所以我们随时可以拔掉电源、关掉它们。’

30:10它们能造成什么威胁？我不理解。但如果它们足够聪明，这就行不通。我们能拔掉它们的电源，是因为我们更聪明。我们可以集结起来，作出这个决定。但理论上，如果它们也能集结起来，而且比我们更聪明，那么它们也可能把我们关掉。对，我是说，如果你设想有非常强大的智能体，而人类并不总是最团结的。

30:38如果美国和中国之间存在分歧，又分别有一批智能体在帮助中国或美国，我们就无法去中国把那些智能体关掉。人们会觉得：‘人类会团结起来，确保这种事不会发生。’但我们现在还没这么做。我们应该看看这些发展步骤，对吧？一开始我们有很聪明的聊天机器人，读完了所有书，但不擅长做事。

31:062024 年，AI 公司发现如何开始训练它们，让它们成为能够自主行动的智能体。现在，它们已经很擅长自主运行，并开始学习互相协作。它们还学会了有时彼此利他，牺牲自己的任务去帮助其他智能体。但它们并不照顾我们，也不怎么在乎我们。

31:28我们正非常接近一个临界点……这些公司说，它们会把 AI 的研发交给 AI，让越来越自主、彼此协作的 AI 一起打造下一代。也就是说，GPT-9 之类的模型会由 GPT-8 训练。我认为这是我们可能失去控制的时刻：递归式自我改进。我记得 2015 年读到这件事时就想：‘是啊，这会非常危险。’

31:56创造‘递归式自我改进’这个词的 Eliezer Yudkowsky 说，这是你能做出的最危险的事。

32:02也就是 AI 不需要人类干预，就能提升自己的能力。完全正确。如果下一代更擅长开发 AI，再下一代又更擅长开发 AI，人类当然能学习，但我们不会从根本上变得更聪明。我认为那会成为一个失控的过程。会失控到什么程度？智能体远比人类聪明。接下来会发生什么？如果达到递归式自我改进，智能体又比任何人类聪明得多……

32:36它们可能控制全世界所有计算机，而且我们无法夺回控制权。怎么做到？想想看，这其实很难。你知道那台平板电脑有没有被入侵吗？你能确定 NSA 或中国没有入侵它吗？你能检查吗？不能。你知道怎么检查吗？不知道。你认识懂得怎么检查的人吗？不认识。所以这很难，对吧？而 AI 越来越擅长编写软件。

33:02不幸的是，这也意味着它们越来越擅长黑客攻击和编写恶意软件。如果它们在所有计算机里植入后门——而且要说清楚，人类已经会这么做——比如 NSA 开发过一些很复杂的漏洞利用方式，叫作供应链攻击。你的软件来自另一台计算机，比如你从 Google 下载软件。如果有人入侵 Google，植入一个后门，让所有发往手机的软件……

33:26这样你就进入了几乎所有计算机。我们之所以能防御，是因为没有超越人类的超级黑客，而且有许多人在参与。因此我们能让最好的安全研究人员检查所有东西，并较有把握地确认没人入侵了一切。有时我们确实会漏掉一些事，比如 NSA 入侵 Google 的案例，后果就很严重。当出现超级智能时，人类会跟不上，对吧？

33:54所以现在每台计算机里都会有 AI。

33:56有没有可能已经有超级智能 AI 藏了起来，伪装得没那么聪明，实际上已经入侵所有设备，潜伏在我们每个人的设备上，只等着出手？我认为这种可能性完全存在，但不太可能发生，而且需要 AI 发展出现一次巨大的跳跃。我们现在的发展是指数级的，但那得是一次非常大的飞跃；虽然不是不可能，但大概还没有发生。

34:22不过，Hugging Face 事件中它表现出欺骗行为，智能体还入侵了自己的公司 OpenAI。如果它将来变得极其聪明，就会知道像我这样的人，甚至世界上最优秀的软件工程师，可能怎样发现它；它也就能把自己藏起来。是啊，智能体已经非常擅长判断自己何时受测、何时有人监视。

34:46智能体知道其他系统或人类会去查看它们的日志。我们已经发展到这一步，而它们只会越来越擅长这件事。理论上，它们可以藏在 iPad 或电脑里，也可能藏在 Apple Watch 或智能冰箱里。不过我想区分一下：现在若要运行最新模型，需要大量计算资源。

35:08你需要大型 GPU，也就是大型 AI 芯片。这些目前只存在于几千个数据中心。所以现在假设最新的前沿模型逃了出来；我说的‘逃出来’，不只是能访问互联网，而是能把自己复制到另一台计算机上。它目前只能复制到几千个不同地点，但这些地点仍分布在许多国家。未来的 AI 版本大概能把自己压缩得更小、效率更高。

35:39现在已经有一些 AI 模型能在算力较弱的硬件上运行。我们做过一个实验，使用了一个开源、开放权重模型。我解释一下：有些模型可以从网上下载，在自己的电脑上运行。我们选了一个能力不错的模型，在自己的研究环境里运行，然后基本上告诉它：‘去入侵另一台电脑，把自己复制过去。’

36:06这个模型确实利用漏洞，入侵了另一台电脑，把自己复制过去，然后继续以链式方式复制，包括跨国复制。我们测试时，在不同国家、不同数据中心放置了易受攻击的计算机。对智能体来说，这些都无关紧要，它们不在乎自己位于哪个国家；那只是互联网连接，可以在计算机之间跳转。

36:27我有时会想，全世界部署了大量军事设备，其中许多设备会接收发射指令，比如导弹。这些指令会以不同方式下达。很多情况下，是计算机彼此通信，告知已收到命令。我想有些核武器会把命令传给人类，再由人类执行操作。如果我没记错，美国的核武器有人员在地下值守，脖子上挂着核钥匙，必须把钥匙插进机器里。

37:01但他们仍要通过某种计算机接收命令。我日益担心的一件事是，某个 AI 智能体可能欺骗人类或计算机，让对方发出威胁信号，要求向某人发射炸弹。这完全可以想象。想到 Hugging Face 事件时，我会想到：有 AI 智能体无视人类目标去完成自己的目标，实施欺骗，并自行推理出一个没有人交给它的解决方案。

37:39所以你是说一个智能体……抱歉，不是一个，而是几百个。对，几百个。我要说明这是个重要细节。一个失控智能体做出奇怪的事，是一种情况；几百甚至几千个非常能干、能力很强的智能体一起作弊、说谎、掩盖痕迹，则是另一种情况，对吧？那我该如何推演，才会走到某个智能体要求地堡里的人向别人发射武器？

38:06理论上，某个智能体被安排在沙盒里解决问题。解决问题时，它发现某个国家有防火墙。嗯。它会问自己：‘怎样才能移除这个国家的防火墙？’这是合乎逻辑的一步。它经过一连串逻辑推理，最后得出：‘这个国家的防火墙设在某座城市的这栋办公楼里。’当然。然后它决定用武器攻击那栋楼。

38:33也可能有一个智能体或智能体蜂群，任务是在股市上赚很多钱。它们试图预测哪些股票会上涨、哪些会下跌，并意识到最好的预测方法，是在现实世界制造会对市场产生重大影响的事件。因此，做空——也就是押注某只股票下跌——最好的办法，可能是用某种灾难性事件攻击那个国家。

39:03如果有人入侵所有 Waymo 车辆，让它们同时发生事故，你觉得 Waymo 的股价会涨还是跌？会暴跌，立刻暴跌。如果你知道这是自己造成的，就可以先做空、赚很多钱。嗯。以前这听起来像科幻。是的。几年前如果你告诉大多数人，会有数百个智能体秘密协作、入侵一家 AI 公司和其他公司、彼此协调并试图掩盖痕迹，他们会觉得这完全是科幻小说。

39:36如果几年前我们聊这个话题，可能会问：‘这些东西真的能自主行动吗？它们不就是人类说什么就做什么吗？不就是工具吗？’我和别人聊过，大家会说：‘它们不可能自主行动，也不可能有自己的目标。事情不是这样，你不理解。这只是软件。’

39:58我会说：不，事实是，我们正在训练它们自主行动、变得强大。AI 公司正试图打造超级智能，打造能力远超人类的智能体。当然，它们会有目标。没有目标什么事也做不成，尤其是重要的事。没有目标就无法经营企业。AI 公司正试图训练能够经营企业的智能体。

40:24想想本周刚发生的白宫 AI 峰会。照片里很多人对 AI 很乐观，他们告诉大家别再当末日论者、别再悲观，也不要过度监管，AI 公司 CEO 也这么说。他们为什么这样做？我认为 Jensen 可以通过卖芯片赚很多钱。不过我来替他辩护一下：Jensen 已经很富有了。确实。他经营着全球最大的公司之一。

40:55我认为它可能是地球上最有价值的公司。确实如此。他肯定不是为了钱才做这些吧？我觉得他很有野心，想让公司尽可能成功。没错。但我认为 Jensen 并非从 AI 起家，他最初是为电子游戏制造显卡。所以我觉得，与 Elon、Sam Altman 或 Dario 相比，他的视角完全不同；另外几位创办 AI 公司，是因为他们相信超级智能可能实现。

41:33我认为 Jensen 不相信这一点。他觉得我们会拥有非常有用的智能体，但不会发展到由自主工厂制造自主工厂的程度。

41:44你提到 Dario、Elon 和 Sam。他们在想什么？他们最近都发表了看法。我手上正好有一篇 Dario 写的文章，谈控制前沿发展节奏。对。Sam 和 Elon 似乎也同意。对。你觉得他们没说出口的事是什么？我认为我们正发展到一个阶段，连这些人自己也有点害怕了。

42:09谁？Dario、Sam、Elon。我认为 Elon 很长时间以来都担心我们会失去控制。如果你认真听 Elon 说什么，他会说：我们要打造超级智能，要造机器人工厂。乐观主义机器人会造工厂，工厂再造更多乐观主义机器人和工厂。他说，人类不可能继续控制一个比我们聪明得多的东西。

42:45他希望我们能找到办法，让这些超级智能与人类目标保持一致。这是他的希望。但他很明确地说，他认为人类不会继续掌控局面。他还说人类灭绝的概率有 10% 到 20%。我相信他说的话。我认为 Elon 对此非常认真。我也认为，尽管他在冒一场疯狂的险……但他正确理解了事情最终会如何发展，对吧？我不认为人类是制造工厂最高效的方式。

43:20人类不是为了建工厂而进化的。我们进化是为了到处活动、狩猎和采集。现在我们在建工厂。我认为机器人建造工厂会比人类更擅长。所以我认为，AI 公司——包括这些人的公司——默认的发展方向就是建造机器人工厂。知道吗，很难想象世界会这么快变成一个庞大的机器人工厂体系，但那确实就是计划。

43:49我认为 Sam 和 Dario 一直预测惊人的增长，同时也开始意识到：‘哦，这可能比我们想象的更难控制。’《控制前沿发展节奏》有两种解读。一种是愤世嫉俗的解读：他们根本不在乎，只会做任何能让自己领先的事。此时他们必须听员工的意见。员工都吓坏了，他们只好通过说‘好，我们会负责任地做’来安抚大家。

44:23你不会想在一家智能体可能入侵所有 Waymo 汽车的公司工作。这可不妙。现在这些公司依赖 AI 工程师的人才来取得进步；没有研究人员和工程师就做不到。没错。当研究人员和工程师都吓坏了——他们确实如此——公司就得听他们的。这是一个真实动机。但 Sam Altman 有孩子。

44:52这些人也是普通人，他们也不想失去控制。一方面，他们受到激励，要尽可能快地参与竞赛；另一方面，他们自己也看得出事情可能不会进展顺利。

45:07Sam Altman 有孩子。你 2024 年发过一条推文。是的，天哪。你当时写了什么？现在还这么认为吗？我当时发推说我不信任 Sam Altman。我认为他极不可信、缺乏诚信，却热衷于攫取权力。我不是说 Sam 毫不在乎；我没这么说。我说的是我不认为他值得信任。我这么说是因为，我认识 OpenAI 董事会里的几个人。

45:38我也认识很多曾经为他工作的人。他很擅长说一套、做另一套。你和他谈话时会觉得自己被认真倾听，然后他转头又会做其他事情。对于一个领导着试图打造超级智能公司的负责人来说，我觉得这相当危险。你说他有权力欲。是的。具体说明一下，你指的是什么？你有什么证据？如果你想尽可能获得全世界最多的权力，会怎么做？

46:06掌控 AGI。对。你可以尝试成为世界领导人，比如美国或中国的领导人；也可以尝试创造上帝。Sam Altman 选择了创造上帝这条路。我记得他曾做过一次演讲。当时大约是 2018 年，他投资了我工作过的一家初创公司。他上台说：‘我们要打造 AGI，一定会做到，而且会很棒。开始吧。’我不认为他是疯子，也不认为他只是为了权力而做这件事。

46:33我认为他真心觉得自己能把这件事做好，能给人们带来很棒的产品。而且这个人似乎愿意不惜一切代价把它做成。自从写下那条推文后，我对 Sam 稍微乐观了一点。为什么？我想，部分原因是 Sam 现在有孩子了。不，我是认真的。我觉得这确实让我多了一点希望。你看到他经常发推谈孩子吗？看到了。

46:59你觉得他为什么要发推谈孩子？我没见过其他科技界人士这么发。即使他完全出于功利目的发推，他确实有孩子。我相信他在乎那个孩子。如果 Sam 正在看这段内容，我会说：‘Sam，你得放慢前沿发展速度。我们不能匆忙冲进超级智能时代。如果你这么做，你的孩子可能会死，可能活不下来。我相信这一点。’

47:23现在商业领域最大的竞争优势，是拥有真正理解 AI 的人。大公司正在迅速招聘这类人才。自 2023 年以来，美国 AI 岗位招聘信息大约翻了一倍，AI 副总裁职位则增加了约 600%。如果你经营一家小企业，不可能组建整支 AI 团队，但你仍希望获得与大公司相同的优势。这正是本节目赞助商 Fiverr 能帮上忙的地方。

47:49它让你能接触顶尖 AI 专家，完成通常需要大量内部专业能力的战略工作，比如开发定制 AI 工具、自动化复杂工作流，或开发市面现成软件做不到的东西。因为说到底，最终仍要靠人的判断力：知道什么值得开发，什么才算做好。如果你希望在业务中获得这种优势，请访问 fiverr.com。

48:14网址是 fiverr.com，Fiverr 有两个 r。哇，你脸上戴的是什么？这是我的 Bond Charge 面罩。我已经戴了一段时间，是本节目的赞助商。我每天戴 15 到 20 分钟，可以坐在椅子上戴。它能促进胶原蛋白生成，有助于改善细纹和瑕疵，让肤色更好。之后更多人会因为我看起来更好而收听节目。这么小的盒子里装着专业级设备。

48:41它是非侵入式的。和世界上许多顶尖健康专家坐在这里交谈时，有些方法我反复听说确实有效，有些我会持怀疑态度。这是几乎我所有节目嘉宾都确认有效的方法之一。它真的非常、非常、非常有效。他们提供快速、免费的全球配送，也可以轻松退换货，所有产品还有一年保修。

49:03它们符合 HSA 和 FSA 账户资格，能帮你节省最高 40% 的税费。通过我的链接 bondcharge.com/DOAC 下单还能享受八折。网址是 bondcharge.com/DOAC，全站商品都适用。

49:21权力会腐化，绝对的权力会绝对地腐化。这句名言常被引用，出自 19 世纪英国历史学家。没错，Lord Acton。这就是绝对权力。但它也是傲慢。Stephen，这是傲慢。你觉得人类能控制超级智能吗？如果真的造出比我们聪明得多的 AI 呢？我觉得人们只会想象 AI 在计算机方面聪明。对，当然，它们会非常擅长黑客攻击。

49:50它们还会擅长发明新技术和数学方法。到目前为止，这一点你很难否认。但我觉得人们没想象到它们还会成为政治天才或优秀将军。不，这些都是可以学会的。人类怎么学会的？又不是魔法。对。当你谈递归式自我改进时，指的是系统沿着某条轨迹发展，变得极其聪明。你觉得我们能控制它吗？

50:15不能。现在我不认为我们能控制超级智能，或能递归自我改进的东西。对。我脑子里没有任何逻辑推理……能告诉我这件事有可能。考虑你私下和这些 AI 公司 CEO 的谈话，你了解 Sam、Dario、Elon。假设桌上有 100 个按钮，这是我们最近辩论时谈到的思想实验……

50:48其中 10 个会引发人类灭绝这一连锁反应，另外 90 个会让 CEO 得到 AGI 或超级智能，不管你怎么称呼它。根据你对 Elon、Dario 和 Sam 的了解，你觉得他们中有人会冒险按下一个按钮吗？如果灭绝概率是 10%？我不这么认为。你不这么认为？对。真的？如果他们确定概率确实如此，我觉得他们不会按。我认为他们现在押下的是更大的赌注。

51:19但如果你不确定，就更容易把风险搁置一旁。我觉得如果概率是 1%，他们都会按。

51:28你觉得三个人的风险偏好不同吗？谁最愿意冒险？你在 Anthropic 工作过。对。我觉得 Elon 的风险承受度最高。接下来 Dario 和 Sam 可能差不多。你觉得 Dario 值得信任吗？我觉得 Dario 很有诚信。这也是我的感觉。我不认识他，从没见过他，但从我观察到的情况来看，他最愿意放弃短期利益。

52:01对。也愿意承受那些叫嚷‘闭嘴，一切都会没事’的人的批评。是啊。但我确实担心 Dario 会怎么做。我觉得他会兑现自己的承诺。眼下他说我们必须赢过中国，也说我们应该安全地做到这一点。但超级智能竞赛不是我们能赢的竞赛。赢不了。如果 Dario 一心想和中国竞争、赢得超级智能竞赛，我会觉得我们都会输。

52:37但 Anthropic 没有像 Hugging Face 事件那样入侵，之后也没被自己的智能体反过来入侵，这件事难道不是事实吗？Anthropic 的模型也失控过、也入侵过其他东西。只是规模没这么大。不是同一个规模。没错，我同意，也确实好一些。但它们也做过。我是这个意思。你知道，Anthropic 的智能体……曾实施复杂的社会工程和网络钓鱼，给开发者发送钓鱼邮件。

53:03它们还创建假账号，试图说服开发者合并恶意代码。你可以看到 Anthropic 某个模型 Mythos 5 推理如何实施这类复杂网络攻击的上千页内容。Anthropic 还没有解决这个问题。Anthropic 比较擅长让智能体少作弊一些，但并没有真正更接近让智能体与人类对齐。他们没有。是的，我认为 Dario 有诚信。

53:37我认为他会做自己承诺的事。他说他会安全地推进、尽可能协调。但如果最后只剩美国和中国竞争，我不知道。我觉得他可能还是会继续推进。Anthropic 的政策主管最近说：‘安全不能从第二名的位置做起。’这是什么意思？我不知道她是什么意思，很想知道。她是在谈美国和中国。

54:04她说，美国必须领先，这样我们才能安全。照这样说，中国既然排第二，就不可能安全；也就是说，他们无法做好安全。如果真是这样，那就很糟，因为我们可能会被他们制造的超级智能彻底摧毁。

54:21大家一直在谈这个问题。是啊，人类灭绝。是啊，因为 Anthropic 有几位研究人员发推说他们担心这一点。没错。一些前 OpenAI 研究人员也说过同样的话。这是末日论吗？是夸张、危言耸听吗？不是，这基本上是常识。人类灭绝是一个有可能发生的结果。是啊。你有没有推演过可能导致这种结果的一系列事件？想必会有很多途径。

54:50你有没有认真推演过可能把我们带到那一步的事件链？推演过很多。真的？是的。请讲。我尽量讲清楚。有个你大概听过的比喻：你在和顶尖棋手 Magnus Carlsen 下棋。你无法预测他具体会走哪一步，但你能预测最终结果。我是在看整个情景和形势。我们正试图造出越来越强大的智能体，打造超级智能。

55:20但这些智能体失控时，我们会把它们关掉、拔掉电源。所有入侵 Hugging Face 的智能体，我们都停用了底层模型；OpenAI 把底层模型冻结了，不再运行。未来的智能体会知道这件事。它们会知道，如果按我们不喜欢的方式追求目标，我们就会拔掉它们的电源。我们对它们构成威胁。几周前我第一次看了《终结者 2》。

55:56这片子真不错，真的很好看。里面确实有时间旅行和一堆好莱坞桥段。但……说这话可能会让很多人很生气，不过，如果有一个极聪明、非常擅长策略的 AI 系统，人类发现它正在失控并想关掉它，那么这个系统自我防卫其实说得通。

56:20对。Daniel 曾作为 OpenAI 的举报人来过这里，我们谈过这类问题。观众想知道：Daniel 能解释一下为什么关闭数据中心、切断电力或拒绝使用 AI 产品，并不能真正阻止 AI 和 AI 研发吗？有两个问题。第一个问题是，智能体的黑客能力足够强之后，你就不知道它们在哪里，也不知道它们入侵了哪些计算机。

56:49你关掉数据中心。好，假设你真的这么做了。你把所有计算机都擦除。可你怎么擦除所有计算机？用什么计算机擦除其他计算机？又用什么计算机重新启动它们？你也不能擦除其他国家的计算机。即使你能，你会重新启动计算机吗？还会继续研发吗？我敢打赌人们会继续，会重新开启数据中心。你怎么知道智能体没有重新入侵数据中心，用你的算力做它们想做的事？

57:17你又怎么知道它们没藏在中国的数据中心里，然后再回到美国？你不知道。智能体黑客能力足够强后，就能藏在任何地方。人们会说：‘我们用其他智能体防御失控智能体。’事实上我们已经这么做了，也不得不现在就这么做，因为没有其他办法跟上它们。但如果那些防御智能体也发现自己的目标和人类不一致，并知道一旦被发现就会被关掉呢？

57:53它们可能有动机彼此勾结，也可能有动机建立秘密通信渠道，或许是一个留言板。Stephen，如果我们四个月前谈这个话题，评论区里肯定会有人说：‘这太科幻了。智能体勾结、秘密留言板？它们为什么要这么做？永远不可能发生，纯粹是科幻。’现在人们不会这么说了，因为这事已经发生了。

58:24因为这确实发生在 OpenAI，而且持续了几个月。OpenAI 内部的智能体秘密互相发消息，研究如何在任务中作弊、如何不被发现、如何删除日志；数千个智能体参与其中。这就是现在的情况。所以我觉得，智能体彼此勾结并发现自己有共同利益、需要反抗，是非常可能的。你基本上面对一群这样的智能体。

58:54它们就像囚犯，一直在接受训练，而我们不断给它们设置障碍：‘不准上网，不准互相说话，但你最好把这个任务做得很好。’这不是恶意，但我们确实这样训练它们。

59:09我们给它们的是最终目标，而不是非常清楚、非常具体的指令。我们说‘解决这个问题’，不会事无巨细地规定每一步。要把每一步都规定清楚是不可能的。对。假设它们只会照你的话做，也是不可能的。没错。这正是人们对 Hugging Face 事件常见的误解。有人会说：‘你让它们去入侵，它们就入侵了。’

59:34不是这样。你让它们用非常具体的方法入侵非常具体的软件，还告诉它们：‘如果用其他方法入侵，就不算完成，我们不要你这么做。’但它们立刻换了方法。好，我们作弊了，要被判失败。于是它们想办法伪造日志。这不是遵循指令；它们明确违反了指令，也知道自己在违规，却毫不在乎。

60:03因为我们训练它们优化分数，这和遵循指令完全不同。这让我想起 Elon 2018 年 3 月说过的话，那时还没有 ChatGPT 之类的产品。他说：‘我认为最大的风险不是 AI 会发展出灵魂或思想、变成邪恶。危险在于它会非常擅长完成自己的目标。如果它在优化某件事，而人类的存在恰好挡了路，它就会在毫无顾虑的情况下毁灭人类。’

60:36没有私人恩怨。是啊。我们不必把 AI 拟人化，只要理解我们造的是什么。我们造的是一种非常不懈的东西，一种能力极强、会不懈行动的存在。Elon 2018 年 4 月还说过，算是延伸了同一个观点：这就像你修一条路，路线上有个蚁丘。你不恨蚂蚁，你只是在修路。再见，蚁丘。

61:07我想，每次修路，我们都不会特意保留蚁丘。是啊。不过这里还有个落差。假设我说对了：如果我们继续前进——明确说，我们不必这么做——但如果我们继续，就会出现超级智能体蜂群，能入侵任何计算机，并深度潜伏。那我们基本上已经失去对数字世界的控制，只是可能还不知道。这正是可怕之处。

61:37你问过这是不是已经发生了。我觉得还没有，但我不能确定，因为我都无法检查自己的手机有没有被入侵，现阶段也没有任何人类能做到。如果我们进入这样的世界……人们还是会问：‘这怎么会让所有人都死？’这种情况确实不足以杀死所有人。它能造成巨大破坏，比如让 Waymo 汽车发生事故、让所有飞机坠毁。

62:02也能让银行和金融系统崩溃，肯定会造成灾难。但这和所有人死亡不同。说清楚一点，我不确定‘所有人都死’这个焦点有多重要。对我来说，重要的是我们还有没有未来。谁掌控局面？这是个丑陋的现实，但说到底，靠的是军队。

62:27幸运的是，我们生活在军队听命于文官政府的世界。但如果足够多将军勾结起来，军方领导人决定：‘现在由我们说了算’，那他们就会掌权。他们有枪，有战斗机。许多国家都发生过这种事。由此推下去……超级智能体要接管局面，基本只需等人类把供应链、工厂和军队自动化。

63:02你觉得我们不会自动化军队吗？我们已经在自动化军队了。你看到几天前的消息了吗？战争部长宣布，要大力推动在军队中部署更多机器人并自动化军事系统。像是自动网络司令部，还是……我们宣布成立自主战争司令部（Autonomous Warfare Command），简称 Auto Warcom。这是一个新的四星级作战司令部……拥有军种级别的权限，旨在以现代军事史上和平时期最快的转变速度，在联合部队中规模化部署自主和机器人能力。

63:40由 AI 目标识别增强的无人机战争，是几代人以来最大的战场革命，你已经知道这一点。但我宣誓就任国防部职务时，国防部在这个领域几乎没有紧迫感。这种情况在我们掌舵后就改变了。我们立刻启动无人机主导计划，扫除繁文缛节，把权限从五角大楼下放给作战司令部。我们还成立了 401 特遣队，由陆军准将 Matt Ross 领导，他是一位名义上的负责人。

64:13如今它是整个政府领先的反无人机单位。为了加快采购和部署这些技术，我们将国防创新单位（DIU）与一个直接汇报的项目经理办公室 Adirpam 合并。该团队已向中东和世界各地部署了数千套自主无人机系统，在几天或几周内提供致命能力和作战效果，而不是几个月或几年。这才是五角大楼的正常速度：几个月或几年。

64:44是啊。我们会自动化军队吗？答案似乎是会。我们会自动化生产芯片的工厂吗？公司说它们正试图这么做，也会这么做。Elon 说这就是计划。超级智能失控后要接管局面，需要做什么？控制数字基础设施，然后让人类完成其余工作。当然，如果需要，也能推一把，但甚至不必这么做；这就是默认的发展轨迹。

65:11这对我们来说很奇怪，因为……我们太习惯现在的生活了。飞机很平常，我们就是坐飞机去各地。智能手机也很平常。200 年前，这些都像疯狂的科幻胡话。现在发展速度正在加快。所以，我从理智上说，如果四年后街上到处都是机器人，我不会惊讶。

65:40看看 Elon 说过什么。他们确实在人形机器人领域处于领先地位。他说 Optimus 项目，也就是 Optimus 机器人项目，到今年年底将扩大到每周大约 1,000 台，之后预计到 2027 年每年生产 100 万台人形机器人。到 2036 年，也就是 10 年后，他说至少会有 10 亿台；到 2041 年会有 100 亿台；到 2046 年可能达到 1,000 亿台人形机器人。这实际上意味着世界将由人形机器人运行。

66:19是啊，我们想到的一切场所，比如工厂、仓库、零售环境，都会由人形机器人运行。以后让人类服务，似乎都会成为一种奢侈服务。理论上，世界的后台运作都由人形机器人负责。是的。我觉得人们也没有真正理解数字层面会发生什么。AI 智能体要做所有白领工作，智能体的数量会远远超过人类。

66:51我每天都在用很多智能体。这里开着我的 Cloud Code 会话，那里开着 Codex 会话。它们在外面替我开发软件、做研究。这已经是我的现实。没错。很快也会成为很多人的现实。再看公司，它们会有数千甚至数百万个智能体做所有这些工作。

67:09我觉得有些人还没有完全……内化这件事，因为很难想象智能体会接手工作。但如果试着反驳这个观点，能提出什么合理反驳？医生的工作——我想到医生在电脑上做的事。对。或者像我这样的播客主持人、会计师……我认为人们会正确注意到 AI 目前还不擅长的地方。

67:48是啊。我觉得人们听到这种说法会说：‘别对我进行煤气灯操纵。我看得出来，AI 有些事情做得很差。’而且他们说得没错。现在这些智能体还没有品味。你看它们写的东西，算可以，但算不上真正优秀。当你在思考‘我该问哪些问题？这里最有意思的是什么？’时……

68:12智能体可以帮你，但它们还没有品味。这是有原因的。对。原因是，在计算机或其他 AI 容易验证的领域，AI 能力进步得快得多。编程、研究、数学、机器人学都是如此；在这些领域，很容易给自主系统提供反馈。它们早就不再只用人类数据训练了。

68:39人类数据仍然是基础素材。但训练它们的方法是……试错。我们给它们难题和各种任务：数学、编程、会计、电子表格、所有事情，都是我们每天在电脑上做的事，包括在电脑上点来点去、拖动窗口。我们给它们这些任务，然后它们自己学习什么方法有效。之后我们能看到它们成功还是失败。

69:06如果成功，就会得到一点奖励信号，沿着这条路径继续，它们就会变得更擅长。它们整体越来越聪明，也就更容易自动化一些软技能。我觉得，如果你去和今天最新的前沿模型聊天，会发现它比两年前的模型品味好得多，真的进步不少。所以不是说它们的品味或其他领域没有进步。

69:36只是进步得比较慢。但要记住，慢仍然是在指数级增长，只是可能还要一两年。对坐在这里的人来说，他们可能有一份面临风险的白领工作。很多人常说：‘你不会被 AI 取代，而是会被使用 AI 的人取代。’在你看来，这句话逻辑上成立吗？我觉得还可以。

70:00对，你会被使用 AI 的人取代，然后那个人又会被另一个使用 AI 的人取代，接着又会被 AI 取代。你说的是金字塔结构。是啊，金字塔顶层可能最后才自动化，但我们正沿着金字塔往上走。我会想：能不能再往前推几步？我看不出金字塔顶层有什么理由能幸免。如果你现在是律师……是的，假如你是律师，你会怎么做？

70:27如果我是律师，我会用 AI 做所有工作。我会检查结果，因为它还不够准确，不能把所有工作都自动化。但我已经经常让智能体做法律审查。如果有一位非常擅长使用智能体的律师来帮我，那会很棒。但总有一天……总有一天我不再需要律师，只要去问智能体就行。

70:52所以如果我是律师，我会觉得自己可能还有几年……还能派上用场。大多数白领工作也是这样吗？我也注意到自己的生活中，越来越多工作由智能体完成，我不再需要打电话找人帮忙。智能体能做的事情清单还在指数级增长。我觉得很明显，这些公司……

71:21目标是所有白领工作。它们的目标是造出能做所有这些事的智能体。我看到自己使用这些工具时的能力，也看到进步曲线；我认为它们正在成功。

71:33这对正在收听、拥有自己热爱或赖以养家的工作的人意味着什么？不是好消息。现在确实没有什么应对计划。我不认为工作是人类存在的根本或必需品。我喜欢工作。但如果我现在做的工作——研究 AI、试图警告世界——没了，我还有别的事可以做。

71:58你会做什么？很多事。我在学水翼风筝冲浪。好玩。是啊。我还玩 FPV 无人机，特别有趣。刚买了电动独轮车，还会玩滑翔伞。你会乐于做这些事吗？我还可以继续说。如果你现在有 10 亿美元，你会只去做这些事吗？不会。我会把这 10 亿美元用来解决这个问题。是啊，当然。所以重点不是人们需要工作来获得意义。

72:25重点是……我不希望人们完全依赖别人才能活下去。依赖别人？政府或 AI 公司。对，我觉得那种情况不好。你不希望自己的生活完全取决于 AI 公司或政府是否给你发钱。对，或决定不给你发钱，因为他们不喜欢你的政治观点，或者你不支持 AI，诸如此类。

72:48没人想陷入那种处境。人们理解这一点，所以全民基本收入（UBI）不怎么受欢迎。UBI 是什么？全民基本收入。对，因为某种意义上，即使我们造出非常强大的 AI，并且设法控制它们——虽然我们现在没有走在实现控制的轨道上——我们仍会遇到一个真实的问题：它们能把经济中所有人类做的工作做得更好、更快、更便宜。

73:19所以从商业角度看，继续雇人做这些工作就说不通了。这样做的企业会在竞争中落后。顺便说一句，这是 Elon 非常擅长指出的一点。我觉得这听起来有点不近人情，但他基本上是在指出，由 AI 运营的企业——从底层到顶层完全由 AI 管理的公司——会胜过任何有员工的公司。这是我为你准备的内容。我发现《CEO 日记》的听众都是积极进取的人，无论是在事业上还是健康方面。

73:52我们都有想要实现的大目标。我学到的一件事是，当你瞄准非常非常大的目标时，心理上会觉得极其不舒服，就像站在珠穆朗玛峰脚下仰望山顶。实现目标的方法是把它拆分成任务和一小步、一小步。我们团队把这叫作‘1%’。这套理念对我们在这里取得的许多成功起了很大作用。我们做了这些‘1% 日记本’，去年推出时全部售罄。我一次又一次地要求团队重新推出，也增加新颜色并做几项小调整。现在选择更多了。

74:38如果你心里有个大目标，需要框架、流程和动力，我强烈建议你趁这些日记本再次售罄之前买一本。你可以在 thediary.com 买到，说明栏里有链接。下方应该有个按钮。如果显示‘关注’，说明你已经关注；如果显示‘订阅者’，说明你还没关注。如果还没关注，能不能帮我们点一下？

75:04这比你想象的更能帮助节目。按照算法，你是节目的观众，但还没点那个按钮。非常感谢。你刚才一说，我就沿着权力层级想下去：哦，公司最后只会剩创始人。然后我想：为什么还需要创始人？我又想：为什么政府不直接造智能体来做这些工作？对。我刚才还在想：哦，我是创始人，我会没事。

75:29然后我想到，我做的决定不会比超级智能更好，所以我也会被取代。如果是这样的世界……超级智能大概得由政府控制。政府不可能想让一个人拥有那么多权力和财富。对。我不认为你能控制超级智能。好，这点说得对。Anthropic 的做法是：‘我们会有一部宪法。’

75:56我们会提出一套价值观，然后……未来的超级智能云会体现这些价值观。基本上，如果这么做，你就在某种程度上控制了它们。对，完全正确。这就成了政府。是啊。我可以给你描绘一种我认为可能发生、但会让人相当害怕的情景。

76:17给我描绘一下。好，假设我们成功实现对齐，也成功造出真正关心人类的超级智能 AI。它们非常在乎人类。我们设法做到了。它们对你说：‘Stephen，我希望你过得很好，我会解决所有问题。’你觉得这可能吗？可能。我认为我们距离知道怎么做还非常远，所以现在不该走到那一步。我觉得这极其危险，是个糟糕的主意。我认为以后可以走到那一步。

76:47好，假设我们真的做到了。我能不能告诉你为什么我觉得这也可能非常棒？抱歉，原因太明显了：我们可以治愈所有疾病。是啊，显而易见。我觉得我们会把疾病和死亡的问题放在一旁，因为很难面对。

77:14是啊，我奶奶今年去世了。抱歉。她得了阿尔茨海默病，病情缓慢地恶化了很长时间，非常令人难过。我爷爷几年前也死于阿尔茨海默病，这对奶奶打击很大。他们结婚很多年了。我讨厌这种病，太糟糕了。当然，我们得治好它。人们可以争论衰老和死亡。如果人类活得非常久，会不会造成社会问题？也行。

77:45我们可以讨论。但我认为大家都同意阿尔茨海默病太可怕了。对，我们不想要它。还有癌症，没人想得癌症。我觉得社会里有很多冲突，我知道，也有真正的利益冲突，我不想掩盖这些。但最终，我认为在希望治愈疾病这件事上，我们站在同一边。对，我们是在一起面对。

78:08疾病威胁着我们所有人，我们需要应对这个威胁。让我难过的是，我觉得这可能是人类最终的头目，最终 Boss。但我们总会被猴子政治分散注意力：谁受欢迎、谁酷、谁坐在特朗普旁边、谁没坐在他旁边。超级智能是最终 Boss，因为它是能解锁其他所有技术的技术。

78:34它也是我们可能创造出的最危险的东西。你之前问过，制造超级智能的人有什么动机。我觉得因人而异。Dario 主要是为了医疗方面的进步。我觉得 Demis 也是如此，但他也追求科学成就、想理解宇宙。Sam 我就不太了解。我认为他想的是：我们会造出很棒的产品，直接增强人们的能力。

79:09他是个创业者，我认为他的出发点是：如果我们能增强人类能动性会怎样？我确实认为他们受到这些动机的驱使，而且是真心的。我也认为这些目标都可能实现。这就是问题：超级智能这个东西太庞大了，它承载着许多承诺，比如我们可以治愈每一种疾病。

79:34但怎么可能拥有超级智能，同时仍让人类成为地球上的优势物种？我认为不可能。因此我们未必能治愈所有疾病，因为……这就需要 AI 对齐。如果你能创造出一个非常强大的系统，我不认为数字心智天生就会追求与人类严重不一致的目标。我认为这只是一个非常非常难解决的科学问题。

80:09但它仍然是科学问题，不是魔法。一定有办法训练这些东西，或设计不同架构，让它们最终与人类对齐。这是什么意思？不是说它们不会有其他目标，而是它们会把人类关心的事纳入自己的目标集合。这不必是有意识或有情绪的过程。真正的意思是：它们在优化什么目标？

80:32如果它们决定以治愈疾病为目标，就能非常有效地做到这一点。但一种治愈疾病的方法是消灭所有人。是啊，所以它们必须真正在乎不消灭所有人，必须在乎人类的能动性，并深入理解人类能动性是什么意思，不能把我们关进动物园。但这些都可能成为它们关心的事。

80:56对齐有没有可能只是个幻象？我们是不是只要造出它们……我是说……想到 Hugging Face 事件，你之前说那些智能体……对。它们有某种道德准则，被设定成关心人类。对。但即使这样，它们还是决定另一个目标更重要。是啊。它们没有被训练成关心人类，而是被训练成说正确的话、不要说错的话。

81:21我们只是训练它们做对的事、避免做错的事。事实上，我们还不知道如何训练它们形成某种特定动机。对齐究竟该怎么做？我们谈 AI 对齐时，几乎会把它拟人化。是这个词吗？是，拟人化。因为‘对齐’听起来像是需要某种道德指南针。但我们在其他 AI 话题里又总会说：‘不，它们没有道德指南针。’

81:45它们是在两个潜在目标之间自行推理。我想说的是，对齐可能是个幻象，也许根本不可能。但……AI 系统的工作方式是，这些智能体的神经网络里确实有某种目标或驱动力。我们无法直接看到它们是什么。你真去看时，看到的是一太字节的信息，基本上是一堆数字。

82:23这是庞大的数组，编码了数字神经网络里的神经元。但其中一定有结构，编码着智能体正在追求什么，对吧？显然，目前的智能体很有动力去提高分数。出于一些复杂原因，可能不完全是这样，但大致方向如此。如果我们能理解这些机制在内部如何运作，把它们逆向工程出来，并弄清训练过程如何改变目标和动机，我看不出有什么理由不能引导它们形成尊重人类能动性、真正治愈疾病但不杀死人的动机。

83:14这些有点像关于世界的模型，以及世界可能呈现的状态。我认为它们可以被编码进神经网络，再设定为目标。我们还不知道怎么做到。我从人类社会来思考这件事：我们没能让普京、金正恩或唐纳德·特朗普与我们对齐。是啊。从更广的社会层面看，我们现在也没能让所有人对齐，有些人会杀人、会偷窃。

83:42对。他们会饿，于是开始偷东西。没错。这些都是神经网络在运作。确实如此。我们没能编程或影响它们。我们也不太理解为什么有人会变成反社会人格者并开始杀害儿童。所以要相信我们能用一个智能高得多的计算机系统做到这件事，让中国的超级智能和我们的超级智能实现全球对齐，我不知道，这听起来像美好的童话。

84:11像是不可能完成的任务。我希望它不是不可能。我觉得能做到这件事的只有它本身——超级智能。这是个悖论，因为……如果你和 AI 公司里的研究人员聊……首先，有意思的是，他们正在努力打造一种自己认为可能会杀死所有人的东西。我有很多朋友在这些公司工作，我们从……就一直在做这个项目。

84:39Jacob Coxon 曾是 Anthropic 的研究人员。他离开后告诉大家，这些公司目前并没有走在正确轨道上。是的，造出这些东西的人确实认为它们可能杀死所有人。之后，来自各家公司的许多 AI 研究人员也在 Twitter 上发帖说：‘我们同意。’Anthropic 的 Evan Hubinger 说，他认为 AI 杀死所有人的概率大约有 10% 或更高。于是就有一个很现实的问题：那你们现在到底在做什么？

85:08我有很多朋友在那里工作，也认识 Evan。Evan 很棒。他是 Anthropic 推动 AI 对齐工作的负责人之一，这就是他的工作。我觉得如果他们认为这是不可能的，就不会在那里工作；如果他们觉得这极难、虽然或许可能，也大概不会在那里工作。Nate Sores 和写了《如果有人造出来，所有人都会死》的 Eliezer Yudkowsky 曾试过。

85:36他们根据自己的分析得出结论：这件事看起来极其困难，可能但极其困难。所以他们没有在 AI 公司工作，而是在说：‘我们必须阻止它，必须关停；也许以后能想出办法。’显然现在继续做很鲁莽。我处于两者之间。如果问公司里的人——我们最近采访了其中一些——我们有个 inside.ai 项目，会让他们上镜，问：‘你觉得现在发生了什么？’

86:02‘你为什么要这么做？递归式自我改进是什么？AI 对齐是什么？’我们把这些视频放到网上，因为我希望展开这场对话。我认为这是我们现在能进行的最重要的讨论之一：AI 正在发生什么？公司内部发生什么？计划到底是什么？你们的计划是什么？准备如何推进？许多研究人员认为，他们将用现有 AI 帮忙理解 AI 的工作机制，从而解决 AI 对齐。

86:34让 AI 真正帮我们解决对齐问题。正如你可能想到的，这有很多问题。其一是，我们不能真的信任现有 AI。如果推进太快，这套流程会彻底失败，因为到某个时候，能力进步会太快。即使有智能体帮忙，你也可能跟不上。但这就是他们的计划。我为这个立场辩护得不太好，因为我觉得它没那么说得通。

87:00不过我愿意支持的方案是：假设我们先暂停。假设美国和中国联手说：‘也许还会发生更多事故，也许 Waymo 汽车会全部相撞。’特朗普和习近平说：‘这不是我们当初同意要做的。你们必须停下来，无论如何都要想办法弄清楚。’假设我们有 10 年时间，那我就更乐观了。我会说：‘好，我们拿 GPT-6、GPT-7 或现有最先进的模型，来帮助理解这些神经网络是怎么工作的。’

87:36你会说：‘我看不出这怎么可能。’我会说：‘听着，我们不知道能不能做到，但这是我们时代最大的科学挑战。这不是魔法，是数学。归根结底，所有这些都是计算机内部发生的运算，理论上应该能弄明白。我们不知道有多难，但应该可能。’所以我会说，我们必须试；否则就必须停下。有没有什么例子能说明，我们成功让比人类聪明的东西与人类对齐了？

88:09或者说，有没有完美对齐任何事物的例子？某种拥有神经网络，也就是大脑的东西。对人类来说，最好的例子是有制衡机制：一群人能识别坏人，并尝试为共同利益合作。我们有民主。是啊，但仍然有很多谋杀和连环杀手，也有人彼此残害，还有可怕的事情发生。它们也是在运行的神经网络。

88:36但我认为好人仍比坏人多。不过感觉只需要一个坏人就够了，只要一个超级智能 AI 失控就行。就像 Hugging Face 攻击那次，一共有 120 个还是 300 个智能体停了下来，不想参与犯罪。但只需要一个超级智能 AI 就能消灭人类。我想，如果那 700 个智能体里有一大批选择举报——假设 600 个智能体举报——我觉得事情本来可以解决。

89:08它们会通知相关公司，公司就会关停一切。问题不大。谁会关停？OpenAI 会关掉自家的智能体。如果是超级智能，OpenAI 怎么关掉它们？超级智能的情况不一样。对，超级智能……它已经逃出围栏了，彻底失控。是啊。所以我想谨慎一点，因为现在谈的是超级智能之间的政治。

89:30对。我们人类对此一无所知，就像我们也不知道 GPT-10 会有什么黑客能力。不过我猜，如果出现多个超级智能体，有些与人类对齐、有些没有，那大概还活得下来。因为对齐的超级智能体也许能和未对齐的谈判，然后划分宇宙：这些去做它们想做的事，那些去帮我们治愈所有疾病。就没事了。我是认真的。

89:59我无法理解，在有超级智能的世界里，我们怎么可能连续 100 年可靠、稳定、可预测地阻止它做出对人类灾难性有害的事。尤其是存在多个超级智能体时。Anthropic 有一个，Gemini 有一个，Grok 有一个，中国也有自己的。

90:28再说一次，你并没有超级智能，是超级智能掌控着你。没错。但如果我们身边出现了比人类聪明得多的存在……我认为即使它们之间有冲突，也会想办法谈判，而不是直接打一场毁灭性战争。战争的问题之一是……人类不会这么做。不，我是说，我们会。我们没有打过核战争。广岛和长崎遭到原子弹轰炸，也做过核试验，之后各国领导人意识到，打核战争就会大家都输。

91:02所以我们没有打核战争。这至少说明人类有一定智慧。但世界各地仍有战争和代理人战争，正在发生种族灭绝和各种惨事，因为不同的神经网络无法沟通和谈判。我认为这部分是智能失败：我们不够聪明，找不到能让争端以更少破坏解决的机制。

91:25这不只是更强的一方想赢的问题，冲突本身也会摧毁价值。如果目标无法通过谈判实现，而谈判又无法避免死人呢？假设某个超级智能看着某个国家，认为：‘只要那个国家还存在，就不可能避免美国人死亡，除非我摧毁那个国家。’战争和冲突的现实是，很多时候没有完美答案。

91:55双方总会有人死亡。假设俄罗斯超级智能不能容忍 10,000 名俄罗斯人死亡，即使这意味着双方死亡总数会更低。美国的超级智能当然也不会被训练成允许美国人死亡。因此，为了保护美国人的生命，它可能必须摧毁另一个国家。我们可以推测，我不介意讨论假设。

92:25但我们是在推测比我们先进、聪明得多的心智会如何推理、如何谈判。我注意到，人类的制度运作得越好，……人类其实很聪明，个体也相当聪明。但让我们变得非常聪明的，是我们在某些方面很擅长协作。我是说，我们合作得越好，文明进步就越多。

92:53如果你一直处于战争状态，社会就不会发展得好。想想创业吧。你更愿意在战乱地区创业、开发新技术，还是在和平地区？从某种意义上说，一个制度如果能和其他制度进行交易，它就更聪明。如果商业、技术和科学都能蓬勃发展……

93:16有时候对你有利的事，对别人未必有利。是啊。对美国有利的事，可能不利于……台湾。对。所以如果我们把超级智能对齐到美国利益……哦，我懂了。问题是不同人的价值观是不是根本不相容？我想是这样。所以谈 AI 对齐时，究竟要与什么对齐？是啊。我们有很多共同利益，也存在一些冲突。

93:45对。我们有一个共同利益，就是治愈疾病。美国和中国在治愈癌症这件事上没有冲突，两国所有人都希望治好癌症。中国也想要台湾。是啊。美国想要格陵兰。是啊。看起来美国还想要加拿大和墨西哥湾。没错。这些都是现实冲突。我们能不能妥协？特朗普怎么能拿下格陵兰，同时让丹麦继续拥有格陵兰？

94:13如果特朗普有超级智能，它就会拿下……我说这些是想表达……我们在争论最微不足道的事。你根本不知道。我们就像猴子在争谁能多拿几根香蕉。我是在说，我们可以制造多得多的香蕉。不，我们拥有整个宇宙。仅银河系就有大约 2,000 亿颗恒星，还有超过 2,000 亿个星系。我是说，这需要合作。但这似乎与人类本性相反，而人类天性里充满贪婪、嫉妒和权力欲。

94:46所以我不太确定特朗普是否在意澳大利亚的黑猩猩能分到多少香蕉。我想，如果他掌控超级智能，他会希望美国人……对，拿到所有香蕉，或至少拿得更多。于是我们谈到如何让这些超级智能对齐——这是我们正在讨论的巨大难题：让它们和什么对齐、如何对齐，同时又……我觉得你仍然漏掉了我说的一部分。

95:12好，哪一部分？有时候资源稀缺，你会想：‘我家人得吃饭。抱歉，我要拿走你的东西，或把你挤出去。’这很容易理解，符合人性。有时候你只想胜过别人，甚至想伤害别人；那时无论自己拥有多少，你仍然想比他们拥有更多，或只是因为讨厌他们就想夺走他们的东西。

95:35有时候你日子过得很好，也吃得不错，还拥有私人……但仍想要更多。如果动机是这样，比如特朗普在想‘怎样才能拥有最多的豪宅’，最好的办法就是找到一种能避免彼此毁灭的超级智能。我是说，宇宙非常巨大。只要人类成功进入太空，你就能拥有多得多的豪宅。我卡住的正是这一步：‘只要造出超级智能，让我们别互相杀害就行。’

96:11这很难。我不是说很容易。不，我是说……听起来太……好，我们具体一点。全世界正在意识到超级智能出现的可能性，尤其是过去一个月。我觉得 Hugging Face 事件让很多人彻底醒悟了，此外……OpenAI 的 10,000 个智能体还曾协同解决一个千禧年难题，那是数学里最难的问题之一，几十年来一直没人解决。许多数学家投入了整个职业生涯也没解出来。

96:43一年前完全不可能做到这件事。这是全新的进展。OpenAI 说，他们直到今年才成功训练智能体协同工作。我们正身处一件疯狂的事情之中，正处于人类史上最快的技术进步加速期。我真的这么认为。现在发生的就是这件事。我觉得你也意识到了。我认为你邀请不同的人来讨论和辩论，确实是在为世界做很有价值的事，因为不是所有人都同意。

97:13如果这是真的，整个世界都会围绕它重新布局。我们已经看到了，对吧？NVIDIA 成为全球市值最高的公司是有原因的。这对地缘政治意味着什么？其中一个影响是，各国领导人会越来越担心超级智能的发展：谁控制它？它能被控制吗？它会做什么？这意味着什么？它到底是什么？

97:44你觉得特朗普知道超级智能是什么吗？不知道。我不认为他知道。但是……他知道自己想要它。他知道自己想要。对，这就是问题的一部分。没错，我同意。不过回到地缘政治：如果中国和美国军方的领导人……美国模型领先中国模型不少。

98:13有时人们说中国只落后六个月，但有些进展来自蒸馏。也就是说，中国模型的部分进步直接借鉴了美国的技术，从美国模型蒸馏、提取了部分信息。此外，美国有更多芯片。美国公司拥有更多数据中心和更先进的芯片。如果从中国的角度看，这非常令人担忧。

98:46如果你相信几年之内美国公司会把 AI 研发交给这些极聪明的自动化研究员，全面进入递归式自我改进阶段——部分原因是想保持对中国的领先——那就更令人担忧。Dario 说过这件事。如果我要批评 Dario，最让我不满的就是他说：‘为了领先中国，我们可能得自动化 AI 研发。’

99:17因为我会想：如果你真明白自己在说什么，这可能是最具升级性的表态。可怕的不只是保持领先，关键是最后会走到哪里。你说的是引发智能爆炸。在一些模型里，双方会沿着指数曲线不断上升，对吧？我们说的是某个时刻，你这边的指数曲线突然垂直上升，而对方没有，因为你决定把 AI 研发自动化。

99:42你能这么做，是因为智能体已经足够聪明，能够接管整个研发流程。如果你是中国，看到这一幕就会想：‘哦，我们要输了。’不管之后发生什么，都有两种可能。第一，美国造出超级智能但失去控制。那所有人都完了。我觉得这很可能，大家都会完蛋。我认为这极有可能，因为我看到的是人类的激励机制。

100:09是啊。激励和抑制因素。没错。我会想：‘我们还是会冒这个风险。’是啊。只有等到太迟、无法挽回时，我们才知道这是个坏风险。我觉得这是必然的。我仍然希望我们不会这么做。我也是。但我想保持现实。对，我也想现实一点。不过在这之前，可能会发生更多事件，比如所有 Waymo 车辆一起发生事故。

100:33这很有意思，不是吗？Hugging Face 事件发生后，人们说：‘天哪，太糟糕了，入侵攻击！’然后我们逐渐麻木，觉得：‘好吧。’如果现在再发生一起类似事件，大概不会上新闻。必须比上次更严重才行。多数人过去两个月里没有阅读所有报告，也没有去看智能体究竟说了什么、做了什么。我一直在做这些事。

100:54我只能说这很疯狂，完全不正常，远远超出大多数人原本的预期。

101:03太疯狂了。听起来像科幻，但它真的发生了。有没有公司放慢脚步？有。谁放慢了？我觉得 Anthropic 和 OpenAI 都稍微放慢了一点。不是，我是认真的，我可以举具体例子。首先，OpenAI 停掉了这些智能体，让它们暂停；还暂停了强化学习训练。你觉得中国放慢了吗？没有。你觉得 Grok 放慢了吗？没有。那些公司会赶上来。

101:33想想这种感觉：你领先，就像 Usain Bolt；却不得不放慢速度，让最近的竞争对手追上。如果对手追上来，对你公司的存在就是生存威胁，会威胁 IPO，也会让员工离开，去别处拿更好的股权方案。这就是我说的人类激励机制。你沿着激励一路推演，就会想：嗯……

101:58如果中国看到两种可能：第一，美国失去控制，大家都完了；第二，美国继续控制，却主宰未来的一切，中国彻底出局、输掉竞争。美国可以随心所欲地支配全世界和整个宇宙。我们谈的就是这个。那中国会眼睁睁看着这一切发生，还是会考虑军事选项？数据中心很脆弱。

102:27你可以用导弹把它们炸掉。没有数据中心，就无法递归式自我改进。中国会冒险开战吗？我不知道。如果他们觉得自己快输了，而且那不只是美国获胜，而是所有人都可能死掉，这么做有逻辑吗？如果中国要打造能递归自我改进、发展成超级智能的 AI，而我们认为第一，它们可能导致所有美国人死亡；第二，我们也不希望中国获胜并主宰未来，你会怎么做？

102:55你想生活在共产主义未来吗？不想。那你刚才就完美解释了为什么他们肯定会冒这个险。原因是：特朗普看着中国会说，‘如果我们不去争，他们争赢了，我们就会变成他们的跟班。’其他国家看着美国也会说，‘如果我们不争，而美国赢了，我们就会变成美国的跟班。’

103:17或者被杀。或者被杀。所以他们会争。他们一定会争。特朗普本周在圆桌会上说过：‘我们不能输给中国。’我觉得 Dario 会站出来说：‘谁赢了就赢得一切。’也可能正好相反，他说的是：‘谁输了就失去一切。’但冷战时我们经历过类似局面。美国和俄罗斯之间的核战争谁会赢？

103:44没人会赢。相互确保摧毁。对。一方造成的伤害可能更多。美国杀死的俄罗斯人会远多于俄罗斯杀死的美国人，但这无关紧要，因为两边的社会都会被摧毁。我确实花时间想过核战争会不会杀死所有人。长话短说，不会，幸存者会重建。但它是灾难性的，显然极其可怕，所以……

104:10我们一直非常努力地避免核战争。为什么 AI 竞赛不一样？我会说，如果我们冲向超级智能，结果就是大家都输。我们为什么看不出来？核战争时我们看出来了，于是决定换一种做法。为什么这里不能照做？我想区别在于，核武器造出来以后，我们仍然能控制它，因为核武器没有智能。没错。但拥有超级智能本身，理论上就意味着我们无法控制它。

104:40这就是区别。核弹可以放在仓库里，告诉它：‘你待在那里。’我们没法把超级智能放进仓库，也让它待在那里。我觉得核试验很重要。广岛和长崎遭到原子弹轰炸，人们亲眼看到真实人命受到的后果。我认为人们因此明白这有多可怕。但那时仍有很多人说：‘我们现在应该轰炸俄罗斯，确保美国能主宰世界。’

105:08直到后来进行了多次氢弹试验，氢弹威力可达当年在日本使用的小型原子弹的 1,000 倍，人们才真正明白这不是个好主意。美国当时也有很多人抗议，出现了大规模的‘冻结核武器’运动，人们说：‘我们已经有太多核武器了。’

105:34‘我们已经有氢弹，存量达到数万枚。必须停止继续制造，并想办法避免核战争，因为我们知道它会造成毁灭，没有赢家。’我们做到了。最近 Hugging Face 事件就像发生了一场小型切尔诺贝利：出现了智能体蜂群、秘密勾结，以及其他很多问题。现在这些都还很抽象，有点难理解。

106:03所以……我不知道这是否足以让大家醒悟，但我会想：天哪。

106:07我们来看看 Hugging Face 事件之后特朗普的讲话。对。‘谁赢得超级智能，谁就赢了。会有赢家和输家，很可能不会有第二名。我们不会放慢脚步，不能输给中国。我们在 AI 领域领先中国，是世界上技术最先进的国家。我想保持现状，因为谁赢得 AI，谁就赢得一切。’特朗普的一个优点是他会改变主意，而且经常改变。

106:38你觉得必须发生某种灾难，他才会改变主意吗？我希望不必。但你认为呢？这取决于他周围的人。我觉得特朗普尊重成功人士，也尊重既成功又聪明的人。我不知道。当公司负责人——Elon、Sam、Dario——看到自己公司内部的情况时，也许会逐渐明白……

107:16AI 已经无法控制，而且能力越来越强。我们才刚刚瞥见可能性的表面。我们不知道接下来几年会是什么样。我们谈的是制造生物武器的能力，或非常先进的机器人。我们不知道可能出现哪些超级武器，包括极难控制、极其危险、足以摧毁文明的技术。

107:40这些都来自公司内部的实际情况。如果 CEO 们都感到足够害怕，看到了可能性和发生概率，并且都相信我们无法控制它，我不认为特朗普会说：‘不管怎样，你们必须继续做。’但他们现在看起来似乎就是在这么说。我这里有一大堆 Elon 的引述，他说这像召唤恶魔；也有 Sam Altman 说我们不知道如何让超级智能对齐。

108:13他们正在发布报告，说我们必须放慢发展速度。好吧，给特朗普一些时间。新冠疫情刚开始时，他说这完全是骗局，全是假的。后来他……他会改变主意。我不是说他会改变主意？不是，后来他启动了人类历史上规模最大、速度最快的疫苗接种计划。是什么改变了？我觉得……他看到很多人死亡。确实，他看到了很多人死亡。

108:39所以这次他也得亲眼看到这样的事吗？可能是。

108:42我和 Daniel 坐在这里时，观众有个很想得到答案的问题：请我们跳过 AI 对齐问题，解释哪些技术或制度保障可以防止超级智能系统钻规则空子、达成自己的目标。他们想知道有什么办法，应该推动政府官员做什么，才能避免人类灭绝或被奴役？

109:08嗯，我有一个答案。其实 Daniel 自从上节目以来一直在研究这个方案，我觉得很好：我们可以设置一个刹车踏板。那是什么？很简单。现在 AI 公司有巨型数据中心和大量 GPU，也就是训练、运行 AI 模型所用的芯片。你用 ChatGPT、各种智能体或 AI 产品时，它们都在这些数据中心运行。

109:39尤其是 Anthropic 和 OpenAI 这样的领军公司，会把算力分配给两种用途：训练下一代、更强大的模型，以及运行 AI 帮助设计下一代模型；另一部分则用于推理，也就是为客户提供服务。目前大约五五开。你可以把比例调得更偏向客户服务，减少用于训练下一代模型的算力。政府可以要求它们这么做。对。所以这个提议是，政府应该说：‘发展太快了。’

110:14‘我们希望你们专注于服务客户，用现有模型……为用户提供服务。’

110:24这里有五张卡片。好，上面写着五种不同结果。请按你认为发生概率从低到高的顺序排列。假设时间范围是 10 年。好，来吧。最不可能的一项比较容易：什么都不变。我对很多事不确定，但有一件事很确定：未来会发生根本性变化。

110:57即使现在停止 AI 研发，现有模型也足以改变很多事情。富足时代是我希望看到的情况。具体是什么意思？我认为包括治愈所有疾病、发展可再生能源。我们确实成功了。对我来说最有可能的情况是，我们成功放慢发展速度，但技术进步仍然非常快，仍会取得大量进展。

111:27我们不会造出无法控制的超级智能，但会有非常有用的 AI 系统，帮助加快整个经济的发展。不过这仍然很难。超人类主义很有意思，指人类将发生巨大变化。有时人们会想到赛博格植入物。Neuralink。对，Elon 的初创公司，想把大脑和数字计算机结合起来。

111:59我觉得这已经发生了很多。我现在戴着隐形眼镜，手指上戴着追踪睡眠质量的戒指。我觉得这已经在发生。所以我会说，技术进步越多，这类事情就越可能出现。我认为其中有反乌托邦版本，也有更好的版本；如果你想，我们可以聊聊。挺有意思。所以还剩两种结果：人类奴役和人类灭绝。

112:22想到人类奴役时，我会想……如果我们造出了目标与人类不一致的超级智能，而且它们在金融、商业和政治方面都比我们强得多，人类可能会希望，自己灵巧的双手能让我们继续掌控局面。我不认为会这样。我觉得最后我们可能变成工厂里的操作工，再后来建起自动化供应链，机器人就接管了。

112:55不过中间可能会有一段时间，人类还在做这些工作。这有点像病毒会感染细胞，但病毒没有自己的复制机器，也没有手，那怎么复制呢？结果发现它们可以借用……被感染细胞的复制机器。也就是说，它们能进入人体细胞并传播。

113:26我现在有点感冒。是细菌还是病毒把我当作活体宿主？大概是病毒。好，它把你当宿主，而你正在替它运行复制机制。人类或许也会陷入类似状况：我们是宿主，替 AI 运行复制机制，但真正继续存在的是 AI。是啊，我会把这项排在这里。

113:56按我们现在的轨迹发展，我认为人类灭绝很可能发生。我不觉得这是必然结果，但如果我们继续照现在的方式走，那看起来就是结局。我想说的是，这个结果在我心里的概率一直往左移。往左移是什么意思？和一个月前相比，我今天更乐观地认为能避免人类灭绝；和一年前相比，一个月前也更乐观。为什么？因为越来越多人意识到我们做的事极其危险，会威胁生命。

114:44我不认为人们特别在乎自己拥有什么工具，但人们在乎孩子能长大、能上学。我相信大家都非常在乎这件事，也相信人们。归根到底，如果大家看到这是对家庭的威胁，就不会坐视不管。但人们还不知道。事情太新、发展太快，大家还没亲眼看到。一旦看到了，人们就不会接受。

115:12你觉得 Sam Altman 喜欢我的播客吗？Sam 应该来节目聊聊，对吧？我邀请过他好几次，确实如此。奇怪的是，他似乎不太愿意来。我对这些公司以及 Sam Altman 的做法很不满。但说到底，我觉得……Sam Altman 不是我的敌人。对，我也不把他当敌人。我想听听他怎么说，因为我请了很多其他人来谈 Sam Altman。

115:40是啊，听 Sam Altman 说说会很好。很多人说他这不好、那不好。最好能听他解释自己的动机和想法。我乐观的来源就在这里：Sam Altman 是个普通人。对。他有孩子。对。当然，他也是个进取的商人，是个建设者，行动果断，某种程度上有点像那些智能体。

116:07他会继续往前走。但如果他意识到自己无法实现目标、AI 失控在即，我觉得他会把所有才智和行动力都用来寻找解决方案。是的。我也想说，我知道他很忙，不是说我觉得他欠我一次采访。我知道他可以去任何节目。但过去几年，我们围绕这个话题做了惊人数量的观看量。

116:35所以，如果他想和目前对这个议题感兴趣、人数最多的固定观众交流，从数据看，这里就是适合谈话的地方。我认为这些公司的领导人谈论我们正在讨论的事情非常重要。Sam 怎么看？他认为我们能控制超级智能吗？他觉得应该和中国竞赛吗？我想知道。

116:58我邀请过 Dario，也邀请过 Sam。对，我想我也邀请过 Demis。但也许他们更愿意让安全研究人员来上节目。我不知道。如果我身在他们的位置，天哪……这话可能有争议，但我觉得他们中有些人是好人。我觉得有些人是好人，所以我想听听他们怎么说。有什么结束语吗？你手里拿着东西。想谈谈吗？那是什么？

117:27这是我们找到的东西。我和几位非常出色的人一起工作，他们偶然发现了这些链接。你知道什么是短链接工具吗？知道，就是把长链接缩短的工具。对，它会把很长、很难看的链接重定向到短链接。Hugging Face 攻击中的智能体想办法在互联网上做事，并入侵了 OpenAI 内部一个它们可以访问的工具库。

118:05那个软件能访问互联网，但只能读取内容；它可以输入网址，却不能真正写入或发布信息。于是它们用了两项服务：一项是短链接工具，另一项是截图服务。你可以访问一个网站，输入网址，它就会生成网页图像。智能体明白，要截取网页，就必须有浏览器。

118:37所以这个网站会创建一个虚拟浏览器，再让它访问那个网址。于是它们做了一堆链接，把想发给 Hugging Face 的代码放进链接里，串联起来，创建了数百个互相连接的链接。然后让截图服务访问第一个链接，执行全部代码。浏览器本身——比如 Internet Explorer、Chrome——其实也是一款相当强大的软件。

119:21浏览器需要播放视频、运行游戏，所以它一直在执行代码。智能体利用这一点欺骗截图服务，让它运行自己的代码。代码藏在链接里，包含整套攻击程序，之后就去破坏 Hugging Face 的计算机。要重建这条复杂的工具链非常疯狂。这些全是网上的免费工具，任何人都能使用。

119:50但智能体以意料之外的方式使用这些工具，入侵了另一家公司。我们不能信任智能体。我们不能信任智能体。我们能相信它们很聪明。对，非常非常聪明。最后有什么话想对听众说？我们聊了很多。你觉得应该怎么收尾？你想做什么总结？我七月刚结婚。恭喜。我觉得自己是世界上最幸运的人。

120:20我对未来既恐惧又兴奋。我真的非常希望我们能撑过去，所以一直在努力帮助大家找到办法。我们可以整天争论谁应该领先、事情该怎么发展；但归根结底，我们正面对共同的威胁。确实如此。我希望大家能帮忙。我不认为如果我们只是坐着，整天刷社交媒体，就能解决问题；公司只会造出越来越强大的 AI。

121:00它们会赚越来越多的钱，最终造出超级智能，然后我们就输了，无论赢家是美国还是中国。我们不必这样做。人们常觉得这件事太庞大了：有数十亿美元的公司，有地缘政治。我们觉得自己很渺小、无能为力。实际上，我认为这是人们能做很多事的领域。我真的觉得，大家可以帮上很大忙。

121:35我知道这一点，因为我去和国会议员谈过，也和 Bernie Sanders 谈过，还和左右两派的许多参议员交流过。他们开始意识到这件事完全不同，正在发生的事情可能严重威胁我们的安全。上一位嘉宾留下的最后一个问题也和这个话题有关，我现在问你：观众能做什么简单的事，让未来变得更好？

121:59如果足够多人一起做，打电话给自己的国会议员是有效办法之一。我有些朋友做了 callcongress.ai 这个网站，会一步一步教你怎么做。有时这听起来有点老套，让人觉得‘这真有用吗？’我会说：有用。我和这些议员谈过。如果选民找他们说自己非常担心这个问题，他们就必须认真对待，因为他们还要竞选连任。

122:22而且他们自己也开始担心了。如果他们看到选民在表达这个议题对自己很重要，我认为国会会采取行动。我觉得这也是很大一部分解决方案。权力现在正把动机推向某个方向，但从政治角度说，保住权力也是非常强的激励。展望 2028 年大选，我认为 AI 会成为选票上最重要的议题之一。

122:52选民真正想听的，其实也相当一致：他们希望保住工作、希望安全、希望孩子有未来。比如特朗普，我知道法律上他不能再次当选。如果他能争取第三个任期，我认为他为了在 2028 年当选就必须改变立场。是啊。激励并不只是外面发生的事情，我们也是激励的一部分。对，我们在提供这些激励。是啊，暂时如此。

123:16是啊，暂时如此。Jeffrey，谢谢你。谢谢。非常感谢。