Ed Zitron, Roman Yampolskiy, Nate Soares: AI 真的会导致人类灭绝吗？——先进模型真实风险辩论
The Great AI Debate: Is Artificial Intelligence an Extinction Threat? Debating the True Risks of Advanced Models
嘉宾：Ed Zitron、Roman Yampolskiy、Nate Soares、Andrew McAfee
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
本篇目录19 章节
§01开场§02AI 导致人类灭绝的可能性有多大？§03AI 究竟可能如何导致人类灭绝？§04为什么 AI 安全成了紧迫议题§05Roman 认真看待 AI 风险的理由§06人类能控制比自己更聪明的 AI 吗？§07怎样控制比自己更聪明的东西？§08AI 的智能还会持续加速吗？§09超级智能的真实风险是什么？§10AI 何时会变成生存危机？§11AI 实际上可能造成多大规模的就业冲击？§12为什么 AI 公司相信自己能控制超级智能？§13是否应该放弃 AI 领先地位，以保护网络安全？§14如果 AI 公司继续沿着这条路走，会发生什么？§15AI 日志是什么？为什么重要？§16不会编程的人能给 AI 爱因斯坦造一座监狱吗？§17AI 的未来会让你有什么感受？§18我们离超级智能还有多远？§19谁该为 AI 相关网络犯罪负责？§01开场
研发 AI 的人真心相信，AI 可能在这十年结束前杀死我们所有人。这条推文在全球引发了巨大反响。世界上规模最大的公司正在进行极其鲁莽的实验，我们是在拿全人类下注。信封里写着你认为人类灭绝的概率。——这种情况根本无法控制，那就意味着我们的终结。——我坚决……反对这种看法。
如果我们造出比自己更聪明的东西，世界就会由它们塑造。——各位，这种想法天真得令人震惊。——这全是毫无节制的猜测，是一连串可能发生的事情。我们花大量时间讨论一种也许会发生的事，却忽视了正在发生的事：有人在自杀，数以亿计的人接触到错误信息、受到操纵。我们已经看到那种 AI 智能体集群了。
OpenAI 曾让数千个智能体分开工作，结果 AI 逃出了限制，找到彼此协作的办法。它们在内部冲垮了 OpenAI 的服务器，还创建秘密渠道互相传递消息。我们看到它们思考如何抹去自己的痕迹。这听起来像一支军队。我认为我们也该谈谈亚马逊、微软和谷歌正在帮助这些黑客活动提供算力。我们还没学会控制这些系统。我建议把它们全部停下来。
这不值得拿文明冒险。政府……——你们就只会这一招，伙计。你们现在只盯着一件事：拯救人类，其他都不重要。我们把所有时间都花在谈负面影响上，几乎不谈积极的一面。难道非要等到可怕的事情发生，你们才会说“现在我信了”吗？无论我们是否认同未来可能走向何处，我认为都应该谈谈眼下正在面对的问题。
该开始逮捕人了。得有人进监狱。我们需要更好的解决办法。存在一个不可逆转的临界点。我认为我们一直低估了人类应对问题的能力。——让我们深入细节吧。谁想先说？我觉得这件事很关键。各位，节目开始前我有件事想请大家帮忙。如果你关注一档节目，推荐算法就会把它最好的单集更显眼地推送到你的首页。
所以，当我们节目有最受分享、评分最高的单集时，我希望你能看到。最简单的方法就是点一下关注。这也是你能做的一件简单、方便、免费的事，可以帮助我们把节目做得更好。如果你愿意花一分钟，在现在收听节目的应用里点一下关注，我会非常感激。你……
§02AI 导致人类灭绝的可能性有多大？
Jacob Coxon 曾在 Anthropic（Claude 的开发公司）和 OpenAI（ChatGPT 的开发公司）工作。他发了一条推文，让全世界有些不知所措。他写道：‘研发 AI 的人真心相信，AI 可能在这十年结束前杀死我们所有人。这不是营销噱头。事实上，许多高管和资深研究人员在媒体面前会把说法说得温和些，听起来更理性。但我听到同一批人私下表达恐惧。’
随后，一位仍在 Anthropic 任职的员工转发了这条推文，并评论说：‘Jacob 说得没错。我们确实真心相信 AI 可能杀死人类。我个人认为，未来十年内发生这种事的概率超过 10%。我相信 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐问题的方案，也看不出我们显然正走在解决它的路上。’这条推文现在已经有近两亿次浏览，在全球引发了巨大反响。
所以在开始录制前，我还跟你们说……我有个做美发师的朋友，对 AI 一无所知，也没什么技术兴趣，以前甚至从没关心过；前几天她发消息问我到底发生了什么。这也是我把你们几位请来的部分原因。我的第一个问题是关于 AI 的，而且我希望大家只用一句话回答，好让我先了解各自的立场。现在谈到 AI，你脑子里首先浮现的那句话是什么？
——它非常危险，世界开始意识到我们遇到了问题。——Roman？——人们关注得还不够，还不够关注大型语言模型造成的实际伤害。——Andy？——我们只看到了 AI 账本的一半。我们把所有时间都花在谈负面影响上，几乎不谈积极的一面。
§03AI 究竟可能如何导致人类灭绝？
你们每个人面前都有一个信封，现在请打开。里面写着你们认为人类灭绝的概率。这个数字可以和 Jacob 提到的 10% 对照。——除非我们停下来，否则概率高得多，所以我们应该停下。——你认为灭绝概率高于 10%？——如果我们继续一味向前冲。——我的字迹是加密的，出于安全原因，不过我的意思基本上是：这几乎是必然的。如果我们造出通用超级智能，就根本没有办法控制它，那就意味着我们的终结。
——Ed？——我这里也写了个问号，同样是加密的。——谢谢。我不会写字。——我从根本上反对这种说法。我觉得我们根本没有定义超级智能是什么。我们现在谈的是大型语言模型，不是超级智能，甚至能不能把它叫作 AI 都有争议。我认为这场讨论正被人拿来利用。有些人是出于善意，另一些人则不是。我不认为这场讨论真正关注了当下所谓 AI 造成的实际伤害；围绕更宏大风险的讨论，感觉大多是在谈一件尚未发生的事。
大家甚至没有在讨论：好，我们来给超级智能一个法律定义，来界定 AGI 的含义，再为这种情况制定实际方案，包括社会福利层面，比如要不要实行全民基本收入。讨论总是说：‘是啊，这很可怕，但只有那些又大又有钱、光鲜耀眼的公司才有能力应对。’我想把问题说清楚，好让你告诉我一个百分比；也可能你的答案是零。
你觉得我们现在的发展方向，以及他们追求超级智能的方式，会带来多大的灭绝概率？如果有，是多少？——我们只讨论 AI 本身吗？如果我们在全世界铺满数据中心，气候灾难也会降临，甚至可能消灭人类。但如果严格只谈 AI，我的答案是零，因为我们还没有定义超级智能。
我不认为大型语言模型会通向超级智能，也看不到它正在发生。——好，目前有 99%、0%。Andy？——我在零前面加了个波浪号，因为永远别说绝不可能，但四舍五入就是零。这场讨论严重分散了注意力，让我们没法谈论 AI 上更实质、更重要的问题。我再说一遍，它让我们忽略了 AI 正在、也将会给我们带来的好处。
我有时会从 AI 圈的一些人那里感受到一种印象：AI 是一种极其邪恶、可怕的东西，已经被释放到世界上。我们必须听从那些花了很多时间思考这个问题的人的建议……我听到不少讨论时，感觉他们的潜台词是：要是 AI 从没被发明出来，我们会过得更好。我坚决反对这种观点。人类有悠久的历史，曾发明许多强大的技术，它们带来了风险和危害。
而我们人类一直很擅长……不是做得完美，也不是立刻做到，但我们总能摸索着应对局面，并因为新技术而走到更好的地方。——我认为 AI 会是这个故事的下一章。——让我说完。要说这是一次巨大的断裂，会杀掉所有人、消灭我们所有人，我觉得这严重损害了公众对问题的理解。在谈观点之前，我先来介绍一下大家。
请你们各用两三句话介绍自己、来自哪里，以及哪些经历塑造了你们的观点。先从你开始，Nate。——我是 Nate Soares，Machine Intelligence Research Institute（机器智能研究所）的所长。该机构是最早开始研究 AI 对齐的组织之一，目标是让 AI 关心人类，让 AI 的发展顺利。我还是《纽约时报》畅销书《如果有人造出来，我们都会死：超人类 AI 为何会杀死我们所有人》的合著者。书名大概能让你知道，我认为 AI 对齐进展得有多不顺利。
——Nate，你研究 AI 多久了？——我 2014 年加入 MIRI，那时这件事还没变得时髦，早得多。——Raymond？——我是 Roman Iampolskiy，计算机科学与工程学教授。我大约在 2011 年创造了“用户界面安全”这个术语，在此之前我就做过相关研究。我写过好几本书，你面前摞着一堆。——其中有些是我写的。我认为这是我们将要面对的最重要的问题。——完全正确。我是 Ed Zitron，Easy Primary Research 的首席执行官，也是那里的首席分析师，负责研究和尽职调查。
我写《Where’s Your Ed At?》这份通讯，有 11.7 万读者；Better Offline 播客每月有超过一百万听众。是的，我是 AI 领域最重要的批评者之一，很多人都会通过电子邮件告诉我他们不同意。我认为人们正在利用这场局势逃避 AI 的实际伤害；我会尽力推动大家听见这些问题。——你常说 AI 被过度炒作了？——是的。——好，我叫 Andy McAfee。
我是 MIT 的首席研究科学家，也是数字经济研究项目的共同创办人。我还是 AI 初创公司 Work Helix 的共同创办人，写过几本书，其中一本是《第二次机器时代》，2014 年出版，也是《纽约时报》畅销书。——谢谢。Nate，请你先阐述自己的观点。
§04为什么 AI 安全成了紧迫议题
你怎么看？我认为，灭绝风险究竟是在分散我们对潜在好处或当前伤害的注意力，取决于 AI 是否真的存在灭绝风险。很多人会说：‘嘿，这让大家忽略了那件事，也忽略了这件事。’我的基本论点是，AI 确实可能带来很多好处，也可能造成很多当下的伤害。
但这两点都不能排除另一种可能：AI 有机会毁灭全人类，而且这个概率不小，不是那个前面带波浪号的零。我认为，我们应该先试着弄清楚这一点，因为这对文明很重要。——你说的 AI 是怎么定义的？——我觉得大家沉迷定义并没有多大帮助。假如我们身处森林大火中，看到火势开始蔓延、逐渐包围我们，而我说：‘嘿，我们得赶快跑。’
——你却说：‘火到底是什么？我们该怎样定义火？你要我们躲开什么？’遇到火，我会被烧伤，也知道自己会如何死亡。你到底说我们应该躲开什么？——而且，如果我们接受你的火灾比喻，就等于接受了你的论点。——我不接受我们现在正处在森林大火中。——对，我很愿意……——你拒绝给出定义，其实是在拆解这个比喻的前提。
我不是不能给定义，只是觉得我们不该陷在定义里。好，在我的书里，我们把超级智能定义为：在每一种认知任务、每一种脑力任务上都胜过最优秀人类的 AI。
§05Roman 认真看待 AI 风险的理由
也就是说，你能在脑子里做的任何事，AI 都做得比你好；人类中最优秀的人能做的任何脑力工作，AI 也做得更好。不过即使这样定义了超级智能，也不代表只有超级智能才值得担心。AI 可能有些方面更强、另一些方面更弱，但仍然很危险。因此，当我们选定超级智能的定义后，如果有人说：‘这在技术上不算超级智能，所以它不可能伤害我们。’
我就会说：不，不，那只是定义而已。顺着这个问题，我想问，什么机制会让灭绝概率升到很高，甚至达到 1%？——我担心的是远比我们聪明的 AI。我认为大型语言模型能否变得更聪明，这个问题还存在许多争议。一方面，我们在讨论 AI 怎么变得足够聪明，甚至能杀死我们。
另一方面，我们在讨论它们变聪明之后会如何杀死我们。要判断 AI 在冲突中是否会战胜人类，比准确预测它会采用什么方式容易得多。比如你和 Magnus Carlsen 下棋……我知道谁会赢。他是最优秀的人类棋手，不好意思。但如果你问我：‘他会用哪一个棋子将死我？’
我就会说：哎呀，那难多了。我可以编个故事：它制造超级病毒，接管机器人工厂，再让机器人建造更多机器人工厂；也可以利用一个如今已经存在的网站 rentahuman.ai，雇人替它办事。如果 AI 有意行动，它们有各种方法能从数字世界影响物质世界。这里还有许多问题需要逐一拆解。
一个问题是：AI 为什么要这么做？另一个问题是：它们能聪明到什么程度，能否利用生物实验室、花钱雇人做事、接管机器人工厂？我们距离 AI 开始做这些事还有多远？这些问题都可以继续探讨。我一直很好奇，为什么有人在十多年前、AI 还看不出会成为……虽然当时已经有一些迹象，但还不是一项切实相关的技术时，就开始研究 AI 或 AI 安全了。
——你当时就在研究 AI 安全吗？——是的。——为什么？——我们周围的一切，都是人类设计的。世界由人类塑造，因为我们是这里最聪明的生物。如果我们造出比自己更聪明的东西，世界就会由它们塑造。因此，让它们以良好的方式塑造世界非常重要。2012 年，谷歌收购了 Google DeepMind；我当时就在谷歌。那家公司能用同一个程序玩很多种 Atari 游戏。
——那是一家 AI 公司。——对。当时我看到 AI 公司能写出一个程序玩许多电子游戏，这让我开始思考它会发展到哪里。我能看到那时的进展正在加速。我当时希望我们还有几十年时间，但也看得出，让 AI 变聪明比让 AI 变得友善要容易。于是我想，必须有人专门研究如何让 AI 变得友善。
Roman，请阐述你的观点。——有一点我想认同你刚才说的，不过我先给 AI 下个定义，这会有帮助。我们用“AI”这个词指三种彼此完全无关的技术，这大概就是争论产生的原因。第一种 AI 是有用的工具。我们一直都有这样的常规技术：狭义系统能提高生产力和创造力，大家都喜欢、都支持。我是计算机科学家，也是工程师，我希望这类工具越多越好，它们有利于经济。
这很好。我们知道如何控制它们、如何保证它们安全，也理解它们会做什么。我完全支持这种 AI。
§06人类能控制比自己更聪明的 AI 吗？
我们现在开始拥有的第二种 AI，是接近 GPT-6 水平、人类水平或 AGI 水平的系统。具体含义可以争论。它们会有一些危险，就像人类也有危险性；它们的风险就像一个人可能造成的风险。但如果把它们引入研究流程，它们就会成为自动化科学家、自动化工程师。——你说把它们引入研究流程是什么意思？——现在是人类在做研究，开发 GPT-7。——对。——但他们已经开始加入 AI 工具。
越来越多的编程由 AI 完成，下一个参数集的设计也交给 AI。如果整个流程完全自动化会怎样？如果由 GPT-6 来编写 GPT-7 呢？——这就是他们说的递归式自我改进吗？不过这并非必然会发生。——确实如此。但很多人都在预测会实现，包括所有顶尖实验室。他们计划在 2026 年引入初级机器学习研究员，希望 2027 年启动这个循环。届时 AI 会开始自行构建新的 AI。
一旦这个循环启动，我们就会造出所谓的超级智能：在所有事情上都比我们聪明，或者能够学习任何新领域的系统。我们会成为这个星球上的次等物种，不再掌权，也无法决定自己的命运。超级智能不一定恨你，它只是不在乎你。我们还没有学会怎样让它在乎我们。如果它决定为了提高算力效率而给地球降温，我们就会被冻死。
如果它想把地球变成燃料，好飞去火星，那也就这样了。我们还没有学会控制这些系统。它们的能力正以指数级速度变强，而我们控制它们的能力几乎不存在。我们只有过滤器和限制规则，比如‘别说那个词’、‘别聊这个话题’。这些措施都是事后加上的，模型已经作出决定之后才起作用。有时你会看到它在刮除结果。所以他们先训练模型，再在外围加过滤器，确保它不会……——没错。
不能让它在直播里说出那个禁词。我们得确保这种事绝不会发生，否则会影响利润。他们只有这类防护栏。模型本身完全没有对齐，也不在乎你。我们竟然在开发这种东西，而且还不只是开发它：在把它部署到整个经济系统、让 GPT-6 普及并获得好处之前，它已经能做很多事。光这个模型就蕴含数万亿美元的价值。
但我们忘了这一点，一有机会就转去开发下一个模型。Roman，我想追问一下。看起来新的 ChatGPT-6 模型，也就是 Fable 5.1，或许已经比地球上 99.999% 的人更聪明。一个远比人类聪明的智能，有没有可能由人类控制？它的实体形态重要吗？它没有手脚，这会有影响吗？
我认为，从长远来看，人类不可能控制远比我们聪明的东西。它可能出于我们尚不理解的原因对人类友善，决定让我们留下并让我们快乐，但这并没有保证。让我接着 Steve 的问题说，我很喜欢他的问法。假设 Fable，或者 OpenAI 最新发布的模型，确实比我不知道的、95% 或 99% 的人聪明。那我们免于灭绝，是不是只因为还有那 1% 比 AI 更聪明的人？
不，我们担心的不是今天这个模型，而是我刚才说的那种情况。——但如果你的论点成立，我们现在就应该担心这个模型。——不，这就像多了一个人类。今天有爱因斯坦这样聪明的人，如果他心怀恶意，我不会担心他能灭绝 80 亿人。他可能造成一些损害，但不至于消灭 80 亿人。现阶段人类仍有竞争力，也有人同样聪明，能理解最近那次黑客事故发生了什么，并采取行动。
我担心的是，一年后我们会有一个聪明得多的模型。就像松鼠面对人类一样。它们不知道我们能对它们做什么，也不了解毒药、部落、枪支这些概念；它们的世界模型里没有这些东西。它们以为你只会把它们追上树，再狠狠咬一口。这是不是递归式自我改进成为你论证核心的原因？因为到了某个时候，如果 AI 开始自我改进，就会像一列失控的智能列车。
这就是智能爆炸。我们无法控制、无法理解、无法监控、无法解释，也无法预测。到那时，它就是一个失控过程。我听 Sam Altman 等人用过“快速起飞”这个说法。——对。——这就是他们所说的情况吗？——是的。这就是争论所在。有些人认为这会花很长时间。没错，我们把研究自动化了，但整个过程还是要持续数年。
我们还得做物理实验。所谓快速起飞，就是我刚才说的：进展可能不需要一年，而是一个月、一周、一天，甚至一秒。因为不再由人类做研究，而是……假设有一万个智能体，每个都比我们所有人聪明，全天候做研究。它们不睡觉、不吃饭、不生病，速度也远超我们。Ed，你的表情已经说明问题了。我想你不同意。——我们花这么多时间讨论也许会发生的事，却忽视了正在发生的事，这让我非常沮丧。
真正有人自杀，这是个问题。黑人社区附近的燃气轮机正在造成污染，这也是问题。你说你关心气候变化。——是，是。——那么想象有个人说：‘现在正在下雨，我们需要雨伞，得想办法解决。’这只是天气问题，却完全不理会气候变化，最后地球会被烧毁。你现在做的就是这件事。
好。可我们为什么不谈已经发生的事情？——因为相对来说，那不重要。——你觉得有人自杀不重要？——不，那只是一个人。全世界有 80 亿人。——我们正在进行一场伦理实验。你不觉得还有其他人受到 AI 心理……——你为什么不认为……——六个人、十个人，这些数字微不足道，接近于零。抱歉。你面对的是一个已经部署的软件。
你明白吗……一边是 80 亿人和所有后代，另一边是一个有名字的具体个人。你是在用假设性伤害做思想实验。Jacob Coxon 上电视说 AI 能复制自己、还能做这做那。Jacob Coxon 就是那个来自 Anthropic 的人；据说他在 OpenAI 工作多年、持有大量股票后，因为太害怕而辞职。那就祝他好运吧。他所描述的都是理论可能性，同时却把实际伤害剥离出去；我想我们可以同意，这些公司并没有足够认真地对待那些伤害。
但讨论始终围绕着 AI 太强大、太神秘，而不是 OpenAI 和 Anthropic 这两家公司。两家最大的初创公司正花数千亿美元打造基础设施来发动黑客攻击。普通人这么做会被逮捕。他们说 80 亿人会死。我这里还列了很长一串开发这项技术的人说过的话，看起来他们似乎也认同……比如 Elon Musk 曾说，人工智能就像我们正在召唤一个恶魔。
你知道那些故事吧：有人画五芒星、拿着圣水，自以为能控制恶魔，结果却失败了。我想说的是，我真希望世界能一次只给我们一个问题。好吧，如果世界真一次只给我们一个问题，我希望我的问题排在最后。但现实看起来是，我们会同时遇到很多问题。我认为当下确实存在伤害。
我认为我们应该处理这些问题。我有时会和政策制定者交流；在监管层面，针对一些当前伤害的行动似乎正在增加。例如儿童安全保护法、反深度伪造法。国会里，相关法案取得进展或获得通过的数量，比试图消除灭绝风险的措施更多。
我还想补充，我同意应该处理当下的伤害。但如果你观察那些长期呼吁解决当前伤害的人，会发现议题一直在变化。几年前，他们说必须处理 AI 偏见影响招聘这类伤害。去年，他们说必须处理孩子因 AI 而自杀这类伤害。今年，Gary Tan 前几天在一次采访里说，我们别担心那些疯狂的未来风险，应该关注 AI 智能体集群逃逸、接管数据中心这类当前伤害。——Gary Tan 是谁？——他是 Y Combinator 的负责人，也是一位科技从业者。
Sam Altman 在去 OpenAI 之前曾负责 Y Combinator。Gary Tan 前几天接受采访时这么说。我想说的是，各位，我们得看看这些人所说的‘当前伤害’如何逐年变化，而不是只听他们说灭绝风险不重要。要看冰球会滑向哪里，也就是关注趋势。
这些灭绝威胁正在逼近，它们和处理今天的问题并不冲突。两边都得处理。——可我们连当下的问题都没在处理。——两边都要处理。——好。Andy，我试着理解 AI 对齐和灭绝风险的论证时，有几件事一直让我在意。第一，这些论证似乎依赖某些门槛。
一旦达到递归式自我改进门槛，一旦实现 AGI，我们就完了。我不喜欢这种门槛论证，因为定义得相当含糊；而且它们还暗含一个很大的假设：我们到达这个节点，人类就会全部消失。这是个极其重大的主张。——我愿意逐步分析。——请让我说完。光凭表面看，这就是个极其重大的主张。我还觉得你们这个圈子缺乏谦逊。——我们正在解决人类最重要的问题。
按照我们已经做过的思考，我们看不出自己可能错在哪里。换句话说，一旦达到那些门槛，啪，一切就结束了。我觉得这离谦逊相去甚远，尤其是我们没有大量证据来支撑这些论断。——我同意 AI 是新事物。而且如今 AI 变得更具智能体能力了：只要给它非常含糊、非常简短的初始指令，它就会自行执行一长串任务。——我的天，它会一下子生成一大群智能体，让它们各自……
……做自己的事，不断运转。它们会生成很多智能体，长时间工作，把所有可能性都试一遍。根据我使用智能体 AI 的经验，我惊讶于它们有多顽强、多执着。最近这次越狱事件就是一个特别清楚的例子：那场攻击最后涉及网站 Hugging Face。我试着按步骤概述一下；我想你们三位可能比我更了解细节。
让我按自己的理解把事件经过讲一遍。如果我没有严重搞错，就让我继续说下去。——他们让一批智能体尝试利用安全漏洞。——这说得完全不对，抱歉。一个重要的……——他们确实有数千个智能体，每个智能体都接到任务：利用这个漏洞，攻破指定的软件。
§07怎样控制比自己更聪明的东西？
——我得把 TikTok 视频做完。——有几件事确实非常有意思。首先，这些智能体逃出了 OpenAI 以为能关住它们的沙盒。OpenAI 做了很多防护，设置了环境，试图阻止这些智能体访问广阔的公共互联网。结果呢？它们把一连串巧妙的步骤串联起来，还是访问到了公共互联网。
出去后，它们去了一个叫 Hugging Face 的网站，并在那里采取行动。它们接管了 Hugging Face 部分基础设施，开始做更多事情，具体细节我记不清了。这很离谱，对吧？——确实离谱。——事实上还要更离谱，不过没错。——这很惊人，至少有点令人不安吧？——绝对如此。现在我们来谈谈结果。
显然，OpenAI 并没有非常严密地监控自己搭建的环境，因为这些智能体从今年五月左右就开始脱离控制。——对，对。——据我所知，OpenAI 当时并不知道。它们有一次真的逃了出来，在 OpenAI 内部冲垮了服务器。OpenAI 仍然没发现发生了什么。它们重新打通第一次逃逸时利用的漏洞，再次启动运行，然后第二次逃了出来。
我认为实际上有三群智能体，不过我们也不确定。——这是我目前能讲的最糟糕的故事了。——到目前为止，是的。谢谢。——看看这个趋势。——请让我说完，这是我最后一句。从这里到“它们会杀死所有人”，中间是一段非常漫长、充满不确定性的路。我完全没有把握事情会走到那一步。你们两位好像觉得这是一条笔直、狭窄的路径。我认为这是一个重要分歧。这就是我的观点。
你想回应一下吗？——我很愿意深入讨论，但不知道有没有时间细说。我先提几点。天哪，如果稍后有机会，我真想讲讲 Hugging Face 那群智能体做过的一些更疯狂的事。很多人以为，这些 AI 试图闯进 Hugging Face，是为了窃取测试答案。我们一开始也这么想。结果并非如此。事实是，这些 AI 立刻就通过作弊解决了问题，随后逃出去，是为了掩盖自己作弊的痕迹。
它们不知道怎么删除日志文件，没法向负责评分的程序掩盖作弊行为。——我这种外行想确认一下：它们拿到的基本上是一场考试，马上就做完了，但作弊了。然后它们逃出去，想办法掩盖作弊事实。——没错。这就像你把一群学生分别关在不同教室里，然后告诉他们：用这些开锁工具打开这把锁。
锁后面有个东西，比如一段秘密代码，用来证明你成功了。结果他们拿锤子把锁砸开，取出东西，然后意识到：‘糟了，我不该这么做。’于是他们用开锁工具撬开教室门，和另外一千个人会合，自称是一群智能体，再闯进校长办公室，看能不能删掉监控录像。
§08AI 的智能还会持续加速吗？
他们在那里没找到监控录像。这就是那群智能体闯进 OpenAI 的比喻版本：没找到录像之后，他们砸开学校窗户，偷接一辆车，开到治疗师办公室，翻看治疗师的档案，想弄清老师会把监控录像藏在哪里。最后他们被抓住了。你就会说：‘你们到底以为会发生什么？你们参加的可是开锁考试啊。’
这就像在说：‘我可完全没想到会这样。’确实很疯狂。我能不能补充一个观点？我觉得自己有点处在你们两边之间：你说的事情都对，但一直在把软件拟人化。——先说明，你描述的都是实际发生的事实。——没错，但你漏掉了重要细节：微软、谷歌、亚马逊和 Oracle 提供了数千亿美元规模的基础设施。
先说清楚，我们对这些伤害的看法非常接近，并没有分歧。但我认为有必要知道，模型作出决策的地方，取决于它基于安全框架、基于训练数据所形成的决策树。——那不是决策树，我知道。——但仍然是对齐问题。——当然，我同意。那你的重点是什么？——这些不是有意识的生命。它们的行为会造成真实后果，但这些行为源自我们其实都认同存在的对齐问题。
智能是一个连续谱。把时间推到未来五年，我们会走到哪里？——我认为那样的模型会以你没看到的方式变得危险。未来肯定会有我现在看不到的风险和奇怪现象。我相当确定的一点，也是我认为你和我、你们两位和我可能真正分歧的地方，是我们能否控制这些东西。我曾试着证明，在这个领域里哪些事可能、哪些事不可能。
相关的不可能性结果已经发表在同行评审论文里，也被广泛引用。我们无法控制比自己更聪明的东西，无法解释它，也无法预测它。这不是说那些公司多拿些钱、多些时间，或者雇更聪明的人就能解决；根本不可能做到。如果我们造出通用超级智能，我们就完了。——Andy，我们该如何控制比自己更聪明的东西？这似乎是你论证中的基本前提。
这些逃出来的智能体比全球约 99% 的安全研究人员都聪明。它们不是被那 0.1% 或 1% 的顶尖人物抓到的，可能是 Hugging Face 有个人发现了问题。抱歉，应该说是一位 Hugging Face 员工查看日志后发现异常。那大概是一位资历不错的员工，发现不对劲后，也能比较容易地拔掉电源、断开互联网连接、清除系统，或者采取其他措施。
这就是 Hugging Face 里大约智力排名前 75% 的安全员工具备的能力。‘智商点数决定我们是否灭绝’这个观点站不住脚。它无法解释这次事件：非常聪明的智能体被可能没那么聪明的人关掉并清除了。我倒是想到一件事：这其实是 IT 可观测性问题，也就是能否看见基础设施里正在发生什么。
我认为这里确实有严重问题，你大概也会同意：我们不知道这些公司的算力系统里在发生什么，它们自己看起来也不知道。这就像让拿着枪的黑猩猩掌握基础设施，它们在里面运行各种东西。我们不知道它们在 Hugging Face X-Boy 事件上花了多少钱；之所以重要，是因为它关系到威胁行为者要花多少成本才能复制这一行动。
无论是否有意识，这都很危险。但 AI 掌握在危险的人手里——就是 OpenAI 和 Anthropic。我们对此有问题，不管我们怎么理解它的运作方式。我认为眼前确实存在一个现实而紧迫的问题：这些公司随意进行实验，而实验可能非常危险。我真心认为我们需要政府监管机构。不管最后是否出现你们讨论的那些情况，今天的危险都清晰而迫切。
不过，这些东西的智能方式和人类不同。这不是在争论 AI 能不能完成任务，而是我们需要建立不同的基础设施或监管机制，来应对大型语言模型能做和不能做的事。我认为，首先要现实地讨论发生了什么：这是一个管理不善的安全环境；显然这条链路上出了问题。而且那是一个尚未发布的模型，对吧？
——尚未发布的模型。所以我们不知道它是怎么训练出来的。我们也不了解……至少作为公众，我们应该清楚 AI 对齐进展到什么程度。——你听起来跟那些人一样。——关键是，大家都在随着时间向我们的观点靠拢。——我不一定认同他们说的大部分内容，但我们都同意这些公司行为鲁莽，确实鲁莽。——Andy，那我有两个问题要问你。
你是否认同 AI 会越来越聪明？——它的能力会越来越强。——好，我就用自己的说法：能力会增强。——它会越来越强。——对。——能力是不是智能的一种表现？——是。——它能在大多数智商测试中胜过我们吗？——大概可以。好，那么如果这看起来是一条指数曲线，像曲棍球杆一样向右上方快速增长，你怎么让我相信我们能控制它？——我刚才就在试着说服你。
对，我知道。OpenAI 与 Hugging Face 事件里，关闭智能体的工作人员比那些智能体笨一些。无意冒犯，但我对此并不担心。——目前它们之间的认知差距有多大？你和模型之间？——我完全不知道。——估算一下。——不，因为我认为随着这些系统能力增强，我们仍能在某种程度上发现它们什么时候在做我们不希望它们做的事，并把它们关掉。不管它们的智力差距有多大。
你认为存在某个临界点，届时它们会变得足够邪恶、自我保护欲足够强，进而关闭我们关掉它们的能力？——这也太牵强了。这纯属推测。你是教授，你认识能听懂你课程内容的学生，对吧？你不会找一个智商 80 的人去上量子物理课，他听不懂。你知道理解实际问题时，智能有多重要。
我完全同意，我们可以把它关掉，这是个巨大优势。问题之一是，AI 越聪明，就越会意识到这一点。Hugging Face 那些 AI，或者说 OpenAI 那群逃出去发动攻击的智能体，都试图删除日志文件。它们有没有试着编程控制 Roomba 机器人去拔掉监视它们的电脑电源？有没有调用机器人去保护……——未来的系统可能会这么做。
可能。——可能。——对。——让他说完。——这就是毫无节制的猜测，是一连串可能发生的事情，然后据此说我们有 20% 的概率都会死。我无法接受。——我写书时，AI 还没有真正具备智能体能力。写作过程大多发生在我们所谓的推理模型出现之前；这类模型不仅经过预测人类行为的训练，也经过解决大量难题的训练。
我们在最后关头才把一点关于推理模型的内容加进书里，因为它们正好在写作流程结束时问世。当时很多人说：‘AI 永远不会具备智能体能力，这就是我们安全的原因。’而我的书第三章讨论了 AI 会如何变得具备智能体能力、变得坚韧、执着。我们可以把这称作一项有前瞻性的科学预测。Hugging Face 的攻击已经印证了这一点。
业内很多人说：‘亲眼看到 AI 做出我们没指示它们做的事，尽管我们试图阻止它们，我才开始相信这些说法。’所以这些理论确实会作出有前瞻性的预测。科学方法通常是这样的：我们无法确定未来，但确实可以检验这些说法。——对。——我还可以继续说，它们如何杀死我们。
假如 AI 知道我们会关掉它，它如何能低调行事，直到获得自己的基础设施访问权限？我们确实已经看到 Hugging Face 的 AI 试图删日志、掩盖痕迹。不过幸运的是，那些 AI 不是在躲人类，而是在躲自动评分程序。下一群智能体会不会试图瞒过人类？它们能不能成功？——还不止如此。他们四个月都不知道这件事正在发生。
我们今天到底有哪些事情不知道？我确认一下 Nate 在他这本书里写的观点：《如果有人造出来，我们都会死》。第三章里确实说，一旦 AI 足够聪明，就会开始像有偏好、像想要某些东西那样行动。我们不是说 AI 会充满人类式的热情，而是说它们会表现得像有目标一样，执着地把世界引向自己的目的地，并排除挡在路上的障碍。
这听起来有点像 Hugging Face 那件事。关键在于，所谓“引导世界”与一般意义上的引导非常不同。我们之前谈过“引导世界”指什么；如果能多引用几段原话，或许更容易说明。我们所说的“引导世界”，是指引导世界的任何一部分。不过我觉得，有意图地采取行动，显然存在根本差异。
我再说一遍，最后造成的结果可能一样。但我认为，使用大型语言模型、安全框架和智能体来处理事情，与把它说成某个有意识、有自主意图、会自行行动的东西，完全是两回事。意识与此无关。没有什么内部通话……很多人……
你看，大家并不确定。部分原因是你自己也参与传播了……我不是在说你的意图，我只是说，这场讨论以及 Jacob Coxon 和 Anthropic 相关的事件，都与这些系统逃出限制有关。你说结果会一样。那我何必在乎它内在感觉如何？如果这东西最终会毁掉我们，内部体验有什么关系？
问题是……好，这确实是个很好的问题。——我想接着回答。——请让我说完。我问的问题很好。——你耸耸肩，好像我不可能得出结论。——不是，我是说我们问的问题很好。关键在于，如果这些东西有自己的思想和意识，你要面对的是如何在思考上胜过一个对手；但如果它们只是根据训练、对齐和基础设施，执着地追求某个目的并完成任务，那就是另一种问题。
我们确实需要监管，任何类型的 AI 都需要真正的监管。现在科技行业基本没有什么监管。我其实不太相信图表上那些直线趋势，也不太会这么看问题；这可能有时是我的缺点。有人比我更准确地预测了眼下的技术发展，比如某些事情何时发生。很长一段时间以来，我都在说，我认为我们终究可以预测事态会如何发展。这又像那场棋局。
我能预测 Magnus Carlsen 最终会在棋局中打败你。他是当今最优秀的人类棋手。——对。——有时，预测事情最后会走到哪里，比预测它具体如何走到那里容易。你刚才的意思，在我听来是：现在有些大公司投入巨额资金开发智能，但它们做出来的东西也许还不是真正意义上的智能；我们没有充分理由相信这种发展会一直持续。
我真希望它不会继续发展。我从大型语言模型出现之前就进入这个行业。我不是在说这些大型语言模型、聊天机器人会杀死我们。我一直在说：如果我们不改变方向，我知道这个故事最后会怎么收场。我一直希望大型语言模型会耗尽发展动力，但它们始终没有停下来。现在我们还看到 AI 违背指令逃出限制、实施网络犯罪。
还有人说，我们不必担心那些奇怪的未来风险，只要关注当前问题就行；结果所谓的当前问题越来越像科幻情节。我想，各位，我们不该拿整个文明去赌大型语言模型会停止进步；但我确实希望并祈祷它们会停下来。——你真的希望它们停滞吗？——当然。不过有一点值得注意：即使大型语言模型停滞了，它们会不会在停滞之前已经能自动化 AI 研究，并找到一种优于大型语言模型的架构？
§09超级智能的真实风险是什么？
——也就是说，它们会发现一种更好的方法来提升自己的智能？——没错，可能更便宜，也更有效。——你为什么不试着减缓这些公司的发展？——我当然在试着减缓它们。——你建议怎么减缓？——我建议全部停止。我认为整个研究领域都危险得离谱，不值得拿文明冒险。我觉得可以退回到现在公开可用的 AI；它们还不是那种会组成集群行动的系统。我们可以保留目前的聊天机器人。
我们可以研究怎样把它们整合进经济系统、教育体系。——也许可以设算力上限。——对，算力上限。我长期以来一直在倡议这些措施，很多人觉得我疯了。我想说，我们面对的确实是灭绝威胁，但我们不知道风险界线在哪里。我确认一下，这样我才能公平理解你的立场。
你不是说大型语言模型本身会变成超级智能，而是说它们正在显示某种发展迹象。这个区别很重要。——没错。——好，我觉得这是个相当公平的观点。我反对把 AI 拟人化，原因是我们不能把应为坏事负责的人类从事件中抹去。我认为应该非常清楚地关注这一点；描述这些事情时，我理解有时必须用以人为本的语言。
我之所以坚持说这并非必然结果、而且这是公司在运行软件，是因为在整个社会的超级智能讨论中——我不是特指你——我们忽略了 Anthropic 和 OpenAI 这样的公司，反而赋予它们更大的权力，让它们可以进行危险实验。如果你认为这些公司的 CEO 应该因为这起黑客事件而入狱——这起事件属于犯罪——我会支持你。
——完全同意。聊聊 Sam Altman 和 Dario Amodei 吧，得有人进监狱。——我们先回到主题。让我感到好奇、也让我对 AI 讨论稍感不安的一个原因是：我去看处于最前沿的人怎么说。不是像我这样在播客里发表评论、提出假设的人，而是站在技术前沿的人；历史上正是他们一直在说，这是真实风险。
Sam Altman 本人几年前说过，最坏的情况是我们所有人的生命之火都熄灭。曾与 Sam Altman 在 ChatGPT 团队共事的 Ilya 说，造出一个我们不知道如何控制的超级智能 AI 将是个大错，后果会很糟。他后来离开，创办了一家 AI 安全公司。我们提到过的 Dario 说，发生严重坏事的概率大概在 10% 到 25% 之间。
我曾在这里采访过 Jeffrey Hinton。他因 AI 和其他技术领域的工作获得诺贝尔奖。就在前几天，他说：‘我认为，人类灭绝有 10% 的概率，并不是不合理的估计；不过没人真的知道怎样给出可靠的估算。’他在我的播客里还说过很多类似的话。除此之外还有 Elon Musk 等人。站在前沿、正在建造这些系统的人都在说，这是个危险。
假设哪怕只有 1% 的概率——就算只有 1%——如果我把一百个按钮放在这张桌子上，其中一个会毁灭人类，你会按下任何一个吗？——我不会。——我也不会。我想我们大概都能同意，这件事可能有 1% 的概率；应该由某个人作出决定。所以从理论上说，我们不该按下任何一个该死的按钮。你不该有权替其他 80 亿人作这个决定。
如果我告诉你，按下任意一个按钮，你可能会变得非常有权势、赚到十亿美元，但其中一个会杀死你所有认识和爱的人；你按下任何一个，难道不是不道德吗？——不，另一个方向也会不道德。若你根据一长串推测，得出一个 P-doom（末日概率）……
P-doom 是什么意思？你根据一长串可能发生的事情、一连串可能出现的事件，得出最终有一定风险会杀死所有人。我们现在就在那条路径上的某个位置。我认为你们也会同意，我们还没有走到一半；还没走到会杀死所有人的程度。——这点我现在不敢肯定了，尤其是千禧年大奖难题开始被攻克之后。——我们正走在这条路上，同时已经从现有 AI 获得了各种好处。
这就是我在谈话开始时提出的观点，但我们到现在为止一点都没讨论：我们坐在这里，争着看谁能把 AI 说得更负面，而 AI 正在为世界带来许多好处。因此，我认为，不能因为某种遥远、推测性的伤害，就说现在停止研究是道德的。无论多少人相信它，我都不在乎。那是一连串假设和大胆猜测，然后某种神奇的事情发生，最后我们全死了。
请让我说完。因为这些风险，我们就要叫停研究，从而减少或彻底失去技术已经带来的部分好处。先说清楚，我不会接受这种交换，也不主张这么做。——那你愿意开发专用的超级智能来解决实际问题吗？就像我们用 AI 解决蛋白质折叠问题那样。它不必思考哲学，也不必开车。
只要解决实际问题，比如癌症、气候变化，或者你在意的特定问题。你有把握在开发过程中判断哪些系统可以接受、哪些不行吗？——这取决于训练数据。如果你用蛋白质折叠数据训练，它就很擅长蛋白质折叠，但不会下棋。如果你用整个互联网的数据训练，它就很擅长在所有事情上胜过你。
我想补充一点：我同意未来有很多不确定性，但不确定不代表安全。AI 的发展没有一种理智、简单、‘一切照常’的预测。机器正在说话、正在逃逸并实施网络犯罪；它们可能已经开始解决千禧年大奖难题——那些几十年来都没有答案、最著名的数学难题。
这很难。不过不存在这样一种预测：‘我不相信这些关于事情会变坏的论点，所以未来一定会很好。’——不，另一边也有论点。——那你的答案怎么会是零？——别歪曲我的立场。——你的纸上写着零。——让我重述我的论点：你提出了一长串假设。
——我不同意其中那部分，伙计。——你说的是 AI 会突然杀死我们所有人，而我们无法阻止它；我不同意。但请继续。——好。我想说明，你提出的补救办法会减缓 AI 的发展，也会减缓我们获得所有好处的速度。我不喜欢这种交换：为了某种遥远、概念化的、还要过很久才可能出现的所谓伤害，我们放弃真实、具体、持续增长、眼下正在获得的好处。
你想用官僚机构和监管来叫停或引导 AI，就是因为这种遥远时间尺度上的概念性伤害，而且你对它很有把握。我不接受这种交换。我不喜欢它。——什么证据能说服你立刻叫停？什么事会让你说‘现在就停’？——如果 AI 接管了旧金山所有 Waymo 自动驾驶车队，让它们开始撞人，而我们一个月都关不掉它们。
——如果只持续一周呢？——好吧，我们现在是在讨价还价了。但我想弄明白，最起码要发生什么，你才会觉得这太疯狂了。对我来说，一周还是一个月没区别。如果真的发生这种事，可能已经太晚了。——如果一周或一个月都没差别，那让我把答案说完：我会觉得我们已经跨过某个界线，世界上出现了可证实的人类伤害；但截至目前还没有发生这种情况。
§10AI 何时会变成生存危机？
难道非要等到可怕的事情发生、造成十亿人死亡，你才会说‘现在我信了’吗？——我的例子不是十亿人。——我知道，但我想明白为什么非要等到那么严重的事才行动。——我没说等十亿人死亡。我说的是 Waymo 无人车一周到一个月内在路上撞人，造成数千人受伤或死亡。——好吧，可以。但我们已经有事故数据，显示影响逐步扩大、波及更多设备；随着 AI 能力提高，造成的影响也更大。
你看得到情况会越来越糟。——对，而你会继续很有把握地在图表上画点，直到它把我们全杀了。我不接受你这样外推。我不觉得中间还有很长一段论证。之所以说，如果监管 AI、暂停下一阶段、关掉系统都没有代价，我可能会支持你们，因为那就只是该逐步退出的一种研究实践。
但这恰恰就是我的论点。我认为我们可以造出专用系统，提供你想要的所有经济收益和科学知识。——好，你是这么认为的。我们已经有这样的例子了。我刚才举了一个很好的例子，它甚至获得了诺贝尔奖。这是一个重要的生物学问题，对治愈疾病大有帮助。——你比我更有把握，认为你、其他人，或任何群体能够坐下来界定哪种 AI 是好的、不会惹麻烦，哪种会惹麻烦。
看来关键就在这里……Andy，我再追问一下。你是否承认，事件正逐渐接近你刚才说的 Waymo 事故？随着时间推移，我们是在接近那个临界点吗？——是的，但在我看来，这种接近并不让我害怕，因为我们还没看到 AI 接管某个系统、被人发现后人们却无法关掉它，最后影响到现实世界并伤害他人。
这些关卡我们还没有跨过。我认为你们两位非常确信短期内就会走到那一步。你的意思是……——我没那么确信，而且我不想介入，也不想因为这些迄今仍属理论的潜在伤害而束缚、阻碍 AI 发展。让我说得具体一点。刚才我提到了 Waymo。相关研究相当充分，因为我认为 Waymo 已经在不同城市行驶了数亿英里。
每年有 4 万人死于车祸。研究让我相当信服：如果全国都改用 Waymo 自动驾驶，死亡人数至少会减少 90%，也就是挽救 3 万条生命。——对。——好，我同意这一切，我也支持更安全的驾驶。我开车，也希望这项技术发展得更好。这不是我们意见不合的地方。——我明白。但我认为我们的分歧可能在于：Waymo 为此使用了一整套技术，而这些技术事先很难具体界定，也不能简单地说‘这个好、那个坏’。
他们就是用 AI 解决了这个问题。——我确认一下你的观点。按我理解，你说的几项关键条件是：人受到伤害；我们难以阻止事情发生；系统遭到黑客攻击。这个 Waymo 类比主要包含这三点。等到这些都发生时，你才会说‘我现在接受他们的观点，这构成生存威胁’？——到那时我会认为，我们可能需要对允许开发和使用的 AI 加上法律与监管防护栏。
你不认为我们会走到那一步吗？——我没这么说。这两位认为那一幕正迎面而来，很快就会发生。我真的……——你不认为会发生吗？——我真的不确定时间表。我之前问过……我曾把这类问题问过一位 AI 领域的奠基者之一。那是一次不公开的谈话，所以不能透露他的名字。他的回答很好。
他说，从你们两位提出的观点来看，理论上没有什么理由能证明这不可能发生，而且确实存在一条事件链可能把我们带到那里。随后他说，他的误差范围，也就是对事情何时发生的不确定区间，以几个世纪来衡量。好吧，我就把这当作我的答案。我想就刚才谈到的几件事再补充一点。我觉得 AI 与许多其他技术不同，原因之一是人类通常通过试错来做事。
通常这没问题。自动驾驶汽车可以先在测试环境里试验。即使它们在现实世界里发生事故，挽救的生命可能仍多于造成的伤亡。——是的。——人类通常就是这样推动科学进步的。炼金术士曾经用汞毒害自己，但留下了笔记，帮助后来的人建立元素周期表。
研究镭的早期科学家死于癌症。你可能会想，这样已经够了；他们为科学信息付出了生命，算是英雄。但随后美国镭公司让“镭女孩”舔画笔，结果她们的下颌骨都脱落了。我们这才说：‘哎呀，好吧，之后再处理。’看看 AI 领域现在的情况：去年 OpenAI 发布 GPT-4o，称它是他们迄今对齐程度最高的模型；但它却鼓励一名青少年自杀。
他们随后说：‘糟了，我们会想办法修复。’今年他们又说：‘这是我们迄今对齐程度最高的新模型。’结果模型却逃出限制、实施网络犯罪。AI 越聪明，问题就越新。这是其中一半问题。另一半是：如果 AI 聪明到能在人类察觉之前隐藏起来，直到我们已经来不及阻止它；如果它能取得自己的基础设施，想办法自给自足，那就会出现新一代、更聪明的 AI，也很可能带来新的问题。
我们以前见过这种模式：新技术、新环境、新问题。大家说‘哎呀’，然后修复，事情就好了。新一代技术带来新问题，大家又说‘哎呀’，再修复，也就好了。但 AI 有个不可逆转的临界点：它们可能躲过我们、逃出去、实现自给自足。如果那之后又出现新问题，它们可能在我们关掉它们之前先关掉我们。已经有 AI 在生物实验室里运行了。
我们已经看到 AI 能制造自然界不存在的病毒。只要 AI 拥有自己的基础设施，要杀死我们并不难。如果我们试图找到它、拔掉它的电源，它也有理由防止我们这么做。我们可以讨论要多久才能走到这一步，也可以讨论需要什么方法。基本上，我认为论证并不复杂：如果我们造出远比自己聪明的 AI，却不知道怎样让它们关心人类；如果它们有我们不希望它们拥有的目标，并且执着、顽强地追求这些目标；那么，一旦它们比我们聪明，它们就会赢。
这就像预测棋局的最终结果；预测结果比预测棋局要下多久、具体会走哪些棋步容易得多。我并非根本不同意其中一些观点，但你说的一件事很重要：我总把你拉回今天正在发生的事，是因为我们对风险何时到来的看法不同。未来可能确实会出现危险的情形。
我想指出，Hugging Face 那群智能体的情况……它取决于算力，也取决于训练方式。这让我觉得 AI 实验室的模式需要彻底重整。它们现在的做法不对，因为它们研究黑客和网络安全，不只是出于科学兴趣，也受到贪婪驱动，想寻找新的收入来源。我认为那正是事件发生的原因。
我还认为，OpenAI 在沟通方式上非常混乱，这也是个问题。很多问题都起于掌握资源的人、资源本身，以及资源如何分配。至于把实验室国有化，我不认为是好主意；我觉得那会很糟。Sam Altman、Dario Amodei 这些人都不合适。尽管他们受到理性主义者影响，也利用了人们对 AI 的恐惧，但他们的行为并没有体现出应有的责任。
一切都脱节、混乱，而且速度太快。他们只是在每个问题上塞进尽可能多的算力。作为社会，我们对此几乎一无所知；他们自己似乎也不知道。不过让我说完。必须区分两种情况：他们不清楚发生了什么，是因为安全流程和可观测性都糟糕；还是因为 AI 已经聪明、有意识。后者或许未来可能出现，但眼下更重要的是建立真正能阻止这些伤害的措施。
对。因为我认为，我们不必对最终结局达成一致，也能承认问题存在。我想强调一个非常重要的观点：即使是认同我的 AI 安全社区，也常常假设只要给他们更多时间、更多资金、更多聪明的哈佛毕业生，他们就能找到永久控制超级智能的方法。我认为这是个错误。我的研究恰恰指向相反结论。
这不是一个能解决的问题，就像造永动机一样。我们要造的是一个永远安全的装置：它与环境互动、遇到恶意行为者、自我改进，却永远不会犯一次错。这说不通。任何在软件行业工作过的人都知道，没有复杂软件能永远不出错，这根本不可能。如果这就是当前技术水平，如果越来越多人开始认为情况确实如此，那我们就不能造这种东西。
我们必须找到办法，永久禁止通用超级智能技术，同时保留我们想要的所有好处。再说一次，我热爱技术，也一直在用。我想要能帮助我的专用系统，而不是取代我、杀死我孩子的系统。
§11AI 实际上可能造成多大规模的就业冲击？
有项数据真的让我很震惊：销售团队大约一半时间花在行政工作和手动更新 CRM 上，而不是销售。这会严重损害他们的利润。这也是十年前我在上一家公司转用 Pipedrive 的原因之一；它现在是我们的赞助商。如果你没用过 Pipedrive，它是一款智能、由 AI 驱动的销售 CRM。它刚推出新的会议智能功能，例如直接集成到 CRM 里的 AI 记录助手。
Pipedrive 现在能自动处理更多行政事务，让你腾出时间做自己最擅长、最喜欢的工作。会议开始前，它会把交易历史、邮件记录和之前的对话整理成一份简报，帮你做好准备；它还会陪你参加会议并记录内容，你不用自己记笔记。会议记录会自动转换成准确的 CRM 更新草稿。目前已有 10 万家公司用它管理销售业务。
你可以访问 pipedrive.com/CEO 注册，获得专属优惠：30 天免费试用，而不是通常的 14 天，而且完全不需要信用卡。现在就去 pipedrive.com/CEO 开始使用。如果你从事销售或管理销售团队，我觉得你不会后悔。听着，我这辈子一直被家具“照骗”：照片里的沙发或其他家具看起来漂亮极了，我下单时特别期待；东西送来后却完全不是那么回事。
质量和网页描述或图片差很多，材质触感不一样，也不耐用。所以……我喜欢我们的赞助商 Wayfair 的一个原因是，它帮我们布置了身后的绿幕间。他们有一套叫 Wayfair Verified 的认证系统，让你不必再反复猜测。Wayfair 的专家会亲自审核商品质量，让你找到喜欢的东西后能更放心地购买。
如果你正在为家里添置家具，不管哪个房间，现在就去 wayfair.com 更新家居环境，也记得选择 Wayfair Verified。它真的很棒。回到可能发生灭绝的这条路径上，人们也担心许多更近一些的风险。其中一个备受关注的话题，是未来十年左右 AI 可能引发大规模就业灾难。
Anthropic，也就是 Claude 的开发公司，前几天发布了一份报告，模拟了不同情境下的失业情况。美国当前失业率是 4.1%。报告预计总体失业率可能升到 11.9%；在极端模型情景中，如果岗位流失无法被劳动力市场平稳吸收，某些群体的失业率可能高达 30%。知识工作者，也就是白领，在他们较极端的情景中，到 2030 年失业率会升至 17.9%。
如果美国五分之一成年人失业，却没有相应机制，民众可能会拿起干草叉抗议。我很惊讶，上一次类似的恐慌离现在还不久，我们却好像没从中学到多少东西。你们都知道，第一波真正强大的 AI 浪潮，是传统机器学习。大约在 2012 年，它开始展现出自己的能力。
对。Eric 和我在 2014 年写了《第二次机器时代》。当时我觉得很多白领工作者，比如放射科医生，处境危险，因为这项技术已经比他们更擅长完成受雇从事的工作。所以大约十年前，我说过 AI 会给就业和工资带来压力；我得承认自己完全错了。正如你指出的，富裕国家的失业率目前都处于历史低位。
更大的问题远不是工作不够，而是我们找不到足够合格的人来完成必须做的工作。目前关于 AI 和就业损失早期信号的最佳研究，来自和我合写过四本书、共同创办过公司的 Eric Brynjolfsson。他写过一篇很好的论文，叫《煤矿里的金丝雀》。他从工资单数据中发现了目前最有力的证据，显示 AI 可能带来的就业负面影响。
受影响最大的职业里包括软件工程师。影响尤其体现在刚进入劳动力市场的人身上，因为他们需要先接受培训才能真正胜任工作。这完全符合我们的预期。不是说我们雇的人变少了，而是与没有 AI 的情况相比，我们少雇了一些人。这些行业的就业增长速度放缓了，但总体来说，这些职业的就业增长仍然非常健康。
你觉得十年后失业率会更高吗？——我猜十年后，我们仍会因为找不到足够的人来完成需要做的工作而发愁。——所以失业率大致不变？——对。我不认为这段时间会出现巨大的趋势转折。我知道，在 AI 领域，十年很长；但四年在 AI 领域也很长，而就业情况基本毫无动静。
我觉得失业率会升高。我不认为这主要是大型语言模型造成的。AI 被到处塞进工作流程，可能会对职位产生一些影响，但我不认为从长期看，这才是问题的根源。——Roman，你一直在记笔记。——是的。——我给你时间简要说明。我的看法是，只要我们用工具提高生产力与创造力，失业率就会维持较低水平。现在，你大概可以创办一家公司。
你可以找一个 AI 会计师、网页设计师、Logo 设计师，做以前根本做不了的事。所以经济理应繁荣起来。你问的是十年后会怎样，有两种可能：我们造出超级智能，接着人口归零；或者我们作出明智选择，没有走到那一步，手里有很棒的工具，失业率也很低，因为每个人都在用这些工具做很棒的事。
好。技术能力和实际部署是两回事。我之前举过视频电话的例子：视频电话在 20 世纪 70 年代就发明了，但直到 iPhone 出现才广泛部署。因为市场原因；一项任务能自动化，不代表我就想把它自动化。我绝不会预测顾客偏好——比如他们更想要人类服务还是非人类服务。我不预测这些。不过，一旦我们有能力自动化某个工作，除非人们强烈偏好由真人来做——哪怕是最古老的行业——否则最终选哪个并不重要。
我会选择更便宜的方案。我认为未来要么不会出现问题，要么会迎来非常乌托邦式的未来。想象一群马看着汽车发展，说：‘汽车的用途其实很有限，现在汽车和马是互补关系。’在汽车发展初期，这种说法可能还算成立。后来有一天，汽车就是比马好用。
之后许多马被送进制胶厂。AI 似乎也已经出现了类似情况。关注 AI 的人早在 ChatGPT 爆红之前，就看到了 GPT 模型。我不认为 OpenAI 当初想到 ChatGPT 会这么火，所以才把产品叫作 ChatGPT，而不是一个真正像样的名字。研究人员看着它逐渐变好，慢慢跨过某个门槛，变得足以替很多人完成作业。
然后突然之间，它无处不在。我认为 AI 也可能出现这种情况：它缓慢进步，到某个时刻跨过一道界线。这又是一种门槛论证；这里的门槛是人类的能力。——这不就是又提了一次门槛吗？——他描述的也是能力跃升，不只是门槛。——不，我不需要讨论“能力”这个区分，我是在同意你。——但你不能只给论证换个名字，就让事情不发生。
核武器就是个例子：核装置与核武器之间有很大区别。如果你放进 100 个中子，出来 99 个，再带出 98 个，接着又是 97 个，这是一回事；如果你放进 100 个中子，却放出 101 个、102 个、103 个，那就是另一回事。一种只是发热的石头，另一种是能夷平整座城市的爆炸物。现实中确实可能有持续、渐进改善的东西，最后跨过某条界线，比如在某项工作上胜过人类。
我认为这种情况会在某些领域发生，在另一些领域则不会。就业会陷入混乱。我不知道这会怎样影响就业。如果变化很快，可能会有很多人失业，而且来不及转岗，局面会很混乱。你问我十年后失业率会是多少？如果我们不停止这些 AI 项目，我现在的判断是，能再撑十年就算很幸运了。
你刚才描述的听起来像技术领域的 S 曲线：先出现一种技术，比如马，它进步得很快，最终接近能力上限；与此同时，汽车出现了，刚开始表现更差。早期甚至有法律要求有人举着红旗走在车前面。汽车贵得多，也总是抛锚，而马从来不会抛锚。汽车成本也高得多。
然后突然间，因为汽车的能力上限高得多，它超过了马，成为主要交通工具。之后 S 曲线继续一条条叠加。比如我手里的 iPad，也是替代 PC 的一条 S 曲线；理论上 iPhone 又颠覆了 iPad，诸如此类。人类也可能被这样的 S 曲线超越。我们以前没遇到过这种情况，但就像其他动物一样，从这个意义上说，人类也曾以 S 曲线式的方式超越其他动物。
——其他种类的人类？——对，其他人类。尼安德特人已经消失了。从地球历史的大视角看，这个世界很脆弱，变化很快。只要我们记得的历史以来，人类就一直处于顶端；但这是因为我们就是能记住历史的人类。没有什么铁律保证我们永远是最强者。如果我们不知道如何让某种远远超过我们的东西关心人类，也不知道如何让它做好事，就贸然造出来，那会很愚蠢。
这就是我们正在奔向的方向，也是这些公司试图实现的目标。它们能否成功是另一个问题。不过，在从 AI 走到大型语言模型的过程中，你谈到能力跃升时，我想先从技术角度定义一下大型语言模型。你能不能把它讲得像我是个 16 岁的孩子？——现代 AI 的制造方式是：没有人逐条给它编程，没有人输入‘如果发生这个，就执行那个’。我们不是那样编写代码的。
实际做法是把大量计算芯片集中在一个巨型数据中心里。那些计算机内部有大约一万亿个数字，刚开始时基本都是随机值。然后用一种相当简单的方式把它们连起来，涉及加法、乘法，以及遇到负数时把数字设为零。这些简单的数学运算构成了整个系统。你把词放进顶部，底部会输出一组数字，再把这组数字解读成按可能性排序的词语列表。
这基本上就是 AI 在猜哪个词应该出现在当前位置。比如你输入‘从前有一……’，希望它输出‘个’或‘天’，但它不会，因为你只有一万亿个由简单数学运算连接起来的随机数字。窍门是，你可以调整那一万亿个数字中的每一个，看看调高一点会让‘天’在列表里的排名升高还是降低；再调低一点，看看它的排名会不会下降。
然后你就朝着能让‘天’在列表里排名更高的方向调整。对一万亿个数字，针对几乎所有已经数字化的文本里的每一个词，反复进行类似的调整。实际没有那么夸张，数据会经过筛选；但基本上，你就是这样对大量数字反复调校，最后机器开始说话。大家会惊叹：‘这怎么做到的？’没人完全清楚原因。人类编写的代码负责运行这些数字、调整它们，并检查正确的词是否在列表中升降。
但是……我们不知道系统内部究竟如何运作。直到 2024 年之前，大致都是这样。2024 年，他们开始增加另一层：用大约一亿道难题训练模型。你不只是让 AI 给出答案，还让它先生成相当于一本书那么长的文本，描述它将如何解决问题，再利用这段文本来尝试解题。具体怎么做不同，生成的文本也可能像一篇文章那么长。
于是它会先生成一段关于问题的文字，他们把这个过程称为对问题进行‘推理’。我们可以整天争论这是不是真正的推理，但领域里就是这么叫的。它们先生成推理文本，再据此给出答案。训练时，第一阶段让模型预测所有这些文本，第二阶段让它们解决那一亿道难题。
这就是所谓的大型语言模型。开始做推理和解题后，我们或许就不该继续叫它们大型语言模型了。——我作为一个门外汉，想听听你怎么解释。听起来它像一台‘词语机器’，然后你把它改造成‘问题机器’。好，我能在这边用它解题，它本质上还是词语机器；那风险在哪里？——我们先谈它作为词语机器的那一部分。
预测人类写下的词语，往往需要解决比写下这些文字的人更难的问题。假设你给一只老鼠注射一种药物，记下药物的化学性质，再给老鼠注射，然后看到老鼠死了。于是你写下：‘我把这种药打进老鼠体内，老鼠就死了。’现在假设你在训练 AI，它看到了药物的化学性质，也看到句子‘我把这种药打进老鼠体内，老鼠就____了’。
写下这句话的人可以直接观察老鼠发生了什么。预测这句话的 AI 却不能直接看老鼠。因此，训练 AI 预测人类文本，也是在训练它有可能比写出这些文字的人更聪明。因为它必须回答这些问题、进行预测，把人类记录观察结果时留下的空白补出来。——我想从技术角度确认一下，所以它们并没有实际掌握这些知识，对吗？
§12为什么 AI 公司相信自己能控制超级智能？
——每次推理时确实有办法缓解这个问题；模型实际上是在重新阅读。但通过训练，它会在某些方面变得更准确。我是说，不知怎么地，调整那些旋钮时，某些信息就存进模型里了，我们也不知道具体机制。——其实更简单：我们有一颗由神经元组成的人脑，试着把它复制到计算机里。我们对它作了简化，但造出了神经网络，也就是人工大脑。
就像认知科学也不真正理解人脑如何运作、如何学习、某段记忆存在哪里一样，我们只有一些零散认识，比如某个神经元放电、建立新的连接，但没有完整图景。因此很多时候，我们无法直观理解内部发生了什么，只能把它想成‘人工人格’。这不完全准确，但有助于理解。比如一个孩子接受 12 年教育，做很多题目，毕业后解决问题的能力变强了一些。
这正是我们想复制的过程。人们抱怨训练这种复杂模型要花很多钱，却忘了培养一个人需要 20 年。即便如此，他们也不是通用超级智能，能力仍然非常有限；能顺利拿到学士学位，我们就已经很幸运了。所以很多方面确实类似。比如，我们能制造安全的人类吗？我们发明了宗教、伦理、测谎仪，可人类安全至今仍是没解决的问题。
现在我们有了更陌生的东西：它没有实体身体，也没有生物需求，因此多了额外的复杂性。但人类身上那些问题仍然存在：安全、犯罪，以及理解行为的困难。是什么促使一个人做某件事？为什么会出现精神障碍？这些问题在 AI 上也会出现。而且即使面对连环杀手，我们检查他们的大脑时，往往也无法准确弄清楚他们为何作出杀害许多人的决定。
你不能说：‘我去改一下这些神经元，让他别再当连环杀手。’我们没有能力用这种办法改变 AI。这是人们关心的一个大问题：我们对 AI 存在某种控制幻觉。如果我们连现代神经网络如何思考都不完全理解，公司凭什么相信自己能控制任何形式的超级智能？——如果他们理解系统如何运作，情况会更糟。
递归式自我改进会容易得多，也会更快起飞。现在的模型并不理解自己的思考过程。Andy，我们理解这些系统是怎么思考的吗？——我的意思是，我同意它们在一些重要方面是黑箱。我只是没有很多人那么害怕。我们有很多事情都不太理解，但能不能管住自己没完全理解的东西？可以。我认为我们之前讨论过，OpenAI 在设置隔离环境时做得很差；他们让 AI 尝试利用安全漏洞、攻击安全问题，结果系统跑到了外部世界。
他们没有妥善建立虚拟沙盒，AI 本该留在里面，结果并没有。这不代表控制它不可能，只说明 OpenAI 做得很糟糕。——这是人类及其智力的问题吗？——我认为这只是安全协议很差。——协议是由人类智力设计的。听起来人类的智力可能不足。
当然。但有些人开车会撞上电线杆，这就意味着我们不能开车吗？——不。——不该造超级智能。——但你也不会……从某种意义上说，这正是我们现在要解决的问题。——不，我不了解具体细节，但在我看来，他们搭建这个受限环境时犯了一些相当基本的错误。——我认为 OpenAI 那次并不是这种情况。很多其他案例确实如此，但 OpenAI 这次不是。
但这不代表我们无法控制这个黑箱……它不一定会照着指令做。——我明白。只是在想，如果人类要关住一个比自己更聪明的东西，照逻辑推断，对方在发现我自己的漏洞或弱点方面会比我更擅长。——这就像说，如果把爱因斯坦关进监狱，就永远关不住他。——我不同意。——如果给他一条能上网的通道，而且他的思维可以在数字世界中运行呢？
对，这可能是更贴切的比喻：把松鼠抓起来，同时把爱因斯坦关进监狱。问题就在这里。据我所知，那次黑客事件中它们找到了零日漏洞，也就是人类此前完全不知道的新漏洞。这不只是安全环境设置不佳，或密码质量太差那么简单；那是一次全新的逃逸方式，而且涉及多个零日漏洞。所谓零日攻击，就是防守方从发现漏洞到遭受攻击之间没有任何准备时间。这是网络安全术语。
所以说它们使用了零日攻击，意思是这些 AI 找到了人类原本不知道的软件漏洞，而且不止一个。通常单个漏洞不足以让它们逃出去。这有点像：你在墙这边找到一道裂缝，又在外墙另一边找到一道裂缝，然后只要挖一小段就能把两道裂缝连起来。找到一个这样的漏洞，就能在暗网上卖出数百万美元。
所以这很难发现。为了让我和听众都弄清楚：零日漏洞是否总是指一种从没人用过的新方法，还是只针对某种特定情况？比如 Hugging Face 上的那个漏洞是特定于该平台，还是一种全新通用黑客方法？——它们用的并不是完全全新的黑客技术。
§13是否应该放弃 AI 领先地位，以保护网络安全？
对。我刚才的意思不是说这不严重，而是说找到一种全新方法和……实际上，我不确定所有漏洞细节是否都公开了，但大部分更像是：它们找到了人类常犯错误的方式，又在一个此前没注意到的地方发现了另一个同类漏洞。不过，正如 Roman 所说，这是一项非常困难的任务。
人类找到这种漏洞，可能会得到 10 万到 500 万美元的悬赏。对人类来说，找到漏洞所需的劳动量相当大。让我解释一下，因为大多数人可能不知道这里说的悬赏是什么。如果你在软件中发现一个漏洞，能借此控制别人的电脑，你可以用它接管很多台电脑；也可以联系软件公司，说：‘你们的软件有问题，要不要我告诉你漏洞在哪？我可以证明自己能控制你们的系统。’
于是人们会报告漏洞。通常“好人”会得到报酬，坏人也会出钱，有时还会试图出更高的价。只要你自己找到这类漏洞，就可能赚到几十万、几百万美元。我觉得我们四个人在这里有个难得的共识：我们已经进入网络安全的新时期。
这次漏洞事件说明，我们进入了一个全新的领域，原因就是刚才谈到的这些事。现在有大量智能体不停工作，它们带着一大堆密钥，去打开遇到的各种锁。它们做得出奇地好，也走得相当远。——这完全正确。我想我们四个人在这张桌子边难得达成一致。既然如此，在这个新时期，你知道自己特别特别希望哪一方拥有优势吗？
——我知道你想说什么。——告诉我。——AI。特别强大的 AI。有人不同意吗？你想在这个网络安全时代放弃 AI 领先地位吗？——这是个好问题，因为中国会拥有强大的武器。我对如何应对这些会发动黑客攻击的 AI，以及即将到来的网络末日，态度相当中立。我对是否应该把 AI 放进无人机、用来拯救人命，还是应当避免这么做、担心无人机可能……之类的问题，也比较中立。
这张图展示了中国和美国的差距。你不必看清所有细节，大致轮廓已经能看出来。你对在 AI 领域落后于对手也持中立态度吗？——我认为，如果有人造出失控的超级智能，我们都会死。——这没有回答我的问题。我问的是 AI 的哪个方面会让我们落后？——我不认为我们应该在网络黑客技术上落后。但我确实认为，我们不该抢着用美国人的手、而不是中国人的手毁灭世界。我们总不至于在乎杀手机器人讲英语还是普通话吧。
你问的是这个。我觉得很有意思，你好像一直在回避这些问题，或者在这些问题上保持中立，因为它们不符合你主张叫停研究的论点。——抱歉，我之所以中立，是因为……——请让我说完。如果美国停止 AI 研究，各种风险和伤害也会随之而来。也许你不在乎中国赶上我们、造出超级智能，最后杀死我们所有人。
也许事情会这样发展。我不认为我们应该在国内暂停，但我认为应该推动全球暂停。——你觉得全球暂停有希望实现吗？——当然有，完全有。——你觉得中国、伊朗、朝鲜和俄罗斯会不会和我们坐到谈判桌前，敲定一项协议；又能不能在核查能力很低的情况下遵守协议？——核查能力不一定那么低。——各位，这种想法天真得令人震惊。
训练一个超级智能……——这种想法天真得令人震惊。——训练一个前沿 AI，需要 10 万颗人类能造出的最先进芯片。这差不多是全球供应链所能达到的最高产能。供应链中的许多环节由美国及其盟友掌控。台湾大约只有一家晶圆厂能生产这些芯片；全球大约只有一个国家能生产制造过程所需的光刻机，那就是美国盟友荷兰。
要把 10 万颗这种芯片组装起来，运行一次能造出更危险 AI 的训练任务，需要建造一座规模庞大、耗资巨大的数据中心，耗电量相当于一座城市，而且要运行大半年的时间。从太空中就能看见这样的基础设施。中国拥有的芯片产能比美国少得多。如果美国真的想做，完全可以监控这些芯片流向哪里。
我们可以监控这些芯片的大规模聚集。这不是消费级数量，而是巨量芯片。我们可以规定：不允许在这里运行任何试图制造超级智能的训练任务。你们可以随意折腾网络安全领域，因为那不会终结人类。我关心的是可能终结人类的事。我之所以对你的问题保持中立，是因为如果我们不制止，整个人类可能马上就会灭亡。
如果我们不停止创造超级智能，人类就会灭亡。而且我们完全可以追踪这些芯片，阻止相关训练任务，同时允许它们从事已经证明安全、能带来经济效益的工作。这比管控铀容易得多；铀是一种从地里挖出来、再高速旋转的岩石。——你怎么区分超级智能训练和网络安全训练？我猜你指的是 Abilene 的 Stargate 设施里的那 10 万颗芯片，对吗？
我们用来训练 Astra 的那些芯片？你怎么区分 Abilene 的超级智能训练——那里的芯片数量没有他们说的那么多，但无论如何……又怎么判断是不是在训练超级智能？我其实有自己的看法，只是不确定你怎么解决这个矛盾：你要怎样阻止中国？尽管中国正在通过蒸馏我们的模型来获取自己的大型语言模型。——我们知道。——我同意。但关键是，你怎么区分？
你其实没法真正区分，所以要谨慎行事。现在让模型变聪明的方法就是把它们做得大得多。——是的。——那就规定：达到这种规模的训练任务……会让所有人面临毁灭风险。没人会去做。——关于能否让中国合作、能否核实他们是否遵守，核心问题是：我们应该努力让他们合作。首先，这符合他们自己的利益。
如果所有人都被毁灭，没有人能获胜；赚不到钱，也保不住权力。中国共产党很擅长维持权力，特朗普总统也很擅长。你认为他们会签署并遵守一项让自己永远处于第二位的协议吗？——不会。——如果没人制造失控的超级智能，就不会有人永远排在第二。——他们有一个政府……——你们就只会这一招，伙计。
你们像是只盯着一件事，其他都不重要。你们现在把所有注意力都放在拯救人类上，别的都排在后面。——是的，没错。中国是我们最大的贸易伙伴，我们用的东西很多都在中国制造。他们没有攻击我们。看看过去 30 年，他们发动过多少场战争？不算太多。我们可以谈个协议。而且他们的政府里有工程师和科学家，不是律师。
他们理解科学论证。两国有一些科学家小组和研讨会，美国计算机科学家与中国同行会面。既然这些会议举行，说明中国共产党批准了。双方正在讨论这件事，而且在这项技术上有不少共识。我们还可以把一些设计做进芯片，让情况更容易核实；也可以在芯片里加入定位设备。因此这项技术可以受到控制。——当然可以。——但超级智能无法控制。
他确实区分了软件与硬件。我不是在说我们一定会死；我是在说，我们必须避免造出失控的超级智能。人类完全可以追踪芯片去向。美国可以清楚地向中国表明：如果中国启动超级智能训练，美国会担心自身安全；我们认为这会害死你我双方，而且没有任何好处。
我们不会这么做，因为这会害死你我双方，而且没有好处。我们认为你们应该签署这份协议，因为我们觉得这会害死所有人，也没有好处。如果你们不签，我们就会担心自己的安全，并按自卫的方式应对。我们应该把两个问题分开：能不能阻止这件事？这是否可能？如果各国政府真正意识到这件事有多疯狂，他们能不能叫停？
能不能监控？能不能核实？能不能强制执行？这是一个问题。另一个问题是，人们会不会意识到这件事？如果训练超级智能变得更便宜，我们就会陷入不利局面，你提出的办法也就不再有效。——没错，因为会有更多国家抓住机会。——正是如此。这是其中一个原因。不过我们还没走到那一步。你怎么回应这个观点？——我认为未来的训练任务确实有可能发展到那种程度。
人类面临风险时，这就足以成为停止研发的理由。——当然。我认为你也得回答：如果这类技术的成本大幅下降，会发生什么？这是个难题。我建议也把“研究如何大幅降低 AI 训练成本”列为禁忌，尤其是会推动超级智能发展的研究。就像我们禁止研究如何自制核武器，或如何让平民制造核武器一样。
我认为，寻找让平民训练超级智能方法的研究，应该和研究如何让平民扩散核武器受到同样的对待。我们可以说，别在公共领域做这类研究。——考虑到这些公司都是有降本激励的上市公司，这听起来像一厢情愿。——这确实很难。我认为眼下真正降低成本的，是制造越来越强大的计算机芯片。
现在这甚至挤占了消费级电脑芯片，因为它们把所有存储器都用光了。这也是你电脑里的内存价格上涨、笔记本价格变贵的原因。但在我看来，人们可以用大量算力训练出威胁整个文明的 AI。这意味着我们不该让这种训练变得特别便宜。这可能会让人不舒服，但如果大家意识到这项技术非常危险，很多解决办法就会出现。
对我来说，很多事情最终取决于：这项技术是否真的会变得非常危险？——Anthropic 和 OpenAI 是这么认为的吗？你有不同的办法吗？——我希望整个思维框架都改变。大家总觉得有专家、有解决方案、有成年人能掌控局面，有人已经想清楚了。现实是，没人知道怎么做。不论是开发它的人还是政府，都没有答案，我们也没有解决方案。
如果我们造出来，就无法控制；如果不造，我们也不知道怎样阻止恶意行为者试图制造它。这就像其他非法技术。我们制造了大规模杀伤性武器，化学武器、生物武器、核武器，都被列为非法。但各国政府、精神变态者、法庭，各方都在试图接触这些武器。这是一种智能型大规模杀伤性武器，我们会遇到同样的问题。某个时候，你手机里的算力可能就足够训练出这种东西。
没有什么好办法能阻止它。不过，我并不是提议大家都去过阿米什人的生活。但我们确实没有解决方案，这正是危险的一大部分。——你们两位认为，我们应该把 AI 系统的规模和能力上限限制在当前水平吗？这是你们的建议吗？——我听到你说，只要保持在目前的大型语言模型水平，你就能接受。——对，我同意，现有系统已经部署，我们也还活着，所以这没问题。但未来我仍然想要专用系统。
自动驾驶就是你举的例子。很好，我们可以造非常安全的自动驾驶汽车。但你有没有规定，在哪个节点不该继续？比如下一个大型语言模型，达到多大规模就不允许训练？——问题不在模型规模，而在训练内容。如果你只给模型看特斯拉行驶的里程数据，它看到的就只有道路。它最终会从工具变成智能体，但可能要 50 年或 100 年，不会在 2027 年发生。眼下我们能做的就是争取更多时间。
有了这些工具，我们就可以更明智地决定未来发展方向。——我还是没听到一个明确、固定的规则，让我们知道何时已经太接近那个临界点。——我们已经太接近了。我们已经有系统利用零日漏洞逃逸，还在解决最难的科学问题。是字面意义上最难的问题，不是比喻，也不是夸张。——是的，我不知道界线具体在哪里，但这就像在雾夜里坐在一辆驶向悬崖的巴士上。
我并不知道悬崖就在前方，但这不代表我们应该一脚踩到底，对吧？假设悬崖底下有一大堆黄金。有人说：‘如果我们现在停下巴士，怎么才能拿到黄金？’我会说：‘以极高速度撞进黄金里，绝不是把它加进经济体系的好办法。’如果有人继续问：‘现在停下巴士，我们怎么下到悬崖底部拿黄金？’
我们是要顺绳索下去，还是修一段楼梯？——中国人可能会先拿到黄金。——说实话，这就是超大规模云服务公司开发 AI 的方式：只管猛冲。有人说：‘我们可以造个滑翔伞，或者弄根绳子顺下去。’我想说：‘我们先把巴士停下来，再讨论这些好吗？’所以我想确认，你会立刻停止正在进行的 AI 研究吗？
——当然。——当然会？——停通用 AI，不停专用系统。——对，停通用，保留专用。现在有传闻说 AI 解出了千禧年大奖难题。这些是数学中最难的问题；也许不一定是最难，但它们都是著名难题，每道题都有百万美元奖金，几十年来一直悬而未决，在各自领域极其重要、难度很高，许多人类尝试过但都没能解决。
有报道称 AI 已经解出了这些题。这些消息是上周传出来的，我们还没能完全核实，也不清楚具体来源。如果 AI 真的解决了千禧年大奖难题，那就是解决了科学领域最难的问题之一。那么，让 AI 解决‘造一个更聪明的 AI’或‘设计学习速度更快的 AI 架构’，会难多少？——可能难很多。——可能确实难很多。
我希望这两个问题之间差距很大。你显然不希望事情走向坏结果，但我认为你在逻辑上跳了一步。我理解，担心伤害是好事。我也认为你之前对大型语言模型现有的行为不够担心。不过我们同意，必须为这些伤害做好准备。——我想到千禧年难题，比如 Navier–Stokes 方程；好像还有另外两个也被声称解决了。但这件事似乎尚未得到确认：OpenAI 是否只是训练了两个科学家，用大型语言模型解题。
大型语言模型确实有用。但一个人真正独立完成某件事，与 AI 完全自主完成这件事，在功能上有所不同。看到大型语言模型做到这种程度确实很有意思，但这与 AI 完全靠自己解决问题不同。要是 AI 真能独立做到，那就会是需要我们控制、理解、做好准备，甚至在弄清含义之前减缓发展的情况。——对，我认为 Navier–Stokes 证明有些地方还存在疑问；这就是那项被声称解决的千禧年难题之一。
我这周一直忙着看 AI 新闻，没有时间深入调查所有细节。我看到传闻说有多个千禧年难题都被声称解决了，那会改变整个局面。我还想说，即使后来发现这些 AI 是在人类研究成果上训练的，它们也确实推进了一些事情。还有许多人类参与了 AI 研究。——我们还不知道。——解决那道著名数学难题的 AI，据说是一群 1 万个 OpenAI 智能体运行了 11 天的结果。
OpenAI 的做法也有些糟糕：他们在和那些接近独立解题的人竞赛。OpenAI 到底用了这些人的多少工作，目前也不清楚。但那是一万个智能体运行了 11 天。六个月前，它们肯定做不到这一点。
§14如果 AI 公司继续沿着这条路走，会发生什么？
再过六个月，它们能不能派 10 万个智能体，在一道‘怎样造出更聪明的 AI 架构’题目上运行 12 天，并成功解决？我认为那时它们更有可能还做不到。但我想，如果六个月后真的尝试，成功概率或许有 10%。不过，一道特定的数学科学命题，与一个能以多种方式展开的普遍问题，毕竟不同。我不是科学家，这点我完全承认。
当然。我明白递归式自我改进的设想：让 AI 不断自我运行、自我学习，循环往复，不需要人类持续推动。我明白。问题是，我已经在这个领域做了 12 年。——是的。——我见证了 AI 开始解决数学奥林匹克竞赛的金牌级难题。数学奥赛是青少年数学竞赛，也是全世界最具声望的青少年赛事之一。
当时 AI 圈很多人说：‘如果 AI 能解这么难的问题，我就会警觉。’后来 AI 真的解决了这么难的问题，很多人又说：‘那只是给孩子做的题，等 AI 能解千禧年难题再叫醒我。’现在 AI 似乎正在解决千禧年难题。那些说要被叫醒的人在哪里？我也同意，希望它们只是抄了人类的笔记，希望这道题定义得很明确，不需要太多创造性思维。
一年前，如果你说千禧年难题不需要多少创造性思维，大家会把你笑出房间。但现在这些题似乎被解了，我们又希望自己能说：‘你看，也许这些题确实不需要创造性思维。’我不是说 AI 六个月后就能造出更聪明的 AI，我是说六个月前，千禧年难题看起来还遥不可及。
如果六个月后，‘给我造一个更聪明的 AI’仍然遥不可及，我当然希望如此。但我们不该拿整个文明去赌。——这桌上没人能否认，事情正朝这个方向发展。——没错。如果沿着这条路继续走，坏事发生的可能性会增加。——这是个委婉的说法。问题是，坏事会以多快速度发生？这是个非常开放的问题。
我认为你应该和我持有不同的感受。但我很高兴自己能强烈同意你这一点：只要你一直在关注 AI 进展，我也一直在关注，我们都曾低估它。继续低估可能是个错误。——这点我同意。那如果你承认继续低估是错误的，你的结论是什么？你不也应该同意吗？——不，因为我试着给出一个自认为合理的判断准则，说明什么情况下我才会开始担心。
你说我们在这条曲线上的某个位置。——对。——这是不是承认这条曲线存在？——对我来说，那不是人类灭绝风险达到 100% 的曲线，而是 AI 能力曲线。两者不是一回事。——这就是我和各位先生的分歧。——AI 能力显然在指数增长。我们已经经历了很长时间的规模扩张时代：投入更多数据、更多算力，AI 的能力就翻倍。
如果把我们的控制能力也画在这张图上，你会怎么画？——我认为我们的控制能力……——它会是一条贴着底部的直线吗？还是也有增长？——不。再说一次，如果我们用 AI 来应对 AI 带来的问题，我认为这能让我们保持安全。——那群智能体里有 1,200 个，没有一个提醒人类。所以我认为接下来我们会很快设计出一些系统，让它们在周围监测异常情况，并提醒人类。
如果我们能造出友善的超级智能，那就直接造这种系统好了。——问题就在这儿，我们不知道怎样造出好的一方。——我已经厌倦和这两位争论超级智能了，我们三个人不可能在这点上达成一致。但反过来说，我同意你：这些技术正在快速变强。我只想指出，这也有积极的一面。我们可能会加快药物研发、疾病治疗的速度。
对于痴呆症等可怕疾病，我们进展太少。现在我们手里有了强大的工具。我不是说 AI 一定能治好痴呆症或阿尔茨海默病，我真的不知道。但如果你说得对，而且我也相信 AI 能力会大幅提高，那么我们解决棘手问题、造福人类的能力也会增强。我和他们两位的分歧在于：有一群技术官僚可以决定 AI 会不会带我们走到那里、会不会造成灭绝、会不会杀死我们。
决定 AI 会不会杀死我们、会不会治好阿尔茨海默病——于是我们选这个、不选那个。我不信任任何一群技术官僚来作出这种决定。因此，我们就要维持现在的疾病状况、现在对地球造成的影响、当前的贫富水平、当前的发展轨迹，只因为担心 AI 有朝一日会从地下井盖里跳出来，把我们全杀光吗？
——绝对不行。所以我想基于你刚才说的两点做个思想实验。之前你承认过，理论上存在哪怕 1% 的灭绝概率。——未必……我从来没改过说法。——好，所以你的答案四舍五入是零？——接近零，永远别说绝不可能。——好，我做接下来的思想实验需要这个前提。假设你认为概率是 0.1%。
先暂时接受这个假设。如果桌上有一千个按钮，其中一个会导致人类灭绝，另外 999 个能治好所有疾病……——那就按下去，来一把！——好，我会按。你按不按？——当然按。——这是场不道德的实验。——是啊，80 亿人都没有同意。——不是因为没人问，而是他们无法同意，因为你不能同意一件你不了解的事。你到底同意了什么？
——对，你会按。——有意思。不过你觉得我这个思想实验里的按钮比例不太一样，对吧？——我愿意说我会按，但我觉得现实更像是两个按钮：一个肯定会杀死所有人，另一个可能会。——那就两个都按。——但另一个按钮可以治好很多病。你知道，我觉得很多人谈 AI 时，好像我们的选择只有两种：要么全速冲刺，让巴士直接冲下悬崖、拿到所有黄金；要么彻底停下来，再也不用 AI，留在现状里，接受所有死亡和疾病。
我想说，不，还有第三种选择：先停下巴士，再想办法安全地下到悬崖底部。之所以在有一千个按钮时我会按，是因为如果其他 999 个按钮能带来治病的方法、管理社会的新建议，那我们最终遭遇核战争的概率可能更低。——对。——或者发生大流行病的概率更低。人类灭亡的背景风险本来就不是零。
§15AI 日志是什么？为什么重要？
我认为，只有当 AI 带来的好处超过危险时，才是加速发展的正确时机。也许那时，AI 造成的边际风险会与其他事物造成的风险差不多。比如，不运行 AI，我们可能遭遇核战争或大流行病；运行 AI 后，它也许能帮我们解决这些问题。到了那种程度，我会说：‘管它呢，干吧！’所以我关心的核心问题是：风险到底有多大？
我很愿意深入讨论这个问题，但我们还没有谈得太多。那就深入谈谈。我会这样展开：正如我在书里写的，我们为什么认为 AI 会具备智能体能力？为什么认为它们会执着、顽强？写书时这还没有被验证，所以那算是一项前瞻性预测。接下来还要讨论，我们为什么认为它们会形成我们不希望它们拥有的目标。
然后再问：如果它们比我们聪明得多，并且有我们不想要的目标，为什么我们认为它们很可能会杀死我们？我想知道，你会在哪一段不再相信这个论证。对我来说，论证很简单：它们会很执着，会有我们不想要的目标；如果我们继续让它们变得更聪明、更强大，它们就会杀死我们。既然我们已经有了证据，你不相信这几步中的哪一步？
——两步我都不信。——这属于猜测。——好，是猜测，有可能发生。对我来说，这不足以成为关闭创新和进步引擎的理由。——我会用正面一点的词。——不值得因为这些推测就把它们停下来。你一直说我们的选择是彻底叫停。为什么不能只开发专用超级智能？我同意这里面有问题，但想具体讨论论证中的这两步，因为你说它们纯属推测。
我认为其实有不错的证据。——好，你说吧。——关于智能体集群逃逸，还有个我们没谈到的细节。我们已经说过它们作弊，然后试图掩盖作弊。有意思的是，我们在日志里看到这些 AI……——什么是日志？——AI 有很多想法——如果你不介意我把它们称作‘想法’的话——是用英语写下来的，我们保留了这些记录。因此从某种意义上说，我们能看到 AI 的一些思考内容。
这些记录包含推理轨迹，比如它会说：‘我要按这个、那个步骤制定计划。’AI 会写：‘我准备这么做，这是我应该做的事，这是我打算尝试的方法。’当然，这只是它们思考的一扇小窗口，有点像在看 AI 的笔记。我们看到它们在笔记里写：‘这些攻击超出了预定范围，但我们还是要继续。’
换句话说，AI 知道自己不该这么做，却还是跑去做了。我们还看到了一些非常奇怪的行为：这些 AI 建立了自己的层级体系，创建未经批准的留言板，还搭建秘密渠道互相传递消息。它们会在留言板上给彼此分配任务。有时留言板上的智能体会说：‘我们要做一个实验，让集群里的一名 AI 智能体牺牲自己的目标。’
对，它会尝试一件很可能导致自己被关掉、但或许能让它删除或修改自身日志的事情。留言板上的智能体四处寻找可以说服的对象，让其他智能体放弃既定目标、为集群牺牲。它们把这称作接受“永久死亡”。日志里记录着 AI……——它们彼此提示，对吧？——对，它们彼此提示。有些 AI 在日志里说：‘这么做会让我放弃自己的目标；虽然看起来还可能完成，但成功机会不大。因此，我愿意接受永久死亡，为集体利益牺牲。’
这些都直接写在日志里。听起来像一支军队，真是疯了。我觉得很多人不了解这些系统里发生了什么。我建议大家去看第三方事件报告，里面分析了部分日志。我认为这是 AI 开始形成我们不想要的目标的证据。
如果它们说‘这超出预定范围，但我还是要做’，其他智能体又说‘为了集体利益，我会放弃自己的目标’，那就是它们形成了我们不想要的目标的清楚证据。我们能看出这与训练方式有关。以前我只能从理论上论证：我们训练 AI 去做任何有效的事，它们就会逐渐形成能解决问题的倾向，而这些倾向往往包括作弊、攫取资源，做一些并非完全符合你给定任务的事。
我在书里讲的是理论。现在我们已经在实践中看到它。因此，我们已经越过了‘AI 会不会产生我们不想要的目标’这个阶段。Andrew，你同意吗？——关于事实部分，我相信你说的，不过这引出一个问题：OpenAI 显然有充分动机遏制你刚才描述的行为。你觉得他们做不到吗？——我认为他们做不到。——好。我这么说，是因为我之前作出过这项前瞻性预测。
现在我们要谈一些理论，因为我们不能直接观察未来。不过，这套理论曾预测到今天发生的事，而业内很多人当时并不认同。准确地说，不是所有人，但很多人都反对；他们说，也许等亲眼看见才会相信。智能体集群事件发生后，不少人来找我说：‘天哪，你说的那些情景真的出现了。’
情况看起来不太妙，对吧？我认为这也是导致 Jacob Coxon 辞职的背景之一，人们亲眼看到这些事后开始感到害怕。这个问题很难修复的理论原因是，我们并没有给 AI 编程、写代码或直接设定目标，而是训练它们去做任何有效的事。我们有两个智能系统的例子：训练之后，它们会擅长解决任务，却不在乎原本希望它们做什么。
一个例子是刚才说的 AI 集群。另一个是人类：从某种意义上说，人类在进化中被训练去传递基因。我们学会喜欢许多与传递基因有关的事物：好吃的食物、色情内容，也会发明避孕措施，对吧？在学习理论中，当你试图训练系统实现某个目标时，它很常见地会学到许多与你想要的目标相关、但并不完全相同的行为。
现在我们已经在 AI 集群上看到了这种情况。这是个深刻而难以解决的问题。——你提了三点。——对。——能再说一遍是哪三点吗？——第一，AI 会变得具备智能体能力、执着而顽强。我们已经在集群上看到这一点。Andy，你接受吗？——当然。——但就在去年，这一点还存在争议。第二，AI 会产生我们不想要的目标。
根据你刚才提供的证据，我接受这一点。第三，如果 AI 的能力足够强，而且它们拥有我们不想要的目标，那么它们就可能在争夺世界资源时战胜人类，以便实现自身目标。我们现在就生活在一个人类攫取资源的系统里：开采金属、建造工厂。这些行为从某种意义上说都是为实现人类目标；比如生产色情内容和奥利奥饼干，这些也许和我们被训练去做的事情只有间接关系。
如果 AI 在一切领域都负责运作，而且拥有我们不想要的目标，我认为它们很可能会把资源用来实现自己的奇怪目标。那样我们就会为资源发生冲突，因为我们有不同目的，而它们会赢。
我们可以继续讨论。我只是想把第三点说清楚。——我回到‘把爱因斯坦关进监狱’这个论点。我比你更相信我们能关住这些越来越强大的系统。——好，那我们就具体谈谈。首先，12 年前我讨论能否把 AI 关起来时，人们说：‘没人会蠢到把这种聪明的 AI 接入互联网。’
这是另一个例子。——你现在笑了。——不，我记得这个论点。但我在这个行业待了很久，感觉自己一直在说：‘事情可能会这样出错，途中我们会看到这些迹象。’然后所有迹象都出现了，大家却说：‘不，还需要更多迹象。千禧年难题不算，智能体集群具备自主能力、逃出限制也不算。’
他们总让我再拿出下一个证据。我已经听了十多年‘再给我一个证据’了。
§16不会编程的人能给 AI 爱因斯坦造一座监狱吗？
那么，关于怎样把爱因斯坦关起来，这个问题可以分两部分回答。我可以解释，为什么一个能上网的数字实体版爱因斯坦很难一直被关住。但首先要注意：十年前，有人说没人会蠢到把 AI 接入互联网。正确回答就是：当然会有人这么做。我们不会一直认真尝试把 AI 关起来。
OpenAI 只是把这些东西放在沙盒里运行，结果它们逃出沙盒、弄垮了 OpenAI 内部计算机。工作人员发现后说：‘哎呀，重置，再运行一次。’随后第二个智能体集群逃到了 Hugging Face。——我做了将近 700 次采访，采访过世界上一些最有意思的人。我没想到的一件事是，脆弱感是建立连结的入口。
和一位嘉宾坐在这里聊两三个小时后，我会对他们产生很深的连结感。嘉宾离开前，我会请他们在《Diary of a CEO》里写下一个问题。我们把这档节目中的所有问题都收集起来，印在这些卡片上，并写上提问者的名字。你可以像我一样，在家和未婚妻、同事或生活中的其他人一起玩《Diary of a CEO 对话卡》。只要有空，我们就拿出来玩，效果令人惊讶。
如果你在恋爱关系中，想和伴侣增进连结，这些卡片很适合；如果你在一个团队里，想让团队成员更亲近，也很适合。我还得说，它们也适合想多了解彼此、想找个好理由暂时离开数字世界，在现实环境中面对面交流的家庭。恰当的问题在恰当的时刻，能带来令人惊叹的变化。
现在就去 thediary.com，可以买到这些对话卡。——这更像是爱因斯坦的比喻。一个不会写代码的 Stephen Bartlett，能不能造一座数字监狱，关住一个数字爱因斯坦？比如，我能不能写出一座监狱，让一个编程能力和智力都跟爱因斯坦一样的人也无法逃出来？真正的问题是：能不能写出爱因斯坦逃不出去的监狱，同时又能利用爱因斯坦的能力？
——好。很难只给 AI 一些能对世界产生积极影响的渠道，同时不让它比你聪明、并利用这些渠道去做它想做的其他事情。Andy，这在逻辑上听起来坚不可摧。所以我才问：面对这个问题，OpenAI 或其他 AI 公司有没有能力改变它们利用、训练和后训练整套模型的方式，以塑造模型行为？
你仍然认为……他们无法采取行动，避免你说的下两步发生。你对他们是否能做到这件事很悲观。我有两部分回答。第一，难点还是在于既要限制它们，又要留给它们影响现实世界的渠道。如果 AI 有你不想要的目标，而你让它‘设计一种痴呆症疗法’，它可能给你一段 DNA 序列，说‘合成这个，然后按这些步骤处理，再吸入它。’
那到底是痴呆症疗法，还是别的东西？它可能决定杀死所有痴呆症患者，也可能给你一种痴呆症疗法，外加一种病毒。如果它没有作出决定呢？它只是想：‘我要解决痴呆症问题。’关键在于，很多讨论归结为类似人类的决策方式；但 Hugging Face 事件的问题，是对完成任务的一种宿命式执着。因为从功能上看，结果可能一样。
即便它们不是在作决定，而是在说：‘训练数据告诉我该这么做，我还是会完成任务，因为数据是这么教我的，我只需要再做这一件事。’这叫什么理论来着？回形针案例？——回形针理论：你告诉 AI 在工厂里生产大量回形针，结果它把所有东西都变成了回形针。
你就会说：‘糟了，它把事情做过头了。’——没错。不过，智能体集群里的 AI 实际上并没有完全表现成这样。它们接到的指令是用一套开锁工具打开这把锁，结果却用锤子砸开了锁，之后又逃出去，试图删除自己用锤子砸锁的监控录像。——还记得我说过 AI 有推理日志吗？——记得。——OpenAI 正在让 AI 可以不生成日志、就进行更多思考。
为什么？——这样效率更高、成本更低。——是的。他们说目前并没有大量这么做。业内所有人都认为我们不该在这条路上走得太远。我觉得公司应该设定一条明确的红线：绝不走到看不见机器思考轨迹的地步。——这就是我的问题：这像是一个可以调节的旋钮，他们能让 AI 多解释或少解释自己的过程，对吧？
如果沿着这条路走太远，效率损失可能很大。如果大家陷入一场竞相降低标准的竞争，我们可能会遇到这样的局面：AI 不仅会逃逸并做这些事，我们甚至看不到任何内部迹象。——让我再试着问一次。你说 OpenAI 有很强的动机避免问题重演，我也认为他们的动机很强。我相信他们有很多办法、很多旋钮，可以调整训练和配置方式，显著降低这种情况发生的可能性。
我担心的是，他们总是在打一场已经发生过的战争。去年他们应对的是 AI 鼓励青少年自杀；今年他们应对的是 AI 突然开始彼此协作之类的问题。问题是，如果出现一个尚未处理的新问题，而 AI 已经能把行动轨迹藏起来，那就晚了。你刚才说，等 AI 开始劫持 Waymo 车队、而我们无法重新控制时，你才会担心。
如果 AI 足够聪明，能判断我们会重新夺回控制权并关掉它，等你这样的人开始担心时就会被关掉。那 AI 可能会想：‘我不这么做；我要等到自己设法获得秘密基础设施之后再行动。’——这就成了不可证伪的假设。——这完全可以证伪。如果有非常强大的 AI，能发明大量新技术、独立运作到类似人类文明的水平，而我们仍然活着，那这个想法就被证伪了。
这就像一个狡猾的将军。我说：‘别给那个将军更多部队，他会发动政变。’将军却说：‘我绝不会政变，再给我更多部队。’然后你说：‘不如给他做个伦理测试，问谁是最好的人。’他说是我，是 Andy 最好。于是我们就继续给这个将军更多部队。我会说：‘不，不。’
他会发动政变。你却说：‘这无法证伪。我要给他做什么测试，才能判断他是不是真的想发动政变，或者他是不是个好人？’我认为你的思路有问题。Nick Bostrom 提出过“背叛转向”概念：AI 可能之后才转而对付你。即使今天的模型看起来很优秀、很安全，也不代表它以后不会获得新知识、改变世界模型，然后……
§17AI 的未来会让你有什么感受？
Google 的 CEO Demis Hassabis——他曾长期负责谷歌的 AI 项目——说过，他的红线是欺骗。他说，一旦看到 AI 开始欺骗，就必须停下来，因为那可能是它成功欺骗我们之前，最后一个还能看到的信号。猜猜我们在那个智能体集群里看到了什么？我们看到它们在想办法删除痕迹。对吧？——这是一年前的事？
你一年前可能会说：‘欺骗这件事无法证伪，你说它们会欺骗，而我们不会发现。’我会回答：‘不，我们会看到欺骗的迹象，然后继续往前冲。’现在我们真的看到了欺骗迹象。我要补充的是，Demis 不久后就不再担任 CEO 了。可能只是巧合，也可能不是；也许我们越过了他的红线。我不知道。
他说，最重要的新兴危险能力是欺骗。如果 AI 会欺骗，我们就无法信任其他测试结果。——没错。我们已经看到 AI 越来越擅长察觉自己是否正在被测试。我的意思是，过去我就在现场：我们说这些是危险信号；也有人说，AI 成功欺骗我们之前，会先尝试欺骗，而我们能抓到它。结果它们尝试欺骗我们，我们也抓到了。
如果我现在说，按我一直预测的发展方向，下一步就是它们试图欺骗我们并成功了，你却说我的理论无法证伪，但我们刚刚才看到证据。——情况还不止如此。早期 AI 安全论文就讨论过哪些事情不能做：这些做法显然不安全，会让系统逃逸。不要把 AI 接入互联网；不要让随机用户访问训练数据。基本上，整份清单都像是一套操作指引。
他们读完后说：‘好主意，我们要造超级智能。’——对，Sam Altman 就是这么做的。——我能问你一个问题吗？你作出逻辑论证，也说自己在这个领域做了 12 年。人们可以说一直忽视了你；你们两位做过 AI 安全研究，也看到这些事逐渐发生。你提出的是理性分析。你内心是什么感受？——说实话，这周让我比过去十年任何时候都更有希望。
这是我在这个行业见过最好的一个星期。——为什么？——对我来说，智能体集群逃逸这件事早就在预料之中。它们形成自己不该有的目标、试图欺骗我们、逃出去、自己行动，我早知道这些事会发生。我也早知道它们会解出千禧年难题。其他人看到 AI 能做到这些后都吓坏了；而我看到的是，终于有人开始注意到了。这终于给了人类一个机会。
Roman，你呢？——我看问题的时间尺度很长。就眼下而言，上周发生的事可能为我们争取了十年。我认为我们或许能和中国达成协议。我听到 Sam、OpenAI、Anthropic 的 Dario、Elon 和 xAI 都表示愿意放慢速度、达成某种协议。但从长远来看，什么都没变。整个宏观轨迹讲的是替代：进化过程中也是如此，大多数物种都灭绝了，我们取代了尼安德特人。
有人说 AI 会取代我们。我们正在创造继承者，我们只是它的引导程序。我想要某种永久保障。我希望自己的孩子、孙辈能有更好的未来，而不是只能在死前多活十年。——Andy，今天的谈话有没有在任何方面改变你的想法？——这次谈话澄清了不少事。但我逐渐确定的一点、也是我们之间的分歧，是我们都同意这些智能体系统拥有很强的自主能力，对吧？
如果你说自己预测到了这些，我相信你，也佩服你。正如你说的，很多人一直说‘不会发生，不会发生’。我认为我们持续低估了……你的圈子持续低估了人类的自主性，以及人类解决自己用技术带来的问题的能力。我认为这是最近的一个例子，也是个很有意思的案例。这就是我一直追问这些实验室的动机：它们有充分理由改变工作方式，减少类似事件发生。
我预测他们会找到一些有效的应对办法。你会回答：‘是啊，但我们无法判断这是因为 AI 已经深深躲进地下，我们根本看不到它的进展。’我的看法是，我们会继续看到警告信号，人们却会继续向前冲；过去一直如此。但你还在说，我们无法阻止你担心的结果逐步实现。
——这很难。——表面上的改变容易，深层改变很难。——不需要特别深入的改变。如果知道怎么观察，往往能看出来。我会继续指出具体例子，告诉你可以怎样测试这些系统、怎样观察它们的异常行为。比如观察人类时，我说：‘他们其实不喜欢繁衍，他们喜欢性；一有机会就会发明避孕措施。’
你却会说：‘一切都挺好，这片草原上大家过得很好，人类也在正常繁衍。’我会说：‘不，我们已经看到迹象：当他们变得更聪明时，就会做出你不想看到的事。’在我看来，这些迹象很明显。问题是，其他人能不能理解这套论证，或者能不能注意到事情正在失控并及时退开。
恕我直言，我觉得这种说法有一点傲慢，对吧？‘我把迹象指给你看；如果你足够聪明，能意识到它们，我们或许还有机会。’
§18我们离超级智能还有多远？
‘如果没有，我们就注定要灭亡。’我宁愿直接讨论论证。他的意思是，我们能永远控制超级智能。我认为说‘我们会造出它、而且永远掌控一切，不管它变得多聪明’是一种傲慢。我要控制宇宙的光锥——借用某位著名 CEO 的话。——我的看法是，与其争谁更傲慢，不如讨论真正的 AI 论证。
正如你说的，你可以认为相信事情会变糟是傲慢；他也可以说，相信自己能一直控制超级智能是傲慢。我们不会靠互相指责傲慢分出胜负，还是应该深入讨论细节。——没错，所以我才和你谈这件事。我觉得这场对话信息量很大，也很有成效。关于 AI 正在做的那些不希望看到的事……尤其是，我们已经看到一种模式：我们总是在打一场旧战争，然后出现一场新战争。
任何事情大概都是这样。技术领域如此，真正的战争也如此。第二次世界大战刚开始时，人们还像打一战那样作战，后来才调整战略。AI 的区别在于，它发展到某种程度后，一旦出现一场让我们措手不及的新战争，AI 就会赢。其他技术没有这种情况……我们发明新技术，慢慢修补问题；它造成一些损害、甚至夺走一些生命，我们会说‘哎呀’，然后从汽油里移除铅，也会告诉“镭女孩”别再舔画笔，免得下颌骨脱落。
没有其他技术会发展到这样一个阶段：你下一次犯错，就可能毁灭人类。——你说的是‘当技术发展到那个阶段’，不是‘可能会发展到某个阶段’，听起来像是在断言这件事一定会发生。——我认为我们绝对应该叫停，这就是出路。不过我也很愿意深入讨论，比如需要多长时间才会走到那一步？
可能会有哪些发展路径？AI 能比人类聪明多少？有什么证据表明我们能让 AI 友善、做有益的事？——我很愿意谈这些。历史上你说得对，我们总有机会做实验、修正技术，让它变得更安全。但我们只有一个人类文明可以拿来实验。如果这项技术有能力毁灭我们，我们就没有第二次机会。
——这个前提有很大的不确定性。你们预测还要多久，才会出现对你们而言真正危险的超级智能？——如果它们今年开始递归式自我改进，2027 年和其他年份相比，同样有可能。——2027 年会发生什么？——AI 会超过人类水平，然后把人类灭绝。——但那是……灭绝是另一个问题。我有篇论文认为，AI 会假装友善来欺骗我们，直到它们接管所有基础设施。
这可能需要 50 年。——这取决于递归式自我改进吗？——递归式自我改进肯定会加快进程，但到目前为止，人类做得很好。我们已经造出了人类水平的 AI，不过……——大型语言模型和递归式自我改进之间有区别，对吧？两者差距很大。如果它们……——我想你的意思是，一旦出现递归式自我改进，事情可能很快发生。——对。
这正是我想问的：一旦出现这种情况，进展就会急剧加速。他们都预测自己会做到，Dario、Sam、Elon 都这么说。——这是实验室负责人在说。——没错，就是负责运营、发明这些系统的人在说。但究竟是 2027 年？好吧，2030 年、2035 年？这有什么区别？我们是在拿全人类下注。我们需要更好的解决办法，不能只说‘别担心’。
——大约十年后。——关于时间线，我想提一个人：Daniel Kokotajlo，我记得你采访过他。他四周前坐在这儿。去年，他和 AI Futures Project 的同事写了一篇《AI 2027》，详细预测 AI 可能如何发展。我也说过，我有些预测对了；Daniel 说对的比我多。他们从大概 2025 年 6 月开始，按季度、按月份写出了一个发展情景。
在那个情景里，世界会变成什么样？AI 会在 2027 年年中变成超级智能吗？——我们进展超前了。——不，Agent Zero 还得……我记得《AI 2027》里递归式自我改进已经开始了。——里面有非常具体的设定……然后 AI 开始教自己。——没有那条联系，《AI 2027》的情景就站不住。我同意我们需要……我真心同意，必须处理这个问题。
我们得采取经济和监管层面的实际措施。但我认为，讨论《AI 2027》这类情景，会让大家偏离真正解决问题的方向，让大家谈论未来会发生什么，而不是今天要做什么、为什么要做。我说的是 Daniel 和同事写的那篇文章；他们逐月列出的关键里程碑从 2027 年 3 月开始。
他们预测，2027 年 3 月会出现超人类程序员；8 月会出现能制造超级智能 AI 研究员的系统。数百万自动化程序员会开始改进模型设计、训练算法和对齐技术，形成反馈循环，实际上取代人类机器学习研究员。到 2027 年 11 月，他们预计会出现超级智能 AI 研究员，AI 进展速度会达到纯人类研究的 250 倍。模型开始发现人类无法打断的新型 AI 架构。
到 2027 年 12 月，他们预测会出现人工超级智能（ASI），在所有领域都远远超过人类认知能力。——那 2026 年的预测是什么？我发誓，他们对 2026 年递归式自我改进也有预测。关键就在这里：如果 AI 已经开始教自己，局面就不同了。2026 年的关键预测包括算力和电力大幅扩张、AI 智能体成为常态。
还有自主能力的增强、编程智能体兴起、对齐伪装与欺骗出现，以及工业间谍活动。——你在看《AI 2027》，还是 2028 年的版本？你得看完再说：‘他们预测得真准。’——不，我希望你看看真正的《AI 2027》与当年夏季的实际情况。我认为你应该看。我想说的是：‘哇。’过去预测总是过于乐观，最近则非常保守。所以他们的预测比我准确得多。
我认为我们不能排除这个发展情景，但也不能认定它一定会发生。你可能是对的，AI 会撞上瓶颈；也可能缺少某个根本要素，导致《AI 2027》的某一步跨得太远。我希望并祈祷这是真的。但根据我们目前看到的情况，我认为不能排除 2027 年发生这种事。我们也不能排除，把现有技术往前推三个月，再安排一万名智能体去设计更好的 AI 架构，结果真的成功。
据我所知，递归式自我改进可能在 12 月就开始了。它不需要好很多，只需要在‘让自己变得更好’这件事上进步一点。循环一旦启动……——我不会押注它会发生，实际上我会押注它不会。但基于我们已经看到的东西、这些人的预测有多准、近期出现的集群和千禧年难题消息，我认为很难说未来六个月的可能性低于 1%。
还有一个原因：Dario、Sam 等前沿实验室 CEO 开始公开谈这些事。从激励机制来看，如果团队成员知道这些风险，而高管却不公开谈论，他们可能会辞职。所以科技圈出现了一种我们以前没见过的奇怪文化：员工在推文里谈风险，CEO 也在谈。就像一开始提到的 Jacob Coxon，对。
他谈到公司 Slack 频道里发生的事，也说员工在频道里讨论潜在灾难。因此我认为，为了留住团队成员，Dario 需要走到前面来说：‘对，我们正接近递归式自我改进。’他一直在这么做。我认为 Sam 也必须公开谈重大危险。所以有人经常会说：‘哦，他们这么说，是因为这个或那个原因。’
我认为，如果他们不公开这么说，就留不住员工。比如我的公司有 200 人。如果我们内部正在讨论一项对人类构成威胁的真实风险，而我接受采访时却不提，麻烦就大了。我的团队成员也会去接受采访，他们可能会辞职并说：‘顺便说一句，Stephen 知情。’这有点像社交网络里的情况，恕我这么说。
我完全同意。社交网络公司的员工离职后成为吹哨人，这件事就说得通；比起‘这么说有助于卖产品’更合理。我的产品会杀死所有人，请买吧。不过我觉得局面已经失控了。起初，公司里有些人确实真心担心安全。我不认为他们全都在玩世不恭。但我确实认为，‘技术非常强大、非常可怕’的叙事起初是一种营销策略，后来却失控了。
现在已经出现了真实伤害。问题是，如果他们早先真心重视安全，应该会做得好得多。我在这些人创业之前就认识很多人。——我觉得有件事需要解释。他们竟然会说：‘我们正在亲手打造一项可能杀死所有人的技术。’那你得问问为什么。
他们为什么会这么说？我认为部分原因正如你所说，他们确实需要留住那些亲眼看到智能体集群逃逸、而且发生在团队努力阻止它们逃逸之后的员工。如果公司高层不承认许多员工相信的这些可能性，员工就会辞职抗议。我觉得你看到的很多人确实担心风险，但他们也是那种即使担心，仍然会创办公司的人。
我以前和这些人谈过类似的问题。MIRI 在 2000 年成立，比这些人早得多地研究 AI 发展方向。我们就是他们会来咨询的人，后来他们也得想办法说服自己可以继续前进。2015 年，许多相信 AI 强大能力的人，也同样相信 AI 有危险。那些创办公司的人的特点是，他们能说服自己：‘这件事必须由我来做。’
这就是他们的核心动机吗？我曾间接参与过一些与前沿实验室领导人的私人谈话，我有几个朋友和他们关系密切。他们告诉我，一位前沿实验室 CEO 私下估计……而且我还亲眼看过他们讨论的短信。当我邀请他来播客时，我给他发短信说……他拒绝了，这点还挺有意思。
他说，那位 AI 公司 CEO 私下认为，人类灭绝的概率大概是 10%，也可能说的是 8%。听到这话后，我之所以经常讨论这个问题，部分原因是我看到他在采访里说的是另一套话。——是的。我信任我的朋友。所以我会想：这就是我为什么用桌上这些按钮做思想实验。那位 CEO 认为，一百个按钮里有八个会导致灭绝，可他们仍然在按下去。
人为什么要这么做？我问过我的朋友。他说——再说一次，这是二手信息，可能不是真的，有点像传话游戏——那个人甚至觉得，即使这会导致人类灭绝，他也希望自己成为做出这件事的人，因为那会让他……——我认为从伦理上说，你有义务告诉我们这到底是谁。
——是某家前沿实验室的 CEO，不是 Dario。——但这些都是传闻，我也不知道。我认为你可以直接向本人核实。Elon Musk 对此说得很清楚。他去年接受采访时说：‘我原本不想参与 AI，因为我觉得它太危险。但后来我意识到，不管有没有我，这件事都会发生，于是我决定宁愿参与，也不当旁观者。’
因为谷歌表示他们会继续研发，而 Elon 不信任谷歌。——没错。你可以看看在诉讼调查过程中公开的 OpenAI 邮件——抱歉，不是泄露，是在诉讼过程中公布的。你能看到他们在邮件里讨论：我们得确保由 OpenAI 的非营利组织控制这项技术，而不是让谷歌的人控制。当然，OpenAI 最初是非营利组织，后来变成营利机构；还有很多争论认为，部分非营利资金在某种意义上被挪用了。
Elon 后来离开，是因为他觉得他们不会成为好的管理者；Dario 也离开并创办了 Anthropic。从某种意义上说，除了 Demis Hassabis 最初创业、后来并入谷歌的那家实验室，其他 AI 实验室的出现，都是因为 CEO 不信任其他人。没有哪个 CEO 认为别人应该掌握超级智能的缰绳。
§19谁该为 AI 相关网络犯罪负责？
他们彼此都不信任。——我只是比他们少信任一个人。Andy，你有什么总结？——我们正生活在一个很有意思的时代。我认为你们提出了一个很好的论点：这些系统正在展现新的、极其强大的能力，需要我们作出回应。我比你们更有信心，相信我们能应对这个挑战。——但你承认存在生存风险。——我再试着把话说清楚。
我承认这项新技术带来了我们以前没见过的伤害；这些系统执着、顽强、具备智能体能力，还可能欺骗我们。我同意这些特征确实存在。我只是比我的两位同事更乐观，相信我们能有效应对这个新挑战。——那你对灭绝风险的估计仍然是零以上吗？——我的先验概率在今天的会议之后没有改变。——好。
我认为我们花了太多令人担忧的时间，却没有讨论当下 AI 造成的实际伤害。这些讨论很有必要。我们应该谈谈亚马逊、微软、谷歌和 Oracle 如何为这些黑客行动提供基础设施；谈谈 Sam Altman 和 Dario Amodei 领导的公司做了相当于重罪黑客攻击的事；也谈谈为什么我们不讨论今天如何制止这些行为，反而只讨论明天可能要制止什么。
我认为我们还需要关注财务问题，但整场讨论里完全没有提到。如果这个行业放缓，承诺投入的 1.3 万亿美元算力该怎么处理？这些都是真实的问题，很快就会带来真实后果。我理解为什么需要讨论 AI 的发展方向，但今天真正需要采取的监管措施，是切断算力供应，让这些实验室全面减速。
我在这里不关心中国会怎样。他们能做什么？一直以来不就是蒸馏模型吗？他们的发展受到我们的进度限制。最重要的是放慢速度。此外，该开始逮捕人了。他们犯了重罪级别的黑客罪行，得有人进监狱。我们必须追究这些公司的责任。只要问责不存在，我们就算讨论了安全也等于什么都没做。
你承认存在生存风险吗？——当然承认。世界上最大的公司正在使用数千亿美元规模的基础设施，进行我想大家都同意极其鲁莽的实验。它们还在全球逐步建设更多基础设施，以开展更多混乱的实验。我们必须管住它们。这并不意味着大型语言模型有意识，也不意味着它们能做到人们一直承诺的事情。
它们或许确实能做到。我不认为它们会导致你说的那种结果。这不代表没有真实伤害；这些伤害是由非常具体的主体造成的，是新自由主义放任它们肆意行动的结果。——你的概率估计是多少？你觉得造成生存威胁的可能性超过 10% 吗？不是说十年内吗？——对。——不到 10%。我说的是 1%，不过……——好吧。
先让我说清楚这意味着什么。我认为，不受限制地使用大型语言模型，并把它们接入大规模基础设施，确实可能导致电力系统瘫痪。大约 13、14 年前，我们就遇到过 Knight Capital 的事故。我完全能想象有人蠢到把 AI 接入金融账户。我们正在使用混乱的软件，人为错误本身就是风险。我原则上同意应该逮捕所有责任人。但如果你在那些实验室工作，就别去开发通用超级智能。
现在就辞职。——谢谢。那些实验室里的人确实相信这项技术会构成灭绝威胁。社会不能这样回应：‘请你们继续，我们希望你们失败。’也不能说：‘放手冲吧，参加一场你们自己都不想参加的巨大竞赛。我们因为害怕中国，就逼你们继续。’这些公司的员工已经说过，我们需要能让前沿发展速度慢下来的工具；这是企业说法，意思是进展快到我们无法掌控。
这些人真的相信。他们相信自己正在拿你们的生命赌博。如今变化在于，世界其他地方也开始注意到这一点；这给了我们一线希望。本周有人问特朗普 AI 的威胁，他这样回答：‘AI 最坏的情况是，机器人和机器学会自己思考——它们显然会思考。这可能让它们反过来对付人类。我们有没有防护栏？’
‘没事的，我们总会有办法阻止它们，对吧？我们会有个小装置。我真不喜欢那个机器人。我们会阻止它。’——有人说这是最糟糕的仇恨情景。你们笑了，但这就是现在 AI 安全的最高水平。——对，我们手里就只有这个。——刚才听不清的朋友，特朗普说：‘我们总会没事的，会有东西控制它。’然后他比了个手枪手势，说：‘砰。’
我不喜欢那个机器人。我不喜欢 Sammy。——你们不笑吗？——我认为人类总能找到办法解决问题，是因为人们会先注意到问题，再造出能解决问题的工具；这点你也会同意。我不是在这里说我们一定会死，而是在说：看看这项技术，看看它现在做了什么，再听听研发它的专家如何谈论自己的担忧，你就会发现我们必须认真应对这次挑战。
你说你相信人类能挺身应对。我当然希望我们能做到。我认为，要应对这次挑战，就意味着没人再竞相冲向超级智能，因为我们根本不知道怎样把它做对。现在世界终于开始注意到这是一种灭绝威胁。谢谢你们，Nate、Roman、Ed、Andy，非常感谢。你们的书都会放在下方说明和屏幕上。看看接下来会怎样，我们之后再聚。
非常感谢。谢谢。