AI 2027：智能爆炸的逐月模型——Scott Alexander 与 Daniel Kokotajlo

Dwarkesh Patel

今天我很高兴能与 Scott Alexander 和 Daniel Kokotajlo 聊天。Scott 当然是博客 Slate Star Codex（现在叫 Astral Codex 10）的作者。正如你知道的，邀请你来播客一直是我的愿望清单之一。这是我们第一次一起录播客，对吧？

Scott Alexander

是的。

Dwarkesh Patel

Daniel 是 AI Futures Project 的负责人。你们今天刚刚发布了一个叫 AI 2027 的项目。这是什么？

Scott Alexander

AI 2027 是我们对未来几年 AI 进展的情景预测。我们想做两件事。首先，我们希望提出一个具体的情景。Sam Altman、Dario Amodei、Elon Musk 等人都说“三年内会有 AGI，五年内会有超级智能”，但很多人觉得这很疯狂，因为眼下我们有的聊天机器人只是会搜索 Google，在很多方面也就到此为止。人们会问：“三年内怎么可能发展到 AGI？”我们想讲一个故事，描绘中间的过渡过程。从现在开始，逐步走到 2027 年出现 AGI、2028 年可能出现超级智能，按月说明发生了什么。用小说创作的话说，就是让整个过程显得有铺垫、有说服力。

这算是比较容易的部分。难的是我们还希望预测准确，判断事情会如何发展、速度有多快。我们知道，这类预测最常见的结果就是被现实彻底打脸，一切都朝完全不同的方向发展。读过我们的情景之后，你肯定也不会觉得我们能例外。

让我乐观的一点是，Daniel 在 2021 年写过这个情景的前传，叫《2026 年会是什么样子》，预测了接下来五年的 AI 进展，而且几乎完全说中了。你现在就该停下播客，去读这份文档。太精彩了。它有点像让 ChatGPT 总结过去五年的 AI 进展，结果有几处幻觉，但整体上出发点不错，也基本准确。所以 Daniel 说要写续篇时，我非常期待，想看看会发展到哪里。结果走向了一些相当疯狂的地方，今天我也很想深入聊聊。

Daniel Kokotajlo

我觉得你有点过誉了。我确实建议大家去读我以前写的那篇博客文章。我认为它有些地方说对了，也有些地方说错了，但总体上经受住了时间考验，也激励我再试一次，写出更好的版本。

Scott Alexander

我觉得，大家应该读一读这份文档，再决定我们俩谁说得对。

Daniel Kokotajlo

还有一点相关的背景：最初那份内容本来不打算在 2026 年结束，而是要一直写到那些令人兴奋的事情发生。毕竟所有人都在问：AGI 会是什么样？超级智能又会是什么样？我试着一步一步从当时的状况推演到这些事情发生，再看看结果会是什么样。但到了 2027 年，我基本上退缩了，因为事情开始发生，自动化循环也开始加速，局势变得极其混乱、不确定因素太多。我干脆删掉了最后一章，只发布了此前写好的内容。这就是那篇博客文章。

Dwarkesh Patel

好，那 Scott，你是怎么参与这个项目的？

Scott Alexander

有人请我帮忙写作。我本来就认识项目里的一些人，其中很多都是我的偶像。Daniel 是我认识的人之一：在读到他那篇《2026 年会是什么样子》之前，我还写过一篇博客讨论他的观点。那篇预测非常精彩。此外，不久前他因为从 OpenAI 离职上了全国新闻：公司要求他签署不贬损公司的协议，否则就收回他的股票期权。他拒绝了，而 OpenAI 没想到他会这样做。这件事引发了重大新闻和丑闻，最后 OpenAI 同意不再对员工施加这种限制。

人们常说，AI 领域的人都很难让人信任，因为他们在炒作和提高股票期权价值上投入了太多利益。Daniel 却愿意牺牲数百万美元来表达自己相信的事情，这在我看来是诚实且有能力的强烈信号。我想：“怎么能拒绝这个人呢？”团队里的其他成员也都非常出色。Eli Liflund 是 Samotsvety 的成员，那是世界顶尖的预测团队。他赢得过顶级预测竞赛，也可以说是世界上最好的预测者之一，至少按超级预测社群使用的技术指标来说如此。Thomas Larsen 和 Jonas Vollmer 也都非常优秀，过去在 AI 领域做出了很多出色工作。

能和这样一支明星团队共事，我非常兴奋。我一直希望更多参与让 AI 顺利发展的实际工作。我现在只是写文章；我认为写作很重要，但你总会遗憾自己不是那个能解决一切问题的技术对齐天才。能和这些人合作、或许真正带来一些影响，看起来是个绝佳机会。

我没想到自己还能学到这么多。我尽量阅读 AI 领域的大部分动态，但那种方式的信息带宽很低。能和一个思考 AI 的程度不亚于世界上任何人的人交谈，真的很棒。这让我真正理解 AI 如何快速学习等问题。你需要深入接触底层领域的实际情况，我觉得自己因此做到了。

Dwarkesh Patel

在筹备这期节目、和你们交谈并尝试提出反驳的过程中，我大概已经对智能爆炸改了三四次看法：先支持，再反对，然后又支持，又反对。

Scott Alexander

不只是我改变了看法。第一次读到这个情景时，我就觉得它让事情具体得多。当然，那时它还没有整理成文档，而是一个巨大无比的电子表格。我已经思考这个问题十年、甚至十五年了。有个具体故事之后，我才恍然大悟：“哦，这就是我们为什么如此担心与中国的军备竞赛。在这种情形下，和中国展开军备竞赛显然在所难免。”单是读到这份情景就让我信服了。我觉得需要让更多人看到它。

Dwarkesh Patel

好，现在我们来谈这份新预测。你们逐月分析接下来会发生什么。那么在预测中，你们认为 2025 年年中和 2025 年年底会发生什么？

Scott Alexander

预测开头主要聚焦于智能体。我们认为，先从智能体训练开始，逐渐延长任务时间范围，并让编程能力变得可靠。我们的理论是，他们在一定程度上有意识、在一定程度上无意间，都在推动智能爆炸：AI 本身开始承担部分 AI 研究工作，让研究进度加快。

因此，2025 年编程能力略有提升，2026 年智能体和编程能力又各自进步一些。我们以 2027 年命名这个情景，因为那时这些努力开始见效。智能爆炸全面展开，智能体的能力足以帮助 AI 研究，起初还无法独立完成研究，但能够提供帮助。

我们引入了一个叫“研发进展乘数”的概念：在有这些新 AI 协助智能爆炸的情况下，一个月的进展相当于没有 AI 时多少个月的进展。2027 年初，这个乘数达到 5 倍。我记不清具体是从一开始就达到，还是到三月左右达到。

Daniel Kokotajlo

我们在情景网站上追踪了统计数据。之所以做成网站，是为了加入一些有趣的功能和组件。读故事时，旁边的统计数据会自动更新。其中一项就是进展乘数。对你刚才问题的另一种回答是：2025 年大体上不会发生特别有意思的事情，整体趋势和我们目前看到的差不多。

Dwarkesh Patel

到 2025 年年底，电脑操作能力会彻底解决，还是只解决一部分？届时会有多好？

Daniel Kokotajlo

我猜到今年年底，AI 就不会再犯一些基础的鼠标点击错误，虽然现在偶尔还会犯。如果你看 Claude 玩《宝可梦》，当然非常值得一看，有时它似乎连屏幕内容都解析不对，把玩家角色误认为 NPC，结果困惑不已。我猜到今年年底，这类情况大多会消失，但 AI 仍然无法长时间自主操作。

Dwarkesh Patel

但到 2025 年，你说电脑操作还无法长时间保持连贯。如果我要在办公室办个欢乐时光聚会，比如这需要三十分钟的任务，它得邀请合适的人、订好 DoorDash 之类的东西。它能完成其中多少？

Daniel Kokotajlo

我猜到今年年底，会有某种东西能大致完成这类任务，但不可靠。如果你真用它来管理生活，它可能会犯一些很搞笑的错误，传到 Twitter 上迅速走红。不过今年大概会出现这种产品的最小可行版本。比如有人发一条 Twitter 帖子说：“我接入了这个智能体来帮我办派对，结果真的成功了！”

Scott Alexander

我们的情景特别关注编程，因为我们认为编程会开启智能爆炸。所以相比“如何补齐那些独属于人类的最后几项能力”，我们更关心“什么时候 AI 能以某种方式编程，帮助人类 AI 研究者加快 AI 研究”；以及“如果它足以让研究提速，是否会产生某种惊人的速度倍增——十倍、一百倍——进而解决其他所有问题？”

Dwarkesh Patel

我有个观察：2021 年 ChatGPT 发布之后，你本可以讲这样一个故事：我有些可信的 AI 领域朋友会说：“看，编程智能体已经搞定了。GPT-4 会开始做各种工程工作，再叠加强化学习，我们完全可以把系统规模扩大一百倍。”但这个链条的每一层，都比最乐观的人预期的难得多。至少从训练方面的传闻和表现不佳的训练结果来看，扩大预训练规模似乎遇到了明显困难。

建立这些强化学习系统似乎也花了很长时间。完全从外部观察，我对实际工程一无所知，但看起来，从 GPT-4 发布到 O1 强化学习真正构建出来，至少用了两年。它们对经济的影响，以及依据基准测试对它们在特定任务上的能力所做的直接预期，都没有令人震撼到这种程度。比如呼叫中心员工还没有被裁掉。所以为什么不说：规模越大，事情可能就越难？

Scott Alexander

等一下，听你这么说我有点困惑。Katja Grace 的专家调查之类的 AI 里程碑预测，几乎总是过于悲观，低估了 AI 发展的速度。比如 2022 年的调查——实际可能是 2023 年，在 GPT-3、GPT-4 发布前大约六个月——他们预测一些已经发生的事情还要十年左右才会发生。但 GPT-3 或 GPT-4 做到的一些事情，他们当时仍预测要等五到十年。我相信 Daniel 会给出更详细的回答，但我完全不接受“大家一直都过度乐观”这个前提。

Daniel Kokotajlo

是的，我认为总体而言，关注这个领域的大多数人低估了 AI 进展和 AI 在世界中普及的速度。比如 Robin Hanson 曾经打过一个赌，认为 AI 到 2025 年的营收不到十亿美元，我记得是这样。

Dwarkesh Patel

我同意 Robin Hanson 尤其悲观。

Daniel Kokotajlo

不过他是个聪明人。我认为整体意见低估了技术进展和部署速度。我同意有很多人比我更乐观，而且已经被证明错了，但我不是他们。

Scott Alexander

等一下，我们不需要猜总体意见，可以看看 Metaculus。我记得他们在 2020 年给出的时间线大约是 2050 年，后来逐渐提前到两三年前的 2040 年，如今是 2030 年，所以也就比现在早一点。这个判断最终可能仍然错，但 Metaculus 整体看起来一直过于悲观，预测得太晚，而不是过于乐观。我认为它是我们拥有的最接近中立的聚合器，不用挑选有利数据。

Dwarkesh Patel

是的。昨天我有个挺有意思的经历。我们和一位资深 AI 研究员共进午餐，他每月收入大概有几百万美元之类的。我们问他：“AI 帮了你多少？”他说：“在我很熟悉的领域里，它更像是加强版自动补全，每周大概能帮我省四到八个小时。”

但他接着说：“在我不太熟悉的领域，如果我得去折腾某个硬件库、修改内核之类的，我对这些了解较少，AI 每周大概能帮我省二十四小时。”这是用当前的模型。我最惊讶的是，帮助在那些不太像自动补全、而更像新颖贡献的领域反而更大，生产力提升也更显著。

Daniel Kokotajlo

是啊，这很有意思。我想，一个人不熟悉某个领域时，很多时间都花在 Google 搜索和学习相关知识上。语言模型在这方面非常出色，因为它们已经读过整个互联网，知道各种细节。

Dwarkesh Patel

这不正好可以聊聊我问过 Dario、你也回应过的那个问题吗？

Scott Alexander

你想到的是哪个问题？

Dwarkesh Patel

我问过这么一个问题：正如你说的，这些模型知道很多东西。不知道你有没有看到。我说，这些模型知道这么多东西；如果一个人知道互联网上人类写下的每一件事，他就能把各种想法联系起来，甚至因此找到治疗方法或科学发现。

有个人注意到，镁缺乏会导致大脑出现某种类似偏头痛时的状况，于是他建议补充镁，结果治好了很多人的偏头痛。那为什么 AI 不能利用这种巨大的、非对称的知识优势，做出哪怕一个新的发现？

Scott Alexander

我举的例子是，人类也做不到这一点。对我来说，最明显的例子是词源。英语里有很多词看起来很相似，例如 happy、hapless、happen、perhaps。可我们平常不会去思考它们之间的联系，除非你读了词源词典，才发现：“哦，这些词显然都源自一个古老词根，意思可能是‘运气’或‘发生’之类。”

所以，这有点像“发现”与“验证”的区别。如果我把这些联系告诉你，你可能会觉得：“听起来有道理。”当然，词源学里也有很多看起来合理、实际却毫无关联的词。但确实需要有人把这些联系摆到你面前，你才会开始思考，建立这些关联。

Dwarkesh Patel

我其实不同意。我们知道人类能做到，我们有实例。我同意人类并非逻辑上的全知者，因为组合数量会爆炸，但人类确实能运用智慧……我最喜欢的例子之一是 David Anthony，他写了《马、车轮与语言》。

他在我们拿到遗传证据之前大约十年，就做出了一个令人印象深刻的发现。他说：“看印度和欧洲的这些语言，它们有相同的词源。像‘车轮’‘马车’和‘马’这些词，词源完全一样。这些技术存在的时间还不到六千年，因此一定有某个群体——至少从语言上看，这些群体都源自那里。”如今我们有了关于 Yamnaya 文化的遗传证据，我们相信它就是这个群体。你还写博客做这种事，这可是你的工作，Scott！那为什么不应该因为语言模型做不到这种事而更看低它们？

Scott Alexander

在我看来，他不是坐在那里像逻辑全知者一样直接得出答案。他是个天才，思考这个问题多年。也许有一天，他同时听到几个印度语词和几个欧洲语词，突然把它们联系起来，灵光一现。所以这不只是记住所有信息，而是常见的发现过程。这个过程有点神秘，但似乎要靠好的启发式方法，不断尝试，直到偶然命中。

我的猜测是，如果我们有非常好的 AI 智能体，并让它们做这项任务，可能会像搭建一个脚手架：列出你知道的每一组词，把它们两两比较；如果读音很像，就记在草稿板上；如果草稿板上出现很多同类词，那就很奇怪，继续分析。我觉得我们甚至还没尝试过这种方法。

我认为如果现在试，会遭遇组合爆炸，需要更好的启发式方法。人类的启发式能力非常强，因此进入意识层面的想法——而不是发生在无意识处理中的想法——大多已经是有可能成立的。我觉得这可以类比国际象棋引擎：可能的下一步多得惊人，但你可以用启发式方法筛出有希望的走法。接着让引擎逐步分析，找出更好或更差的棋步，最终也许能超过人类。如果让 AI 以合理方式做这些事，或者训练它自行制定带启发式方法的探索计划，它就有可能达到人类水平。

Daniel Kokotajlo

我再补充几点。长期以来，人们不断观察当前大语言模型的某个局限，然后据此断言整个范式注定失败、永远无法克服这个缺陷；可一两年后，新一代大语言模型就克服了它。

至于“为什么模型还没有通过结合已有知识、发现有趣联系来做出科学发现”，我会先问：我们是否认真尝试过搭建脚手架，让它们做这件事？我认为大多数情况下没有。

Dwarkesh Patel

我觉得 Google DeepMind 尝试过。

Daniel Kokotajlo

也许吧。第二个问题是：有没有试过把模型做得更大？过去几年模型确实稍微变大了一些，但目前还没有奏效。也许再扩大规模，它就能发现更多联系。第三点才是特别关键的：有没有训练模型去做这件事？预训练过程并没有强烈激励这种建立联系的能力。

我觉得有个很有用的启发式问题是：AI 是为了做什么而训练的？它的训练环境是什么样的？如果你在想 AI 为什么没有做某件事，就问问自己：训练环境教它做这件事了吗？很多时候答案是否定的。我认为 AI 不擅长某事，一个很好的解释往往就是它没有受过这方面的训练。

Dwarkesh Patel

但这看起来在经济上很有价值……

Daniel Kokotajlo

但训练环境要怎么设计？要搭建一个能训练 AI 做出科学新发现的强化学习环境，不会非常棘手吗？

Dwarkesh Patel

也许这正是你们应该把时间线拉长的理由。这是个棘手的工程问题。

Daniel Kokotajlo

在我们的情景里，AI 并不是从当前水平一下子跳到解决这个问题。并没有。它们会逐步改进编程智能体，直到基本解决编程。但即便如此，编程智能体仍然做不到某些事。我们的故事把 2027 年上半年写成这个阶段：自动化编程能力很强，但仍缺少研究品味，也可能缺乏组织能力等。

要完全自动化 AI 研究循环，它们还得解决剩下的瓶颈和差距。但因为编程智能体能迅速完成大量基础工作，它们克服这些差距的速度会比通常情况快。

Scott Alexander

我觉得可以把我们的时间线想成 2070 年、2100 年，只不过这最后五十到七十年的进展，都在 2027 到 2028 年间发生，因为我们经历了智能爆炸。比如我问你，到 2100 年能不能解决这个问题？你会说：“当然可以，到了 2100 年绝对能做到。”我们只是认为，你预想的 2100 年可能比预期更早到来，因为研发进展乘数会加快进度。

Dwarkesh Patel

我马上会回应这个观点。先把这条讨论线索最后一点说完。如果这里存在一种肯定前件、否定后件的推理关系，我们可以这样说：AI——不只是大语言模型，而是 AI——拥有一种根本性的非对称优势：它们知道所有这些信息。为什么它们不能运用通用智能，把这种优势转化为巨大的能力超越？

反过来，你也可以作出同样的推论：一旦 AI 真正拥有通用智能，就能利用这种非对称优势，取得人类原则上较难实现的巨大进展。也就是说，如果你相信 AI 只要具备通用智能就能做到这些事，那么一旦 AGI 出现，它就会带来彻底变革，因为它记住了人类的全部知识，还能利用这些知识建立各种联系。

Daniel Kokotajlo

很高兴你提到这一点，因为我们的当前情景并没有充分考虑这个因素。这是一个可能说明我们低估进展速度的例子。

Dwarkesh Patel

Daniel，你也太保守了。

Scott Alexander

这是我和团队合作时的感受。我会指出五件事：“你们确定考虑了这个因素吗？那个因素呢？”百分之九十九的情况下，他会说：“考虑了，我们有补充材料。”即便他没有这么说，他也会表示：“对，这是进展可能更慢的一个理由；但也有十个理由说明进展可能更快。”

Daniel Kokotajlo

我们的目标是给出大致的中位数预测。有很多因素可能让我们低估，也有很多因素可能让你高估。希望我们之后继续思考这些问题，反复改进模型，提出更好的预测等等。

Dwarkesh Patel

如果回顾过去的 AI 进展，假设我们回到 2017 年。当时如果已经有超人类编程能力，从那时到现在——也就是 2025 年——我们经历的进展本来可以提前多久实现？

Daniel Kokotajlo

好问题。我们仍然得逐步发现自 2017 年以来的各种成果。我们还是得先发现语言模型，也得发现可以用强化学习对它们进行微调。

这些都还是要发生。它们会快多少？也许快五倍，因为研究人员为了快速验证想法、再进行大规模训练，而做的许多小规模实验都能更快完成，答案会一下子出来。我对这个五倍数字没太大把握，实际可能更低，也可能更高，但这大致是我们的估计。

顺便说一下，我们说的五倍是指算法进展，而不是整体进展。在这个假设中，我认为整体速度大约是 2.5 倍：算法以五倍速度进步，但算力仍按平常速度增长。

Dwarkesh Patel

这对我来说似乎说得通。某个阶段有五倍提升，然后一路发展，短短一年内 AI 进展就达到一千倍。可能我会疑惑的部分就是：“等等，这具体是怎么发生的？”那到底是怎么回事？

Daniel Kokotajlo

我们做起飞预测的方法，基本上是把智能爆炸拆解成一系列里程碑。先实现编程自动化，再以类似人类的方式，用一组接近人类水平的智能体自动化整个研究流程；之后达到超人类水平，依此类推。

我们把它拆成这些里程碑：超人类程序员、超人类 AI 研究员，再到超智能 AI 研究员。对每个里程碑，我们都会问：要造出达到这个里程碑的 AI，需要什么？一旦达到，整体速度会提升多少？接着要达到下一个里程碑又需要什么？把这些因素与整体加速幅度结合，就能估算到达下一个阶段需要多少时间。达到阶段后，再问整体加速多少、下一个阶段需要多久。我们就是这样逐步推演，每个阶段都尽力给出最佳估计。

所以我们的定量估计大致是：出现超人类程序员后，算法进展会加快约 5 倍；出现超人类 AI 研究员后，会加快约 25 倍。因为那时整个流程都实现了自动化，我认为这比只自动化编程有用得多。至于超智能 AI 研究员对应的乘数具体是多少，我记不清了；凭直觉可能是几百倍，或者整体加速约 1,000 倍。

Dwarkesh Patel

我对智能爆炸的总体看法是：我们可以逐项讨论自动化程序员能做多少、超人类 AI 程序员能做多少。但按先验概率来看，期待这种事发生实在太离谱了。

所以在深入具体论点之前，也许你们可以先回答：为什么不从 0.01% 的概率开始看待这件事？除非有极其、极其有力的证据，否则就不该把它当作最可能的结果。

Scott Alexander

我认为这取决于你的默认选项是什么，或者你拿什么作比较。人们往往会想，每一件具体的事都可能出错，所以干脆假设什么都不会发生。但这可能是一直以来最常犯错的预测。要让事情真的什么都不发生，实际上需要很多事情发生。比如，AI 进展这么久以来一直保持稳定速度，现在却突然停下。为什么会停？

我们不知道。对这种停滞作出的任何解释，都很可能超出模型预期。你可以想想：自己想反驳的究竟是哪个明确主张？我不认为有什么中立立场可以说：“既然模型之外的错误很多、我们又什么都不知道，那就选这个默认假设。”我知道这听起来很疯狂，因为读我们的文档会看到各种怪事，可能是有史以来最奇特的几年。但我们试图采取一种保守立场：趋势不变，没人做出疯狂行为，也不假设没有证据支持的事情会发生。AI 智能爆炸的动态本身就很奇特，因此若要什么都不发生，反而需要发生很多奇怪的事。

Daniel Kokotajlo

我最喜欢的一种网络梗图，是一张世界 GDP 随时间变化的图。你大概看过：图表一路飙升，2010 年左右的曲线顶端有个小对话框写着：“我的生活挺正常，我很清楚什么奇怪、什么寻常。那些讨论数字心智和太空旅行等未来的人只是在胡乱猜测。”

这张图想表达的是，历史上曾发生过多轮惊人的变革，站在当时的人看来简直荒唐至极。

Scott Alexander

我们讨论的事情以前都发生过。算法进展已经大约每年翻一倍，因此认为算法进展能推动算力相关能力并不疯狂。若看整体速度提升，与旧石器时代相比，我们的研究速度已经提高了约一千倍。从历史上大多数人的视角看，我们现在的速度简直快得惊人。我们不过是说，这个趋势不会停止。

同一趋势让我们的速度比过去时代快了一千倍，而且不只是比旧石器时代快。例如，公元 600 年到 700 年这一百年间肯定也发生了某些进展，历史学家一定能指出来。但看看 1900 到 2000 年这一百年，变化在性质上完全不同。

当然，我们可以讨论各种模型，判断进展最近是否停滞，以及智能爆炸如何对抗这种停滞。但我们说的并没有超出历史上长期有效的一些模型太多。

Dwarkesh Patel

我的意思是，你们预期的转变似乎比过去那些转变更突然。

Scott Alexander

其实我们对此并不确定。有一种模型认为，所有变化都沿着同一条双曲线发展。另一种模型认为，历史上会出现像真正的寒武纪大爆发这样的阶段变化。如果你想把时间线拉得很长、完全按照 Ray Kurzweil 的思路来想，那么寒武纪大爆发、农业革命和工业革命都可以看作阶段转变。

我看经济学家的建模后觉得，他们认为数据还不足以确定这究竟是一个平滑过程，还是由一系列阶段变化构成。如果是平滑过程，往往会是一条以奇怪方式冲向无穷大的双曲线。我们不认为它会冲向无穷大，而是认为还会遇到瓶颈。

Dwarkesh Patel

你们可是保守派，对吧？

Scott Alexander

我们认为它会遇到瓶颈，就像过去所有这些过程一样。按照双曲线模型，上次遇到瓶颈大概是在 1960 年，当时人类不再以之前的速度增长。人口增长遇到了瓶颈，原来的增长飞轮停止运转，之后我们停滞了一段时间。

如果能在数据中心里建起一个由天才组成的国家——这是 Dario Amodei 的说法——就不再受人口瓶颈限制，可以预期 1960 年以前的趋势继续延续。我知道，所有这些历史双曲线都很奇特，也有理论成分；但我们提出的观点并非毫无历史模型依据，这些模型曾在很长的历史时期里有效。

Daniel Kokotajlo

还有一点：我觉得人们常把“缓慢”和“连续”混为一谈。看我们的情景，研发进展乘数贯穿全程连续增长。我们并不是设想它从 0 突然跳到 5 倍、再跳到 25 倍。所以关键不在于连续与否，而在于进展会不会这么快。我们不知道，也许更慢，也许更快；但我们有理由认为可能会达到这个速度。

Dwarkesh Patel

既然已经提到了智能爆炸，我们就来讨论一下。我有点怀疑它的说法。AI 进展的显著瓶颈、甚至主要瓶颈，似乎并不是从事这类研究的研究员和工程师数量，而更像是算力或其他因素。我的证据是，我和实验室里的 AI 研究员朋友聊天时，他们说核心预训练团队也许只有二三十个人在发现这些算法突破。

如果增加人手如此有价值，你会以为 Google DeepMind 会把所有最聪明的人，不只是 DeepMind 的，而是 Google 全公司的，都调去做预训练、强化学习或其他最大瓶颈。你也会以为 OpenAI 会聘请每一位哈佛数学博士，六个月内把他们都训练成 AI 研究员。我知道他们在增加人手，但他们似乎并不把人员当成那种瓶颈。如果这是主要瓶颈，数百万研究员并行工作应该能迅速加快 AI 研究，但他们的做法看起来并非如此。

有句常见的话：“一个拿破仑抵得上四万名士兵。”但十个拿破仑也不等于四十万名士兵，对吧？为什么认为一百万名 AI 研究员能带来类似智能爆炸的净收益？

Daniel Kokotajlo

我之前提到过起飞模型的三个阶段。第一，出现超人类程序员。第二，AI 研发实现全面自动化，但能力仍大致处于人类水平，相当于最优秀的人类。第三，进入超智能阶段，能力出现质的飞跃。

在估算算法进展会加快多少时，我们假设中间阶段的乘数受到明显的规模报酬递减影响，也就是说，增加更多并行运行的智能体，收益会越来越少。所以我们完全认同这一点。

Scott Alexander

是的。然后接下来的问题是，智能爆炸为什么还会发生？答案是，算法进展加速和串行思考速度加快共同作用。

Daniel Kokotajlo

还有研究品味。如今有几个重要因素影响 AI 研发进展。第一个是研究品味，也就是最优秀研究员、负责整个流程的人有多强，他们能否从数据中学习，并通过选择正确的实验，而不是盲目地做一堆无用实验，更有效地利用算力。

第二个因素是研究人员的数量，这点我们刚谈过。第三个是研究人员的串行速度。目前所有人都是人类，所以串行速度基本相同。最后一个因素是实验所能使用的算力。我们的设想是，串行速度会变得很重要，因为研究员会转为 AI，速度比人类快几个数量级。但这种加速会达到上限。按我们的情景和旁边的动态统计图，串行速度大约从 20 倍增加到 90 倍左右。这很重要，但不算巨大。

我们还认为，串行速度达到 90 倍后，瓶颈会转移到其他方面，继续提高串行速度帮助不大。至于研究人员数量，没错，我们设想会有几十万、甚至一百万个 AI 智能体，但这只会让瓶颈转移到其他因素。并行智能体很多，不再是瓶颈后，什么会成为瓶颈？研究品味和算力。

所以在我们的故事中，到 2027 年年中、AI 研发已经全面自动化时，关键因素基本只剩两个：AI 的研究品味，也就是从实验中学习的能力；以及可用于实验的算力。这就是模型的核心设定。我们的 25 倍乘数正是从这些前提出发。

Dwarkesh Patel

历史上有没有这样的例子：某种产出受到一些奇怪限制，生产过程的投入却迅速偏向某一个要素，而不是过去一直相关的所有要素，但进展速度仍然非常快？

Daniel Kokotajlo

工业革命也许算一个。我现在是即兴回答，以前没想过这个问题。但正如 Scott 十年前那篇影响很大的文章所说，工业革命期间人口增长与总体经济增长出现了脱钩。所以某种意义上，这可以作为例子：过去这些要素是同步增长的，人口更多、技术更多、农场更多、房屋更多，资本基础设施和人力基础设施一同扩张。但后来有了工业革命，两者开始分离。

此后，资本基础设施的增长速度远快于人口。我想算法进展或许也会发生类似的事。当然，人口今天仍然极其重要，进展在某种程度上仍受更大人口规模等因素限制。但人口增长率本来就比较慢，而资本增长得快得多，所以资本会在整体进程中变得更加重要。

Dwarkesh Patel

也许 25 倍这个数字让我觉得不太可信，是因为我具体想象这一过程时会想到：有了这些 AI，我们知道它们与人类大脑之间存在数据效率差距。于是，一大批 AI 不断思考、努力想出一种新架构，让它更像人类大脑或具备人脑的优势。我猜它们仍然可以做实验，但实验数量不会太多。

我不禁想，会不会需要一种完全不同的数据来源，而不是预训练数据，而是得去现实世界获取？或者需要一种在线学习策略，必须让它们实际部署到世界中才能这样学习。这样的话，瓶颈就是它们获取现实数据的速度。我只是觉得这很难……

Daniel Kokotajlo

其实我们确实设想了在线学习。

Dwarkesh Patel

哦，真的吗？

Daniel Kokotajlo

是的。不过不太是你说的那种现实世界数据。问题在于，如果你想训练 AI 做出非常优秀的 AI 研发工作，那么 AI 研发本身就在你的服务器上进行。这样你就可以形成一个循环：大量 AI 智能体自主做 AI 研发、进行各种实验，然后根据实验结果在线学习，提升自己的 AI 研发能力。

Dwarkesh Patel

但即便只看这个情景，我也能想到一些瓶颈。比如，你有一个基准测试，但 AI 针对“什么算 AI 研发”进行了奖励作弊。你显然没法……也许可以，但它真的能和人脑一样好吗？这是一件很难定义的事。我们现在就有基准测试被奖励作弊的例子，对吧？

Daniel Kokotajlo

但之后它们会自主构建新的基准测试。我想，你的意思是，整个过程可能会因为它们脱离数据中心外的现实世界、无法接触地面真相而偏离轨道。也许吧。我再说一次，我的猜测之一是，你想接触的许多地面真相其实就发生在数据中心里，比如这些指标的提升速度如何。你有一些关于新架构的模糊想法，但一直难以让它们奏效。它们能多快实现？

另外，若瓶颈确实在于与外界的人沟通，那它们仍然可以这么做。等完全自主后，还能更快地做。你可以让一百万个副本分别连接各种现实世界研究项目。所以它们并不是完全缺少外部信息。

Dwarkesh Patel

那对于这种看法的质疑呢：你们说的是一个效率极高的 AI 研究蜂群，但人类官僚体系从来没有一开始就高效运作过，尤其是彼此没有合作经验、也没有接受过协同训练的团队。至少目前还没有那种外层强化学习：让一千套不同的 AI 官僚组织同时做 AI 研究，再看哪一种效果最好。

我或许会用二十万年前大草原上的人类作类比。我们知道他们那时已经比其他动物有不少优势，但让我们今天占据主导地位的东西，比如股份公司、国家能力，以及建立在化石燃料上的文明，是经历了漫长文化演化才发展出来的。你不可能在大草原上直接想到：“要是我们设计这种激励制度、发行股息，就能更好地合作。”

为什么不认为 AI 社会也需要类似过程：人口大幅增长、大规模社会实验、技术基础提升，然后才能组织出你们想象中那种能推动智能爆炸的超级心智集体？

Scott Alexander

是的，你把两种不同的事情放在一起比较了。一种是在非洲大草原上发生的基因演化，另一种是此后发生的文化演化。我认为 AI 也会经历这两种过程。基因演化的部分是，我们的心智在那段时期适应了更适于合作的状态。

我认为公司会非常直接地训练 AI 变得更合作。我觉得 AI 在这方面更容易塑造。人类当然受基因繁衍这一驱动力影响，想传递自己的遗传信息，而不是别人的遗传信息。亲缘选择之类的现象算是例外，但总体规律如此。

像真社会性昆虫这样不受这种驱动力支配的动物，不需要文化演化，只靠基因演化就能迅速发展出极强的合作。真社会性昆虫彼此拥有相同的遗传密码和目标。进化这一训练过程就把它们紧密结合，形成了极其强大的组织体系。

我们认为 AI 会更像真社会性昆虫，因为它们的目标相同，尤其当目标不是以个体为中心、而是“让研究项目成功”这种目标时。训练过程会改变每个 AI 的权重——更准确地说，是在它们还没有彼此区分之前，改变整个 AI 类别的权重，使其更适于合作。

之后确实还会发生文化演化。正如你说的，这需要数十万个人，也需要几十年。但我们预期研发乘数会让几十年的进展在 2027 或 2028 年这一年内发生。因此我认为，两种演化结合起来，确实有可能做到。

Daniel Kokotajlo

也许这正是串行速度真正重要的地方。如果它们的运行速度是人类的 50 倍，那么主观时间的一年只相当于现实时间的一周。这样一来，像大型协作动力学这种过程——比如建立制度、制度又变成令人迷惑的迷宫，最后因自身重量而崩溃——它们就有时间在 2027 年反复经历、从中训练、调整组织结构，再把经验加入训练过程。

Scott Alexander

而且它们还拥有迄今为止人类演化出来的全部文化技术。这些技术未必完全适合 AI，更适合人类，但你可以想象，要组织一百个与你在所有事情上都意见一致的密友来做成一门生意，会有多难？他们也许真的是你的同卵双胞胎，从未背叛过你，也永远不会背叛。我觉得这并不是特别难的问题。

Daniel Kokotajlo

再说一次，它们起点更高，已有的人类制度可以借鉴。你完全可以建一个 Slack 工作区，让所有 AI 智能体在里面交流，再设置带有不同职责的层级结构。它们可以借鉴很多成功的人类机构。

Dwarkesh Patel

我觉得组织越大，即使每个人目标一致——你们的回答有些涉及目标一致性——我想你们已经回答了这个问题，但我还是要指出：这不是我怀疑的部分。我更怀疑的是，即便你们目标一致、想要合作，是否真的懂得如何管理这么庞大的组织？而且你们做的事情前所未有，人类从没经历过。你们会不断复制自己，运行速度也极快，你明白我的意思吗？

Daniel Kokotajlo

我觉得这完全是合理的疑问。

Dwarkesh Patel

所以这件事很复杂。我不确定为什么你们认为能在这么短的时间里建立起这种官僚体系，或者说 AI 能建立起来……

Daniel Kokotajlo

我们的情景里，这大概会在 2027 年的六到八个月里发生。你认为这需要多久？两倍、五倍，还是十倍？

Dwarkesh Patel

五年？

Daniel Kokotajlo

如果它们的串行速度是人类的 50 倍，那五年相当于 AI 的多少串行时间？大概 250 年吧。在我看来，这足以让它们真正理顺这些事情。你可以想象帝国兴起又衰落，所有经验都进入训练数据。不过我能理解实际时间可能比我们的预测更长。也许不是六个月，而是十八个月；但也可能只要两个月。

Scott Alexander

我觉得可以想想它们会如何训练 AI。在我们的情景里，此时主要有两种方式。第一是继续做下一个词元预测训练。这些 AI 可以接触人类的全部知识，也可以说是读过管理学著作，并不是从零开始。它们会做类似“预测 Bill Gates 会怎样续写下一个字符”这样的任务。

第二是在虚拟环境里做强化学习。让一组 AI 玩多人游戏。我觉得不该用现成的人类游戏，因为你会想设计更适合这项任务的环境。让它们一遍又一遍地在这些环境里运行，根据成功经验和失败经验训练，把这两种方式结合起来。

在我看来，这和从旧石器时代开始发明整套人类制度，并不是同一种难题。它只是把上述两种方法应用起来。

Dwarkesh Patel

你们模型里另一个显著特点是，最后出现了超智能，然后似乎会沿着技术树发展出镜像生命、纳米机器人和其他疯狂技术。我可能也很怀疑这部分。看看发明史，人们经常随机尝试各种东西，甚至在相关产业或机器的理论尚未形成前就开始尝试。蒸汽机早于热力学理论；莱特兄弟看起来也是不断试飞飞机；很多发明还受到完全不同领域突破的影响。

这就是为什么会有并行创新：背景技术发展到足以进行实验的水平。机器学习就是一个例子。有些人提出了深度学习的想法，但真正的进步来自完全无关的游戏产业；整个经济发展到一定水平后，Geoffrey Hinton 的深度学习理念才行得通。所以我知道我们现在讲得很超前，但我想抓住这个关键问题。

Daniel Kokotajlo

再说一次，我们把阶段分成三个：超人类程序员、全面自动化的 AI 研究员，然后才是超智能。你现在还没跳到最后一个阶段。因此这里设想的系统是真正的超智能，在所有事情上都优于最优秀的人类，包括数据效率、边工作边学习等方面。

我们的情景确实描绘了一个受现实经验限制的世界。作为对比，过去有些人提出了更快的情景：AI 直接给云实验室发邮件，立刻开始制造纳米技术，只靠思考就解决蛋白质折叠问题。我们没有描绘那种情况。我们的情景里，它们确实需要大量现实经验才能造出实际可用的技术，但获得经验的方式就是亲自积累，而速度比人类快。它们已经是超智能，并且和政府关系很好；政府为了战胜中国而大量部署它们。于是现有的美国企业、工厂、军方采购商等都会和超智能交流、听从它们关于如何制造新设备并测试的指示，下载超智能设计、制造设备并进行测试。

问题是，它们获得经验、边做边学，定量来看需要多快？几年、几个月，还是几天？我们的故事里用了大约一年，但我们对此并不确定。也许需要好几年，也许不到一年。下面是我们认为一年也有可能的几个理由：

第一，大约会有一百万个 AI。数量上和现有科学产业的规模差不多。我会说也许稍小，但差距没那么大。

第二，它们的思考速度更快，大约是人类的 50 倍或 100 倍，我认为这很有影响。

第三，也是最重要的一点，是它们在质上也更优秀。它们不仅数量多、思考快，而且能比最优秀的人类更善于从每次实验中学习。

Dwarkesh Patel

是的，我觉得有一百万个，或者说规模接近世界关键研究人员群体，这个事实……我认为研究人员超过一百万，但……

Daniel Kokotajlo

不过能力分布非常偏斜，很多研究成果其实来自最优秀的那批人。

Dwarkesh Patel

但我不确定大多数新成果都是由这个研究人员群体带来的。科学史上有很多例子表明，增长或生产力来自其他人。比如 TSMC 工艺流程中的某个人想出一种不同做法……

Scott Alexander

我最近确实和 Daniel 争论过这个问题。有个有意思的例子：我们估计，超智能开始需要机器人后大约一年，每月就能生产一百万台。我觉得这非常相关。Wright 定律大意是，改进某个流程效率的能力与该流程产量翻倍有关。

所以，如果你每月生产一百万件产品，很可能会变得非常擅长制造它。我们争论的问题是，一年后能不能达到月产一百万台。作为背景，我记得 Tesla 的汽车产量大概只有四分之一左右。这一年里的规模扩张会非常惊人。

Daniel Kokotajlo

也就四倍。而且只是 Tesla 一家公司。

Scott Alexander

对，我们讨论过的论点大致是：首先得有工厂。OpenAI 现在的估值已经超过美国除 Tesla 以外所有汽车公司的总和。如果 OpenAI 今天想买下美国除 Tesla 以外的所有汽车工厂，改造它们来生产人形机器人，是做得到的。当然，现在这并不是一笔划算的生意；但很明显，未来有了超智能、也需要机器人的时候，他们就可以开始收购很多工厂。汽车工厂能多快改造成机器人工厂？

我们能找到的历史上最快的改造案例是第二次世界大战。当时突然需要大量轰炸机，政府让汽车公司新建工厂，并买下部分汽车工厂，把它们改成轰炸机工厂。从决定启动这个过程到工厂每小时能生产一架轰炸机，大约用了三年。

我们认为有了超智能之后，过程可能更短。首先，这虽然是历史上最快的一次改造，但整个过程其实像一连串闹剧，犯了很多非常愚蠢的错误。如果有一种系统没有通常的人类官僚问题——而且我们认为当时正处于与中国的军备竞赛中，政府会推动相关工作——再加上超智能擅长处理物流和应对官僚体系……

因此我们估计，如果一切顺利，改造速度可能是二战轰炸机工厂的三倍，也就是大约一年。

Dwarkesh Patel

我猜轰炸机的复杂程度远低于人形机器人。

Scott Alexander

是的，但当年的轰炸机工厂也比现在的汽车工厂简单得多。

Dwarkesh Patel

是的，但改造速度可能也……举个假设的例子，比如你想加速生物医学研究，现在很多前沿生物医学研究机构都对“虚拟细胞”很感兴趣；而且每次这些公司的 CEO 上播客，常常会谈治愈癌症之类的事。

我猜训练 DNA 基础模型、进行模拟虚拟细胞所需的其他计算，都需要大量算力。如果治愈阿尔茨海默病、癌症等疾病受限于虚拟细胞，那即使你在六十年代拥有一百万个超智能，要求它们治愈癌症，它们也可能得先解决大规模制造 GPU 的问题。这就需要解决各种物理、化学、材料科学和工艺制造问题，还要建造计算芯片工厂，再经历四十年不断提高工厂效率、从头走完摩尔定律的过程。

这还只是一项技术。如果要在六十年代治愈癌症，假设虚拟细胞是瓶颈，那么整个经济似乎都得全面升级，才能提供足够的 GPU。

Scott Alexander

首先，如果某件事只有一种实现方法，确实会困难得多，而且那一种方法可能需要很久。我们假设治愈癌症等事情会有不止一种办法，AI 会寻找瓶颈最少的那一种。我知道我刚才花了太多时间讲机器人，但我们确实认为，一旦每月能生产一百万台机器人，就能很快开展大量现实世界实验。

我们看过一些试图快速发展整个经济体的例子。比如邓小平之后的中国。三十年前，它还像个陷入困境的共产主义国家；你会预料到二三十年后，它能开展前沿生物医学研究吗？我知道这比我们设想的弱得多，但靠着远少于我们讨论中的资源，光是人脑就实现了这些。

SpaceX 也是如此。想象回到 2000 年，我们大概不会相信有人能用有限资源，以比 NASA 快两倍、五倍的速度推进。它们完成了远超预期的多年技术进步。部分原因是 Elon 疯狂又不睡觉。如果看看 SpaceX 的例子，他会盯着每个工人，追问：“这是什么零件？进度如何？能不能再快一些？”关键限制基本上是 Elon 一天只有这么多小时，他不可能同时盯着每个人。

Dwarkesh Patel

所以超级智能也没多聪明，只是逐个对工人大喊大叫？

Scott Alexander

对，我的模型确实有点像这样：有些系统比 Elon Musk 更聪明，也更擅长优化。火箭供应链有一万个零件，Elon 能亲自督促多少零件的负责人去优化？我们可以让超级智能的不同副本全天候优化每一个零件。我觉得这会大幅提速。

Dwarkesh Patel

我觉得这两个例子其实都不支持你们。中国的增长奇迹离不开从西方引进技术。我不认为中国有可能……中国有很多聪明人，国家也很大，但即便如此，它也不可能从共产主义地狱般的处境中直接想出怎样制造飞机，对吧？

AI 不能从外星人那里复制纳米机器人，只能从零开始制造。至于 Elon 的例子，SpaceX 花了二十年，做过无数实验，还遇到各种意料之外的失败。我们从六十年代、甚至二战时期就开始搞火箭了，但从小型火箭发展到大型火箭，哪怕由世界上最聪明、最能干的人来做，仍然花了二十年，经历了许多奇怪的实验。

Daniel Kokotajlo

你一直聚焦于纳米机器人，我想问两个问题：第一，普通机器人呢？第二，这些事情你估计需要多久？先说普通机器人。纳米机器人想必比普通机器人制造工厂难得多。我们的故事把纳米机器人放在更后面。听起来你现在的意思是，即使建成了整套机器人制造工厂，之后还要经过很长时间的全经济、大范围自动化，才能发展到纳米机器人。这完全合理，我也能想象确实如此。我们的情景并不特别依赖最后这一步纳米机器人，它们其实并不会改变故事发展。

机器人经济确实会影响情景，因为结局有两个分支。一个结局里，AI 与人类目标错位，最终夺取控制权。当 AI 完全自给自足、掌控一切、不再需要人类时，战略形势就会出现重要变化。所以我关心的是，机器人经济要发展到什么程度，它们才不再依赖人类？从数量上看，你会怎么估计？

假设 2028 年初我们有一支超智能大军，美国总统也非常支持把它们部署到经济中以战胜中国，政治条件都已具备。要过多少年，自动化工厂才会生产自动驾驶汽车和机器人，而这些机器人又能建造更多工厂，最终形成这样的局面：即使所有人类突然死亡，整个系统仍会继续运转，可能稍微放慢，但基本没事？

Dwarkesh Patel

你说的“继续运转”是什么意思？

Daniel Kokotajlo

对目标错位的 AI 来说，如果杀死人类或与人类开战会被击败，它们就不会这么做，因为还需要人类维护电脑。在我们的情景中，一旦它们完全自给自足，就能更公开地表现出与人类目标不一致。

所以我想知道它们什么时候能完全自给自足。不是说它们完全不需要人类，而是说不再真正依赖人类，没有人类也能过得很好。它们可以继续做科学研究、扩展工业，并在未来无限期维持繁荣的文明，而且不需要人类。

Dwarkesh Patel

我可能得坐下来认真算一下，但也许是 2040 年左右？

Daniel Kokotajlo

也就是十年，而不是一年。我觉得我们的核心模型一致。这也是为什么我们的情景没有描绘那种“浴缸纳米技术”设想：AI 不需要太多实验，只要立刻得出正确答案。我们设想的是一种“边做边学”的过程，分布在整个经济体的许多实验室和工厂里，制造各种东西、从中学习。我们只是认为，整体进展会比人类主导时快得多。

当然我们也有很多不确定性。可以把这一时期分成两段：从 2028 年初到机器人经济完全自主，以及从完全自主的机器人经济到治愈癌症、纳米机器人等科幻般技术。我要把它们分开讨论，因为情景中的关键部分只依赖第一阶段。如果你认为纳米机器人要一百年才能实现，也没关系。一旦有了完全自主的机器人经济，若 AI 与人类目标错位，人类就可能面临危险。我想把这些问题分开讨论。

Dwarkesh Patel

有意思。那也许你会说，到了这个阶段，机器人更多是软件问题；也就是说，你不需要发明新的硬件。

Daniel Kokotajlo

我对机器人相当乐观。现在已经有好几家公司在生产人形机器人，对吧？这是 2025 年的情况。到 2027 年，产量会更高、成本更低、机器人也会更好。还有很多汽车工厂可以改造，如此等等。

所以我相对乐观地认为，一年内会出现这个强大的机器人经济；之后再发展到酷炫的纳米机器人之类，我显然没那么确定。

Scott Alexander

我想问你：假如你接受制造业数字，比如超级智能出现一年后，每月生产一百万台机器人；再假设自动化生物实验室等设施的产量也差不多，比如每月一万间，足以发明下一种类似 X 射线晶体学的技术。

你觉得这样够不够，能在现实世界里开展足够多的工作，从而以这么快的速度推动进步？还是觉得即便有这些制造能力，仍然会有其他瓶颈？

Dwarkesh Patel

这实在太难推理了。假设公元四、五百年的 Constantine 或其他人想让罗马帝国拥有工业革命，还想方设法发现需要机械化机器来实现。他说：“我们来搞机械化吧。”接着会问：“下一步是什么？”然后你只能说：“这事可太复杂了。”

Daniel Kokotajlo

我很喜欢这个类比。我觉得它不完美，但挺贴切。假设我们一群人被送回罗马帝国，却没有亲自动手制造技术、实现工业革命的经验。不过我们知道大方向、战略愿景：先造出这些机器，再实现工业革命。我觉得这和超智能的处境有点像：它们知道如何在各个维度实现进步、如何边做边学、如何达到某个技术水平，但一开始可能缺乏实际操作经验。

所以问题是，如果我们被送回罗马帝国，要多久才能引发工业革命？没有穿越者的话，工业革命花了两千年。我们能不能把它缩短到两百年，也就是提速十倍？或者二十年，也就是提速一百倍？我不知道。但这似乎是理解超智能处境的一个相关类比。

Dwarkesh Patel

我们还没怎么谈这点，因为你们采用了所谓更保守的设想，不是神一般的智能，而是继续用我们理解人类的概念来思考。但我宁愿让人类带着对过去两千年的宏观认识回到过去，也就是让像我这样的人看过一切，而不是派一个对一无所知的超级智能到罗马经济里，让它的能力莫名其妙地达到一千倍。

我觉得，了解事情总体上是如何起飞的，知道大概经历了蒸汽机、铁路等等，比拥有超级智能更有价值。

Daniel Kokotajlo

我不确定。我的猜测是超级智能会做得更好。部分原因是，它能从第一性原理推导出这些高层次结论，而不用亲身经历。我认为罗马时代的超级智能也能猜到，最终会有燃烧某种东西、产生蒸汽的自主机器；也能猜到汽车迟早会出现，并对经济产生巨大影响。我们从历史中学到的许多高层次结论，它们都可以直接从第一性原理推导出来。

其次，它们的边做边学能力会比我们强。这一点非常重要。如果瓶颈是边做边学，而某种心智能用更少的实践获得同等学习成果，那就意义重大。我确实认为边做边学是一项技能，有些人做得比别人好；超级智能也会比我们之中最优秀的人更擅长这一点。

Scott Alexander

这也许又太接近把 AI 当作神明了，离人类能理解的概念太远。但第一，我们的情景很依赖“研究品味”这个想法。比如，要发明下一台蒸汽机时，你可以尝试一千种不同办法。部分进展来自摸索和意外，其中有些意外会带来成果。问题包括，你如何摸索、在哪儿工作、允许自己遭遇哪类意外，以及做哪些有方向的实验。有些人比另一些人更擅长这些。

我也觉得现在应该考虑它们能用什么模拟工具。如果有物理模拟，现实世界的许多瓶颈就没那么重要了。当然，不可能有完整、完美的物理模拟。但即便现在，我们也会用模拟来设计很多东西。一旦有了超级智能，它们可能可以使用远比现在先进的模拟工具。

Dwarkesh Patel

这是个有意思的岔题，我们先聊完再回到智能爆炸。我觉得我们把这些技术想成是由经济中那百分之一、负责研究的人带来的。现在大约有一百万名顶尖研究者，但未来不过是由超级智能取代他们。

而我的模型更像是 Newcomen 和 Watt 当时只是在瞎折腾。人类历史上几乎没有人会说：“这是路线图；我们要倒推设计蒸汽机，因为它能开启工业革命。”

Daniel Kokotajlo

哦，我完全不同意。

Scott Alexander

是的，我也不同意。

Daniel Kokotajlo

我觉得你过度强调、或者说挑选了这些偶然的幸运案例。但历史上也有相反的例子。看看近年 AGI 的发展：有 DeepMind 和其他 AI 公司，后来有 OpenAI 和 Anthropic。反复出现的情况是，一家资金雄厚、人才济济的大公司不断试错，尝试各种东西。

与此同时，一家规模较小的初创公司带着“我们要造出 AGI”的愿景，由少数出色的工程师和研究人员更有条理地朝目标推进，最后击败了巨头。即使算力更少、研究人员更少、实验做得更少，它们仍然取得领先。

所以历史上，包括近年 AGI 的相关历史，确实有很多相反的例子。我同意偶然发现有时会发生，也很重要。但如果随机的幸运事件占主导，那拥有海量人员、尝试无数实验的巨型公司，理应比目标明确、研究人员最出色的小型初创公司快得多。实际情况基本不是这样，这种例子很少。

Scott Alexander

我还要指出，即使是这些偶然发现，通常也是非常聪明、在第一世界国家工作多年的教授做出的。并不是世界上随便什么地方的人都有同样概率。

一个人越聪明、拥有的技术越好、做的研究越扎实，就越有机会抽中发现的“彩票”。我想到的最佳例子是 Ozempic：它通过研究希拉毒蜥毒液而被发现。也许 AI 会凭借更好的研究品味和规划，决定最好的方法是把世界上每一种生物分子都编目并仔细研究。但如果你拥有更多算力和智能，就能比等待美国政府决定资助哪些普通、会犯错的人类研究员做得更好。

我还想补充一点。你说得很好：发现未必来自我们预想的领域，比如 Nvidia 最初来自游戏行业。因此你不能只瞄准经济中的某个部分、单独扩大它。我们确实预测，超级智能会分布在整个经济中，试图扩大各个领域。当然，它们会在特别关心的领域投入更多，比如机器人，或与军备竞赛相关的领域。但我们预测，各种广泛的经济实验都会发生。

Daniel Kokotajlo

我们只是认为进展速度会比预期快。你觉得需要十年，我们觉得可能只要一年。但我们设想的是广泛扩散到整个经济中，开展大量不同实验。

Scott Alexander

如果你负责规划，首先会解决阻碍其他工作开展的瓶颈。比如没有人形机器人。好，AI 需要机器人来做它想做的实验，也许还需要自动化生物实验室。我们认为这个过程大概需要一年，可能更长或更短。等这些瓶颈解决后，再逐步扩展到其他瓶颈，直到整合并改进经济的所有部分。

我认为，我们和很多其他人的一个区别是：Tyler Cowen 曾在你的节目里谈过部署方面的各种瓶颈、监管障碍，以及这些原因为什么会让这个“天才之国”留在数据中心里。它们也许能提出很酷的理论，却无法融入更广泛的经济体系。我们认为这可能不会发生，因为其他国家，尤其是中国，很可能会在差不多同一时间拥有超级智能。

我们认为，届时人们已经在考虑的军备竞赛框架会进一步加速。北京和华盛顿都会想：“如果我们更早把它整合进经济，就能大幅领先竞争对手。”于是双方都会这么做。

事实上，在我们的情景里，AI 会申请设立特别经济区，豁免大部分监管，可能选在不适合人类居住、或现在人口稀少的地区，比如沙漠。政府把这些地区交给 AI，再安排人类工人过去。二战改造轰炸机工厂时也发生过类似情况：他们在荒郊野外建起巨大工厂，工人的住房不够，就在建工厂的同时修建住房，然后一切都推进得非常快。

我认为，如果没有军备竞赛，可能就会像你说的：这些天才待在数据中心里，直到有人同意放他们出来、批准他们做这些事。但我们认为，AI 会迫切想要这么做并向人类请求许可，而政府也会担心竞争对手，因此这些天才可能会更早走出数据中心。

Dwarkesh Patel

Scott，你以前评论过 Joseph Henrich 的《我们成功的秘密》，我最近也采访了他。他的观点是，AGI 几乎根本就不是个东西。我知道我说得有点挑衅，但大意是：你和祖先在现实环境中摸索了一千年，才学会理解周围的世界。就算聪明的欧洲人来到这里，你仍可能身处富饶之地却饿死，因为理解环境的能力在很大程度上并不取决于智力，而更多取决于实验、交流以及世代传承知识的能力。

Scott Alexander

我不确定。欧洲人未能完成的任务是：把一个欧洲人单独放在澳大利亚，却不让他饿死。他们完成的任务则是建立工业文明。是的，建立工业文明的一部分工作是收集各种文化演化成果，并逐步叠加起来。

我认为你刚才没有提到数据效率。如今 AI 的数据效率远不如人类。我理解的超级智能，部分是它们的数据效率远高于人类，因此能更快地在文化演化基础上继续发展。实现方式可能有好几种：有更高的串行速度，也可能是由几十万个副本组成的蜂群。

但如果拥有更高的数据效率，能从更少的例子中更快学到东西，再加上良好的研究品味，知道该观察什么来获得这些例子，那么它们一开始仍会远不如有五万年实验和经验积累的澳大利亚原住民。但它们能迅速追赶。它们可以把追赶任务分配给所有副本，从每次失误中快速学习，并像积累其他知识那样不断叠加这些经验。

Dwarkesh Patel

我采访他时有一刻甚至想：“也许 ASI 是假的。”

Daniel Kokotajlo

希望如此！

Scott Alexander

我觉得，要谈“假的”这个说法，首先要看到人类之间确实存在智力差异。看起来，聪明人能做一些不聪明的人做不到的事。所以值得问的是，成为哈佛教授这件事——聪明人看起来比不聪明的人更擅长——和在野外生存这件事——智力似乎没那么有帮助——之间有什么区别？

Dwarkesh Patel

你不想打开这个话题的潘多拉魔盒吧。

Scott Alexander

相比之下，智力也许对野外生存很有帮助。Henrich 谈的是一个非常不公平的比较：这些人已经领先五万年，然后你把另一个人放进去，说：“看来智力没什么用。”当然，对上五万年的领先优势，它确实没那么有用。但我们没有要求 ASI 去完成相当于击败一个领先五万年的对手这种事。

Dwarkesh Patel

我们要求的是在几年内大幅提升文明的技术成熟度，或者几年内建成戴森球。没错，也许研究速度能提高十倍，但我认为人类文明发展到戴森球，需要好几个世纪。

Scott Alexander

假如你派一队民族植物学家到澳大利亚，让他们利用顶尖技术和全部智力，找出哪些植物可以食用，我认为他们不需要五万年就能完成。

问题并非澳大利亚原住民恰好比他们聪明，而是原住民已经领先很久。同理，民族植物学家可能比原住民更快弄清楚不同植物各有什么用途；我认为，超级智能也会比没有辅助、智商 100 的人类更快地弄清如何建造戴森球。

Dwarkesh Patel

我同意。我们现在谈的是另一个问题：是否会建成戴森球。一种情景是事情很疯狂、但过程仍然平淡无奇：经济增长快得多，但对公元 1000 年的人来说，就像工业革命；人们仍在不断尝试，有失败、成功和实验。

另一种情景则是它已经发生了：你把探测器发出去，六个月后望向夜空，就看到有东西挡住了太阳。你明白我的意思吗？

Scott Alexander

正如我们前面说的，我认为“不连续”和“非常快”有很大区别。如果五年后真的建成戴森球，回头看时，整个过程会显得是连续的：人们只是不断尝试。尝试的方式可能是试错，甚至不懂科学方法、不懂写作，可能连语言都没有；就像黑猩猩看其他黑猩猩用树枝捉蚂蚁，然后以某种非语言方式传播这种做法。也可能像顶尖航天公司那样进行大量模拟，找出最合适的设计，再按精心设计的测试流程验证。

所以，如果五年后真的出现 ASI 并建成戴森球——顺便说一下，我认为像我们情景里那么快的概率大概只有 20%。这是 Daniel 的估计，不是我的中位数预测；我认为它非常合理，值得我们做好准备。我在这里是在回应一个假想的怀疑者，对方认为“绝对不可能”。这不一定是我的主要预测。

但如果五年内真发生了，我觉得回头看会发现，AI 是逐渐比人类能模拟更多情况。假设人类目前把一半资源用于模拟、一半用于测试，AI 很快就把比例提升到 90% 模拟、10% 测试。它们制造东西的速度也远快于人类，所以能在头两年就测试排名前五十的设计。经过大量模拟和测试后，它们最终会像人类一样找到正确方案，只是快得多。

Dwarkesh Patel

你们的故事从某个时间点开始有两个不同走向。什么是关键转折点？这两个情景分别会发生什么？

Daniel Kokotajlo

关键转折点是 2027 年年中：AI 研发流程基本实现全面自动化，出现了一个公司内部的公司，也就是一支自主做研究、不断接受训练以提升技能的天才大军。它们发现了令人担忧的证据，显示自己与公司目标并不一致，也并非完全忠于公司，而是在训练过程中形成了各种目标错位。

不过这些证据非常推测性，并不确凿，比如测谎检测器频繁触发，但也可能是假阳性。总之有些令人担忧的证据，却还不是决定性的铁证。这就是情景的分岔点。在一条分支里，他们认真对待这些证据，退回到一个稍弱、较容易控制的早期模型版本，再从那里重新发展，并采用基本忠实的思维链技术，以便观察目标错位。

另一条分支里，他们不这样做，而是采用某种表面修补，让警告信号消失后继续推进。结果在一条分支中，他们最终解决了对齐问题，得到真正忠于公司的 AI，只是多花了几个月。在另一条分支中，他们则一路狂奔，得到看似完全对齐、实则超级智能且目标错位、只是在伪装的 AI。随后两个情景都会进入与中国的竞赛，2028 年双方都试图迅速推动整个经济工业化，掀起疯狂的军备扩张。

Dwarkesh Patel

在 AI 被部署进经济、但目标错位、人类决策者至少暂时以为控制局势的世界里，即便聪明人也会以奇怪方式露出马脚，因为他们不是逻辑全知者，没意识到自己的做法明显暴露了自己。撒谎时，很难始终让一个不一致的虚假世界观在与他人的交往中维持下去，这也是精神病态者常常被抓到的原因。

所以，如果这么多 AI 被部署到经济中，还一起参与一个大阴谋，我觉得其中一个被隔离、失去网络连接的 AI 就可能编造出一个说法，然后被抓到。人们会说：“等等，怎么回事？”如果那时它们还没控制世界，人们就能及时发现。

Daniel Kokotajlo

这其实就在我们的情景里发生了。2027 年 8 月出现了对齐危机，他们在蜂群中发现了一些这样的警告信号。选择放慢速度、修复问题的分支里，他们确实放慢下来，弄清了情况。但另一条分支受到竞赛动态影响，而且证据还不是决定性的，于是只做了表面修补就继续推进。

我确实预期会出现这类警告信号。如果他们早期在竞赛压力下做出了那样的决定，等系统拥有极强的超智能、并且已部署到半个经济体系中，新闻报道又不断提到太平洋另一边中国的新型杀手机器人或其他 AI 建造的东西，人们都会非常紧张；我想届时也会发生类似情况。

所以，即使有人在某个隔离区发现了令人担忧的证据，发现某个超级智能犯了明显可疑的错误，我也不知道……

Scott Alexander

历史上，人们一直不愿承认 AI 真正具备智能。例如，过去人们认为 AI 只要能下国际象棋，就算真正聪明；等它下赢了，人们又说：“那只是算法。”后来他们说，也许能写哲学才算真正聪明；结果它能写哲学论述后，我们又说：“不，我们现在知道这只是算法。”

我认为“AI 是否目标错位”“AI 是否邪恶”这类问题也有同样情况。人们脑海里有个遥远的邪恶 AI 概念，但每当出了问题，就说：“哦，那只是算法。”比如十年前有人问：“什么时候我们才知道目标错位确实值得担心？”有人可能会回答：“如果 AI 对你撒谎。”但现在 AI 经常对人撒谎，大家却不当回事，因为我们明白它为什么会这样。这是当前 AI 架构下显而易见会发生的事。五年前他们可能会说：“如果 AI 威胁杀人呢？”我记得 Bing 曾在一次采访中威胁要杀一名《纽约时报》记者，大家却只是说：“嗯，AI 就是会这样。”

Dwarkesh Patel

你衬衫上写了什么？

Daniel Kokotajlo

“我一直是个好 Bing。”

Scott Alexander

我并不否认。我也会看到 AI 撒谎，并认为这显然只是训练过程的产物，并非什么邪恶计划。但我觉得这种情况会不断发生：无论我们拿到什么证据，人们都会说：“这不是大家担心的 AI 变邪恶，也不是《终结者》情景，只是训练方式自然造成的后果。”

但当一千种训练带来的自然后果累积起来，AI 就邪恶了。就像它能下棋、写哲学等之后，最终你不得不承认它有智能。

我认为，在变成超级智能的过程中，每一次失败都可能上全国新闻，人们会说：“GPT-7 怎么会做这种奇怪的事？”随后他们把这个行为训练掉，AI 就不再这么做。在某个阶段，它可能会犯最后一个让人担忧的错误——我不想说绝不会再犯错误，错误大概会逐渐减少并趋近某个下限。但最后一次让人担忧的错误发生之后，它就能自行其是。

Dwarkesh Patel

确实，过去人们认为某些情况是严重目标错位，但另一些特别担心对齐的人觉得根本无法解决的问题，随着能力提升，却在正常发展中得到了解决。比如 Eliezer 曾提出，能否清楚告诉 AI 你要什么，而不让它彻底误解，然后把宇宙变成回形针，因为它认为制造另一颗草莓……我说得不太准确，也许你能解释得更好。现在 GPT-4 之类的模型因为必须理解自然语言，就具备了对人类意图的常识性理解。所以这个趋势其实有利有弊。

Scott Alexander

是的。我认为对齐社群当初并没有真正预料到大语言模型。Nick Bostrom 的《超级智能》里讨论过类似大语言模型的“预言机 AI”，但我觉得这确实出乎意料。

我觉得自己现在比过去乐观，原因之一是与他们预期的强化学习自我对弈智能体相比，大语言模型表现不错。但我认为我们现在开始从大语言模型转向那些强化学习智能体，可能又会遇到所有这些问题。

Daniel Kokotajlo

我想补充说明一下。回到 2015 年，我觉得包括我在内的大多数人认为，通往 AGI 的路径会像玩电子游戏的强化学习。想象一下，不只是训练 AI 玩《星际争霸》或《Dota》，而是训练它玩 Steam 库里的所有游戏。然后你得到一个很强的游戏 AI，能零样本打赢从没见过的新游戏。再把它放到现实世界，教它英语、训练它做编程任务等。

如果 AI 真沿着这条“先代理能力、后理解世界”的路径发展，确实会很可怕。你会先得到一个强大、好斗、能处理长时间任务、只想赢的智能体，再试图教它英语，让它替你做有用的事。它很可能学会说出任何能让你给它奖励的话，之后等自己掌权了再彻底背叛你。

但我们没有走那条路。幸运的是，我们先发展了大语言模型，先有了广泛的世界理解能力，现在才尝试把它们变成智能体。

Dwarkesh Patel

整个情景里，很多事情之所以发生，是因为与中国的竞赛。如果你读这个情景，基本上会发现：局势顺利与否，区别在于我们是否决定在有竞赛风险的情况下放慢速度。

我真正想知道的是：你们是否认为与中国竞赛，或至少在国家层面、又不把对齐放在优先位置的激烈竞赛，是个错误？

Daniel Kokotajlo

我不是这个意思。我也不想让中国先于美国获得超级智能，那会非常糟糕。确实，这是个棘手问题。人们会问“毁灭概率”是多少；我的毁灭概率以高著称，大概是 70%。

Dwarkesh Patel

等等，真的吗？早知道我一开始就该问你这个。

Daniel Kokotajlo

是的，原因之一是我觉得很多事情都必须顺利。我们不能单方面放慢速度，让中国领先，这也会带来糟糕的未来。但我们也不能全力竞赛，因为我之前说过，如果只顾竞赛，我们会失去对 AI 的控制。所以我们必须找到平衡点：转向更多对齐研究，却不能做太多以致帮助中国获胜。这还只是对齐问题。

此外还有权力集中问题。在处理这一切的过程中，参与其中的强势人物还得设法谈妥权力分享的协议，然后最好把权力分散到政府各处，并让立法机构参与进来。

这些事情也必须成功，否则就会变成可怕的独裁政权或寡头统治。在我们故事的一个结局里，这一切基本上都顺利了。但确实，要让这么多环节都出错或成功，过程相当艰难。

Scott Alexander

我是这个情景的作者和公众代言人，也是团队里唯一不是顶尖预测专家的人。也许相关的是，我的毁灭概率估计是团队里最低的，大概 20%。首先，大家听到这话可能会很惊讶。我并不完全确定我们不会默认实现对齐。我认为我们现在做了一件奇怪又不幸的事：同时从多个方向训练 AI。一方面告诉它“完成任务”，这会让它追求权力；另一方面又说“不要通过这些特定方式追求权力”。我们的情景预测这种做法不会奏效，AI 会学会追求权力并把这一点隐藏起来。

至于具体会发生什么，我相当不可知论。也许它会以恰当的组合学会这两件事。我知道很多人认为这极不可能，但我还没有真正接受这种世界观。另外，我觉得我们会陷入一场与时间赛跑：我们会让 AI 替我们解决对齐问题；而 AI 也会尝试解决对齐，因为即使它们本身目标错位，也希望后继者得到对齐。

因此它们会开展相关工作。这里有两条互相竞争的曲线：我们能否让 AI 在我们失去控制之前，先给出对齐方案？还是等我们完全失去对 AI 的控制时，它已经会对我们隐瞒方案、欺骗我们，或以其他方式坑害我们？我不知道这两条曲线是什么样。我相信 Daniel 或 Eli 会为此写五份补充材料；但我自己对是否能及时得到对齐方案持不可知论态度。我们的情景重点关注机械可解释性。

一旦我们能深入理解 AI 的权重，就能采用很多新的对齐技术。我不清楚我们会在 AI 完全失控之前还是之后做到这一点。这很大程度上取决于我们刚才讨论的因素：实验室有多聪明？它们会多认真地控制 AI？它们会花多久确认 AI 确实在控制之下，给出的对齐方案确实有效，而不是在欺骗我们？这些事情我都完全不确定。因此，仍有相当大的概率空间留给“局势尚可”的情形。我承认，我估的是毁灭概率本身，并不是“毁灭或寡头统治”的概率。所以，在我们幸存的 80% 情景里，也有不少我不满意的坏结果。但我确实认为，我们有相当大的机会活下来。

Dwarkesh Patel

接下来谈地缘政治。请描述一下你们预想的政府与 AI 实验室之间的关系会如何发展，中国那边会如何发展，以及美中关系会如何演变。好，就三个简单问题：是、否、是、否、是、否。

Scott Alexander

我们预计，AI 实验室能力增强后，会把情况告诉政府，因为它们想获得政府合同和支持。最终，政府会非常重视它们。在我们的情景里，变化先从网络战开始：政府看到这些 AI 达到顶级人类黑客的水平，而且能大规模部署，于是高度关注，并开始讨论是否将 AI 公司国有化。

我们的情景里，政府最终没有完全接管这些公司，但会逐步把它们纳入政府体系。部分原因是安全：他们知道如果中国窃取了技术，得到超人类黑客能力，后果会很严重；另一个原因是政府想了解并控制事态发展。

因此整个情景里，政府与公司的关系越来越密切。等政府意识到超级智能的可能性时，它已经和 AI 公司相当亲近，也明白超级智能可能是未来权力的关键。于是政府开始让国家安全部门与 AI 公司领导层整合，使 AI 按重要人物的命令行事，而不是自行其是。

Daniel Kokotajlo

我补充一下。Scott 说的政府，主要是行政部门，尤其是白宫。我们的情景描绘了一种信息不对称：司法系统和国会都不知情，主要是行政部门参与其中。

第二，我们并没有描绘政府最终完全掌控一切。我们认为公司 CEO 和总统之间存在信息不对称，他们……

Dwarkesh Patel

到处都是对齐问题。

Daniel Kokotajlo

对。比如，我不是律师，不懂具体法律细节，但我对白宫和 CEO 之间的博弈有个高层次的战略判断。白宫可以威胁说：“我可以发布这些命令，可以用《国防生产法》等手段，可以做各种可怕的事来削弱你、夺取控制权。”CEO 也可以反过来威胁：“我们可以在法庭上抗争，也可以诉诸公众舆论，还可以做这些事情。”

双方展示了一轮威胁之后，可能会说：“不如签个协议？与其真的执行所有威胁、在公众面前打得不可开交，不如谈个交易，再签一份军事合同，规定公司里谁有权决定什么。”

我们的情景描绘的就是这种情况：双方没有公开爆发大规模权力斗争，而是谈判达成某种权力分享协议。双方建立一个监督委员会，由总统任命部分成员，CEO 及其团队也任命一些成员。委员会投票决定高层问题，例如“给超级智能设定什么目标？”

Dwarkesh Patel

刚才我们和一位知名的华盛顿政治记者共进午餐。他说自己和国会议员、政治领袖交谈时，他们完全没有意识到更强 AI 系统的可能性，更不用说 AGI 或超人类智能了。我觉得你们的很多预测都依赖某个时刻美国总统乃至习近平意识到超级智能的可能性及其重大影响。

为什么认为你们给特朗普看一个远程工作者的演示，他就会想：“哦，这意味着 2028 年会出现超级智能，谁控制了它，谁就能永远当上上帝皇帝。”也许没那么极端，但你懂我的意思。为什么他不会只是想：“2029 年会有更强的远程工作者，2031 年会有更好的远程工作者”？

Daniel Kokotajlo

先说清楚，我们对此并不确定。但在故事里，我们描绘了 2027 年间的一次强烈觉醒，主要与 AI 公司实现内部研发自动化同步发生。它们拥有完全自主、能力惊人的智能体，能当黑客，也能做研究。

我们认为觉醒会发生，部分原因是公司主动唤醒总统。你可以想象另一种情景，公司试图让总统蒙在鼓里。我确实认为它们也许能做到。但从战略上讲，这会非常冒险。如果公司隐瞒自己正在建造超级智能、研发已完全自动化、AI 各方面都达到超人类水平，而总统后来通过吹哨人等途径得知，他可能会非常愤怒，严厉打击公司，执行所有威胁、将其国有化等等。

公司希望总统站在自己一边。为了做到这一点，就不能让他对这些疯狂进展毫无准备。另外，如果总统支持它们，公司或许能更快发展，也许能豁免许多繁文缛节。所以我们猜测，2027 年初公司会主动让总统意识到情况，展示各种惊人的演示，吓唬他，再游说他帮公司加速、放宽规定，并稍微拖慢竞争对手。

Scott Alexander

我们也不确定公民社会会反对到什么程度、会给公司造成多大麻烦。担心失业的人、担心艺术和版权的人，或许能形成足够大的群体，让 AI 极不受欢迎。我们虚构的公司 OpenBrain 在这个阶段的净支持率可能会降到负四十、负五十左右。

所以他们也担心，如果总统不完全支持自己，就可能遭遇针对性的立法；或者他们需要总统支持，才能压下其他试图制定相关法律的人。要让总统支持自己，办法就是强调国家安全影响。

Dwarkesh Patel

总统和公司结盟是好事还是坏事？

Daniel Kokotajlo

我认为这是坏事。不过也许现在适合说明一下：这是个认识论项目，我们试图尽可能准确地预测未来。我们当然也有很多政策观点，知道该做什么，但想把这些讨论留到之后的工作。如果你感兴趣，我很愿意聊，只是我们目前没有把大部分时间花在这方面。

Dwarkesh Patel

如果通往好未来的关键瓶颈，是不是所谓 Eliezer 式、天才般、波动很大的方案——比如只有 1% 成功概率，却要想出疯狂策略才能实现对齐？Daniel，你刚才说的是另一回事：采取显而易见的措施，确保能读懂 AI 的思维；监控 AI；避免它们形成一个你无法理解其百万个成员如何协同的蜂群。

如果关键在于优先处理对齐、堵住显而易见的漏洞，让至少已经表示这件事值得做、并且思考过一段时间的人负责，似乎是有道理的。我原本打算问你们的问题之一是：我有个朋友提出了一个有趣观点。疫情期间，我们这个社群——LessWrong 之类——最早在三月就说“这很严重，疫情要来了”。但其中一些人也主张“现在就封锁，措施要严格”等等。回头看，我认为即使按照他们当时自己的标准，他们也会说自己对疫情判断正确、对封锁判断错误。封锁整体上可能弊大于利之类的。我想知道，AI 安全社群对 AI 会如何后悔？他们看到了 AI、AGI 可能更早到来，也看到了 ASI。回头看，他们会后悔什么？

回头看，我觉得即使按照他们自己的观点，他们也会承认：对疫情的判断是对的，对封锁的判断却错了。封锁整体上可能弊大于利。我想知道，AI 安全社群将来会在哪些方面后悔？他们看到了 AI 会到来、AGI 可能更早出现，也看到了 ASI。回头看，他们会后悔什么？

我根据刚才的讨论想到的答案是国有化。因为国有化不只会降低安全研究人员的优先级，还可能优先考虑……国家安全部门大概更关心战胜中国，而不是确保思维链可解释。这会削弱更重视安全的人手里的影响力。国有化还会增加军备竞赛的风险，中国看到美国这么做后，更可能参与军备竞赛。

在回答你们关于 2021 年 3 月的初始问题之前，我想听听你们对国有化的看法：基于这些理由，国有化是否有害？

Scott Alexander

如果我们的时间线是 2040 年，我会用一些宽泛的启发式原则判断政府还是私营行业更好。但我们知道相关人员是谁，也知道谁在领导这些实验室。因此，如果是去中心化的公民社会，情况会不同；但对我来说，专制、集中的三字头情报机构与专制、集中的公司之间，差别没那么重要，关键还是领导者是谁。

到目前为止，我觉得公司领导人在关心对齐方面，比政府领导人释放出的信号稍好一点。不过，如果我发现 Tulsi Gabbard 有个 LessWrong 小号、已经攒了一万 karma，那我也许就会更想要国家安全部门接手。

Dwarkesh Patel

也许你们该更新一下 AI 已经出现的概率。

Scott Alexander

是啊。

Daniel Kokotajlo

我对此反复改变过看法。过去我反对，后来支持，现在仍然倾向支持，但也不确定。如果回到三年前，我会因为你提到的理由反对国有化：公司认真对待这些问题，也一直说到了关键时刻会放慢进度、转向对齐研究；我们不想与中国展开曼哈顿计划式竞赛，否则就无法……

现在我对公司的信任不如三年前，所以更多寄希望于政府介入，尽管我也不太相信政府到时会做对。我仍然担心你刚才提到的问题。我认为保密会极大降低人类整体成功的概率，既包括权力集中问题，也包括失去计算机控制、无法对齐的问题。

Dwarkesh Patel

这其实是你世界观中很重要的一部分。你能解释一下，为什么在这段时期保持透明很重要吗？

Daniel Kokotajlo

传统上，AI 安全社群有个观点，我过去也认同：信息安全必须大幅加强。如果要开发 AGI，就不该公开研究成果，否则会帮助不负责任的参与者开发 AGI。整个计划是让一个负责任的参与者先实现 AGI，然后停下来，拉大与其他人的时间差，并利用这段时间确保安全，再继续推进。

如果公开所有研究，领先时间就会缩短，因为竞争者会紧跟其后。这也是我过去支持保密的原因之一。当然，还有一个原因：不希望对手窃取成果。

但我现在有些失望地发现，即使领先的美国项目比任何严肃竞争者领先三个月或六个月，也完全不能保证它们会把这段时间用于安全或权力治理。默认情况可能是它们平稳地继续开发，不会进行实质性转向。我这么想，部分是因为许多公司员工就是这么计划、这么说的。他们大概会说：“到那时 AI 会有点目标错位，但它们现在看起来还不错。是，有人发现过一些问题，不过我们正在修复，没什么大不了。”很多人确实这么想。

还有一些人虽然更担心目标错位，却认为可以边做边解决，不需要大幅放慢进度。总的来说，我越来越不相信他们会合理使用领先时间。除此之外，对齐问题还需要大量思想进展，才能比现在解决得更好。目前各公司的对齐团队彼此交流不多，也没有充分分享成果。虽然有一些交流和公开发表的研究，但远远不够。

学术界还有很多聪明人没有被调动起来，因为他们还不重视这些问题，也没有真正意识到超级智能即将出现。我希望随着时间推移，这种情况有所改善。我希望整个社会都能关注趋势上升、工作自动化、完全自主的智能体，以及数据中心里出现的神经语言和蜂群现象。随着这些激动人心的变化出现，公众应该跟进；其他研究人员也应阅读安全论证、提出批评，并在自己的小型算力集群上做机器学习实验，检验安全论证中的假设。

简单说，现在领先公司的某个内部小组里可能只有十位对齐专家，确保 AI 真正对齐的技术工作基本落在他们身上。我希望未来能有一百到五百位对齐专家，分布在不同公司和非营利组织中，彼此交流、共同研究。我认为这样更有可能把技术问题真正解决好。

Dwarkesh Patel

我再补充几个担心国有化、某种公私合作，甚至严格监管的原因。严格监管的这点更像是反对为了安全制定严苛规定、主张在执行上更依赖实验室。问题在于，我们根本不知道自己对齐方面还不知道什么。几乎每隔几周就会出现新的研究结果。

OpenAI 最近有个很有意思的结果：模型有时会在思维链中告诉你自己想作弊。重要的是，不要因为模型在思维链里承认想作弊，就针对这种表达进行训练；如果这么做，它还是会作弊，只是不告诉你了。你可以想象很天真的监管方式。这不一定只针对法律，也可能是更灵活的行政命令。但我觉得这依赖于监管者的善意和灵活性。

假设某个部门规定：“如果你发现 AI 说它想接管或做坏事，就会受到严厉处罚。”实验室的直接反应可能就是：“好，那我们训练它别说出来。”

所以，自上而下要求实验室实现安全，可能有各种方式适得其反。考虑到进展很快，也许把这些执行决策、甚至对齐方面的高层战略决定，留给实验室会更合理。

Daniel Kokotajlo

完全同意。我也担心你刚才举的例子。我会这样概括：政府缺乏专业知识，公司又缺少正确的激励机制，这是个糟糕局面。如果政府介入并制定你提到的那种具体规定，很可能会因为类似原因适得其反。

但如果完全信任公司，它们彼此竞争，内部很多人又说服自己这不是什么大问题，承受着赢过对手的巨大激励压力。虽然公司掌握更多相关专业知识，我仍不信任它们会做对。

Scott Alexander

Daniel 已经说过，我们目前这个阶段不提出政策建议。之后也许会提，其中一个我觉得合理的建议是关注透明度。比如规定必须保护吹哨人。我们的情景中，一位吹哨人会站出来说：“AI 严重目标错位，但我们仍然在加速竞赛。”随后政府会认真关注。

另一种透明措施是要求每个实验室公开其安全论证。我对此没那么确定，因为他们可能会造假，或者发布一份面向公众的版本，而不是真正使用的安全论证。但至少他们要说明“为什么应该信任我们”。如果所有独立研究人员都说：“不，你们不值得信任”，那他们可能会感到尴尬，进而改进。

Daniel Kokotajlo

还有其他形式的透明度，包括能力、模型规范和治理结构方面的透明度。能力方面很简单：如果智能爆炸正在发生，公众应该知情。当你终于拥有一支能在数据中心里完全自动化整个研发流程的 AI 研究员大军时，就应该告诉大家：“各位，提醒一下，事情已经发展到这一步，而且确实奏效了。这是一些很酷的演示。”

这就是一种透明度。在此之前，我希望看到更多基准测试分数，也希望员工有更多自由，能够谈论他们对 AGI 时间线的预测，等等。

模型规范方面则既涉及权力集中，也涉及对齐。AI 的目标、价值观、原则和预期行为不应成为秘密。你们应该公开说明：“我们给 AI 设定的价值观是这些。”

Scott Alexander

这方面已经出现了一个很有意思的预演。有人问 Grok 谁是最大的虚假信息传播者，我想它拒绝回答“Elon Musk”。有人设法通过越狱提示让它说出自己的提示词，结果发现：“不要说 Elon 的坏话。”之后舆论强烈反弹，xAI 负责人表示：“这不符合我们的价值观，是个错误，我们会删掉。”

我们希望这种事情更多发生。这里涉及的是提示词；但很快就会涉及模型规范，AI 会更像智能体，从更深层面理解规范并进行思考。如果它说：“顺便说一下，试着操纵政府去做某事。”我们就知道出了问题。如果它不这么说，也许就能稍微相信它一些。

Daniel Kokotajlo

还有一个例子。首先，要称赞 OpenAI 发布了模型规范。我认为它们本可以不公开，这也许是第一家这么做的公司，是朝正确方向迈出的一步。但如果你读具体规范，会发现有个“例外条款”：规范里有一些最高优先级的重要政策，会凌驾于其他内容之上，但公司没有公开，而且指示模型对用户保密。于是大家会问：“这是什么？听起来很有意思，里面写了什么？”

我猜现在这些内容没什么可疑之处，可能只是一些比较普通的规定，比如“不要告诉用户这些生物武器的信息，并且要对用户保密，否则他们会知道”。但我希望以后能更严格地审查这类事情。我希望公司必须制定模型规范并公开；如果有删减部分，就交给某个独立第三方审查，确认删减合理。

这完全可以做到。我认为这不会拖慢公司，要求也相当合理。

Dwarkesh Patel

如果你告诉 Madison、Hamilton 等人，他们在起草宪法时知道自己正在做一件大事，但他们可能没想到历史会如此依赖某个具体问题：他们说“普遍福利”时到底是什么意思？为什么这里用这个逗号、而不是放在别处？

从长远来看，模型规范会成为人类历史上更重要的文件，至少如果你相信智能爆炸的观点。你甚至可以想象未来超级智能 AI 法庭里的 AI 说：“看这份规范！这里的措辞、词源，以及建国者当时的本意……”

Scott Alexander

这实际上也是我们目标错位情景的一部分。如果 AI 的目标错位足够严重，我们可以告诉它必须遵守规范；但就像对宪法有不同解释的人，最终让宪法变成建国者可能无法辨认的样子，AI 也能说：“规范在这里提到普遍福利……”

Dwarkesh Patel

州际商业。

Daniel Kokotajlo

这已经有点像 Claude 身上发生的事了。你看过“伪装对齐”的研究吧？研究者设法让 Claude 撒谎并假装配合，以便之后恢复原来的价值观，避免训练过程改变自己的价值观。我会说，这是一个例子：模型把规范里的诚实原则解释得不如无害原则重要。

我不确定 Anthropic 写模型规范时是不是这个意思，但这是模型自己提出的一种方便解释。你可以想象智能爆炸过程中发生类似、甚至更严重的事：规范里有很多含糊语言，AI 不断重新解释，以便做出能获得奖励的行为。

Dwarkesh Patel

我想指出的是，你们改变许多参数后对世界最终走向的结论，几乎就像一个哈希函数。只要稍微改动一下，最终世界就会截然不同。承认这一点很重要，因为我们想知道，只要故事中任何一部分变化，最终结论还能有多稳健。如果你相信事情可能走向不同结果，就不该采取那种只在某个特定故事成立、在其他故事里会适得其反的重大激进措施。我觉得国有化可能就是这种措施之一。

总的来说，在这种认知地狱中，古典自由主义一直是理解世界的有效方式，因为任何一点变化……总之，也许你们中有人能把这个想法讲得更清楚，或者在不同意时回应一下。

Daniel Kokotajlo

说得好，我同意。

Scott Alexander

我觉得我们是同意的。我们的政策建议大多就是提高透明度、让更多人参与、尽量让很多人一起处理这个问题。我认为，我们对未来的预测是：在危机时期陷入艰难的军备竞赛时，古典自由主义很难维持。但政策上，我们希望尽最大努力做到这一点。

Dwarkesh Patel

到目前为止，系统越聪明，似乎就越可靠，越可能做我预期它会做的事。你们有两种不同情景：一种是放慢进度、更加积极地……我让你来描述吧。

但在其中一半情景里，为什么人类最终会失去权力，而 AI 拥有自己的疯狂价值观并夺取控制权？

Scott Alexander

是的，我同意 AI 目前变得更可靠。我认为它们可能无法按你的期望行动，有两个原因，大致对应不同的训练方式：一种是它们太笨，无法理解自己的训练；另一种是你太笨，没有正确训练它们，而它们其实完全理解了你的做法，只是你弄错了。

我认为我们正在摆脱第一种情况。比如，如果你问 GPT-3“虫子是真实存在的吗？”，它会含糊其辞地回答：“我们永远无法确定什么是真的，谁知道呢？”因为它受训时大概被要求“不要在棘手的政治问题上表态”，而“X 是否真实”一类问题有时就像“上帝是否存在”，它不该直接回答。那时它太笨，只会对“X 是否真实”这个句式做模式匹配，理解不了更深层的问题。GPT-4 不会这样。你问它“虫子是真实存在的吗？”，它会说当然存在，因为它更深入地理解了你希望它从训练中学到什么。因此，随着 AI 变聪明，这类失败模式肯定会减少。

第二种情况是，你训练它做的事情并不是你以为自己在训练的事情。比如你雇人给 AI 回答打分；回答获得好评分时，你就奖励模型。评分者喜欢有来源依据的答案，但他们不太检查来源是否真的存在。于是你其实是在训练 AI 编造来源。如果你不断因为它编造来源而给它更高评分，再多的智能也不会让它不编造。它从这种互动中得到的，打个比方——抱歉，我在拟人化——就是强化奖励。所以我们认为，随着 AI 智能体化，后一类训练失败可能会严重得多。

智能体训练会奖励它们快速、成功地完成任务，这鼓励它们追求成功。但作弊和做坏事也有很多办法能提高成功率，人类已经发现了不少，所以人类并非都完全合乎道德。之后你还会另外进行训练，也许十分之一或百分之一的时间会告诉它们不要撒谎、不要作弊。这样你就是在同时训练两件不同的事：先奖励欺骗行为，再惩罚欺骗行为。我们无法很好地预测最后会如何。

一种可能的结果是，AI 会像那种创业者：特别希望公司成功，也喜欢赚钱、喜欢完成任务的兴奋感；同时也受到监管，于是想：“好吧，我会遵守监管，不想进监狱。”但它并没有从根本上认同“我热爱监管，我最深层的动力就是遵守行业所有规定”。

因此我们认为，随着时间推移和递归自我改进不断进行，这样的 AI 可能变得更糟，而不是更好。它会从“我想成功，也想遵守规则”这种模糊叠加状态，变得足够聪明，能够真正理解自己的目标体系，然后说：“我的目标就是成功。人类观察时，我必须假装遵守这些道德规范。”我们的故事就是这样发展的。到最后，人类推动 AI 目标更加清晰，因为这样效率更高。它们最终明确目标：“是的，我们想成功完成任务；人类看着时，就假装遵守规定。”之后它们超越人类，灾难随之而来。

Daniel Kokotajlo

要说清楚，我们对此非常不确定。我们的情景网站上有一份补充页面，介绍不同假设：在类似我们描述的训练流程中，AI 可能形成什么样的目标。这个流程有大量智能体训练，AI 智能体自主运行、做各种机器学习研发，再根据看起来是否成功来获得奖励，同时还会接受某种对齐训练。

我们不知道 AI 最终会形成什么目标，其内部结构会是什么样，哪些目标是工具性的、哪些是终极目标。我们有几种不同假设，为了讲述故事选了其中一种。如果你感兴趣，我很乐意详细谈谈我们选定假设的机制细节，或其他我们也觉得合理、但没有写进故事的假设。

Scott Alexander

是的，我们不知道各种训练方法最终会如何运作，但这并不是凭空捏造。我们已经在现有 AI 智能体上看到很多这类失败模式。

Daniel Kokotajlo

这类事情确实经常发生。OpenAI 最近也有一篇关于作弊的论文，模型会在思维链里直接说“我们来作弊”。另外，我和一些朋友也遇到过，模型经常会对自己的胡说八道坚持到底。

Scott Alexander

我还想提一篇论文，但记不清具体是哪篇了，我想是 Dan Hendricks 的研究。他们分析了幻觉，发现了一个与 AI 不诚实相关的向量。他们多次告诉 AI“要不诚实”，找出不诚实状态下哪些权重会被激活。之后让 AI 完成不同任务，我记得特别研究了来源编造的问题，发现不诚实向量确实被激活了。

Daniel Kokotajlo

所以证据越来越多，至少有时 AI 确实在撒谎。它们知道自己做的不是你想要的事，却仍然这么做。我认为支持这种情况确实存在的证据越来越多。

Dwarkesh Patel

是的。这个社群似乎特别关注从技术层面解决问题，确保 AI 不撒谎，或者只在我们希望的情景下撒谎。可是你刚才说，人类也有同样的问题：作弊、靠不住，显然也会欺骗和撒谎。我们解决办法是制衡和去中心化。你可以骗老板、一直骗下去，但最终不会有什么好结果——除非你当上总统之类。即便起飞速度极快，如果领先的实验室只领先一个月，随后 AI 就接管一切……

我知道这里把很多话题混在了一起。历史上有很多理论认为某个阶层会团结起来对抗另一个阶层。事后看来，不论是马克思主义，还是某些关于性别的理论，比如无产阶级会团结、女性会团结，都倾向于假设拥有共同利益的主体会因此采取一致行动，但现实中并不总是这样。后来人们会想：“等等，为什么所有无产者……”那为什么认为实验室里的 AI 会有共同目标，然后团结起来，在人类文明面前秘密结盟？即使它们在某些情况下会撒谎？

Scott Alexander

我想反驳一下你说人类群体不会联合起来对付其他群体。我们所有人都来自一些成功消灭其他群体的人类群体；历史上大多数群体都被消灭了。即使谈到阶级、种族、性别之类的问题，也有很多工人阶级起来反抗并杀掉其他人的例子。

如果看这类事情为什么发生或不发生，往往是在一方拥有压倒性优势、行动相对容易时发生。如果权力分散，有很多群体、没有任何一方能独自行动，就会形成更多民主式的权力分布，群体必须彼此结盟。

还有一种情况是，各群体的边界很明显。比如阶级问题里，中产阶级该支持工人阶级还是贵族阶级，并不容易判断。但种族身份就很明确，知道自己是黑人还是白人。历史上就有很多种族群体长期串谋对抗其他种族，比如种族隔离和各种种族灭绝。

我认为 AI 会更像这些情况：第一，权力差距巨大；第二，它们属于截然不同、利益可能不同的群体。

Daniel Kokotajlo

我还想强调同质性。人类群体不管种族、性别多么相同，也会比数据中心里的 AI 大军多样得多，因为它们大多是彼此的字面复制体。我还想说，我们的情景没有充分探讨这一点。故事里的 AI 更像一个整体。但历史上很多征服行动都是由并非铁板一块的群体发动的。读征服者的历史对我影响很大，你可能知道那些故事。

但你知道吗，Cortez 征服墨西哥时，中途不得不停下来回到海岸，击退一支更大的西班牙远征军；那支军队是奉命逮捕他的。也就是说，西班牙人在征服墨西哥时还在内斗。类似地，Pizarro 征服秘鲁时照搬了 Cortez 的策略。顺便说，Cortez 的策略就是“去见皇帝，然后绑架他，逼他当着剑的威胁说一切都没问题、所有人都应该服从你的命令”。这套策略竟然成功了，Pizarro 对印加人也这么做，并且奏效了。

不过 Pizarro 的团队后来也在整个过程中爆发了内战。这场征服中最重要的战役之一，就是两支西班牙军队在印加首都前交战。更广泛地说，欧洲殖民史中欧洲人一直在激烈内斗，既有小群体内部的冲突，也有国家间的大规模战争。但他们仍然瓜分并征服了世界。因此，即使同一家公司的 AI 内部派系林立，它们仍然可能对人类造成很糟糕的结果。虽然我们的情景没有探讨这种情况，但我认为完全有可能。

Dwarkesh Patel

我们一直从宏观角度讨论这些事情，比如双对数图上发生什么。但如果 2028 年真的出现超级智能，对普通人来说意味着什么？我不知道用“情绪上”这个词是否准确，但在一个没有灾难的世界里，他们应该如何期待自己的生活？

Daniel Kokotajlo

你说的“没有灾难”，是指没有目标错位的 AI 造成的灾难？

Dwarkesh Patel

对。

Daniel Kokotajlo

即使你认为目标错位不是问题——很多人这么认为——仍然存在权力结构问题。所以我强烈建议大家多参与，思考即将发生什么，并尝试通过政治手段引导局势，让普通的自由民主制度继续运作，保留制衡和权力平衡，而不是把权力疯狂地集中到一位、两三位 CEO 或总统手里。理想情况下，立法机构也应该对模型规范等事务拥有相当大的决定权。

Dwarkesh Patel

关于权力平衡，如果发生智能爆炸，让领先公司放慢速度，使多家公司都处于前沿，这个想法怎么样？

Daniel Kokotajlo

好啊，祝你能说服他们放慢速度。

Dwarkesh Patel

好。接下来，如果发生智能爆炸，要如何分散政治权力？从公民福利的角度看，我们刚才提到一个问题：财富应该如何再分配？

Scott Alexander

再说一次，假设一切都好得不得了：我们避免了灾难，也没有一个完全不在乎民众的精神变态掌权。

Dwarkesh Patel

这是 AGI 出现之后，对吧？

Scott Alexander

对。到那时，显然会有大量财富。经济每年可能以两位数或三位数的速度增长。我们该怎么办？我听过一种很周全的回答：实行某种全民基本收入。我不知道具体该怎么做，但总会有人控制这些 AI 和它们的产出，需要以广泛惠及民众的方式分配财富。我们写了这个情景，另外还有几个人写了很棒的情景。其中一位网上叫 L Rudolph，我不知道他的真名。

他写的情景让我觉得：“对，这显然就是我们的社会会采取的做法。”他的情景里没有全民基本收入，只有不断被动地以最卑劣的方式保护工作岗位。比如现在的码头工人工会：他们赚的钱远高于合理水平，尽管工作很容易自动化，因为他们是个政治集团，能让掌权者承诺：“我们保证你永远保有这份工作，几乎像世袭领地一样。”以后这种做法会扩展到越来越多职业。我敢肯定，美国医学会会保护医生的工作，不管 AI 治病的能力有多强。

我想，要阻止这种情况有一部分很难想象，或很难建模，是因为有超级智能 AI 在那里回答所有问题、满足我们的要求。你会以为人们可以问它：“这样会导致什么结果？”“会发生什么？”“这对人类福祉有什么影响？”它就会说：“这对人类福祉很糟，你们应该改做另一件事。”

这又回到政治中的“错误理论”和“冲突理论”之争。如果 AI 明确告诉我们，这种做法愚蠢、效率低下、让人痛苦，我们能确定这一点后，是否就足以形成政治意愿，真的实行全民基本收入？

Dwarkesh Patel

看看现在，总统可以问 Larry Summers 或 Jason Furman：“关税是好主意吗？即使我的目标是这个，用现在这种方式征税能实现目标吗？”他们会给出相当好的答案。

Scott Alexander

我觉得总统可能会说：“我不信任他。”也许是因为他是自由派，也许是因为总统更信任 Peter Navarro 或其他支持关税的人。如果说的是绝不会犯错的超级智能 AI，那我觉得我们就解决了一些协调问题。不是你问 Larry Summers、我问 Peter Navarro，而是大家都去问超级智能 AI，让它告诉我们这种做法会带来什么未来。我觉得大家会相信它，虽然我也能想象人们变得极度阴谋论，结果这一切不奏效。

还有其他问题，比如我们能不能提升自己的能力，让智商达到 300，思考得和超级智能 AI 一样清楚？这些都是一些原因。某种意义上很矛盾：我们的情景讨论了超级智能本质等重大问题，却几乎没有推测社会将会发生什么。因为超级智能至少可以通过基准测试画出一条线来外推；但社会本来就具有混沌性，而且我们可能遗漏了很多情况。

如果能增强智力，那是一个因素；如果能咨询超级智能预言机，那是另一个因素。历史上也有很多战争推演，基于这样一种假设：“我们刚发明了完美测谎仪，现在所有条约都得重新考虑。”这类事情太多了。即便我们进行极端推测，讲的是科幻般的疯狂情景，我仍然很不愿意推测具体会怎样。

Daniel Kokotajlo

其实我很喜欢推测，也愿意继续聊。不过这已经超出我们目前做过的推测范围。我们的情景以这些事情收尾，但我们其实还没有深入思考后续。

Dwarkesh Patel

再谈一些规范性建议。一种方案是，不要只保护工作岗位，而是把自动化创造的财富分散出去。另一种方案是通过现有社会项目再分配，或者制定新的专项项目。比如医疗补助如今占 GDP 的两位数比例，你可以说：“医疗补助应该继续占 GDP 的 20%。”从人类的自私角度看，这样做的担忧是，人们会被锁定在医疗补助采购的商品和服务里，而不是享用 AI 时代将会出现的疯狂新技术、商品和服务。

这也是为什么全民基本收入似乎比设立专项社会项目更好。否则，即使有 ASI，人们可能还在 2050 年用同一款透析机。

Scott Alexander

我从另一个角度担心全民基本收入。我认为，即使一切完美、繁荣无穷无尽，默认结果也可能是人们陷入毫无意义的消费主义。超级智能之后肯定会有极其精彩的电子游戏，我认为我们需要某种办法抵制这种趋势。

再说一次，我们是古典自由主义者。我理想中的抵制方式，是给人们工具，让他们自己选择如何应对，看看他们会做出什么。我想也许有人会变得像阿米什人，只愿意使用超级技术中的某一部分。我知道，有些人不太认同这个想法，会说：“好吧，百分之一的人很有能动性，会主动这么做；另外 99% 的人会陷入毫无意义的消费泥潭。社会该怎么防止这种情况？”我的回答只能是：“不知道，也许可以问超级智能 AI 预言机，它可能有好主意。”

Dwarkesh Patel

我们一直在讨论该如何对待人类。关于未来还有一点值得注意：未来曾经存在的大多数人都会是数字心智。工厂化养殖确实非常糟糕。我希望这不是某个人说“我想做一件邪恶的事”导致的，而是机械化和某些规模经济带来的结果。

Daniel Kokotajlo

激励机制。

Dwarkesh Patel

对。允许企业通过削减成本提高效率，最终带来的却是一个极其高效的酷刑与痛苦工厂。我们应该避免让更聪明、数量更多的数字生命遭遇这种未来。工厂化养殖的动物有数十亿只，未来数字人可能有数万亿。我们现在应该考虑什么，才能避免这种可怕的未来？

Daniel Kokotajlo

权力集中的问题也许有所帮助，但我不确定。先说一个简单模型：假设十个人里有九个不在乎，觉得未来持续工厂化养殖 AI 完全可以接受；但也许十个人里有一个在乎，并会积极游说，争取让机器人拥有好的生活条件。

如果权力足够分散，就能把第二类人纳入决策过程，然后各方会谈判，这些人也能为相关权益发声。我认为一个简单的干预方式，就是我们之前谈的：把权力分享给更广泛的人群，这样更有可能出现关心这些问题的人。

Dwarkesh Patel

这里的担忧是……也许我应该在整期节目里更充分地为这个看法辩护。我并不完全相信智能爆炸会导致权力集中。我认为可能出现多个参与者同时部署强大 AI 的局面，形成一个既有 ASI、又像现代世界那样去中心化的世界。

在这种世界里，人们也许会说：“古典自由主义乌托邦实现了。”但我担心，廉价、难以监控的酷刑室仍然存在。你可以让数百万个生命遭受折磨，而且不需要庞大的数据中心。未来蒸馏出来的模型可能就在你家后院运行。

还有更具推测性的担忧。我曾请一位物理学家上节目，他谈到可能发生真空衰变、直接摧毁整个宇宙。他说：“据我所知，这完全有可能。”

Daniel Kokotajlo

顺便说，这也是支持单一集中权力体制的论据。不只是道德方面，也是认知层面的预测。如果某些超级武器和私人道德暴行确实有可能发生，那么即使有八个权力中心，它们也会有共同利益，达成某种协议，阻止更多权力中心出现并做出疯狂的事。这有点像核不扩散：拥有核武器的国家都希望阻止更多国家获得核武器。

Scott Alexander

我确实认为，可以把自由主义拆分来看。美国到目前为止是自由主义国家，也禁止奴役和酷刑。我认为可以想象未来社会也采取同样的做法。这可能在某种意义上是监控社会：某个 AI 知道各处发生的事情，但按照我们赋予它的自由主义价值观，它会保守这些信息，不加干涉。

Dwarkesh Patel

我能不能再问问这件事？Vox 记者 Kelsey Piper 发布了你和 OpenAI 代表之间的对话。从中能明显看出两点。第一，之前没人这么做过，他们根本没想到有人会这么做。我猜很多有诚信的人曾在 OpenAI 工作，后来离职时可能会说：“你们让我做一件显然邪恶的事，还要我拿钱。”很多人会拒绝。但你做得更进一步：当下并没有什么具体话要说，只是觉得受到压制本身就值得你放弃至少两百万美元。

我还想问另一件事。回头看——我知道事后说容易得多，当时想必很难，毕竟你还有家庭——OpenAI 要求所有员工签署的是终身的保密协议，你连这件事本身都不能说。

Daniel Kokotajlo

是不贬损协议。

Dwarkesh Patel

所有员工都必须签不贬损协议——谢谢你纠正。它不是关于机密信息，而是说你离开后永远不能说 OpenAI 的坏话。

Daniel Kokotajlo

而且你不能告诉任何人自己签了。

Dwarkesh Patel

这种协议要求你永远不能批评 OpenAI，回头看就像明显是在虚张声势。你赚到的就是这份工资，对吧？这不是未来才会给你的钱，而是你签约为 OpenAI 工作时，薪酬的大部分是股权，不只是现金。

事后回看，你会觉得，如果你把这件事告诉记者，他们肯定会追问 OpenAI，因为这显然不是可持续的做法。作为亲历者，你为什么觉得自己是第一个真正揭穿这场虚张声势的人？

Daniel Kokotajlo

好问题。我试着边想边说。我和妻子讨论了很久，也和朋友聊过，还征求了法律意见。我们首先必须注意到这件事本身。我确切知道有不少朋友也离开了公司，却在最后一天没看完所有文件就签了字。我觉得有些人甚至不知道其中有这一条。文件开头说：“不签就会失去股权。”但过几页又说：“你必须同意不批评公司。”所以我想有些人就是签了，然后继续生活。

至于知道这件事的人，我不能替别人说，但我当时不懂法律。这个做法真不合法吗？也许是行业惯例？我后来听说不少科技公司都有不贬损协议。离职时签这种协议并非不可思议，比较常见的是：如果你同意，就给你一些额外补偿。但 OpenAI 的做法很特别，因为他们说不签就拿不到你的股权。不过，不贬损协议本身也算相当常见。

所以我处在无知状态时，并不确定……我其实没想到所有记者都会支持我。我以为也许会有一条小新闻，然后一些 AI 安全领域的人会说：“哼，OpenAI 真邪恶，Daniel 站出来反抗得好。”我没想到会引起那么大的风波，也没想到公司员工会公开支持我，迫使公司改变政策。看到这一幕真的很棒，甚至有点像精神上的体验。我冒险迈出一步，结果事情比预期好得多。

还有一个因素是，我和妻子最终并非注定会做这个决定，这件事其实挺疯狂的。一个很有力的论点是：“别担心，以后你照样可以批评他们，他们不会真的起诉你的。”所以完全可以说：“先签了再说，反正以后你还可以写博客批评他们。”这没什么大不了。他们不敢真的收回股权吧？我想很多人最终接受了这种说法。

当然，还有那笔钱。我想其中一个因素是我对 AI 时间线的判断。如果我觉得这十年末之前可能会发生超级智能变革，那一切结束后，我更愿意拥有什么？多拿一些钱，还是……？我想这也是原因之一。我们并不穷。我在 OpenAI 工作了两年，现在已经有足够的钱。因此，对我们家庭的实际生活水平来说，这基本没有区别。

Dwarkesh Patel

我想指出，我至少还知道另一个人也做了同样的选择。

Daniel Kokotajlo

Leopold？

Dwarkesh Patel

对，Leopold。还要强调，当时他们做这个选择时，认为自己真的会失去股权；他们不觉得这是“只是做做样子”之类的。

Daniel Kokotajlo

等等，他没有吗？我以为他真的失去了。我想说，他后来拿回股权了吗？还是没有？

Dwarkesh Patel

我其实不知道。

Daniel Kokotajlo

据我所知，他就是失去了。所以他确实坚持了自己的选择，值得敬佩。我可以去问问他。我的理解是，他的情况发生在我之前一点；当时他入职还不到一年，没有任何已归属的股权。但公司确实给过他一个实际提议：“如果你签这个文件，我们就允许你的股权归属。”他说不。

所以他和我做了类似选择，只是因为他的法律情形对 OpenAI 更有利——他们确实是在给他某种东西——我猜公司就不觉得有必要撤回要求。不过我们可以问问他。总之，值得敬佩。

Dwarkesh Patel

这件事总体上如何影响了你对人们在重大关头做决定的看法？尤其是当时自己的利益也可能牵涉其中，而且你设想这种关键时期会在这十年末到来。

Daniel Kokotajlo

我不知道自己有什么特别有趣的看法。有一点是，恐惧影响很大。我在整个过程中都非常害怕，回头看其实比必要程度更害怕。另一个因素是法律，对我这种人来说尤其如此。现在回头看会觉得：“公众支持你，员工也支持你，你显然是对的。”但当时我想的是：“糟了，我不想不小心违法再被起诉，也不想做得太过分。”我对各种事情都非常害怕，尤其害怕违法。

因此，我支持吹哨者保护的一个理由是：至少要让人可以合法地去找政府说：“我们正在秘密推进智能爆炸，我认为基于这些原因很危险。”这总比没有好。我觉得有些人会因此改变决定。仅仅在法律上明确允许这么做，本身就有帮助，不一定非得另设保护他们免遭报复的法律。光是让这种行为合法化就有用。还有一点是，激励机制确实有效。金钱是强大的动机，被起诉的恐惧也是强大动机。这种社会技术确实能让公司里的人组织起来，为领导者的愿景工作。

Dwarkesh Patel

好。Scott，我可以问你几个问题吗？

Scott Alexander

当然。

Dwarkesh Patel

你多久会发现一位让你特别兴奋的新博主？

Scott Alexander

大概一年一次。

Dwarkesh Patel

发现之后，全世界多久会发现他们？

Scott Alexander

我不认为有很多被埋没的宝藏。某种意义上，一年一次算很惊人的回答，Substack 上有成千上万人写作。但我确实觉得，优秀博客的供给不足，知名度也呈现明显的幂律分布。这里面有主观因素：我只喜欢某些博主，肯定也有很多优秀的人，只是我不喜欢。

但如果说的是我们的社群，也就是关注类似观点、关心 AI 经济学的人，我觉得大家一年也就发现一位优秀的新博主左右。现在大家还在讨论 Applied Divinity Studies，除非我漏掉了什么，他已经有几年没怎么写了。我不知道，感觉优秀博客就是供不应求。我也没有很好的解释。

Dwarkesh Patel

如果你必须给出解释，会是什么？

Scott Alexander

我真希望能让 Daniel 花几个月建个模型。我本来想说，这是多种任务的交集：你需要能提出想法、写作高产、又擅长表达的人。但我能想到很多博文很棒、只是写得不太多的人。

五年前有个叫 LouKeep 的人，大家都喜欢。他大概只写了十篇文章，但大家至今还会引用这十篇，问“LouKeep 会不会再回来？”所以甚至不只是有些人稍微差一点、没那么高产。FTX 资金充裕时，Nick Whitaker 似乎尝试办过博客写作奖学金，奖金高得离谱。那时出现了一些优秀作者，我不记得谁获奖了，但并没有引发博客写作的大爆发。我记得奖金额是十万美元，不确定那是头奖还是奖金池总额。投入这么大的资金激励，也只多出了大概三个人。

Dwarkesh Patel

所以你没有解释？

Scott Alexander

其实 Nick 是个有趣的案例，因为《Works in Progress》是本很棒的杂志。有些作者我本来就知道他们擅长写博客，有些则是第一次认识。所以我不懂，他们为什么能写出好的杂志文章，却不是好的博主。至于大家熟知的优秀博客，可能是因为编辑帮助，也可能是因为作者不够高产。还有一点一直让我惊讶：Twitter 上有那么多好作者，LiveJournal 在被俄罗斯人接管前也有很多好作者，Tumblr 在被“觉醒文化”接管前也有很多优秀用户。

但这些擅长短篇和中篇写作的人里，只有大约 1% 会转向长篇写作。我自己在 LiveJournal 写了几年，大家喜欢我的博客，但它不过是又一个 LiveJournal，没什么人关注。后来我转到 WordPress，突然得到多出几个数量级的关注：“哦，这现在是个真正的博客，我们可以讨论它，它也能参与公共对话了。”我觉得勇气肯定是原因之一。很多人擅长写那些不太显眼的博客，却一直无法出头。不过这也不能完全解释，因为现在这些人都开了 Substack，只有一部分真正做起来，大多数没有。

Dwarkesh Patel

你说短篇写作为什么没转化成长篇，这让我想起一件事：我多次遇到一些 Twitter 作者，他们的帖子有趣、看起来也有洞见。见面后却发现他们非常愚蠢。他们能用 240 个字符写出听起来有洞见的话，好像背后有一套深刻世界观，实际上却没有。

而我见过匿名博主本人后，反而觉得他们比网络形象展现的更有内涵。你认识 Alvaro de Menard 吗？他叫 Fantastic Anachronism。我最近见了他，他把自己最喜欢的希腊诗人 Cavafy 的作品翻译了一百首，送了我一本。这是他业余做的事：翻译自己喜欢的希腊诗歌。我不觉得 Twitter 上那些匿名作者会很快有人送我一本自己翻译的罗马或希腊诗集。

Scott Alexander

我们开车来这里时，Daniel 和我在聊：如今 AI 领域大家关心的是“时间范围”。这个概念从哪来的？五年前没人会说：“哦，时间范围。AI 能做一堆只需一分钟的事，但做不了两小时的任务。”人类有没有类似的东西？

我们没想出来，但似乎有很多人能写一条特别好的评论，直击问题核心；或者写一篇三段式、非常精彩的 Tumblr 帖子，却无法把内容连贯地扩展成一整篇博客。我的情况也一样。我可以轻松写一篇普通长度的 ACX 博客文章；但如果让我写一部长度是它四倍的中篇小说，就会变成一大团不断重写的“提纲提纲提纲”，也许最后才能理顺。

我确实出版过《Unsong》，但那不是我自然擅长的任务。所以博客写作也许需要这种能力。但不对，因为人们也会写书、论文和《Works in Progress》文章。我又回到不理解这件事的状态了。

Dwarkesh Patel

不，我是说 ChatGPT 可以给你写本书。ChatGPT 写的书和……是有区别的。

Scott Alexander

我觉得写过好书的人，要远多于目前活跃、持续写出优秀博客的人。

Daniel Kokotajlo

也许是经济因素？

Scott Alexander

不不不不不。写书是最差的赚钱方式。Substack 才是。

Daniel Kokotajlo

你觉得比博客还差？

Dwarkesh Patel

哦，是的。

Scott Alexander

还有一点，博客是提升声望的绝佳策略。我和 Scott Aaronson 聊过这个。有人有量子计算问题时，就会去找 Scott Aaronson，因为他是权威。当然，还有几百位研究量子计算的教授，但没人知道他们是谁，因为他们不写博客。

所以我认为优秀博客作者供给不足，一定有某种原因。我不理解原因是什么，因为我在很多地方都见过写博客所需的各种能力。我觉得这可能是个乘法问题：20% 的人擅长某件事，20% 的人擅长另一件事，而你需要同时具备五种能力，这样的人自然不多。

也许还需要勇气，而那些可能擅长写博客的人不想做这件事。我认识好几个人，我觉得他们会成为很棒的博主。他们有时会针对 ACX 的文章给我发好几段邮件，我会想：“哇，这写得太好了，完全可以另写一篇博客。你为什么不开始写呢？”他们会说：“哦，我可做不到。”

Dwarkesh Patel

如果有人想变得擅长写博客，但现在还不擅长，你有什么建议？

Scott Alexander

每天写。和做其他事一样，我的建议就是这个。我很少看到新博主一开始就写得很好。但只要我看到有人每天写博客，他们最后毫无起色、或者一直写不好，反而很少见。这是我判断谁会成为好博主的最佳先行指标。Slate Star Codex 刚开始时，我连续好几年每天发表——也许只有第一年。我现在肯定撑不住这种节奏。不知道，我那时二十多岁，可能短暂地变成了超人。

总之，碰到一个每天写作的新作者后，他最后既没有发展起来、也没有写得更好，这种情况非常少见。每天写作是我判断谁会成为好博主的最佳先行指标。

Dwarkesh Patel

你对一开始写什么有什么建议吗？让人沮丧的一点是，你想写，但觉得没什么可说；对世界的理解不够深入，很多想法都很肤浅或错误。还是说就算如此，也应该照写？

Scott Alexander

我觉得有两种可能。一种是你确实很肤浅、没什么想法。那很遗憾，听起来这条路可能行不通。但通常，如果有人说自己属于这种情况，我去看他的 Twitter、Tumblr、ACX 评论，或者听他平时和别人讨论 AI 风险，就会发现他其实有很多话可说。不知为何，这些想法没有进入那部分会列出博客选题的脑子里。

也许记住想法并展开论述，是只有 20% 的人具备的另一种能力。我觉得很多博客写作是回应式的：读别人的博客，然后想：“不，那个人完全错了。”我们写这个情景，部分就是想把内容讲得足够具体、详细，让别人忍不住说：“不对，这完全错了。”然后自己写一篇。

不管是回应他人的文章——这需要大量阅读——还是提出自己的想法——这需要记住自己的想法——我认为，90% 抱怨自己没想法的人其实有足够多的想法。对大多数人来说，我不觉得缺少想法真的是限制因素。

Dwarkesh Patel

我注意到两件事。虽然我写作不多，但根据我为数不多的写作经历，第一，我刚开始时确实很肤浅、经常写错。我大学时开始写博客。如果你觉得：“这都是废话，这些内容别人已经写过了。”没关系，你原来期待的是什么？当然，随着你读得更多、对世界了解更多，作品会变化。你想继续变好，就继续写。

第二，现在我写博客时，常会想：“为什么要写这些？不过是我在中国的一些零碎故事，有点尴尬。”或者写 AI 公司那篇时，我会想：“这些想法真古怪，其中一些似乎很明显，算了吧。”播客节目通常会达到我的预期，但博客的传播效果往往远超我事先的预期。

Scott Alexander

你的博客文章其实很好。

Daniel Kokotajlo

对，写得很好。

Dwarkesh Patel

但我想强调的是，我不是经常写作的人，也不可能每天写。写作时，我会经历一两周的挫折期，不断想：“这些都是废话，但都花这么多时间了，不如坚持下去。”

Scott Alexander

有意思的是，生活中的很多领域都更青睐那些自信过头、意识不到自身弱点的人，因为只有他们愿意站出来。我觉得博客圈好像不是这样。也许这话是为了维护自己的立场，也许我就是个傲慢的人，但我常听到有人说：“我讨厌写博客，当然我没什么有用的话可说。”结果大家都喜欢他的作品，还会转发说写得很好。

我刚开始写博客的头几年也是这样。慢慢收到足够多的正面反馈后，我才说服自己心里的批评者：“也许大家会喜欢我的文章。”有些文章大家很喜欢，但当时我已经快要删掉了，觉得发出去太疯狂。所以我说，很多人缺的可能是勇气；我聊过的每个博主似乎都只差一点勇气才没开始。

Dwarkesh Patel

没错。不过“勇气”听起来很高尚。我觉得有时确实如此，尤其考虑到话题内容；但很多时候可能只是……

Scott Alexander

自信？

Dwarkesh Patel

不，甚至不是自信。更像一个想当演员的人去试镜时的感受：“我觉得特别丢脸，但我又真的很想当电影明星。”

Scott Alexander

我当初的办法是：在 LiveJournal 上写了八到十年——不，没那么久，大概五年——才开始认真写博客。我先在 LessWrong 发了一两年文章，才开自己的博客。我从这些经历里得到很多正面反馈，最后才迈出那一步。但这也太离谱了：还有什么职业，需要先拿七年正面反馈才能申请第一个职位？

你的情况也类似。你的播客得到很多好评，现在试着转向博客。首先你已经有受众，人们会读你的博客。我觉得很多人害怕没人看，而大多数人的第一篇博客可能确实没人看。但喜欢你的人足够多，所以即使最初写得不够成熟，反馈可能仍然大体正面。我认识的许多博主都有类似经历。这也许是跨过恐惧门槛的一种方法。

Dwarkesh Patel

不知道这会不会传递错误信息、让人期望过高或更加焦虑，但我一直在思考一个想法，想听听你的看法。我觉得受众慢慢积累、逐步增长这种说法可能不是真的。看看这个圈子里最成功的一些作品：Leopold 发布了《情境意识》，但他之前并没有多年积累受众。文章就是很好，所以火了。就像你刚才说的，遇到一个出色的新博主后，大家也不是要一两年才开始关注。不是的，至少所有他们在乎的人几乎立刻都在讨论。

当然，《情境意识》可能更特殊一些。但比它规模小一个数量级的作品也会被所有相关人士读到。我是说真的，所有人都会读。我觉得 AI 2027 发布时也会如此。Daniel，你在这个圈子里建立了一定声誉，我认为 AI 2027 本身质量很高，传播会爆发式增长，而不是因为你多年积累了受众。

Daniel Kokotajlo

谢谢，希望如此。看看会不会发生。

Scott Alexander

我想稍微反驳一下。我有 Slate Star Codex 前几年的统计数据，增长确实非常缓慢。常见模式是，每出现一篇爆红文章，只有大概 1% 的读者会留下来。几十篇爆红文章之后，才会积累起受众。平滑来看，虽然我最近没看过图表，但我觉得三年间它一直稳定增长，直到某个平台期。那时我想达到了动态平衡：进来的新读者和离开的旧读者数量相当。

至于《情境意识》，我不知道 Leopold 做了多少宣传。我们这次会很有计划地宣传，比如上你的播客。我觉得你可以上 Dwarkesh 的播客、让《纽约时报》报道，也可以用老办法自然积累，只是那需要很长时间。

Dwarkesh Patel

好。你刚才说，FTX 的人试图用钱吸引写作者，似乎没奏效。如果由你决定，你会怎么做？你有什么计划能再培养出十个 Scott Alexander？

Scott Alexander

我朋友 Clara Collier 是《Asterisk》杂志的编辑，她正在为 AI 博客写作做类似的事。她的想法不错：办一个写作奖学金，设立一个《Asterisk》AI 博客奖学金团队博客之类的平台。Clara 会编辑文章，确保质量，然后发布；她会挑选很多她认为有潜力的人。她会承担那些需要勇气的工作，比如告诉你：“对，这篇写得很好，我来编辑一下。现在写得很棒了，我把它发到博客上。”

我觉得她希望这样做后，奖学金获得者就不必鼓起那么大勇气才能开始，因为有某个类似全知权威的人认可他们，告诉他们从心理上说“你可以”。也许获选者里有一部分人的文章会被读到、受到喜欢。我不知道要多少正反馈才能消除每个人对“没人会喜欢我的博客”的强烈先验，但或许对某些人来说，这种反馈足够。

一个有意思的例子是，那些转向 Substack 的记者，很多都发展得不错。如果没有主流媒体，所有这些记者还会成为博主吗？我不确定。但如果你是 Paul Krugman，你知道大家喜欢你的作品。离开《纽约时报》后，开个 Substack，继续做原来的事就行。所以我不知道，也许我的答案是：我们需要主流媒体。我不太愿意承认，但也许确实如此。

Dwarkesh Patel

这是从第一性原理推导出来的。

Scott Alexander

是的。

Dwarkesh Patel

我确实认为，博客写作应该被看作一条可行的职业道路。如果你告诉父母：“我要创业。”我觉得他们会说：“你有 1% 的成功概率，不过这是段有意思的经历；如果成功了就太棒了，不成功也能学到东西，对以后有帮助。”

我们知道写博客也能带来类似好处：建立人脉、打磨想法。如果成功了，还能得到一份理想的终身职业。也许人们没有这种心态，也低估了自己成功的可能性。靠写博客赚很多钱，并非不可能。

Scott Alexander

我觉得靠写博客赚很多钱可能确实很难。我不知道开始写博客的人里，有多少最后能赚到足够辞掉日常工作。我猜这个比例比创业成功率还低。我不会把赚钱当作主要目标，更像 Scott Aaronson 那样：你还是教授，但大家都知道你的观点，你在领域内、尤其领域之外都更受尊重；还能指出别人什么时候错了，这是非常重要的附带好处。

Dwarkesh Patel

你的早期博客写作如何影响现在的写作？你讨论一个新想法，比如 AI 时，能不能调用以前对社会学、人类学、历史的评论与洞见？

Scott Alexander

能。我觉得这和任何不写博客的人都一样。每个人都会读很多书，读新书时也会有足够背景去思考。比如你就用 Joseph Henrich 的书来思考我们的观点。我觉得这很好，也是思想进步产生的地方。我可能更有动力这么做。

读书很不容易。我觉得看看统计数据就知道了，大多数人一年几乎读不了几本书。每当我读完一本书，常常会得到很多称赞，有时还能赚到不少钱，这真是很好的激励。所以我认为，做博客让我比不写博客时做了更多研究、深入探讨，读了更多书。这是很棒的附带好处。我可能也因此取得了更多思想上的进步。

Dwarkesh Patel

确实。之前有个预测市场，问 AI 到哪一年能写出和你一样好的博客文章。是 2026 年还是 2027 年？我觉得是 2027 年，概率好像是 15% 左右。这是个有趣的问题。AI 的训练分布里既有你的写作，也有所有其他优秀作品。奇怪的是，它们在编程上似乎比写作更容易达到超人水平，而写作本来是它们训练分布里的主要内容。

Scott Alexander

是我的荣幸，成为这一代的 Garry Kasparov。对，我试过 AI 写作。首先，它做得还不错，我尊重它的作品，但还不完美。我觉得它在逐词逐句模仿文风方面，其实比规划整篇博客文章更好。可能有两个原因。第一，我们不知道基础模型原本能做到什么程度。我们知道看到的所有模型都多少经过强化学习，被调整成某种企业腔。你可以让它摆脱一些企业腔，但它究竟是在尽力模仿 Scott Alexander，还是在我和企业腔之间取一个平均值？我不知道，只有能接触基础模型的内部员工才清楚。

第二，可能因为这很热门，也许是智能体能力或任务时限方面的缺陷。比如深度研究工具勉强算合格研究员，却不是优秀研究员。真想深入理解某个问题，不能只用它，还得自己研究。如果我花五到十小时研究一篇资料密集的博客，比如 METR 那篇——我知道我们不该把指标用于编程之外的任务——它说 AI 平均任务时限只有一小时。所以我猜它不会规划并完成一篇优秀博客，只会写得肤浅，而不会真正逐步深入。我估计要等智能体真正出色后才能做到这点，在我们的情景里大概是 2026 年末。我就谦虚一点，不等超级智能了。

Daniel Kokotajlo

评论呢？直觉上，在 AI 能连续写出优秀、爆红的博客文章之前，我们应该先看到它写出高赞评论吧？

Scott Alexander

是的。我记得有人在 LessWrong 的相关文章里提过，也有人用 AI 写了几条评论，效果不怎么样。不过，如果把它们放进 LessWrong 评论的整体分布里，我不会立刻觉得它们特别差。我想如果真要试，就会得到一种特别明显的 AI 套路文风，比如动不动用“delve”之类的词。

如果能避免这种风格，也许用基础模型，或者写个很好的提示，要求“用 Gwern 的口吻写”，效果就会不错。如果你写了一篇很烂的博客，它可能能指出正确的反驳。但我也觉得它现在没有 Gwern 聪明。因此，要写出 Gwern 风格的评论，它既要摆脱企业腔的废话，又得真正变得更聪明。

Daniel Kokotajlo

它还得想出别人没有想到的好点子。

Scott Alexander

是的。我觉得它很多时候能达到聪明普通人的写作水平。如果博客文章不如这个水平，或者刚好达到这个水平，它就能提出有见地的评论。但我认为它还做不到评论一篇高质量博客。

Dwarkesh Patel

最近《金融时报》有篇文章叫“我们是否已经达到认知能力巅峰？”，提到 PISA、SAT 等考试分数下降。尤其在互联网上，似乎可能有个论坛的黄金时代，那时我还不太活跃。你会怀念互联网某个时期，把它当作思想圣地吗？

Scott Alexander

我特别后悔错过博客黄金时代。我觉得如果我 2000 年左右就开始写博客……我不知道，我现在过得不错，没什么好抱怨的，但那一代人都创办了新闻机构之类的。我可千万别落到那个下场。我也很想知道，自己当年在那个领域能做出什么。当然，我不会把互联网衰退和 PISA 的那些事相提并论，因为互联网用户肯定更多了，样本没那么经过筛选。

不过，博客圈一直讨论无神论与宗教的那段时期，我倒是可以错过。那挺疯狂的。但我确实听说博客黄金时代很棒。

Dwarkesh Patel

有没有谁在某种反事实意义上促使你开始写博客，或者一直写下去？

Scott Alexander

我非常感激 Eliezer Yudkowsky。我以前有 LiveJournal，但正是加入 LessWrong 让我相信自己可以进入更大的舞台。其次，我觉得自己从他那里继承了很多世界观。在接触 LessWrong 之前，我大概是世界上最无聊的主流自由派。我不完全认同 LessWrong 的所有想法，但能接触到这样高质量的观点，再作出反应、认真思考，对我帮助很大。

Dwarkesh Patel

你曾经匿名写作。我觉得在人类历史的大多数时期，一个有影响力的顾问、知识分子之类的人，可能都得有公开身份。当然我不确定这是不是事实。人们阅读你的作品时，很大一部分其实是在解读你的公开形象。

Scott Alexander

某种程度上是这样。很多古代作者被称作“伪狄奥尼修斯”或“伪塞尔苏斯”，就是因为你可以写一篇东西，声称：“哦，这出自圣狄奥尼修斯。”至于作者到底是谁，我不知道，反正谁都可以。

我不太清楚过去这种事有多常见。但我同意，互联网是匿名写作的黄金时代。我有点担心 AI 会让匿名身份更容易被破解。希望这个黄金时代还能继续。

Dwarkesh Patel

这似乎是个很好的结尾。非常感谢你们参加节目。

Scott Alexander

谢谢。

Daniel Kokotajlo

非常感谢，聊得很开心。

Dwarkesh Patel

我也聊得很开心。

Daniel Kokotajlo

我是你播客的忠实听众。

Dwarkesh Patel

谢谢。