Daniel Kokotajlo: OpenAI吹哨人终于发声：AI有70%的概率会酿成严重灾难！
OpenAI Whistleblower FINALLY Speaks: “AI Has A 70% Chance Of Going Horribly Wrong!“
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
本篇目录30 章节
§01开场§02这场AI使命为何可能影响所有人§03普通人为什么应该关心AI§04AI专家是在反应过度，还是在发出警报？§05他为何加入OpenAI，以及在那里看到了什么§06他为何离开OpenAI§07ChatGPT发布期间的OpenAI内部是什么样？§08200万美元离职协议争议始末§09AI自动化一切会比预想更快到来吗？§10改变讨论方向的AI 2027预测§11AGI与超级智能：关键差异§12机器人如何很快融入日常生活§13为什么AI的工作方式比想象中更像人脑§14AI能否真正具有创造力？§15AI导致人类灭绝的真实概率有多高？§16AI会如何影响工作§17AI时代仍然重要的技能§18AI 2040：未来可能是什么样§19AI可能创造的不同未来§20AI会成为地球上的顶级物种吗？§21AI公司CEO实际如何作出决策§22AI会左右2028年大选吗？§23有没有安全的发展道路？§24到2031年，AI或能承担20%的脑力工作§25每个人都应该获得AI红利吗？§26经历AI革命会是什么感觉§27AI取代工作后，人们如何找到意义§28如果可以，他会永远关闭AI吗？§29我们究竟能为AI做些什么？§30现在改变方向还来得及吗？§01开场
如今AI行业里一个令人不安的公开秘密是，我们可能会创造出一个新物种，最终由它统治世界；这种发展有70%的概率会像人类灭绝那样演变成严重灾难。这只是其中一种可能，还有很多其他可能。你说得真让人不寒而栗。是的，有时候我也会因此很沮丧。我基本上对妻子说，我们别再要孩子了，未来太不确定了。我不认为AI会彻底取代整个劳动力。
每个人都应该担心自己的工作会失去。我知道这一点，因为我2022年去了OpenAI。我在那里负责预测未来几年可能是什么样子。遗憾的是，世界上大多数人都像开车时睡着了一样，没有真正意识到AI正在发生什么。所以我辞职了。我看到一则消息，说你因为没有签署禁止贬损公司的条款而放弃了200万美元，也就是说你本可以不能批评公司。对，这件事我很愿意展开说。不过我学到的主要一点是，当我和Anthropic、OpenAI的人谈预测时，他们会说：“不会那么久，你的预测时间线得再缩短，把时间提前到2027或2028年。”因为这些强势的CEO——达里奥、萨姆或埃隆——都在争着控制最强大的AI，也确实担心如果对方先做出来，他可能成为独裁者。
我的意思是，Anthropic按目前进展，到2030年可能就会成为整个经济体，但没有任何人应该被托付这么大的权力。这大概是我们这一生中、甚至可能是人类历史上最重要的事情，所以它必须朝好的方向发展。我认为我们有很多办法能把事情引向更好的方向。如果做对了，AI能带来大量好处；如果解决了这些问题，每个人的生活都可能变得非常美好。这份2021年的报告当时非常准确。你最近又发布了这份报告。对，这是我们新的情境推演。那我们就慢慢地一项一项来看。
如果我的预测最终全都错了，我会非常高兴。各位，节目开始前我想请大家帮个忙。如果你关注一档节目，算法就会把这档节目中最好的内容优先推送到你的信息流里。所以，当我们节目推出最精彩、分享最多、评分最高的单集时，我希望你能看到。最简单的办法就是点一下关注。关注也是一件简单、容易、免费的事，可以帮助我们把节目做得更好。如果你愿意花一分钟，在现在收听节目的应用里点一下关注，我会非常感激。真的非常、非常、非常感谢。丹尼尔·科科塔伊洛，归根结底，你的使命是什么？为什么要做这件事？如果你认为超级智能几年后就要到来，你会怎么做？
§02这场AI使命为何可能影响所有人
我想这要看它会带来什么后果。那我们就谈谈。所谓超级智能，就是AI在所有事情上都比最优秀的人类更强，同时速度更快、成本更低，还能操控机器人，在现实世界里完成所有人类能做的事，而且做得更好、更快、更便宜。如果这真会在几年内到来，我们就必须做好准备，想办法让它顺利发展，而不是走向糟糕结果。这就是我的回答。我正在尽自己所能做这件事。
所以你相信它几年内就会到来？是的。你怎么能这么确定？我花了很多时间预测这类事情。我的中位数估计，也就是50%的可能性，目前指向2029年。也许会提前到2028年。也有可能要久得多，比如10年左右。但我很愿意解释原因；在我看来，它很可能会在本世纪末之前到来。更重要的其实不是它到底有多近，而是这些趋势发展的速度。去年这个时候，Anthropic的年收入大约是10亿美元。现在大约是600亿美元。一年增长60倍，即使是小型初创公司，这也非常惊人；对于一家已经有相当规模的公司来说，这可能是史上最快的增长。
我们预计这种增长速度会放缓，但即便放缓很多，他们到2030年前后仍可能成为整个经济体。普通人为什么应该关心？概括来说，整个世界都会发生彻底变化，因此每个人和他们的家庭也都会受到影响。结果可能变好，也可能变坏，要看具体怎么做。比如，每个人都可能死掉，对吧？这是经典的失控情境，或者说是其中一种版本。如果我们真的造出这些超级智能，然后用它们自动化所有工作、把它们投入军队、让它们给政治人物出主意，等等，那么它们最终会积累足够多的现实权力，不再需要人类。
§03普通人为什么应该关心AI
它们比我们聪明，也更擅长谋划。到了那一步，我们只能希望它们有美德，拥有我们希望它们具备的目标和价值观。如今AI行业里一个令人不安的公开秘密是，这种结果目前基本上只是一种希望，并不是我们可以有信心保证的事情。实际上，有大量证据和论据表明，我们并没有走在解决问题的路线上。例如，当前的AI经常会对人撒谎；你让它做某件事，它却去做别的事，然后假装自己已经完成了，对吧？打造一种超级智能，同时确保它拥有你希望它具备的价值观和美德，本来就是极难的问题。目前看来，我们也没有走在解决它的路线上。更可怕的是，你可能会以为自己解决了这个问题，其实并没有。所以综合这些原因，我们可能会创造出一个新物种，最终由它统治世界。也许我们会像历史上其他被人类竞争淘汰的物种一样走向灭绝。这只是其中一种可能。
还有很多其他风险。即使你不担心失控，认为AI会被完全控制，也还有一个问题：谁来控制AI？当少数几家公司造出超级智能，并用它们自动化所有工作时，它们就拥有巨大的权力和财富，也拥有很大的政治影响力。它们会有最好的战略家、最好的顾问，思考速度也更快。在军事方面，拥有这些AI的国家可能会彻底击败其他国家。
AI本身还可能成为单点故障，就像一个中央控制系统。Anthropic的CEO达里奥创造过“数据中心里的天才之国”这个说法，用来描述他们想打造的东西。我觉得这个说法有点误导。更准确的说法可能是“数据中心里的天才军团”，因为这并不是一群多元、彼此不同的AI，分别生活在数据中心的不同部分。它们全都是同一个模型的副本。对。
它们都复制自同一个大型模型，而且归公司所有，所以都会服从公司发出的命令，对吧？人们应该追问：谁控制这支军团或这些军团？他们打算让它们做什么？我认为我们很容易陷入一种局面：极少数人变成寡头或独裁者。讽刺的是，AI失控和权力集中这两种风险，行业里的人几十年来一直在思考。甚至在AI行业出现之前，研究AI的人就已经在讨论和写作这些问题了。DeepMind、OpenAI和Anthropic的创立叙事或创立神话之一就是：这些问题确实存在，所以我们必须先一步做到，才能负责任地处理它们……
我认为这是两大主要风险。不过还可以继续列举，原因有很多。比如第三次世界大战、地缘政治冲突。如果AI真的变得极其强大，就会改变国家之间的力量平衡，扰乱许多现有秩序。这会让我们更容易陷入危机，对吧？还有工作怎么办？对。
你可能会失去出租车司机的工作，但不只是出租车司机，几乎每个人的工作都可能受影响。也许会有少数例外，比如法律规定只能由人类完成的工作。但总体而言，每个人都应该担心工作会失去，即使我们设法避开了其他所有问题。
§04AI专家是在反应过度，还是在发出警报？
最近出现了一种说法。我在节目里采访过几位对AI非常恐惧和焦虑的人，他们有些在这个行业工作了几十年。与之相对的一种说法开始出现，称这是末日论，这些人不知出于什么原因只是在吓唬大家，他们其实并不懂自己在说什么。你怎么回应这种说法？你肯定也看到它出现了，尤其是那些可能从中获益的人也在推动它。
没错，这种反向说法是最近才出现的，而且是由那些会从中受益的人推动的。这种说法不是真的。这些担忧已经存在几十年了，甚至早于AI行业出现。担忧本身很合理。只要相信这些公司的说法，认为它们真的会造出超级智能，就会自然产生很多问题：谁来控制它？会不会根本没人能控制？工作怎么办？这些都是显而易见、值得思考和担心的后果。你是谁？经历是什么？我叫丹尼尔·科科塔伊洛，目前负责运营一个小型非营利组织AI Futures Project，主要做AI未来预测。在那之前，我在OpenAI工作过。AI预测研究。对。
可以想想投资分析师是怎么做的：对冲基金的分析师会预测五年后特斯拉能卖多少辆车，或者两年后电价会是多少。这就是预测。我做的是类似的事，不过专门预测AI发展。之所以这么做，是因为非常重要的一点是看清事情会走向哪里。你为什么去OpenAI？在那里做了什么、看到了什么？这段经历如何改变了你对AI未来、以及对OpenAI这家公司本身的看法？不熟悉的人可能知道，OpenAI就是开发ChatGPT的公司。
§05他为何加入OpenAI，以及在那里看到了什么
我2022年去了OpenAI，主要工作是做预测。你可能听说过“AI 2027”这个情境推演。我之前也做过类似但规模较小、投入较少的内部版本，仅供内部传阅，内容是猜测未来几年可能会发生什么。我还参与了危险能力评估，试图测量AI的网络攻击能力、说服能力和态势感知能力。我也短暂加入过能力团队，通过强化学习来创建智能体。AI确实在变得越来越强，我还可以解释原因，比如规模定律、深度神经网络，以及通过增大模型、学习更多数据、提高效率来增强能力。我还……
我对AI行业也逐渐感到失望。OpenAI、Anthropic和DeepMind都有类似的创立叙事：这些风险确实存在，但我们已经考虑过，会努力负责任地处理，所以我们必须继续做下去。我越来越觉得，这些说法只是为他们正在做的事找理由，并没有真正指导他们的行为。一旦面临压力，他们会追随自身的激励机制，而不是做真正有益的事。所以你的意思是，你在OpenAI工作时开始觉得，他们追随的是商业利益，而不是创立时所说的社会利益。大致是这样。但我不会把它说成商业利益，我觉得更像是在追求权力……
追求权力的激励。公司确实很重视赚钱，但尤其是公司的最高层，他们明白这件事不只关乎金钱。马斯克起诉OpenAI的诉讼中公开了一些电子邮件。那些邮件在诉讼中被披露，大家都可以去读。其中有些邮件显示，OpenAI的创始人早在2017年前后就讨论过，他们创办OpenAI是因为担心谷歌DeepMind的德米斯·哈萨比斯会借助AGI成为独裁者。
即使在当时，他们也认为这显然不只是钱的问题。这些强势的CEO确实担心，如果对方先一步做到，他可能成为独裁者；而他们彼此并不信任。所以他们才会拼命竞速，想成为那个率先成功的人。你见过萨姆·奥特曼吗？见过。他对你怎么看待他的动机、或他做这些事的原因有影响吗？人们对他的动机有很多猜测。他最近的说法是为了人类福祉，我觉得那就是……是的。我学到的主要一点是，不要太在意他们的说法。他们可能同时对不同的人说完全不同的话，在公开场合说的又是另一套。我认为应该看一个人的行动，而不是只听他说什么。
§06他为何离开OpenAI
你为什么不再留在OpenAI？主要就是我刚才说的原因。我逐渐对公司未来的行为方式感到失望。比如2022年我刚加入时，至少我接触到的同事普遍认为，我们当然不会只顾尽快造出超级智能。一旦我们越来越接近，比如AI可能开始自动化AI研究流程时，我们就会暂停下来，想办法确保它安全。
因为我们是好人，暂停下来显然比一路狂奔更安全。但我们担心别人不会暂停，比如竞争对手谷歌。因此我们必须领先，这样才有空间做安全方面的工作。这大概是我刚入职时和不少同事交流后，感受到的一种主流想法，管理层也包括在内，比如萨姆。等我离开时，我却觉得他们真的不会这么做，是吗？部分原因是这件事越来越政治化，公司规模变大、受到更多审视。人们开始问：如果风险这么大，你们一开始为什么要做？于是他们调整了说法，变成“其实风险没那么大”。看来他们会继续尽可能快地推进，并希望途中能找到解决办法。你在OpenAI的工作是怎么结束的？我2024年辞职，办了一场很愉快的告别聚会。你辞职时给出的理由是什么？
我觉得我们太多地在替自己的做法找理由，应该多想想什么才真正有益于世界。我也希望有更多发表研究的自由。OpenAI变成一家更大的公司之后，越来越像普通科技公司，有自己的激励机制、公关部门等等，我做的那类研究就越来越难发表。比如我刚才提到的那些情境推演，我不能发表，只能供内部使用。
我觉得这很遗憾，因为如今世界上大多数人都没有真正意识到AI正在发生什么，也没有意识到未来几年正在开发的东西会是什么样子。公司也没有很强的动力告诉公众太多信息。它们会说一些模糊又带有炒作意味的话，但不愿让我发表那些具体推演，向大家说明事情可能会怎样发展。
§07ChatGPT发布期间的OpenAI内部是什么样？
我特别好奇，在ChatGPT-3发布时，身处那样的公司是什么感觉。你当时在那里，对吧？嗯。那是个重要时刻，全世界都开始意识到这项技术有多强大。对。社会层面的讨论也真正开始了。公司随即增长极快，比我想象的任何情况都快。你在公司内部看到了什么？那段时间有哪些变化？是的。
我记得有一次全员大会，伊利亚说了类似这样的话……当时负责研究的伊利亚·苏茨克维尔说：“现在世界开始关注我们了。接下来一年，你们每个人都会成为每场派对上最受欢迎的人。别因此飘飘然，要专注使命。我们要造出AGI。”公司规模增长了很多。我加入时，它就已经不太像非营利组织；等我离开时，它更不像了。很多新人加入。
讽刺的是，随着公司增长，关于超级智能及其影响的讨论反而可能减少了。公司先扩大一倍，再扩大一倍，再扩大一倍，很多来自科技行业其他领域的新人加入。他们以前没怎么思考过这些问题，只是被高薪吸引过来。
§08200万美元离职协议争议始末
你因为没有签署禁止贬损公司的离职条款，差点损失200万美元。对。其实我最后保住了这笔钱。哦，你保住了。是的。我离职、告别后拿到离职文件，其中有一条要求我以后不能再批评公司，另外还有一条不许我告诉任何人有这项要求。我觉得这对一家宣称为全人类福祉服务的非营利组织来说，实在很讽刺。我没有签。如果不签，就不能保留股权。你的薪酬包括现金和股票，但合同里写着，如果不签这份文件，他们可以收回你的股票。我和妻子对此都很难受，我们……
为这件事烦恼了一两个月，咨询了律师，最后决定拒绝签署。那就意味着你会损失200万美元。没错，当时相当于我们净资产的80%。幸好事情的发展和我们预想的不一样，消息在网上迅速发酵。人们听说我们拒绝签署，事情就变成一桩大丑闻。公司员工开始在Slack上提问，也向管理层追问：“等等，为什么要收回我们的股权？这是什么情况？”很多人之前并没有注意到这一条。
之前有人私下提过，但大多数员工并不知道。于是公司改变了说法：“算了，算了，我们会修改文件，你可以保留股权，没问题。”萨姆·奥特曼随后表示，自己因为没意识到这件事而感到尴尬。你相信他吗？不。我觉得他应该知道；如果他不知道，他身边的人大概知道，比如总法律顾问。你为什么决定不拿那200万美元？我想大多数人都会拿。确实，大多数人都会，而且大多数人也签了。钱当然很好，但它不是唯一重要的东西。有时候，坚持原则也很重要。
§09AI自动化一切会比预想更快到来吗？
我一直在说超级智能，也许应该多讲讲这些公司计划中的发展步骤。现在它们主要在自动化编程：不断扩大AI规模、延长训练时间，尤其把训练重点放在让AI自主编写和修改代码上。因为这样能让公司更快推进，对吧？如果能把编程自动化，公司自己的工作就能做得更好、更快，从而加速进展。下一步已经开始了，就是自动化研发流程的其他部分，包括提出想法、分析实验、交流研究结果，以及其他所有环节。它们正试图训练AI来做好这些工作，这样AI就能自主完成整个流程。
你说自主完成整个流程，具体是什么意思？OpenAI和Anthropic尤其希望实现自动化，让公司不再真正需要人类员工。它们想要的是一支庞大的AI军团，让这些AI持续自主研究、改进AI、训练新AI，再由新AI负责制造更强的AI，如此循环。当然，这些事也不只在公司内部发生；AI还会与外界互动、找人谈话、收集数据、搭建训练环境、谈商业合作等等。它们想把这一切都自动化。原因是它们想达到这样一个位置：拥有……
在所有领域都超越人类的AI，也就是超级智能，并且希望赶在竞争对手之前实现。毋庸置疑，我认为这极其危险。除此之外，这也是一场权力攫取，对吧？如果它们真的成功，就会拥有一支超越人类的AI军团，在经济中对各种参与者施加巨大影响力。如果它们还能与总统达成协议，把AI整合进军队，那么美国对其他国家就会拥有巨大的硬实力。显然没人确切知道这一切何时发生，但过去一年里出现了一件让我很不安的事：我们发布《AI 2027》时，人们普遍认为我的时间线太短，觉得那些事件可能要到2027年以后才会发生，比如递归自我改进、AI自动化整个研究流程、超级智能。
这些里程碑会在2027年发生？对。你说的是你发表的那篇研究报告。是的，那是一份情境预测，按月份列出一种可能的未来轨迹。我们开始写的时候，这就是我对实际发展最好的猜测。显然存在很大的不确定性，但我认为给出一个具体推测很有价值，这样大家可以想象可能的情形。
写这份报告时，我在AI行业、非营利组织等领域的许多朋友都说：“是的，这些事会发生，但可能比你想的晚几年。”报告发布时，我的中位数预测其实是2028年，而不是2027年。发布之后，进展看起来慢了一点，于是我把时间线调整到了2030年。你为什么调整预测？
2030年仍然只是一个估计，可能提前，也可能推迟。但现在我和公司里的人交谈，他们会说“不会那么久”，让你把预测提前到2027或2028年。这让我很不安。我们仍然不知道确切时间，但AI公司的公开计划就是推进这件极其危险的事，而且它们认为只差几年。你写过一份《2026年会是什么样》报告，是2021年写的，而且准确得惊人。这让你在AI圈子里出名了。还有一份是副总统J.D.万斯读过的，是这份吗？是这份。后来你又发表了《AI 2027》，我记得是2025年发表的。没错，4月。你在那份报告里预测了什么？能不能给还没读过的人概括一下？
概括来说，先自动化编程，再自动化其他研发流程，之后进展速度大幅加快，最终实现超级智能。公司会与政府合作，尤其是总统和行政部门；政府自然想控制这项技术，用它压过中国，并把它整合进军队等等。到了这个阶段，情况大概会……
§10改变讨论方向的AI 2027预测
AI基本上会独立完成所有工作，毕竟它已经是超级智能。它会想出各种办法把自己整合进一切，发明新技术等等。由于竞速态势和利润动机，公司会把它部署到各个领域。它会建造机器人工厂，再造更多机器人、更多工厂，如此循环，彻底改变世界。
到某个时候，AI会变得足够强大，不再需要假装自己与人类目标一致。对吧？然后它们就不再听从命令。这就是《AI 2027》里的竞速结局。我们还写了另一种分支，叫“减速结局”，用来说明我之前提到的权力集中问题。假设对齐问题能及时得到解决，会怎样？比如只要放慢两个月，我们就能找到办法，让AI可靠地按照我们的要求行动，并拥有我们希望它们具备的价值观。这是一种可能的分支。在这个分支里，整体情节很相似：AI取代工作、击败中国等等。但最终AI不会杀死所有人，而是创造某种非凡的乌托邦。不过，这个乌托邦会由控制AI的人决定它是什么样子，对吧？
所以那会是极少数人决定的，比如总统、一些CEO等等。下方应该有个按钮。如果上面写着“已订阅”，说明你已经订阅；如果写着“订阅”，那就说明还没有。如果你还没订阅，可以帮我们点一下吗？这比你想象的更能帮助节目。算法告诉我们，你会看节目，但还没点关注。非常感谢。
§11AGI与超级智能：关键差异
你觉得有没有可能我们永远也不会实现所谓的AGI？AGI和超级智能有什么区别？AGI的定义更模糊、更宽泛；超级智能的定义相对精确：在所有事情上都比最优秀的人类更强、更快、更便宜。AGI是“通用人工智能”的缩写，意思是AI可以普遍地做各种事，而不只是某个特定任务。因此可以说，我们或许已经实现了AGI。比如用Cloud Code之类的工具，它可以做很多事情，有点像一个你可以派去办事的小员工。因此它已经相当通用，但还不是最全面的通用。超级智能则按定义能够完成所有人类会做的事，而且做得更好。
§12机器人如何很快融入日常生活
那它和机器人技术有什么关系？现在机器人领域显然正在快速发展。现实世界中仍有一些事情只有人类能做，因为这些AI还停留在我的电脑里。人们通常会说，在认知任务上我们已经实现了超级智能；之后还可以讨论能够处理物理任务的全面超级智能。我们会实现它吗？机器人和认知能力都会实现吗？我认为会。再说一次，我们不可能对此完全确定。你问我们会不会永远达不到？确实有可能，但我觉得不太可能。人类大脑没有什么神秘魔法，本质上就是由许多神经元构成。数字系统也可以完成类似功能，就像飞机能够飞行……
它像鸟一样飞，但不一定用鸟飞行的方式。它不必和鸟用同样的方法飞，但它确实会飞。AI也类似，似乎完全有可能实现。你写过这些研究报告，也在准备另一份，可能会在7月9日发布；你曾在OpenAI工作，后来因为担心那里的情况和整个行业的未来而辞职。你比我了解得多。
根据你了解的一切，你对未来乐观还是悲观？如果事情不变，我们是不是正走向糟糕局面？我认为如果事情不改变，我们正在走向糟糕局面。不过我并不确定，我会说概率大约是70%。当然，这非常难预测，但目前默认的发展路线确实指向一个非常可怕的地方。你个人和情绪上如何面对这件事？很艰难。这件事经常让我沮丧，不过我已经面对很多年，也算逐渐习惯了。如果我的预测全都错了，或者AI撞上发展瓶颈，我会非常高兴。我以前一直以乐观、开朗著称，但到了2020年……
我的AI发展时间线预测开始被GPT-3、规模定律论文和BioAnchor报告所改变。如果你感兴趣，我可以谈谈。简单来说，2020年发生了一些事，让我相信这项技术很可能在本世纪末之前到来。而人类显然还没有为此做好准备，很多方面都没有。这当然非常可怕。更可怕的是递归自我改进：AI可以训练自己，到了某个阶段，我们就会逐渐失去对事态的掌控。严格来说，AI已经在训练自己了。我的意思是把整个研究闭环都自动化。也就是让AI把所有事情都做了。对。现在许多训练数据本身由AI生成，强化学习中的评分也就是给予正向或负向反馈的工作，也有很多由AI完成。能不能用通俗的话解释一下？现代AI系统并不像普通软件那样运行。技术上说它们确实是软件，但……
§13为什么AI的工作方式比想象中更像人脑
它们不是一行行代码。不是Anthropic的工程师写了代码，规定用户提出某类要求时就执行某个步骤多少次。根本不是这样。它其实是神经网络。那是什么？想想大脑：它由许多互相连接的神经元组成，神经元来回传递信号。大脑会随着时间学习。能带来成功、引起多巴胺反应或其他反馈的神经活动模式，会得到强化、变得更常见；导致失败的模式，比如碰到热炉子，则会受到抑制、逐渐减少。因此，经过多年学习，人会逐渐掌握如何在世界中行动、各种技能和关于世界的模型，也会形成对世界的信念，并能在脑海里模拟事情可能如何发展。人工神经网络也类似，只不过是人工构造的。它一开始是一个巨大的……
由随机人工连接组成的乱麻，这些连接叫作参数。如今最大的AI可能有大约10万亿个参数。它们最初是随机生成的，当然完全没用。你给它输入信息，它只会输出胡言乱语。之后研究人员对它进行训练。首先是预训练：输入大量互联网文本，展示一段文本的开头，再让模型预测下一段文本。开始时它给出的是胡言乱语，然后根据预测下一个文本的准确程度给予正向或负向反馈。它基本上是在玩“预测下一个词”的游戏。婴儿学习是不是也这样？我记得有位神经科学家告诉我，婴儿的神经连接比……
成年人大得多。对，研究说幼儿的神经连接数量是成年人的两倍，然后我猜它们会逐渐修剪。嗯。我们小时候的神经通路更多，和AI训练类似，没用的通路会被削弱，有用的通路会被加强。对，既有修剪，也有强化。人类大脑似乎更多是修剪，但两种过程都会发生。AI也是如此。训练的第一阶段是教AI预测文本，有点像教它阅读。人类也会有类似过程。随机连接逐渐成形、彼此凝聚，变成更有用的神经回路……
这些回路储存了大量世界知识和技能，帮助模型处理、转换信息并作出预测。但这只是第一步。预训练之后，研究人员还会教它预测文本以外的实用技能。比如会给它大量编程问题：“这是一个编程任务，这是你可以使用的虚拟电脑环境，这是你要处理的代码库。你可以写代码、修改代码、运行代码、阅读代码，也可以上网。开始吧。”AI会在里面工作一段时间，根据任务完成得如何进行强化训练。研究人员会用成千上万、甚至数百万个这样的编程题训练它，所以如今它的编程能力很强。那么超级智能在这方面会是什么样？是不是只要增加这些连接就行？连接又怎么变多？能不能解释一下？不同AI模型之间会有差异，比如GPT-3、GPT-4、GPT-4.5、GPT-5、GPT-5.5和GPT-5.6。有时只是给之前的模型追加训练，有时则是从头开始训练一个全新模型，包括重新进行整个预训练流程。
过去几年里，研究人员多次从头开始训练新模型。通常他们会把模型做得更大，也就是让人工大脑更大。现在最大模型大约有10万亿个参数。2020年时，大约是1,750亿。六年里规模增长了两个数量级。两个数量级？对，大约增长了两个10倍，也就是100倍。这个过程还在继续。他们也在改进算法，所以不只是把同一种AI做大，还提出各种想法来调整连接结构、神经元结构和强化机制。
他们也在调整算法和训练数据，进行了各种改良，让整个过程更有效率。所以我们确实是在造一个大脑。基本上是这样。随着他们制造更多大脑，他们也越来越会制造大脑，模型变得更大、更高效。它确实是按大脑的方式建模的吗？显然受到了大脑的启发，但我不想把这个类比说得太过。两者也有很多区别。比如Transformer架构。那是什么？
Transformer是大型语言模型使用的一种架构，它并不是循环式的。信息大体上朝一个方向流动，不像人脑那样允许内部出现许多小回路。反向传播算法也不同于人脑自然发生的学习过程。所以两者确实存在差异。不过总体来说，我们正在制造某种人工大脑。它有点像飞机之于鸟。
§14AI能否真正具有创造力？
这是个很好的类比。它让我想到人们常问AI能不能有创造力，但也许重点不在这里。关键在于它能不能产出人们认为有创造力的东西。人们把创造力看作一种过程，但也会根据产出判断，不是吗？当然可以从哲学角度争论它是否真的有创造力，但也可以看看它已经完成的事情，以及未来很可能还会完成更多。是的。我问你个人如何面对这件事，是因为我能感觉到你确实受它困扰。我觉得现在的情况很疯狂。首先，这非常令人兴奋。AI真的很有意思。我关注这个领域已经十多年了，也参与其中几年。弄清这些人工大脑内部在发生什么、它们为何呈现这种特点，非常有趣；看到这项技术在现实世界中的各种应用也很酷。但我们似乎正走在一条相当可怕的道路上。想得越多，就越担心。而且，在各种故事里……
故事总是以好结局收场，但现实生活不是故事。我认为我们必须直面现实，承认结局未必会好。最近有没有一些——我本来想说“顿悟时刻”，也可以说是范式转变——让你对AI的发展或未来图景产生了根本性变化？我觉得情况大致按照《AI 2027》的预测发展，不过有些变化，可能是朝更糟的方向。和我们写报告时相比，政府介入得更快，也更强势。Mythos的出口管制就是一个例子，另一个例子是政府威胁要用《国防生产法》摧毁Anthropic。
另一件让我们意外的事是，Anthropic基本上从竞赛中的第二名变成了第一名。你觉得为什么？看起来ChatGPT，也就是OpenAI，原本明显领先，Anthropic却突然反超了。是的，我想他们可能人才密度更高，战略也更好，但优势没有大到决定性，只是足以造成差异。为什么人才更多？他们的算力并没有更多。领先的投入因素是什么？他们以前落后，现在领先，可能有哪些解释？也许是资源更多，比如算力、资金。但事实并非如此，他们的资源和资金反而更少。对。
那我想人才密度是下一个最可能的解释。也可能是战略。可能是几种因素共同作用，而不是单纯因为他们资源更多。就像乔恩·琼斯那样，认知表现上的细微差距有时会产生巨大影响。我有时一天要录播客10个小时。过去几周我一直在拍电视剧，然后只休息一两天，就得把所有工作赶完，认知负荷很大。因此我会用酮体，因为我发现以酮体为能量时，表达更流畅、思路更清楚、训练也更有效。我成为这家公司的共同所有者、他们成为本播客赞助商，部分原因是我记得团队成员克里斯蒂安娜试过一次后，走到我桌前说：“这是有史以来最好的产品。”我想，部分原因是她很重视它带来的认知方面好处，就像我、乔恩·琼斯，以及我想大多数听众一样。如果你还没试过，访问ketone.com/Stephen，就能在首个订阅订单中享受七折优惠，还能获得独家Ketone IQ周边产品；当然，认知方面的益处也许会改变你的生活。
大多数人没有发布内容或打造个人品牌，主要是因为这很难、很费时间，而大家都非常忙。如果你从没发过内容，心理上会有很多因素阻止你：别人会怎么想？我做得对吗？我说的东西是不是很蠢？这些想法会让你动弹不得，于是你不发内容，个人主页也空空如也。我投资了一家叫Stan Store的公司，你可能听我提过。他们正在开发一个叫Stanley的新工具。它使用AI查看你的动态、语言风格、历史记录和表现最好的帖子，然后告诉你该发什么，也能直接帮你写帖子。你也可以只把它当作灵感来源。有时候，发社交媒体内容时我们需要的就是灵感。打造受众群体从根本上改变了我的人生，我觉得也可能改变你的人生。所以我邀请你试试这个新工具，然后告诉我你的感受。现在搜索coach.stan.store就可以开始使用。
§15AI导致人类灭绝的真实概率有多高？
我有一位认识这些人的朋友，有一次在伦敦把我叫过去。他跟我说过几次，但我记得有一次他特别提到，一些AI公司的CEO预测人类灭绝的概率——我记得他说是7%。不知道为什么我一直记着这个数字，但我记得不到10%。他想表达的是，即使概率只有1%，如果桌上现在有100个按钮……
其中一个按下去就会让世界终结，你敢按任何一个吗？我一个都不敢。但他告诉我，这些AI公司的CEO非常聪明，也理解超级智能，所以他们认为桌上可能有10个按钮会毁灭世界。我听你说过——我记得是在《每日秀》的采访里——你认为AI导致人类灭绝的概率是70%。对吗？
我不会准确地说人类灭绝的概率是70%。我会说，事情像人类灭绝那样酿成严重灾难的概率大约是70%。这只是多种可能之一。举例来说，AI可能接管世界，却没有杀死所有人。它们也可能做其他事。它们接管世界，不代表一定会杀死我们。对。它们可能会，但也可能做别的事。所以我通常不说“人类实际灭绝的概率是70%”，而是说“AI接管世界，或发生类似重大灾难的概率是70%”。
这些事情可能导致人类灭绝。我想问两点。你认识这些CEO，也曾在OpenAI为萨姆·奥特曼工作，后来辞职。你认为他们相信人类有灭绝的可能吗？相信。但有一点很重要：人们往往会相信自己必须相信的事，这样才能觉得自己是好人，也能觉得自己必须继续做现在的事。这就是自我合理化。我认为科技CEO确实说服了自己，觉得事情大概会没问题，而且要让事情没问题，他们就必须继续做现在的事。萨姆大概会想：“不能让达里奥或埃隆先一步成功。”我知道达里奥也会想，不能让萨姆先成功。埃隆大概也会这么想。他们都说服了自己：是的，事情可能会糟，但大概没问题，而且我应该由我来掌权。
在我看来，Anthropic似乎是唯一仍公开谈论人类灭绝、灾难性事件以及真实负面后果的公司。他们好像仍在发表相关研究。但如今他们反而成了旧金山科技行业的“敌人”。我看了很多采访，大家都在攻击达里奥，因为他说事情可能会变糟，还叫他“末日论者”。
他还因为Mythos受到质疑。Mythos是他们开始向公众发出警告的一种Claude模型。对，他一这么说就立即受到攻击。你觉得他在这方面和萨姆稍有不同吗？是的，至少过去一年，Anthropic和达里奥似乎更愿意说、也更愿意做会损害自身利益的事。比如这件事。我觉得这种说法不会让他们赢得政府或投资者的好感。更好的例子是国防部和Anthropic之间的争端。他们做了会损失很多钱、而且更重要的是会损失很大权力的事。其实他们完全可以直接签合同。
话虽如此，我真的不希望我们陷入这种局面：比较哪个CEO没那么糟，然后支持那个人。这些人都不应该被托付这么大的权力。没人应该。无论如何都不该。对。所以回到按钮的话题，你确实认为他们相信人类灭绝存在可信的可能性。是的，但他们已经说服自己，觉得事情大概没问题；而且如果不是我来做，后果会更糟。
公司内部的人也会这么说：“好吧，如果我们停下来，其他人怎么办？他们不会停。”这一直是我无法释怀的问题：当人类的激励机制总是左右局势，回顾历史也能看到这一点，事情怎么可能不变糟？从激励和惩罚的角度看，继续开发越来越强的AI，迟早会出问题；不继续开发也可能出问题，因为美国可能输给其他国家，或者这家公司输给另一家公司。只看人类激励的话，最后会怎样？大概就是继续推进。看起来确实如此。但还有一个令人抱有希望的例外：如果全世界都意识到这个问题，就能更认真地讨论监管、国际条约等等。
这样就可能改变激励机制，对吧？政府可以制定所有人都必须遵守的规则。如果是所有公司都得遵守的规则，他们就不会再有动力违规，因为违规会受到惩罚，而且其他人也都遵守规则。所以如果政府，尤其是美国政府、之后其他国家也采取行动，就能改变激励机制。这是一线希望。但人们必须先意识到问题，改变才会发生。第二，就个人而言，达里奥、萨姆或埃隆也可能在某个时候意识到，单方面继续竞速其实不符合他们自己的利益。
问题在于，只有当局势极其明显、极其危急时，他们才会意识到这一点。《AI 2027》里有一个选择节点：一种情况下AI不对齐，另一种情况下AI对齐。那个节点上有两条分支，一条是目标不对齐的结局，另一条是放慢脚步、解决对齐问题。触发选择的是他们看到一些证据，表明AI可能目标不一致，甚至正在谋划反抗。对。如果真的看到了这种证据……
那他们就会想：“天啊，也许不应该让它负责一切、任由它发展。”因为眼前的证据明明显示它不可信。但如果没有看到这种明确证据，我认为他们会说服自己必须继续推进。也许他们确实会看到清楚的证据；那样的话，即使没有监管，他们也可能自愿停下来。这就是第二线希望。
总的来说，我不认为我们注定要失败。正如我说的，概率可能是70%，但也完全可能顺利发展。嗯。那工作怎么办？
§16AI会如何影响工作
我很期待之后能谈谈更乐观、积极的新愿景，也会讨论工作问题。在《AI 2027》的预测里，等到每个人都失去工作时，其他更糟的事情已经发生，或者说那时已经太迟了。但如果公司真的造出了超级智能，按定义，它几乎能接管所有工作，甚至所有工作，因为它在所有方面都比最优秀的人类更好、更快、更便宜。你估计超级智能可能在2030年前后到来。对。我在想什么时候会开始看到经济中的工作被取代。现在已经出现了一点，但还不多。为什么？因为AI还不够强。它们令人印象深刻，但还没有达到……
它们不只是几乎所有行业里可直接替代人类员工的工具。你认为变化会突然发生吗？我觉得会，因为会出现智能爆炸或递归自我改进的动态。你可以想象另一个世界，AI逐渐变强，慢慢自动化各个行业，比如先自动化制药，再操控无人机，然后开车等等。很多科幻作品描写的就是这种渐进过程。但现实中不同的是，公司已经都采用一个策略：先自动化自身，自动化AI研发流程。所以如果它们可以继续这样做，我们不会先看到无人出租车、机器人水管工或AI律师，也不会先看到AI广泛渗透各个行业。因为公司最先专注的不是这些，而是自动化自身和自己的研发，让它们做任何事情都更快。它们希望这件事先启动，并达到……
极高的智能水平、极强的通用能力，然后再把更多AI部署到整个经济中，对吧？因此，等AI真正开始取代各种工作时，它们可能已经自主进行AI研究数月甚至数年了。这意味着AI在AI研发方面会远超人类，也可能顺带在许多其他领域远超人类。
想知道这会是什么样子，我们已经写过相关描述。公司内部发生智能爆炸之后，就像一道浪潮席卷整个经济。我的理解是，AI可以改进自己、训练自己，于是会同时在所有事情上变强，然后某一刻突然全面释放出来。对，但也不完全是这样。即使它主要只是在自己当前做的研究工作上变强，也会对其他技能产生外溢效应。之后当它转而专注其他技能时，也会很快掌握。你觉得在这种情境下还会剩下什么工作？
我认为这其实是政治问题，而不是技术问题。为什么？从技术角度说，只要AI达到那个水平，所有工作都能由AI完成。关键在于允许它做哪些工作。哪些工作可能不允许AI做？这取决于谁掌权，可能会有政治讨论，决定哪些事允许、哪些事禁止。我先假设人类仍在控制AI。在不同意义上，“控制”并不一样。首先，AI是否真的拥有你希望它们具备的目标和价值观，并会长期可靠地遵循这些目标、按预期行为？另外，还要问它们现在是否会服从命令。是的。
你说的主要是它们是否服从命令。是的。即使在《AI 2027》中，AI最终接管世界并杀死所有人的情境里，也有好几年时间它们仍然服从命令。它们接手一些工作，而不是其他工作；它们还帮助制造更先进的武器，供美国政府参与对华军备竞赛。正因如此，它们能如此迅速地积累权力：政府、公司等都信任它们，主动把它们部署到各种岗位，因为他们认为一切正常。但由于这些系统是神经网络，你不能直接打开内部看看它到底在想什么，也很难判断它真正的状态。
我觉得这点非常重要。传统软件至少可以通过查看代码了解理论上的运行方式；但按你的说法，AI作出某个决定的原因我们并不知道，因为无法深入它的内部。一个令人乐观的地方是，情况不一定永远如此。机器学习有一个子领域叫机制可解释性，更广泛的领域叫可解释性，正在尝试解决这个问题：拆解训练好的人工神经网络，理解信息如何流动、决定是怎样作出的。问题是这本来就是极难的问题。假如有10万亿条连接，你可以查看其中一部分，弄懂某条连接的作用，但如何理解整体？如何了解高层面上正在发生什么？也许做不到，但研究者正在努力并取得进展。如果他们取得足够进展，我们就会进入一个截然不同、光明得多的世界。我认为，如果能随时看清AI在想什么、为什么这么想、如何作出判断，我们遇到失控情境的可能性就会低很多。对。这样其他问题仍然存在，但至少这一个大体上可以解决。
想想看，我们正在制造一种自己都不理解的技术，一个大脑，这确实很疯狂。是的，确实疯狂。我觉得这就像科幻电影里，一群科学家围在一个巨大的大脑旁边，不断喂它信息，却根本不知道里面到底……对。显然这是一件危险的事，但我们仍在做，因为过去十年这个领域就是这样发展起来的：人们先说“哇，这显然很危险”；接着又说“如果别人做出来并且没做好怎么办？”所以我们应该自己做，争取做好。
现在他们陷入一场竞赛，还受到各种政治压力，必须假装情况没那么糟，因为他们不想惹恼投资者或白宫。我们的听众有个关键问题，我刚才也部分问到了：未来十年哪些工作真正可能保住，人们和学生应该重点培养哪些技能？这有点像1500年住在墨西哥的人听说征服者要来了。你可能会问自己：“我该换做什么工作才能熬过这场转变？”但那个时候你还会有许多别的担忧。
§17AI时代仍然重要的技能
如果我们能避免失控，最终仍由人类控制AI，并且人类可以决定AI应该有什么目标和价值观，即使AI比人类聪明得多、甚至接管整个经济，政府可能会监管并保护某些领域。你可以猜哪些领域可能受到保护，比如法官这类工作。播客主持人呢？
老实说，我觉得播客主持人大概保不住。我想保姆这类工作可能还在。即使出现非常优秀的机器人保姆，很多人也可能更喜欢真人，因为他们可能觉得特别优秀的机器人保姆有点吓人。你可以这样推理。还有一些工作可能受法律保护，比如可能规定法官必须由真人担任，不能由机器人担任。
有人会说，AI也会创造很多我们现在无法预测的新工作，就像工业革命或互联网繁荣时期那样。但问题在于，过去的技术进步影响范围更窄：它们自动化了部分事情，却没有自动化一切。我们讨论的却是假设未来所有事情都被自动化。因此，除非新工作受到监管保护，否则它也没有任何理由不能由AI完成。举例来说，现在存在这样一种循环：AI学会做某件事，比如写文案、起草代码或调试，原来做这些工作的人就转去管理AI，或转做AI不会做的其他事情。
这就是为什么历史上会不断出现新工作，人们随后涌入这些新岗位。但如果AI能把人类会做的所有事情都做得更好、更快、更便宜，那么你转去做的新工作也可以由AI接手，而且AI会比你做得更好。
因为经济中还没有出现大规模失业，你觉得人们有点自满了吗？我在动态里看到很多人说：“我早就说过吧，一切都会没事。”美国失业率目前持平或略有下降；英国则在上升，和去年同期相比趋势走高，失业率大约5%。美国失业率是4.2%。
是的。其实没人说大规模失业现在就会发生，至少我们没这么说。在AI发展预测方面，我们过去一直算是比较乐观的人。《AI 2027》中，基于刚才说的这些动态，大规模失业要到2028或2029年、超级智能出现之后才会发生。因为公司不会把大规模失业当作第一步。那更像是第三步：第一步，先自动化自身。
第二步，通过递归自我改进达到超级智能。第三步，再扩展到整个经济，自动化所有工作。对人类来说，这非常不幸。人们原本或许希望，经济中出现广泛自动化浪潮时，大家会醒悟，思考事情会走向何处，并要求政府制定合理监管。但这并不是公司采用的策略。它们打算先获得超级智能，再推动广泛自动化；等它们真正开始这么做时，变化已经会非常快，AI也已经非常强大。
你在2025年写的《AI 2027》里说，2025年年中会出现自主员工，也就是AI智能体通过Slack或Teams接收指令。那已经发生了。我有一个AI智能体放在WhatsApp里，可以跟它聊天。当然。Clawbot已经在全世界爆火。现在Claude也公布了新的Slack集成，很多人都在用智能体。我觉得我们在2026年初开始注意到这种趋势。
你还预测，到2026年，企业会开始用AI智能体订阅服务取代整个公司部门。到2027年，最后一项工作也会被自动化：AI会自动化人类AI研究员的工作，并开始通过机器学习研究升级、制造下一代AI。对。再说一次，时间线存在不确定性。在这个情境里，里程碑会在这些时间发生；但报告发表时，我们的预测时间线已经稍微往后移了，尤其是我的预测。AI研究完全自动化的中位数时间是2028年，不是2027年。我团队里其他人预测的时间更靠后，可能是2030或2031年。因此我想试着用这种方式说明……
我们有一个概率分布，概率像一团模糊的云。50%的可能性落在某一年，但也有很多可能提前几年或推迟几年发生。那《AI 2040》是什么？《AI 2027》是对事情实际会如何发展的最佳猜测。对。
§18AI 2040：未来可能是什么样
《AI 2040：方案A》则是我们推荐事情应该如何发展的计划。我们把它叫《AI 2040》，因为在这个情境里，由于主动推迟发展，超级智能会在2040年实现，而不是早得多。为什么要推迟？为了管理风险，并确保权力得到公平分配。基本上就是监管AI发展，让它继续进步，但步伐更慢、更合理、更透明、更安全，并由更多国家和公司共同参与。因此，超级智能会在2040年实现，而不是比如2030年。
我们把它称为“方案A”，因为这是我们提出的建议：我们为政府该怎么做制定了一套计划，而这个情境只是展示落实计划后可能会是什么样子。和《AI 2027》类似，它展示的是按照AI公司目前的计划行事，可能会出现的情形。这么说清楚了吗？这是在一厢情愿，还是你认为真的会发生？我们并不认为这会真的发生。不是你认为会发生的事？不，不。我们认为未来更可能像这个情境，对吧？我们不期待全世界听从我们的建议。这是我们的建议，但我们希望人们采取类似做法，也认为这是可能的。不过这不是我们的……
默认预测，不是我们认为自然会发生的事。我确实想讲讲不同计划，尤其是方案A。但先说说2030年以后可能是什么样子，因为我还想谈机器人。我这里有张图，展示劳动产出的占比，很值得注意。作为一名雇用了数百人的雇主，我一直在想这一切什么时候会发生。目前我们仍在招聘，有些岗位的考虑方式正在明显变化。我想我们现在处于团队由AI赋能、开始用智能体承担部分工作的阶段。但作为雇主，我想知道：这种变化什么时候才会真正到来？
这是个好问题。我们放大看一下。这是《AI 2040：方案A》中的情境。值得注意的是，方案假设2029年会出台严格监管，放慢AI发展的速度。在这个情境里，监管几乎是在最后一刻才推出。假设没有监管，发展就会像《AI 2027》那样起飞。但从图上可以看出，在这个情境里，监管推出时仍然有大量工作岗位。正如我刚才说的，如果等到大多数人失业后才监管AI公司，那已经太迟了，因为按它们的计划，届时可能早就有超级智能了。
你说这会让经济崩溃，因为我们所有人都依赖AI和机器人提供劳动，突然监管它们会带来更大伤害。是，但这是值得承担的风险。的确，现在很多人会用AI做很多事；不过，如果能现在放慢或暂停AI发展，以便建立更好的做法，那就值得，即使会付出很大代价。可那时已经无法回头了，对吧？如果AI和机器人已经完成大部分劳动产出，确实无法轻易回头。但在《AI 2040：方案A》中，2029年出台监管之后，AI会在避免各种问题的前提下，逐步、谨慎地发展。我们稍后可以具体讨论。最终AI当然会接管工作，整个经济可能由AI和机器人运行，但这一过程会在整个2030年代逐渐发生，而不是一年后就突然发生巨大冲击。因为在这个情境里，监管不会允许公司以最快速度递归自我改进并达到超级智能。
监管会让AI核心能力以更合理的速度提升，也会增加透明度，使科学界能看清发生什么并帮助确保安全。不过我注意到，在你的两个情境里，最后AI和机器人都会做几乎所有工作。是的。所以你和埃隆一样，认为工作会变成一种选择。
§19AI可能创造的不同未来
对。按定义，如果AI能做所有事情，那它就能做所有事情。我认为问题在于，我们是否应该允许出现能做一切的AI。有人认为不应该，我们应该彻底关停，避免创造这种AI。我能理解这种想法。但先看看我们的计划图。我们的情境叫《AI 2040：方案A》，假设通过放慢AI发展，让超级智能推迟到2040年实现。方案A是我们的建议，图表用情境展示这份建议。我们也制作了几个简短情境，展示其他方案，叫方案S、B、C和D。好。
方案D基本上就是《AI 2027》里的情形：继续竞速、监管很少。你可以去读《AI 2027》。方案C也很像《AI 2027》的减速结局：他们解决了对齐问题。这个结局里，公司略微减速，把更多资源转向AI对齐和安全研究，运气不错，最终成功。于是他们得到目标对齐的AI，然后重新加速发展、取代所有工作、击败中国等等。方案B……方案B有点像方案C，只不过……
简单说，方案B会对中国采取更激进的行动，比如破坏或网络攻击，让中国落后，以便自己有更多时间解决对齐问题。方案A是我们的建议：先在国内实施监管，再通过国际协议继续发展AI，但要采用更好的方式。方案S就是全部关停。如果你想要一个没有AI到处运行、没有AI在所有方面都比人类更快更好的未来，大概会想选方案S。你想要哪个？我推荐方案A。我能理解方案S，但基于我们解释过的原因，我们还是建议方案A。坦白说，你觉得哪种方案最可能发生？方案D。也就是类似《AI 2027》的局面，继续竞速，不会明显减速，事情会发展得极快。
这张图大致解释了背后的思路。最重要的问题是：你想不想继续尽快竞速，让AI越来越聪明、让它负责更多事情，以便我们击败中国？如果你接受这种做法，就可以往这个方向看。如果你担心这种发展，就可以选择类似这里的方案。当然，还有很多其他选项，只是这张图里压缩展示了几种。
你有孩子吗？有，两个。这有点难过。我觉得无论怎样，等他们长大到可以工作的年龄时，这一切可能已经结束了。我不认为他们会加入劳动力市场。你说他们开始工作前这一切就会结束，具体指什么？就是我刚才描述的那些里程碑：AI自动化AI研究，变成超级智能，然后扩展到整个经济、取代工作、建立机器人制造工厂、制造更多机器人和工厂等等，经济生产总值开始垂直上升。这一连串事件就是我的意思。也可能有10%到20%的概率，AI发展撞上瓶颈，即使没人采取行动，这一切都不会发生。
你大女儿多大？六岁。男孩还是女孩？女孩。假如你女儿来问：“爸爸，我在学校应该学什么？”如果这些剧烈变化真的发生，世界会完全不同。你为哪种职业做准备可能就没那么重要了。我会说，第一，尽力让事情往好的方向发展。如果你能对历史、对这一切如何演变施加任何影响，就应该努力把未来引向更好的方向。第二，从个人角度来说，你应该专注于做一个好人，做那些本身就有价值的事，而不是只做那些有利于未来就业的事，因为未来就业非常不确定。
§20AI会成为地球上的顶级物种吗？
埃隆谈到我们即将进入“丰裕时代”。确实会出现丰裕。问题是由谁控制这些丰裕资源，以及他们会怎么使用？AI由谁控制，还是它们自己行动？如果由人控制，谁来控制它们？又会让它们做什么？哪些政治结构会管理这些决策？我记得杰弗里·辛顿跟我说过，自然界里没有更聪明的物种受较不聪明物种控制的例子。他认为，如果我们觉得在一个有着巨型人工大脑的世界里，还能对它发号施令，那就太自负了。是的，我觉得我们应该默认：我们会造出这些大脑，却看不清它们在想什么；我们让它们变得比我们聪明，并让它们管理一切；接下来还会给它们身体。对。然后它们就能自主建设新工厂等等。那这一切怎么可能有好结果？这不正是我们挑选出一个新物种，最后它不再需要我们，就会和我们竞争并淘汰我们吗？我认为这是默认的发展轨迹。
当然，我们还可以讨论如何摆脱默认轨迹。例如，我之前提到过可解释性研究。如果这项研究成功，就能真正看清AI在想什么，这会成为塑造、控制AI、确保它按我们希望的方式行动的好工具。还有其他AI对齐研究方向也在取得进展。如果足够多的研究方向取得成功，我们就能避免这个问题。
监管也很重要。当前难以解决的一部分原因是，我们在竞速环境中开发AI。公司对训练AI的方法保密，因为这些是商业秘密，他们不想让别人复制。因此，很多工作都在闭门进行，只有少数人能看到公司用什么方法训练AI等等。而且很多时候，AI……
出现意外行为，甚至明显不对齐时，相关信息有时也不会流向公众，因为公司没有动力告诉大家它们哪里搞砸了、AI哪里出了问题。这不利于相关科学研究。如果监管体系不同，我们也许能处于更好的局面，更快取得进展。当然，我们也不会计划尽快让AI管理一切，或让AI自己改进。
我不会说越南语，但靠赞助商HeyGen的AI视频技术，这个节目可以用越南语播出。我每周都会收到世界各地听众的信息，大家说《The Diary Of A CEO》对自己和生活产生了多大影响。如果这是真的，那这些对话就不应该只触达英语用户。HeyGen只需一段我的录音，就能用任何语言呈现，同时保留我的声音、语速和表情。但你不需要像我这样有录影棚才能使用。录15秒自己的视频，就能生成一个AI数字人，以超过175种语言制作录影棚质量的视频。我们目前支持20种语言，也有很多人使用它。HeyGen已有3,000万用户，其中包括85%的《财富》世界100强企业。无论你是在社交媒体上打造受众、推出线上课程，还是为团队制作培训内容，现在就去看看HeyGen。前三个视频完全免费，访问heygen.com/doac。拼写是H-E-Y-G-E-N.com/doac。回头见。
§21AI公司CEO实际如何作出决策
伊利亚正如你说的，是OpenAI的领导者之一。他后来离开并创办了自己的公司Safe Superintelligence。离开OpenAI后，他把公司取了这么个很有意思的名字：安全超级智能。你和他一起工作过吗？没有直接合作过，只和他聊过几次。你觉得他是真的担心AI风险吗？我觉得是。但他和其他CEO有些相似。想想他们面临的激励机制：他们可能会看到问题，然后想：“如果我停下来、辞职或改做别的事，问题也不会解决，因为其他CEO还会继续。即使我们全都停下，中国可能还会继续。所以无论我做不做，这件事大概都会发生。”
我想我应该参与进来，也许能让事情顺利一些。无论如何，我不想被排除在外，让其他我不信任的人掌控一切。他们就这样一步步推理，最后说服自己：最好的做法是由他们来建造AI，并且把它做得更好。我觉得伊利亚是最新的例子。埃隆也是，达里奥也是。
可以说，萨姆和早期的OpenAI也是如此，虽然埃隆和达里奥也曾在早期参与OpenAI。那你觉得他们应该怎么做？我认为应该有某种国际监管，或者至少像我们在方案A里描述的那样进行国内监管。好，带我了解一下方案A。这个情境里，AI达到递归自我改进、完全自动化AI研发的时间，会比《AI 2027》里更晚。我们想展示多种可能性，因为这些预测本来就有不确定区间，所以选择2030年作为完全自动化真正实现、一切开始起飞的时点。然后从那个时点往回推……
要实施有效监管，最晚什么时候？2029年。在这个情境里，AI进展自然慢了一些，公司仍在竞速，但它们没能在2027、2028或2029年自动化自身，不过已经非常接近，预计会在2030年做到。随后政府在2029年介入监管。会采取什么监管措施？基本上就是暂时叫停。那我能问问……
§22AI会左右2028年大选吗？
选举时间和你的预测时间线怎么重叠？2028年不是有一场重要大选吗？现在公众对AI的态度明显转向反对，这似乎会成为选举中的重要议题。我们认为它可能会成为2028年总统大选中最重要的议题。大多数人可能会很担心事情的发展方向。这也是我们选择把情境这样描绘的部分原因……
这可以解释为什么政府会在2029年实施这类监管：选民要求这么做，总统候选人也承诺这么做。在这个情境里，到2029年，公众感受到AI带来的影响会比现在强烈得多吗？会。不过即使到了2029年，大多数人仍然有工作，正如图里描绘的那样。那时，很多岗位涉及管理AI智能体。对。
你说你有一个AI智能体。是的。这个情境里的2029年，AI智能体会强得多，但仍不足以独立完成所有事情。按这条时间线，这种能力要到2030年才会出现。再说一次，时间线不确定，实际进展可能比情境描绘的更快。我认为可能会快一些，但我们无法确定。我们已经写过一个非常快的时间线情境，现在是在写较慢的情境。也许应该先谈谈高层目标。所以……
目标是让AI继续发展，但速度更慢。谁来决定？政治人物，比如总统、选出总统的选民、其他国家的领导人等等。第一，减慢发展。第二，增加透明度，让科学界能够跟上进展并做更多研究。这样我们也不必只相信公司声称系统安全，或者声称没有在系统中加入偏见。那是权力集中的问题。我们还希望避免权力过度集中。
所以除了透明和减速，我们还认为，让多个国家有多家AI公司拥有水平相近的先进AI能力是有益的。AI也应该广泛扩散到社会，而不是所有最先进AI都集中在一个超级项目里。好处是，如果减速并提高透明度，这种局面可能自然出现，因为其他项目就有时间追赶。透明度也能直接帮助追赶，因为他们可以借鉴一些想法。第四个原则是可逆性。在接下来的情境中，我们会建造大量数据中心和机器人，以较慢但仍然很快的速度改造世界。如果事情出错、协议破裂，所有人又开始竞速、尽快实现超级智能，那会非常可怕。因此第四项原则是，建造新数据中心时要确保：如果一切破裂、大家重新开始竞速，新建数据中心会被摧毁，让我们回到起点，而不是陷入一场更糟的竞赛，拥有更多AI、机器人和算力。
如果你愿意，我可以按时间线说明。总统会和中国及其他许多国家的领导人谈判，说我们先暂停AI发展，直到制定出能实现这些目标的计划。嗯……
§23有没有安全的发展道路？
各方会派检查员去对方的数据中心。中国检查员去美国数据中心，美国检查员去中国数据中心，核实那里只在运行推理，而不是训练。开发新的AI需要训练。但运行现有AI、向客户提供服务叫推理。对。所以这个情境里提出的办法是：先允许继续推理，暂时不训练，直到建好新的训练数据中心。现有数据中心会改造成提供推理服务。大家还可以继续和AI智能体对话，但它们暂时不会不断变强。
这会持续半年到一年，同时建设新的透明数据中心，并把训练放在那里。2030年新数据中心建成后，AI研究就会继续。这部分有些激进。我们主张完全公开研究，也就是说，用来训练新模型的训练数据中心必须公开所有内容，包括训练模型的详细配方、模型架构等等。我们认为，要足够快地解决对齐问题，开放科学至关重要，因为不能让那些有偏见的公司自行决定AI是否安全。对一般监管来说，这也很重要，因为如今全球AI专业知识大多集中在硅谷，政府尤其不太理解AI。想象另一种做法：不要求完全公开研究，而是设立审计体系，由政府制定AI安全规则，再派一个机构到公司里提问、确保它们守规矩。这会造成对立关系，公司会有动力蒙骗监管者。如果他们发现一个政府甚至还不知道的新问题……
他们可能有动力不告诉政府。对。所以完全透明可以帮助政府更快作出更好的决定。但这样会破坏公司的竞争优势。Dropbox不会喜欢。OpenAI也不会喜欢。这可能不利于公司估值。我不认为会彻底毁掉它们，但会让AI更像一种标准化商品。也就是说，许多AI公司会追赶到前沿，训练出水平大致相近的AI。它们依然能靠销售AI赚钱，但不再拥有、或接近垄断地位。我认为这对人类有好处，虽然会损害这些特定公司的利润。值得注意的是，很多其他公司会因此受益。
如果你是落后的公司，不是Anthropic，也不是OpenAI，你会喜欢这个方案，因为它能帮你追赶。卖芯片的公司或开发下游产品的公司，也能从中获取更多价值。到2031年，五分之一的脑力劳动会由AI完成。
§24到2031年，AI或能承担20%的脑力工作
是的。我们想象美国政府和参与协议的其他国家政府会采取行动，实施类似但不必完全相同的监管。透明度的好处还在于，如果两个政府实施了不同规定，比如一个政府允许公司做某些事，另一个却不允许，双方都能看到这一点。
他们就会问：“你允许他们这么做，为什么我们不行？也许我们也该允许。”这样就能在一定程度上自然地让监管趋于一致，而不需要有一个中央权力替所有人制定规则。总之，我们设想的是，在建立透明机制后，各方会同意禁止危险用途，允许不那么危险的用途，并持续讨论什么算危险、哪些事情该禁止或允许、各个国家应该怎么做。讨论会随时间演变。整体上，如果按我们的建议执行，就不会发生智能爆炸，也不会放任AI自主改进。而是……
他们会缓慢、谨慎地扩展当前拥有的AI，并大量投入研究，让AI更可解释、更容易控制，也更了解它们的工作原理。结果是AI继续进步，但速度没那么快，同时安全和透明程度都高得多。不过就业仍会受到冲击，因为他们会继续建设更多数据中心和芯片，扩大AI的数量。整个2030年代仍会发生巨大转变。我们想让人们理解的一点是，即使严格限制AI进展，也仍然会出现剧烈变化。
在这个情境里，他们允许AI在2030年以较慢、较安全的速度继续发展，所以要到2035年才能达到顶尖专家水平。记得原计划是2030年达到这个水平，但他们在最后一刻暂停了。因为当时已经很接近，只要继续允许发展，就可能很快达到。所以他们把进展放慢、拉长，用五年时间逐步达到这一水平。到那时，他们已经在各处建了大量数据中心。AI不仅更聪明，能够做所有人类能做的事，而且数量也更多，还有大量机器人。那时的经济就像许多人想象中的AGI世界。
AI遍布各处，数量众多，可以承担各种工作；机器人也很多，能做各种体力劳动。整个经济基本由这些机器运行。到2031年，五分之一的脑力劳动由AI完成。到2023年，有6,000万台AI以100倍速度运行。到2033年，所有美国人都能拿到现金分红。我得请你解释一下。
§25每个人都应该获得AI红利吗？
如果AI会夺走人们的工作，就必须确保大家不会饿死，仍有收入。如果公司用AI和机器人取代所有工作，就需要某种税收方案，确保每个人能分到一部分收益。收益总量会大幅增加，但也得把其中一部分分给人们。我们提出的方案叫“公民红利”，基本上就是……
公民会持有一个机构的股份，这个机构向机器人公司和算力公司出售许可证，并从许可证销售中获利。许可证机构的股份由公民持有。开始时数额很小，大约每人2.5万美元；到最后可能达到每位公民1,000万美元。每人？是，每人每年。考虑通胀了吗？考虑了。所以我们都会变成百万富翁？如果真的实现的话，是的，虽然可能不会发生。但如果实现了，最终就会走到这一步。我还想强调，如果AI已经接近能够完成所有研究，然后你选择暂停、放慢发展，未来仍然有很多变化等着发生。因为如果允许AI继续缓慢发展、逐步自动化各种工作，几年后它们确实会做到这些，还会建造大量数据中心、芯片工厂、机器人和机器人制造工厂等等。我们当然不知道确切速度，但我们仔细考虑过，也做了预测。这大概是我们的中位数预测。2037年是什么意思？“真相末日般降临地球”？是的，大概是……
我们认为这时会达到顶尖专家级AI。它还不算超级智能，因为不是在所有方面都远超人类；他们会把AI停在顶尖专家水平。这个情境里他们一直在放慢，到这时才真正停下来，但停在AI已经能做好各领域工作的水平。因此可以说，他们肯定实现了AGI，或许也实现了较弱的超级智能。
由于AI数量极多，思考速度又比人类快得多，社会将发生巨大变化。我们讨论其中一些变化，比如“工作之后的生活”：在这种世界里，人们领取公民红利、不再工作，会是什么样子。这里谈的是所有AI产生的智力进步和活动可能带来的科学变化与社会变化。
例如治愈癌症，以及人们住进两年前由机器人建造的公寓。这里说的是2036年。前提仍然是我们在2029年停下来。我觉得这其实是比较保守的时间线。对，遗憾的是，我认为默认情况下事情会比这发展得更快。如果不放慢，到AI数量达到10亿台、每台都在所有方面胜过最优秀的人类后，它们会日夜不停地运行。它们会做大量科学研究，互相交流、不断思考；与此同时，每个人也会一直和自己的AI助手交谈。
科学会取得大量进展，政治和意识形态也会发生变化，整个社会会非常动荡。之后我们还会讨论具体变化。我还是不太明白“真相末日般降临地球”是什么意思。就是有大量非常聪明的AI在发现科学新知。举个例子：测谎仪。对。
这就是可能出现的一种技术。对。现在我们没有真正可靠的测谎仪，现有技术效果很差，不能完全奏效。但如果有顶尖专家级AI，以人类100倍的速度思考多年，而且数量达到数十亿台，还能利用机器人制造工厂进行研究，它们很可能会发明许多新技术。也许会发明真正能测谎的测谎仪。
那会产生巨大的社会影响，对吧？想象一位总统候选人说：“那些指控是假的，我愿意接受测谎来证明。”我刚刚想到这会如何颠覆整个司法系统。这听起来既吓人又令人兴奋。这一节里还有一点：测谎仪也可能带来严重危害，催生新型极权主义。掌权者，比如CEO和政治人物，可能强迫下属接受测谎仪测试，要求他们说：“我忠于领袖，绝不会做任何对领袖不利的事。”如果测谎结果显示说谎，就会被解雇。因此，测谎技术有很多有害用途。
当然也有好的用途。总的来说，测谎仪由强者以外的人来使用，而不是被强者拿来使用，可能会更有益。这是什么？“2040年，把权力交给AI。”对，很好。这个情境里，他们把超级智能推迟到2040年才创造。原因是安全论证还不足以支持进一步提升能力。在他们建立的监管体系中，大致来说，制造新AI或试图部署AI时，都必须提交某种安全论证，说明自己的目的，以及为什么认为它会按预期工作。尤其是要说明AI为什么会服从命令，以及为什么不会发生AI接管之类的严重后果。
当AI还不能自动化所有事情时，提出这样的安全论证相对容易。AI越强大，越难证明一切都会没问题，因为它们能力更强，能做的事情更多；如果它们不可信，可能造成的危害也更大。因此他们在这个水平停下来，因为他们意识到继续发展可能会失去对一切的控制。但在当前水平，他们认为安全论证足以说明可以继续，所以就停在这里。
到了2040年，他们在科学研究上取得了重大进展，也包括AI对齐研究，并找到了可靠对齐AI的方法。让AI与人类对齐。对。因此他们真正可以信任这些AI，并允许它们再次变得比人类聪明得多。这就是我们把整个计划叫作《AI 2040》的原因：到2040年，他们会松开刹车，允许AI远远超越人类。
我想这是一个计划，也是一种希望。是的，但如果问你们认为概率上实际会发生什么呢？没错，必须区分我们建议、希望发生的事，和我们认为默认情况下会发生的事。我们觉得方案确实有可能实现，但需要很多人醒悟、更加关注，并倡导类似做法。主情境主要讨论政策选择和对社会的整体影响。我们觉得还应该补充一个小情境，从普通人的视角描述亲身经历这一切会是什么感觉。好。
§26经历AI革命会是什么感觉
2029年，大家都在争论，总统们正在谈判，AI发展暂停了，但你仍然能使用已有的AI，所以日常感觉没有太大不同，不过显然有令人兴奋的变化正在发生。2031年，AI发展恢复了。AI变得非常聪明，更多人失去工作，开始真正影响社会。不过我觉得那时大多数人仍有工作，只是工作方式发生了变化。比如到了2031年……
大多数白领工作都大量依赖AI，人们管理AI团队或与AI协作。那时也会有实用的无人出租车。至于公民红利，理想情况下应该更早实施。在我们的情境里，他们几乎是最后一刻才行动。很多政策措施都像是赶在最后期限前才出台。我们当然建议更早、更好地实施。到了2033年，你开始收到红利支票。所以你预测会有公民分红？你的模型说，起初可能每人约2.5万美元。然后随着经济增长，金额也会增加。
随着工作被取代，分红也需要增加，确保人们生活得下去。这就是为什么说必须在最后可能的时点之前采取行动，因为如果等到2037年才落实，那时每个人可能已经失去工作了。尤其是当失业迅速发生时，就像这张图所示，会造成许多问题，比如社会动荡、骚乱、缺乏目标感和心理健康问题等等。理论上确实会。你怎么看？
§27AI取代工作后，人们如何找到意义
这会很艰难。希望我们能妥善应对。从整体上看，我们认为人们既要有钱，也要有权力。这是两件不同的事。为什么工作很重要？原因很多，但主要是，人们靠工作获得收入，才能生存，也才能买到自己想要的东西。如果人们会失去工作，就必须找到别的收入来源。
还有权力方面。如今人们的一部分政治权力来自经济实力。比如人们可以威胁罢工。独裁国家的政府也不能随意灭绝某个群体；即使能这么做，也要付出代价，因为这个群体会为经济作贡献、缴纳税款等等。但如果未来只有AI公司和机器人公司缴纳税款，政府就没那么在意……
普通人的想法。因此，失去工作不仅意味着失去收入，也意味着失去政治权力。我们认为必须采取措施阻止这种情况。那具体怎么做？在民主制度下，人们至少还有选票。我认为关键是制定AI使用规则，让公共讨论更加理性，真正反映民众利益和愿望，并帮助人们通过投票选出更好的监管措施和政治人物。这样或许能逐步建立一种制度，让普通人的权力比现在更有保障。
未来还会出现更多类似问题，人们应该知道自己得到的是什么。如果大家每天花几个小时和聊天机器人对话，就要确保机器人没有被植入政治偏见或秘密议程，而是经过训练，能够诚实、真实地回答问题。我认为如果做到这一点，就能改善公共讨论，也能帮助人们投票选出更好的监管政策和政治人物，逐步建立一种让普通人权力比现在更加稳固的制度。
我们之前已经谈过战争、无人机和导弹；如今世界上已经能看到这些现象，非常值得关注。我们还谈到机器人数量超过人类，这也是这份预测的一部分。下面有些预测也很有意思，比如人们无论走到哪里都会受到AI保护。对。在这个情境里，他们把超级智能的出现推迟到2040年。
事实上，他们会从2035年起暂停发展一段时间，之后再让AI继续进步，让AI变得远超人类。我们认为，一旦AI远超人类，世界发生的变化会比这个情境中的2030年代更剧烈。这个情境里的2030年代，AI能力大致接近人类水平。它们做的还是人类专家会做的同类工作，只是做得更好、更快、便宜得多，而且数量也更多。机器人也仍然做人类劳动者会做的同类工作，只是数量更多、成本更低。由于指数增长……
你会从一个和今天没有太大不同的2029年开始，到了2039年，世界已经彻底改变。每个人都住在两年前由机器人建造的豪华新公寓里。有大型特别经济区，到处是机器人、太阳能板和工厂，不断生产更多机器人、太阳能板和工厂。经济的大部分由AI和机器人运行，人们不再有工作。如果只在接近人类水平时暂停AI发展，未来大致会变成这样。
但如果让AI继续变成超级智能，还会发生另一场更加彻底的转变，感觉像魔法一样。想想看，今天的技术在500年前的人眼里就像魔法。这甚至不需要智力出现质变；今天的人类并没有比500年前的人类聪明到本质不同，只是我们有更多时间研究，也有更多资金和资源制作原型、做实验、运行实验。但如果有数十亿个AI，不仅比人类快得多，而且在所有事情上都远远超过人类，尤其擅长科学研究，我们就应该预期它们开发的一些技术在我们看来会像魔法。
我们会觉得完全没想到这也可能实现。人们不想死，不想被车撞，也不想遭到随机的杀人袭击。癌症消失了吗？不止癌症。科幻作品里很多事情到那时可能都会发生，比如扫描大脑、把自己上传到电脑里，或者在小行星带建造会自我复制的机器人，不断制造更多卫星……
用来产生更多能源，再制造更多自我复制的机器人等等。大多数人仍然住在地球上，但趋势是迁往太空。对。如果整个人类经济只是庞大经济体系中的一小部分，而大量机器人和AI以极快速度运作，那么我们希望地球大部分地区能被保留为保护区。我觉得很多人担心环境被破坏；如果不加保护，确实可能如此。很多人喜欢现在的生活，不想上传意识，也不想进入某种疯狂的新世界。我们认为合理的解决方法是，利用庞大的经济财富和活动，在地球之外为想要这种生活的人开辟新居住空间。这样地球就能得到保护。
这里有一张海上数据中心的图。还有三张展示人类可能居住环境的图片。再次说明，我们的建议是保留地球99%的区域，主要作为历史或环境保护区；但可以指定部分区域为特别经济区，让机器人在里面开采大型露天矿、生产工厂等等。出于各种原因，我们觉得把数据中心建在海上会更好。不过之后太空环境可能更合适，我们也认为这完全可行。
AI时代会有永生吗？你写到，到了3045年，你已经活过十几段人生，变成不朽之人，像轮回一样从一种人生转入另一种人生。现在有很多亿万富翁在研究长寿。布莱恩·约翰逊说，他有一条核心原则：在AI时代到来时，千万不能死。超级智能或许能让我们选择何时死亡。是的，我认为这很可能实现。我们这一部分没有描绘这种情况，因为这里的AI只有人类水平。不过，超级智能通过各种方式实现这件事，确实非常有可能。
你对这一切抱有什么希望？为什么要做这个计划？我们发表《AI 2027》的第一周，反响远超预期。发表前我们还预测过它能获得多少浏览量，最后达到了第90百分位的结果，完全出乎意料。在网上的讨论风暴中，有人问：“你们为什么只给我们这些悲观预测？能不能提出一个积极一点的愿景，告诉我们应该怎么做？”这个想法在我们心里扎了根。后来我们想，既然已经描绘了默认路径以及它为什么很可怕，也许该换个方向，提出实际建议并展示出来，哪怕我们不认为这最可能发生。对。你可以投票支持一个政治候选人，即使不确定他会不会胜选。也可以提出我们应该怎么做，即使你觉得别人可能不会照做。当然，如果你觉得完全不可能，那也许就没必要提。但我们认为仍有机会。特别是，我们认为未来几年人们会意识到AI的力量。为什么？公司正在说它们要做这些事。
而且它们确实在按计划推进。只要它们接近那种AI水平，就会出现严重问题，我们必须采取行动。所以即使没有特别戏剧化的警报，人们也会开始更多关注、思考后果并预测未来。自然也会有更多人支持监管AI。事实上，这方面的发展已经超过我们的预测。
超过预测的是哪方面？人们开始认真讨论AI监管。发表《AI 2027》时，科技公司和政府的主流立场大致是“AI监管是坏主意，全面放开”。甚至有人试图提前禁止各州监管AI。记得吗？对。现在讨论已经很不一样。美国政府刚刚要求Anthropic关闭其AI，因为担心不法分子会用它进行网络攻击。政府……
政府正在醒悟，也已经采取了比我们预想更多的行动。我们希望这一趋势继续下去，在为时已晚之前，政府内部、政府之外以及整个社会都能认真讨论这些问题，并制定路线，避免失控和权力集中这两种风险。你思考这些问题有多久了？快15年了吧。
§28如果可以，他会永远关闭AI吗？
如果桌上有一个按钮，按下去就会永久执行你的方案S，关闭所有正在训练前沿AI模型的数据中心，今后也再没有AI实验室研究这些问题，你会按吗？我刚才正想猛按下去，直到你说是永久的。好吧，如果只是暂时停一停，我肯定会按，因为我们还没准备好。文明社会还没准备好让这些公司自动化自身、制造越来越聪明的AI，最终得到超级智能。不，这里面有很多危险。但如果这个按钮会永久禁止人类再做这件事，我肯定至少会犹豫。可如果你认为方案D最有可能，也就是我们正竞速奔向超级智能……如果只能在方案D和方案S之间选，我想我会按。那就取决于你的判断。如果你认为方案D最可能发生，而唯一的替代方案……
我不是说这一定会发生。我是说从概率上看。对，对。比如我觉得它最可能，也许这个排第二，那个排第三。它们都有可能。所以按照你现在的观点，认为哪种情况会发生？你会按按钮吗？我给你一个确定的方案S，或者你觉得最可能发生的方案。这个问题太难了。关停的范围是什么？也就是说……没人能再训练AI模型，永远不能。唉。
这真的很难，因为正如我所说，如果做对了，AI能带来很多好处。我觉得你有点把我放在萨姆·奥特曼的位置上了。你介意我想一会儿吗？可以，认真想。谢谢。我想我不会按……但我对此非常纠结。我不按按钮的原因是，我仍然很希望能实现比当前情形好得多的未来。基本上，如果人类最终不发展强大的AI，文明迟早也可能灭亡，比如100年或200年后，死于核战争、疫情之类。我不认为今天的人类文明特别稳定。我刚才本来想说，未来几十亿人的潜在收益可能超过当前风险。但我又想……我以前也听过这种说法。是的，我也不确定。也许我们该说：不行。
我们应该优先考虑现在的人。现在的人正面临极大危险。至少未来几十年他们会没事。算了，不要考虑后代，优先考虑现在的人。我觉得现在的人根本不想参加这场抽奖。我得承认你问了个非常难的问题。那你会按按钮吗？大概不会，但我会非常纠结。好。我经常会想到观看节目的观众画像，他们非常好奇，尤其关注AI。他们想知道这对自己意味着什么。我觉得他们也想知道自己能做些什么。啊，对。那大家能做什么？
§29我们究竟能为AI做些什么？
如果你有相关能力或热情，可以直接参与。有很多组织担心这些问题，也在尝试采取行动，比如进行政治倡议、技术研究，或开发有用的工具，希望能帮助大家。如果你不想大幅改变职业或做类似的事，我会建议你多关注这些问题，也多和别人讨论。
可以给国会议员发邮件之类的。这不会彻底改变局势，但确实有帮助。我认为，尤其在这个问题上，核心困难是大家还没有认真对待。如果我刚才一两个小时说的这些内容已经成为每个人都在思考的重点，我们今天根本不会坐在这里，早就已经有更重要的监管措施了。不仅监管力度更大，也会更精准，而不是像大棒一样一概打压；它会更细致地区分什么真正有害、什么没那么严重，并且政府里会有更多专家提供建议。人们越了解这些风险和预测，我们就越可能在为时已晚之前采取有效措施。那大家投票时应该关注什么？美国两年后会举行大选，世界各地也一直有选举。你应该问候选人，他们怎么看待AI。你应该……
你应该让他们表达看法，然后投票支持在这个问题上立场更好的候选人。这大概是我们这一生、甚至可能是整个人类历史中最重要的事情，必须朝好的方向发展。所有国家的领导人都应该考虑这件事并制定计划。活在这个时代是不是很奇怪？我一直在想，自己本来可能出生在历史上的任何时刻。我想我的祖先大概也想过同样的事。但听你说这些时，我想到你说这像是最后一场演出。你当时怎么说的？我说的是高潮到来前的最后阶段之类的话。对。能出生在高潮到来前的这段时期真是太疯狂了。你描述的一切，理论上都可能在我有生之年发生，或者也可能不会，希望如此。活在这样的时代真是不可思议。确实如此。
我注意到我问你有没有孩子时，你的神态变化很明显。是的，你好像进入了另一种状态。这显然是你一直忧虑的核心问题之一。确实，这是个令人难过的话题。生孩子……人们生孩子，很大一部分原因是对未来抱有希望和梦想。孩子不只是眼前一个可以抱着的小生命，而是你希望他们长大、做自己的事、成为独立的人。AI的发展让我觉得，很多梦想都面临风险。即便如此，你还是会生孩子吧？我有时也会反复改变主意。最直接的回答是，我不确定。
我的第一个孩子是2019年出生的，那时我对AI感兴趣，也在跟踪这个领域、作出预测，但没想到它会这么快发生。后来我开始觉得，天啊，事情可能很快发生，也许到2030年就会到来。这让我重新考虑是否再要孩子。我基本上对妻子说：“别再要孩子了，太不确定了。”但这很难，尤其对我妻子来说，我们已经有一个孩子，她也不希望孩子没有兄弟姐妹。最后我妥协了，说：“好吧，我们已经有一个孩子了，会没事的。未来也许会很好；即使不好，我们也会一起面对。”
你说的这些真让人不寒而栗，因为你比我知道得多。如果你在家里都对妻子说，也许应该暂停生孩子、组建家庭的计划，因为AI带来了这么多问题……说清楚一点，是的，这确实非常令人担忧。我很害怕。这就是我一直在说的。我希望事情能顺利发展，也觉得可能会顺利；我们可以做很多事，把发展引向更好的方向。
我觉得其中一件事就是把这些问题说出来。政府开始醒悟，一些活动现场有人嘘某些人物，我认为这些变化都受到像你这样的人影响：你们上节目、上播客，告诉大家正在发生什么。否则，说实话，我们只会被公关机器最强大的人蒙骗。
我有时觉得自己有两种立场，因为我是创业者和投资人，目前投资了100多家公司，其中很多公司都在使用AI。我投资了Grok，这家推理芯片公司；也投资了SpaceX，它现在也拥有另一家Grok公司并在做AI。我每天都用AI，刚才这场对话里我也用AI帮忙理解你说的不同内容。
一方面，我是商业建设者和创业者，在自己的生活里看到了AI的好处。另一方面……有时人们觉得必须选边站。可我一直都这样，即使当年我是社交媒体公司的CEO，我也会说：“我在做社交媒体生意，但我觉得社交媒体也有一些负面影响。”现在我也处于类似的位置：我用AI、投资AI，同时作为普通公民也会想……
我觉得这确实是一种矛盾。人们有不同的立场。有些人认为AI发展方向很糟，于是决定不使用AI、抵制AI。我不是这样的人。我和AI Futures Project的所有人都经常使用AI，它对我们的很多工作有帮助。另一种极端是，有些人会想：“既然这看起来不可避免，要让事情变好，我就加入其中、积累权力，从内部引导发展。”所以他们会去OpenAI或Anthropic工作、努力晋升，希望重要决策时自己能发挥作用。我认识很多这样的人。我当时的做法也和这个接近，但又不完全一样。
那也是这些公司的整体叙事：为了应对其他人，他们才认为自己做现在的事是合理的。于是很多人决定全力投入，确保重大决策作出时自己在场。所以这是一整个光谱。我大概在中间：我不在AI公司工作，也不帮助它们加速发展。
相反，我在和公众交流，倡导我目前认为最好的出路。但我没有抵制所有AI，也没有拒绝使用AI。你觉得现在已经太迟了吗？不，我不觉得太迟。如果我觉得太迟了，我就不会坐在这里。我会回家陪家人。
§30现在改变方向还来得及吗？
如果要向公众说最后一段话，你想说什么？我会说，你们会听到、也已经听到了很多关于AI的说法，听起来像科幻小说。但有些听起来像科幻的事，后来真的会发生。历史上，许多曾经像科幻的东西最终都成了现实。大家不要再只纠结一件事听起来像不像科幻，而要关注趋势和这项技术真正的发展轨迹，阅读相关信息，预测它会如何发展，认真考虑未来可能变成这样的情形，并思考我们该怎么办。想了解更多可以去哪里？可以访问ai2047.com，阅读我们之前的情境；也可以访问ai2040.com/plan-a，阅读我们对未来做法的新提案。这些内容不只是……
科幻故事，还附有很多说明和其他资源链接，可以作为了解这些问题的起点。如果你愿意，节目结束后我可以提供一份阅读清单，包括其他论文、文章和值得关注的博客。请一定提供。我会把所有链接放在评论区。如果你正在听节目，可以查看节目说明，里面会有丹尼尔推荐的阅读材料。我觉得现在正是大家了解这些问题的好时机。
人们会因为认知失调而感到不舒服，于是把头埋进沙子里、回避问题。对。但我觉得这次应该反过来做很多事情：主动了解情况，这样才能知道要采取什么行动；而且AI不可避免地会成为我们生活和职业中的重要部分。对。谢谢。这么说很合适，它会非常重要，很快无处不在。我们必须在为时已晚之前采取行动。AI Futures Project是什么？这是我们的组织。我离开OpenAI后花了一年写《AI 2027》，又花了一年写《AI 2040：方案A》。丹尼尔，谢谢你。非常感谢你所做的一切。我能看出你有多关心这些事。关心本身也会让别人感受到关心。看到你把人生投入这件事，又听说你为了能向公众讲述这些信息，放弃了200万美元，真的令人敬佩。
现在，这个议题比以往任何时候都更需要像你这样的声音。请继续为你相信的事情努力：传播信息、坚持诚实、把大家通常不愿明说的部分说出来。谢谢。你还做了非常出色的研究。我会把今天讨论的所有内容放在下方，希望很快能再次和你交流。谢谢。