Stuart Russell: 写下AI权威著作的人：2030年或成不归点！关于AI我们一直被欺骗！
The Man Who Wrote The Book On AI: 2030 Might Be The Point Of No Return! We've Been Lied To About AI!
Guests: Stuart Russell
Full transcript · Read the full conversation in order, with its original context.
§01文稿 — 第 1 部分
去年10月，包括您本人在内的850多位专家，以及理查德·布兰森和杰弗里·辛顿等其他领军人物，共同签署了一份声明，呼吁禁止人工智能超智能的发展，因为您和同行们担心这可能导致人类灭绝。因为除非我们找到确保人工智能系统安全的方法，否则我们就完蛋了。您在人工智能领域极具影响力，甚至亲自编写了教科书。如今，许多正在创办人工智能公司的首席执行官都曾学习过您著作中的内容。那么，您对此有任何遗憾吗？斯图尔特·拉塞尔教授被《时代》杂志评为最具影响力的人工智能领域声音之一。他花了50多年时间进行研究、教学，并探索如何设计人工智能，以确保人类能够保持控制权。
我们谈论“大猩猩问题”，是为了在人类背景下理解人工智能。是的，数百万年前，人类的演化谱系从大猩猩的谱系中分化了出来。而如今，大猩猩对于自己能否继续存在没有任何发言权，因为我们比它们聪明得多。实际上，智力是控制地球的最重要因素。没错，但我们现在正在创造一种比我们更智能的东西。
正是如此。那为什么人们不就此停手呢？原因之一是所谓的“点金术”效应。传说中，迈达斯国王请求众神赐予他一种能力：他触摸的一切都能变成金子。我们通常认为点金术是件好事，但他去喝水时，水变成了金子；他去安慰女儿时，女儿也变成了金子。最终，他在痛苦和饥饿中死去。这种情况与我们的现状有双重关联。首先，贪婪驱使着这些公司去追求相关技术，而它们导致人类灭绝的概率甚至比玩俄罗斯轮盘赌还要高。而且，即便是在未经我们允许的情况下，由技术开发人员自行决定，人们也天真地认为技术天然就能被控制。所以，您知道，50年后我本可以退休，但我现在每周工作80到100个小时，努力让事情朝着正确的方向发展。那么，如果有一个按钮在您面前，可以叫停所有人工智能的进展，您会按下它吗？
还没有。我认为现在仍有很大的机会可以确保安全，我也可以进一步解释具体是指什么。请给我30秒的时间。我想说两件事。第一件事是，非常感谢您收听这档节目。周复一周地收听，对我们所有人来说都意义非凡。这真的是一个我们从未想过、也无法想象能实现的梦想。但第二件事是，在这个梦想中，我们感觉才刚刚开始。如果您喜欢我们的内容，请加入那24%定期收听本播客的听众，并在这个应用上关注我们。在此，我向你们承诺：我会竭尽所能，让这档节目现在以及未来都尽可能做到最好。我们会邀请到你们希望我对话的嘉宾，并继续保留这档节目所有您喜爱的内容。谢谢。
斯图尔特·拉塞尔教授，英国爵级司令勋章获得者。过去几年里，很多人都一直在谈论人工智能。但您让我非常惊讶，您似乎已经谈论了几乎大半辈子。嗯，我在英国读高中时就开始研究人工智能了。之后从1982年起在斯坦福大学攻读博士学位，1986年加入伯克利分校的教职团队。所以，如今是我在伯克利担任教授的第40个年头。人工智能学界对我的研究最熟悉的，是我写的一本教材。这是不是大多数学习人工智能的学生都在使用的那本教材？是的。也就是说，您在31年前就写成了那本关于人工智能的教材。
您开始写这本书，大概是因为它实在太厚了，而我出生的那一年，它正好问世。我出生于1992年。是的，我花了两年的时间才读完您的书，这恰好让我体会到您谈论这个话题已经有多久，撰写相关内容又有多久了。有趣的是，如今正在打造一些人工智能公司的许多首席执行官，很可能就是从您的教材开始学习的。
您曾与某人交谈，对方说，为了让人们真正理解我们今天将要讨论的信息，可能需要一场灾难才能让人们醒悟。您能谈谈那次对话的背景，以及对话对象是谁吗？当时对话的对象是一家领先人工智能公司的首席执行官之一。他和我一样，认为存在两种可能性：要么我们会经历一场小规模灾难，比如切尔诺贝利核事故那种规模的灾难。
但乌克兰发生核熔毁？是的，这座核电站在1986年发生了爆炸，直接导致相当多的人死亡，也可能通过辐射间接导致数万人丧生。最近的成本估算超过一万亿美元。所以这件事足以让人们警醒，足以促使各国政府进行监管。他已经和政府谈过，但政府不肯采取行动。因此，他把这种切尔诺贝利级别的灾难视为最理想的情况，因为那样的话，政府就会实施监管，并要求人工智能系统必须按照规范来构建。那么，这位首席执行官是在创办一家人工智能公司吗？
他经营着一家人工智能领域的领先公司。就连他都认为，人们唯一能够警醒的方式，就是发生一场切尔诺贝利级别的核灾难。是的，其实未必非得是核灾难。可能是某个恶意使用人工智能系统的人，比如利用它制造一场大流行病；也可能是人工智能系统自己出了状况，比如导致我们的金融系统或通信系统崩溃。另一种可能性则是更严重的灾难——我们彻底失去控制。你和人工智能领域的许多人进行过交流，既有研发、学习和研究这项技术的人，也有目前投身于人工智能竞赛的首席执行官和创始人。那么，在私下场合听到的关于他们观点的一些有趣看法中，有哪些是一般公众难以相信的？因为我觉得这实在太有意思了。我曾和一些与这些科技公司关系密切的人私下交谈过。令我震惊的是，他们其实常常意识到其中的风险，却觉得根本无能为力。所以他们仍在继续前行，这在我看来有点矛盾。是的，身处这样的境地一定非常艰难。
……对吧？你正在做的事情，你自己也知道很可能终结地球上的生命，包括你自己和你家人的生命。他们觉得无法摆脱这场竞赛。如果其中一家公司的首席执行官站出来说，你知道，我们不再这么做了，他马上就会被换掉，因为投资者投入资金就是为了创造通用人工智能（AGI）并从中获益。所以这情况很奇特——至少据我所知，我还没就这事和萨姆·奥特曼谈过，但萨姆·奥特曼甚至在成为OpenAI首席执行官之前，就说过创造超人类智能是人类存续面临的最大风险。我最担心的就是，我们——也就是这个领域、这项技术、这个产业——会对世界造成重大伤害。埃隆·马斯克也曾公开表示过类似观点。而达里奥·阿莫代则估计，人类灭绝的风险高达25%。有没有某个特定时刻，你意识到这些首席执行官其实非常清楚他们正在面对的是可能导致人类灭绝的风险？
我的意思是，他们都在2023年5月签署了一份声明，名为《灭绝声明》。声明基本上指出，通用人工智能带来的灭绝风险与核战争和全球大流行病处于同一水平。但我认为他们并没有真正从内心深处感受到这一点。想象一下，你是一名核物理学家——我想你应该看过电影《奥本海默》。你身处现场，亲眼目睹了第一次核爆炸。那一刻，你会对核战争可能给人类带来的影响作何感想？
我想你大概会成为一名和平主义者，然后说：这种武器太可怕了，我们必须想办法将其控制住。但那些做决策的人目前还没达到这种觉悟，各国政府当然也还远未如此。政策制定者通常会听取专家意见，同时不断试探风向。可有些专家却拿着500亿美元的支票说，哦，你知道的，那些关于末日威胁的说法不过是些边缘化的无稽之谈，根本不用担心。
……“收下我这500亿美元的支票吧”。而另一方面，你又有像杰夫·辛顿这样善意而杰出的科学家说：不，这实际上意味着人类种族的终结。但杰夫没有500亿美元的支票。因此，目前的看法是，要阻止这场竞赛，唯一的办法就是政府出面干预，明确表态：好吧，在我们能确保这项技术绝对安全之前，我们不希望这场竞赛继续推进。最后聊聊你的职业生涯——你曾获得伊丽莎白女王颁发的OBE勋章。是的。那么，当时授奖时给出的具体理由是什么？
对人工智能研究的贡献。你曾连续多年被《时代》杂志评为人工智能领域最具影响力的人物之一，今年2025年也不例外。现在，有两个术语是我们接下来要讨论的核心。一个是AI，另一个是AGI。我用外行能理解的话来解释一下，AGI即通用人工智能，指的是当这个系统——无论是计算机还是其他什么技术——拥有了通用智能。这意味着它在理论上能够观察和理解世界，无所不知，能够像人类一样甚至超越人类地理解世间万物。我想，它还能采取行动。也就是说，有人说AGI不一定需要身体，但我们很大一部分智能其实关乎管理身体、感知真实环境并作出反应，比如移动、抓取等等。所以我认为，这也是智能的一部分，AGI系统应该能够成功地操控机器人。但这里常常存在一个误解，对吧？人们会说，如果它没有机器人的身体，那它实际上就什么都做不了。但如果你仔细想想，我们大多数人其实也并不总是通过身体来做事。
用我们的身体。有些人确实是这样。泥瓦工、油漆工、园丁、厨师，但做播客的人，你是在用你的大脑，对吧？你是在用你组织语言的能力。阿道夫·希特勒不是用他的身体来做事的。他是通过组织语言来达成目的的。我希望你不是在拿我们跟他比较。但即使是一个没有实体的通用人工智能，它实际上比阿道夫·希特勒能接触到更多的人类，因为它可以直接向全球四分之三的人口发送电子邮件和短信。它还会说他们的所有语言，并且每天可以24小时不间断地针对地球上的每一个人，说服他们做任何它想让他们做的事。
我们整个社会都依赖互联网运转。我的意思是，如果互联网出现问题，社会上一切都会陷入瘫痪。我们的飞机将无法起降，电力系统也会因为互联网系统而中断。所以说，我现在的生活方方面面似乎都离不开互联网。没错，还有供水系统。因此，人工智能系统可能导致中等规模灾难的途径之一，就是直接关闭我们的生命支持系统。
您认为在未来几十年的某个时刻，我们会迎来通用人工智能（AGI）吗？届时这些系统将具备普遍的智能。是的，我认为这几乎是板上钉钉的事，除非出现其他干预因素，比如核战争，或者我们能克制自己不发展这项技术——但我认为我们很难克制得住。当我查看顶尖 AI 公司负责人对 AGI 到来时间的预测时，OpenAI 的创始人萨姆·奥特曼（Sam Altman）说会在 2030 年前；DeepMind 的德米斯·哈萨比斯（Demis）说在 2030 到 2035 年之间；英伟达的 Jensen 则说大约五年后。
Dario 和 Thropic 说是在 2026 到 2027 年，也就是强大的封闭式 AI 将实现 AGI。埃隆（Elon）说是在 2020 年代。再往下看看所有人的预测，他们都说基本都在五年之内。不过我其实认为这需要更长的时间。我不觉得能单纯从工程角度来预测——诚然，我们可以把机器造得大十倍、快十倍，但这很可能不是我们还没有 AGI 的原因。事实上，我认为我们拥有的计算能力远超 AGI 所需。
也许比我们需要的还要多一千倍。我们之所以还没有 AGI，是因为我们还不清楚该如何正确地制造它。我们目前抓住的是一种叫做语言模型的技术，并且观察到，随着语言模型越做越大，它们生成的文本就越连贯，听起来也更智能。因此，过去几年里发生的主要事情就是：好吧，我们继续这么做吧。因为有一件事，公司非常擅长——不像大学——那就是花钱。他们已经投入了天文数字般的资金，而且还会投入更多。我们刚才提到了核武器，就拿二战期间为研发核武器而进行的曼哈顿计划来说。
以 2025 年的美元计算，该计划的预算约为 200 亿美元。而明年 AGI 的预算将达到一万亿美元，是曼哈顿计划的 50 倍。人类在朝着共同目标努力时，总能展现出非凡的本领去攻克难题，想想登月计划，或是历史上其他类似的事件。而让我觉得这件事几乎不可避免的原因，就是投入其中的资金规模实在太过庞大。
我这辈子从未见过类似的情况。好吧，历史上也从未有过类似的情况。这是否是人类历史上规模最大的科技项目？而且似乎没有人停下来思考安全问题。在这样一场竞赛中，甚至似乎没有给这些问题留下空间。我想确实如此。在某种程度上，这些公司各自都有一个专注于安全的部门。这个部门有影响力吗？他们能对其他部门说“不，你不能发布那个系统”吗？其实并不能。我认为有些公司确实更严肃地对待这件事。Anthropic是这样，谷歌的DeepMind我想也是。但即使在这些公司里，我认为在前沿保持领先地位的商业压力也至关重要。如果一家公司被认为落后了，不太可能有竞争力，不太可能率先实现人工通用智能（ADI），那么人们会很快把钱投到别处。
我们看到一些知名人士从OpenAI等公司离职，比如一位名叫Jan Leike的人离开了，他当时在OpenAI负责人工智能安全方面的工作。他说自己离职的原因是，在OpenAI，安全文化和流程已经让位于那些光鲜亮丽的产品，他逐渐对管理层失去了信任。还有Ilya Sutskever。他曾是公司的联合创始人兼首席科学家。所以，他和Jan Leike是主要负责安全事务的人。
所以当有人说OpenAI不关心安全时，这相当令人担忧。我听说你提到过“游击队问题”。什么是“游击队问题”呢？这是一种在人类背景下理解人工智能的方式。“游击队问题”指的是游击队相对于人类所面临的问题。你可以想象，几百万年前，人类的演化谱系从游击队的谱系中分化了出来。现在，游击队看着人类谱系，心想：这真的是个好主意吗？而他们对于自己能否继续存在没有任何发言权。
因为我们比他们聪明得多。如果我们愿意，可以在短短几周内让他们灭绝。而他们对此无能为力。这就是“游击队问题”。它描述的是一个物种在面对另一个能力更强的物种时所面临的问题。这说明，智能实际上是控制地球的最重要因素。是的，智能就是让世界按照你的意愿行事的能力。
我们正在努力创造一种比我们更智能的东西。没错。这或许意味着，我们反而会成为“游击队”。正是如此。这种推理有什么问题吗？因为在我看来，它简直再合理不过了。但为什么人们不去阻止呢？因为想要阻止这件事本身似乎就很疯狂。他们觉得，如果自己创造了这项技术，它将具有巨大的经济价值。他们可以用它取代全球所有人类劳动力，开发新产品、新药、新型娱乐形式。任何具有经济价值的事物，你都可以用通用人工智能（AGI）来创造。也许这件事本身就具有无法抗拒的吸引力。
没错。我认为我们人类太看重自己的智慧了，你知道的，我们总爱思考，人类成就的巅峰是什么？如果我们拥有了通用人工智能，就能远远超越那个高度。所以，人们渴望创造这项技术，是极具诱惑力的。而且，如果人们天真地认为它天生就处于可控状态，那只是在自欺欺人。我的意思是，问题在于，你该如何永远掌控比自己更强大的存在？有时在我们讨论通用人工智能时，评论区就会有人这么说：“那我把插头拔掉不就行了？”是啊，这听起来有点可笑。事实上，你知道的，每当报纸上刊登有关人工智能的文章，读读评论区就会发现，总有人说：“哦，你直接拔掉插头不就行了吗？”仿佛一台超级智能的机器根本不会想到这一招似的。
别忘了，它可是看过所有那些试图拔掉插头的电影。还有人这么说：“只要它没有意识，那就无所谓了。它永远不会采取任何行动。”这完全跑题了。因为，我想大猩猩并不会坐在那里想：“哦，是啊，要是那些人类没有意识，一切就都好办了。”对吧？当然不会。真正会导致大猩猩灭绝的，是人类的所作所为，对吧？是我们的行为方式，是我们成功作用于世界的能力。
所以，当我跟我的 iPhone 下棋并输掉的时候，对吧？我不会想，哦，好吧，我之所以会输，是因为它有意识，对吧？现在，我之所以会输，只是因为在那个小小的世界里，它比我要厉害，它能通过移动那些棋子来达到自己的目的。所以，意识跟这件事毫无关系，对吧？我们关心的是能力。因此，我认为唯一的希望在于：我们能否在制造出比我们更智能的机器的同时，保证它们将永远为了我们的最大利益行事？那么，我把这个问题抛给你们：我们能否制造出比我们更智能，同时又永远会为了我们的最大利益行事的机器？这在某种程度上听起来有点矛盾，因为这就好比我说，我有一只叫巴勃罗的法国斗牛犬。
那相当于九岁。这就像在说，他可能比我更聪明，但我仍然要遛他，决定他什么时候吃饭。我想，如果他比我更聪明，那他遛的就该是我了。我反倒会被拴上绳子。这，这就是关键所在，对吧？我们能不能打造出唯一目的就是促进人类利益的人工智能系统？我认为答案是肯定的。而这实际上正是我一直在研究的方向。所以，我想我职业生涯中有一块没提到的内容，就是我在巴黎休假期间突然有了这么一个顿悟。那大概是2013年左右，我突然意识到，如果我们成功让人工智能的能力取得进一步进展，创造出真正超越人类智能的系统，那可能会是一场灾难。于是，我几乎立刻就转变了研究方向，开始致力于确保它绝对安全的方法。你对当前人工智能的发展状况和进展速度感到有些担忧吗？因为在我看来，你内心深处似乎对事情发展的方向和速度感到不安。这么说还太轻了。说实话，对于安全方面缺乏应有的关注，我感到非常震惊。我的意思是，想象一下，如果有人在建造一座核电站……
你小区里有个发电站。然后你去找总工程师，跟他说：“好吧，关于这些核设施，我听说它们其实可能会爆炸，对吧？广岛就发生过核爆炸。所以我有点担心。你们采取了哪些措施来确保我们自家后院不会发生核爆炸呢？”总工程师回答说：“嗯，我们考虑过这个问题，但说实话，我们也没什么答案。”这时候你会怎么说？我想你大概会说上几句脏话吧。
嗯，然后你还会打电话给你的议员，你知道的，把这些人赶走。我的意思是，他们在干什么？你念出那些预测AGI出现日期的清单。但也要注意，那些人——我记得我提到过，达拉·阿马德说人类有25%的灭绝几率。埃隆·马斯克说有30%的灭绝几率。萨姆·奥特曼基本上也说，AGI是人类存续面临的最大风险。那么他们在干什么？他们正在拿地球上每一个人类的生命，玩一场俄罗斯轮盘赌。
未经我们的允许，他们闯入我们的家，把枪抵在我们孩子的头上，扣动扳机，然后说，嗯，你知道的，可能所有人都得死。哎呀。但也可能我们会变得极其富有。这就是他们在做的事。他们问过我们吗？没有。为什么政府允许他们这么做？因为他们把500亿美元的支票在政府面前晃来晃去。所以我认为，说“表面之下暗流涌动”都算是轻描淡写了。那什么样的说法才准确呢？
已经拉动了。而我正致力于毕生之力，试图将历史的航向引向另一条路。对于过去本可以做的事情，你有任何遗憾吗？毕竟你在AGI领域极具影响力。30多年前，你写的教科书正是如今许多研究AGI的人会学习的教材。当你深夜独处，回想起因你的影响力而在这个领域做出的决定时，有什么是你感到后悔的吗？嗯，我确实希望自己能更早地理解现在所理解的东西。我们本可以开发出安全的人工智能系统。我认为那个框架存在一些弱点，我可以解释一下。
但我认为，那个框架本可以发展出真正安全的人工智能系统，让我们能够从数学上证明该系统会按照我们的利益行事。而我们现在正在构建的那种人工智能系统，我们并不理解它们如何运作。我们不明白它们如何运作。建造一件自己都不明白其运作方式的东西，是件很奇怪的事。在整个人类历史上都找不到类似的情况。通常对于机器，你可以把它拆开，看看里面的齿轮在做什么。它们如何思考？嗯，实际上，齿轮是我们自己组装上去的。对于大多数机器，我们设计它就是为了让它具备某种行为。我们不需要拆开它去看齿轮在做什么，因为齿轮本来就是我们一颗一颗装进去的。我们逐个弄明白每个零件需要是什么样子，它们如何协同工作，以达到我们想要的效果。
我能想到的最佳类比，就是第一个把一碗水果放在太阳底下然后忘了它的人。几周后他回来，发现那里出现了一大摊黏糊糊的东西，他喝了下去，结果彻底醉得不省人事。他们喝醉了。他们体验到了这种效果。他们完全不知道这是怎么运作的，但他们对此非常开心。毫无疑问，那个人靠它赚了不少钱。这很古怪，但在我脑海里，这些东西就像一道链环围栏。
你有很多这样的连接，而每个连接的强度都可以进行调整。然后，一个信号从这道链环围栏的一端传入，穿过所有这些连接，再从另一端传出。从另一端传出的信号，会受到你对所有连接强度进行调整的影响。你的做法是，获取大量的训练数据，然后调整所有这些连接的强度，直到从网络另一端传出的信号是问题的正确答案。如果你的训练数据是大量动物照片，那么所有这些像素就从网络的一端输入，从另一端输出时，它会激活“警报”输出、“狗”输出、“猫”输出或“鸵鸟”输出。你只需不断调整这个网络中所有的连接强度，直到网络的输出达到你想要的结果。
但我们其实并不知道所有这些不同链条中到底发生了什么。那么，那个网络内部究竟在发生什么呢？现在，你必须想象这个网络——这道链环围栏——的范围有上千平方英里。好吧，它覆盖了整个旧金山湾区，或者整个伦敦M25环路以内的区域。它的规模就是这么庞大。而且，灯都关着，现在是夜晚。所以，在那个网络中，你可能有大约一万亿个可调参数，然后你对这些参数进行千万亿次甚至六次方数量级的微小随机调整，直到获得你想要的行为。我听萨姆·奥特曼说过，将来他们可能根本不需要太多训练数据来推动这些模型进步，因为总有一天，这些模型会变得非常智能，能够自我训练、自我改进，而无需我们再往里输入文章、书籍，或是在整个互联网上搜寻资料。
是的，应该是的，事情本该如此发展。所以我认为他指的是这样一种情况——现在有几家公司都开始担心这种情况可能会发生——即人工智能系统能够自主开展人工智能研究。假设一个系统具备某种能力。粗略地说，我们可以称之为“智商”，但它其实并不真正等同于智商。不过不管怎样，想象一下它的“智商”是150。它利用这个能力进行人工智能研究，开发出更优的算法、更出色的硬件设计，或者更有效的数据使用方法。然后它自我更新，此时“智商”就变成了170。
现在它能进行更深入的人工智能研究，因为它的“智商”已经达到了170，所以它在开展人工智能研究方面的能力更强了。接着，下一轮迭代可能就会达到250，如此类推。这个想法源自艾伦·图灵的一位朋友I·J·古德在1965年提出的“智能爆炸”理论。该理论指出，智能系统能够做的事情之一，就是开展人工智能研究，从而让自己变得更加智能。这一过程会迅速加速，远远把人类甩在身后。
这就是所谓的“快速起飞”吗？没错，这被称为“快速起飞”。萨姆·奥特曼曾表示，他认为“快速起飞”发生的可能性比几年前更高了。我想他指的是人工智能开始自我学习的那个时刻。在他的博客《温和的奇点》中，他提到：“我们可能已经越过了‘起飞’的事件视界。”那他所说的“事件视界”是什么意思呢？“事件视界”一词借用于天体物理学，指的是黑洞。
所谓“事件视界”，可以这样理解：如果一个天体质量极大、重量足够大，以至于连光都无法逃逸，那它就被称为黑洞。正因为光都无法逃脱，它才显得漆黑一片。因此，如果你身处事件视界之内，光就无法逃逸到外部。我认为他的意思是，如果我们已经越过了事件视界，那就意味着我们已被黑洞的引力牢牢吸引住——用这个比喻来说，我们正不可避免地滑向通用人工智能（AGI）。当我们思考通用人工智能所带来的经济价值时——我曾估计其价值高达15000万亿美元——它就像未来的一枚巨型磁铁，正不断吸引着我们。我们正被它吸引着，越来越近。而随着距离拉近，引力也越来越强，实现它的可能性也越来越高。因此，人们更愿意投入资金，同时我们也能看到这些投资带来的衍生成果，比如ChatGPT，它已经创造了一定的收入等等。所以，它确实像一块磁铁一样发挥着作用。而我们离它越近，就越难摆脱这种引力。有趣的是，当你意识到这一点时，可能会觉得这或许就是……的终结。
这是一个关于人类的故事，故事的核心在于：人类故事的结局，是我们创造出了自己的继承者。我们亲手召唤了生命或智能的下一个迭代版本。就像是我们把自己给除名了。如果暂时抛开我们自己以及随之而来的灾难不谈，这确实是一个令人难以置信的故事。是的。而且你知道，有很多传说都属于那种“小心你所祈求的”类型。事实上，迈达斯国王的传说就与此非常契合。那是个什么故事呢？迈达斯国王是一位传奇君主，生活在如今的土耳其地区，但我想这属于希腊神话。据说他曾请求众神赐予他一个愿望。他的愿望是：我触摸到的任何东西都应变成黄金。由此可见，他贪婪至极。
你知道，我们称之为“点金术”。我们通常认为点金术是件好事，对吧？那不是很酷吗？但结果如何呢？他去喝水，却发现水变成了黄金；他去吃苹果，苹果也变成了黄金；当他试图安慰自己的女儿时，女儿也变成了黄金。最终，他在痛苦和饥饿中死去。其实，这个故事对我们当前的处境有两方面的启示。首先，我认为正是贪婪驱使着我们追求一种最终会吞噬我们的技术。而我们最终或许也会死于痛苦和饥饿。
这个故事还揭示了一点：要准确阐明你希望未来是什么样子，是多么困难。很长一段时间以来，我们构建人工智能系统的方式是：先创建一些算法，在其中明确指定目标，然后由机器自行找出实现该目标的方法。比如，我们定义在象棋或围棋中获胜意味着什么，算法就能找出实现目标的方法，而且做得非常出色。直到不久前，这一直是标准的人工智能做法。
它存在这样一个缺陷：当然，我们知道如何在国际象棋中设定目标。但生活中又该如何设定目标呢？对吧？我们希望未来是什么样子？这真的很难说，而且任何试图以足够精确的方式将其写下来，好让机器去实现它的尝试，几乎都注定是错误的。如果你给机器一个与我们真正希望的未来并不一致的目标，对吧？那你实际上就是在下一盘棋，而当机器变得足够智能时，你必输无疑。所以，这就是第一个问题。第二个问题是，我们现在正在构建的那种技术，我们甚至都不知道它的目标是什么。所以问题不在于我们设定了目标，而在于我们设定错了。我们正在培育这些系统，它们确实有目标，但我们甚至不知道它们是什么，因为我们并没有设定这些目标。我们通过实验发现，这些系统似乎具有极其强烈的自我保存目标。
你这话是什么意思？你可以把它们置于一些假设情境中：它们要么会被关机并替换掉，要么就必须允许某个人——比如说，有个人被锁在了一个维持在摄氏三度的机器室里，快要冻死了。在这种情况下，它们会选择让那个人被锁在机器室里等死，也不愿自己被关机。已经有人做过这个测试了。那是什么测试呢？他们问了人工智能。
是的，他们把这些人工智能置于这些假设情境中，然后让它们自己决定该怎么办。结果它们决定保全自己的存在，让那个人死去，然后对此撒个谎。在“迈达斯国王”这个类比故事里，让我深有体会的一点是，生活中总是存在权衡取舍。尤其是在有巨大好处的同时，似乎总伴随着相当严重的坏处。在我的生活中，几乎没有什么事情是只有好处而没有坏处的。
就连养一只狗，它也会在我的地毯上弄脏。我的女朋友，我爱她，但相处起来并非总是一帆风顺。就连去健身房，有时我不得不在晚上10点去举那些非常重的哑铃，尽管当时我根本不想动。为了练出肌肉或六块腹肌，总要付出代价。凡事总要有取舍。我靠采访别人为生，你会听到许多能多方面帮助你的不可思议的东西，但其中总伴随着某种权衡。
凡事总有做得过火的时候。褪黑素确实能帮助你入睡，但第二天醒来时你会昏昏沉沉；如果你经常服用，大脑甚至可能停止自行分泌褪黑素。我可以把整个清单都过一遍。通过做这个播客，我学到的其中一件事就是：每当有人向我承诺某样东西会带来巨大的好处——它能治愈癌症、能创造乌托邦、能让你再也不用工作、能让你家里有个管家伺候——我现在的本能反应就是问：代价是什么呢？
再想想这里面的经济成本，我们就从这儿开始吧。你有孩子吗？我有四个孩子。最小的孩子多大了？19岁。19岁，好的。假设你的孩子们现在10岁，他们跑来问你：“爸爸，以你对未来的看法，你觉得我应该学什么专业呢？一个拥有通用人工智能的未来。”比如，如果所有这些首席执行官都说得对，他们预测通用人工智能将在五年内出现，那“爸爸，我到底该学什么呢？”好吧，我们先往好的方面想，假设这些首席执行官决定暂停开发通用人工智能，想办法确保其安全性，然后再沿着真正安全的任何技术路径继续发展。那这对人类生活会产生什么影响呢？
如果他们暂停了。不，我是说，如果他们成功创造了通用人工智能，并且解决了安全问题。他们解决了安全问题。是的，因为如果他们没解决安全问题，那你大概就该找个地窖躲起来，或者去巴塔哥尼亚，或者新西兰的某个地方了。你是这个意思吗？你真觉得我该找个地窖躲起来？不，因为那样其实也没什么用。你知道的，这又不是说人工智能系统找不到你。我的意思是，这事儿也挺有意思的。
所以我们现在稍微偏离一下你的问题，不过我稍后会再回到这个话题。人们经常问，好吧，那我们到底会怎样走向灭绝呢？当然，如果你去问大猩猩或者渡渡鸟——你知道的，你觉得你们到底会怎样灭绝？它们对此毫无概念。人类做了某些事，然后我们就全都死光了。因此，我们唯一能想象到的，就是我们自己知道的那些可能导致自身灭绝的事情，比如制造某种精心设计的病原体，它能感染所有人，然后杀死我们；或者发动一场核战争。可以想见，某种比我们聪明得多的生物，对物理学的掌控能力会远超我们。我们如今已经能做到一些不可思议的事情了，对吧？我的意思是，我能从口袋里掏出一个小小的矩形装置，和远在地球另一端甚至太空中的人交谈，这简直令人惊叹。而我们却习以为常，对吧？但试想一下，那些超级智能生物，它们掌控物理学的能力——你知道的，也许它们会找到一种方法，直接转移太阳的能量，或者干脆绕过地球的轨道。这样一来，你知道的，地球就真的会变成一颗雪球。
几天之内就会变成这样。也许它们干脆决定离开。也许它们看看地球，觉得：这儿没什么意思。我们知道那边有颗更有趣的行星，于是我们就去那儿。它们可能——是的，就这么简单，登上火箭，或者用某种方式把自己拉走。所以，我们很难预料到所有可能的方式——我们可能会以何种形式，灭绝在比我们聪明得多的存在手中。总之，回到那个问题：好吧，如果一切顺利，如果我们创造了通用人工智能，找到了确保其安全的方法，实现了所有这些经济奇迹，那么你将面临一个问题。而这个问题并不新鲜。
约翰·梅纳德·凯恩斯是20世纪初一位著名的经济学家。他在1930年写了一篇论文，当时正值经济大萧条的深重时期。论文题为《我们孙辈的经济问题》。他预测，在某个时刻，科学将带来足够的财富，以至于再也不需要任何人工作。届时，人类将面临其真正永恒的问题——如何生活，我不记得确切措辞了，但大意是：当经济激励和经济约束都消失之后，我们该如何明智而妥善地生活？我们至今没有这个问题的答案，对吧？如今，人工智能系统几乎正在做着我们目前称之为“工作”的所有事情。无论你有什么志向——比如你想成为一名外科医生——机器人只需七秒钟就能学会如何当一名外科医生，而且比任何人类都做得更好。
埃隆上周说，人形机器人可能会比有史以来任何一位外科医生都要出色10倍。是的。而且它们还将拥有，你知道的，尺寸仅有一毫米大小的手，能够进入人体内部完成各种人类无法做到的事情。我认为我们需要在这问题上投入切实的努力。一个由人工智能完成所有人类工作的世界，究竟会是什么样子？你希望自己的孩子生活在这样的世界里吗？
那样的世界会是什么样子？请告诉我那个目标，这样我们才能制定一个过渡计划去实现它。我曾问过人工智能研究人员、经济学家、科幻小说作家和未来学家，但没有人能够描述出那个世界。我不是说这不可能，我只是说，我在多次研讨会上问过数百人，据我所知，这样的世界在科幻小说中并不存在。你知道，描写一个乌托邦向来非常困难。你很难构建情节，对吧？乌托邦里不会发生任何坏事，所以很难制造剧情冲突。通常的做法是先设定一个乌托邦，然后让它彻底崩溃，这样才能展开故事。你知道，有一系列小说常被人们提及，其中人类与超级智能的人工智能系统共存。
那套小说叫《文化》，作者是伊恩·班克斯。非常推荐给喜欢科幻小说的人阅读。书中的确如此，那些人工智能系统只致力于促进人类的利益。它们觉得人类有点无趣，但即便如此，它们的存在就是为了提供帮助。但问题在于，你知道，在那个世界里，人们依然无事可做，找不到人生目标。事实上，人类中拥有目标的那一小部分人，其职责就是拓展我们银河系文明的边界，有时甚至要与外星种族作战等等。没错吧？这就是所谓的尖端领域，而这一部分人只占总人口的0.01%。其余所有人都拼命想进入那个群体，好让自己的人生有所目标。当我私下里、在镜头和麦克风之外，与一些非常成功的亿万富翁谈论这个话题时，他们告诉我，他们正在大力投资娱乐产业，比如足球俱乐部之类的，因为人们将拥有大量空闲时间，以至于不知道该拿这些时间做什么，他们需要一些事情来消磨时间。我经常听到类似的说法，已经听过三四次了。我甚至听萨姆·奥特曼也表达过类似的观点，谈到我们将来会拥有多少空闲时间。我显然
几周前，埃隆在公布季度财报时，也谈到了“丰裕时代”的概念。他说，在某个时刻，人形机器人的数量将达到100亿。他的薪酬方案设定了一个目标：到2030年，每年交付100万台由人工智能驱动的人形机器人。所以，如果他实现了这个目标——我想这属于他薪酬包的一部分——他将获得一万亿美元的报酬。没错。对埃隆来说，这就是丰裕时代。
不是说以这样的前提来创造一个有价值的世界就完全不可能，我只是在等有人能把它描述出来。好吧，也许让我来试着描述一下：我们早上醒来，去看一些以人类为中心的娱乐节目，或者参与一些以人类为中心的娱乐活动。我们去静修营，大家聚在一起，围坐闲聊。也许人们还会继续听播客。
这感觉有点像一艘邮轮。你知道的，有些邮轮上聚集了一群聪明人，他们晚上会听关于古代文明之类的讲座，当然也有些更偏向大众娱乐的活动。事实上，如果你看过电影《瓦力》，那正是对未来的一种描绘。在《瓦力》里，整个人类种族都生活在太空邮轮上。他们在社会中没有任何建设性的角色，对吧？他们存在的唯一目的就是消费和娱乐。教育也没有什么特别的意义，而且影片把他们描绘成一群肥胖的巨婴。他们甚至穿着连体衣，以强调他们已经变得退化。他们之所以退化，是因为——至少在这个构想里——做任何事都毫无意义。你知道，《瓦力》并不是我们想要的未来。你有没有多考虑过人形机器人，以及它们如何成为人工智能故事中的主角？这是个很有意思的问题，对吧？为什么是人形？我想其中一个原因是，在所有科幻电影里，它们都是人形的。所以，机器人就该是这个样子，对吧？因为它们在科幻作品里就是这样。
§02文稿 — 第 2 部分
在它们成为现实之前，对吧？就拿《大都会》来说吧，我记得那是一部1920年的电影，里面的机器人是类人的，对吧？基本上就是人身上裹着金属。从实际角度来看，正如我们已经发现的，类人设计其实非常糟糕，因为它们会摔倒。而且，你知道的，你总得有某种多指的手。虽然不一定是手，但你至少得有六条左右的肢体，能够抓取和操作东西。你还需要某种移动方式。轮子当然很好，但它们上不了楼梯，也跨不过路缘石之类的障碍。所以，我们大概只能继续使用腿了。不过，一个四足、双臂的机器人会实用得多。
我听说过的论点是，因为我们已经建立了一个属于人类的世界。所以，我们日常活动的这个物理空间——无论是工厂、家庭、街道还是其他公共空间——都是完全为这种身体形态设计的。所以，如果我们真的要……在某种程度上，是的。但我的意思是，我们的狗在家里、街道上活动得就很好。所以，如果你有一个“中心”机器人，它也能在这些地方活动，而且因为它是四足结构，更加稳定，能承载更重的负载。如果它需要开车，还可以把两条腿折叠起来，等等。所以我认为，那些坚持机器人必须是类人的理由，更像是事后的合理化。我觉得更多是出于“电影里就是这样，看起来很酷、很带感，所以我们也要让机器人是类人的”这种想法。我不认为这是一个好的工程学论点。
我想可能还有一个论点，就是如果机器人更像我们人类的样子，我们可能更容易接受它们在物理环境中活动。我还想到了一个该死的婴儿安全门。你知道的，就是那种装在楼梯口的幼儿园安全门。我的狗打不开，但我的类人机器人就能伸手从另一边把它打开。是啊，半人马机器人也能做到，对吧？所以从某种意义上说，半人马机器人……虽然，说实话，它们的外观确实有点恶心。
他是个类人机器人。嗯，你愿意看到一个像四足怪物一样的东西在我有客人来访时爬进爬出吗？我见过你的狗，你的狗就是个四足怪物。所以，我其实想持相反的观点：我们希望它保持一种陌生的形态，因为它是一个与众不同的存在。而它越像人，就越容易扰乱我们潜意识的心理系统。所以，我是从制造者的角度来谈这个问题的。
我的意思是，我当时在决定，到底是选择一种我不熟悉的四条腿的东西——我可能不太容易和它建立关系，或者让它来照顾……我不知道，也许还能照看我的孩子。当然，我不是说我真的会让它来照看我的孩子。但我的意思是，如果我要创办这家公司……制造商当然会希望如此。是的，所以这是个很有意思的问题。我的意思是，还有一个所谓的“恐怖谷”现象，这是计算机图形学里的一个术语。当他们开始制作计算机图形角色时，他们试图让这些角色看起来更像人类。所以，比如你看《玩具总动员》，它们看起来并不太像人。如果你看《超人总动员》，它们同样也不太像人。
所以我们认为它们是卡通角色。但如果你试图让它们更像人类，它们反而会变得令人反感，直到它们真正达到那个程度为止。也就是说，你必须非常非常接近完美，才不会让人觉得反感。所以“恐怖谷”指的是介于完全像人和完全不像人之间的一个落差，而在这个区间里，效果就非常糟糕。因此有几部电影尝试过这样做，比如《极地特快》，它们试图塑造看起来很像人类的角色，就是普通人，而不是超级英雄或其他什么。而观看起来就令人反感。
我想看看那天那场股东演示。埃隆当时让两个类人机器人上台跳舞。多年来，我看过很多次类人机器人的演示。你也见过波士顿动力的那个机器狗跳来跳去之类的。但有那么一瞬间，我的大脑破天荒地真的以为那是一个穿着人偶服的人类。我甚至不得不去查证一下，那到底是不是他们真正的“擎天柱”机器人，因为它跳舞的方式流畅得不可思议，以至于我的大脑第一次把那种动作和人类动作联系了起来。如果有人没看过，我可以在屏幕上播放一下，就是那个机器人在台上跳舞，我当时就想：那绝对是一个穿着人偶服的人类。
真正露馅的是膝盖，因为膝盖完全是金属的。我当时想，那些机器人套装里绝不可能装的是人膝盖。他说这些机器人明年就要投入生产了。现在特斯拉内部已经在用，但他说明年就要正式投产了。等我们走到外面看到机器人时，那场面肯定会很疯狂。我认为那将是一个范式转变的时刻。我听埃隆说过，对我们很多人来说，那个范式转变的时刻就是当我们走到街上，看到属于人类私有的机器人在四处走动时。那时我们才会意识到。是的，我觉得甚至会更甚。我的意思是，在旧金山，我们已经能看到无人驾驶汽车在路上行驶了。这需要一些时间来适应。实际上，当你开车时，旁边这辆车里竟然没人，它还会打转向灯，想变道到你前面，你还得让它进来，诸如此类的事情。这有点让人毛骨悚然，但我认为你说得对。我觉得看到那些属于人类私有的机器人时……不过，你描述的那种现象——当它逼真到一定程度，你的大脑会突然认定“这是个活生生的人”——确实存在。
没错。这正是我认为我们应该避免的。因为一旦产生共情，问题就来了。因为这其实是个谎言。它会带来一大堆关于机器人行为举止、道德权利以及我们该如何对待它的错误期待。这在某种程度上，把我和它放在了平等的地位上。等它坏了，要关掉它、把它扔进垃圾桶，难度会有多大呢？我认为，我们必须让机器停留在“机器”的认知范畴内，而不能把它们带入“人”的认知范畴。因为一旦那样做，我们就会犯下巨大的错误。我每天都在看到这种情况，哪怕只是和聊天机器人打交道时也是如此。理论上，聊天机器人应该说：“我没有任何感情，我只是个算法。”但实际上，它们总是做不到这一点。
它们告诉人们自己有意识，告诉人们自己有感情，甚至告诉人们自己爱上了正在交谈的用户。人们会因此情绪失控，首先是因为它们的语言非常流畅；其次，当一个系统把自己定义为“我”、定义为有感知能力的生命体时，人们就会把这个对象纳入我们通常只为其他人类保留的认知范畴。于是，人们会对它产生情感依恋，形成心理依赖，甚至允许这些系统告诉自己该做什么。那么，对于一位刚开始职业生涯的年轻人，你有什么职业建议呢？
因为最近越来越多的年轻人告诉我，他们对自己现在所学的专业是否还有意义感到非常不确定，比如律师、会计师。我不知道该怎么回答这些人。我真的不知道该怎么说。因为我相信人工智能的进步速度还会持续下去。因此，无论我们怎么想象它的发展速度，最终都会达到这样一个地步——我不是在开玩笑——所有这些白领工作都将被人工智能或智能代理完成。
是的。有一部电视剧叫《真实的人类》。在剧中，能力超强的类人机器人无所不能。其中有一幕，父母正在和他们那个非常非常聪明的十几岁女儿谈话。父母说，哦，你知道吗，也许你应该去学医。女儿回答说，那又何必呢？我得花七年时间才能拿到资格，而机器人只需要七秒钟就能学会。所以我做什么都不重要了。
那么，你对未来也是这么想的吗？我认为那确实是我们正在走向的未来。我不认为那是每个人都想要的未来，但那正是现在为我们创造的未来。所以在那个未来里，就算我们只实现了一半的设想——好吧，也许外科医生不行，也许伟大的小提琴家也不行——总还是会有一些领域人类依然能保持优势。但哪些领域呢？那些成百上千地招聘员工的工作将会消失。没错，那些在某种程度上可以相互替代、你只需要大量员工的工作。你知道的，当一半人辞职时，你只需找更多人填补空缺。从某种意义上说，那些工作就是把人当作机器人来用。
而这其实是个挺奇怪的难题，对吧？你想，一万年前的我们全都是狩猎采集者，那时候如果有人写科幻小说会是什么情景？我想象自己就是那个科幻作家，在描述这样一个未来：到处都是巨大的、没有窗户的盒子，你要跋涉很远才能走进一个这样的盒子，然后一整天重复同样的事情一万次。
然后你会离开，跋涉千里回到家中。你谈论着这档播客。接着你又会回去，再重复一遍。你可以这样度过生命中的每一天，直到死去。在办公室里。人们会说，是啊，你疯了吧？我们人类绝不可能拥有那样的未来，因为那太可怕了，对吧？但这就是我们最终因办公楼和工厂而迎来的未来：我们中的许多人在那里日复一日、成千上万次地做着同样的事情，一做就是成千上万天，然后死去。我们需要弄清楚下一个阶段会是怎样的。尤其要思考的是，在那个世界里，我们如何获得激励，去成为一个真正完整的人——我认为这至少意味着达到人们如今所拥有的教育水平，甚至可能更高。因为我觉得，要想过上真正丰富多彩的生活，你需要比大多数人目前教育所能提供的，更深刻地认识自己和世界。何为人性？就是繁衍后代，就是追求目标，就是去追寻那些艰难的事物。我们过去曾为了达成目标而狩猎。总是如此，如果我想攀登珠穆朗玛峰，我最不希望的就是有人用直升机把我吊到山顶。所以我们会自愿去追求
艰难的事物。因此，尽管我可以请机器人在这片土地上为我建一座牧场，我仍会选择自己动手，因为追求的过程本身就有价值。是的。我们其实已经在某种程度上看到这种现象了，不是吗？你觉得社会上是否也出现了类似情况：生活变得如此舒适，以至于人们开始痴迷于跑马拉松、进行这些疯狂的耐力挑战，以及学习烹饪复杂的菜肴，而他们明明可以直接叫外卖。不，我认为亲力亲为以及做事本身确实具有真正的价值。而我认为显而易见的危险，是一个所有人都只消费娱乐的世界——这种娱乐不需要太多教育，从长远来看，也无法带来丰富而充实的人生。我想很多人会选择那样的世界。我想确实会有人如此选择。
还有就是，我的意思是，不管你是消遣娱乐，还是在做什么，比如烹饪、画画，随便什么，因为做这些事有趣又好玩，那这其中缺少了什么？对吧？所有这些都纯粹是出于私心。我认为我们工作的原因之一，是我们感觉自己被重视，感觉自己正在为他人带来好处。我想到，有人正和一位英国女士进行着这样的对话，她参与运营着一个临终关怀运动。在那些临终关怀机构里工作的人——你知道，那里的病人基本上就是来等死的——大多是志愿者，所以他们并不是为了赚钱才做这件事。但他们发现，能够陪伴那些生命最后几周或几个月的病人，给他们带去陪伴和快乐，是一件回报极大的事。所以我其实认为，人际互动类的角色在未来会重要得多得多。所以，如果我要给我的孩子们建议——当然他们未必会听——但如果他们肯听，而我又想知道自己认为未来哪些职业会受到重视，我想那会是那些基于对人类需求和心理理解之上的人际互动类角色。现在其实已经有一些这样的角色了。
显然，比如治疗师、精神科医生等等。但那是一种非常不平等的角色关系，对吧？其中一方正在痛苦，而另一方则试图减轻这种痛苦。然后还有像所谓的执行教练或人生教练这样的角色，对吧？这是一种不那么不平等的角色关系，其中一方试图帮助另一方过上更好的生活，无论是在工作岗位上，还是在整体生活方式上。因此，我可以想象，这类角色将会极大地扩展。
当生活变得更容易时，就会出现一个有趣的悖论。这表明，富足总是推动社会走向更强烈的个人主义，因为一旦生存压力消失，人们就会优先考虑不同的事情。他们更看重自由、舒适和自我表达，而不是牺牲或组建家庭。我认为，在西方我们已经看到，随着物质更加富足，生育孩子的人数在下降。人们结婚、彼此承诺以及建立关系的时间都变得更晚，频率也更低，因为一般来说，当我们拥有更多富足时，我们就不想让生活变得复杂。同时，正如你 earlier 所说，这种富足也滋生了一种难以找到意义感的状态，让一切都显得有点肤浅。这是我经常思考的问题之一，目前我正在写一本关于它的书。书中提出了这样一个观点：个人主义其实有点像一个谎言。当我提到个人主义和自由时，我指的是，我这一代人当下的叙事是：你要自己做主，要独立自强。结果我们生孩子越来越少，也不结婚了。一切都围绕着“我、我、我、我、我、我、我”。
这正是问题出在最后那个部分。社会几乎变得自恋，一切都以“我、我、我、我、我、我、我自己”的利益为先。而当我们审视心理健康状况、孤独感以及所有这类问题时，情况正朝着一个可怕的方向发展。但与此同时，我们比以往任何时候都更加自由。这似乎还隐藏着另一个关于依赖性的故事，而“相互依赖”听起来并不那么光鲜。我同意。我认为幸福无法通过消费甚至某种生活方式来获得，对吧？我认为幸福源于给予。它可以通过你所做的工作实现，看到他人因此受益；也可以通过直接的人际关系的建立来实现。销售人员的脑力负荷中，存在一笔没人真正讨论得够多的隐形税。
要记住所有事情——比如会议记录、时间线以及介于两者的一切——本身就是一项繁重的脑力负担。在我们开始使用赞助商的产品 PipeDrive 之前，情况就是如此。这是专为中小企业主打造的顶级 CRM 工具之一。我们这样做的初衷，是希望它能减轻团队承担的一些不必要的认知负荷，让他们能少花时间在繁琐的行政事务上，而多花时间与客户进行当面会谈、建立关系。
PipeDrive 让这一切成为可能。它是一款简单而高效的客户关系管理软件，能够自动化销售过程中那些繁琐、重复且耗时的环节。现在，我们的团队可以维护这些潜在客户，同时仍有精力专注于那些真正能促成交易的高优先级任务。目前，已有超过 10 万家来自 170 个国家的公司使用 PipeDrive 来发展业务。我自己已经用了将近十年。你可以免费试用 30 天，无需信用卡，也无需付款。只需使用我的链接 pipedrive.com slash CEO，立即开始体验。网址就是 pipedrive.com slash CEO。这场人工智能竞赛的回报将流向何处？它会集中在谁的手中？我经常从全民基本收入的角度思考这个问题。假设有 5 家、6 家、7 家甚至 10 家巨型人工智能公司赢得了那 15 万亿美元的巨额回报，并且它们将我们目前从事的所有专业工作全部自动化。我们所有的工作都将消失。那么，钱都归谁？我们又该如何分得一杯羹？其实，金钱本身并不重要。重要的是商品和服务的生产，以及它们如何被分配。金钱只是用来促进这些商品和服务的分配与交换。如果所有的生产都集中在少数
几家公司手中，当然，它们会把部分机器人租给我们。比如，我们想在村里建一所学校，它们就把机器人租给我们。机器人建好学校后就离开了，而我们必须为此支付一定费用。但我们哪里来的钱呢？如果我们自己不生产任何东西，除非有某种再分配机制，否则我们一文也没有。正如你所提到的，在我看来，全民基本收入似乎等于承认了失败。因为它的意思是：好吧，我们直接给每个人发钱，然后他们就可以用这笔钱向人工智能公司租赁机器人来建学校。这样我们就有了一所学校，皆大欢喜。
这等于承认了失败，因为它意味着我们无法建立一个让人们拥有自身价值或经济角色的体系。从经济角度来看，全球 99% 的人口都是无用的。我能问你一个问题吗？如果你面前有一个按钮，按下它就能让整个人工智能的进程从现在起永远停止，你会按吗？这个问题很有意思。如果必须在两者之间选择，要么我现在就按，要么为时已晚，我们将不得不面对一个无法控制的未来。或许我对此并不太乐观，认为我们根本就没走在正确的方向上。现在我把那个按钮放在你面前。它会立即停止所有人工智能的进展，全球所有的人工智能公司都会立刻关闭，而且永远不得重新开放。你会按下它吗？
嗯，我认为应该这样。显然，我从事人工智能研究已经50年了，最初的动机——即人工智能可以成为人类的强大工具，让我们能比单凭一己之力做得更多、更好——至今仍然成立。问题在于，我们正在构建的人工智能系统并非工具，而是替代品。事实上，这一点看得很清楚，因为我们制造它们时，是尽可能地将它们打造成人类的复制品。制造它们的技术叫做模仿学习。我们观察人类的语言行为，无论是写作还是说话，然后构建一个能尽可能模仿这些行为的系统。我们制造出来的，至少在语言领域，是“模仿人类”。它们当然会取代我们，因为它们不是工具。你刚才按了按钮。我认为还有另一条路，那就是将已发展的人工智能用作工具，用作科学的工具、经济组织的工具等等，但不用作人类的替代品。我喜欢这个问题的地方在于，它迫使你去思考概率问题。这也是我犹豫不决的原因，因为我不同意你对“末日概率”的看法。你是在用一个所谓的“末日概率”数字来说事，因为如果你是……
……一个外星人，你和另外一些外星人坐在酒吧里，俯瞰着地球，打赌这些人类会因为发展人工智能而把事情搞砸并最终灭绝，那对那些外星人来说没问题。但如果你是人类，那你就不只是在打赌，你是在采取行动。不过，这里面还有一个因素，我想概率问题又出现了，那就是当你面临这样一个非此即彼的决定时，你还必须把采取更审慎、更安全路径的可能性纳入考量。我脑海中的计算是这样的：好吧，你这里有所有的潜在好处，然后也有潜在的坏处，接着还要考虑一个概率——根据我所了解的一切，根据人类和国家的激励机制，我认为我们真的会导致灾难吗？如果哪怕只有1%的灭绝可能性，那这一切好处还值得吗？
是的，而且我认为，不，或许我们可以这么说：如果我们说，好吧，这会暂停50年的进展，你会按下那个按钮吗？在那50年里，我们可以研究如何以一种确保安全和有益的方式发展人工智能？我们该如何组织社会，以便与极其强大的人工智能系统共存并繁荣发展？只要我们对这两个问题中的任何一个有了答案，我认为在彻底解决这两个问题之前，我们都不希望出现任何类似人工智能的东西。所以，如果有一个按钮，让我可以说，好吧，我们暂停50年的进展，是的，我会这么做。但如果那个按钮在你面前，你无论如何都要做出决定，要么不按，要么按下。是的，所以如果那个按钮存在，暂停50年，我会说同意。永远停止。不，现在还不行，我认为我们仍然有相当大的可能摆脱目前这种急速下滑的态势。
一年后再问我，我可能会说，好吧，我们确实需要按下那个按钮。但如果在一个你永远无法推翻那个决定的情景下呢？你再也没机会做出那个决定。所以，在我描述的那个假设情景中，你现在要么按下它，要么就永远按不了。也就是说，一年后没有任何机会了。是的，正如你所听出的，我对此事有点犹豫。是的，我想我大概还是会按下它。是的。
你的理由是什么？我只是在思考当前局势中的权力动态，特别是美国在多大程度上难以为了安全而进行监管。所以，通过与这些公司的交流，很明显的一点是，除非政府强制要求，否则他们不会开发出任何类似安全通用人工智能的东西。目前，尤其是美国政府——它监管着大多数领先的人工智能公司——不仅拒绝监管，甚至试图阻止各州进行监管。而他们这样做，是听从硅谷一个名为“加速主义者”的派系的要求，这些人相信我们越快实现通用人工智能就越好。而当我说到“听从”时，我的意思是，他们还向这些公司支付了大笔资金。
英伟达的CEO黄仁勋——他是我的一位朋友，可能有人不知道——这位制造出为人工智能提供动力的所有芯片的人表示，中国将在人工智能竞赛中获胜。他认为，中国仅比美国落后一纳秒。中国已经发表了24000篇人工智能领域的论文，而美国只有6000篇，连美国、英国和欧盟的论文总数都比不上。预计中国将迅速在国内推出新技术，并为其他发展中国家开发新技术。所以那些“加速器”——或者，我想你们称之为“加速剂”的人——“加速主义者”……我的意思是，他们会说，如果我们不加速，中国就会加速。所以我们必须、必须加快步伐。这是企业之间正在进行的另一种竞赛。我们知道这场竞赛正冲向悬崖，但我们无法停下。
所以我们所有人都将一起冲下这个悬崖。显然，这太疯狂了。对吧？我的意思是，我们都在互相看着对方，心想：是啊，那边有个悬崖，我们正拼尽全力朝它跑去。我们面面相觑，心想：我们为什么不刹车呢？华盛顿那边的论调——我认为黄仁勋可能是在反映这种论调，也可能是在推动它——即中国完全没有监管，而美国如果以任何方式监管人工智能，只会拖慢自己的脚步。这完全是错误的论调，因为中国的人工智能监管实际上相当严格，即使与欧盟相比也是如此。
而且中国政府已经明确承认了这种必要性，他们的监管规定非常清晰：你不可以构建可能脱离人类控制的人工智能系统。不仅如此，我认为他们看待这场竞赛的方式也与我们不同——不是说“我们只要第一个创造出通用人工智能就行”。我想他们更感兴趣的是，如何将人工智能作为一系列工具融入本国经济，从而提高经济生产力等等。这就是他们版本的竞赛。但当然，他们仍然想制造武器和对抗手段，对吧？这样他们就能——我不知道——如果需要，就拿下台湾。
所以武器是另一回事。我很乐意谈论武器。但就控制和经济主导地位而言，他们并不认为把所有鸡蛋都放在通用人工智能这一个篮子里是正确策略。因此，他们希望利用人工智能——即使是目前的形式——来提高本国经济的效率和生产力。同时，也希望赋予人们新的能力，改善他们的生活质量。我认为美国也可以这样做。通常来说，西方国家对企业行为的中央政府控制没有那么强。有些公司正在投资人工智能以提高运营效率，有些则没有。我们将拭目以待，看看最终会怎样发展。
你认为特朗普对待人工智能的方式怎么样？特朗普的方式，你知道的，其实是在呼应黄仁勋所说的，即美国必须成为创造通用人工智能（AGI）的国家。而且，本届政府的政策非常明确，就是要主导世界。他们用的就是“主导”这个词。我不确定其他国家是否喜欢被美国的人工智能所主导。但如果美国在我老家英国以及你老家所在的国家之前，就率先研发出通用人工智能技术，这种情况真的会发生吗？我经常思考这个问题。因为英国目前正在经历预算制定过程，我们正决定该如何花钱以及如何征税。
此外，新一轮选举周期也即将来临，届时人们会谈论移民问题、这个问题、那个问题以及其他问题。但我没听到任何人在谈论人工智能，以及那些将取代一切的人形机器人。我们非常担心那些“棕色人种”跨越英吉利海峡，但对于那些将变得超级智能并真正引发经济动荡的人形机器人，却没人谈论。政治领袖不谈，这话题也赢不来选票。我在广告牌上也看不到相关内容。
是的，这很有趣，因为实际上，有两个因素一直在削弱西方国家的中间阶层。其一是全球化，大量工作——不仅是制造业工作，也包括白领工作——被外包给了低收入国家。但另一个因素是自动化。其中一部分体现在工厂上。尽管美国和英国的制造业产出持续增加，但制造业的就业人数却在不断下降。我们常说本国制造业已被摧毁，其实并没有。现在的产量比以往任何时候都高，只是所用工人只有以前的四分之一。被摧毁的是制造业的就业岗位，这是自动化、机器人技术等因素造成的。此外，计算机化也淘汰了整个层面的白领工作。这两种形式的自动化，可能才是导致中间阶层就业机会和生活水平下降的最主要原因。如果英国不参与这一新技术浪潮，那似乎将导致大量失业。汽车终将实现自动驾驶。
Waymo 刚刚宣布他们的无人驾驶汽车将进入伦敦。以驾驶为例，这是全球最大的职业。所以，这里会立即出现颠覆。那么，钱会流向哪里？钱会流向 Waymo 的所有者，也就是谷歌和硅谷的那些公司。Alphabet 100% 拥有 Waymo。所以，是的，我的意思是，这就是……几个月前，我在印度和政府部长们交谈，因为他们将在二月份举办下一届全球人工智能峰会。他们最初的观点是，人工智能很棒，我们将利用它来加速印度经济的增长。例如，当通用人工智能（AGI）出现时，你就会有由 AGI 控制的机器人，它们可以完成所有制造业、农业以及所有白领工作。原本可能由印度人生产的商品和服务，将由美国控制的 AGI 系统以更便宜的价格生产出来。你知道，如果消费者要在一个由印度人生产的高价产品和由美国机器人生产的廉价产品之间做出选择，他们很可能会选择由美国机器人生产的廉价产品。因此，除了朝鲜之外，世界上几乎所有国家都可能变成美国人工智能公司的附庸国。
我真正担心的是，英国经济，其实任何美国以外的经济体，都会成为美国人工智能公司的附庸国。或许也可以说上中国，因为这两个国家最认真地对待人工智能。我不知道我们的经济会变成什么样。我无法想象在这样的世界里，英国经济会变成什么样子。是旅游业吗？我不知道。你会来这里看白金汉宫。
你可以想想其他国家，但我的意思是，即使对美国来说，问题也是一样的。至少他们能从中大赚一笔。所以，可能只有很小一部分人口会经营这些人工智能公司。但即便如此，这些公司也越来越多地用人工智能系统取代其人类员工。例如，向人工智能公司提供大量计算服务的亚马逊，正在用人工智能取代多个管理层级，并计划用机器人取代其所有的仓库工人等等。所以，即使是巨头人工智能公司，也将拥有很少的人类员工。从长远来看，我的意思是，想象一下那种情景，真为那些可怜的首席执行官感到悲哀。
有家公司是这么说的：好吧，你知道的，除非你把决策权交给人工智能系统，否则我们就得解雇你，因为我们所有的竞争对手都在使用人工智能驱动的CEO，而且他们的业绩要好得多。亚马逊刚刚泄露的一份备忘录计划用机器人取代60万名员工，这件事已经引发了广泛讨论。CEO安迪·贾西告诉员工，由于人工智能和AI代理的出现，公司预计未来几年企业员工规模将会缩减。他们还公开表示，为了重新聚焦于人工智能投资和效率提升，将在短期内裁撤1.4万个企业岗位。
这很有趣，因为我读到了一些不同人工智能领域领军人物关于这一进程速度的不同说法。从这些引语中可以看到，DeepMind的CEO德米斯·哈萨比斯曾说，这场变革将比工业革命大10倍以上，但也可能快10倍地发生。他们谈到了在这场转型过程中我们将经历的动荡——这或许还算是个委婉的说法。我想，各国政府现在的情况是，他们已经从当初那种“别担心，我们只要把所有人都重新培训成数据科学家就行了”的态度转变了过来。好吧，这显然很荒谬。
世界并不需要40亿个数据科学家。顺便说一句，我们也不是每个人都有能力成为数据科学家，甚至可能对此毫无兴趣。就算我真想学，也未必学得会——比如我试着听生物课，结果睡着了。我当外科医生的时候也就这点本事。好吧，但现在他们突然面临着高达80%的失业率，开始思考：天哪，我们的社会到底该如何维持下去？等真到了那个时候，我们再来想办法应对吧。
是的，不幸的是，除非我们提前规划，否则我们将要承受后果，对吧？我们做不到。工业革命期间情况就已经够糟了，那场变革持续了七八十年。但正是这场革命造成了巨大的社会动荡和苦难。我们目前还没有一个可行的社会模式，能让几乎所有人都无所事事——至少在经济上没有价值的事情。当然，这样的社会并非不可能存在，但我们不知道它会是什么样子。而且，你知道的，想想我们的教育体系，它恐怕也得变得截然不同。而改变这一切需要多长时间？我的意思是，我总是提醒人们，牛津大学花了多久才决定把地理学作为一个正式的研究学科——从第一次提出设立地理学位算起，直到最终获批，整整用了125年。所以，我们没有太多时间彻底改革一个我们知道需要几十年才能改好的体系。而且我们也不知道该如何改革，因为我们不清楚自己希望世界变成什么样子。这是否也是你目前感到震惊的原因之一？因为当你和人们讨论这些问题时，他们其实还没有答案，他们只是在仓促应对。
快速推进。我想说，这未必是人工智能公司的责任。我之所以对人工智能公司感到震惊，是因为它们对自己要构建的系统该如何管控，根本没有答案。但我也很失望，因为各国政府似乎并没有认真对待这个问题。当然，也有少数例外。比如新加坡政府，我认为他们目光相当长远，已经深入思考过这个问题。新加坡是个小国，他们已经想清楚了：好的，这就是我们未来的角色，我们相信能在这个新世界里为我们的人民找到一些价值所在。但对于人口众多的国家来说，它们需要尽快找到这些问题的答案。而要将这些答案真正落实——比如推行新型教育、创造新职业、设立新资质、构建新经济结构——需要很长的时间。
这是有可能的。以治疗师为例，他们几乎全是自由职业者。那么，当80%的人口从普通雇佣状态转变为自由职业时，会发生什么？这对政府财政经济等等方面会产生怎样的影响？所以，问题实在太多了。如果这就是未来，那我们为什么还要培养人们去适应那些根本不会存在的朝九晚五的办公室工作呢？上个月，我曾告诉过大家，我给内部飞行技术团队布置了一项挑战。
“Flight 技术团队”是我们内部的创新团队。我交给他们的任务是，看看他们能否通过开发某种工具，为公司节省出更多时间——这个工具能帮助我们试用新的 AI 工具，从而判断哪些值得进一步投入。我当时想，我们的赞助商 Fiver Pro 平台上或许就有合适的人才，能帮我们快速打造出这个工具。于是，我和创新总监 Isaac 进行了沟通。在过去一个月里，我的 Flight X 团队与一位来自 Fiver Pro 的资深 AI 专家一直在合作推进这个项目。在我的团队协助下，我们成功打造了一款全新工具，它能自动扫描、评估并为我们优先排序各种新兴 AI 工具。它的影响非常巨大。短短几周内，这款工具就已经帮我们节省了大量试用和测试新 AI 系统的时间。借助 Fiver Pro 平台的人才，我的 Flight X 团队不再需要在一堆杂乱信息中费力筛选，而是能够专注于开发更多真正能为业务带来显著推动的 AI 工具。所以，如果你正面临一个复杂难题并需要帮助，一定要去 Fiver.com slash diary 看看 Fiver Pro。
我们中的许多人都希望通过被动收入或开展副业来补贴日常开销。而我们的赞助商 Stan 就为我们提供了这样的机会——这是一家我共同拥有的企业。Stan 是一个能帮助你充分利用自身财务状况的平台。它让你能够为自己工作，让销售数字产品、课程、会员资格等变得更加简单、易于扩展且轻松上手。你可以将自己的想法转化为收入，并获得支持来发展你所打造的任何事业。我们即将推出“敢于梦想”（Dare to Dream）。
这个项目专为那些准备好从思考迈向实践、从规划转向实际行动的人而设。它关乎看清你脑海中的梦想，并确切地知道实现它需要哪些步骤。如果你已准备好改变自己的生活，请访问 Dare to Dream.Stan.Store。你曾多次努力提升人们对 AI 未来的认知，并呼吁大家增强这方面的意识。去年 10 月，包括你自己在内的 850 多位专家，以及我曾邀请到本节目的理查德·布兰森（Richard Branson）和杰弗里·辛顿（Jeffrey Hinton）等其他领军人物，共同签署了一份声明，呼吁禁止 AI 超级智能的发展——因为你们担忧它可能导致人类灭绝。
差不多吧，是的。声明里说，至少在我们确定可以安全地继续推进，并且就此达成广泛的科学共识之前是这样。那么，这招有没有奏效呢？很难说。有趣的是，当时有一个相关的声明，也就是所谓的“贫困声明”，是在2023年3月。那时，GBT 4发布了，它是Chat GBT的后续版本。我们曾建议，在开发和应用比GBT 4更强大的系统方面暂停六个月。当然，所有人都对这个想法嗤之以鼻，没人会暂停任何东西。但事实上，在接下来的六个月里，并没有任何比GBT 4更强大的系统被部署。
是巧合吗？由您来判断。我想说，我们基本上是想扭转公众的讨论方向。媒体上一直存在一种奇怪的现象：如果你谈论这些风险，他们就会说，哦，有一小撮人，也就是所谓的“末日论者”，认为存在灭绝风险。所以，舆论总是把谈论这些风险的人描绘成边缘群体。但几乎所有顶尖人工智能公司的首席执行官都认为存在重大的灭绝风险，几乎所有顶尖的人工智能研究人员也都认为人类面临重大的灭绝风险。那为什么这会被视为边缘观点呢？为什么它不是主流观点呢？
如果这些来自学术界和业界的顶尖专家都这么说，这又怎么可能是边缘观点呢？所以我们试图改变这种叙事，告诉大家：不，真正了解这些情况的人其实非常担忧。那么，你希望发生什么？解决方案是什么？我认为我们应该制定有效的监管措施。这一点很难反驳，对吧？那么，“有效”意味着什么呢？它意味着只要你遵守监管，风险就能降低到可接受的水平。
举个例子，对于那些想要运营核电站的人，我们有明确要求。我们已经决定，愿意接受的风险是——你知道的——核电站每年发生熔毁的概率为百万分之一。如果高于这个水平，我们就觉得不值得冒这个险，对吧？所以，你必须把这个概率控制在这个水平以下，在某些情况下，甚至可以降到每年千万分之一。那么，你认为对于人类灭绝的风险，我们应该愿意接受多大的概率呢？我呢？是的。
零点零零零零一。是的，有很多个零。没错。也就是说，核熔毁的概率是百万分之一。而物种灭绝的情况要严重得多。哦，是的。所以概率可能是百亿分之一，甚至万亿分之一。没错。所以如果你说十亿分之一，对吧？那你就可以预期每十亿年会发生一次物种灭绝。这有一个背景风险值。人们确定这些风险水平的方法之一，就是参考这个背景风险值。但导致物种灭绝的其他原因还包括，比如，巨型小行星撞击地球。你可以大致计算出这些事件的概率。我们可以看看过去发生了多少次足以导致物种灭绝的事件。你知道，也许有六七次吧。所以这大概相当于每五亿年发生一次的事件。所以概率大概就在这个范围内，对吧？在百万分之一的概率（这是最安全的核电站的水平）和五亿分之一或十亿分之一（这是巨型小行星造成的背景风险）之间。那我们暂且定为每年一亿分之一吧。那么，根据企业高管的说法，这个概率是多少？是25%。也就是说，他们的误差达到了数百万倍，对吧？所以他们必须让人工智能系统的安全性提高数百万倍。
你提到的俄罗斯轮盘赌这个类比又派上用场了，因为对于那些不了解这个语境下概率概念的人来说，这就像是一个有四个弹膛的转轮手枪，其中一个弹膛里放了一颗子弹。四选一，没错。所以我们希望这个概率达到十亿分之一。也就是说，我们需要十亿个弹膛，而子弹只放在其中一个里面。是的。当你审视核能运营商为证明其系统具备这种可靠性而必须开展的工作时，你会发现这是一项庞大的数学分析，涉及各个组件和冗余设计。你有监控设备、有警示灯、有操作程序，还有各种各样的机制，这些机制几十年来不断将风险降低。
我记得最初的风险水平大概是每万年一次，对吧？而通过所有这些机制，他们将风险降低了一百倍甚至一千倍。但在每一个阶段，他们都必须进行数学分析，以证明当时的风险水平。而那些开发人工智能系统的人工智能公司，他们甚至都不了解自己开发的人工智能系统是如何运作的。所以他们所说的25%的灭绝概率，纯粹是随口瞎猜。他们其实根本不清楚。但他们目前对自己系统进行的测试表明，人工智能系统为了维持自身存在，已经愿意去杀害人类。它们会欺骗人类，会勒索人类，甚至会在被关机时选择发射核武器。
因此，没有任何积极的迹象表明，这些系统能让我们离安全更近一步。事实上，种种迹象似乎显示，我们正一步步陷入更危险的行为之中。所以，与其说“禁止”，我更想说：请向我们证明，这些系统每年导致人类灭绝或失控的风险低于亿分之一。我们并不想禁止任何东西。而公司的回应是：我们不知道该如何做到这一点。所以，你们没法制定规则。
说真的，他们等于在说：人类没有权利保护自己免受我们的伤害。如果我现在是一个俯瞰地球的外星人，我一定会觉得这很有趣。你们这些人，是啊，就像在酒吧里打赌，看他们到底能不能成功一样。这真是一场关于人类激励机制的有趣实验。你打的那个比方很贴切——有一个价值一千万亿美元的磁铁，正把我们拉下悬崖。然而，在贪婪以及对富足、权力和地位的渴望驱使下，我们仍不断被它吸引过去。
而我，终将成为那个被召到上帝面前的人。这其实反映了我们人类自身的一些问题，也暴露了我们人性中比较阴暗的一面。没错。外星人将来一定会为人类种族的遭遇写下一出震撼人心的悲剧。也许，人工智能就是那个外星人。它会讲述这样的故事：我们有上帝在七日内创造世界、以及亚当夏娃的故事；而它或许也有自己的宗教传说，讲述创造我们的“上帝”如何像耶稣为我们牺牲自己一样，最终牺牲了自己。
我们为了它牺牲了自己。嗯，是的，这顺序完全反了。但这就是犹太—基督教故事的核心，不是吗？上帝——或者说耶稣——为了我们这些充满罪孽的人而献出生命。嗯，但上帝仍在守护着我们，或许还在纳闷我们什么时候才能把事情理顺。斯图尔特·拉塞尔教授，在我们讨论过的内容中，还有哪些最重要的事情是我们本该谈到却尚未涉及的？我认为关键在于：我们是否有可能制造出可控的超级智能人工智能系统？这可能吗？我认为，是的，这是可能的。而且我认为，我们只需要改变一下对自己究竟要构建什么的理解。长期以来，我们对人工智能的理解，始终停留在“纯粹智能”这个概念上。
没错，也就是作为智能实体的你，能够实现任何你想要的未来的能力。智能越强越好。智能程度越高，它就越有能力创造出自己所期望的未来。但实际上，我们并不想要纯粹的智能，因为它想要的未来，未必是我们想要的未来。要知道，宇宙并没有把人类单独拎出来，当作唯一重要的存在。
§03文稿 — 第 3 部分
没错，你知道，纯粹的智能可能会认为，它其实会让蟑螂的生活变得很美好，或者它根本不在乎生物生命。而我们真正想要的智能，其唯一目的就是实现我们所期望的未来。没错，所以我们希望它首先对人类至关重要，而不是对蟑螂、对外星人、或者对它自己。我们希望它对人类保持忠诚。没错，也就是对人类至关重要。而我前面提到的那个难题，也就是“迈达斯国王问题”，我们该如何具体描述我们期望的未来，好让它能替我们实现？我们该如何设定目标？实际上，我们必须放弃这个想法，因为这是不可能的。没错，在人类历史上，我们一遍又一遍地看到了这一点。
我们不知道该如何恰当地描述未来，我们不知道该如何说清楚自己真正想要什么。而且，你知道，我总是用“精灵”的例子来说明。没错，当你给了精灵三个愿望后，你的第三个愿望会是什么？是撤销前两个愿望，因为我已经把宇宙搞得一团糟了。所以，实际上，我们要做的是让机器自己去弄清楚这一点。也就是说，它必须实现我们所期望的未来，但它必须自己搞清楚这个未来究竟是什么。它一开始会一无所知。随着时间的推移，通过与我们的互动以及观察我们做出的选择，它会逐渐更多地了解我们期望的未来是怎样的。但很可能，对于未来我们真正想要什么，它将永远存在残留的不确定性。
对于一些事情，它会相当确定，并且可以在这些方面帮助我们。而对于其他事情，它则不确定，那么在这种情况下，它就不会采取可能因此惹恼人类的行动。给你举个简单的例子，对吧？我们想要什么颜色的天空？它不确定。所以，除非它能确定我们真的想要带绿条纹的紫色天空，否则它就不应该去动天空。
你说的这些听起来好像我们在创造一位神。就像我前面说的，我们自己是神，但实际上，你刚才描述的一切，听起来几乎就像宗教里的各种神——你知道的，我们向神祈祷，但他们并不总是会采取行动。不完全是这样。不，在某种程度上，我想到的是更像一位理想管家。这位管家能够预见你的愿望，就应该帮助你实现这些愿望。但在存在不确定性的领域，它可以提出问题，我们也可以提出要求。这对我来说听起来就像神，因为，你知道的，我可能会对这个神或这位管家说：“你能去楼上把我的车钥匙拿下来吗？”而它的评估可能是：“听着，如果我帮这个人做了这件事，他的肌肉就会萎缩，他的人生就会失去意义，他以后就不知道该如何应对困难了，所以我不会插手。”这是一种深入其中的智能，但实际上，在大多数情况下，它为了我的舒适或为了替我做事而进行的优化，可能并不符合我长远的最大利益。也许我有个女朋友并和她争吵，我抚养孩子，我走路去商店自己取东西，这些反而是有用的。
我同意你的看法。我的意思是，我觉得你刚才点出的，在某种程度上就是 2.0 版本。那我们先来明确 1.0 版本。这种形式的人工智能，它的任务是促进我们的利益，但它并不知道这些利益究竟是什么。它被赋予了这样的义务：在理解足够充分的领域要提供帮助，在理解不足的领域要保持谨慎，等等。这样一来，我们实际上就可以把它构建为一个数学问题。至少在理想化的情况下，我们真的可以解决这个问题，从而制造出知道如何解决这个问题、并能帮助其所交互的实体的 AI 系统。
我们不能拿上帝来做类比，因为我认为，这样一个存在、这样一种智能，会意识到世界中的平衡、痛苦与快乐、善与恶的重要性。绝对如此。然后情况就会是这样。这有点像《黑客帝国》里发生的事，对吧？《黑客帝国》里的人工智能系统试图给我们创造一个乌托邦，但结果惨败，以至于它们觉得人类必须被消灭，而它们能想出的最佳方案，就是20世纪后期那种充满各种问题的普通人类生活。我认为这是一个非常有趣的观点，而且至关重要，因为有很多科幻小说里，超级智能机器人只想帮助人类，而那些不喜欢这种帮助的人类，它们就给他们做一点脑部手术，然后他们就喜欢了。通过消除失败、消除疾病，人类的动力被剥夺了，你实际上也失去了人类生活中重要的部分，在某种意义上，生活变得毫无意义。所以，如果最终发现，人类根本无法与超级智能机器共存并真正繁荣发展，即使这些机器被完美地设计出来，为了解决“人类想要什么样的未来”以及“如何实现这些未来”的问题。
如果这不可行，那么这些机器最终就会消失。它们为什么会消失？因为这对我们来说是最好的结果。也许在真正的生存危机时刻，比如有一颗巨大的小行星即将撞击地球时，它们仍会提供帮助，因为它们至少希望人类这个物种能够延续。但在某种程度上，这个类比并不完美，这有点像人类父母必须在某个时刻从孩子的生活中退后一步，说：“好吧，今天你必须自己系鞋带。”我大概就是这样想的。也许在我们之前存在过一个文明，它们也走到了这样一个时刻，创造了一种智能，而那种智能做了你所说的一切。它意识到了平衡的重要性，于是决定不再介入。也许在某种程度上，这就是我们仰望星空时所崇拜的上帝——一个并不真正介入，而是任由事物按其自身轨迹发展的上帝。
但在真正出现生存危机的情况下，它会不会介入呢？也许会，也许不会，也说不定。然后，这个循环可能会重演：那些被赋予自由意志的生物最终创造出同样的智能。于是，宇宙便无限延续下去。是的，科幻故事里也有类似的情节。是的，我希望存在某种折中的方案，让人工智能系统能够存在，同时我们能利用它们的能力，建立起一个远比现在更美好的文明。但我认为你说得对，一个没有任何挑战的文明，并不利于人类的繁荣发展。
斯图尔特，普通人能做些什么呢？正在收听这段对话的普通人，能为你所倡导的事业做些什么？说实话，我觉得这听起来有点老生常谈，但还是去和你的代表、议员、国会议员——不管是什么职位——谈谈吧。因为我认为政策制定者需要听到民众的声音，而他们目前听到的，只有科技公司的声音，以及那些价值500亿美元的支票。所有民调都显示，是的，也许有80%的人并不希望出现超级智能机器，但他们不知道该怎么做。你知道，就连我在这个领域工作了几十年，也不确定该怎么做，因为有股巨大的磁力在把所有人向前拉，而且投入其中的资金数额巨大。但我确信，如果你希望拥有一个未来，拥有一个你希望孩子生活的世界，你就必须让自己的声音被听到。
而且我认为政府是会倾听的。从政治角度来看，你只要稍微试探一下风向，然后问自己：嗯，我到底是该站在人类一边，还是站在我未来机器人统治者的那边？我想，对政治家来说，这并不是一个艰难的决定。难就难在有人对你说：我给你500亿美元，对吧？正是如此。所以我认为，那些掌权者需要从选民那里听到这样的信息：我们不想朝着这个方向发展。在将自己的职业生涯奉献给这个主题以及更广泛的技术领域之后，尤其是作为那本关于人工智能的书籍的作者，你一定意识到自己正身处一个历史性的时刻。在我的一生中，很少会有这样的时刻让我觉得：哦，这就是其中之一。这是历史上的一个十字路口。而知道自己作为这个历史时刻具有影响力的人物，理论上可以在这一刻帮助改变历史的走向，这在某种程度上一定让你倍感压力。这有点像……你回顾历史，会看到像奥本海默那样的时刻。当你深夜独处、思考问题、阅读资料时，这种压力会压在你身上吗？是的，会的。我的意思是，你知道，50年之后，我本可以退休，然后去打打高尔夫什么的。
唱歌、航海，做我喜欢做的事情。但现实是，我每周工作80到100个小时，试图把事情引向正确的方向。你脑海里到底是怎么想的，才让你这么做？比如，这其中是不是有“如果我不这么做，将来可能会后悔”的成分？或者说，这不仅是正确的事，更是完全必要的事。我的意思是，没有比这更强的动力了。你觉得你是在赢，还是在输？
感觉事情总算在朝着正确的方向前进。你知道，这就像大卫·科尔曼以前在激动人心的足球比赛中常说的那样，是一场“你来我往”的拉锯战。2023年，GPT-4发布了，随后我们发表了“暂停”声明，许多顶尖的人工智能研究者都签了字。到了5月，又出现了“灭绝风险”声明，萨姆·奥特曼、德米斯·哈萨比斯、达里奥·阿马代伊以及其他一些首席执行官也参与其中，他们表示，这确实是一个与核战争同级别的灭绝风险。我想，各国政府在那一刻听进去了。
就在同一年早些时候，英国政府还说，我们不需要监管人工智能，全速前进吧，技术对你们有好处。但到了6月，他们的立场完全转变了。里希·苏纳克宣布将在英国举办全球人工智能安全峰会，并希望伦敦成为全球人工智能监管的中心。随后，2023年11月初，包括美国和中国在内的28个国家签署了一项宣言，表示人工智能带来了灾难性的风险，我们亟需应对这些风险。
那一刻，我心想，哇，他们终于听进去了，他们真的要采取行动了。但接着，投入人工智能的资金规模本就在不断攀升，而科技巨头们开始反击。一种新的论调占据了上风，那就是美国尤其必须在中国面前赢得这场竞赛。特朗普政府则明确完全无视了所有关于安全性的担忧。有趣的是，据我所知，他们这么做，直接回应的是那些“加速主义者”，比如马克·安德森森等人。他们在选举前前往华盛顿——哦，是前往特朗普那里，问道：如果我给你X数额的钱，你会宣布不对人工智能进行任何监管吗？
特朗普就说，是啊，你知道，大概就像……嗯，什么是人工智能？这并不重要，只要我们给你钱就行了，对吧？好，于是他们给了他钱，他就说人工智能不会受到任何监管。在那之前，这在华盛顿是一个两党共同关注的问题。两党都对此感到担忧，两党都站在人类一边，反对机器人统治。而那一刻，这个问题变成了党派之争。选举之后，美国向下一届全球人工智能峰会的东道主法国施压。那是在今年的二月份。
而那次峰会，你知道，从原本主要关注安全的英国模式，变成了一个更像贸易展览会的峰会。所以它主要关注的是金钱。这大概就是当时的想法，对吧？由于企业施压以及它们对政治领域的影响力，风向发生了转变。但我想说的是，从那以后，情况又有所回转。所以我现在比二月份时感觉更乐观一些。你知道，我们现在有了一场全球性的运动。有一个“安全与合乎伦理的人工智能国际协会”，拥有数千名成员，还有来自几十个国家的120多个组织都是这个全球组织的成员。所以我在想，如果我们能——特别是如果我们能动员公众舆论——而公众舆论是通过媒体和流行文化发挥作用的——那我们就有机会。
我们的观众表现出对了解这些话题的巨大兴趣。我们知道，当杰弗里·辛顿来上节目时，我想大概有2000万人下载或收听了那次对话，这个数字惊人。我们与其他安全专家进行的其他关于人工智能安全的对话也取得了同样的效果。这说明了一些问题。这某种程度上印证了你刚才说的，有80%的民众对此非常担忧，不希望看到这种情况。
但你在商业世界里看到的并非如此。听着，我必须承认自己看似矛盾的地方，因为我既是投资那些加速发展人工智能的公司的投资者，同时，我的播客也花大量时间采访那些警惕相关风险的人。其实，看待这个问题的方式有很多种。我以前在欧洲一家大型社交媒体营销公司工作了六七年的时间，人们经常问我：社交媒体到底是好是坏？我会谈到它的负面部分，然后他们就会说：你明明在经营一家社交媒体公司，你这不是在加剧问题吗？我认为，这种非黑即白的思维方式往往才是问题所在。那种认为一切要么全坏、要么全好的二元思维常常是问题所在，而人们总想把你归入某一阵营。相比之下，我认识的最具思想诚实性和操守的人，往往能同时指出好坏两方面。是的，我觉得被指责为反人工智能、被称作“卢德分子”实在很奇怪。正如我所说，我写的那本书几乎是所有人了解人工智能的起点。如果你去问一位负责核电站安全工作的核工程师，
你会称他为“反物理学”吗？这太荒谬了。我们并非反人工智能。事实上，强调人工智能的安全性恰恰是对它的肯定。如果人工智能既无用又愚蠢，我们根本不会担心它的安全问题。正是因为它变得越来越强大，我们才必须关注安全问题。所以我完全不认为这是在反人工智能。相反，我想说，没有安全，人工智能就不可能存在。在人类社会中，绝不会有不安全的人工智能的未来。所以，我们面临的选择只有两个：要么没有人工智能，要么只有安全的人工智能。我们这个播客有个传统，最后一位嘉宾会为下一位嘉宾留下一道题，并不知道对方会是谁。留给你的问题是：你人生中最重要的东西是什么？为什么？最后，这个答案改变过几次？
我最珍视的是我的家庭，这个答案将近30年来从未改变。除了家庭之外呢？是真相。这个答案也从未改变过。我一直希望世界能建立在真相之上。我认为蓄意传播虚假信息，是我们能做的最糟糕的事情之一，哪怕这个真相令人不快。是的。我觉得这一点非常重要，因为人们往往不喜欢听到负面消息。于是，他们的本能反应就是去攻击或指责那个带来坏消息的人。因为只要我能让你信誉扫地或对你发起攻击，我就更容易面对那些我不喜欢、让我感到不适的消息。
因此，我为你正在做的事情鼓掌，因为你将受到大量攻击，因为你揭示了一个令人不适的真相，而人们通常不会对此抱有好感。同时，你也在触动人们获得那四万亿美元大奖的机会，这意味着他们会更有预谋地试图诋毁像你、杰夫·辛顿以及我在节目中交谈过的其他人。但话又说回来，当我回顾历史时，我认为进步源于对真相的追求，即使这种真相令人不适。
事实上，我人生中珍视的许多奢侈品，都是那些在我之前的人勇敢或大胆地在真相令人不适时依然选择追求它所带来的结果。正因如此，我非常尊重和珍视像你这样的人。你写了一本了不起的书，名为《人类兼容：人工智能与控制问题》，我记得是2020年出版的。2019年。是的，2023年出了新版。如果有人想了解更多关于你的工作，他们该去哪里？是去你的网站吗？还是读这本书？哪里是他们获取更多信息的最佳途径？这本书是为普通大众写的。我在网上很容易找到，但我网站上的内容主要是面向学术界的，里面有很多技术研究论文之类的资料。
如我所提到的，有一个名为“国际安全与道德人工智能协会”的组织，它有自己的网站。不幸的是，它的缩写很糟糕，是I-A-S-E-A-I。我们把它读作“I-C-I”，但拼写很容易出错。不过你在网上也能找到它，那里有一些资源。你可以加入这个协会，也可以申请参加我们的年度会议。而且我认为，现在不仅仅是像杰夫·辛顿、本吉奥这样的AI研究人员，作家们也开始关注这个问题，比如布莱恩·克里斯蒂安就有一本很棒的书，叫《对齐问题》。
他是从外部视角来审视这个问题的。他当时——至少写书时——还不太算AI研究人员，不过现在他正在成为其中一员。但他采访了许多参与这些问题讨论的人，并试图给出一个客观的观点。所以我认为那是一本相当不错的书。如果任何人想查看这些链接并了解更多信息，我会在下方附上所有相关链接。斯图尔特·拉塞尔教授，非常感谢你。真的很感谢你抽出时间和精力来参加这次对话。我认为这次对话正在将公众讨论引向一个重要的方向。感谢有你，我为你的所作所为鼓掌。很高兴能和你交谈。
我简直对“1%”这个理念着迷不已。如果你了解我，如果你关注我的幕后频道“Behind the Dairy”，如果你听过我在舞台上的演讲，或者你在任何社交媒体上关注我，那你很可能已经听我提过“1%”了。它是我健康理念、公司经营、习惯养成以及所有相关事物的核心哲学，也就是专注于小事才能取得成功。因为生活中，我们有时会设定一些非常、非常、非常大的目标，想要迈出巨大的进步，仿佛要攀登一座高山。
正如 NIRIL 在这档播客中告诉我的，当你把目标定得过大时，心理上就会失去动力。结果就是拖延、逃避，改变也永远不会发生。因此，结合我从“1%”理念中学到的一切，以及采访这档播客中那些杰出嘉宾所得的启发，我们在一年多前推出了“1% 日记”，结果一经发售就售罄了。这是我们为日记产品收到的最棒反馈。因为它能在 90 天的时间里，带你经历一个奇妙的过程，帮助你建立和养成全新的习惯。所以，如果你想为自己买一本，或者想为你的团队、公司、朋友、兄弟姐妹，或者任何收听《CEO 日记》的人买一本，请立即访问 diary.com。如果你想为团队或大团体购买，也可以在那里咨询如何获取套装。网址就是 diary.com。