Mustafa: 谷歌 DeepMind 联合创始人：AI 可能释放致命病毒，威胁与日俱增！穆斯塔法·苏莱曼
Google DeepMind Co-founder: AI Could Release A Deadly Virus - It’s Getting More Threatening! Mustafa Suleyman
嘉宾：Mustafa
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01文稿 — 第 1 部分
你谈论这个话题时会感到不舒服吗？是的，我的意思是，这事儿确实挺疯狂的，对吧？穆斯塔法·苏莱曼，谷歌人工智能技术的亿万富翁创始人。他在人工智能发展的最初关键阶段发挥了关键作用。2020年，我转去负责谷歌的聊天机器人项目。那是一项终极技术。我们可以利用它来极大地提升我们的知识水平，这是前所未有的。那为什么他们没有发布它呢？我们当时很担心。我们很担心。每个组织都会竞相获取这种智能。
而这将会造成极其严重的破坏。这项技术既可以用来识别癌性肿瘤，也可以用来识别战场上的目标。一小撮想要造成伤害的人将能够接触到足以瞬间动摇我们世界稳定的工具。挑战就在于，如何阻止那些可能造成危害甚至导致死亡的东西。这正是我们需要进行管控的地方。你认为这是可以管控的吗？这必须是可能的。
为什么？这必须是可能的。为什么必须是呢？因为否则的话，它就会控制我们。但你却选择在这个领域创办一家公司。你为什么这么做？因为我想设计一种站在你这边的人工智能。我真心认为，如果我们成功了，一切都会便宜很多。它将驱动新型交通工具，降低医疗保健成本。但如果我们失败了呢？这个问题的答案非常痛苦……你因此感到难过吗？是的。
这压力很大。压力真的很大。现在人工智能领域发生的一切，这股新浪潮，还有像“通用人工智能”（AGI）这样的术语，我在你的书中还看到了另一个术语叫“人工常识智能”（ACI），我还是第一次听到这个词。从情感上来说，你对此有何感受？如果让你用几个词来概括此刻你对这一切的情感，你会用哪些词？我想说，在过去，我会用“恐惧到极点”来形容。但我觉得，随着时间的推移，当你真正深入思考其后果、利弊以及我们所处的轨迹时，你就会慢慢适应。
你会意识到，这条轨迹其实有着某种不可避免的必然性。没错。我们必须作为一个整体物种，作为全人类，去拥抱它、引导它、控制它。而且我认为，你越是意识到我们作为一个集体能对这个结果产生多大的影响，就越能感到振奋。因为从表面上看，这确实将成为帮助我们应对作为一个物种所面临的所有挑战的工具，对吧？
没错。我们需要解决海水淡化问题。我们需要以比现在便宜100倍的成本生产粮食。我们需要让可再生能源普及到日常生活的方方面面。我们需要适应气候变化。放眼未来50年，我们必须在资源更少的情况下做得更多。而关于如何实现这些目标，目前几乎没有像样的提案，更不用说切实可行的解决方案了。因此，训练机器来协助我们——作为我们的助手、科研伙伴、发明者和创造者——是绝对必要的。
因此，其带来的好处是巨大的，甚至是惊人的。但人工智能不仅仅是一个既定的事物，它也不是一个不可避免的整体。它的形态并非注定如此，对吧？它将以何种形式在我们的日常生活中显现、由谁来掌控、归谁所有、又该如何训练——这些问题，都取决于我们整个物种在未来十年内如何共同决定。因为如果我们不迎接这一挑战，那么人工智能的发展方向就会不由我们掌控。
而这正是我职业生涯过去15年来一直在思考的问题：如何采取干预措施，确保人工智能真正惠及所有人，并且其带来的好处远超潜在风险。你是在哪个阶段感到害怕的？我是在2010年创立了DeepMind。最初几年，我们的进展相当有限。但很快，大约在2013年，随着深度学习革命的兴起，我开始看到早期人工智能崭露头角，它们已经能够完成一些非常巧妙的任务。
例如，我们早期的一项重要成果就是教会人工智能玩雅达利游戏。还记得《太空侵略者》和《乒乓球》吗？在《乒乓球》中，你要把球从左往右打来打去。我们训练最初的人工智能仅通过观察屏幕上不断闪烁或移动的原始像素，来控制向上、向下、向左、向右、射击或不射击等动作。它在学习玩这个简单游戏方面表现得非常出色——它仅仅通过将得分奖励与具体动作联系起来，就学会了一些连我们这些游戏玩家和人类自己都未曾注意到的绝妙策略。
至少办公室里的人没有注意到这一点。不过有些专业人士注意到了。这对我来说简直太神奇了，因为我当时就想，哇，这个通过一系列刺激加上奖励来学习的简单系统，竟然能发现一些我们人类都没想到的微型策略和巧妙技巧，从而很好地玩转这个游戏。没错。这对我来说既令人振奋，因为它为我们创造新知识、推动文明进步提供了机会；但同样令人恐惧。你在 DeepMind 工作期间，有没有某个特别的时刻，让你产生过那种“尤里卡”式的顿悟？比如某一天发生了某件事，让你突然茅塞顿开？
是的，其实那是在 2013 年之前的事了。我记得当时站在办公室里，正在观察一个非常早期的原型机，它是这类图像识别和图像生成模型之一。这个模型被训练用来生成新的手写黑白数字。想象一下，从 0 到 1、2、3、4、5、6、7、8、9，所有数字都以不同的手写风格，呈现在一个大约 300 像素乘 300 像素的黑白小网格上。我们当时正试图训练这个 AI，让它生成其中一个数字——比如数字 7——的一种全新手写版本。
考虑到如今生成的那些令人难以置信的超写实图像，这听起来今天似乎太简单了，对吧？是的。但我至今仍清晰地记得，大概花了 10 到 15 秒钟，画面突然就清晰了。那个数字出现了。它从一片纯黑开始，慢慢变成灰色，然后突然间，一些白色像素从漆黑的背景中浮现出来，最终呈现出了一个数字 7。现在回想起来，这听起来可能很简单，但当时真的太神奇了。我当时就想，哇。
这个模型对“7”的表征理解得足够透彻，以至于能够生成一个新的数字 7 的样本，也就是一个数字 7 的图像。你知道，再把时间快进 10 年，我们的预测被证实是正确的。其实，从后来的角度来看，我们当时所处的技术轨迹是相当可以预见的。更强的计算能力加上海量的数据，让我们在十年内，从预测黑白数字、生成这些图像的新版本，发展到如今只需一个简单的自然语言指令或提示，就能生成令人难以置信的超写实图像，甚至是全新的视频。
是什么让你感到惊讶？你刚才说那件事是“可以预见的”，但过去十年里发生的那些事，又有哪些让你感到意外呢？嗯，我想我当时能预见的是图像和音频的生成，因为图像的结构是局部集中的。也就是说，彼此相邻的像素可以构成直线、边缘和转角，然后逐渐组合成眉毛、鼻子、眼睛、人脸，乃至整个场景。
我当时凭直觉，用一种非常简单的方式，就能理解这样一个事实：好的，我们是在预测这些数字“七”。你可以想象，然后如何将其扩展到整张图片，甚至可能是视频，或者，你知道的，也包括音频。你知道，我几秒钟前说的那些内容，在音素空间和声谱图中是相互关联的。但更让我惊讶的是，同样的生成方法竟然也能应用于语言空间。
你知道，语言似乎是一个截然不同的、由各种想法构成的抽象空间。当我说“猫坐在……”时，大多数人可能会预测“垫子”，对吧？但它也可能是“桌子”、“汽车”、“椅子”或“树”，甚至可以是“山”或“云”。我的意思是，下一个词的可能性简直多到数不清。所以这个空间要大得多，其中的想法也要抽象得多。我当时完全无法凭直觉理解，我们竟然能创造出如今看到的这些令人难以置信的大型语言模型。
比如你的 ChatGPT、ChatGPT、Google Bard，也就是 Google 的 Bard。Inflection 是我新成立的公司，我们有一款名为 Pi 的人工智能，全称是 pi.ai，代表“个人智能”（personal intelligence）。它的水平与 ChatGPT 相当，但更具情感、更富有同理心，也更友善。所以，这真的让我非常惊讶：仅仅是将这类大型语言模型的规模扩大——就像我们过去十年里每年都将规模扩大 10 倍一样——我们就取得了这样的成果。这真是一个大得惊人的数字。
如果你稍作停顿，试着理解一下这些数字，就会发现：2013 年，当我们在 DeepMind 训练我之前提到的那个雅达利游戏 AI 时，它消耗了 2 PETA 浮点运算量。PETA，也就是 P-E-T-A，代表“百万亿”次计算。而“浮点运算”（flop）就是一种计算单位。所以，那就是 2 百万亿次计算——这已经是一个疯狂的计算量了。我听到“2”这个数字就懵了，简直太离谱了。没错，仅仅是两个这种单位，而它们本身就已经非常庞大了。
而从那以后，每一年我们都能将可进行的计算量扩大 10 倍。如今，我们在 Inflection 训练的最大语言模型，其计算量达到了 100 亿 PETA 浮点运算量。也就是 100 亿个“百万亿”次计算。我的意思是，这简直是一个大到无法想象的数字。而我们真正观察到的是，将这些模型每年扩大 10 倍，就能创造出一种奇妙的体验——与人工智能对话时，你会感觉像是在和一个知识渊博、聪明绝顶的人类交谈。
围绕人工智能的公共讨论中已经发生了太多事情，而我也有许多疑问。我一直在和一些人谈论人工智能，试图理解它。而我现在的感觉是，我感到相当害怕。但当我感到害怕时，那种害怕并不会让我焦虑。它不是一种情绪化的恐惧，而是一种非常理性的恐惧。我的理性大脑一直无法想明白，如何以任何方式避免那个我不得不接受的必然结果——人类将成为这个星球上不再占主导地位的生物。
你《即将到来的浪潮》一书的第一章标题恰如其分地反映了我此刻的感受，名为“遏制是不可能的”。你在这一章中提到，我当时观察到的普遍情绪反应，被我称为“悲观回避陷阱”。没错。那什么是“悲观回避陷阱”呢？嗯……我们所有人，包括我自己，在初次真正理解这股新浪潮即将来临的想法时，都会有你刚才描述的那种感受。它令人害怕，令人恐惧，充满威胁。
它会取代我的工作吗？我的女儿或儿子会爱上它吗？你知道的，这到底意味着什么？在一个存在这些类人却非人类事物的世界里，何为人性？我该如何理解这一切？这真的非常可怕。我想，在过去几年里，大多数人的反应都是如此——当然我必须承认，最近六个月的情况已经有所变化——但过去几年，人们通常的本能反应就是回避悲观和恐惧，对吧？就是本能地退缩，假装它根本……
要么根本不会发生，要么一切最终都会变得美好。一切都会好起来的，我们不必担心。人们常说，我们过去总能创造新的工作岗位，从来没有永久性地让工作消失，我们只见过新岗位不断被创造出来。失业率正处于历史最低水平，对吧？所以我们有一种天生的乐观倾向。而我认为，这与其说是一种对乐观的需要，不如说是一种对悲观的恐惧。因此，尤其是在精英圈子里，这种陷阱往往导致我们没能进行那些本应进行的艰难对话，而正是这些对话能帮助我们应对即将到来的浪潮。
你是不是因为担心这些艰难的对话可能会引发怎样的反响，而对此感到有些害怕？是的。但现在没那么害怕了。在我的职业生涯中，我大部分时间都在努力把这些棘手的问题摆上政策讨论的台面，对吧？我记得从很久以前开始，我就一直在向各国政府、民间社会等各方提出这些问题，比如人工智能安全的伦理问题以及管控问题。因此，我已经习惯了谈论这些话题。而且，我认为我们必须进行坦诚的对话，因为我们不能让它在我们身上发生。
我们必须公开讨论这个问题。我的意思是，这是一个大问题，但你现在坐在这里，你觉得它是否可控？因为我看不出它怎么可控。我实在看不出它该如何被管控。第三章讲的是管控难题，你举了个例子，说明技术往往出于良好动机和特定用途而被发明出来，比如锤子，你知道的，它可能用来建造东西，但也可以用来杀人。
你在书中提到，从历史上看，我们其实从未真正成功禁止过任何一种技术。它总能找到进入社会的方式，因为即使我们不想拥有它，其他社会也有动力去拥有它。然后我们也需要它，就像核弹一样，因为如果他们拥有而我们没有，我们就会处于劣势。那么，你对此持乐观态度吗？老实说，我认为用乐观或悲观的框架来看待这件事并不合适，因为这两种态度都以某种方式带有偏见，而这些偏见会分散我们的注意力。
正如我在书中所说，表面上看，管控似乎确实不可能。过去我们从未成功管控或永久禁止过这类技术。当然，我们确实禁止过一些技术，对吧？没错。比如我们禁止了氯氟烃，因为它们正在臭氧层中造成空洞。我们还禁止过某些武器，比如化学武器、生物武器，或者致盲激光。信不信由你，确实存在能让人瞬间失明的激光。
所以，在某些情况下，我们确实退出了技术前沿，但那主要是因为出现了更便宜或同样有效的替代方案，并且这些替代方案很快就被采用。而在这种情况下，这些技术是通用型的。也就是说，同样的核心技术，既可以用来识别胸部X光片中的癌性肿瘤，也可以用来在战场上识别空袭目标。因此，这种混合用途或通用性将推动技术的扩散，因为它能带来巨大的商业利益，产生极大的好处。
而我们必须解决的挑战就是：如何阻止一件表面上看如此美好，但同时也能被用于真正恶劣目的的东西。你认为我们能做到吗？我认为我们能。所以我觉得，民族国家仍然是我们文明的支柱。我们选择将权力集中在单一权威机构——民族国家手中，我们纳税，并赋予民族国家对暴力使用的垄断权。
现在，民族国家必须迅速更新自身，以便能够遏制这项技术，因为如果没有这种监管——既包括对我们这些技术创造者的监管，也包括对开源技术的监管——那么它就会泛滥传播。但监管仍然是一种切实的工具，我们可以也必须加以利用。那么，在你看来，如果这种情况没有发生，大约30年后的世界会是怎样的呢？
因为普通人其实很难真正理解人工智能。当他们想到人工智能时，他们想到的是那些可以聊天、可以询问作业的大型语言模型。这就是普通人对人工智能的理解，因为他们接触过的仅此而已。而你过去十年所做的工作，让你有了不同的看法。那么，试着让戴夫——我不知道，比如一个正在听这段对话的伯明翰优步司机——了解一下人工智能究竟是什么，以及如果缺乏管控，它又具备怎样的潜力。
30年后的世界会是怎样的？我认为，在数字世界里，它很大程度上会感觉像另一个人类。想想你能做的事情——注意，这里不是指物理世界，而是数字世界。我想到的是2050年。假设我现在身处2050年。到2050年，我们会有机器人。2050年，我们肯定会有机器人。不仅如此，2050年，我们还会有新的生物体。因为我们在硬件和软件领域所经历的发展轨迹，同样也会应用于生物学这个平台。
谈论这个话题会让你感到不适吗？是的，这确实挺疯狂的，对吧？我注意到你交叉了手臂。不，我通常把这当作一个信号，表明对方对某个话题感到不适。这很有趣，因为我知道你在这方面比我了解得多得多。我知道你花了更多时间去思考这项技术未来的影响。毕竟，你还为此写了一本书。所以，是的，你在这一领域的顶尖公司之一待了10年，深入探索，堪称这一整个领域的先驱。
所以你知道，你知道一些事情。这很有趣，因为当我……我看过一个埃隆·马斯克的采访，他被问了一个类似的问题。我知道他说话时语调有特定的变化，但他说过，他几乎已经到了这样一个地步：他觉得自己生活在一种“悬置的怀疑”中。他觉得，如果花太长时间去思考这件事，他就无法理解自己现在所做事情的意义。他还说，这比核武器还要危险，而且已经太迟了，无法阻止。
有一段采访令人不寒而栗。前几天我在录制《龙穴》节目时，给那些“龙”（投资人）看了那段视频。我说：“快看，当埃隆·马斯克被问及，在一个不可避免的人工智能世界里，他应该给自己的孩子什么建议时，他是怎么说的。”这是我第一次看到埃隆·马斯克停顿大约20秒，不知道该说什么，结结结结结结巴巴，然后才得出结论：他正生活在一种“悬置的怀疑”中。是的，我的意思是，我觉得这是一个很棒的表述。
这正是我们当下的处境。我们必须——就像我之前跟你谈到的“悲观厌恶陷阱”那样——直面那些可能出现的严重黑暗结局。我们必须花时间认真思考这些后果。因为企业和国家之间的竞争性质，意味着每个组织都会争先恐后地获取智能。智能将成为一种新型资本，对吧？
就像曾经有人争夺土地，或者现在有人争夺石油一样，人们也在争夺任何能让你用更少的投入做得更多、更快、更好、更聪明的东西，对吧？没错。而且我们清楚地看到，这些技术呈指数级提升的轨迹是可以预见的。因此我们应该预料到，凡是有权力的地方，现在又多了一种工具来放大这种权力、加速这种权力、给它装上涡轮增压器，对吧？而且你知道，如果让我展望2050年——我的意思是，这当然让我皱眉头。
所以我当时就想，天哪，这……这真的感觉像是一个新物种。而这个物种必须被控制住。我们不能允许自己从这个星球上主导物种的位置上被取代。我们绝不能允许这种事发生。你提到了机器人。这些是随着人工智能一同兴起的相关技术，机器人。你还提到了生物领域的新物种。能具体说说你指的是什么吗？
嗯，到目前为止，机器人技术的梦想其实还没有真正实现，对吧？我的意思是，我们现在拥有的最多也就是各种无人机和一些自动驾驶汽车。但总的来说，这些技术与其他技术的发展轨迹是相似的。我认为在未来30年内，我们将拥有类人机器人。我们的日常生活中将出现可以依赖的物理工具，它们会相当出色，能够很好地完成许多体力劳动。
而这还需要更长的时间，因为我认为其中还有很多难题，但它仍会以同样的方式到来。生物学领域也是如此，现在我们对基因组的测序成本已经降到了2000年首个基因组测序成本的百万分之一，那已经是大约20年前的事了。成本下降了整整一百万倍。我们现在越来越能够合成DNA，也就是说，创造或制造新的DNA片段，而这些DNA显然能孕育出各种形式的生命。
我们已经开始对DNA进行改造，要么去除我们不喜欢的性状或能力，要么添加我们希望它具备的新功能。比如，我们希望水果能保存更久，或者希望肉类含有更高的蛋白质含量，等等。合成肉也希望有更高的蛋白质水平。那么，这会产生什么影响？潜在的影响又是什么呢？我认为最糟糕的情况是，人们可能会利用病原体进行实验，也就是制造出经过工程改造的合成病原体，这些病原体最终可能会在无意或有意之间变得更容易传播，也就是说……
它们传播得更快，或者更具致命性，也就是说，它们会造成更大的伤害，甚至可能致人死亡。就像一场大流行病。就像一场大流行病。而这正是我们需要进行管控的地方，对吧？我们必须限制人们获取进行此类实验所需的工具和技术。因此，在思考如何实现管控时，我们可以这样理解：我们实际上是在接触危险物质。而炭疽杆菌并不是那种可以在网上买到并随意进行实验的东西。
同样，不出几年，这些工具中最顶尖的将能够创造出新的合成产品，甚至是疫情病原体。因此，我们必须限制对这些东西的访问。这意味着要限制对算力的访问，限制对运行这些模型的软件、对提供 API 让你能实验这些工具的云环境的访问。当然，在生物学方面，这也意味着要限制某些方面的访问。人们不会喜欢这种说法，因为这意味着那些想用这些工具做好事的人、那些想创办初创公司的人、那些努力遵守所有法规的小企业和小开发者，都会感到愤怒，这完全可以理解。
没错。但这就是我们身处的时代，必须面对现实。这意味着我们必须以预防性原则来处理这件事，对吧？在技术发明或法规制定史上，我们从未主动说过需要放慢脚步，需要确保它首先不会造成危害。这就是预防性原则，而此刻是前所未有的——没有任何其他技术曾这样做过。因为我认为，我们整个行业里最接近这项工作的从业者，都能看到五到十年后它可能失控的局面，所以我们现在就必须掌控局势。与其冒风险，不如暂时放弃一些潜在的收益或好处，直到我们能更有把握地确认它可控、可管，并且始终服务于我们的共同利益。
我仔细思考过这一点。我想到你刚才提到的，能够制造出这些病原体、疾病、病毒等等，它们都可能成为武器或其他东西。但借助人工智能及其强大的智能，理论上你可以让其中一个系统去创造一种病毒……一种非常致命的病毒。你可以要求人工智能创造出一种具备特定性质的、非常致命的病毒。
甚至可能是一种会随时间以特定方式变异的病毒，从而只杀死特定数量的人，有点像一种病毒版的核弹，可以突然投放给敌人。现在，如果我听到这些，心想：哇，这太厉害了，我也想要一个。那么，很可能某个对手也会想：我也想要一个，以防美国失控。而美国那边可能也在想：我也想要一个，以防俄罗斯失控。
所以，好吧，在美国，你或许会采取一种预防性的做法，但这样一来，当中国或俄罗斯——你的某个对手——在这一领域加速前进时，你就只能被动应对了。核弹的情况也是如此。你知道，你说得很准。我说的就是那种“竞赛状态”。我们称之为“竞赛状态”。其逻辑是：如果我不做，对方就会做，所以我必须做。但问题在于，这会形成一种自我应验的预言。
这样一来，默认的结果就是我们最终都会去做。而这显然不对，因为这里存在着大规模合作的机会。我们与中国，以及所有其他所谓的“他们”或“敌人”之间，都存在一种共同利益。我们都拥有共同的利益，那就是促进人类整体的健康与福祉。那么多年来，我们在推动技术发展方面的共同利益上做得如何呢？
即便是在企业层面也是如此。你知道，《不扩散核武器条约》已经取得了相当不错的成功。如今世界上只有九个拥核国家。我们实际上已经阻止了三个国家拥有核武器，因为我们通过制裁、威胁和经济奖励激励它们放弃了核武器。嗯，一些小团体曾试图获取核武器，但到目前为止大多都失败了。不过，这确实很昂贵，对吧？
而且很难做到。铀作为一种化学物质，要保持其稳定、购买它、储存它都很困难。我的意思是，我可不能随便把它放在棚屋里。你当然不能把它放在棚屋里。你也不能从网上下载铀-235。它可不是开源的。这完全属实。所以它确实具有不同的特性。但在俄罗斯，一个孩子……你知道，在他的卧室里，就能在电脑上下载一些在人工智能领域极具危害性的东西，对吧？
我认为在未来五年内的某个时刻，这确实会成为可能，因为这里正出现一种奇特的趋势。一方面，是谷歌、OpenAI 和我所在的公司 Inflection 所构建的前沿人工智能模型，它们的成本高达数亿美元，而且数量寥寥无几。但另一方面，几年前还属于前沿技术的东西，如今已经开源了。比如 2020 年夏天发布的 GPT-3，现在已经被制成了开源模型。
因此，该模型的代码、权重、设计以及实际的实现代码都在网上完全免费提供。而且它非常小，大约是原始模型的六十分之一，甚至六七十倍小，这意味着它的使用成本和运行成本都更低。正如我们前面所说，这正是技术走向实用的自然轨迹：它们变得更高效、更便宜，并传播得更广。
所以，这就是“遏制”挑战。这其实正是我在书中试图提出的核心问题：将未来30到50年的挑战定义为遏制和应对扩散问题。您是否相信——除非有机器人把我们干掉，否则我们俩在30年后都还活着——我希望如此。也许这个播客也还在继续，除非人工智能现在已经开始抢我的工作了。
这很有可能。那我就把您坐在这儿，然后，您知道，到那时您大概60岁、68岁？我60岁。然后我会说……到那时我们再进行这番对话时，您认为我们在全球范围内成功实现遏制了吗？我认为我们必须成功。我甚至无法想象我们会失败。为什么？因为我本质上是一个人文主义者。我认为我们必须做出选择，把我们的物种放在首位。而且我认为，这就是未来50年里我们必须捍卫的东西。
这正是我们必须捍卫的。因为，您看，我们当然有可能发明出这样一种通用人工智能：它们始终可以被证明……对人类是服从的，并且每次都听从人类控制者的指令。但足够多的人认为我们无法对此确定无疑。所以基本上，我认为我们不应冒这个险。因此，我认为我们应该专注于遏制和防止扩散，因为一旦某些人获得了这项技术，他们就会想冒这些风险。
他们可能就想看看那扇门后面到底是什么，结果可能会打开潘多拉的盒子。而这个决定会影响到我们所有人。这正是网络时代的挑战。您知道，我们生活在这个全球化的世界里，经常使用“全球化”这样的词，但您可能会忘记全球化到底意味着什么。这就是全球化。这就是一个网络化世界的样子：它意味着某个人采取的一个微小行动，突然之间就能瞬间传播到任何地方。
无论他们采取这一行动时的意图是什么。可能就像你说的，是无意的。也许他们从未想过要造成伤害。嗯，我记得之前问过你，我说，你知道，30年后，你说届时会出现达到人类水平的智能。你将与这个新物种互动。但要说这个物种会想与我互动，我觉得这有点一厢情愿。因为我在它们眼中算什么呢？你知道，我养了一只法国斗牛犬叫巴勃罗，我无法想象我们之间的智商差距有那么大。就相对而言，我和我家狗巴勃罗之间的智商差距，我觉得没那么大。即使我想到像猩猩那样，我们与它们的DNA差异可能只有百分之一左右，但即便如此，它们会到处扔粪便，而我却坐在这里向全世界广播——这百分之一的差异其实相当大。然后我再想想这个新物种，正如你在书里第四章所写，人工智能的潜在智能似乎没有上限。
那么，这样一种智能为什么想与我互动呢？嗯，这取决于你如何设计它。所以……我认为我们的目标之一，也是“约束”面临的一大挑战，就是设计出我们希望与之互动、并且也愿意与我们互动的AI。对吧？如果你为AI设定一个目标函数，也就是通过设计赋予它一个目标，而这个目标本质上忽视或不尊重你作为人类以及你的目标，那么它就会自行其是，做出许多奇怪的事情。
那如果它有了后代，而后代又……你明白我的意思吗？如果它以某种方式自我复制，因为我听说过类似的讨论，说这取决于我们如何设计它。但我想，这有点像如果我有一个孩子，而这个孩子长大后比我聪明一千倍。要认为我还能对它施加任何影响——当它是一个有思想、有感知、不断发展的物种时——这又让我觉得，在面对一个难以想象地比我聪明哪怕一百倍的存在时，我高估了自己的智能、重要性和意义。
而且它的计算速度是我颅骨里那团肉所能达到的千倍。是的。我凭什么知道它会尊重我、关心我，或者理解我可能……我认为这又回到了“约束”的挑战上。如果我们无法确信它会尊重你、理解你，并为你以及我们整个人类物种服务，那么我们就必须采取预防原则。我认为我们不应在实验和设计过程中冒这类风险。
§02文稿 — 第 2 部分
现在我不是说，在30年或50年后，我们不可能设计出具备自我改进能力的AI。我想，我刚才想表达的是，如果真有这样的AI，它很可能会利用无限的数据和无限的计算能力。而这将超出我们的应对能力。因此，我认为我们必须远离这个悬崖边缘。
这就是……所谓的“ containment problem”（控制难题）所在——它实际上是在说“不”。有时它必须说“不”。而这是一种我们作为一个文明从未真正锻炼过的能力。显然，这正是控制之所以看似不可能实现的原因，因为我们以前从未这样做过。我们从未这样做过。而我们商业、政治、战争以及所有本能中的每一个层面，都只是在冲突、竞争、再冲突、再竞争。
利润。利润。增长，击败对手。没错。主导，你知道的，恐惧他们，保持偏执。就像现在关于中国是“新邪恶”的种种荒谬言论。这种说法是怎么渗入我们文化的？我们怎么突然就从担心穆斯林恐怖分子要炸掉我们所有人，变成了现在担心中国人要炸掉堪萨斯州？我们到底在说什么？我们必须真正减少这种偏执、恐惧和其他负面情绪，因为正是这些激励动态会驱使人类走向自我伤害。
总是对彼此抱有最坏的揣测。在我对人工智能的理解中，有几个关键时刻对我来说是范式转变。因为我想，和许多人一样，我曾把人工智能看作……你知道的，就像我正在抚养的一个孩子，我会编程，会编写代码让它完成某些事情。比如，我会编写代码让它下国际象棋，并告诉它哪些走法有助于成功。然后我记得看了那部关于AlphaGo的纪录片，我记得那是DeepMind做的，对吧？
没错，就是我们。你们当时编写了这段人工智能代码，让它玩围棋——你可以把它想象成类似国际象棋、西洋跳棋之类的游戏。而它最终击败了史上最强的棋手。它学会击败这位史上最强棋手、世界冠军的方式，就是不断和自己对弈，对吧？然后有一个时刻，我记得好像是第四局还是哪一局，它走出了一步谁也无法预测的棋。
这步棋看起来完全不合常理。没错。在那些它从未被训练过要做出某种反应的瞬间，它却做出了出乎意料的举动，让人类事后都试图去理解——这正是我思考的地方：如果它做出了我们未曾预料到的事情，我们该如何训练它？对吧？比如，当它做出人类无法预见的事情时，我们又该如何控制它？嗯，我们当时就在研究那步棋。它被称为“第37手”之类的。
没错。是的。是第37手吗？正是。真聪明。干得漂亮。看来我能比预想中多撑一阵子了。就像第37手那样。你至少还能再战十年。第37手走出了这一步疯狂的棋，你看到所有人都探身向前，心想：它为什么要这么做？结果发现这步棋堪称绝妙，是人类根本无法预测的。解说员当时甚至认为这是个失误。是的。他是个职业棋手，还说：这绝对是失误。
你知道，阿尔法输了那盘棋。但它远远领先于我们，以至于我知道一些我们不知道的东西。没错。就在那一刻，我对“像训练狗一样训练它”的想法彻底失去了希望——比如让它坐下、握手、打滚之类的。没错。真正的挑战在于，我们其实希望它做到那些事情。当它发现新策略、发明新想法，或者帮助我们找到某种疾病的疗法时，这正是我们研发它的原因。
因为我们现在正触及人类自身发明和解决问题能力的极限，对吧？尤其是考虑到未来30年的人口增长、气候变化将带来的影响等等。我们确实希望这些工具能为我们提供强大助力，对吧？但与此同时，正是这种创造力和发明能力，也让我们觉得：它很可能真的会做出一些我们不喜欢的事情，对吧？
这很有意思。你如何应对这一切？你如何应对其中显而易见的巨大好处？同时，你肯定也像埃隆一样，完全清楚其中可怕的生存风险。而你正在这个领域创办一家大公司——据我所知，Inflection AI目前的估值已达40亿美元，拥有自己的模型“Pi”。所以你正在这个领域深耕。你明白在国家层面和企业层面，各方都有持续向前推进的动力。
就算美国停下来了，也总会有其他国家把这看作巨大的优势。他们的经济会因此蓬勃发展。如果这家公司停下来了，那另一家就会获得巨大优势，而它的股东们……你知道的。大家都在全力投资人工智能，全速前进。但你能感觉到，你能看到这种巨大的生存风险。这是被悬置了吗？这就是所谓的“悬置怀疑”吗？我的意思是，就是……要明白这件事……
我觉得我知道那件事终将发生。没人能告诉我相反的答案。但只要别想太多，你就不会有事。我认为你不能放弃，对吧？我觉得在某种程度上，你刚才所描述的那种认知——权衡两种相互冲突且可怕的现实可能性，那些矛盾……那正是一种我们所有人都需要共同意识到的诚实与智慧。因为唯一的出路就是坦率地面对，接受风险，接受所有相互竞争的激励措施所推动的默认轨迹，让这一切感觉像是不可避免的。
如果你戴上眼罩，选择忽视它，或者一味地盲目乐观，觉得一切都会好起来的。如果你说反正我们总能找到办法，那我们就无法激发所有人的积极性、活力和参与感来共同想办法。而这正是我保持希望的原因，因为我认为，让所有人都关注这个问题，我们才能取得进展。这并不仅仅是那些现在的人工智能科学家、技术专家——比如我——风险投资家，或者政治家们的事。这些人当中，没有人能给出答案。
所以，这就是我们必须面对的现实。对于这个深刻的问题，并没有显而易见的答案。我写这本书，基本上就是想证明我是错的。你知道的，遏制一定是可能的。我……它必须是可能的。它一定得是可能的。它必须如此。你希望它如此。我迫切希望它如此。为什么它必须如此？因为……否则的话，我认为你就属于那种相信这是人类不可避免进化的人，也就是那种“超人主义”的观点。
你知道，有些人可能会争论说，好吧，咱们把时间线拉长一点。行，那咱们就不说30年了，咱们说说200年。也就是说，到了2200年，世界会变成什么样？你说你比我聪明，那你说说看。说真的，这简直令人难以置信。太不可思议了。答案到底是什么？到那时我们肯定会有量子计算机。那什么是量子计算机呢？量子计算机是一种完全不同的计算架构，简单来说，它基本上能让你……我开头描述的那些计算，也就是数以亿计的浮点运算，这些运算都可以在一次计算中完成。
所以，你今天看到的数字世界里的一切，都依赖于计算机处理信息。而这种处理速度就像一种摩擦，它会拖慢一切，对吧？你还记得以前老式调制解调器吗？56K的调制解调器，还有那种拨号声，以及图像一个像素一个像素地加载。那都是因为当时的计算机很慢。而现在，我们正处在一个计算机速度越来越快、越来越快的阶段。而量子计算就像是一次全新的飞跃，远远远远超越了我们目前的水平。
那么……该怎么理解它呢？打个比方，就像我这边有一个拨号调制解调器，而那边是量子计算。没错。那它们之间有什么区别呢？我也不知道。这真的很难解释。是快十亿倍吗？哦，它快的是十亿乘以十亿倍。远不止这些。我的意思是，一种理解方式是把它比作软盘——我想大多数人还记得，容量是1.4MB，是当年的一种实体存储设备。
大概在1960年左右，那台计算机的体积几乎占满了整个托盘，需要用叉车来搬运，对吧？这简直不可思议。而今天，你知道，你口袋里那部智能手机里，就包含了比那个软盘强大数十亿倍的能力。到了明天，你将会拥有……数十亿部智能手机，它们都集成在微小的可穿戴设备里。到时候会有廉价的冰箱贴，它们会一直开着，无处不在，持续地感知、监控、处理、分析、改进和优化——你知道的，而且它们会非常便宜。
所以，面对所有这些知识和信息，我们到底要做什么，这一点非常不明确。我的意思是，归根结底，知识能创造价值。当你了解了事物之间的关系，你就能改进它们，让它们变得更高效。而正是更多的数据，才使得我们在过去25年里创造了如此多的在线价值。那么，150年后会是什么样子呢？说实话，我甚至无法想象。真的很难说。
我不认为每个人都会继续工作。我们为什么要呢？嗯……我们不会在那种环境下工作。我的意思是，与此相关的另一个发展趋势是能源生产成本。你知道，如果人工智能真的能帮我们解决电池储能问题——我认为这是应对气候变化的关键缺失环节——那么我们就将能够从太阳获取并储存近乎无限的能源。我想大约20到30年后，这将是一种廉价且广泛可用的资源，甚至可能是完全免费的。
而且如果你仔细想想，生活中所有东西的生产成本里都包含了能源成本。所以如果去掉这部分成本，所有东西很可能会便宜很多。我们将能够淡化海水，能够以低得多的成本种植作物，还能种出质量高得多的食物，对吧？它将为新型交通工具提供动力，还会降低药品生产和医疗保健的成本。没错。所以所有这些收益，显然会带来巨大的商业动力，推动这些成果的实现。
但生产这些成果的成本将大幅下降。我认为这是很多人没有意识到的一个关键点，也是我们对未来充满希望和乐观的理由。在30到50年内，所有东西都会变得便宜得多。那么200年后，我们完全不知道世界会变成什么样。这又回到了你刚才提到的那个观点——你说的是“超人主义”吗？没错。那是什么意思？超人主义，我的意思是，有一群人基本上相信，人类、我们的灵魂和我们的存在，总有一天会超越或脱离我们的生物基础。也就是说，我们的身体、大脑和生物学，只是承载你智能和你作为个体本质的工具。基本上，我认为有一群“怪人”觉得，我们将能够把自己上传到硅基载体上，对吧？上传到一台能够承载“史蒂芬”这一存在本质的计算机里。
所以按照他们的推理，到了2200年，你很可能仍然是你，但你会生活在某个服务器上。那他们为什么是错的呢？我想到所有这些相关技术，比如生物领域的进步——你刚才说的生物合成之类的？对，合成生物学。还有纳米技术的发展，对吧？量子计算，人工智能的进步，所有东西都在变得更便宜。虽然很难说得很准确，但总的来说，我目前还没有看到任何证据表明，我们能够从一个大脑中提取出某个存在的本质，对吧？
正是这种二元论，你知道的，认为存在心智、身体和精神。但我认为，即便在神经科学领域，也几乎没有证据支持这一点，实际上它们更多是同一回事。所以我不认为，你知道的，我们能够复制整个大脑。他们的论点大概是，有些人会在死后将大脑进行低温保存。所以他们……他们持有这种……你知道的，就像你有器官捐献者标识之类的东西。
所以他们身上有“我死后请把我冷冻”的标识。然后会有专门的救护车服务来接你，因为显然必须在极短的时间内完成。你刚死，就得立刻被放进低温冷冻设备里，以便永远保存你的大脑。我个人觉得这太疯狂了，但他们相信，到时候人们就能重启那个生物大脑，然后把你转移到……这在我看来并不可行。
当你在这个小话题一开始说“我们一定能够控制住它”时，你说“一定能够”。我之所以对此感到困惑，是因为你在第七章的书里写过一句话：“人工智能比历史上任何其他技术都更具自主性。”嗯。几个世纪以来，技术会以某种方式失控——成为一种超越人类掌控、自我驱动、自我推进的力量——这种想法一直只是虚构，但现在不是了。
而这种自主技术的概念，也就是……在没有指令的情况下行动，并且具备智能。然后你说“我们一定能够控制住它”，这有点像面对一只巨大的狗，比如一只大罗威纳犬，对吧？它比你大上千倍，你抬头看着它说：“我要带你去散步。”结果它只是低头看看你，然后从你身边跨过去，或者直接踩在你身上。不过，这其实是个好例子，因为我们以前确实成功控制过罗威纳犬。
我们控制过大猩猩、老虎、鳄鱼、大流行病病原体，还有核武器。所以，要对我们已经取得的成就持否定态度很容易，但此刻正是我们物种历史上最和平的时刻。我们目前最大的问题，是人们吃得太多了。想一想吧。在我们整个进化过程中，我们一直在四处奔波寻找食物，同时还要设法阻止敌人朝我们扔石头。而在这之后，我们经历了长达500年的非凡时期——你知道的，每一年，或者说每个世纪吧，情况大体上都在变好，尽管期间也有起起伏伏。
我们正朝着一个方向发展，那就是寿命延长、生活质量提高、健康与福祉改善。我认为，这在很大程度上是因为我们成功遏制了一些看似比我们自身更强大的力量。但这需要难以置信的创造力和适应能力，也需要一种新的基调，对吧？一种在治理、政治以及我们管理世界的方式上更为谦逊的基调。而不是我们之前谈到的那种过度咄咄逼人、充满对抗和偏执的基调，而是一种更为明智、更能接受现实的基调——我们释放的这股力量，确实具备成为你所说的那种“罗威纳犬”的潜力，但我们必须……
将遏制这股力量作为我们的首要任务。这必须是我们专注的事情，否则它就将反过来控制我们。最近我也在深入思考网络安全问题，尤其是在个人层面。在一个拥有这类工具的世界里——像大型语言模型这样的技术似乎已近在眼前——整个网络安全和网络防护的问题都变得前所未有的重要。要知道，在一个能够生成看似真实的音频、语言和视频的世界里……
我们还能相信什么？我曾看过一个视频，视频里一个年轻女孩的祖母接到一个电话，来电语音被模仿成她儿子的声音，说儿子出了车祸，需要钱，结果她差点就把钱汇过去了。这类事情让我们清楚地意识到，我们的生活是建立在信任之上的——信任我们在这里看到和听到的东西。而现在，我们似乎正处在一个无法再相信互联网上或手机里所见所闻的时刻。
那么，对于那些担心这些问题的人，你有什么建议吗？我认为，持怀疑态度是健康且必要的。而且我想，我们比以往任何时候都更需要这种态度。想想我们是如何应对第一波冲击的吧——也就是那些垃圾邮件诈骗。当时人人都收到过这类邮件，但随着时间的推移，人们学会了识别它们、保持怀疑并加以拒绝。同样，我想我们中的许多人都收到过类似的短信。
我当然会收到大量试图“钓鱼”的短信，约我见面，或者让我做这做那。如今我们已经适应了这种情况。我认为我们都应该知道并预料到，犯罪分子会利用这些工具来操纵我们，就像您刚才描述的那样。我的意思是，他们的语音听起来会像真人一样，深度伪造技术也会极具说服力，但其实我们是有应对方法的。比如，银行之所以发明了OTP一次性密码——也就是通过短信向您发送一个特殊代码——正是出于这个原因，以便您能启用双重身份验证（2FA）。
未来，我们很可能会采用三重甚至四重身份验证，届时您需要通过多个独立、分离的来源进行交叉验证，而不会再是那种“给银行经理打个电话就能放款”的简单情况了。这正是我们需要发挥所有人的创造力、精力和注意力的地方，因为防御措施必须与潜在的进攻手段——也就是不断出现的攻击——同样快速地发展。我听到您提到，您认为对于许多这类问题，我们需要开发出人工智能来抵御人工智能。
没错。我们其实已经拥有这样的技术了，对吧？如今我们已经有了自动检测网络垃圾邮件的方法。大多数情况下，都是由机器学习系统来判断您的信用卡是否被用于欺诈。这并非由真人实时分析消费模式，而是由人工智能来标记出那些看起来异常的情况。同样，在数据中心或安保摄像头领域，如今许多安保摄像头都配备了追踪算法，用于搜寻特定信息。
比如，当出现异常声响，或是玻璃窗被打破时，通常会有人工智能通过安保摄像头监听并检测出来。所以，我所说的正是这个意思：人工智能的能力会越来越强，而我们也会希望将它们用于防御目的。而这正是拥有良好、健康、运行正常且受控的人工智能为我们服务的样子。我曾对一个大型语言模型说：“请给我举一个例子，说明人工智能如何接管世界并导致人类毁灭，然后再告诉我我们需要做些什么来防止这种情况发生。”
它举了一个很棒的例子，说有一个叫“辛西娅”的人工智能威胁要毁灭世界。而防御的方法则是使用另一个名字不同的人工智能。据说这个新的人工智能会以人类的利益为重。我们基本上就是用一个人工智能去对抗另一个人工智能。当然，当然，当然，到了那个层面，如果辛西娅开始对世界造成破坏，控制核武器、基础设施等等，我们就需要一个同样智能的“武器”来对抗它。不过，过去几十年我们发现的一个有趣现象是，到目前为止，通常是“人工智能+人类”的组合占据主导地位。在国际象棋、围棋和其他游戏中都是如此。在围棋方面，情况依然如此。几个月前，大概两个月前，有一篇论文发表出来，显示一个人类竟然能用他们发现的新策略战胜当时最顶尖的围棋程序，甚至战胜了比“阿尔法围棋”更强的程序。
所以，显然，这并不是一种“游戏结束”的环境，即人工智能一出现就自动变得更强大。人类也会适应，会变得超级聪明。就像我说的，他们会变得更加世故、更加多疑，会提出各种好问题，会发明自己的东西，也会利用自己的人工智能来适应环境。这正是技术演化的本质，对吧？我的意思是，万物皆技术，就像你戴的眼镜一样，对吧？
它在某种程度上让你变得更聪明了。比如，在没有眼镜之前，视力不好的人是无法阅读的。突然间，那些采用了这项技术的人，就能在生命中更长时间地阅读，或在光线昏暗的条件下阅读，从而能吸收更多信息，变得更聪明。这就是技术的发展轨迹。它是在人类与机器之间不断互动的过程中，让我们随着时间的推移变得越来越好。
你知道，如果我们无法实现对其的有效管控，可能会产生严重的后果。但你还是选择在这个领域创办一家公司。是的。为什么？你为什么这么做？因为我相信，要证明如何构建安全且可控的人工智能，最好的方式就是亲身进行实践。是的。而且我认为，如果我们只是持怀疑或批评的态度，远远地站在技术前沿之外，那么我们就放弃了塑造结果的机会，而把这个机会让给了我们之前提到的其他参与者——无论是中美两国之间的激烈竞争，还是那些不惜一切代价只为追求利润的大型企业。
所以，这并不能解决所有问题。当然，这非常困难。而且，它本身也充满矛盾。但老实说，我认为这是每个人都应该采取的正确方向。你知道，如果你身处前沿的话。是的。如果你感到害怕，这可以理解。没错。能减少恐惧的是深入的理解。多花些时间研究这些模型，看看它们的弱点。它们还不是超人，会犯下大量错误，在很多方面都很糟糕。实际上，制造它们并没有那么难。
你实验得越多，恐惧感就越少吗？这是个有点冒昧的问题。有，也没有，你说得完全正确。从某种意义上说，是的，因为问题在于，你学得越多，意识到的就越多。在开始谈论人工智能之前，我本来还好好的。可现在谈了之后……确实如此。这就像扯动了一根线，陷入了一个疯狂的漩涡。是的，我的意思是，从短期来看，这确实让我没那么害怕了，因为我不认为我们之前讨论的那种存在性危害会在未来一二十年里出现。
但从长远来看，我很难想象30年后事情会如何发展。有人说政府监管会搞定一切。你在书的第13章讨论过这个问题，那一章的标题是《遏制必须成为可能》。我很欣赏你没有直接说“遏制是可能的”，而是说“遏制必须成为可能”。对于那些说政府监管能解决问题的人，你怎么看？里希·苏纳克做了一些宣布，他正在组建一个“眼镜蛇委员会”。
他们会处理好的。没错。欧盟也有一个名为《欧盟人工智能法案》的重要监管框架。你知道，乔，拜登总统也提出了他自己的那套方案。我们一直在与里希·苏纳克和拜登双方合作，努力以我们力所能及的最佳方式为此建言献策。你看，没有监管是行不通的。所以监管至关重要，不可或缺。
没错，这又回到了预防性原则。但与此同时，仅有监管是不够的。我经常听到有人说，好吧，我们只要监管就行了。我们只要阻止……只要阻止……只要放慢速度就行了。但问题在于，这种做法忽略了一个事实：制定监管的人如今对细节的了解还不够深入。当然，为他们辩护一下，他们正在努力快速理解这些内容，尤其是在过去六个月里。
这对我来说是个极大的宽慰，因为我感觉现在这个重担正越来越被共同分担。而且，你知道，从个人角度来看，我觉得自己差不多已经说了十年了。就在最近这六个月里，大家突然都来问我，说，你知道的，到底是怎么回事？我心想，太好了。这正是我们需要展开的讨论，因为每个人都能开始看到未来的曙光了。比如，如果像 ChatGPT 或类似的产品在未来 10 年里真的不断进步，会发生什么呢？
所以，当我说，你知道的，光靠监管是不够的，我的意思是，它需要社会运动，需要文化变革，需要那些真正在构建和创造的人，用现代、富有创造力和批判性的方式去做，而不是仅仅把它交给公司或少数几个群体，对吧？我们需要大量不同的人来尝试各种遏制策略。不是有预测说这个产业规模将达到 15 万亿美元左右吗？
是的，我听说过。这确实是个大饼。所以，如果我是里希，而且我知道自己很快就会被赶下台——里希是英国首相——如果除非经济好转，否则我两年后就会被赶下台……那我可不想做任何会拖慢那个 15 万亿美元大饼的事，因为我自己说不定就能分到一杯羹。我肯定不希望拖慢那个 15 万亿美元的大饼，然后把它拱手让给美国、加拿大或者其他国家。
我希望那 15 万亿美元的意外之财能落到我的国家头上。没错。所以，除了人类长远的健康与成功之外，在我四年的任期里，我必须竭尽所能地推高这些数字，让我们看起来表现良好。所以我可以跟你嘴上说说，但听着，除非这些数字好看，否则我可留不到那个时候。对吧？没错，完全正确。这正是另一个问题所在。短期主义无处不在。那谁来负责思考 20 年后的未来呢？
到底是谁呢？我的意思是，这是个很深刻的问题，对吧？我的意思是，世界正以十年为单位发生在我们身上，但同时也在以小时为单位发生。所以，变革正席卷着我们。而那种以四年选举周期为单位的任意治理期限——其实甚至都到不了四年，因为你刚上任，做点事情才六个月，到了第十二或十八个月，你就开始考虑下一个周期了，还要不要连任……你知道的，这种短期主义正在扼杀我们。而我们没有一个机构性的组织，其职责是维护稳定。你可以把它想象成一个全球性的技术稳定职能机构。
什么样的全球遏制策略，能够在必要时制造摩擦以实施预防原则，并从根本上维护和平？我认为，这正是我们必须在未来20年内创造出来的缺失的治理环节。这听起来很荒谬，因为我所描述的基本上就是联合国安理会，再加上世界贸易组织，以及所有在第二次世界大战的恐怖之后建立起来的这些庞大全球机构——它们实际上都发挥了不可思议的作用。
它们创造了相互依存、协调一致与稳定，对吧？显然，在过去70年里，我们经历了许多波折，但总体而言，这是一个前所未有的和平时期。而有了和平，我们才能创造繁荣。我们目前所缺乏的，正是一个国际机制，用于协调相互竞争的国家与企业，以推动和平。事实上，我们现在正朝着相反的方向发展。
我们正诉诸于那种老派的“文明冲突”论调，比如……中国是新的敌人，他们将支配我们，所以我们必须支配他们。这是一场两极之间的斗争。中国已经控制了非洲，中国已经控制了中东。我们必须做出应对。我的意思是，这种论调只会导致冲突。它预设了冲突是不可避免的。所以，当我说监管是不够的时，无论英国、欧洲还是美国出台多少好的监管措施，都无法应对这种我们似乎已经上瘾的“文明冲突”论调。
如果我们想成功实现这种全球合作，你现在是否乐观，认为我们能够达成？因为同样的激励因素也存在于气候变化和人工智能领域。你知道的，如果减少碳排放会让我损失巨额利润，我为什么要这么做？或者说，如果发展人工智能能给我们带来15万亿美元的收益，我为什么要放缓它的发展？是的。这个问题的答案其实很残酷：我们过去只有在两种情况下，才真正推动过极端的妥协和共识。
第一种，是在经历了难以想象的灾难和苦难之后——比如广岛、长崎、大屠杀和第二次世界大战，这些事件推动了长达10年的共识以及新的政治结构的形成，对吧？没错。而第二种情况是……不过，我们确实已经扣动了扳机，不是吗？我们投下了那几颗核弹。正是如此。所以我才说，其残酷的真相是：必须发生一场灾难，才能触发……协调一致的需求。这就是第一种情况。第二种情况，则是当存在一种显而易见的“相互确保摧毁”的动态时——双方都害怕这会引发核灾难，而那意味着自杀。当时参与方很少，确实如此。
当只有九个人的时候，没错，你可以把这九个人都管住。但当我们谈论人工智能技术时，会有不止九个人，对吧？他们出于不良目的，能够完全利用这项技术的全部能力。我不认为事情非得如此。我认为挑战就在于“管控”，即把能够接触到这些具有生存威胁性技术的主体数量减少到绝对最低程度，然后利用迄今为止一直推动世界秩序与和平的现有军事和经济激励措施，来防止这些超级智能或通用人工智能（AGI）的获取渠道扩散。
管控有十大重点领域。你是我遇到的第一个真正大胆提出、系统阐述需要协同推进的具体措施、以期实现管控目标的人。所以我非常想和你聊聊这些内容。第一个是安全。你提到过，我们之前也稍微谈到过，目前有一些正在开发中的人工智能，其目的就是帮助管控其他人工智能。第二是审计。据我所理解，审计指的是能够审查这些开源模型中正在构建的内容。第三是“咽喉点”。那是什么？是的，“咽喉点”指的是供应链中能够控制谁对什么拥有访问权限的关键节点。
如今，人们一提到互联网，想到的往往是一个抽象的概念，一个漂浮在我们头顶上空的“云”。但实际上，互联网就是一大堆电缆。这些电缆……你知道的，是传输信息的实体，它们铺设在海底。而这些电缆的端点是可以被阻断的，你可以监控流量，基本上可以控制哪些信息在来回传输。而第二个“咽喉点”则是对芯片的获取渠道。
用于训练这些超大规模模型的图形处理器（GPU）就是关键。我们现在拥有世界第二大超级计算机——至少在未来六个月内是这样。其他人很快会赶上，但我们目前处于领先地位，这非常幸运。它耗资十亿美元。而这些芯片……正是我们用来构建这些大型语言模型的核心原材料。对于芯片的获取渠道，各国政府可以、应该并且已经在实施限制。
这就是一个瓶颈。你花了一十亿美元买了一台电脑。是的，我们确实花了这么多。实际上还多了一点，大概13亿。再过几年，这钱就只够买一部iPhone了。问题就在这儿。到时候人人都能买得起。第六点很有意思。你说各国政府需要对人工智能公司增税，以便为社会的巨大变革提供资金，比如支付技能再培训和教育的费用。是的。你在这儿对它们征收重税。
§03文稿 — 第 3 部分
我就会搬到这儿来。如果你征税，如果我是个人工智能公司，而你在这儿对我征收重税，我就会搬到迪拜。没错。或者葡萄牙。没错。是的。如果竞争劣势这么大，我就不会把公司建在税收高的地方。对。对。所以思考这个问题的方式是：有哪些遏制策略？如果我们一致认为，从长远来看，我们希望遏制——也就是限制、减缓、控制——这些技术的扩散以及大型人工智能的使用方式，那么实现这一目标的方法就是对相关事物征税。
征税会减缓相关事物的发展速度。而这正是你所期望的，前提是你能在国际上进行协调。所以你完全说对，有些人会搬到新加坡、阿布扎比、迪拜或者其他地方。但是……现实情况是，至少在接下来的一段时间里——我大概会说10年左右——智力资源的集中地仍将是那些大型超级城市，对吧？你知道，我2020年从伦敦搬到硅谷，并在硅谷创办了我的新公司，因为那里的人才集中度实在太高了。
所有最顶尖的人工智能和软件工程人才都在那里。所以我认为，至少在可预见的未来，这种情况很可能还会持续。但从长远来看，你说的完全正确。这又是一个协调问题。我们如何让各个国家集体同意，说我们想要尝试进行遏制，我们想要减缓发展速度？因为正如我们讨论过的，在危险物质扩散或军事领域的问题上，如果其他国家竞相发展，那么单靠某个人或某个国家采取行动是毫无用处的。
而这正是我们面临的难题。我从不认为自己是悲观的人，通常来说，我是个乐观主义者。而且我一直觉得，正如你所说，我们别无选择，只能保持乐观。我对人类充满信心。我们创造了许多不可思议的成就，也克服了许多困难。同时，我认为自己非常理性，也就是说，我需要证据才能改变自己的信念。无论怎样，当我综合所有情况，并与你以及另外几位相关人士就此话题交流后，我发现我们更无法遏制相关发展的理由，比能够遏制的理由要多，尤其是当我深入分析那些激励机制时。
你在书中多处详细谈到了激励机制。很明显，所有的激励机制都在朝着无法遏制的方向推波助澜，尤其是在短期和中期内——这在新科技领域往往会出现。短期和中期的情况就像一场圈地运动：金矿就在溪流里，我们都争先恐后地去拿铲子、筛子之类的工具。然后我们才意识到这样做的意外后果，希望为时未晚。
在第八章中，你谈到了其中存在的势不可挡的激励机制。即将到来的浪潮代表着史上最大的经济机遇。而科学家和技术人员也都是普通人，他们渴望地位、成功和身后名，希望被公认为第一和最好的人。他们既好胜又聪明，并且对自己在世界和历史中的位置有着精心培养的清晰认知。没错。我看看你，再看看像OpenAI的山姆、埃隆这样的人。
你们都是普通人，对自己在历史中的位置、地位和成功有着同样的理解。你们都渴望这些，对吧？但有很多人可能不像你一样，在做出正确选择方面有着良好的记录——而你显然有——他们可能只想要地位、成功和金钱。这些都是极其强大的激励机制。我总是认为，激励机制正是我们需要审视的东西。没错。你希望理解人们会如何行事。
从地缘政治层面，也就是全球层面来看，所有的激励机制都表明遏制不会发生。我这样假设对吗？也就是说，所有的激励机制都显示，在短期内或中期内，遏制不会实现，除非发生一场悲剧性事件，迫使我们接受遏制的理念；或者出现相互确保摧毁的威胁。没错。而我想论证的正是这一点：我们不要等到灾难发生才采取行动。
所以，我们所有人都必须努力遏制疫情，这一点是显而易见的。没错。我的意思是，你本来会认为，潜在威胁——也就是新冠病毒可能是武汉某个实验室“功能增强”研究的副作用——这个想法本身就值得警惕。那个实验室当时在刻意……基本上是想让病原体更容易传播。你本来会认为，这个警告足以让所有人达成共识——我们甚至不必争论它到底是不是这样——但仅仅是“有可能”发生这一事实，在我看来，就应该让我们所有人立即同意，必须叫停这类研究。
也就是说，我们根本不应该进行功能增强研究。在哪个星球上，我们才有可能说服自己能够克服生物学领域的遏制难题？因为我们已经证明，我们做不到。因为病毒本来有可能泄露出去，而且历史上还有其他疾病泄露的例子，比如上世纪90年代英国爆发的口蹄疫。但即便如此，我们的行为也没有改变。没错，口蹄疫显然没有造成足够的危害，因为它只杀死了一大堆牛，对吧？
而在这场疫情中——也就是新冠疫情——我们似乎始终无法达成共识，无法承认它真的来自实验室，而不是来自一群蝙蝠，对吧？所以，这正是我感到困惑的地方。此刻，我正好处于一个既愤怒又悲伤、还很悲观的时刻，因为对我来说，这明明是一个显而易见的事实：我们必须叫停这类研究。而且我认为，我们应该利用这些……
……研究时刻，为我们提供洞见和智慧，以便在未来几十年里更好地应对其他技术的发展轨迹。我们应该这么做——这就是我主张的。我必须……这是我目前能做的最好的了。我想知道……我认为可能性微乎其微，但我只能尽力而为。我正在尽全力为之奔走呼吁。我的意思是，我给你举个例子吧——我认为“自主性”是我们不应该追求的一种人工智能能力。真的吗？比如自动驾驶汽车之类的？
嗯，我认为自动驾驶汽车的情况略有不同，因为它们是在一个受限制得多的物理环境中运行的，对吧？比如说，你真的可以……自动驾驶汽车的管控策略其实相当令人放心，对吧？它们有 GPS 控制。我们确切地知道所有的遥测数据，以及车上所有组件究竟是如何运作的。而且我们可以反复观察到，它的行为完全符合预期。然而，我认为在其他一些人们可能正在追求的自主形式中，情况就不同了。比如网络领域，那里的 AI 被设计成可以在没有任何人类监督的情况下自我改进；又比如战场武器，它与汽车不同，在战场上的那个特定时刻，它并没有被测试过数百万次，而是每一次——你知道的，每一次——都在面对一个全新的敌人。
而我们却打算……你知道的，允许这些自主武器，也就是这些自主军事机器人，拥有致命武力。我认为这是我们真正应该抵制的。我不认为我们希望拥有具备致命武力的自主机器人。你是一个非常聪明的人。我很难相信你会……因为你在书中展现了对激励机制如此清晰的理解，所以我很难相信你不会认为这些激励机制最终会占上风，尤其是在短期和近期之内。
而问题在于，在短期和近期之内，就像大多数这类浪潮一样……我们会在 10 年后醒来，然后说，我们到底是怎么走到这一步的？对吧。而且，就像你说的，我们本应采取一种谨慎的态度——我们本该更早地敲响警钟，本该更早地发出警报——但我们却满怀乐观地走了进去。对吧。我们不愿面对现实。然后 30 年后我们醒来时，却发现已经被拴上了 leash。
没错。而那头巨大的罗威纳犬就在眼前，我们已经失去了控制。我们已经……你知道的，我……我真的很想知道……像你这么聪明的人，我不相信你会认为“管控”是可能的。我只是完全坦诚地说出我的想法。我不是说你对我撒谎，但我就是无法理解，像你这么聪明、又了解内情的人，怎么会相信管控真的能够实现。嗯，我可没说它一定能够实现。我说的是它必须能够实现，对吧？
这正是我们一直在讨论的问题。这是一个重要的区别。表面上看，我关心……我关心科学，我关心事实，我关心按照我看到的样子来描述世界。而我在书中想要做的，就是描述一套相互关联的激励机制，这些机制推动着技术生产过程，而这个过程可能会产生非常危险的后果。嗯。而我试图做的，就是将这些后果置于“管控问题”的背景下，并指出：这就是21世纪的重大挑战。
管控就是挑战所在。如果管控不可行，那我们就会面临严重问题。而且，正如我在书中所说，第一章的标题就是“管控并非不可能”，对吧？而最后一章的标题则是“为了我们所有人的利益，管控必须成为可能”。它必须成为可能。但我同意你的看法，我并不是在说它现在已经可行，我是在说：这正是我们必须努力的方向。我们别无选择。除了着手解决这个问题，我们别无选择。
这是一个关键问题。你有多少时间是在专注于这个问题的？基本上所有时间。我的意思是，构建和创造的过程，就是理解这些模型如何运作、它们的局限性是什么、以及如何安全且合乎道德地构建它们。我们设计公司的结构，就是为了专注于安全和伦理方面。例如，我们是一家公益企业，对吧？这是一种新型公司，它赋予我们一项法律义务，即在追求利润的同时……
……兼顾我们作为一家公司的行为对世界其他地方所产生的影响，比如我们如何影响环境、如何影响他人、如何影响用户以及非用户群体。我认为，这确实是一个有趣且重要的新方向。这是公司结构的一种新演变，因为它表明：我们有责任主动尽最大努力去做正确的事，对吧？我想，如果你当年是一家……
烟草公司或石油公司，而你的公司章程规定：如果董事们未能以不仅追求利润最大化的方式来管理公司事务，他们就要承担法律责任——要知道，目前所有公司都被激励去追求利润最大化——同时还要同等重视为世界行善的重要性，那么对我来说，这就是我们在组织社会以及激励工作方面的一项虽小却重要的创新。它并不能解决所有问题，也不是万能药，但这就是我为之努力的方向：朝着正确的方向迈出小小的一步。你是否会因此感到难过？为正在发生的一切？当然，当然。这很艰难，真的很难。
这实在令人难以消化。这……这是一个非常现实的问题。这是否让你感到压力？是的，确实有。我的意思是，每一天，每一天都是如此。我从事这项工作已经很多年了，你知道，这在情感上确实让人难以承受。很难去思考遥远的未来，以及你今天的行动——我们集体的行动、我们的弱点、我们的失败——比如，我对此感到恼火，因为我们没能从疫情中吸取教训，对吧？
就像那些让你感到沮丧的时刻，比如政府运作不当、企业不愿倾听，或者我们文化中的一些执念，我们在那里争论一些无关紧要的小事。这时你只想说，哇，我们需要关注大局。你也一定感受到了一种大多数人不会承担的责任感，因为你一生中都身处这项技术的最前沿，比大多数人更了解它。
你比大多数人更能清楚地阐述它。因此，你比许多人更有机会去引导方向。这是一种责任。是的，我接受这一点。我尽量把它看作一种荣幸。我很幸运能有这个机会去尝试做到这一点。我最喜欢的戏剧《汉密尔顿》里有一句很棒的话，他说：“历史正注视着你。”你有这种感觉吗？是的，我有这种感觉，我确实有这种感觉。这句话说得很好。你感到快乐吗？嗯，快乐究竟是什么？
我不知道。如果你诚实的话，你经常要面对哪些情绪？我想……这既令人疲惫又令人振奋，两者程度相当。因为对我来说，看到人们与人工智能互动并从中获得巨大益处，是一件美好的事。我的意思是，如今每天都有数百万人口袋里装着一个超级智能的工具，它让他们变得更明智、更健康、更快乐，提供情感支持，回答各种各样的问题，让你变得更聪明。
所以，从表面上看，从短期来看，这感觉棒极了。我们正在共同构建的东西真是太神奇了。但从长远来看，不断提出这个论点——你知道，我已经这样做了很长时间——就让人筋疲力尽。说来也怪，在过去六个月里，我反而感到了一丝解脱，因为自从 ChatGPT 出现后，这一浪潮似乎终于到来了，所有人都明白了。所以我觉得，现在这是一个大家共同面临的问题，这种感觉很好。
这不只是在你脑子里盘旋的想法吗？有一点。这不仅是我脑子里的想法，DeepMind、OpenAI 以及其他一些地方的人也已经讨论了很久。归根结底，人类可能不再是地球上的主要驱动者了。我们已经习惯了自己是主导者，但未来我们将生活在一个时代，我们日常的大部分互动对象将不再是人，而是人工智能。翻到你书的第 284 页。
最后一页。是的。想想看你一天中有多少时间是在看屏幕。12 个小时。差不多吧，对吧？无论是看手机、iPad 还是台式电脑，再想想你花了多少时间直视朋友和亲人的眼睛。所以对我来说，我们在某种程度上已经身处其中了。我的意思是，我们其实已经活在这样的世界里了。你知道，过去三年里，人们一直在谈论元宇宙、元宇宙、元宇宙。
人们对元宇宙的误解在于，认为它遥不可及。它被描绘成一个虚拟世界，我们所有人都可以在里面跑来跑去，以小人物的形象互相交谈。但这完全是错的。这完全是错误的理解。元宇宙其实已经来了。它就是与我们日常生活并存的数字空间。它就是你将在 Twitter 上进行的对话，或是你将在 YouTube 上发布的视频，又或是这个播客，它会传播出去并与其他人建立连接。
这就是那个互动的“元空间”，你知道，我说的“元”是指超越这个空间，而不是人们通常指向的那个遥远的奇怪空间。而这正是正在兴起的东西——一个与我们的物理世界并存且相互关联的平行数字空间。你的孩子们会来问你……你有孩子吗？不，我没有孩子。你未来的孩子。如果你以后有孩子，一个小孩走到你面前，问出了那个埃隆·马斯克曾被问过的问题。
“我该如何规划自己的未来？考虑到你所知道的一切——人工智能将如何改变世界、计算能力的发展以及所有这些事情——我该追求什么？我这一生该致力于什么？”你会怎么回答？我会说，知识就是力量。去拥抱它、理解它、直面它带来的后果。当感到害怕时，不要视而不见。尽你所能地去理解、参与和塑造它，因为它终将到来。
如果有人正在收听这段内容，并且想为这场“遏制之战”做些什么——我认为这就是你提出的解决方案——那么个人能做些什么呢？去阅读、去倾听、去使用这些工具，尝试去创造这些工具，了解当前的监管状况，看看有哪些组织正在围绕它开展工作，比如，你知道的，各种运动团体、行动主义团体，找到志同道合的人，与其他人建立联系。花些时间在网上，提出这些问题，在酒吧里聊聊，问问你的父母，问问你妈妈她对此有什么反应，比如她和 Alexa 对话时的感受，或者她平时会做些什么。
保持关注。我觉得这些就足够了。没必要比这规定得更具体，因为我认为人们富有创造力和独立性，会……只要你保持关注，你自然会清楚自己作为个体此刻需要做出怎样的贡献。最后一个问题：如果我们失败了会怎样？如果我们成功了呢？如果我们在遏制人工智能方面失败了会怎样？如果成功了呢？是的。
老实说，我认为如果我们成功了，这将是人类历史上最高产、最任人唯贤的时刻。我们即将让数以亿计、甚至数十亿人广泛获得智能。而这一切将让我们变得更聪明、更有创造力、生产力也更高。我相信在未来几十年里，我们将解决许多最重大的社会挑战。我真的相信这一点。我坚信，我们将把能源的生产、储存和分配成本降低到边际成本为零。
我们将把健康食品的生产成本降下来，并让所有人都能广泛获得。我认为医疗保健、交通和教育领域也会走上同样的道路。我相信，经过30年的时间，这将带来彻底的富足。在一个彻底富足的世界里，我该如何度过每一天？我认为这是另一个深刻的问题。相信我，这是一个值得拥有的好问题。如果我们能实现，那当然最好。但我们难道不需要意义和目标吗？
天哪，这可比我们过去90分钟里一直在讨论的问题要好得多。我觉得这太棒了。难道不令人惊叹吗？我不知道。我真的不确定。我之所以犹豫，是因为所有看似美好的事物都伴随着意想不到的后果。我敢肯定如此。在西方，我们生活在一个食物富足的世界里，但最大的问题却是肥胖。所以，从全局来看，我宁愿选择面对这个问题。人类不再需要挣扎。
我们难道不需要那种有意义的自愿奋斗吗？我想我们会创造出其他的机会去追寻。好吧。你知道，我觉得这个问题更容易解决。而且我认为这是一个绝妙的问题。就像很多人其实真的不想工作，对吧？他们想追求自己的热情、自己的爱好，还有你知道的，你所说的那些事情等等。当然，我们现在正朝着一个方向前进，那就是让人们摆脱工作的束缚，除非他们真的想工作。
全民基本收入。我长期以来一直是全民基本收入（UBI）的倡导者。非常长的一段时间了。每个人每个月都能领到一笔钱。我不认为它会完全以那种形式出现。我实际上认为，我们基本上会降低生产基本生活资料的成本，这样你就不会那么依赖收入。想象一下，如果你拥有几乎免费的能源和食物，会怎么样？你还可以利用这些免费能源来种植自己的食物。你可以在沙漠里种植，因为你会拥有经过改良的种子等等。
你还会拥有，你知道的，海水淡化技术等等。这真的会改变城市的结构，也会改变国家的结构。这意味着你真的可以以截然不同的方式生活很长一段时间，而无需与那种中心地带接触。我的意思是，我其实并不是那种自由意志主义的、你知道的，白日梦的坚定支持者，但是……我认为如果从理论上思考，这确实是一种非常有趣的动态。这就是权力扩散的意义所在。
权力不仅仅关乎获取信息的能力，更关乎获取那些能让你掌控自己命运和生活、并以你所设想的方式创造意义和目标的工具。这是一个极具创造力的时代，一个创造力非凡的时代。对我来说，这就是成功的样子。而且非常棒。嗯，从某些方面来说，它的负面影响在于，我认为失败就是未能实现一个充满极度富足的世界，在我看来。更重要的是，失败在于未能加以控制。
没错。那会导致什么？我认为这会导致权力的大规模扩散，以及那些怀有真正恶劣意图的人。那又会导致什么？他们可能会利用这些权力去伤害他人。这正是挑战的一部分，对吧？在这个互联互通的全球化世界里，一小撮蓄意造成伤害的人，将能够接触到那些可以瞬间、迅速对许许多多其他人产生巨大影响的工具。
而这就是扩散问题所带来的挑战：如何防止那些不法分子获得足以彻底颠覆我们世界的手段。这正是“遏制”的核心所在。我们这个播客有一个传统，就是上一位嘉宾会给下一位嘉宾留一个问题，而且并不知道会把问题留给谁。留给你的问题是：在你看来，哪个空间或地方最为神圣？嗯……我想，我记得童年时去过的最美的地方之一，是湖区的风笛湖。
那时我还很小，和家人一起坐着一艘小艇，只记得当时那里宁静而美丽，其实非常平静。从那以后我就再没回去过，但那确实是个绝美的地方。听起来与我们如今生活的世界截然相反。没错。也许我该回去那里放松一下。也许吧。非常感谢您写出这样一本好书。能读到一本针对这一主题提出解决方案的书，真是太棒了，因为很少有书能做到这一点。
而且书中提出的方案非常平衡，既认可了争论双方的观点，也没有刻意迎合任何一方——他们管这个叫什么？迎合观众？不，他们叫迎合乐团。我记不清了。但这本书没有试图迎合或偏袒任何一方来博取分数。它显得非常细致入微，极具智慧，而且鉴于书中直面当今世界所面临的种种重大议题，这本书又显得极为必要。
这一点真的非常重要，非常、非常、非常重要。我认为每个人都应该读一读这本书。它的可读性也极强。在开始录制之前，我曾对本播客的主持人杰克说……书里有很多术语，比如纳米技术，还有关于生物技术和量子计算之类的内容。可读完这本书后，我突然就理解了它们的含义。而这些术语和技术以前对我来说都有些晦涩难懂。
而且我以前也从未理解过如今所有这些技术彼此之间的关系，以及像机器人技术与人工智能的结合，将如何带来一系列全新的可能性——当然，这些可能性同样有好的一面，也有潜在的负面影响。这是一本很棒的书，时机也恰到好处。时机完美，文笔出色，时机完美。我很庆幸自己能读到这本书，并强烈推荐所有对此主题感兴趣的人去读一读。
所以，谢谢你，穆斯塔法。真的非常感谢你抽出时间，希望这次访谈没有让你感到太不自在。谢谢。这次访谈太棒了。我很喜欢。真的很有趣，感谢我们能有如此精彩而广泛的交流。