Roman Yampolskiy: 罗曼·扬波尔斯基：2030年只剩这5种工作，以及我们活在模拟世界中的证据！
Roman Yampolskiy: These Are The Only 5 Jobs That Will Remain In 2030 & Proof We're Living In a Simulation!
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01文稿 — 第 1 部分
您从事人工智能安全研究至少已经二十年了。>> 是的，我曾坚信我们能够制造出安全的人工智能，但研究得越深入，就越意识到这其实并非我们真正能做到的事。>> 您曾对各种不同情况做出过一系列预测。那么，您对2027年有什么预测呢？[音乐] >> 罗曼·印波斯基博士是全球公认的人工智能安全领域专家，同时也是一名计算机科学副教授。他向人们揭示人工智能的可怕真相 >> 以及我们需要采取哪些措施来拯救人类。
>> 两年内，人工智能将迅速具备取代大多数行业中的绝大多数人的能力。我的意思是，五年后，我们将面临前所未有的高失业率。我说的不是10%，而是99%。而这还是在没有超级智能的情况下。所谓超级智能，是指一个在所有领域都比全人类更聪明的系统。因此，它在创造新人工智能方面也会比我们更胜一筹。但情况比这更糟。我们甚至不知道如何确保它们的安全，而世界上最顶尖的人才却仍在竞相赢得通往超级智能的竞赛。
>> 但您如何看待像萨曼那样与人工智能打交道的人？>> 十年前，我们发布了指导如何负责任地发展人工智能的“护栏”原则，对吧？而他每一条都违反了，正拿80亿人的生命去赌自己能变得更富有、更强大。所以，我猜有些人想去火星，有些人则想掌控整个宇宙。但谁建造了它并不重要。一旦我们转向超级智能，我们很可能会追悔莫及。>> 而到了2045年，>> 接下来就有趣了。
>> 罗曼·印波斯基博士，我们来谈谈模拟理论吧。>> 我认为我们就生活在一个模拟世界中。对此已有相当多的人表示认同，而这也是您在该模拟世界中应该做的，这样我们就不会把它关掉。首先，>> 我经常在评论区看到一些留言，说你们中有些人没意识到自己还没有订阅。所以，如果各位能帮我一个忙，再确认一下是否已订阅本频道，我将不胜感激。这是一个简单又免费的动作，任何经常观看本节目的人都能做到，它对我们维持节目的正常运转至关重要。因此，请务必确认您是否已经订阅。呃，非常感谢大家，因为从某种意义上说，您是我们历史的一部分，正与我们共同踏上这段旅程，对此我深表感谢。所以，是的，谢谢您，>> 罗曼·印波斯基博士。
你目前正在执行什么任务？因为我很清楚，你似乎正肩负着一项使命，而且我想这项使命你已经坚持了至少将近二十年了。>> 我希望确保我们目前正在创造的超级智能不会导致所有人的死亡。>> 请就这句话给我提供一些背景信息，因为这确实是一个令人震惊的说法。>> 好的。在过去十年里，我们实际上已经找到了让人工智能变得更聪明的方法。事实证明，只要增加算力和数据，它就会变得更智能。因此，现在世界上最顶尖的人才、数十亿美元的资金，都投入到了创造我们所能达到的最佳超级智能上。
不幸的是，虽然我们知道如何让这些系统的能力大幅提升，但我们却不知道如何确保它们的安全，如何确保它们不会做出让我们后悔的事情，而这正是目前的现状。当我们仅从预测市场来看，我们何时能实现先进人工智能？根据预测市场以及顶级实验室首席执行官的说法，时间线非常短，只有两三年。与此同时，我们却不知道如何确保这些系统与我们的偏好保持一致。
所以我们正在创造一种“外星智能”。如果外星人要来到地球，而你有三年时间做准备，你现在肯定会感到恐慌。但大多数人甚至没有意识到这件事正在发生。>> 那么，一些反驳意见可能是：这些都是非常非常聪明的人，这些是拥有雄厚资金的大型公司。他们有义务——不仅是道德义务，也有法律义务——确保自己不会造成任何伤害。
所以，他们肯定会把事情处理好的。>> 他们唯一具有的义务就是为投资者赚钱。这是他们的法律义务。他们没有任何道德或伦理义务。而且，据他们自己所说，他们目前还不知道该如何做到这一点。他们给出的最新答案是：等我们走到那一步时再想办法，或者人工智能会帮助我们控制更先进的人工智能。这简直是疯了。>> 从概率角度来看，你认为事情会朝着灾难性方向发展的可能性有多大？
>> 所以，没有人能确切地告诉你将来会发生什么。但如果你无法掌控它，你就不会得到你想要的结果。所有可能的结果几乎是无限的，而我们喜欢的结果却微乎其微。>> 那么你是谁？你从事这项工作多久了？>> 我接受过计算机科学家的专业训练，拥有计算机科学与工程的博士学位。我大概是在15年前开始从事人工智能安全领域的研究的，当时这项工作的定义比较宽泛，主要是控制机器人。
>> 15年前。这么说，你是在人工智能安全成为热门话题之前就开始研究它了。 >> 在那个术语出现之前，我就创造了“人工智能安全”这个词。 >> 所以你是“人工智能安全”这个术语的创始人。 >> 术语？是的。但不是这个领域的创始人。在我进入这个领域之前，已经有人做出了出色的工作。 >> 为什么你在15年前就开始思考这个问题？因为大多数人谈论“人工智能安全”这个术语，也就是最近两三年的事。 >> 是的。最初它只是一个非常小规模的安全项目。我当时在研究扑克机器人，然后意识到这些机器人变得越来越厉害。如果把这个趋势一直推演下去，它们最终会变得比我们更优秀、更聪明、能力更强。而事实也确实如此。
它们打扑克的水平已经远超普通玩家。但更广泛地说，这种情况也会发生在所有其他领域和所有其他网络资源上。我希望确保人工智能是一种对所有人都有益的技术。于是我开始研究如何让人工智能更安全。 >> 在你的职业生涯中，有没有某个瞬间让你觉得“天哪”？ >> 至少在前5年里，我一直在努力解决这个问题。我当时坚信我们能实现这个目标，能制造出安全的人工智能，这就是我的追求。但我越是深入研究，就越发现这个方程式里的每一个组成部分，都不是我们真正能够做到的。而且你越是深入探究，它就越像分形一样。
你深入进去，会发现另外10个问题，然后又是100个问题。而所有这些问题都不只是难，而是根本不可能解决。这个领域没有任何标志性的成果，说我们解决了这个问题，就再也不用担心了。有的只是各种补丁。我们设置了一些小修复，但人们很快就能找到绕过它们的方法。它们会钻空子，突破我们设置的所有安全机制。所以，尽管人工智能能力的进步是指数级的，甚至可能是超指数级的，但人工智能安全的进步却是线性的或恒定的。两者之间的差距正在不断扩大。
>> 这个差距指的是…… >> 系统的实际能力，与我们控制它们、预测它们行为、解释它们决策过程的能力之间的差距。 >> 我认为这一点非常重要，因为你提到我们基本上只是在对我们发现的问题打补丁。也就是说，我们开发出这种核心智能，然后为了防止它做出某些行为，或防止它表现出不可预测性或潜在威胁，开发这些人工智能的公司就在代码上层不断添加程序，说：“好，不许说脏话，不许说那个词，不许做那种坏事。”
>> 没错。你还可以看看其他类似的例子。比如人力资源手册，对吧？我们有那些“人类员工”。他们是通用智能体，但你希望他们在公司里表现出特定的行为。所以公司会制定政策，比如禁止性骚扰、禁止这、禁止那。但如果你足够聪明，总能找到变通的办法。这样一来，你只是把这种行为转移到了另一个尚未受限的子领域而已。>> 我们或许应该先定义一些术语。首先是狭义智能，它能下国际象棋或做其他类似的事情。
其次是通用人工智能，它能在多个领域中运作；再其次是超级智能，它在所有领域都比所有人类更聪明。那我们目前处于什么阶段呢？这个界限非常模糊，对吧？毫无疑问，我们确实拥有许多出色的狭义智能系统。在这些特定的狭义领域里，它们的表现堪称超级智能。比如蛋白质折叠问题，就是利用狭义人工智能解决的，而它在蛋白质折叠这一领域的能力远超所有人类。至于通用人工智能，我再说一遍，如果我们把今天拥有的技术展示给20年前的科学家，他们会相信我们已经拥有了成熟的通用人工智能。我们已经有能够学习的系统，它们能在数百个领域中发挥作用，并且在其中许多领域都表现得更出色。因此，你可以说我们已经拥有了某种弱形式的通用人工智能。
目前我们还没有超级智能。那些才华横溢的人类在人工智能领域，尤其是在科学和工程方面，仍然占据着绝对主导地位。但这个差距正在迅速缩小。尤其是在数学领域，3年前，大型语言模型还不会做基本的代数运算，连三位数相乘都成问题；而现在，它们已经能辅助进行数学证明、在数学奥林匹克竞赛中获奖，甚至着手解决千禧年难题——那些数学领域最困难的问题。也就是说，在短短3年内，我们就从低于人类水平的表现，提升到了超越大多数数学家的水平。我们看到同样的进程正在科学和工程领域上演。
>> 你做过一系列预测，它们对应着不同的日期。我这里列出了这些日期。你对2027年的预测是什么？>> 根据预测市场和各大实验室的评估，我们很可能届时会迎来通用人工智能。>> 也就是说，到2027年，我们就能拥有通用人工智能。那届时世界与现在相比会有什么不同？>> 如果你设想一下“员工骤降”这个概念，你就等于拥有了免费的劳动力，包括体力和脑力劳动，其价值高达数万亿美元。这样一来，大多数工作都没有必要再雇佣人类了。如果我只需要花20美元订阅，或者使用一个免费模型，就能完成员工所做的工作，那么首先，所有在电脑上能完成的工作都将被自动化。
接下来，我认为人形机器人可能还落后5年。所以再过5年，所有的体力劳动也都可以实现自动化。届时我们将面临前所未有的高失业率。我说的不是10%这种已经令人担忧的失业率，而是99%。届时只剩下那些出于各种原因，你希望由人类来完成的工作。但除此之外的一切都可以完全自动化。这并不意味着它们在实践中就一定会被自动化。很多时候技术虽然存在，却并未得到实际应用。
可视电话早在70年代就被发明出来了，但直到iPhone出现，才有人真正使用它。所以我们可能还有很长一段时间，会处于这样一个充满各种工作的世界。>> 但取代大多数人类和大多数职业的能力很快就会到来。>> 好的。那我们来深入探讨一下，并对其进行压力测试。比如像我这样的播客主播。>> 你还需要像我这样的播客主播吗？>> 那我们来看看你的工作内容。你需要做准备，然后>> 提出问题。
>> 你还会追问后续问题，而且在镜头前表现得很出色。>> 非常感谢。>> 那我们来看看能做到什么程度。如今的大型语言模型可以轻松地读完我写的所有东西。没错。>> 而且理解得还要更透彻。我猜你肯定没有读过我的每一本书，对吧？>> 但那个模型能做到。它可以学习你做过的每一期播客，从而精准掌握你的风格和你常问的问题类型。它还能找出哪些内容效果特别好，比如这类问题能显著增加观看量，这类话题很有潜力。所以我认为它能比你优化得更好，因为你没有这样的数据集。当然，视觉模拟现在已经是轻而易举的事了。所以它可以在几秒钟内，根据我坐在这里的样子制作出视频。>> 这样一来，我们就能高效地生成你采访任何人的视频，内容可以是任何话题，你只需要批准相似度即可。>> 那么，在你看来，如果AGI真的到来——不管它是否能在2027年前实际应用——世界上还会有哪些工作能保留下来？>> 好的，那我们先暂时不考虑体力劳动类的工作，你还认为有哪些工作是人类能做得更好吗？
在AGI时代还能如此吗？>> 这正是我经常问人们的问题：在一个拥有AGI的世界里，我认为我们几乎会立刻迎来一个副产品——超级智能。所以真正的问题是，在一个超级智能的世界里——其定义为在所有领域都超越全人类——你还能贡献些什么？>> 没有人比你更了解成为你是一种什么体验。你知道冰淇淋对你来说是什么味道。你能靠这些知识赚钱吗？有人会对此感兴趣吗？
也许不会。这并非一个大市场。有些工作需要人类来完成。也许你很有钱，出于某些历史原因，想要一个人类会计师。老年人喜欢传统做事方式。沃伦·巴菲特不会改用人工智能，他会继续使用他的人类会计师。但这只是市场里极小的一部分。如今，美国制造的产品与在中国大规模生产的产品不同，有些人愿意为此支付更高的价格，但这同样只是很小一部分。这几乎成了一种癖好。这样做没有任何实际理由，而且我认为，凡是在电脑上能做的事情，都可以利用这项技术实现自动化。
当你这么说时，你肯定听过很多反驳，因为当人们听到自己的工作、自己的职业、自己攻读学位的专业、自己投入了10万美元的东西即将被夺走时，会产生巨大的心理不适。因此，对某些人来说，他们的自然反应就是产生认知失调，觉得“不，你错了。人工智能没有创造力。它不是这样的，也不是那样的。它永远不会对我的工作感兴趣。我不会有事”。因为你总能听到这些论调，对吧？
这真的很有趣。我会去问不同行业的人。我问我的优步司机：“你担心自动驾驶汽车吗？”他们会说：“不，没人能取代我的工作。我熟悉纽约的街道，我的导航能力是任何人工智能都比不上的。我很安全。”任何行业都是如此。教授们也这么对我说：“哦，没人能像我一样讲课。这太特别了。”但你也明白，这很荒谬。我们已经有了自动驾驶汽车来取代司机。
这根本就不是一个是否可能的问题，而是“你多久会被解雇”的问题。>> 是的。我的意思是，我昨天才在洛杉矶，我的车会自动开。我坐进车里，输入目的地，然后既不碰方向盘，也不踩刹车踏板，它就能把我从A点带到B点，即使是一小时的车程，也完全不需要我干预。当然，停车还得我自己来，但除此之外，我完全不用开车。显然，在洛杉矶，我们现在还有Whimo，这意味着你用手机下单，车就会自己出现，里面没有司机，然后把你送到想去的地方。
>> 哦，是的。>> 所以很明显，对那些行业的人来说，这很可能只是时间问题，因为现在听我们对话的人里，就有人从事驾驶工作。如果我没记错的话，我认为驾驶是全球最大的职业。我相当确定它是全球最大的职业。>> 是排名靠前的职业之一。是的。你会对那些人说什么？他们该怎样规划自己的人生？
他们应该接受什么方面的再培训？或者说，时间框架是怎样的？>> 这就是这里所说的范式转变。以前我们总是说，这份工作将被自动化，所以要重新培训去做另一份工作。但如果我告诉你所有工作都将被自动化，那就不存在B计划了。你无法进行再培训。看看计算机科学就知道了。两年前，我们告诉人们去学习编程。如果你是艺术家，赚不到钱，就去学编程。后来我们意识到，哦，人工智能似乎已经会编程了，而且越学越好。于是又有人说，那就去做提示词工程师吧。
你可以为人工智能设计提示词。这会是一份很棒的工作，甚至可以攻读四年制学位。但接着我们又发现，人工智能在设计用于其他人工智能的提示词方面，比任何人类都强得多。所以这个职业也没了。因此，我现在真的无法给你一个明确的答案。目前最难的是为实际应用设计人工智能智能体。我敢保证，一两年后，这个职业也会消失。所以我不认为还存在“某个职业需要转而学习另一个职业”的情况。我认为更可能的情况是，作为全人类，我们所有人都将失业。那时我们该怎么办？在经济上该怎么办？
谁来养活我们？在人生意义方面，我们该做些什么？我每周多出来的六七十个小时该用来做什么？>> 你已经稍微思考过这一点了，对吧？>> 在你看来，接下来会发生什么？>> 经济层面的问题似乎很简单。如果你创造出大量的免费劳动力和财富，实现富足，那么现在还很昂贵的东西都会变得极其便宜，这样你就能满足每个人的基本需求。有些人甚至说，不仅能满足基本需求，还能提供更高的生活水平。
你可以让所有人都过上非常好的生活。但真正难的问题是，你该如何利用所有这些自由时间？对很多人来说，工作是他们人生意义的来源。因此，他们可能会感到无所适从。我们在那些退休或提前退休的人身上就能看到这一点。当然，对于许多讨厌自己工作的人来说，他们不用工作会非常开心。但随之而来的是，整天无所事事的人越来越多。社会会发生什么？这会对犯罪率、生育率以及各种其他问题产生怎样的影响？根本没人考虑过。各国政府也没有准备好应对99%失业率的方案。
>> 你认为那样的世界会是什么样子？>> 同样，我认为这里非常重要的一点是，这件事具有不可预测性。我们无法预测一个比我们更智能的系统会做些什么。而达到那个临界点的时刻，通常被类比为物理奇点，称为“奇点”。你无法看到事件视界之外的景象。我可以告诉你我认为可能会发生什么，但那只是我的预测，并非未来真正会发生的事情，因为我的认知能力还不足以预测一个比我们聪明得多的智能体将如何影响这个世界。
然后你读科幻小说。小说里其实从来没有真正在做事的超级智能，因为没人能写出那种级别的、令人信服的科幻小说。他们要么像《沙丘》那样禁止人工智能，因为这样就不用写关于它的东西了；要么就像《星球大战》那样，里面有一些非常笨的机器人，但绝不会出现任何超级智能，因为从定义上来说，你无法在那个层面上进行预测——既然它被定义为超级智能，它就会自己拿主意。
>> 从定义上来说，如果它能被预测，那你就在同样的智能水平上运作，这违背了“它比你更聪明”的假设。如果我跟一个超级智能下棋，而且我能预测出它的每一步，那说明我也在它的水平上。 >> 这有点像我的法国斗牛犬试图准确预测我在想什么、接下来要做什么。 >> 这就是一个很好的认知差距。它不仅能预测你要去上班、要回来，但它完全无法理解你为什么还要做播客。
这完全超出了它对世界的认知模型。 >> 是的。它甚至都不知道我去上班，它只是看到我离开家，但不知道我去哪儿。 >> 给它买食物。那么，最能反驳你观点的论据是什么？ >> 那就是我们不会因为先进技术而出现失业问题，也不会在理解能力、权力和控制方面出现这种“法国斗牛犬与人类”之间的鸿沟。 >> 所以有些人认为，我们可以通过与硬件结合来提升人类心智，比如像Neuralink那样的技术，或者通过基因重组来制造更聪明的人类。
>> 是的， >> 这或许能让我们变得更聪明一点。但我认为，在生物形态上，我们仍然无法与硅基形态竞争。硅基载体在智能方面要强大得多，它速度更快，更具韧性，在许多方面也更节能——这正是计算机的构成方式，而大脑则不同。是的。所以我不认为仅靠改进我们的生物学就能跟得上。有些人认为——当然这非常具有推测性——我们可以将意识上传到计算机里。也就是说，扫描你的大脑，连接你的神经网络，在计算机上运行一个模拟，然后可以加快它的速度，赋予它更强的能力。但对我来说，那感觉就像你已不复存在。我们只是用不同的方式创造出了软件，现在你有了一个基于生物学的AI，还有一个基于其他训练形式的AI。你可以使用进化算法，可以通过多种路径实现通用人工智能（AGI），但最终，这些路径中没有一个会产生人类。
>> 我这里还有另一个日期，是2030年。你对2030年有什么预测？世界会是什么样子？我想我们大概会有足够灵活、足够灵巧的人形机器人，能够在包括水管工在内的所有领域与人类竞争。我们可以制造出人造水管工。 >> 水管工这个职业曾让人感觉是人类就业的最后堡垒。所以到了2030年，也就是5年后，人形机器人——包括特斯拉在内的许多领先公司都在以光速开发人形机器人，而且它们正变得越来越高效。这些的人形机器人将能够在物理空间中活动，比如，你知道的，煎个蛋卷，做人类能做的任何事情，但显然它们也必须连接到人工智能。这样它们就能思考、交谈， >> 对吧？它们由人工智能控制，始终连接到网络。因此，在许多方面，它们已经占据主导地位了。
>> 当人形机器人真正实用且高效时，我们的世界将变得截然不同，因为那时——你知道的——我开始认为，智能与身体能力的结合，其实就几乎不给我们人类留下什么空间了 >> 所剩无几。如今，如果你通过网络拥有智能，你就可以雇佣人类为你办事，用比特币支付给他们。所以你可以拥有“身体”，只是不直接控制它们。因此，增加对物理身体的直接控制，并不算什么颠覆性的改变。关键在于智能。真正重要的部分是具备更强的能力去优化、去解决问题、去发现人类无法察觉的模式。而到了2045年，我猜世界看起来会更加——也就是从现在算起的20年后。
>> 所以，如果它还存在的话， >> 如果它还存在的话， >> 雷·库兹韦尔预测那一年将是“奇点”之年。也就是在那一年，进步会变得如此之快。人工智能在科研和工程领域进行的改进速度极快，以至于我们再也无法跟上。这就是“奇点”的定义：一个我们无法再看清、理解、预测的节点， >> 看清、理解、预测智能本身，或者 >> 世界上正在发生的事情，以及正在开发的技术。现在，如果我有一部iPhone，我可以期待明年会推出新款，而我能理解它只是摄像头稍微好了一点。现在想象一下，这个手机的研发过程实现了自动化。它每6个月、每3个月、每个月、每周、每天、每小时、每分钟、每秒都在发生。
你不可能在一天之内跟上30代iPhone的更新。你根本不了解它具备哪些功能，也不知道该如何正确使用。这些信息对你来说完全超出了理解范围。如今，任何研究人员和人工智能都很难跟上最新技术的发展。就在我跟你进行这次访谈的时候，又出现了一个新模型，我已经不知道什么是最新水平了。每天，就占总知识量的比例而言，我都在变得更“笨”。我可能仍然懂得更多，因为我一直在阅读。但就整体知识量的比例来看，我们所有人都在变得越来越“笨”。
然后，如果你把这种趋势推向极端，你就会对周围的世界一无所知、毫无理解。一些人反对这种可能性的论据是，回顾工业革命等其他技术变革，人们只是找到了新的工作方式，也创造出了当时我们根本无法想象的新职业。那么，在一个超级智能的世界里，你如何回应这种观点？>> 这是一种范式转变。我们过去一直拥有工具，新的工具能让某些工作更高效地完成。比如，原本需要10个工人，现在只需要2个，其余8个人就得找新工作。而那时确实出现了新的职业。现在，你可以去监督这些工人，或者做些更有意思的事。但如果你创造的是“元发明”——也就是在发明智能本身，在发明一个“工作者”、一个“智能体”——那么你就可以把这个智能体应用到新的工作中。届时，没有任何工作是不能被自动化的。这种情况以前从未发生过。
我们此前所有的发明，在某种程度上都只是完成某项任务的工具。比如我们发明了火，这彻底改变了游戏规则。但仅此而已，故事到火就停止了。我们又发明了轮子，也是同样的道理，影响巨大。但轮子本身并不会发明东西。而这一次，我们是在发明人脑的替代品，一个能够进行新发明的“新发明家”。这将是我们必须完成的最后一项发明。到那时，它将接管一切，包括科学研究、伦理研究、道德探讨等所有过程，届时都将被自动化。
>> 你晚上睡得好吗？ >> 睡得非常好。 >> 尽管你过去15到20年的人生都在致力于人工智能安全的研究，而它如今却突然以一种我们任何人都无法在5年前预料到的方式降临了。我所说的“降临”，是指如今投入其中的资金和人才数量，让超级智能的到来感觉比以往任何时候都更加不可避免、更加迫在眉睫。
>> 我们人类天生就有一种偏见，不会去考虑那些真正糟糕的后果以及我们无法阻止的事情。所以，我们所有人终将死去。你的孩子会死，你的父母会死，每个人都会死，但你依然能睡得很好，依然会继续你的一天。即使是95岁的人，也还在玩游戏、打高尔夫等等，因为我们有一种能力不去想最坏的结果，尤其是当我们无法真正改变结果的时候。现在使用的就是同样的心理机制。是的，确实存在可能导致全人类灭绝的事件，而我们可能正身处其中。但除非我能做些什么，否则我依然可以享受我的生活。事实上，知道自己剩下的时间有限，反而可能让你更有理由去把生活过得更好。你一点时间都不能浪费。
>> 我想，这就是进化赋予我们的生存特质，因为我的那些祖先如果把所有时间都花在担忧上，就不会有足够的时间去繁衍后代和狩猎以求生存。>> 自杀意念。那些开始认真思考世界有多糟糕的人，通常很快就会解脱。>> 你曾与人合著了一篇论文，分析了人们用来反驳“人工智能安全至关重要”这一观点的主要论点。其中一个论点是，眼下还有其他更重要的事情，比如世界大战，或是核武器的管控问题。
>> 也可能是其他事情。政府和我这样的播客主播应该谈论的，还有其他更重要的问题。你如何反驳这种观点？>> 超级智能是一种终极解决方案。如果我们成功实现超级智能，它将帮助我们应对气候变化，帮助我们解决战争问题，还能化解所有其他的生存风险。如果我们没能成功实现它，那它就会占据主导地位。如果气候变化需要一百年才能把我们活活热死，而超级智能在五年内就杀死了所有人，那我不再需要担心气候变化了。所以无论如何，它要么替我解决了问题，要么这根本就不是个问题。
>> 所以你认为，这是目前最值得投入精力去研究的事情？>> 毫无疑问，没有什么比成功实现这一点更重要的了。我知道每个人都会这么说。你随便选一门课，比如英语教授的课程，他都会告诉你，这是你上过的最重要的一门课。但你可以看到，这件事在更高层面上有所不同。>> 那篇论文中的另一个论点是，我们一切尽在掌控之中，危险并不来自人工智能。这个特定论点认为，人工智能不过是一种工具，真正构成威胁的是人类本身，而我们总能通过简单地关闭它来保持控制——我们难道不能直接拔掉插头吗？我每次在节目中讨论人工智能时，总有人会问：“我们难道不能直接拔掉插头吗？”
>> 是的，我制作的每一期播客都会收到这类评论，而我总是想联系那个人，跟他说：“这想法太绝了。我从来没这么想过。咱们一起写篇论文，拿个诺贝尔奖吧。就这么干。”因为这实在太荒谬了。比如，你能关掉一个病毒吗？你电脑中了病毒，不喜欢它，那就关掉它。那比特币呢？关掉比特币网络吧。请便。我等着。这太可笑了。这些都是分布式系统，你根本关不掉。而且，它们比你更聪明。它们已经做了多个备份，预测到了你会怎么做。它们会在你关掉它们之前，先把你关掉。那种我们还能掌控一切的想法，只适用于前智能水平。基本上，我们现在的情况是，拥有人工智能工具的人类是危险的。他们可能成为黑客，成为心怀恶意的人。绝对如此。
但一旦超级智能变得更聪明、占据主导地位，人类就不再是那个等式中的重要部分了。我关心的是更高级的智能，而不是那些可能添加额外恶意程序、但最终仍无法掌控它的人类。>> 你论文中的下一个论点很有吸引力，它基本上是说：听着，这是不可避免的。所以，没必要去对抗，因为真的没什么希望。因此，我们或许应该干脆放弃尝试，相信事情会自行解决，因为你说的所有情况听起来都确实不可避免。而且，既然中国在这方面努力，我相信普京也肯定有某个秘密部门。伊朗肯定也在零零碎碎地做着些什么。每个欧洲国家都试图在人工智能领域抢占先机，而美国则走在最前面。所以，这是必然的。那我们或许就该心存信念，祈祷吧。
>> 嗯，祈祷总是好的，但激励机制很重要。如果你看看是什么在驱动这些人，是的，钱确实重要。这个领域有大量资金，所以人人都想参与其中，开发这项技术。但如果他们真正理解这个论点，明白自己终将死去，那再多的钱对你也没用了，这时激励机制就会改变。他们就会希望不要死。他们当中很多人是年轻人、有钱人，他们还有整个人生等着他们。我认为，如果他们不去构建先进的超级智能，而是专注于解决特定问题的狭义人工智能工具，情况可能会更好。比如，我的公司专门治愈乳腺癌。仅此而已。
我们赚取数十亿美元。所有人都很开心。所有人都能受益。这是一场双赢。时至今日，我们仍然掌控着局面。事情不到最后关头，谁也不知道结果如何。我们可以决定不构建通用超级智能。我的意思是，美国或许能激发出足够的热情来推动这件事，但如果美国不构建通用超级智能，那么中国就会占据巨大优势。没错，就目前这些层面而言，谁的AI更先进，谁的军事实力就更先进，这一点毋庸置疑。我们从现有的冲突中就能看到这一点。但一旦你转向超级智能——不受控制的超级智能——那么究竟是美国还是他们来构建，就无关紧要了。如果他们明白这个道理，他们也不会去构建。这就像双方都面临相互确保摧毁的局面。
>> 这项技术与核武器之类的技术是否有所不同？核武器需要巨额投资，你必须浓缩铀，甚至可能需要数十亿美元才能造出核武器。但这项技术似乎要便宜得多，至少达到超级智能所需的成本可能会越来越低。我想知道，是否有可能某个创业者或某家初创公司，在不需要数十亿美元的计算资源或电力的情况下，就能在几年内打造出超级智能。
>> 问得好。每年训练足够大模型的成本都在不断下降。如果今天需要一万亿美元才能打造出超级智能，明年可能只需要一千亿美元，以此类推，总有一天，一个人用一台笔记本电脑就能完成。但你不想等上四年才让它变得负担得起。所以才会有如此多的资金涌入。总有人想在今年就实现这一目标，然后幸运地赢得所有奖项。因此，从这方面来看，这两者都是耗资巨大的项目，堪比曼哈顿计划——也就是核弹项目。
>> 这两种技术的区别在于，核武器仍然是工具。某个独裁者、某个国家或某个人必须决定使用它们、部署它们。而超级智能不是一种工具，它是一个智能体。它会自己做决定，而且没有人能控制它。我不能通过除掉那个独裁者来让超级智能变得安全。所以，在我看来，这是一个根本性的区别。>> 但如果你说成本会逐步下降——我想这符合摩尔定律吧？技术会越来越便宜——那么未来就可能出现这样的情况：某个普通人仅凭一台笔记本电脑，就能在没有任何监督、监管或员工的情况下，创造出超级智能。
>> 是的，这就是为什么很多人建议我们需要建立一个类似“监控星球”的系统，用来监视谁在做什么，并试图阻止人们去做这些事。我认为这可行吗？不可行。到某个时候，这项技术会变得如此廉价和简单，以至于它终究会发生。但目前我们正试图争取更多时间。我们不希望它在五年内发生，我们希望它在五十年后发生。>> 我的意思是，这听起来不太乐观。>> 这取决于你多大年纪。
>> 这取决于你多大年纪。我的意思是，如果你相信未来的人们能够利用比今天少得多的资源创造出超级智能，那么这只是一个时间问题。>> 是的。但同样的情况也适用于许多其他技术。我们在合成生物学方面取得了长足的进步，如今一个拥有生物学学士学位的人或许就能制造出一种新病毒。其他类似技术也会变得越来越便宜。因此，我们正接近这样一个时刻：很难确保某项技术突破不会是最后一项突破。所以，从很多方面来看，我们都呈现出这样一种模式——在资源和智能层面，让世界变得更易于被摧毁。如果你看看大约500年前，最残暴的独裁者即便拥有所有资源，最多也只能杀死几百万人，他无法毁灭整个世界。
>> 而现在我们知道，核武器足以将整个地球炸毁好几次。在合成生物学方面，我们从新冠病毒中可以看到，人们可以很轻松地制造出一种影响数十亿人的混合病毒，而且所有这些技术都将在短期内变得更易实现。>> 你提到灭绝是一个真实的风险，人类灭绝是一个真实的风险。在你看来，所有可能导致人类灭绝的途径中，最有可能的是哪一种？因为我知道你谈到过，在人工智能工具投入使用前就可能出现一些问题，比如某人在设计模型时犯了错；或者在部署后出现问题——我所说的部署后，是指当某个聊天机器人或智能体被发布到现实世界后，有人黑入其中，对其进行修改和重新编程，使其具有恶意。在所有这些可能导致人类灭绝的路径中，你认为哪一种的可能性最高？>> 我只能谈论那些我自己能够预测到的情况。我可以预测到，甚至在超级智能出现之前，就会有人制造出一种非常先进的生物工具，创造出一种新型病毒，而这种病毒会感染所有人或几乎所有人。我能想象到这种情景，也能理解其发展路径。我可以说……
>> 那么，具体来说，这就是指利用人工智能制造一种病毒，然后将其释放出来。>> 是的。那这会是故意为之吗？>> 世界上有很多精神变态者、恐怖分子和末日邪教。从历史上看，他们总是试图尽可能多地杀害人类。他们通常会失败，最多只能杀死数十万人。但如果他们掌握了能杀死数百万甚至数十亿人的技术，他们会毫不犹豫地这么做。我想强调的是，我能想出什么方案并不重要。我在这里要对抗的，并不是一个心怀恶意的行动者，而是一台能够想出全新作案方式的人工智能。
>> 还是拿你提到的狗的例子来说。你的狗无法理解你能带它出门的所有方式。它或许会想到你会把它咬死之类的，但也仅限于此。而你却拥有无限的资源。所以，如果我问你的狗你到底要怎么带它出门，它根本给不出一个有意义的回答。它最多只能说到“咬”这件事。这就是我们所了解的——我们了解病毒，也经历过病毒，所以能谈论它们。但一个能够开展全新物理学研究的人工智能系统能想出什么，我实在无法想象。
>> 我想大多数人都不了解的一点是，我们对这些人工智能究竟是如何运作的知之甚少。因为人们通常会认为，对于计算机，我们大致知道它是怎么工作的。我们知道它先执行这一步，再执行那一步，它是靠代码运行的。但从你的论述来看，你却把它描述成一个“黑箱”。也就是说，以 ChatBT 或类似的人工智能为例，你是在告诉我，就连开发这些工具的人，其实也不知道里面到底发生了什么。
>> 完全正确。就连开发这些系统的人，也不得不通过实验来了解自家产品的能力。他们会用海量数据来训练模型，比如整个互联网上的文本。然后，他们在大量计算机上运行模型，以学习其中的规律，再开始对这个模型进行各种实验：“哦，你会说法语吗？”“哦，你会做数学题吗？”“哦，你现在是在骗我吗？”所以，训练模型可能需要一年时间，再用六个月时间了解它的基本能力，并建立一些安全机制。但我们仍然会在旧模型中发现新的能力。只要你换个方式提问，它表现出的智能程度就会不同。
§02文稿 — 第 2 部分
所以，这已经不再是过去50年那种工程学的模式了——过去是知识工程师编写程序，让专家系统这样的AI去完成特定任务。现在它是一门科学。我们正在创造并培育这个“产物”，它就像一株外星植物，然后我们研究它，看看它在做什么。就像对待植物一样，我们对生物学的了解也并非100%准确。在这里，我们同样没有完全透彻的认知。我们大概知道一些规律，比如增加计算能力通常会让它变得更聪明，但没人能确切地告诉你，给定一组输入后，最终结果会是什么。
>> 我见过太多创业者把销售当成一个表演问题来处理。但问题往往出在透明度上，因为当你看不清销售漏斗里发生了什么、每笔对话处于哪个阶段、哪些卡住了、哪些在推进时，你就无法改进任何东西，也无法完成交易。我们的赞助商Pipe Drive，是面向中小企业的头号CRM工具。它不仅仅是一个联系人列表，而是一个能完整展示你整个销售流程的系统——从头到尾、所有实时进展、哪些环节滞后，以及你下一步需要采取的措施，都清晰可见。你的所有团队都能因此更聪明、更高效地工作。使用Pipe Drive的团队，平均能比不使用它的团队多成交三倍的交易。它是首款由销售人员为销售人员打造的CRM，全球已有超过10万家企业信赖它，包括我本人所在的团队，我们都非常喜欢。立即访问piperive.com/ceo，试用Pipe Drive吧。
而且只需几分钟就能上手，无需任何付款信息。如果你使用这个链接，还能获得30天免费试用。你对OpenAI、Sam Altman以及他们正在做的事情有什么看法？当然，你也知道其中一位联合创始人是……嗯……是Ilya Sutskever吗？ >> Ilya，Ilya。是的。Ilya离开了，他创办了一家新公司，叫…… >> “超级智能安全”。 >> “超级AI安全”听起来还不够有挑战性，于是他决定直接挑战那个最难的难题。
作为一个旁观者，当你看到有人离开OpenAI去创办“超级智能安全”公司时，你如何看待这种情况？ >> 嗯，很多曾与Sam共事的人表示，他在坦诚沟通方面可能不是最直率的人，而且他们对他在安全问题上的观点有所担忧。这是原因之一。所以他们希望拥有更多的控制权，希望更专注于安全。但另一方面，似乎任何离开那家公司并创办新企业的人，光是“创办”这个动作本身，就能获得200亿美元的估值。你甚至还没有产品，也没有客户，但如果你想赚取数十亿美元，就这么做就行了。所以，对于任何有能力这么做的人来说，这似乎是一个非常理性的选择。因此，当我和他本人见面时，发现人员流动如此频繁，我一点也不惊讶。他人超级好，也非常聪明。
堪称完美的公众形象。你看他在参议院作证时，会对参议员们说正确的话。你看他同投资者交谈时，他们也能接收到正确的信息。但如果你看看那些与他私交甚笃的人是怎么说的，他恐怕并不是掌控这样一个具有重大影响项目的合适人选。>> 为什么？>> 他把安全放在第二位。排在……之后>> 赢得这场通往超级智能的竞赛，成为那个创造了“戈迪克”并掌控宇宙“莱特科因”的人。
他更糟糕。>> 你是否怀疑，驱动他的，是那种作为一位成就了非凡事业、能产生深远影响的人的 legacy，而非其可能给社会带来的后果？因为有趣的是，他的另一家初创公司是“世界币”，这基本上是一个旨在创造全民基本收入的平台，也就是说，在一个人们不再拥有工作的世界里，为我们提供收入的平台。所以，一方面他在打造一家人工智能公司，另一方面又在为人类不再就业的世界做准备。
>> 它还有其他特性。它会记录每个人的生物特征数据。它……让你掌控世界经济、全球财富。他们保留着大量“世界币”。所以我认为，将其与称霸世界结合起来是相当合理的。如果你拥有一个超级智能系统，又掌控着金钱，那你就能如鱼得水。>> 为什么有人会想要称霸世界？人们的野心程度各不相同。当你还是一个坐拥数十亿美元和名声的年轻人时，你就会开始寻找更具雄心的项目。
有些人想去火星，有些人则想掌控宇宙的“莱特科因”。>> 你说什么？宇宙的“莱特科因”。>> “莱特科因”。>> 从这一点出发，光所能触及的宇宙每一个角落。也就是说，任何你能触及的东西，你都想要攫取并纳入自己的掌控。你认为萨姆·阿尔特曼想掌控宇宙的每一个角落吗？我>> 我怀疑他可能有这个想法。是的。>> 这并不意味着他不希望这项技术能带来有益的副作用，让所有人类都幸福。幸福的人类有利于掌控。
如果非要你猜测2100年的世界会是怎样，那要么是人类不复存在，要么就是像我们这样的人完全无法理解。总之是这两种极端之一。所以，要么没有人类了。>> 基本上就是世界被毁灭了，要么就是世界变得如此不同，以至于我无法想象那些预测。>> 此时此刻，我们还能做些什么来让这艘船驶向一个更确定的积极结局？我们是否还有能力采取行动，还是已经为时已晚？
>> 所以我相信个人利益。如果人们意识到做这件事对他们个人来说真的很糟糕，他们就不会去做。所以我们的任务是，说服所有在这一领域拥有权力、正在为那些公司开发这项技术的人，他们正在做一些对自己非常有害的事情。别只顾着说“忘了我们这80亿被你未经允许、未经同意就拿来做实验的人吧”。你对结果不会满意的。如果我们能让所有人都明白这一点，并且这不只是我一个人的说法——杰夫·辛顿，诺贝尔奖得主、整个机器学习领域的奠基人，他也这么说。还有本吉奥，以及数十位其他顶尖学者。我们曾有一份关于人工智能危险的声明，由数千名学者和计算机科学家共同签署。这基本上就是我们目前的看法。而我们需要让这种看法成为普遍共识，不应该有人对此持不同意见。然后我们或许才能就到底要开发什么技术做出正确的决定。这并不能保证人类在长期内的安全，但至少意味着我们不会急于奔向最坏的可能结果。那么，你是否对这种可能性抱有希望呢？
>> 我想试试。我们除了尝试别无选择。>> 那么需要发生什么？谁需要采取行动？是政府立法吗？是……>> 不幸的是，我认为仅仅将其定为非法是不够的。司法管辖区各不相同，而且总会有漏洞。如果有人真的这么做了，你又能怎么办呢？你会因为“毁灭人类”的罪名去追查他们吗？对他们处以巨额罚款？你到底能做什么？这根本执行不了。
如果他们真的创造出了超级智能，那掌控权就交到它手里了。而我们现有的司法体系根本起不到作用。我们所有的惩罚措施都是为惩罚人类而设计的。监狱、死刑，这些都不适用于人工智能。你知道，我每次进行这类对话时，最大的问题就是，我从来不会觉得离开时能对事情的好转抱有希望。我的意思是，我从来不会觉得自己能带着一些明确的行动方案离开，而这些方案能够纠正这里可能发生的状况。
>> 那么我该怎么办？那些坐在家中收听这段对话的人该怎么做？>> 你应该和许多正在开发这项技术的人交谈。>> 嗯。请他们确切地解释一下，那些他们声称不可能实现的事情，他们是如何解决的，或者在达到目标之前打算如何解决。>> 你知道？我不觉得萨姆·奥特曼想和我谈。>> 我不知道。他似乎上了很多播客节目。也许他会吧。
>> 他想上线。我很好奇这是为什么。我很好奇这是为什么。我很想和他谈谈，但我不……我不觉得他想……我不觉得他想让我采访他。>> 发起一个公开挑战。也许金钱不是激励因素，但无论是什么能吸引到那样的人。谁能说服你，控制并确保超级智能的安全是可能的，谁就能赢得奖励。他们可以上你的节目，证明自己的观点。任何人。如果几年后仍没有人认领奖金，甚至没有人接受挑战，那也许我们就找不到任何有解决方案的人了。我们有一些公司，估值又是数十亿、数百亿美元，它们正在研究安全的超级智能。我们还没有看到它们的成果。
>> 是的，我也想和伊利亚谈谈，因为我知道他正在研究安全的超级智能。所以……>> 你也注意到一个规律。如果你看看人工智能安全组织或公司内部相关部门的历史，它们通常一开始雄心勃勃，但后来都失败了，消失了。比如，OpenAI 曾有一个超级智能对齐团队。他们宣布成立的那天，我记得他们说要在 4 年内解决这个问题。结果半年后，他们就解散了那个团队。类似的例子还有几十个。要为超级智能创造完美的安全性——在它不断自我改进、修改、与人互动的过程中实现永久安全——你永远也达不到那个目标。这是不可能的。
计算机科学中的难题、可解问题与不可能问题之间，存在着巨大区别。而我认为，对超级智能进行无限期的控制，正是这类问题。>> 那如果它是不可能的，尝试又有什么意义呢？嗯，我正是要证明这一点：一旦我们确定某件事是不可能的，就会少一些人浪费时间去声称自己能做到，并为此寻找资金。很多人都在说：“给我十亿美元，两年内我就帮你解决。”嗯，我不认为你真能解决。
>> 但人们不会停止为此努力。所以，如果没人尝试让它变得安全，而越来越多的人却朝着这个目标努力，那么结果就不可避免。>> 但这会改变我们的做法。如果我们知道让它正确、让它安全是不可能的，那么那种“只要能建就赶紧建”的直接路径，就成了一项自杀式任务。希望会有更少的人去走这条路，他们可能会转向其他方向。比如……我是一名科学家、一名工程师，我热爱人工智能，热爱技术，我每天都在使用它们。去制造有用的工具，别再制造智能体，去制造狭义的超级智能，而不是通用智能。我不是说你不该赚几十亿美元——我也喜欢几十亿美元。但是……别把所有人都害死，包括你自己。
>> 但他们并不认为自己会这么做。 >> 那告诉我们为什么。我听到一些关于直觉的说法，也听到一些“我们以后再解决”的说法。请用科学术语具体告诉我。发表一篇同行评审的论文，解释你们将如何控制超级智能。 >> 是的，这很奇怪。即使人类灭绝的可能性只有1%，去采取这样的行动似乎也很奇怪。如果有人告诉我，我坐进车里就有1%的可能活不下来，我就不会坐那辆车。如果你告诉我，我现在喝下这个杯子里的任何液体，就有1%的可能死亡，我也不会喝。哪怕如果我活下来就能得到十亿美元。也就是说，99%的可能我能得到十亿美元，而1%的可能我会死。我也不会喝。我不会冒这个险。
>> 情况比这更糟。不只是你一个人死，所有人都死。 >> 是的。是的。 >> 那么，无论风险多大，我们是否应该让你喝下它？那是由我们来决定的。你不能替我们做这个选择。要获得受试者的同意，他们需要理解自己同意的是什么。如果这些系统无法解释、无法预测，他们又怎么能同意呢？他们根本不知道自己同意的是什么。所以，从定义上来说，就不可能获得同意。因此，这项实验永远无法在合乎伦理的情况下进行。从定义上讲，他们就是在对人类受试者进行不道德的实验。
>> 你认为人们应该抗议吗？ >> 已经有人在抗议了。有“停止人工智能”组织，也有“暂停人工智能”组织。他们封锁OpenAI的办公室，每周、每月都会采取行动，而且还在招募新成员。 >> 你认为应该让更多人参与抗议吗？你认为这是一种有效的解决方案吗？ >> 如果抗议能发展到足够大的规模，让大多数民众都参与进来，那就会产生影响。我不知道他们能否从目前的人数发展到那个规模。但呃，我支持每个人以和平、合法的方式尝试一切可能的方法。
>> 那么，对于正在家听这段对话的人，他们应该做些什么呢？因为他们不想感到无能为力。我们谁都不想感到无能为力。 >> 这取决于我们讨论的时间尺度。是说像今年你孩子要上大学了，该选什么专业？他们到底该不该上大学？ >> 是的。 >> 你应该换工作吗？你应该进入某些行业吗？这些问题我们都能回答。我们可以谈谈迫在眉睫的未来。对于一个普通人来说，面对这项技术的出现，5年内该怎么做？其实没太多可做的。就像他们无法影响第二次世界大战、核武器、大屠杀这类事情一样。
这根本不会有人去问他们。如今，如果你想成为这场运动的一员，是的，那就加入 POSAI，加入“停止人工智能”组织吧。这些组织目前正在努力积蓄力量，将民主的力量引入其中，以影响那些掌权者。所以短期内，影响不会太大。我想知道短期内有没有什么有趣的策略。比如，我是不是应该换一种方式来思考我的家庭？我的意思是，你也有孩子，对吧？据我所知，你有三个孩子。是的。
>> 三个孩子。>> 面对你眼中即将到来的这个世界，你是怎么思考为人父母的？你会怎么考虑该对孩子说什么、给他们什么建议、他们应该学些什么？>> 嗯，有一些放之四海而皆准的建议，那就是要像生命的最后一天那样去过好每一天。无论怎样，这都是个好建议。不管你只剩下三年，还是还有三十年，你都应该活出最精彩的人生。所以，尽量不要长时间做自己讨厌的事情。
要做些有趣的事，做些能产生影响的事。如果能在帮助他人的同时做到这些就更好了。模拟理论是这里一个很有趣的、相关的话题，因为随着计算机开始加速发展、变得越来越智能，我们能够利用人工智能做一些以前完全无法想象的事情，比如想象我们能通过虚拟现实创造出怎样的世界。我记得好像是谷歌最近发布了一个东西，叫什么来着？嗯，好像是“AI 世界”。
>> 你拍一张照片，它就能生成一个完整的世界。>> 没错。而且你可以在那个世界里移动。我会把它投到屏幕上给大家看看。谷歌发布了这项技术，我想其实只要一个简单的提示，就能创建一个三维世界，然后你可以在里面穿行。而且那个世界是有记忆的。所以，如果你在那个世界里在墙上画了东西，然后转过身再转回来，墙上 >> 的痕迹还在。>> 是的，它会保留下来。当我看到那个时，我心想，天哪，这简直 >> 这就像是能够创造出一个与我眼前所见的一切别无二致的模拟世界的第一步。
>> 没错。所以我认为我们就身处一个模拟之中。这正是人工智能能够达到创造人类智能体、也就是人类级别智能体的水平，而虚拟现实也能够达到与我们的现实世界别无二致的水平的原因。>> 那么，你认为这是一个模拟？>> 我相当确定我们生活在一个模拟之中。是的。>> 对于那些不熟悉模拟论证的人来说，是哪些基本原则让你确信我们目前正生活在一个模拟里？
>> 所以，你需要某些技术才能实现这一点。如果你相信我们能够创造出达到人类水平的 AI，>> 是的，>> 并且你相信我们能够创造出在分辨率、触觉反馈等任何属性上都和这个一样好的虚拟现实，那么我在此承诺，一旦这项技术变得负担得起，我就会运行数十亿次对此时此刻的模拟，确保你从统计学上讲正身处其中一次。>> 你再说一遍最后那句话。你要运行，你要运行……>> 我现在就承诺，而且这非常便宜。运行它大概每月只需 10 美元。我要对这次访谈运行十亿次模拟。
>> 为什么？>> 因为从统计学上讲，这意味着你现在就身处其中一次。你身处真实世界中的概率是十亿分之一。>> 好的。那为了确保我理解清楚，>> 这是一种回溯性的安置。>> 是的。所以一旦技术变得负担得起，你就可以运行数十亿次模拟，它们的感觉和外观会和这次访谈完全一样。没错。所以，假设 AI 拥有内在状态、体验、感质——有些人认为它们没有，有些人则说它们已经有了。那是另一个哲学问题。但如果我们能模拟这一切，我就会去做。
>> 有些人可能会误解。你不是说“你会”去做，而是说“有人会”去做。我>> 我也可以做。我不介意。>> 好的。>> 当然，在我做到之前，别人早就这么做了。如果我花 10 美元就能用上，那可能早就有人花 1000 美元用上了。但这不是重点。只要有这项技术，我们肯定会为了研究、娱乐、游戏等各种原因运行大量的模拟。而这些模拟的数量，远远超过我们所处的真实世界的数量。看看孩子们玩的所有电子游戏吧。每个孩子都玩 10 款不同的游戏。你知道，全世界有几十亿孩子。所以，在一个真实世界里，就有 100 亿次模拟。嗯。
>> 当我们考虑到先进的 AI 超级智能系统时，情况更是如此。它们的思维方式与我们不同。它们的思考要细致得多，会进行各种实验。因此，在创造人造人类和模拟整个星球的层面上，对某个问题进行详细的模拟，会是它们会常规性做的事情。所以，很可能这并不是我花 10 美元在做这件事，而是一次未来的模拟正在思考这个世界上的某个问题。嗯。
所以，有可能某个物种的人类，或者某种形式的智能生命，已经发展到能够以可负担的成本运行模拟程序的程度，而这些模拟程序与真实世界别无二致。他们决定这么做，而我们现在所处的就是这个模拟世界。他们之所以运行这些模拟，可能是为了做实验、玩游戏或者寻求娱乐。而且，当我们思考我现在所处的这个模拟世界中的时间时，时间感觉上相当漫长——你知道，我的一天有24小时，但在他们的世界里，时间可能是>>相对的。
>> 是的，是相对的，可能只是一秒钟。我的一生在他们那里可能只有一毫秒。>> 没错。你当然可以改变正在运行的模拟程序的速度。所以你的观点是，这很可能是一个模拟世界？>> 很有可能，而且很多人对此都持相同看法。如果你再看看宗教，基本上每种宗教都在描述一个超级智能的存在、一位工程师、一位程序员，为了测试或其他目的创造了一个虚假的世界。但如果你拿着关于模拟假说的论文，走进丛林，和当地一个原始部落的人交谈，用他们的语言向他们讲述这个假说。
再过两代人之后，他们就会形成宗教。这基本上就是故事的走向。>> 宗教。是的。它描述的就是这个模拟理论。基本上就是有人创造了这个世界。>> 所以，这默认成了我们最初的理论。而现在随着科学的发展，越来越多的人开始认为，这个假说具有不容忽视的可能性。有少数人和我一样持高概率看法，但很多人也认为它有一定可信度。>> 就我们相信目前生活在模拟世界中的可能性而言，你的判断是多少？
>> 几乎可以确定。>> 那这对你的生活意味着什么？如果你几乎100%确定我们现在生活在模拟世界中，这是否改变了你生活中的任何事情？>> 你所关心的一切其实都还是一样的。痛苦依然会带来痛感，爱依然是爱，对吧？这些事情并没有不同。所以这并不重要，它们依然很重要，而这才是关键所在。那1%的差异在于，我开始关心模拟世界之外的东西。我想去了解它，我写了相关论文。所以这就是唯一的影响。
>> 那你认为模拟世界之外是什么？>> 我不知道。但我们可以观察这个世界，从而推断出模拟者的一些特征。显然，他们是非常出色的工程师、科学家、艺术家，但在道德和伦理方面却不太行。>> 在我们看来，道德和伦理还有改进的空间。>> 嗯，我们知道世界上存在苦难。所以，除非你认为折磨儿童是合乎道德的，否则我就要质疑你的立场了。
>> 但就创造积极激励而言，你可能也需要创造消极激励。痛苦似乎是我们设计中内置的消极激励之一，用来阻止我做那些不该做的事。比如，把手伸进火里，会很痛。>> 但这都关乎程度，痛苦的程度，对吧？所以，令人不快的刺激、负面反馈，不一定非得达到地狱般的无穷负面程度。你不想被活活烧死并感受到那种痛苦。
你希望的是那种“哦，这很不舒服，我得停下来”的感觉。这很有趣，因为我们通常认为动物没有很好的道德和伦理观念，但我们自己也会把动物宰了做成晚餐吃掉，我们也会在老鼠和白鼠身上做实验。>> 但要想获得大学批准进行实验，你得提交一份提案，然后会有一群伦理学家来裁定：你不能在人体上做实验，你不能烧婴儿，你不能活吃动物——在大多数设有伦理委员会的地方，这些行为都是被禁止的。
>> 是的。>> 有些地方则不费这个劲，所以他们的审批流程更简单。>> 当你谈论模拟理论时，对话中总有一个元素会以一种奇怪的方式让人觉得生活失去了意义。就好像……我知道这并不重要，但每当我跟播客以外的人聊起“我们是否生活在模拟中”这个话题时，你几乎能看到他们生活中的意义感短暂地浮现一下，然后他们又忘了，继续过自己的生活。但“这是一场模拟”这个想法，几乎暗示着这一切并不重要。或者我认为，人类总想相信，我们正处于最高层级，我们最重要，一切都以我们为中心。从本质上说，我们相当自以为是。
而且我有个有趣的观察，每当我跟别人进行这类对话时，似乎都会从他们的生活中剥离掉一些东西。>> 你觉得有宗教信仰的人会这样吗？他们知道还有另一个世界，而那个世界才是重要的。你觉得他们不会同样珍视自己的生命吗？我想在某些宗教中，>> 我认为……他们认为这个世界是为他们创造的，他们终将去往天堂或地狱，这仍然让他们处于世界的中心。但……如果这是一场模拟，你知道，我们可能只是某个四岁外星人在有空消磨时间时随便玩弄的一款电脑游戏而已。
>> 不过也许，你知道的，存在某种测试，也有模拟效果更好的和更差的版本。也许还有不同的难度等级。也许下次你想在更高的难度下玩。 >> 我刚在这上面投入了数百万，并成为这家公司的联合创始人。这家公司叫 Ketone IQ。背后的故事还挺有意思的。我开始在这个播客里谈论生酮状态，以及我本人几乎不吃碳水化合物、糖分摄入极低的事实。我的身体会产生酮体，这让我变得异常专注，增强了耐力，改善了情绪，也让我更有能力做好现在的工作。因为我在这个播客里聊到了这些，几周后，这些小瓶装的饮品就出现在我伦敦总部的办公桌上了。
天哪，它对我的表达能力、专注力、锻炼效果、情绪状态，以及防止我白天精力崩溃的影响都极其显著。于是我联系了这家公司的创始人，现在我成了这家企业的联合创始人。我强烈推荐大家了解一下这个产品。我强烈建议大家去研究一下产品背后的科学原理。如果你想亲自试试，请访问 ketone.com/stephven，订阅订单可享七折优惠。第二次发货时你还会收到一份免费赠品。网址是 ketone.com/stephven。
我很荣幸，又有一家我拥有的公司能为我的播客赞助。我曾从零开始创办过公司，也投资支持过更多公司。我发现早期创业者身上总存在一个盲点：他们花在思考人力资源问题上的时间少得可怜。这并不是因为他们鲁莽或不在乎，而是因为他们一心只想把公司建立起来。对此我完全能理解。在那个阶段，你考虑的是产品、如何吸引新客户、如何壮大团队，说到底，是如何生存下去。而人力资源问题因此被排到了后面，因为它看起来并不紧迫。但迟早，它都会变得紧迫。而当事情变得一团糟时，像我们今天赞助商 Just Works 这样的工具，就会从“可有可无”变成“必不可少”。一旦出了岔子，你就会发现自己不得不进行一些完全没预料到的谈话。
这时你才会意识到，人力资源其实才是公司的基础设施，没有它，公司就会摇摇欲坠。而 Just Works 能避免你通过惨痛的教训来认识这一点。它能处理那些原本会耗尽你精力和时间的琐事，比如自动处理薪资、健康保险福利等，还能为你的团队提供全天候的人力支持。它能随着你的小企业共同成长，从初创阶段一路发展到扩张阶段，即使你开始招聘海外的团队成员也没问题。所以，如果你想在顺境和逆境中都能获得人力资源支持，现在就访问 justworks.com。网址就是 justworks.com。
那你有没有经常思考长寿这个问题？>> 经常想。是的。这可能是第二重要的问题，因为如果人工智能不会要了我们的命，那衰老就会。>> 你是什么意思？>> 你会老死。>> 这也没什么不好。>> 那可不好。你想死吗？>> 我的意思是，>> 你不必死。这不过是一种疾病而已。我们可以治愈它。只要宇宙还存在，就没有什么能阻止你永生。除非我们逃离这个模拟世界。>> 但我们不会想要一个所有人都能永生的世界，对吧？
那样的话就>> 当然，我们想要。为什么？你希望谁去死？>> 嗯，我不知道。我的意思是，我之所以这么说，是因为我所知道的一切就是人都会死。但如果>> 不会的，如果你能永生，就不会再繁殖了。你之所以生孩子，是因为你需要一个能替代你的人。但如果你能永生，你就会想，我百万年后再要孩子好了。那挺酷的。我先去探索宇宙再说。而且，如果你看看除单个大陆之外的实际人口动态，我们的人口其实都在减少，并没有增长。
>> 是的。这太不可思议了。人们越富有，生的孩子就越少，这和你说的情况一致。而且，如果我要完全坦诚地说，我确实认为，如果我知道自己能活到一千岁，我绝对不可能在30岁就生孩子。>> 没错。完全正确。生物钟是基于生命终点的。而如果你的生物钟是无限的，你就会觉得，反正还有一天时间。
>> 那你觉得我们接近实现延长寿命了吗？>> 只差一次突破了。我认为我们的基因组中，存在某种自我 rejuvenation 的循环机制，它被设定为最多让我们活到120岁。我觉得我们可以把它重置到一个更高的数值。>> 人工智能很可能会加速这一进程。>> 这正是它非常重要的一个应用领域。是的，绝对如此。>> 所以，也许布莱恩·约翰逊说得对，他说“现在可别死”。他一直跟我说，就像“现在可别死”这样的话。
>> 永远不要死。>> 但你知道，他的意思大概是，在我们掌握那项技术之前，千万别死掉，>> 对吧？也就是“长寿逃逸速度”。你想活得足够久，以便永远活下去。如果在某个时刻，我们通过医学突破，让你每活一年就能额外增加两年的寿命，那你就等于永远活下去了。你只需要达到那个“长寿逃逸速度”的临界点就行。他认为，尤其是在人工智能的世界里，实现“长寿逃逸速度”至少还需要几十年的时间，这意味着>> 一旦我们完全理解人类基因组，我想我们很快就会取得惊人的突破，因为我们知道有些人天生就拥有能让人活得更长的基因。我们已经有好几代人都活到了百岁高龄。所以，如果我们能理解这一点，并把它复制下来，或者从某些能永生动物身上复制过来，我们就能实现目标。
>> 你想永远活下去吗？>> 当然想。把问题反过来问吧。假设我们能永远活下去，然后你问我：“你想在40年后死掉吗？”我为什么要说想呢？>> 我不知道。也许>> 你只是习惯了默认选项。>> 是啊，我确实习惯了默认选项。>> 而且没人想死。不管你多大年纪，都没人会跑来说：“是啊，我今年就想死。”每个人都会说：“哦，我还想继续活下去。”>> 我想知道，如果我活上1万年，生命和所有事情会不会就没那么特别了。我想知道，第一次去夏威夷旅行，或者一段感情，所有这些事情，如果它们不再那么稀缺，对我来说是不是就没那么特别了。>> 也许对个人来说，它们确实没那么特别了，但现在你能做的事情要多得多。你现在只能计划做某件事一二十年，但你没法制定一个雄心勃勃的计划，说我要在这个项目上工作500年。想象一下，在无限的时间里，在无限的宇宙中，会有多少可能性向你敞开。
天哪。>> 嗯，这>> 感觉会很累人。>> 那是一段很长的时间。而且，我不知道你怎么样，反正我不记得自己人生中99%的细节。我只记得一些重要的亮点。所以，就算10年前我很喜欢夏威夷，我再次去的时候还是会喜欢。>> 你是在非常实际地思考这个问题吗？就像布莱恩·约翰逊那样。布莱恩·约翰逊坚信，我们大概还有20年左右的时间就能实现延长寿命。你是在实际地考虑这件事吗？你有没有为此做些什么？
>> 饮食、营养。我试着思考那些百万年后才能产生回报的投资策略。是的。 >> 真的吗？ >> 是的。当然。 >> 你是什么意思？当然。当然。 >> 为什么不呢？如果你认为事情会朝那个方向发展，你就应该那样做。所以，如果我们现在发展人工智能，经济会怎么样？我们谈过世界币，谈过免费劳动力。钱是什么？现在是比特币吗？你会投资那个吗？还是会有其他东西成为我们唯一无法伪造的资源？所以，这些都是非常重要的研究课题。
>> 所以你在投资比特币，对吧？ >> 是的， >> 因为它是 >> 它是唯一稀缺的资源。其他任何东西都不具备稀缺性。其他任何东西，只要价格上涨，就会有人生产更多。只要价格合适，我可以生产出你想要的任何数量的黄金。但你无法生产出更多的比特币。有人说比特币不过是我们大家都同意它有价值的电脑上的一个东西。 >> 我们本身就是电脑上的一个东西，还记得吗？ >> 好的。所以，我的意思是，这既不是投资建议，又是投资建议。
>> 这很有趣，这就是那种他们告诉你不是，但你立刻就知道是的的事情。有一句“您的来电对我们很重要”，那其实意味着您的来电毫无重要性。投资就是这样。 >> 是的。是的。当他们说“不是投资建议”时，那绝对是投资建议。嗯，但它又不是投资建议。好的。所以你之所以看好比特币，是因为它无法被篡改。 >> 它是唯一我们知道宇宙中究竟有多少的东西。至于黄金，可能会有一个纯金制成的小行星朝我们飞来，让它贬值——当然也会把我们所有人都杀死。但比特币，我确切地知道它的数量，而且2100万只是一个上限。
有多少比特币丢失了？密码被遗忘了。我不知道中本聪正在用他那百万个比特币做些什么。随着越来越多的人试图囤积它，它正变得越来越稀缺。 >> 有些人担心它可能会被超级计算机破解。 >> 量子计算机可以破解那个算法。对此，已经有转向抗量子加密的策略了。而且量子计算机目前还比较弱。你觉得在这次谈话之后，我的生活应该做出什么改变吗？我走出这扇门的那一刻起，有什么事情我应该做得不一样吗？
>> 我猜你已经大量投资了比特币。 >> 是的，我是一名比特币投资者。 >> 关于商业财务的建议。呃，不是。只是你看起来好像很成功。也许这只是你的模拟人生。你富有、帅气，还有名人跟你一起玩。这已经相当不错了。继续保持。罗宾·汉森有一篇论文，讲的是如何在模拟人生中生活，以及你应该在其中做些什么。而你的目标就是完全照做。你想让自己变得有趣。你想和名人交往，这样他们才不会关掉这个模拟。所以你成了某个真实存在的人付费观看节目时关注的一部分。
>> 哦，我不知道你是不是真的想被付费观看，因为那样的话就没什么意思了。 >> 那样他们就会关掉你。如果没人观看，他们为什么要继续播放呢？ >> 我的意思是，你难道不想保持低调吗？你难道不想成为那个过着普通生活、不被“造物主”注意的人吗？ >> 那些都是NPC。没人想成为NPC。 >> 你有宗教信仰吗？ >> 不是以传统意义上的那种，但我相信模拟假说，这个假说认为存在一个超级智能的存有。所以，>> 但你并不相信那些宗教典籍。
>> 所以不同的宗教。这个宗教会告诉你周六不要工作。那个宗教则说周日不要工作，不要吃猪肉，不要吃牛肉。它们只是在上述理论的基础上，加上了一些地方传统。仅此而已。它们其实都是同一个宗教。它们都崇拜一个超级智能的存有。它们都认为这个世界并非主世界。而它们争论的只是哪种动物不该吃。抛开那些地方特色，专注于所有宗教的共同点。
而这正是有趣的地方。它们都认为存在某种比人类更伟大的存在。能力超群、全知全能。然后我运行一个电脑游戏。游戏里有四个这样的角色。我就是那个可以改变整个世界的人。我可以关掉它。我了解那个世界里的一切。 >> 这很有趣。当我们刚开始讨论模拟理论时，我就在想，我们体内可能天生就残留着造物主留下的某种东西，就像一个线索，一种直觉，因为纵观历史，我们似乎一直都有这种直觉。
人类确实有这种直觉。 >> 是的。 >> 你所说的一切都是真的。确实有某个更高级的存在，而且 >> 我们有好几代人都信奉宗教，他们相信上帝曾与他们同在，并赐予他们典籍，而这些信仰已经传承了很多代。我们这一代可能是最早没有普遍宗教信仰的一代了。 >> 真想知道那些人说的是不是真的。我想知道那些声称上帝曾降临并与他们交谈的人，他们说的是否属实。想象一下。想象如果这本身就是模拟的一部分。
>> 我今天在看新闻。一小时前发生了一件事，但我得到的消息却相互矛盾。我甚至没法通过摄像头、无人机，或者像推特上那个家伙发来的信息来确认。我还是不知道到底发生了什么。而你想，3000年前我们能有准确的记录吗？当然没有。>> 你知道，关于人工智能安全的那些对话，你觉得它们能让人感觉好吗？>> 我不知道人们是感觉好还是不好，但大家觉得这个话题很有趣。它就是那种话题之一。所以，我可以和一个普通人聊聊癌症的各种疗法，但每个人对人工智能都有自己的看法，每个人对模拟理论也都有自己的看法。有趣的是，你并不需要受过高等教育或天资聪颖才能理解这些概念。
§03文稿 — 第 3 部分
>> 因为我总觉得这类话题让我感觉不太好。我明白这一点，但我一直认为，人不该活在一个充满幻想的世界里，一味地追求积极心态，只听好话，回避那些令人不适的对话。实际上，我人生中的进步往往来自那些令人不适的对话——意识到某些事情，然后至少了解我能做些什么。所以，我想这就是我问这个问题的原因。我猜想，如果大多数人——也就是正常的人类——听到这些对话，他们会想：天哪，这太可怕了，太令人担忧了。然后我就会不断回到这一点：我该拿这股情绪怎么办呢？
>> 是的。但我想指出的是，这和我们可以谈论的许多其他话题并无不同。哦，这个地区有饥荒，那个地区有种族灭绝，大家都在死去，癌症在蔓延，自闭症病例在增加。你总能找到一些让人极度沮丧的事情，而你对此又无能为力。但我们很擅长专注于那些我们能改变的事情，我们擅长的事情，而基本上不试图把整个世界都当作自己的小环境来接纳。从历史上看，你是在一个部落里长大的，身边只有十几个人。如果其中一个人出了事，那非常罕见，那纯属意外。但现在，只要我上网，就会发现到处都有人不断死去。不知何故，每天都有成千上万的人出事被报道给我，我甚至都来不及注意到。
这实在太多了。所以我必须设置一些过滤机制。我认为这个话题正是人们非常擅长过滤的内容——就像我去参加了一场有趣的演讲，它就像一场表演，我一离开，表演就结束了。通常我会去某个会议上做主旨演讲，然后我会告诉大家：你们所有人都快死了，只剩下两年时间了，还有什么问题吗？而人们会问：我会失业吗？该怎么给我的性机器人润滑？诸如此类各种荒谬的问题，显然他们完全没理解我想表达的意思。这些问题虽然不错，也很有趣，但他们并没有真正接受其结果，仍然困在自己的“局部与全局”的泡泡里。>> 在人工智能安全方面，那些最不同意你观点的人通常会说些什么？他们常见的反驳论点是什么？>> 很多人根本不会参与讨论，因为他们对这个主题毫无背景知识。他们从未读过任何一本书、任何一篇论文——不只是我的，而是任何人的。
他们甚至可能就在相关领域工作。比如，他们为某家公司做一些机器学习方面的工作，目标是最大化广告点击量。对他们来说，那些系统都非常局限。然后他们听到有人说：“哦，这家伙要接管世界了。”在他们看来，这简直是无稽之谈。它连手都没有，要怎么接管世界？这太荒谬了。这人疯了，还留着胡子，我为什么要听他的？对吧？然后，他们开始稍微读一点资料，心想：“哦，好吧。也许人工智能确实有危险。嗯，我能理解。但过去我们总能解决问题，这次也一定能解决。毕竟，我们以前也修复过计算机病毒之类的东西，所以这也是一样的。”基本上，他们接触得越多，就越不可能坚持原来的立场。我认识很多人，他们从超级马虎的开发者转变成了安全研究员。但我没见过有谁是从“我担心人工智能安全”变成“根本没什么好担心的”这种态度的。
>> 您有什么结束语吗？>> 呃，我想我们不需要为人类准备什么结束语。我们要确保自己仍然掌握主导权和控制权。我们要确保只建造对我们有益的东西。我们要确保做出这些决策的人具备最起码的资格——他们不仅要擅长科学、工程和商业，还要有道德和伦理标准。而且，如果你做的事情会影响到其他人，那么在行动之前你应该征求他们的同意。如果现在你面前有一个按钮，按下它就能永久关闭全球所有的人工智能公司，而且任何人都无法再创办新的公司，你会按下这个按钮吗？
>> 我们是在失去狭义人工智能，还是仅仅失去超级智能的通用人工智能？ >> 我们是在失去整个人工智能。 >> 这是个很难回答的问题，因为人工智能极其重要。它控制着股票市场、发电厂，也控制着医院。这将是一场灾难性的事故，数百万人将因此丧生。 >> 好的，我们可以保留狭义人工智能。 >> 哦，是的，这正是我们想要的。我们希望狭义人工智能为我们完成所有这些工作，但天啊，我们可不想让它反过来对我们做些什么。 >> 所以你会阻止它。你会阻止通用人工智能和超级智能的发展。
>> 我们已经有了通用人工智能。如今我们拥有的技术几乎在所有方面都非常出色。我们可以用它来充当秘书。当前技术所蕴含的99%的经济潜力尚未被开发出来。我们开发人工智能的速度太快，以至于它还没来得及在整个行业和现有技术中普及开来。大约一半的工作都被认为是毫无意义的工作，根本不需要完成。所以这些工作甚至都不需要被自动化，它们可以直接消失。但我想说的是，我们今天就能用现有的模型取代60%的工作岗位。
我们还没做到那一步。所以，如果目标是发展经济、促进增长，我们可以在几十年内实现这一目标，而无需尽快创造出超级智能。 >> 你认为全球范围内，尤其是西方国家，失业率只会从目前的水平继续上升吗？你认为目前的失业率已经处于低谷了吗？ >> 我的意思是，失业率会随着其他因素而大幅波动。有战争，有经济周期，但总体而言，你自动化的工作越多，从事某项工作所需的智力门槛就越高，符合条件的人就越少。
所以，如果我们在图表上绘制未来20年的趋势，你是不是认为失业率会在这段时间内逐渐上升？ >> 我认为是的。能够做出贡献的人会越来越少。我们对此其实有所理解，因为我们设立了最低工资。我们明白，有些人创造的经济价值不足以让他们获得报酬。所以我们不得不强制雇主支付给他们高于其实际价值的工资。 >> 嗯。 >> 而我们至今没有调整过最低工资标准。在美国，联邦最低工资标准是7.25美元。如果按照经济发展水平来调整，现在应该大约是每小时25美元。这意味着，所有收入低于这个水平的人，其创造的经济产出并不足以证明他们所获得的报酬。
>> 我们这个播客有一个传统，最后一位嘉宾会为下一位嘉宾留下一个问题，而他自己并不知道下一位是谁。为你留下的问题是：对于朋友、同事或伴侣而言，最重要的品质是什么？ >> 这些都是完全不同类型的人。 >> 但对于所有这些人来说，忠诚都是第一位的。 >> 那么，忠诚对你来说意味着什么？ >> 就是不背叛你，不坑害你，不出轨。
尽管存在诱惑，>> 尽管世界就是现在这个样子，无论是处境还是环境。>> 罗曼博士，非常感谢您。非常感谢您所做的一切，因为您正在开启一场对话，推动这场对话，并进行着极其重要的研究。而您是在面对众多、嗯，众多持怀疑态度的人的情况下这么做的。我想说，有很多人有很多动机去诋毁您所说的和您所做的，因为他们有自己的利益考量，他们有成百上千万美元的利益在其中，甚至可能还有他们的工作。所以，真的非常重要的是，世上仍有人愿意，我猜，把头探出掩体，参加像这样的节目，登上大型平台，谈论我们正走向的那个无法解释、无法预测、无法控制的未来。所以，感谢您这样做。
这本书，我想如果各位想继续这场对话，都应该去看看。我记得它是在2024年出版的，它对我们今天谈到的许多问题都给出了一个全面的看法。嗯，包括如何防止人工智能失灵等等诸多内容。我会把链接放在下方，供任何想阅读的人参考。如果人们想从您这里了解更多信息，想更深入地了解您的研究，那他们最好的方式是什么呢？
他们该去哪里找您？>> 他们可以关注我。在Facebook上关注我，在X上关注我。就是别跟踪我回家。这一点非常重要。>> 跟踪您回家。好的。好的，那我会把您的Twitter，也就是您的X账号也放在下方，这样大家就可以在那里关注您了。是的，非常感谢您所做的一切。这真的让我大开眼界，给了我很多思考的素材。它其实更加坚定了我的一个想法，那就是我们生活在一个模拟世界中。但与此同时，它也让我对宗教有了截然不同的看法，我必须这么说。因为，嗯，您说得对，所有的宗教，当你抛开那些地方性的传统之后，它们其实都指向同一个方向。而如果它们都指向同一个方向，那么其中共有的那些根本真理，或许就更值得我关注了，比如爱你的邻人，比如我们所有人都是一体的，比如存在一位神圣的创造者，而且它们似乎也都指向了今生之外的某种后果。所以，也许我应该更多地思考，我今生该如何行事，以及我死后可能会去往何处。罗曼，谢谢您。
>> 阿门。[音乐] [音乐]