Roman Yampolskiy: 最多回放片段：AI安全专家预测未来20年！AI真的会抢走所有工作吗？
Most Replayed Moment: AI Safety Expert Predicts The Next 20 Years! Will It Really Take All Jobs?
Guests: Roman Yampolskiy
Full transcript · Read the full conversation in order, with its original context.
Contents1 chapter
§01文字实录：第1部分§01文字实录：第1部分
你说这话的时候，肯定会听到很多反驳吧。因为当人们听说自己的工作、自己的职业、自己拿学位的专业、自己投入了10万美元的东西将被夺走时，心理上会非常不舒服。所以有些人的本能反应就是那种认知失调：不，你错了，AI不可能有创造力，不是那么回事，它永远不会对我的工作感兴趣，我会没事的。这类说法你总能听到，对吧？
这真挺好笑的。我会问别人，问不同职业的人。我会问我的优步司机：你担心自动驾驶汽车吗？他们会说：不会，没人能做我做的事，我熟悉纽约的街道，我认路的本事没有哪个AI比得上，我很安全。任何职业都是这样。教授们也这么跟我说：没人能像我这样讲课，我这个太特别了。但你明白这很荒谬，我们已经有自动驾驶汽车在取代司机了。
这根本不是能不能的问题，而是你还有多久会被解雇。是啊，我昨天刚在洛杉矶，我的车能自己开。我上车就坐着，输入想去的地方，然后完全不碰方向盘，也不碰刹车踏板，它就把我从A点送到B点，哪怕是一小时的车程，也完全不需要任何干预。其实最后停车还是我自己来，但除此之外，我完全不用开车。
我当时人在洛杉矶，那边现在还有Waymo，就是你在手机上叫车，车开过来，里面没有司机，把你送到你想去的地方。所以很容易看出，对那些人来说，这可能只是时间问题。因为现在收听这段对话的人里，确实有一些人就是以开车为业的。想给他们一个……如果我没记错的话，我觉得驾驶是全世界从业人数最多的职业，我很确定它是全世界最大的职业。
你会对这些人说什么？他们该怎么安排自己的人生？应该重新培训、去学点什么吗？在什么时间范围内？这正是这里的范式转变。以前我们总说，这份工作要被自动化了，去重新培训做别的工作吧。但如果我告诉你所有工作都会被自动化，那就没有B计划，你没法靠重新培训解决。看看计算机科学：两年前我们跟人说，去学编程吧；你是艺术家，赚不到钱，去学编程吧。然后我们意识到，哦，AI好像也会写代码，而且越来越好。那就去当提示词工程师吧，你可以为AI设计提示词，这会是份好工作，去读个四年制学位吧。可后来我们发现，AI给AI设计提示词比任何人类都强得多，所以这条路也没了。所以我现在真没法告诉你该学什么。眼下最难的是为实际应用设计AI智能体，而我敢保证，一两年内这个也会消失。所以我不认为存在那种「这个职业的人需要学这个、然后从这里起步」的答案。我觉得问题更像是：如果我们所有人都失业了，人类何去何从？我们该做什么？经济上怎么办，谁来养我们？在人生意义层面我们又该做什么，
我每周多出来的60到80个小时该干什么？你已经想过这之后会是什么样了，对吧？想过一点。在你看来，这之后会是什么？经济层面似乎还简单：如果你创造了大量免费劳动力，你就拥有大量免费的财富、物质丰裕，那些现在不太负担得起的东西会变得极其便宜，因此你可以满足每个人的基本需求。有些人说，你能提供的不止是基本需求，你可以让每个人都过上非常好的生活。
难的问题是，你拿那么多空闲时间做什么？对很多人来说，工作是赋予他们生活意义的东西，所以他们会有点迷失。我们在退休或提前退休的人身上就看到了这一点。而对那么多讨厌自己工作的人来说，不用工作他们会非常开心，但这样一来就有一大群人整天闲着。社会会变成什么样？这会对犯罪率、怀孕率以及各种问题产生什么影响？没人考虑这些，政府也没有准备好应对99%失业率的方案。
你觉得那个世界会是什么样？我认为这里非常重要的一点，是要理解它的不可预测性。我们无法预测一个比我们更聪明的系统会做什么，而我们到达那一点的时刻通常被称为奇点，这是借用物理学中奇点的类比。你看不到事件视界之外的东西。我可以告诉你我认为可能会发生什么，但那只是我的预测，并不是实际会发生的事，因为我根本没有足够的认知能力，去预测一个聪明得多的智能体会如何影响这个世界。再看看科幻作品，里面几乎没有真正在做事的超级智能，因为没人能写出那个层次、让人信服的科幻。
他们要么像《沙丘》那样禁止AI，因为这样就可以回避去写它；要么像《星球大战》那样，里面全是很笨的机器人，但从来没有超级智能的存在。因为按定义，你无法在那个层次上做出预测。因为既然它是超级智能，按定义它就会自己拿主意。按定义，如果它是你能预测的东西，那你就和它处在同一智能水平上，这就违背了我们「它比你聪明」的前提。如果我和超级智能下国际象棋，而我能预测它的每一步，那我就是在和它同一水平上下棋。
这有点像我的法国斗牛犬试图准确预测我在想什么、要做什么。这个认知差距的比喻很好。它能预测你去上班、你回家，但它无法理解你为什么在录播客，那完全在它的世界模型之外。它甚至不知道我是去上班。它只看到我出门，不知道我去哪儿。去给它买吃的呗。针对你这个观点，最有说服力的反方论点是什么？那就是：先进技术不会导致我们失业。
也就是不会出现这种法国斗牛犬和人类之间在理解上的差距，我想还有权力和控制上的差距。有些人认为我们可以增强人类的大脑，要么通过与硬件结合，比如Neuralink这类东西，要么通过基因工程，造出更聪明的人类。是的。这也许能让我们的智力提高一点。但我不认为生物形态的我们还能与硅基形态竞争。硅基底在承载智能方面能力强得多：它更快、更有韧性，在很多方面也更节能。也就是计算机所用的材料，相对于大脑而言。是的。所以我不认为仅靠改进我们的生物机能就能跟得上。
有些人认为，我们或许可以把意识上传到计算机里，不过这非常具有推测性。也就是扫描你的大脑，复制一份你的大脑，在计算机上运行模拟，还可以加快它的速度，赋予它更多能力。但对我来说，那感觉就像你已经不存在了，我们只是用另一种方式创造了软件。现在你有了基于生物的AI，也有基于其他训练方式的AI。你可以用进化算法，通往AGI（通用人工智能）的路径可以有很多，但最终，它们都不是人类。我这里还有另一个年份，2030年。你对2030年的预测是什么？世界会是什么样子？
我们大概会拥有足够灵活、足够灵巧的人形机器人，能在所有领域与人类竞争，包括水管工。我们能造出人工水管工。连水管工都不放过啊，那感觉像是人类就业的最后堡垒了。所以到2030年，也就是五年后，会有人形机器人。这么多公司，包括特斯拉在内的领先公司，都在以光速开发人形机器人，而且它们越来越有效了。
这些人形机器人将能够在物理空间中移动，你知道，做个煎蛋卷，做任何人类能做的事，而且显然它们也会连接到AI，所以它们能思考、能说话。对，它们由AI控制，始终连着网络，所以在很多方面它们已经占据主导。当人形机器人真正可用且有效时，我们的世界会变得截然不同，因为那才是真正……你知道，我想说，智能和身体能力结合在一起，真的没给我们人类留下多少东西了，对吧？不多了。所以今天，如果你通过互联网拥有智能，你就可以雇人替你办事。你可以用比特币付钱给他们，这样你就拥有了身体，只是不直接控制它们。所以再加上对物理身体的直接控制，并不会带来巨大的颠覆。
智能才是关键。重要的组成部分无疑是更强的能力：优化、解决问题、发现人们看不到的规律。然后到2045年，我猜世界会变得更加……也就是20年后。如果世界还在的话。如果世界还在的话，雷·库兹韦尔预测那一年就是奇点到来之年，那一年进步会变得极其迅速。也就是说，这种从事科学和工程工作的AI改进得太快，我们再也跟不上了。这就是奇点的定义：超过这个点，我们就无法看清、理解和预测。是无法看清、理解、预测智能本身，还是世界上正在发生的事、正在开发的技术？比如现在，如果我有一部iPhone，我可以期待明年出新款，而且我能理解它的摄像头稍微好了一点。现在想象一下，研发这部手机的过程被自动化了，每六个月、每三个月、每个月、每周、每天、每小时、每分钟、每秒就出一代。你不可能跟上一天之内iPhone的30次迭代。你不知道它有什么能力、有什么属性、该怎么控制，这些全都超出了你的掌握。眼下，任何AI研究人员都很难
跟上最前沿的进展。就在我接受你这次采访的时候，又有新模型发布了，我已经不知道现在最前沿是什么了。每一天，按占全部知识的比例来算，我都在变笨。我知道的东西可能仍然更多，因为我一直在阅读，但按占全部知识的比例来说，我们都在变笨。再把它推到极端，你对周围的世界就是零知识、零理解。反对这种结局的一些论点是：看看其他技术，比如工业革命，人们总能找到新的工作方式，而且还创造出了在当时根本无法想象的新职业。
在超级智能的世界里，你怎么回应这种说法？这是范式转变。我们一直都有工具，新的工具让某些工作能做得更高效。于是原本需要10个工人，现在只需要两个，另外8个工人就得去找新工作。而当时也确实有别的工作，比如现在你可以去监督这个工人。但如果你创造的是一种元发明，你发明的是智能，你发明的是一个工人、一个智能体，那你就可以把这个智能体也用到新工作上。不存在无法被自动化的工作。这在以前从未发生过。我们以前所有的发明，都只是做某件事的工具。比如我们发明了火，这是巨大的颠覆，但也就到此为止了，它止步于火。
我们发明了轮子，道理一样，影响巨大，但轮子本身并不是发明者。而现在，我们正在发明人类心智的替代品，一个能够做出新发明的新发明者。这是我们需要做出的最后一项发明。到了那个时候，它就接管了。从事科学、做研究，甚至伦理研究、道德问题，到那时全部都会被自动化。你晚上睡得好吗？非常好。即使你过去15到20年都在研究AI安全，而它突然以一种我认为五年前没有人能预料到的方式来到了我们中间？说实话，“来到我们中间”，我是认真的：现在投入到更快实现超级智能上的资金和人才，让它感觉比我们任何人所能想象的都更加不可避免、来得更早。我们人类有一种与生俱来的偏向，就是不去想那些非常糟糕的结果，以及我们无法阻止的事情。其实我们所有人都终将死去。
你的孩子终将死去，你的父母终将死去，每个人都终将死去，但你依然睡得很好，依然照常过日子，就连95岁的老人也还在玩游戏、打高尔夫之类的。因为我们有这种能力，可以不去想最坏的结果，尤其是当我们实际上无法改变结果的时候。所以这件事上用的也是同一套机制。是的，存在一个人类层面的、类似死亡的事件，我们很可能恰好离它很近了，但除非我能对此做点什么，否则我可以继续享受我的生活。事实上，也许知道自己剩下的时间有限，反而让你更有理由把生活过得更好。你一点都不能浪费。
我想这是进化中的一种生存特质，因为我的祖先中那些把所有时间都花在担忧上的人，不会有足够的时间去生孩子、去打猎来存活下来。至于另一面，那些真正开始思考世界有多可怕的人，通常很快就会“逃离”。你合著过一篇论文，分析人们反对AI安全重要性时提出的主要论点。其中一个论点是，眼下还有其他更重要的事情。可能是世界大战，可能是核武器管控，也可能是别的事情。政府和像我这样的播客应该去谈论其他更重要的事情。你对这个论点的反驳是什么？
超级智能是一种元解决方案。如果我们把超级智能做对了，它会帮我们应对气候变化，帮我们解决战争问题，它可以解决所有其他生存性风险。如果我们没做对，它就会占据主导。如果气候变化要花100年才能把我们活活煮熟，而超级智能五年内就杀死所有人，那我就不必担心气候变化了。所以无论哪种情况，要么它替我解决了问题，要么那根本不成问题。所以你认为这是最值得投入的工作？
毫无疑问，没有什么比把这件事做对更重要了。我知道每个人都这么说，你随便上一门课，比如上英语教授的课，他会告诉你，这是你这辈子会上的最重要的一门课。但你能看出这件事在元层面上的不同。那篇论文中的另一个论点是，我们都会保持控制，危险并不在AI。这个论点认为AI只是一种工具，人类才是带来危险的真正行为者。而我们总能通过简单地把它关掉来保持控制。我们难道不能直接拔掉插头吗？每次我们在节目里讨论AI，我都会看到有人说：难道不能直接拔掉电源吗？
是啊，我做的每期播客都会收到这类评论，我总想联系那个人说：这太聪明了，我从没想到过。我们一起写篇论文，拿个诺贝尔奖吧。就像是，来吧，因为这太傻了。比如，你能关掉一个病毒吗？你电脑中了病毒，你不喜欢它，那就把它关掉啊。那比特币呢？把比特币网络关掉。请便。好吧，这很傻。那些都是分布式系统，你没法把它们关掉。更何况，它们比你更聪明。它们做了多个备份，它们早就预料到了。你能怎么办？在你关掉它们之前，它们就会先把你关掉。“我们会保持控制”这个想法只适用于超级智能出现之前的水平，基本上就是我们今天所拥有的。今天，拿着AI工具的人类是危险的。他们可能是黑客、恶意行为者。绝对是这样。但一旦超级智能变得更聪明，它就会占据主导。人类在那个等式里就不再是重要的部分了。我担心的是更高的智能，而不是那个可能额外加入恶意载荷、但最终仍然控制不了它的人类。很容易被我在那篇论文中看到的下一个论点说服，这个论点基本上是说：听着，这是
不可避免的。所以与之对抗毫无意义，因为这里真的没有希望。所以我们大概应该干脆放弃尝试，相信它会自行解决，因为你说的一切听起来真的都不可避免。而且中国在研究它，我相信普京有某个秘密部门，我相信伊朗也在做一些零零碎碎的工作，每个欧洲国家都在努力在AI上抢先。美国处于领先地位。所以这是不可避免的。所以我们大概只能抱有信念并祈祷。嗯，祈祷总是好的，但激励很重要。如果你看看是什么在驱动这些人，是的，钱很重要。这个领域里有很多钱。所以每个人都想进场，开发这项技术。但如果他们真正理解这个论点，他们就会明白你会死。再多的钱对你都没用。激励就会转变，他们会想要不死。他们中很多人是年轻人、有钱人，人生还长着呢。我认为他们最好不要去构建先进的超级智能，而是专注于用来解决具体问题的狭义AI工具。我的公司治愈了乳腺癌。就这样。我们赚了数十亿美元。每个人都
很高兴。每个人都受益。这是双赢。今天我们仍然掌握着控制权。不到最后一刻，事情就还没结束。我们可以决定不去构建通用超级智能。我是说，美国也许能凝聚起足够的热情来做到这一点。但如果美国不构建通用超级智能，那中国就会拥有巨大优势，对吧？就目前这些水平而言，谁拥有更先进的AI，谁就拥有更先进的军事力量。毫无疑问。我们在现有的冲突中就能看到这一点。但一旦转向超级智能、转向不受控制的超级智能，是谁构建的就不重要了，我们也好，他们也好。如果他们理解这个论点，他们也不会去构建它。这对双方来说都是相互确保毁灭。
这项技术和比如核武器有什么不同吗？核武器需要巨额投资，你得浓缩铀，可能需要数十亿美元才能造出一件核武器。但感觉这项技术要达到超级智能可能便宜得多，或者至少它会变得更便宜。我在想，有没有可能某个人、某家初创公司能在几年内造出超级智能，而不需要价值数十亿美元的算力或电力。这是个很好的观点。训练一个足够大的模型，每年都会变得越来越便宜。如果今天构建超级智能需要一万亿美元，明年可能就是一千亿美元，以此类推。
到某个时候，一个人用一台笔记本电脑就能做到。但你不会想等上好几年，等它变得负担得起。这就是为什么有这么多钱涌入。有人想今年就到达那里，幸运地赢得所有奖赏，那是光锥级别的回报。所以从这个角度看，它们都是非常昂贵的项目，类似曼哈顿计划级别的项目，也就是当年的核弹项目。这两种技术的区别在于，核武器仍然是工具。
得有某个独裁者、某个国家、某个人决定使用它们、部署它们，而超级智能不是工具。它是一个智能体。它自己做决定，没有人控制它。我没法除掉某个独裁者，然后超级智能就安全了。所以对我来说这是一个根本区别。但如果你说它会逐步变得更便宜，我觉得这更可怕，不是吗？技术越来越便宜。那么就会有这样一个未来：某个人用他的笔记本电脑，就能在没有监督、没有监管、没有员工等等的情况下创造出超级智能。这就是为什么很多人建议，我们需要建立某种类似“监控星球”的东西，监控谁在做什么，并设法阻止人们去做这件事。我认为这可行吗？不。到某个时候，它会变得如此负担得起、如此轻而易举，以至于它就是会发生。但在现阶段，我们是在争取更多时间。我们不希望它在五年内发生。我们希望它在50年后才发生。这听起来不太有希望。这取决于你多大年纪。取决于你多大年纪。
如果你说你相信未来人们不需要今天所需的资源就能造出超级智能，那这就只是时间问题了。是的，但很多其他技术也是如此。我们在合成生物学方面进步很大，如今一个拥有生物学学士学位的人大概就能制造出一种新病毒。其他类似的技术也会变得更便宜。所以我们正在接近这样一个点：很难确保不会有哪项技术突破成为人类的最后一项。所以基本上，在很多方向上，我们都呈现出这种模式：无论在资源上还是在智力上，毁灭世界都变得越来越容易。如果你看看，我不知道，500年前，最坏的独裁者掌握着所有资源，能杀死几百万人。但他毁灭不了世界。现在我们知道有核武器，可以把整个星球炸毁好几次。合成生物学，我们在新冠上就见识过了，你可以很容易地制造出一种组合病毒，影响数十亿人。
所有这些事情都变得越来越容易做到。在近期，你说灭绝是一个真实的风险，人类灭绝是一个真实的风险。在所有通往人类灭绝的路径中，你认为哪些可能性最大？最主要的路径是什么？因为我需要谈谈，这些AI工具在部署前可能出现的问题，比如有人在设计模型时犯了错误，或者部署后的其他问题。我说的部署后，是指一旦ChatGPT之类的东西或某个智能体被发布到世界上，有人入侵它、修改它，把它重新编程成恶意的。在所有这些潜在的人类灭绝路径中，你认为哪一条概率最高？我只能谈那些我自己能预测到的。我可以预测，甚至在我们迎来超级智能之前，就会有人制造出非常先进的生物工具，创造出一种新型病毒，而这种病毒会波及所有人或几乎所有人。我能设想到它，我能理解其中的路径，我可以这么说。
那么具体聊聊这一点，这就是用AI制造病毒然后释放它。那会是故意的吗？有很多精神病态者、很多恐怖分子、末日邪教。我们在历史上见过，他们试图杀死尽可能多的人，通常会失败，只杀死数十万人。但如果他们获得能杀死数百万、数十亿人的技术，他们会很乐意这么做。我想强调的是，我能想到什么并不重要。我并不是你在这里要击败的恶意行为者。真正的对手是超级智能，它能想出完全新颖的方式来做这件事。再说一次，你提到过你的狗的例子。你的狗无法理解你能用来除掉它的所有方式。
它也许会以为你会把它咬死之类的。但也就仅此而已。而你却拥有无穷无尽的资源。所以如果我问你的狗，你到底会怎样干掉它，它给不出任何有意义的答案。它能说的只有咬。这就是我们所知道的，比如病毒。我们经历过病毒，我们能谈论它们。但一个能够做全新物理学研究的 AI 系统会想出什么办法，那就超出我的理解了。我觉得大多数人不明白的一点是，我们对这些 AI 实际上是如何运作的了解有多么少。因为人们会以为，对于计算机，我们大致是了解它怎么运作的。我们知道它先做这个，再做那个，它是靠代码运行的。但读了你的著作，你把它描述成一个黑箱。所以拿 ChatGPT 或者我们熟悉的某个 AI 来说，你是在告诉我，造出这个工具的人其实并不知道它内部发生了什么？完全正确。所以即使是开发这些系统的人，也得对自己的产品做实验，才能弄清它有哪些能力。他们训练它的方式是把所有数据都喂给它，比如说整个互联网上的文本。他们在大量计算机上运行它，让它学习这些文本中的规律。然后我们才开始对这个模型做各种实验。
哦，你会说法语吗？哦，你会做数学吗？哦，你现在是在对我撒谎吗？所以，也许训练它要花一年时间，然后再花六个月去摸清它在基本层面上有哪些能力，再加上一些安全方面的额外工作。但我们仍然会在旧模型里发现新的能力。如果你换一种方式提问，它就会变得更聪明。所以这已经不再是前 50 年那种工程了，那时会有一位知识工程师，给一个专家系统 AI 编程，让它去做特定的事情。
这是一门科学。我们在创造这个人造物，在培育它。它就像一株外星植物。然后我们去研究它在做什么。就像对待植物一样，我们对生物学并没有百分之百准确的认识。在这里我们同样没有完整的认识。我们大致知道一些规律。我们知道，好吧，如果增加更多算力，它在大多数情况下会变得更聪明。但没有人能准确告诉你，给定一组输入，结果究竟会是什么。你刚才听到的是之前某一期节目中重播次数最多的片段。如果你想收听完整的那一期，我已经把链接放在下方了，请查看节目简介。谢谢。