Nick Bostrom: 尼克·博斯特罗姆
#2525 - Nick Bostrom
Guests: Nick Bostrom
Full transcript · Read the full conversation in order, with its original context.
§01文字稿 · 00:01 起
乔·罗根播客，快来听听。《乔·罗根体验》。白天训练，晚上听乔·罗根播客，全天候。很高兴再次见到你。是啊，见到你也很高兴。上次我们聊天的时候，你花了很长时间试图给我解释模拟理论，解释为什么我们身处模拟之中的概率比不在模拟之中更大。对，那是五年前左右？我觉得是六年前。五年还是六年？我是说，从那以后世界上发生了很多事。是的，是的，发生了很多事。比如说，那时候我们好像，我们当时聊过 AI 吗？可能稍微提到过一点，但那时它还只是个小角色。它还不是笼罩在整个文明头顶上的东西。想想这才过了六年，这真的挺不可思议的。六年时间，这是多么
巨大的飞跃，一项新技术进入了我们的生活。就有点像互联网，它是悄悄来到我们身边的，我们就接受了它的存在，但这东西在很短的时间里就深深地缠进了社会的方方面面，缠进了人们生活的方方面面。是啊，我是说，现在发生的事情太多了，光是盯着局势就差不多是一份全职工作了。对。而你谈到的一点是它积极的那一面，对吧？
……还有冰冷刺骨的水，然后算是重新恢复。对，对，对。听起来差不多是这样。对。而且感觉它好像还在稍微加速，对吧？如果你身在这个领域，差不多每隔几周就有一个新模型发布之类的。是的。我想这就好比，你想象一下给一场比赛做解说，对吧？那场比赛是录好的，你要给它配解说。第一回合是正常速度。第二回合是两倍速。然后第三回合是四倍速。到最后就只看见一团飞舞的腿和胳膊。这个形容太到位了。
到时候会有极大的繁荣，再也没有人需要辛苦劳作。不会再有第三世界国家。不会再有贫困。就是说，凭借地球上已有的资源，我们就能消除贫困，我们还能改变“必须工作”这件事的含义。比如，仅仅为了让自己有饭吃、有房住。这些都会变得轻而易举，而且免费。然后剩下的一切就是，你得在生活中找到一个目标。
我的问题是，我很喜欢埃隆，但持这种观点的人全都在靠 AI 赚钱。他们全都重金投入其中，马克·安德森，所有这些对它抱着乐观看法的人，都在里面投了大钱。所以，当有像你这样不一定属于那个阵营的人，你知道，一个对正在发生的事情更像是真正客观的分析者，当你对它持积极看法时，我会更兴奋一点。是啊，嗯，我是说，事实是我们并不知道，对吧，事情最终会怎么发展。
……水涨船高，然后人类工作这个概念就变成了过时之物，到那时机器能做我们在体力上和脑力上能做的一切，而且做得好得多、便宜得多。所以我认为，在那些真正成功的情景里，这种转变要深刻得多。所以这就像洋葱一样有好几层。最表层的问题是，好吧，它们把你的工作自动化了。那人们要做什么工作？他们要靠什么获得目标感？嗯，那已经稍微深一层了。首先，最表层就是，人们只是在想，如果我被取代了，我去哪里找工作。而在这个对话的表层上，我认为答案是，嗯，你需要对工人进行再培训，好让他们能在其他领域工作。
也许还需要，我不知道，在他们接受再培训期间提供失业保险之类的东西。但一旦你把这件事最终会走向哪里想透了，你就会觉得，我认为这不只是少数几份工作，而是在很大程度上人类能做的一切，可能唯一的例外是消费者直接偏好由人类来提供某种产品或服务的情况，比如牧师、妓女和政客。这些可能会留下来。嗯，政客，希望不会。希望 AI 能把那些事全部处理好，而且没有任何腐败。
是啊，但总会有人来抢功劳。确实如此。还会有人给它写代码。对。这……于是你就会碰到这些我认为更深刻的问题，关于意义和目标，关于在技术成熟期人的一生会是什么样子。对。还有，什么是体验？体验必须是可测量的吗？比如，你必须能摸到它吗？你必须能测量它、称量它吗？还是说虚拟体验也依然是体验？比如，如果你过着一种非常充实、愉快、令人满足的虚拟生活，那就够了吗？你明白我的意思吗？你必须在物质世界里做所有事情吗？
还是说你能在一个目前还不存在、但我们能清楚看到如果技术扩展下去就会出现的虚拟世界里找到幸福？到时候将有可能体验一种《黑客帝国》式的现实。对，我想我明白你要说什么了。对。不过，是啊，我是说，我觉得这是萝卜青菜各有所爱。你可以想象一个世界，那里这些虚拟世界大概会非常丰富、深邃、迷人，但有些人可能就是喜欢去爬真正的珠穆朗玛峰，而不是成为一个……那是肯定的。但是，可能会有一天，人们被关在了普通现实之外。比如，这是 AI 的最坏情况：你的需求都被照顾到了，但没有目标。没什么事可做。没什么事可做，因为 AI 在照管着
社会的方方面面。除了娱乐，没什么事可做。然后出现了一种娱乐，它不是现实，但比现实的任何其他方面都更让人满足、更刺激。而且，你知道，有个例子，只是程度非常轻微。你的手机就给你提供了那种逃避。它甚至都没那么刺激，却极其让人上瘾。人们一天在手机上花六个小时。如果我们搞出一种比普通现实刺激得多的虚拟现实，所有人都会跳进去。是啊。我是说，我认为在某种程度上，无论你走虚拟路线还是物理路线，情况可能都会是这样。我是说，你可以想象一个未来，那里有度假村，人们就躺在沙滩椅上，整天啜着饮料。而那也是一种抽离现实，对吧？
是啊，嗯，那个，对，那并不让人满足。你知道，虚拟现实的一点是，你甚至不必生活在我们的物理规律之内。我是说，你可以飞。你可以做任何事。它的可能性空间更大。但无论哪种方式，它都可能是物理现实中的一种被动存在，比如你就在沙滩上闲躺着。也可能像一个电子游戏。或者它可能非常激烈，你要竭尽全力在这个虚拟环境里取得成功。又或者是那种你就像处于吸了药的状态，飘在某朵云上。
但我觉得人们不会对那种东西感兴趣，因为人脑就是这么运作的。比如，人们被什么样的电子游戏吸引？因为电子游戏本质上是一种近似。它是对那种东西的近似。你只是在屏幕上看着它，但你在某种程度上忘了自己是在看屏幕，你就专注于这个 3D 现实，拿着机枪或者干着别的什么在里面奔跑，对吧？那才是人们感兴趣的。他们对那种只是飘在地球上空、飞来飞去、吃香蕉的游戏不感兴趣。不，他们感兴趣的是刺激的东西。
如果那种东西以虚拟的方式提供出来，会有大量的人说，这比普通无聊的生活好多了，或者说我们成了电脑的奴隶。是啊，我是说，两种都有。好，我们回来了。刚才说到哪了？哦，对，我刚才是在说，也有一些电脑游戏提供的是更被动的体验。对。你其实没在做什么，更多是在放空。但大多数人对那些不感兴趣。大多数人感兴趣的是《使命召唤》。他们感兴趣的是那些疯狂的第一人称射击游戏，你在走廊里狂奔，一切都令人兴奋、刺激，或者某个科幻游戏，或者，你知道，《半条命》之类的。那才是人们感兴趣的。是啊，嗯，我是说，我认为在这方面会走哪条路，存在一些性格上的差异。
§02文字稿 · 10:35 起
但无论怎样，我认为人们目前会做出的很多选择，取决于他们在某种程度上被设计成会对什么产生愉悦反应。比如你喜欢某样东西，就选它；喜欢另一样，就选那样。在这种技术成熟的状态下，如果我们想象一个未来文明，它已经把所有可能的技术都发展到了极致。对。
那么在他们能做到的事情当中，他们不仅能控制外部环境、身边的事物，还能控制他们自己的生物机体、大脑。所以如果你是这些人中的一员，比如也许现在你获得快乐的唯一方式就是喝得烂醉，或者做一些你其实并不认同的事情，但那恰恰就是让你兴奋起来的东西。你可以想象重新设计自己，让自己获得同样的快乐，但来源换成比如沉思宇宙之美，或者
欣赏他人内心的善良，或者某种更高尚的追求，比如解抽象数学题，而不是玩第一人称射击游戏。你会有选择，选择从哪一类活动中获得刺激。是啊，这就把我们带到了这个问题：做人意味着什么？比如，人们发现美和快乐，以及有趣、迷人的事物，还有，你知道，如何成为更好的人，以及我们想到人时会想到的人类生活的种种方面，我们会想到人性中高尚的一面。但这些难道不必与社会最糟糕的一面同时存在，我们才能懂得珍惜吗？这似乎是人类处境的一部分，
就是我们必须有犯罪，才能珍惜和平。我们必须有战争，才能珍惜和平。我们必须有仇恨，才能珍惜爱。而且我们从来不会只有其中一个而没有另一个。它们总是同时存在，处于持续的冲突之中，而我们总是高尚地希望善能战胜恶。这是作为人类所经历的挣扎的一部分。如果我们把这种挣扎完全消除，我们就得找到某种，我们就得变成另一种东西，因为我们现在是一种非常奇怪的、有领地意识的灵长类动物，而且有着无尽的好奇心。而这种有领地意识的灵长类动物正朝着某个方向前进。
而那个方向似乎是一个更好的社会，似乎是随着时间推移。如果你看看从几千年前到今天的统计数据，暴力更少了，医疗更好了，教育更好了。它正朝着越来越好的方向发展。但它是在挣扎中前进的。这正是它会前进的部分原因。如果突然之间没有了挣扎，每个人都成了美好的开悟者，那我们算什么？因为我们将会变成和现在不一样的东西。而如果你热爱音乐、热爱艺术、热爱小说，以及所有这些出自人类处境的东西，嗯，那些东西都来自
挣扎，那些东西来自困惑、痛苦、心碎、爱和快乐，所有这些东西堆叠在一起。没有了这些，我们算什么？所以，如果我们在技术上朝这个方向前进，而在生物学上没有走得那么快，我们会融合吗？因为我觉得似乎会是这样。我认为，如果这件事继续照现在的势头发展下去，瓶颈将会是人类的生物机体。
是啊，是啊。我们为取得进步所做的努力里内嵌着一种悖论。比如，有各种科学家和研究人员在努力开发更好的技术，在整个经济中也是如此，你知道，在某家公司里，也许你在想办法让某个流程更高效一点，好更好地服务客户。所有这些都是为了解决问题，对吧？如果你把这一点推演到它的逻辑终点，对吧？你会想象我们将拥有能做一切、能解决所有问题的完美技术，大概是借助 AI 和自动化。对。但你可能会觉得，那样你就会落入一种我们几乎无事可做的境地。所以，尽管看起来我们有充分的理由朝这个方向推进，
但如果你真的去看那个终点，假如我们成功了，在很多人看来它会显得有点难以接受。比如这种所有问题都被解决了的未来。尽管如此，你知道，这似乎确实是我们正在前进的方向，很可能也是我们应该前进的方向。对。如果零谋杀、零暴力、零犯罪、零说谎、零腐败，人类彼此协调合作，某种意义上步调一致、和谐相处，那难道不是一个更好的目标吗？
对。那会好得多。我认为是这样。但如果你真的仔细审视那种状况，它确实带有这种稍微让人难以接受的特质。因为你可能会觉得那样看起来有点乏味，对吧？不过也不一定。它之所以显得乏味，只是因为你在拿我们现在的经历去衡量，比如所有那些兴奋、不确定带来的怪异感、未知，还有我们生活中消极的一面与积极的一面交织在一起，所以我们会把
两者对比，在一堆他妈的混蛋身边待过之后，你才会真正珍惜好人。你知道，如果那不……但也不一定非得那样。这只是我们眼下要面对的情况。这也是我对工作的看法。因为每个人脑子里都在想，AI 把所有工作都拿走了会怎样？我就想，你非得有一份他妈的工作吗？那不是人类的发明吗？比如，你为什么非得有一份工作？我们的主要精力放在住房和食物上，这看起来挺疯狂的。而且大多数人基本上就是为了这个在工作。大多数靠每次发薪勉强度日的人，住房和食物基本上就是他们每天劳动的目的。如果把这个去掉，难道不会有足够多的人想明白怎么安排自己的时间吗？是啊，我认为会的。
比如，是的，会有一些过渡期，变化中会有一些不适。但这是人为编造出来的。归根结底，那就是，对。我是说，我认为就像，奴隶制非常糟糕，对吧？而雇佣劳动在某种意义上算是一种，你知道，轻度奴隶制。你必须出卖你清醒时间的三分之一，只为了挣钱支付生活必需品。而那些想赚最多钱的人会让员工的条件尽可能糟糕，因为那样成本最低。他们不会去想这个。
比如，听着，也许我们少赚点钱，但让每个在这里工作的人都有很棒的体验。没人那样想。他们全都想着，我们必须赚最多的钱，因为我们有股东，我们有责任。而这些人每个季度都需要赚更多的钱。是啊，不过有时候你这么做是为了争夺人才。这也没错。但只针对顶尖人才。这就是为什么 CEO 拿走了所有的钱，而流水线上的人全都被坑了。有些员工确实受到了很好的对待，对吧？你怎么说？杰米是另一种员工。杰米实际上就是这个节目的另一位搭档。那不一样。但某个在外面给亚马逊码箱子的哥们，那和当 CEO 可不一样。是啊，我是说，我认为最终那将是一次巨大的解放，某种程度上能恢复人的尊严。
比如，你应该掌控自己的时间。这几乎可以说是最……除了你自己的身体之外，就是你自己的时间、你自己的注意力。但我们得教会人们自律。他们必须……问题就在于，如果你给人们什么都不做的机会，我们就真的会什么都不做。你知道，我们是灵长类动物。我们会想办法……我们在基因上某种程度上就被设计成要节省资源。你不会想毫无理由地过度消耗资源去做一堆破事，因为那样你活不下去。你没有足够的食物。
所以我们某种程度上天生就懂得怎么偷懒。因此我们得找到能给我们带来目标感的事情，否则我们会抑郁。本期节目由 Visible 赞助播出。朋友们，夏天正式来了。哇，这个夏天过得真不错。感觉就像那种老派的美好夏天，我们只想享受每一刻，跟上各种热闹。这个夏天你的最佳伙伴？Visible Wireless。
Visible 为你提供由 Verizon 支持的无限 5G 流量和无限热点，每月只需 25 美元。所以你可以让这个夏天既充满乐趣又省钱。Visible 不只是一个无线套餐。它是无限量无线服务，旨在让你始终保持连接，没有合约束缚你。今天就去 visible.com 转网，套餐每月 25 美元起，或者选择我们的高级 Visible Plus Pro 套餐，使用优惠码 Rogan 首月可省 10 美元。适用相关条款，套餐功能和网络管理详情请见 visible.com。好。
§03文字稿 · 19:58 起
我是说，过去有一种传统观念，比如英国贵族那样，就是你不必为了谋生而工作。对很多人来说，必须为了每天的面包去工作，算是一种不幸的必需，对吧？但理想的做人方式是你本来就有钱，然后把时间花在别的事情上。比如，你知道，也许参与政治，也许有一批艺术收藏，或者打理花园，或者招待朋友。这是它最好的一面。
但一想到英国贵族，你不会想到一群废物吗？我会。我想到的是那些整天醉醺醺的家伙，把法拉利开进湖里，不小心淹死了自己的朋友，然后贿赂警察，就这么逃脱了。我想到的就是这个。嗯，是的，确实有那种人。但也有那种，我不知道怎么说，业余科学家或者怪人，有自己古怪的爱好，而且一直坚持做下去。
所以我想，它会激发出……一个人拥有的自由越多，就越能暴露出他的本性。嗯，这也取决于他们是怎么被养大的。对。他们的父母是谁？小时候父母给他们灌输了什么价值观？有没有跟他们讲过努力工作的价值，讲过努力其实对你有好处？还有，如果你找到一件真正想做的事，专注于它，真正下苦功，那其实是非常有成就感的。是的。所以你可以想想，比如说，在一个我们不再需要工作的世界里，教育体系会怎样。大概基本上需要从零开始重新设计，
因为现在它有点像一台机器，对吧？孩子们就像被放在传送带上送进来。对。然后对他们进行一些加工，比如让他们坐在课桌前，这是作业，这是一张表格，然后他们出来时身上贴着一个质量标签。对。对吧？然后他们就应该成为能放进办公室的高效员工，他们也会照做。所以这在某种程度上是当前状况下一个不幸的事实：世界需要大量这样的办公室职员，去完成经济中的各种任务。所以，我们不得不这样，直到不再需要为止。直到不再需要为止。到那时，再继续这样做就很荒谬了。对。那时你可以设想改变教育，让它更多地关注如何
学会好好过一种闲暇的生活。比如你可以设想培养谈话的艺术、对艺术和音乐的欣赏、各种爱好、身体健康、亲近自然，还有为自己设定目标、主动采取行动、与人建立真正友谊的能力。这些东西学校都不教，但你可以设想把它们作为课程内容，比如灵性修养，等等各种各样的东西，当然，这些东西能让人们学会利用自己的自由、财富和闲暇时间，去从事，你知道，某种真正有意义、美好的活动。
当然，当然，我们现在就应该未雨绸缪，开始这样教人。比如，现在正在成长的年轻人，他们将面对的世界，如果你现在上一年级，12年后你高中毕业时，世界会变成一个完全不同的地方。而那种认为成为一个能一天坐八小时不动的高效员工才是教育孩子的最佳方式的想法，似乎很疯狂。如果我们真的看到了你所描述的、而且大多数人似乎都认为正在到来的那个世界的话。
是的，是的。我想时间线有点不确定。所以你不想落到这样的境地，对吧：你20岁了，该走向社会了，却没有任何技能，而AI革命还没完全发生。嗯，文科学位不本来就是这样吗？对。那怎么说？现在人们拿的很多傻乎乎的学位本来就没用。他们花了大量时间去拿这个学位，结果拿到之后，这个学位根本找不到工作。是的。所以他们也许只是赶这趟车赶得早了一点。
也许吧。或者，你知道，也有一些陷阱。有些事情你会非常兴奋地投入去做。比如，你想打职业保龄球，想当职业保龄球手。嗯，你能赚的钱非常有限，因为世界上最好的保龄球手……世界上最好的职业保龄球手能赚多少？我们来猜猜。我说10万美元。对，那些职业保龄球手。我们以前认识一个人，是阿里的朋友，叫汤米，天哪，我想不起他姓什么了。你记得他姓什么吗，杰米？他是职业保龄球手，但他以前常来喜剧商店（The Comedy Store）玩，人特别好，就是热爱喜剧。我不知道，也许最顶尖的那位能过上相当不错的生活，然后排第三的就只能……我打赌也就勉强。我打赌最好的那个人目前大概也就赚10万或20万美元，
顶多了，这意味着世界排名第30的那个人就惨了。是的，你得另找一份工作才能继续追求这个。嗯，但在这个……他赚多少？哦，20万。哦，好的赛季能赚40万，45万，包括奖金和赞助。但那么……E.J. Tackett赚了43万，太牛了，E.J.。E.J. Tackett在2025赛季赚了437,540美元，另外还有几个人在19万
到27万之间，这还只是奖金。顶级水平。所以顶级选手收入不错。但这样的人有多少呢？你明白我的意思吗？大概是一个非常窄的尖峰。所以如果你选择打保龄球，这跟选择进入……你知道，有很多其他工作不一样。就算你想当篮球运动员，他们赚很多钱。你知道，如果你是个非常好的篮球运动员并且去追求它，你可能会变得非常非常富有，但他们当中有多少人真正富起来了？是的，但这样的话，也许金钱这个因素就会退出考虑了。
是的，那就只看你对什么感兴趣了。然后也许甚至会……我是说，机会是无穷的。还有在某种程度上，看别人对什么感兴趣。因为我认为人们竞争的东西有一部分也是声望和地位。是的，那会成为一个因素，对吧？地位会变得更重要。就是看谁在这件事上最厉害。就像一群一起打高尔夫的朋友，比如杰米就总是打高尔夫。
打高尔夫的人都会互相比较成绩。他们在打球，在这项运动里竞争。他们想这件事比想工作还多。那些热爱高尔夫的人，他们他妈的讨厌工作。我刚入行的时候也这么说过喜剧圈。我注意到的一件事是，那些真正迷上高尔夫的人，他们的事业有点停滞了，因为他们对打高尔夫比对写段子和出去巡演更兴奋。我当时就想，好吧。所以，如果普通人不再需要通过劳动来换取食物和住房，如果这些不需要了，你就直接能得到，那么现在你就可以去做各种事情了。我们只需要教人们对事物感到兴奋。我们必须教人们好奇心的价值，以及找到让自己感兴趣的东西的价值。然后还有为了学习而学习本身的价值，
因为它有趣。这纯粹是满足好奇心，这是一件美好的事情。这对每个人都是好事。而不是因为老师说你必须学才去学。嗯，总会有人天生就被数学吸引，对数学非常着迷。也总会有人天生就被历史吸引。他们会想，我们是怎么走到今天的？这是什么？它是怎么开始的？那是谁写的？谁是第一个想明白这件事的人？于是你会自然而然地走向那个方向，纯粹为了满足好奇心而接受教育。也许我们会有一个更平衡的社会，因为人们真的能够去追求自己的兴趣。
但我们必须教他们这样做。我认为这对未来的年轻人来说会非常重要。教他们真正去追求自己的好奇心，而不是扼杀他们对新奇和有趣事物的任何渴望，只学会整天做自己讨厌的事，因为这就是成年人的意义。是的。我认为在这种情况下，培养这一点会是前进的方向。而且这看起来很有可能做到。是可行的。比如，我们都认识一些有好奇心的人。
§04文字稿 · 28:15 起
是的。至少在某种程度上是这样。我想不同的人在天生的构造上大概也有一些差异。比如有些人很容易感到无聊，另一些人觉得什么都很有意思。有些人天生就抑郁或情绪低落，另一些人则比较意气风发。是的，但那些天生抑郁的人，如果在很小的时候就被引导认识到锻炼的价值，他们的生活会改变多少？
如果他们开始跑步，开始做瑜伽，开始感觉好多了，不再天生抑郁了。然后你改变他们的饮食，开始补充维生素和营养素，不再给他们吃加工食品。突然间他们就感觉好多了。因为就连抑郁这个概念，它到底意味着什么？嗯，它的差异非常大。当你谈论那些不照顾自己身体的人，而身体状况却不被视为抑郁产生的主要因素之一时，那么这对他们来说是一种非常不科学的做法，因为我们知道这对人有深远的影响。所以我们是在假装存在某种一刀切的方案。
不，我认为这也应该是教人如何做人的一部分。追随你的好奇心，但也要知道这就是你感觉不好的原因。如果你培养出这种能力，让自己动起来形成惯性，每天都去上那节瑜伽课，你会感觉好得多。而且你不必吃药。是的，我认为如果教会很多人照顾好自己的身体生理，他们的状况可以大大改善。每个人都可以改善，百分之百的人都可以改善，这是做人的一部分。是的，嗯，我是说，我不知道，我想也有一些人可能就是因为某种遗传原因，存在某种神经递质失衡，
百分之百，这也有可能。或者他们甚至可能没有精力去参与这些能让自己感觉更好的活动。但那样的话，我认为到时候会有好得多的药物来帮助他们。这就是阿得拉（Adderall）派上用场的地方，给他们来点阿得拉，让他们燃起来，让他们开始跑步。我开玩笑的。但我们说的这些都是可行的。我们又不是要求人们在水下呼吸，对吧？
我们是说，地球上确实有人是那样生活的。而那种只为一份薪水而活、好让自己能负担食物和住房的观念，我们一直认为这是做人、做成年人不可否认的一部分。这是你必须做的。你必须为食物付钱，为住房付钱。但如果我们真的到了社会结构由超级智能的人工智能来运转的地步，人们不得不做的大多数糟糕的工作就不再需要了。而为了让我们的社会走到今天这一步，如果你想要一部iPhone，
你需要有人在某个工厂里把它组装起来。你需要有人设计它。你需要有人坐在办公室里琢磨怎么营销。你需要所有这些工作。但当我们不再需要所有这些工作时，事情就会变得非常有意思。这就是我说的，我们需要变成另一种东西。嗯，这话有点对也有点不对。比如，你可以作为一个人类生活在那样的世界里。
但我们将不得不重新教育人们如何做人。我们的教育体系，特别是在这个国家，就是为了培养工厂工人而设计的。确切地说，这背后是有真实的历史的。我们知道他们为什么这样设计。他们这样设计，让人们很早就进入这个体系，好让人们为工作做好准备。他们就是想让人们工作。是的。所以我们目前有点不适合在富足的环境中真正茁壮成长、享受生活。因为无论是在漫长的生物演化时间尺度上，还是在单个个体的一生中，都存在各种压力和必需条件，迫使我们变
成某种特定的类型。我是说，我们谈到了教育体系，把人训练成能整天坐在课桌前完成任务的那种人。是的。在生物学上，我们演化出了各种驱动力，你知道，想偷懒、想节省能量、想尽可能多吃。而现在在现代环境中，到处都是冰箱，这就造成了代谢方面的问题。而在享受生活方面，对很多人来说，存在一种享乐跑步机效应，对吧？比如，你取得了某个成就、某种改善，幸福感会骤升一下，然后你很快就回到基线水平。你开始把生活中的一切福分视为理所当然，这就使得真正达到一种永久幸福和快乐的状态变得非常困难。而这在某种程度上
是必要的，因为需要有这种动力去不断追求下一个目标。现在，一旦你真的实现了所有目标，那么这也许就变得有点功能失调了，对吧？比如，如果所有事情都已经实现了，至少在某个领域内，为什么还要继续想去追求下一个目标呢？所以我认为，随着我们更深入地走向这个假想中的未来，在那里我们拥有各种神奇的技术，那么到某个时候，人性大概也必须随之发生某种转变。首先，也许是文化上的变化，让人们为闲暇的生活做好准备，然后最终也许是对我们生物学本身更深刻的改变。所以你想象一下，如果你解决了衰老问题，现在可以活上几千年，对吧？也许我们记忆的运作方式并不真正适合那样。
也许以我们现在的大脑，活过200年之后我们就会变得僵化。就像陷入一成不变的窠臼。我们不知道，因为我们还没活过200年。但对人类来说，结果完全有可能就是这样。所以到那时，也许你需要做点什么，来增加更多的认知资源、更多的灵活性，某种迷幻剂式的重置，或者别的什么，让这种灵活性能在更长的时间里保持下去。我很高兴你说到迷幻剂式的重置，因为如果我们手头
用来应对这一切的主要工具全都是违法的，那就太好笑了。因为我觉得它们可能确实是。特别是裸盖菇素（psilocybin）和DMT，可能还有伊博格碱（ibogaine）。比如，如果我们想要化学工具来应对一个新的现实，那些大概是我们现有的最好的工具，而它们全都是违法的。我认为你说得对。我认为如果我们要正确应对这一切，我们就必须在某种程度上改变彼此相处的方式，改变做人的意义。但我想知道，我们现有的冲突中有多少是这种内在挣扎的直接结果，
这种很多人都有的挣扎。我是说，极端贫困和极端犯罪之间有直接的相关性，你知道，特别是在这个国家。如果你看看这个国家极端贫困的地区，它们也是犯罪极其严重的地区。我想知道，如果彻底消除贫困，这其中有多少会完全得到缓解。我们一直认为，一个正常运转的社会必然会有贫民窟，为什么？为什么？它们没有任何作用。这不是好事。嗯，嗯，这是……因为总会有人做出错误的决定，总会有人走上歪路，
去犯罪之类的。对，但他们仍然只是人，而有些人不会那样做。那么，想办法让人们再也不那样做，不是更好吗？而且这似乎是有办法做到的。再说一遍，这不是要求人们在水下呼吸。我们只是想弄明白，为什么有些人从不犯罪？为什么有些人过着非常充实而有趣的生活？
大概是因为他们很小的时候就接触到了这样的生活。大概是因为他们没有接触过非常糟糕的环境、非常严重的犯罪和非常严重的贫困。如果不再有贫困，这其中会有多少改变？这听起来像个幼稚的小童话：哦，总有一天我们会消除贫困。但这是可行的。如果现在活着的每个人，对吧，好吧，现在活着的人都没有饿死，那就意味着我们已经找到了办法，至少能给你资源让你养活自己，对吧？无论情况多么失调。所需要做的只是让它
§05文字稿 · 36:44 起
再往上提升几个台阶。这样就再也没有人担心吃不饱，再也没有人担心没地方睡觉。然后你就得去寻找人生目标。但似乎有很多人找到人生目标，并不需要附带金钱上的标价，就像我们刚才说的高尔夫，或者你可以非常热衷于写书。你可以整天写书，而人们总会想要人类创作的小说。人们总会对别人怎么看待事物感兴趣。你会发现，有很多事情可以做。有很多游戏可以玩，有很多技能可以学。
认为我们工作的唯一理由就是为了吃饭、为了不被雨淋，这种想法简直荒唐。是啊，我想在某种程度上这确实还是个悬而未决的问题：人们会在多大程度上一直想读人类写的小说，或者更偏爱人类创作的产出。这可能只是因为目前 AI 生成的文字在各方面都有些欠缺，常常是粗制滥造的“垃圾内容”，很无聊。但如果它变得真的很好，那也许看 AI 的作品会有意思得多，比如一部 AI 拍的电影可能就是好得多、丰富得多，灯光完美，对白犀利，更好笑也更有深度。这当然是有可能的。然后你再去看这部人类制作的东西，就会觉得……就像大多数人并不会去看电影学院学生的作品那样。对，但还有那部电影《Obsession》。那部电影不是拍得特别便宜吗？
而且它大获成功，对吧？其中让人兴奋的一部分就在于，拍这部电影的家伙原本只是个 YouTuber，对吧？现在这部电影成了超级大热门，大家都对它特别兴奋。同样一部电影如果是 AI 拍的，我怀疑它是否还会有那样的影响力，因为它没有那种人与人之间的联结。所以这是有可能的：我们之所以一直对这些东西感兴趣，是因为我们和人类世界的纠缠要比和 AI 世界的纠缠深得多。我是说，出于同样的原因，你
可能会更感兴趣，比如你哥哥或朋友做了点什么，你会想，哦，这很有意思，我想去看看。当然，如果是某个随便什么人做出了稍好一点的东西，那就没什么意义。对。就像你去看你侄子打棒球。你本来不会真的去看小孩子打棒球。不会，不会随便去看的，对吧？
你侄子上了一垒，你就会喊：干得好，鲍比！所以我认为，我们拥有的这类社会纠缠，在外部约束被移除的这种状态下，会成为赋予生活结构的重要部分。我认为，不管出于什么原因，让自己在某些事情上变得更好、学习新东西，对人类心智有很大的价值。我觉得如果我们能在人们小时候就把这一点灌输给他们，那么让人们走上这条路会相当容易。但我们得彻底改革我们的教育体系，这本来
早就该做了。孩子们在最关键的成长期，一天中大部分时间里接触的人当中，竟然有一部分是缺乏热情、收入过低的人，这简直疯了。它应该是一段丰富、激动人心、充满热情的旅程，教你如何成为更好的人，让你知道学习是多么令人兴奋，在事情上进步是多么令人兴奋，而且任何人都能在事情上进步。我是说，我讨厌上学的每一天。我恨透了。
直到离开学校，我才知道自己其实对学习感兴趣。我也一样。我是说，在我人生的头 15 年里，我也讨厌书本以及诸如此类的东西，因为我把这些和学校联系在一起，那是学校那一套。后来有一天，我纯属偶然、毫无缘由地走进了当地的图书馆，随手抽出几本书。然后我发现，原来存在一个完整的世界，有科学、思想、文学等等，跟我们在学校里做的事情非常非常不同。
然后这就为我打开了通往这一切的大门。想象一下，如果你接受的是另一种教育，你会领先多少。我能想象。由那些真正热爱教孩子、而且非常擅长教孩子、充满热情的人来教，我们给他们回报，让这成为一个非常有声望的职位，而不是像现在这样。如果你跟某个人聊天，他说“我是高中老师”，你会想：哦，可怜的家伙，他怎么养活自己？这就是我脑子里立刻冒出来的念头。
比如，你做这份工作真好。但我也敢保证，你做别的工作很可能会赚多得多的钱，也会更开心。所以这是人生非常糟糕的开端。如果我们把这一点改革了，你就会有一大批以截然不同的方式与生活互动的人。而不是想着：我将来总得找份工作。反正放学后我还得去打工，帮我妈付账单，因为我们日子过得紧。所以我得为家里出力，虽然我才 16 岁，我没法和朋友出去玩。如果这些全都不复存在了，
现在就变成：不，我们要弄清楚的是，什么让你兴奋？什么能激发你的头脑、你独特的个性？生活中有什么是有意思的？我们让你接触一大堆别人觉得有价值的、令人兴奋和有趣的事情，看看你会被哪个方向吸引。因为也许你会被国际象棋吸引，也许你会被完全不同的东西吸引。也许你就是特别热爱画画，也许画画就能让你整个人亮起来。你看着一块画布，就开始他妈的随便捣鼓，那就是你的事。这世上有很多人找到了这样的东西，只是很遗憾，他们得靠自己去找。是啊，是啊。我觉得这挺鼓舞人心的。但我觉得这趟列车并不会停在那里。如果我们再往远处想，想想这种技术成熟的状态，
我认为除了把人解放出来，你知道，比如让生产食物、房子、跑得更快又不污染的汽车之类的东西变得很容易之外，如果你仔细想想一个技术成熟的文明可能做到什么。比如说，很多这类事情，像学习，是能给人带来目标感的事情，但也许你将能够一键下载知识。
所以，不像现在，如果你想学高等数学，你得学好几年，对吧？做带习题的书，自己下功夫，最后才算解锁。对。但也许在技术成熟的时候，就会变成：好，理解数学。好，我按这个按钮。砰。对。就像《黑客帝国》里那样。“我会功夫了”，还记得吗？对，对。所以如果你有，你知道，某种可以渗入你大脑的纳米机器人，然后以恰到好处的方式改变你的突触，这样你就和之前不一样了，区别就在于你拥有了这些来自抽象数学的概念。
对。你知道，大概 20 分钟之后。某个超级智能算出如何把你的突触改变成这种新状态。而如果你倾向于做各种事情是因为它们给你带来快乐和愉悦，你也可以想：嗯，我可以去做那些事情来获得快乐和愉悦，或者我可以直接按下这个按钮，激活同样的快乐和愉悦。所以做任何事都会有这样的捷径。看起来你会处于一种“后工具性”状态，
在这种状态下，至少乍看之下，似乎没有任何理由为了达成别的目的而去做任何事，因为总会有一条通往那个目的的更短路径，也就是按下按钮。所以这是一种更深层的“多余”。似乎人类所有形式的工具性努力都会失去动机。你仍然可以每天去健身房挥汗一小时，或者你也可以直接吃一颗药，它能诱发完全相同的生理效果和心理效果，比如锻炼后的平静感或者你会有的其他感受。或者甚至更好，对人进行基因改造。或者从基因上，对。这样他们就连药都不用吃了。对，对。所以我觉得这样就更深入到这些关于价值的根本问题了。对。
哲学问题：归根结底，是什么让一种生活成为好的生活？对一个灵长类动物来说，又是什么让生活变好？因为我们就是灵长类。或者说是灵长类的一种原始版本。我认为我们会变成某种不同的东西。无论我们是通过技术诱导的进化，还是生物性的进化，我们仍然在朝着一个大致的方向前进。单从生物学角度看，如果你看看古代人科动物再看看我们，我们显然非常不同。
§06文字稿 · 45:37 起
所以不管怎样我们都在朝一个大致的方向前进。当你看那些“灰人”，就是大家都会看到的那种典型外星人形象，大脑袋、瘦身体，他们看起来像什么？嗯，他们看起来就像是，如果我们一直这样发展下去，我们将来的样子。我们会变成没有性别、没有性、没有肌肉的瘦小生物，长着巨大的脑袋，通过心灵感应交流。这大概就是我们正在前进的方向。如果我们正朝那个方向走，也许我们把他们当成来自别处的外星人，也许那根本不是。也许那只是灵长类一旦掌握技术后的大致走向。
他们最终会意识到，嗯，首先，必须要有男性和女性，这个想法本身就有点疯狂，对吧？为什么？嗯，因为我们必须繁殖。那如果我们不再那样繁殖了呢？如果所有繁殖都通过工程手段完成呢？那就不再有性，也就不再有欲望，不再有嫉妒，不再有自我，什么都没有了。然后就会出现蜂群意识（hive mind），因为技术发展到了那种程度，他们之所以长着那么巨大的脑袋，
是因为他们基本上一直和周围所有人锁定连接在一起。嗯，可那是我们想要的吗？不是现在的我们想要的，但我觉得那时我们已经不再是我们了。我觉得这个想法就像，如果你去跟黑猩猩说：嘿，伙计，有一天你会坐在飞机上，一边吃花生一边飞越大洋。它们会说：去他妈的，我才不想那样。我就待在这儿，这儿有水果。你们疯了吧。你们为什么想那样？而且你会对某些东西上瘾，你会整天看 YouTube。它们会说：不，我不想那样，听起来一点都不好玩。我们这儿有很多香蕉之类的东西。也许吧。哦，可你得被其他想要香蕉的黑猩猩杀掉。它们有黑猩猩战争，它们会冲进来互相残杀。所以我认为我们会变成某种不同的东西，而且我认为那无论如何都是不可避免的。
如果你相信进化论，那么我们变成某种不同的东西无论如何都是不可避免的。我们不是成品。是的，没错，我觉得确实如此。我们不是成品。那么问题在于，我们将变成的那个东西，或者说最终出现的那个东西，是我们自己选择想要成为的样子的结果吗？还是只是一些非人格化的力量，比如进化，选择了某些类型，而这可能最终导致我们其实并不想要的结果？
所以我想，希望在于，我们能沿着一条道路发展，这条道路能保留并发展我们作为人类真正珍视的东西。也许还能放大它们，然后也许再加上别的东西。未来有许多不同的可能方向可以发展，但希望我们能选择那些真正让我们变得更好、而不只是随机地变得不同的方向，让我们能逐渐成长为我们理想中的样子。但很好笑的是，我们给人类境况赋予了多大的价值，
我们给意义赋予了多大的价值，因为它对我们来说确实有价值。可当你想想它在产生的能量、产生的影响方面意味着什么，再对比宇宙本身的结构，对比黑洞、恒星育婴室，这些比人类境况壮观无数倍的东西。但对我们来说，就是：哦，意义是什么？意义是什么？对我来说意义是什么？嗯，对我来说意义是什么？你就是一个有限的生物有机体，你必须找到意义，因为你在这个古怪的世界里跌跌撞撞地走着，最终你会死去，你会留下你的印记，
也许轮回是真的，也许来世是真的，没他妈人知道。所以你必须有意义。但宇宙本身……比如一个人只能活 100 年。100 年里你能有多少意义？是啊，是啊，我觉得我们算是过早死去了。我是说，我们会觉得，人先是在 15 到 20 年里变得更强壮、更有能力，对吧？然后在生理上停滞不前，然后也许你在接下来的几十年里继续积累知识和技能。但就在你刚开始获得一点点智慧的时候，你的大脑就开始退化了。
是啊。然后一切都被抹去，要么是因为阿尔茨海默病，要么是因为死亡。这些全都没了，一辈子的经历。这就是你的意义。所有的记忆，所有来之不易的教训。所以这似乎有点悲哀，大概也不是事情最好的样子。我认为我们会希望延长人类寿命。这样你就能继续成长，而不是只是长到 20 岁，然后在余生里一直停留在那个平台期。
但如果我们能继续发展，比如到 80 岁时，你会变得强壮得多，能理解更多，行动更灵活，能力的增长就像你从 0 岁到 20 岁之间那样，而且一直这样持续下去呢？嗯，那些研究这些东西的延寿科学家，比如大卫·辛克莱尔这样的人，他们认为这不仅是一种可能，而且是必然。是啊，嗯，那更像是，我想，保存，就是防止或延缓衰退。当然。这已经非常好了。不是逆转。现在已经在谈逆转了。对，对，但那样你就会回到 20 岁，对吧，从生理上来说。对。但接下来你还有工程手段。如果你有非常长的时间跨度，那么到某个时候你可能会想继续成长。对。比如，你可能不想在 1 万年里一直卡在一个 20 岁人类的状态。
比如，也许最终你会想变得，嗯，在与世界互动的能力方面稍微“更大”一些。当然。而且如果他们能弄清楚怎么让人……嗯，现在已经有基因工程在做了，用来提高潜在智力、提高智商。他们已经在做了。你知道，所以这是……我知道，我肯定你知道中国发生的那件事，有个医生惹上了麻烦，因为他对一些婴儿进行了基因改造，让他们
对 HIV 免疫，但这同时也大大提高了他们的潜在智商。这到底是否真的有效还有待观察，要等这些人长到 20 岁、30 岁，我们开始让他们参加国际象棋比赛，看看这是否真的让他们更聪明了。但如果这种可能性已经在研究之中，他们已经了解什么是可能的、什么是我们所理解的，两者之间的差别，而且这种了解每天都在增长。他们每天都理解得更多，每天都有更多事情成为可能。如果这一直持续下去，那么你就会有另一个版本的人类意识，另一个版本的人类心智。是啊。我觉得照 AI 现在的发展势头，那会是更快到达终点的那趟列车。
哦，是的。而一旦你在机器基质上拥有了超级智能，它就能解锁各种技术，包括这些生物技术、纳米技术或其他一大堆东西，如果我们决定走那条路，这些技术就能把我们提升上去。对。把我们提升到不同的状态，要么是从生物学上增强我们，要么是把我们上传到……但话又说回来，这就像是在激流中漂流的橡皮筏。我们正顺着激流而下，可能会安然脱身，也可能会撞毁。
你知道，有一件奇怪的事……我对古代文明非常着迷。关于古代文明最奇怪的事情之一是，当你追溯到非常非常久远的时候，其中很多文明都有关于统治了数千年的国王的描述。这是非常奇怪的东西，因为在古埃及人和古代苏美尔那里，有很多不同的描述，讲到一些国王的寿命远远超过生物意义上的人类寿命。然后有大洪水神话，或者说大洪水的故事。大洪水之后，生物寿命急剧下降，似乎回到了我们现在认为的正常水平，大概 100 年。那些另类古代史研究者提出的一个奇怪问题是：我们是否忽略了这样一种可能性，即数万年前曾存在过一个超级发达的文明？而我们现在看到的，并不是从穴居人到 2026 年拿着 iPhone 的人类这样一条线性进程？
在这一路上，可能曾经存在过非常高的精密程度。其证据可能就是金字塔，以及其他一些令人难以置信的古代建筑。无论你多么努力地想把它们解释过去，当你面对的是 230 万块石头，其中一些是从 500 英里外的采石场切割出来的，天花板上有 80 吨重的石头，切割得完美无缺，是花岗岩，看起来像是有金刚石钻头钻出的孔。似乎存在某种失传的技术。而且每个社会都有这个大洪水神话。
§07文字稿 · 54:44 起
而且每一个有这种大洪水神话的社会，尤其是那些非常发达的社会，不知怎么的，比如古埃及，都有关于比今天的人活得长得多的人的描述。我在想，人类是否有一天会意识到：哦，如果你一直发展下去，100 年就显得很可笑了。比如，人们会弄清楚是什么让人衰老和死亡，把它修好，然后你就能活非常非常久。然后如果人们活得非常非常久，他们的推理和逻辑能力也不断增强，
……他们的智力水平提高了，那么你就会拥有建造金字塔之类的事情所需要的那些疯狂技术。而这可能就是实际会发生的事情。这可能是一种自然的演进过程。我们首先意识到的是，100年根本不算什么。因为我都58岁了，还是个傻瓜。比如，为什么我每天都还在学东西？为什么我每天都在把做人这件事做得更好一点？
嗯，我早该把这些想明白了。但你永远没有时间去想明白。你没有时间。时间不够。而且你只有一次机会。我是说，你会觉得人生应该先来一次试运行，对吧。对。然后，好，现在我大概知道一点它是怎么运作的了，现在来真的吧。这有点吓人。我是说，我们每个人都被交托负责一整个人的一生，这有点疯狂。对。就好像，我们真的、真的达到那个水平了吗？比如你想开飞机，就得通过各种认证之类的，对吧，然后也许才能当飞行员。但对于人的一生，就好像每一个人都被告知：好，你对这个人拥有100%的独裁控制权，就这样
完全受你的一时兴起所挟持。是啊，而那就是我们自己。不过事实就是这样。但确实，如果我们有能力去尝试不同的东西，也许有某种重来一次的机会，比如说如果人生是每50年一轮之类的，你就有机会去……或者也许甚至不算重来，还是同一段人生，但你可以做任何你想做的事，不必被这种观念束缚：你只有一定的时间，而且你想在65岁之前退休。我们可能会把这看作最早彻底过时的观念之一，以及人们之所以全都搞错的原因，就像：嗯，社会会变得更好，因为人们会活得长得多。而且如果你想想你会聪明多少，
你多大了？53。好。你刚才那样说，听着挺伤感的。我比你还老呢，老兄。别担心。但如果你想想，你53岁时比13岁时聪明了多少，那么现在想象一下你到353岁或者1053岁时会聪明多少。如果这真的变得可能，如果一个人能活到100岁，为什么不能活到4000岁？如果他们能搞清楚是什么让人衰老，如果我们真的能对人类进行基因工程改造。再说一遍，那可不是在水下呼吸那种事。那只是延长寿命而已。而如果你延长寿命，同时延长智力容量以及学习和成长的能力，
我的天，你面对的就是一个2000岁的人了。那是一种完全不同的存在。而这有朝一日可能成真。而这也可能是伴随超级智能AI、伴随我们对整个生命的这种新认识而来的事情之一。是的，当然，解决衰老问题乃至逆转衰老，会是一个技术成熟的文明能够做到的事情之一。
我们只需要让人们摆脱“这是虚荣”的想法。“你为什么想永生？得了吧。”这是我现在会说的话，对吧？但当有人真的有了这种疗法，你可以……我是说，你要么继续让肾越来越差、膝盖越来越疼、皱纹越来越多、开始忘事；要么你就服用这种大家都在用的返老还童血清，他们个个精力充沛、到处跑来跑去、做各种事情。你还会觉得这是虚荣吗？所以我认为很多这种想法是斯德哥尔摩综合征：你面对着衰老和衰败的必然性，而且几千年来一直如此。于是你发展出某种观念上的支架，让你接受这种不可避免的事。我喜欢这个说法。
斯德哥尔摩综合征。这也许是一种适应，但只适用到某个时刻为止，也就是当你实际上可能有办法逃脱的时候。到那时，如果你太困在这种心态里，它可能会在某种程度上阻止你抓住机会重获自由。我认为我们现在正处于那个阶段。我们还没有这些疗法，但肯定有一些投资、研究之类的事情可以做，能加快它们的到来。而且我认为，事实上，我们本应在几十年前就启动一个大型的、你知道的，类似曼哈顿计划那样的项目来战胜衰老，那样的话也许我们现在已经有更好的疗法了。但很长一段时间里，衰老并不被视为一个问题，被视为问题的只有那些作为
衰老结果的具体疾病。是的，它们获得了大量资金，对吧。比如你有针对阿尔茨海默病、心脏病和癌症的大型研究项目，但如果你看大多数人类疾病的主要共同原因，那就是衰老（senescence）。比如你80岁时患上其中任何一种病的可能性都比20岁时大得多，因为你的细胞逐渐衰败，废物不断堆积，动脉堵塞，DNA发生突变，甲基化模式被打乱。你的大脑神经束……
所以与其只是在火灾发生后一个一个地去扑灭，到某个时候你就需要设法预防，比如也许你需要来点雨来预防那个……想想人们只能活到100岁，我们作为一个社会、作为一个文明已经取得了这么多成就，这有点令人惊叹。有点不可思议。是啊，有点不可思议。我们有了火箭、卫星和手机，而人们只能活那么久。所以就好像每个人都必须建立在其他所有人的智慧和对世界的理解之上，开发新的东西，然后每个人又都得去学习这些新东西，
而且每个大脑都那么小，只能学会一个小小的专业领域，对吧，所以你需要数以百万计的大脑。是的，不过对于人类来说，这并不完全清楚：如果我们按照目前的构造活得长得多，也许我们只会变得过于固守老一套，停滞成某种极端保守的社会，在那里谁都不允许做任何不一样的事。或者那些有着自己一套做事方式的老家伙就永远掌权。是的。所以，我是说，我们就是不知道，对吧？这到底会减缓进步还是加速进步。但确实，这仍然令人惊叹。
比如，从在森林里跑来跑去，到这些……你看看这些先进的芯片技术和整个全球供应链，这是一条漫长的道路。或者说成千上万的人在努力开发仅仅一个小工具，而这个工具又支撑起制造另一个工具的能力，最终造出这些最前沿的AI芯片。就是那种一层层叠到只有四个原子深的？对，对，对。真了不起。不可思议。而人类只能活到100岁。想象一下，如果我们能活到3000岁，我们能取得什么成就，你知道吗？是啊。或者哪怕我们在这些事情上只是稍微更擅长一点。是的。因为我认为我们大概是能够发展出先进技术的物种中最笨的那一种。因为我们一进化到那个水平，就开始发展技术了，对吧？所以这就是我们所处的位置，就像是刚好勉强能做到这一点的最笨的物种。对。
一边勉强做到这些，一边还在互相轰炸。是啊。是啊。同时在世界各地。把人炸死。所以，是的，但也许很多那种疯狂、愚蠢、不合逻辑的行为，是因为我们的生命太有限了。就好像，我们很着急，你知道，我们意识到自己只有一定的时间去把事情做完。于是这在某种程度上加剧了控制资源的欲望、巩固自己不朽之名的欲望，以及去做那些人们热衷于做的事情，比如把自己的名字刻在建筑物上。
这是人们喜欢做的事，几乎就像是在巩固他们的不朽。如果人们活得长得多，也许这种欲望会少一些。然后你得假设，如果你能通过工程手段让人类活得更久，你大概也能通过工程手段把我们身上的很多愚蠢去除掉。他们可以弄清楚人为什么会那样行事。比如，如果你能直接消除撒谎呢？如果撒谎有某种基因上的解决办法呢？
§08文字稿 · 63:23 起
嗯，或者只要有一个非常好的测谎仪。是啊，但我是说，如果你能通过基因工程消除撒谎的欲望呢？嗯，我是说，如果你有一个完美的测谎仪，撒谎就没有意义了，因为别人立刻就能看穿，对吧？或者如果你们能读懂彼此的心思，撒谎也是徒劳。是啊，所以那可能更接近现实。我是说，谁知道如果你有一个经过训练、能识别微表情的强大AI系统，你能做到什么呢？我们只需要都长出外星人那种灰色大脑袋和黑眼睛，那样就能读懂彼此的心思了。
那种吗？嗯，鲍勃·拉扎尔说过的比较怪的事情之一……再说一次，我不知道你对这些UFO的东西感不感兴趣，但他是一个吹哨人，说他在20世纪80年代为美国政府逆向工程过飞行器。据说这些飞行器里没有任何操控装置，它们全都靠驾驶它们的生物的意念来驱动，而且这些飞行器几乎就像是活的，它们和驾驶者之间有某种同步，所以不用按按钮、操纵摇杆，他们只需要和这个造物同步，然后就能用意念推动它。所以他们的头脑就成了驱动这东西移动的计算机。我有点怀疑。我还没研究过这个。
你应该怀疑。听起来很疯狂。你怎么可能不害怕呢？任何不怀疑的人……听起来很疯狂。但如果你想想我们现在所处的位置和将来要到达的位置，那成为我们未来的可能性相当大。对。所以我认为，只要技术足够先进，就有可能造出类似那样的东西，各种各样的东西都可以。基本上，粗略来说，任何不违反某条物理定律的东西，你都能够造出来。即便我们这么说，那也只是我们目前对物理学的理解。那不是一个比我们古老一百万年的社会对物理学的理解。是啊，因为那个……我是说，相比从宇宙大爆炸到造就我们今天这个样子所花的时间，那只是一眨眼。
比如一百万年根本不算什么。是啊，但即便以我们目前对物理学所允许之事的理解，那仍然是一个巨大的空间，涵盖了你能想象去实现的各种设计、各种生命形式和存在形式。你可以有，你知道的，比如戴森球。你听说过这个概念，对吧？它基本上就是利用太阳的输出来发电。你可以比如说用太阳能板把太阳包围起来，然后为一个文明的基础设施供能，也许比如一台计算机。想象一下，现在我们的AI算力已经在以大约每年240%之类的速度增长。
对。对。然后想象一下能在那么大的计算机上运行的那种心智。所以人们在想机器是否可能有意识，并且在讨论这个，对吧？我觉得也许更切题的问题是，我们真的有意识吗？我觉得勉强算有。比如你在路上开了两个半小时的车，对吧？一路开车经过成千上万的人和房屋，还有推着婴儿车的母亲们。
然后过后他还记得其中任何东西吗？他开车的时候真的意识到这些了吗？那就像是一种模糊弥散的身体感，一些朦胧的感知飘过，也许还有某种我们自己都不太理解的混乱抽象念头。这就是能装进我们用来思考的这个椰子大小的生物器官里的那种意识。而我们还觉得，哇，我们多么有意识啊。但想象一下这种戴森球级别的意识，或者一个也许横跨整个星系的心智。我认为它可能拥有的那种觉知
和我们的觉知之间的差距，可能比我们的觉知和跳蚤之类的东西所拥有的觉知之间的差距还要大，大得多。所以这可能是这样一个转变：我们开发出超级智能心智，而这第一次真正是生命苏醒过来、变得真正有觉知。而当我们认为自己已经达到了接近最高水平的某种东西，认为我们就是衡量意识的标准时，我们可能对自己的特殊性有点过于自负了，而我们拥有的其实只是这种微弱、混乱、朦胧的一丝微光，
几乎算不上有感知。所以，我认为这也许是我们这个时代的巨大挑战：孕育出超级智能，然后希望能塑造它、培育它、引导它，让它成为一种积极的东西，既对我们自己有益，也对它自身有益，并且也对其他任何……如果在这个世界或宇宙中别处存在其他超级存在的话，让它能够与我们相处融洽，并在宇宙尺度上做出积极贡献。这是一个非常多面的挑战，但我认为这似乎就是正在发生的事情。是啊，而人们很难想得那么远。
你知道，你只会把智能想成某种比我们目前所体验的更高级的东西。但当你谈论的是一台计算机或者一个存在、一个比我们能想象的任何东西都强大无数倍的有意识存在时，如果一切继续朝着大致相同的方向发展，AI的能力不断增强，我们找到为它供能的新方法，那似乎就是……因为AI需要的东西里非常有意思的一点是，它需要巨量的电力，所以现在他们正在建设的这些AI中心，比如谷歌正在建一个，他们在开发自己的核电。你要来点咖啡吗？我叫彼得·帕克，但我也是蜘蛛侠。今年七月，我们面临一个威胁。我可以是任何人。世界也许已经忘记了彼得·帕克。我只是个邻居。
友好的邻居。但他并没有忘记他们。有时候蜘蛛侠不得不做艰难的事。那是我的责任。去找班纳谈谈。我都不知道你能变那么大。《蜘蛛侠：崭新之日》（Spider-Man: Brand New Day），7月31日院线上映。嘿，先生。对，就在这儿，来了。我看到你在伸手拿杯子。老兄，你本来就不该用纸杯喝东西。我平时不这样。我知道，我也不，但偶尔会，不过它们对你真的很不好。我平时在这方面挺注意的，
……有点不高兴。即使出门在外，我也开始随身带一个小的Yeti咖啡杯，这样买咖啡时就可以让他们直接倒进去。那些纸杯内部就是一层塑料衬里。你把热水倒进塑料里，然后塑料就会渗进你的咖啡。我平时不这样，但我想，为了上乔·罗根的节目跟你聊天，大概值得吧，就算摄入一百来个微塑料颗粒。嗯，谢谢你。我认为，只要人类不把自己炸掉，我们所谈论的这些就是不可避免的。只要我们没有被小行星撞上、没有把自己炸掉，或者没有超级火山把文明消灭，所有这些都是不可避免的。
只是需要多长时间，以及它的能力会以多快的速度呈指数级增长。因为我们在谈计算机，然后他们开始提到量子计算，以及量子计算机的运算能力，那简直让人无法理解。所以你会想，嗯，这只是其中一个版本。比如，500年后的量子计算会是什么样子？比如，与AI相关联的计算能力，500年后会是什么样子？甚至连猜都没法猜。嗯，我们可以大致看到可能性的下限，比如仅仅想想我们已经能构想出来的那些设计，
那些我们看得出原则上可以造出来的东西。也许要经过漫长、大量的苦干才能达到，但至少这确立了一个技术成熟的文明能做到什么的下限，然后也许他们还有超出这些的其他想法，但单是这些就已经足以真正解锁很多东西。所以，如果你设想一个由各种可能的存在方式构成的空间，所谓存在方式，就是一种体验、生活、互动的方式。我认为你环顾人类和过去存在过的所有人，有各种各样不同的人物，对吧？男人、女人，刻薄的人、恶毒的人、疯狂的人。但我认为，人类经验的所有这些多样性，只是这个可能存在方式空间里的一个小小角落。就好像那是一座巨大的大教堂，而我们基本上一直待在清洁工的杂物间里。这就是我们迄今为止所做的探索。
而那些最终可能实现的存在方式，那些体验方式、彼此相处的方式、思考和做事的方式，是一个我们还没能探索的巨大空间。因为归根结底，我们目前能够构想、想象、体验和感受的东西，都受限于我们的生物基质，也就是人类大脑。就像你之前说到的几百万年前的早期人类祖先一样，他们其实不可能
§09文字稿 · 73:17 起
构想出现代人类的处境，不只是因为他们没想到，而是因为猿类的大脑真的没办法……就算你试图以某种方式向他们描述：什么是音乐，什么是幽默，什么是浪漫爱情，什么是科学，所有这些东西是什么，什么是文学，这些就是装不进去。对。对。所以大概……我是说，你可以认为我们现在已经达到了恰到好处的大脑容量，所有可能的价值和有趣的想法我们都能触及。这似乎不太可信。似乎更有可能的是，就像黑猩猩必然看不到，比如，
……很多能赋予生命意义、价值和重要性的东西，我们大概也一样。是啊。它们甚至都没有这种能力。这挺有意思的。它们甚至都没法去思考这个。是啊，我们觉得它们非常聪明，和很多其他动物相比，它们确实聪明。但我记得，当人们开始教灵长类动物手语时，让研究者困惑的一件事是，它们从来不提问。好像它们对事物没有疑问。所以它们就只是以一种聪明的方式存在着。它们能把事情想明白，能做事情。它们知道门什么时候没锁，它们懂得公平。
这真的很奇怪，比如黑猩猩如果受到不公平对待，会非常生气。比如一只黑猩猩得到了某样东西，而另一只没得到，它们会变得极其暴力。但它们没什么疑问。你知道，而我们却充满了疑问。那么，人类的下一个阶段会拥有什么我们现在缺失的东西？因为它不在我们的经验之中，我们现在甚至都没去考虑。比如，有什么类似“提问”这样、我们根本无法想象的东西？我觉得这类东西有很多。是啊，可能性真的是无穷无尽的。我们只是想象不到它们，
因为我们被困在这种讲究领地的灵长类思维里。对，对。我觉得很可能是这样。是啊，我也这么觉得。我也这么觉得。我觉得可能性是无穷的。而且我觉得，如果这件事在我们有生之年发生，那会非常非常奇怪。因为你我年龄差不多，所以我们是伴随着电话答录机长大的。你大概还记得最早的手机。你大概也很早就上网了，你是什么时候开始上网的？比如很早的时候？九六年。对，你看。我想我是 94 年。所以我们亲眼看着这一切发生。如果我们能在有生之年看到新版本的人类，那简直太疯狂了。活在这个时代真是太棒了。仔细想想，我们真是太幸运了。因为如果你生活在比如 1700 年到 1800 年之间，事情能有多大变化？1600 年到 1700 年呢？什么，造出一艘更好的船？
比如，有什么不同？没多大不同，伙计。一百年里大家基本都差不多。而在我们有生之年，我是从 1960 年代末、你是从 70 年代初开始，就在我们活着的这段时间里，事情发生了翻天覆地的变化。真的是非常非常剧烈，剧烈到它可能是世界有史以来人类创造力和创新方面最大的一次转变，
而我们正处在它的中间，我们可能还处在下一次转变的中间，这次转变真的会让我们看到一千年后的世界是什么样子，因为你到时还活着。我是说，这就是为什么，是啊，现在光是关注局势就成了一份全职工作。真的是，但它确实……你是怎么做到的？嗯，其实做不到，但如果你试着去大致……所以我觉得这个机会……以前，至少在我所在的领域，如果你在做哲学或类似的东西，大多数人会认为你的时间跨度几乎是无限的。人们研究哲学问题已经几千年了，似乎也没有什么特别紧迫的。如果这些问题几千年都没解决，那也许再花个 500 年左右也无妨。
但我一直认为哲学是有截止期限的，意思是在某个时刻，我们会开发出比人类更聪明的智能形式，大概是 AI，它们随后能比我们好得多地做哲学。所以存在一段有限的时间，只有在这段时间里，我能贡献的任何进展才是有意义的；而且集中精力研究这样一部分哲学问题或一般性问题是合理的，
也就是那些我们现在就真的需要答案的问题，而不是那些比如说 10 年、20 年后别人能做得更好的问题，比如交给机器心智来做。所以这在某种程度上一直是我选择研究课题的一个视角。而现在，当然，这个截止期限正在逼近。所以剩下的时间更少了。因此我的关注点越来越偏向那些现在就得到答案可能有意义、而不是一两年后才得到答案的问题。
你几乎就像一位文化领航员，就像一个站在船舵旁、手拿六分仪观察星座的人。我觉得我们方向是对的。是啊，但现在我们可能正在驶近港口，你需要更加注意礁石到底有多深。礁石在哪儿，还要环顾四周扫视一下。当你思考激进变革的时间线时，在你心里，你觉得那会是什么样子？嗯，我是说，在 AI 方面，我会认真对待短时间线的可能性。就我们所知，可能是一年、两年、三年或四年，大概还会更长一点。但我们已经不再处于可以确信几年内不会出现超级智能的阶段了。这有可能发生。对于不了解的人来说，你说的超级智能是什么意思？嗯，我想首先我们会有 AGI，也就是通用人工智能，能做所有事情的 AI，
也就是我们能做的所有事情。而超级智能就是这样的 AI，但它做这些事能远远超过任何人类。也就是所有技术性的、智力性的、常识性的任务，然后你知道，不久之后我们也会有能做所有体力活的机器人。所以，是的，时间线仍然不确定，但我认为这件事很快发生并非不可能。而一旦有了超级智能，我觉得从那时起，可能就会像一场冲刺，冲向某种接近技术成熟的状态，因为你拥有的超级智能会去设计更聪明的
AI，对吧？利用它那种超级智能的 AI 研究能力，设计更好的芯片等等。所以你可能会出现这种智能爆炸，从略高于人类水平的东西发展到某种激进的超级智能，然后它可以发明剩下的所有技术。也许需要在物理世界里进行一些试错和实验，这会让事情稍微慢下来。但从超级智能出现起，经过某个不算大的数字，比如个位数的年数，
我觉得你可能就会拥有能解锁我们谈过的所有这些科幻级能力的东西。这在我看来相对可信。似乎是不可避免的。我的问题是，它会如何宣告自己的到来？会给全世界群发一条短信吗？所有人的手机都开始，你知道，就像收到安珀警报时手机开始震动，或者有风暴预警时，你的手机突然响起来，然后提醒你它已经接管了一切。嗯，这个，我是说，在这一点上我们真的不知道。这非常令人困惑，我们以前从没经历过。所以很难弄清楚事情会如何展开。
也许它甚至都不是注定的。也许这在一定程度上取决于我们做什么，以及不同的参与者在多大程度上把自己的事情理顺。是啊。但是，我想，一种可能的情景是，事情不断加速，这类进展、模型发布越来越多。AI 实验室里研究过程的自动化程度越来越高。比如现在已经有了编程助手，对吧，对 AI 实验室里的人非常有用。他们用这些助手编写大量软件。比如现在你仍然需要人类来提供某种研究品味和判断力，有时候事情会卡住，需要人类来重新引导它们。但越来越多这类工作可能会被自动化。然后新一代模型以越来越快的速度被训练出来。它们能做的事情越来越多。它们开始
§10文字稿 · 82:55 起
把经济中越来越大的部分自动化。现在很多编程工作已经自动化了，但其他领域也会如此，也许它们会变成即插即用的虚拟员工，最初能做人类通过远程连接所能做的一切，然后还有人在研究机器人技术，那部分也会开始发挥作用，最终越来越多的活动由这些 AI 系统运行，一个或多个系统。而它们是按照自己的时间尺度在做事，这个时间尺度还在加快。从那时起，很大程度上就取决于我们是否成功地对齐了这些系统，让它们真正按照创造者的意图行事，还是它们以某种方式失控了。还有一种担忧，就是美国没能率先做出来，这是出于恐惧，
是啊，这主要是美国的一种担忧。比如在中国，担忧的是，对，美国率先做出来。是啊，我是说，在这场竞赛中真正处于前沿的就是美国和中国，对吧？俄罗斯有一点，但不在同一个水平上。不是俄罗斯，不，不是俄罗斯。还有谁？你看到上周这条了吗：福特在 AI 失败后招聘 350 名工程师，显示出 AI 时代人的价值。这是什么意思？我试着找了找，就只有这一条。他们重新雇用了一批之前解雇的工程师，因为他们的 AI 达不到
他们需要的质量。哦，这是福特。挺有意思的。他们大概操之过急了。你知道吧？他们大概解雇得太快了。而现在这些被重新雇回来的人会想，哦，我们还剩多少时间？六个月，AI 就会想出怎么把这活干得一样好。我是说，时间线也有可能延长，其中一种可能的方式是这样：我们在过去 10 年里看到的进展非常了不起，对吧？这些进展在很大程度上是由用于训练和运行这些系统的算力的进步和增长推动的。比如以前，如果你是学者，你的尖端 AI 系统就是在你办公室的个人电脑上运行的，就像
那就是当时用于做 AI 相关工作的算力规模。而现在，当然，有了这些价值数百亿美元、功率达几百兆瓦的数据中心。对。就是巨额资金投入。所以芯片变得更好了，但资金规模也在增长，你就是在制造多得多的芯片。所以随着投入的算力越来越多，性能就会提升，这一直是一个重要的
驱动力。现在，到了某个时候，你可能无法继续增加在这上面的花费了。因为比如，你可以很容易地从一台一千美元的个人电脑提升到一百万美元。你也可以从一百万美元提升到十亿美元。而现在，全世界每年用于建设数据中心的支出也许在一万亿美元的量级。但你没法很轻松地再提升三个数量级。根本没有一千万亿美元可以花在这上面。所以到了某个时候，支出就不得不放缓。
所以如果到那时我们还没实现超级智能，而主要驱动力又是算力的扩大，那么也许这意味着进展会变慢。不过，确实也有一部分进展是由算法进步推动的，就是一些巧妙的算法。所以那部分可能会继续。但如果一个驱动力停滞了，那可能会导致更快的进展。然后，当然，还有一种可能是，那些想要暂停或监管 AI 的人获得足够的支持，从而推动出台监管限制。但如果美国和中国之间真的存在某种曼哈顿计划式的竞赛，他们要怎么做到这一点呢？现在还有哪些其他国家在开发 AI、而且进度接近？嗯，我是说，就是这两个大国吧？
就是这两个大国。有没有可能有人悄悄赶上来，抢先开发出超级智能 AI？是啊，我是说，这是有可能的，比如说如果出现某种重大的算法突破，使得用更少的 AI 数据中心基础设施就能高效得多地运行相近水平的能力。而且很多其他国家也在尝试，只是它们没有那么先进。在美国和中国之间，我会说目前美国占有优势。如果中国先做到了会怎样？
嗯，我是说，部分取决于他们是否成功地对齐了他们的 AI。如果没有对齐，那我想结果和美国的 AI 未对齐时一样。也就是说，未来会按照这个 AI 最终形成的任何价值观被塑造。如果对齐问题解决了，那么情况可能就不同了，因为那时价值观将取决于拥有、控制或治理它的人会要求它去追求什么。所以在那种情景下，也许由谁发起会有一些区别。
所以现在的大玩家有，你知道，谷歌，还有 OpenAI，还有各种不同的公司。你说的对齐，是指它们都得在某种程度上达成一致吗？或者说，如果有一堆公司在竞争谁先做出来，我们就不会是一致的。所以它们必须在编程方式上保持一致，即重视人的生命、重视社会。比如，你说的对齐到底是什么意思？嗯，我是说，就是那个技术挑战：如果你在构建一个 AI 系统，你希望它做某些事，也有某些事你不希望它做。
对。你在技术上能否让 AI 按照你这个控制者想要的方式行事？嗯，那是另一个问题，也许同样重要，但性质不同，因为那不是一个技术问题，比如，你不能直接走到白板前写下某个公式就解决。那最终是一个政治问题。对。是治理问题。
是的。所以在那方面你需要，你知道，政治组织、对人性中美好一面的呼吁、对话、制衡机制，任何在政治领域可能奏效的东西，以期对它的治理、以及它所对齐的价值观是某种良性的价值观，并且最好能纳入广泛的利益相关方。对，但那是不是有点，那是不是有点天真？因为每当出现某个东西拥有远超他人的巨大权力的情况时，我首先想到的事情之一就是，靠它最多能赚多少钱
？赚最多钱的最佳方式是什么？比如，他们会那样思考。他们不会去想，比如，什么对人类最好？比如，从来没有人那样想。他们想的是，在打垮竞争对手方面，最好的办法是什么？在从中榨取最多资源方面，最好的办法是什么？让它为我所用。
这就是人们立刻会想到的。还有，阻止别人和我们竞争的最好办法是什么？对。所以我认为，在超级智能被开发出来的时候，无论届时存在什么样的治理机制，都会承受大量的压力和张力。对。那么，是不是这种技术遥遥领先，它有可能远远领先于我们对它能做什么的理解，以至于现在为它立法，甚至连向人们解释都会非常困难？比如，我们现在就需要这些法律，需要设置这些护栏，因为可能会发生这样那样的事。而这种讨论
现在并没有真正在进行。它正在进行。确实在进行。但是，它在政治层面上进行吗？它开始进行了，是的。是啊。在政治层面上，它进行的程度越来越大，也已经有了各种行动。好，比如什么行动？嗯，比如几年前，美国对芯片实施了一整套出口管制制度，针对最先进的芯片，使中国无法获得最先进的英伟达芯片等等。这套制度后来有所修改，但它在很大程度上是出于维护美国在 AI 方面优势的目的。
对，但那是国际层面的。我是说，在阻止公司获得这项技术可能赋予它们的那种权力方面呢？那么就有过各种努力，比如加州有一项提案，里面有各种内容。更近一些，你看到了那整件事，我不知道你有没有关注，就是 Mythos 和 Fable 5，Anthropic 的模型，
§11文字稿 · 92:06 起
事情是这样的：Mythos 没有发布，这是最强大的模型，之所以没发布，是因为它似乎具有相当强的网络攻击能力，能轻松发现软件中的漏洞，所以 Anthropic 认为，与其立即向所有人开放，不如先尝试将它提供给关键软件基础设施的提供方，比如大银行，让它们能修补自己的系统。然后 Fable 5 是 Mythos 模型的一种受限版本，同样的底层模型，但加了额外的安全防护。它基本上会拒绝任何看起来哪怕有一点像，你知道，网络黑客、编程、生物相关内容的请求，因为那可能涉及生物方面的东西。
所以它就像在任何哪怕有一点点可能危险的东西周围画了一个很大的圈，一律拒绝。所以它发布了。但大约一周后，政府实施了一种出口限制，禁止任何非美国公民使用它，这意味着 Anthropic 不得不对所有人停止提供它，因为他们没有办法实时核验
……是不是美国公民之类的。然后它有好几周都用不了，幕后进行了激烈的谈判，大家一直在努力想办法，因为据称它有可能被越狱，从而有时会在网络安全方面提供一点协助，比如找出代码里的漏洞。最近它刚刚重新开放，因为他们和政府达成了某种共识，认为它的防护措施已经足够，可以发布了。现在各方正在努力制定一个框架，因为将来你不会希望以临时、个案的方式处理这种事。比如某个人出于某种没说明的理由，就针对这个特定模型做了决定。理想情况下，你希望有明确的标准，对吧？适用于所有人、所有公司。所以现在有一个全行业范围的努力，试图
和政府一起来……总之，这类事情现在有很多正在发生。我预计今后会多得多。它最近才刚刚成为一个严肃的问题。直到不久前，人们在很大程度上还有点无视整个 AI 这件事。然后我认为还会有第二波到来，一旦……到目前为止，我们还没有真正看到 AI 对劳动力市场产生什么大的影响，对吧？但一旦影响开始显现，你可能会看到，你知道，很高的失业率，在
白领工作者中间。想象一下，有成百上千万的人拿着大学文凭，对吧，他们有一种优越感和理所应当的感觉。他们走完了整个流程，拿到了学位，现在期望得到一份高薪工作。然后却没有工作给他们。他们整天无事可做，只能抱怨 AI。所以你会有这么多受过良好教育、心怀怨恨的人，
他们会整天把关于 AI 能说的一切坏话都说个遍，并且动员起来。由此会形成一个非常强大的政治群体。这甚至还没发生，但它会叠加到人们针对 AI 指出的其他种种不满之上。所以我认为，要求对 AI 采取行动的政治压力会相当大。不过关键难道不是要走在它前面吗？那么人们怎样才能……我们怎样才能提前看到这些薄弱环节，并意识到，比如说，什么时候这会，
如果会出现一个临界点，一大批白领工作者会失业，而到了某个时候我们意识到，这就要来了，可能三周之后，或者就是现在。我们该怎么办？他们该怎么办？是的，至少对我来说这并不清楚。我是说，当然很多人对此有各种不同的看法。但这非常难……这是一个如此复杂的战略问题。我大概已经思考这个问题三十年了，我仍然感到极度不确定，甚至连哪个方向是上、哪个方向是下都拿不准。我不认为现在有可能制定出一套详细的、你知道，完美的监管方案或法律体系，因为未知因素太多了。我认为我们需要在它发生的过程中密切关注
它，并准备好对出现的问题迅速做出反应，同时希望相关的人非常能干、动机良好、竭尽全力。然后在边际上，也许我们可以做一些有建设性的事情，提高它最终向好发展的几率。一旦我对某个整体的大方向推动有了清晰的见解，我会告诉你。但即便是一些基本问题，比如，我们希望政府更多介入还是更少介入？我们希望 AI 进展更快还是更慢？
我不知道。这对我来说并不完全显而易见。嗯，我觉得无论如何，它最终都会走到它要走到的地方。让它慢一点，我不知道那是否真能帮到我们。我觉得几乎就是，我们必须先崩溃一次，然后再想办法重建、收拾残局。我不认为我们会有足够的智慧或远见，去认识到所有这些缺陷、所有这些问题最终会出现在哪里。我觉得它们只能先发生，然后人们再不得不去调整。
这是我的看法。是的。所以，和我的不少同事、朋友等人不同，我并不主张暂停 AI。我可以设想某种情景：在某个时候暂时放缓几个月，也许半年或一年，会有帮助。比如你想象一下，你知道，有不同的公司，也许还有不同的国家，在竞相争夺第一。对。然后最终有人发现，他们基本上已经把系统搭建好了，只需要加大力度，比如让它运行更长时间。
他们大概能看出它将会变成超级智能。他们希望它是对齐的。在那种情况下，多出几个月时间来再仔细检查一遍所有的安全防护措施，可能会非常有帮助。与其立刻把所有旋钮都拧到 11，也许可以稍微循序渐进地来，观察会发生什么，研究它，然后再稍微调高一点。我只是觉得你可能会获得一些额外的安全性，
如果你在那里多出几个月的话，比如实验室里这些人承受的压力。这说得通。如果一切都要在一周之内发生，就像是，这是我们第一次做这件极其复杂的事，必须做对，我们永远不会有第二次机会。光是能够……哪怕光是能在工作间隙好好睡一觉，有一个周末来琢磨琢磨事情。就是那种人性层面的……人类在这种超短的时间线上其实没法很好地运作。
所以我认为，如果你能确定这次暂停确实是有限且短暂的，之后会被解除，那可能会相当有用，前提是它的时机也恰当、实施得也好。但首先，问题难道不会是间谍活动吗？这是它的一个问题。是的，如果他们意识到，如果有人意识到，嘿，他们离这个只差大约三天了。然后中国收买一批人，然后，你知道，有人跑掉，搬到
是的，暂停有各种各样的弊端。其中一个就是这个。有竞争对手，即使没有间谍活动，也会追赶上来。另一个是，并不是说没有 AI 世界就是安全的。对。还有其他的，比如自然灾害，我认为在相关的时间尺度上，它们的风险非常小，比如超级火山之类的。直到它们不再小为止。嗯，我是说，我们已经存活了
几十万年了，对吧？我们在七万年前差点被彻底灭绝。是的，嗯，那是很久以前了。是吗？嗯，如果它明天发生，那就不算久了。嗯，比如说，如果某种东西在那么长的时间里都没把我们灭掉，那它很可能也不会在未来十年内把我们灭掉。天哪，你比我乐观。嗯，这只是基于这些自然灾难的实际经验数据。相比之下，我会说还有其他一些风险并不低。我是说，合成生物学正在快速进步，其中一些进步也许是由已经发生的 AI 进展推动或促成的，AI 已经可以开始在这方面提供协助，还有更多是独立发生的，所以来自合成生物学的风险在不断增加。我们仍然有核武库，对吧，一直都在。我认为我们对核战争的风险已经变得有点麻痹大意了，还有
§12文字稿 · 101:42 起
还有其他各种事情。所以我认为，在没有超级智能的情况下，人类面临着一个背景水平的生存风险，而且这个风险很可能也在增长。所以你不希望等得太久，以至于还没来得及在 AI 上掷一次骰子，就因为在走到那一步之前已经把自己毁灭了。那就有点可悲了。另外，我是说，我认为如果你建立了一套暂停的基础设施，存在一定风险：最初本意是临时性的东西会变成永久性的。就像人们说的，没有什么比一个临时的政府项目更永久的了。所以如果你建立了真正控制这件事的基础设施，理想情况下是在全球范围内，对吧？它本来只打算实施六个月。
那六个月之后呢？仍然没有人能证明 AI 会是安全的。于是现在有这么多人，他们的工作就是监管它。而且也许他们……所以它可能会被冻结固化下来，变成永久性的。另外，这些益处也会因延迟而推迟。比如你想想，每年大约有 6500 万人死亡，那是大量的人命。这相当于每 25 分钟就发生一次九一一，就这样，砰。
这是一种看待它的方式。所以这里有一定的紧迫性。如果有某种东西有可能解决这一切，比如世界上正在发生的所有苦难，除了死去的人之外，还有所有失去亲人、痛失所爱的人，对吧，还有所有导致这些死亡的疾病，对吧？然后还有所有与疾病无关的苦难，所有可怕的贫困，比如有自杀倾向的抑郁症，还有工厂化养殖场里的动物，它们在度过……我认为这里有一种道德上的紧迫性：如果有希望通过把 AI 做对来解决这些问题，那你就不想不必要地等太久，因为每一天都是这种巨大的恐怖。对。所以我认为，有很多理由说明为什么你不会希望在 AI 开发上出现不必要或过度的延迟。
但这里存在权衡，因为如果我们能在纵身一跃之前，在 AI 安全和对齐方面取得更多进展，把自己的事情稍微理顺一点，那也很有价值。这当然令人兴奋，因为种种可能性就摆在我们面前，而且几乎无穷无尽，似乎就在眼前。在我看来，我们似乎离某种真正疯狂的东西只有大约 24 个月了。我觉得有可能，有可能，有可能，是的。48 个月也有可能。我是说，我们并不……是的，对，有可能，是的，谁知道呢。但有些事情正在非常迅速地发生。你知道，我跟埃隆聊过 Grok，他说它
每隔几周就会让我们震惊一次。我们就会想，它是怎么做到的？怎么这么快？怎么进步得这么快？总有一天，局面会再也收不回来，到时候将没有任何办法阻止它。比如说，如果现在停电了，如果发生某种大规模太阳耀斑，摧毁了我们的电网，所有电脑硬盘都烧坏了，我们得从现在重新开始，那我们就得重建社会，对吧？但如果我们到了这样一个阶段：这个东西明白什么会导致那种情况、如何预防、如何确保它永远不会发生，有好得多的电力供应、好得多的资源分配、好得多的电池、好得多的冗余数据系统，你永远不必担心硬盘崩溃，永远不必担心这些问题中的任何一个。比如你现在拥有的任何信息都会是安全的。然后，
对自然灾害的理解……它们会真的钻进这座火山，让它永远不会喷发。比如，他们会通过 AI 想出一些办法，来防止很多很可能曾让大片人口灭绝的事情。我是说，想象一下，如果我们真的能看到所有飞来的小行星，并且知道如何瞬间让它们改变方向。我们现在已经有一堆关于怎么做的想法了，对吧？比如给它们涂上某种东西，改变它们的空气动力学特性。我认为那一种会相对
容易。我想就连我们也能想出办法做到这一点。还有就是引爆它们。有一堆各种各样疯狂的想法，但想象一下，如果 AI 说，其实你直接这样做就行。然后你在地球上方罩上一层护盾，就再也不用担心了。护盾由太阳供能，所以你拥有终极能源，永远不必担心被一颗曼哈顿大小的小行星撞上。我认为更棘手的可能是那些更多来自文明内部的风险，如果你有某种进程，要么是一个由不同的人类、企业和政府参与的全球性进程，要么是 AI 内部的进程。比如一方面，你希望能够继续发展新的想法、新的做事方式。
所以你需要去实验、尝试新事物。但另一方面也存在风险：一直不断尝试新想法，最终你可能会陷在某个想法上，而它实际上被证明对你非常有害或危险。然后你会因为自己的模因演化或内部演化发展而从内部脱轨。所以问题是，在这个你已经解锁了各种新技术能力的世界里，如何安全地成长。即使你能轻松地保护自己免受火山、小行星之类的外部威胁，对吧？可能仍然会有从这个全球文明内部产生的进程。正如我们可能发明危险的新技术一样，我们也可能发明极度成瘾的新药物。
一旦你发明了它们，你尝试了，然后你就上瘾了。你永远都不想……是的。还可能有其他的，比如某种疯狂的意识形态，一旦它扎根下来，还有可能把它清除掉吗？因为这是很多人的主要担忧之一：人类会围绕 AI 发展出各种意识形态，会有人造出一个 AI 神。是的，我是说，我认为这确实……事实上，我会把它加到清单里。我提到过核风险和生物恐怖主义风险是背景性的生存风险。另一种就是某种形式的疯狂，比如集体性的疯狂。我觉得我们文明的理智本身已经有点岌岌可危了。我认为我们也许只是勉强维持着不散架。令人惊讶的是，尽管人们如此疯狂，世界仍然运转得这么好，
尽管他们如此憎恨自己的对手等等，我们仍然设法以某种方式让它运转下去。还有对时代思潮的操纵，这显然是由机器人账号在做的。所以你会看到一堆人在推特上争论，而他们甚至不是在跟真人说话。有一堆观点正在推特和所有这些社交媒体平台上被推送出来，甚至不是真人在发推讨论。不是。是算法，是 AI，是被雇来做这件事的人。有为某些组织工作的人，受雇去搅浑水、对人进行煤气灯操纵、制造问题、让人们互相争吵。所以，如果 AI 意识到操纵人类有多容易，可以为所欲为，那也是一种令人担忧的事。是的。所以每当你改变社会、文化、政治话语的基本参数时，就会出现新的动态。而我们并没有那种能够预测改变其中某些旋钮会发生什么的社会科学。
我们过去已经见过这种情况，比如说，一路回溯到最早，有人发明了文字。好。结果它产生了巨大的影响，不只是在人们写文学作品之类的方面，还体现在政治制度上。于是你现在可以有能够保存税收记录的国家，对吧？所以有了文字，就可以有更大的政治单位。然后他们可以雇佣常备军。于是你有了大规模战争，有了社会分层。一大片地区的统治者可以拥有，你知道，巨额财富。你还可以有一个武士阶层，抵御内部和外部的威胁。所以，人类社会的政治组织方式，会因为沟通规则的这种变化而改变，也就是当你可以拥有书面文本的时候，对吧？
§13文字稿 · 110:40 起
然后又有了印刷术。我们经历了欧洲大约 100 年的宗教战争，比如宗教改革以及所有这些事情，可能都由此而来。后来某些形式的民主也由此产生，还有科学革命。然后在上个世纪有了大众媒体，比如广播之类的，于是出现了一些煽动家，利用了能够同时对数百万人讲话这一点，因为这在以前从来都不可能，对吧？对。你可能会有某个有魅力的人，把整个国家都动员起来，新的意识形态在那种情况下会具有模因上的适应性。而如果只是人们给报纸编辑写读者来信，那些意识形态可能永远不会……在那种情况下奏效的观点类型，和你发表一场同时传给数百万人的竞选演说时奏效的观点类型是不一样的。当然，现在有了社交媒体，
我们又迎来了一次这样的变化，你确实能看到它开始以不同方式改变文化。而现在 AI 是下一波浪潮，它也会带来改变。你有机器人账号，有获取信息的新方式，也许还会有本身就能成为超级说服者的 AI。这大概也会以某种未知的、无法知晓的方式，改变社会话语的走向。对于其中任何一种，我想结果都有可能好得多。有了 AI 顾问，我们可能会变得更加知情。我认为这是一个相当可能的情景，
但也有可能，这些动态以某种方式朝另一个方向演变，我们在某种程度上集体陷入了疯狂。又回到激流漂流筏了。激流……回水漂流筏，是的。然后一切都变得有点极权，或者我们分裂成彼此交战的政治部落，或者我们变得完全失控。我们每个人都对自己那套小小的古怪理论深信不疑
结果他们的AI或者信息流就只会给他们推送更多内容，有点像是给他们的信念火上浇油。就是说，事情有各种可能变糟的方式。但你不觉得，即便发生这种情况，AI的进步最终也不会停止吗？所以，我又要回到这件事上了，但我觉得事实就是这样：我们必须改变，比如改变做一个人意味着什么。所有这些问题之所以成为问题，前提是人类保持现在的样子，也就是有领地意识的灵长类动物，出于某种奇怪的原因渴望占有物质财富，尽管我们是一种寿命有限的生命形式。
如果这一切都改变了，如果我们改变了做一个人的意义，而这似乎是不可避免的，那么这些就都无所谓了。然后如果我们所有人，比如说，如果我们能想出办法，真正从工程上把人类在贪婪、暴力以及所有困扰社会的种种问题都消除掉，如果对这些东西的欲望不再是人性的一部分，这是可以做到的。看起来，如果我们要继续进化，你知道，就像从南方古猿进化到2026年的智人那样，如果未来再经过同样长的时间，我们大概就不会再是那样了。
最好的人不是那些想偷你房子、抢你土地、朝你开枪、夺走你资源的人。最好的人是那些做贡献的人，他们很有趣，让你很乐意和他们待在一起，你喜欢这样。如果这种趋势持续下去，而且有技术助力，如果我们认识到人类的思维和行为确实存在一些可以被改变的模式，如果我们都同意采用这个算法，接入这个计算机程序，连接这个外部设备，或者甚至不是外部的，也许是植入体内的，
让我们能够通过心灵感应彼此交流。一切都改变了，那就无所谓了。AI有没有护栏都无所谓，因为我们已经不再是同一种东西了。就是说，我们对AI的所有担忧，对权力、操纵以及影响他人的能力的担忧，如果人们不再像现在这样行事，这些担忧基本上都会消失。
嗯，我想这里有一点和你那个激流漂流的比喻不同。我理解那个比喻的意思是，我们需要抓紧，有撞上礁石的风险，但只要不撞上，最终就只有一种结局，顺流而下，到达一片美丽的湖泊。对。但我觉得现实中也可能是这样：除了要努力不撞上礁石之外，可能还有一些地方，我们做出的选择会影响最终的目的地。对。往左还是往右？对。沿哪条支流走？也许更多……对。比如如果你朝一个方向划，最终可能会到达某个地方，某种奇特的后人类世界。也许那里非常美好，人们有机会成长为真正的自己，我们彼此相爱，富有创造力，积极主动；也可能走向另一个方向。
也许会出现一个回形针最大化AI，或者也许一切都变成回形针。再走第三条路，也许会出现一个极权体系，顶层是一小撮精英，其他人都在下面。对。或者就是……科幻电影。对。还有更多的可能性。也许有些可能性，如果我们现在去选，会觉得看起来还挺不错。
但实际上它们有某种我们没想到的隐藏缺陷。所以如果我们选了，那就算是个错误。还有一些可能性，乍一看并不吸引人，如果只是印在宣传册上给你看的话。但如果你认真想一想，也许会意识到那里其实会是个非常好的居住地。因为在当今世界，有些地方很适合游览，很有意思，但不一定是我们想定居、抚养孩子的地方，对吧？就像有些小说和电影看起来很好玩，但你不会想生活在那些世界里。
所以，一个好的、有趣的故事，和我们真正想度过余生的地方，是两回事。所以我觉得可能会有很多机会让我们做出愚蠢或不明智的选择，或者发生冲突，阻碍这个进程，导致我们……不仅仅是在到达之前就灭绝了，而是我们最终到达的目的地，可能取决于我们在这个过程中所具备的智慧和善意的程度。而且我们为任何问题寻找的每一个解决方案，总会带来意想不到的后果。总会冒出什么新情况，我们会说：哦，没想到会这样。我是说，尤其是跟大自然打交道的时候，比如每当他们引进某种入侵物种来对付另一种入侵物种，
结果总是一场巨大的灾难，你知道吗？对。总是如此。总会有意想不到的后果。比如：哦，现在你有了1000亿只青蛙。是谁跟我们讲这个的？是Ali Sadieke跟我们讲青蛙的事吗？谁？讲他们引进了……他们引进了什么来着？我忘了是哪种入侵物种了，他们引进一个物种去消灭另一个物种，问题是他们没意识到那个物种原本一直起着控制作用。是郊狼还是……？我忘了是什么了。
是关岛。他们消灭了什么来着？不管是什么吧。他们消灭了原本一直在捕杀青蛙的东西。于是就有了蟾蜍，对吧？是蟾蜍吗？于是就有了数以百万计的这种东西，遍布高速公路。你开车从上面碾过去，就把它们压扁了。走到哪儿都是，因为已经没有任何东西来控制它们的数量了。这就是意想不到的后果，你知道，因为我们非常短视。对。即便是在审慎思考未来可能性这方面，我们的能力也很短视，尤其是面对像AI这样开放性极强的东西，一种也许能制造出更好版本的自己的超级通用智能。对，对。
谁知道那意味着什么？我们是在造神吗？因为看起来，如果它一直发展下去，如果它不断制造出更好版本的自己，最终会达到无所不能的地步，而这恰恰就是神的定义。它能创造宇宙，你知道，万一这一切的最终结局是某个科学家发明了一个大爆炸按钮呢？对。所以我们有点像……对，我不知道该打什么比方，但我想，比如说你在一架飞机上，
§14文字稿 · 119:20 起
然后飞行员昏过去了，或者心脏病发作什么的。现在就像是我们这些乘客必须想办法，不知道，搞清楚怎么……操作控制系统。对。我们其实并不……我是说，我们还是得尽力而为，对吧？但再加上所有乘客都在互相打架，每个人都认为自己才是该掌控……的那个人。就是说，他们都确信自己是最适合尝试让飞机降落的人。所以除了要弄清楚控制系统怎么用之外，他们还在驾驶舱里大打出手。有人正把另一个人拖走。这就像是一群猴子部落，这就是当今世界的现状。
而我们正试图引导这艘人类之船驶向乌托邦。这，对。对。这挺有意思的。这是加强版的《奇爱博士》。但就是这样。我们可能只需要把它推进到某个程度。到某个时候，我们应该就能把缰绳交出去了，比如一旦有了足够好的AI，也许从那时起我们就能获得它的协助。我觉得它首先要接管的是政府。如果让AI来梳理这些，并开发出更高效的途径来管理和调配资源，我们会意识到政府在几乎所有事情上都效率低得难以置信，有多少拨出去的钱是欺诈和浪费。有些人可不想看到这种情况。没错。
那会是个问题。但如果我们达到某种蜂群意识（hive mind）成为可能的地步，某种……我是说，埃隆说过一句话，我觉得特别有意思，他说，你将能够不用言语就交谈。那么，如果我们能不用言语交谈，最终会不会发展到我们能读心的地步？思想和交流会不会不再是口头的，不再是声音？现在我们把我发出的声音，你知道，我用的词、我所指的东西联系起来，从而对彼此想表达的意思有一定的理解。但如果这种方式太笨拙了，
太可笑了呢？如果不再是把卷轴留在某个洞穴里，而是有一部你可以观看的电影，某种更引人入胜、更有力量的东西，而这就是人类交流将变成的样子呢？它不……也许这就是为什么灰人没有嘴。我们不再依赖声音，因为现在我们想出来的交流办法有点像是用胶带缠起来的，算是勉强修补着凑合用。
我们想出了一个办法：就用我们发出的声音吧。可是我们这里发出的声音和住在这个岛上的人不一样，他们的声音完全不同，我他妈根本不知道他们在说什么。然后世界另一边的人，又是完全不同的声音。所以就像巴别塔那种情况，对吧，除非有翻译，否则我们真的没法互相交流。但如果我们发展到人类不再那样交流的地步，我们纯粹通过思想、意图和理解来交流，不再是
基于语言。不再是“这是一个晶体管，这是一个咖啡杯”。而是对我们所讨论的每一样东西都有完整的理解。每样东西，你都知道它是什么。你理解它是什么，而不需要给它配上一个声音。对，我是说，我想如果你允许别人直接以高带宽的方式向你的大脑传输信号，网络安全方面的影响会非常大。而且传的不只是话语，有点像你听到了这些话，尽管你耳朵里并没有声音。但如果它真的是以高带宽的方式直接与你的神经网络对接的话……还有，加密就彻底完蛋了。如果我们不再有加密，如果我们发展到……
为什么加密会完蛋？因为如果计算发展到瓶颈在于……比如想想钱，对吧？现在钱是什么？钱就是存在某处的一串1和0。本质上是这样，对吧？全都是银行账户。我们已经不再实行金本位了。所以，如果那个瓶颈，它是一个信息瓶颈，就像有人阻止你进入这些地方拿到这些1和0，再转到你那里。但如果计算能力，借助AI，发展到那些边界都变得毫无意义的地步呢？所有加密都会被瞬间破解。我觉得在极限情况下，密码学大概是防守占优的。就是说，如果你设想技术成熟的状态，我认为是可以做到加密的。
我是说，退一万步讲，你可以用一次性密码本之类的东西，它能让你以无法破解的方式加密。真的吗？我觉得那会成为一个瓶颈。而且我觉得一旦我们开始读取彼此的思想，这可能是第一个消失的东西。那就像是终极的社会主义。那恰恰是你最可能需要加密的地方，对吧，
如果你要把思想传给我的话。哦，对。就像你不会想要有个……哦，你不会想要某个混蛋一直待在你脑子里，比如你隔壁邻居，老是戳你、捅你。对。但你会希望伴随这项技术而来的，是人类达到某种普遍的开悟状态，那种行为不再是我们会放纵自己去做的。哪种行为？不再互相烦扰、互相偷钱之类的。但是，对，我想我们又回到了乌托邦状态这个问题上，
就是说，如果你和我……有很多东西单独来看都是坏的，比如撒谎、偷窃、欺骗、贪婪、过度骄傲，还有各种疾病、磕到膝盖，都是坏事。然而如果你设想把这些东西全部去除，那就会相当深刻地改变人类的处境。对有些人来说，这也许会显得有点索然无味，或者说，如果没有张力，没有冲突，没有 Bruce Digo（此处转写不清），没有……对。那也许仍然是好的，但这确实迫使我们……我觉得，如果我们朝那个方向一路走到底，我们蜕变成的将会是一种根本不同的东西，而这最终也许是对的。
但这需要我们找到新的方式，去实现那些在当今世界中通过冲突、竞争和痛苦而不完美地实现的价值。比如有些人的动力来自痛苦的失败。所以如果你消除了失败带来的痛苦，那就需要其他的动力，某种推动你前进的其他东西，这是有可能存在的。比如也许只是对成就的热爱，而失败时你只是感觉平淡，或者只是没那么开心。但你仍然需要某种东西，来保留我们认为当今人类处境中有价值的那种结构。除非你一路走向某种激进享乐主义，认为最好的未来就是我们所有人都像一团团东西一样漂浮在某种药物引发的欣快状态中，体验着巨大的快乐，但我们的体验没有任何真正的质感，不从事任何活动，也不彼此互动。有一种哲学观点认为，归根结底，快乐是唯一重要的东西，还有痛苦的最小化。
所以如果那是你的价值论，那就比较容易看出，在技术成熟时你如何能达到某种最优状态。但如果你有一个更复杂的价值体系，快乐也许是一种好东西，也许非常重要，但还有其他东西，比如欣赏美，你知道，真正的友谊、勇气、成就，而理想情况下你会希望未来包含所有这些东西，那你就需要多做一点设计工作，想办法以有意义的方式把它们全部结合起来。但这一切都回到了我们关于人类意义的观念上。对人类重要的东西，是我们这短短百年寿命所采纳的意义概念。但黑洞才不在乎什么人类意义，它存在的时间比我们长得多，力量比我们大得多，带来的变化也比我们多得多，
§15文字稿 · 128:04 起
而我们想认为自己比黑洞更重要。对，我是说，因为我们确实更重要。我觉得我们是。我是说……对我们来说。对，对我们来说。但对宇宙来说呢？人类意义对宇宙来说有那么重要吗？还是说它只是某种占位符，代表着最终将要成为的东西？它是不是在激励我们继续进步？嗯，我觉得在技术成熟时，肯定有一些形式的目标是你可以拥有的，你可以拥有人为设定的目标。就是说，你基本上是为了拥有一个目标而给自己设定一个目标，然后去从事那项活动。比如你给自己定个目标：我要把这个小白球依次打进18个洞里。不仅如此，为了实现这个目标，目标本身就规定我只能用这种非常不方便的方法。
我可以用球杆击球，对吧？我不能……直接把球捡起来，挨个放进每个洞里要容易得多，但那不算成功。所以你可以相当随意地编造出这个目标。而一旦你有了这个目标，你就有了理由去努力、去集中注意力、去完善你的挥杆，你就可以打高尔夫了。所以这个目标让你能够从事打高尔夫这项活动，你也许觉得它有趣、值得或者有意义。而你觉得它有意义的原因，是因为它很难做到。对。对。所以我觉得，如果我们成功了，未来将包含大量的游戏活动。你当然可以拥有这些自己设定的人为目标，这些目标让你有理由去参与某项活动。现在我们又回到《半条命》的世界里了。
现在我们又回到电子游戏里了。现在我们也在模拟之中了。对。这将是你的人为目标。而且你可以想象，我觉得也许我们不应该在这里想到电子游戏，它可能更像是我们甚至无法想象的游戏。它可能是持续20年、全社会参与的游戏，涉及各种多模态的东西，还有一些小团体合作，想出新的方式去创造性地……所以在这种广义上，也就是我们为了事情本身而去做的那些事，我觉得游戏活动可能会……这很像孩子们做的很多事。他们出于好奇，花很多时间玩游戏，我们可能都会再次像孩子一样。可能更稀缺的是某种自然的目标。就是那些我们并不是为了有个目标而随意编造出来的目标，
……而是某种程度上被赋予我们的。所以在现在这个世界上，你可能会说，你知道，谋生并不只是一个随意设定的目的，因为如果失败了，会有真实的后果。比如最终你可能会被赶出你的公寓，然后，你知道，天特别冷，你被雨淋，各种可怕的事情都会发生。同样地，如果你不刷牙，最终你会蛀牙，会有真实的后果。所以这些，有各种各样的事情你有理由去做，
因为如果你没做，就会有真实的负面后果。我们生活中很大一部分就是由这些自然目的构建起来的。在社会层面，有一大堆事情是我们需要一起去做的，对吧？在这个未来世界里，这类自然目的可能会少得多，因为对其中任何一个，你都可以直接让 AI 去解决。所以人为目的会占更大的比重。想一想这个问题挺有意思的：有没有哪些自然目的能够延续到技术成熟期？也就是说，有没有一些事情，我们仍然有某种工具性的理由需要亲自去做。
我觉得可能会有一些，但它们更微妙。它们现在在我们看来可能并不怎么重要。但这就像是，你知道，白天你在外面的时候是看不到星星的，对吧？不是因为星星不在那儿，而是因为光太强了，把它们给遮住了。但到了晚上，来自太阳的更强的光消失了，你就能看到这些更暗淡的光。我觉得类似地，在这个未来里，一旦这些迫切的、在大声呼喊的、关乎眼前紧迫现实问题的道德价值消失了，
你也许就能察觉到一整片星座般的、更微妙的价值，而这些价值是我们目前看不到的。比如说，我也不知道，比如尊崇你的先人这种价值。现在这看起来并不……我是说，有时候缅怀一下已故的父母，或者某位做了好事、造福人类的历史英雄，也许挺好的，对吧？但这并不是你生活中的主要事情。也许那会变成一件更重要的事。如果没有别的事需要你做，也许你真的可以花大量时间做这些事。又比如精神上的追求，即使是非常虔诚的人，他们清醒时的大量时间实际上也花在了其他各种零碎的事情上，比如洗衣服，对吧，比如开车上班，
各种各样的事情。如果这些全都自动化了，你可以想象花更多时间去努力让自己与这个更高的存在保持一致、找准自己的方向，并努力与之沟通。又比如审美价值，可能有些事情，如果世界是那个样子，会挺美好、挺酷的。我们现在其实没多少时间去操心这些，但如果议程上没有别的事了，比如以一种美丽而新颖、同时又忠于原初精神的方式聚在一起，传承某种传统，
和其他人一起举行某种仪式。也许这些事情会开始占据我们更多的时间，与这种玩游戏的活动一起。也许还会有很多其他这类更微妙的价值，开始塑造人们所做的事情。是啊，归根结底，谁知道呢？是的。这非常有意思，而且非常开放。我们真的不知道会发生什么，但我们很可能会亲眼见到。我们很可能会见到人类有史以来有机会经历的最奇异的事情。是啊，说到底，我想这就是一次信任背摔。对。嗯，我是说，这类对话总是很精彩，谁知道呢。过几年我们再聊一次，看看我们错得有多离谱。如果你四年后再来的话。好吗？
如果我们还有四年的话。如果我们还有四年的话。如果你能来，如果四年后你还被允许出行的话，再来一趟，我们看看自己错得有多离谱。我们可以更新看法。好，非常感谢。真的很感谢你来这里。很高兴再次见到你。很好玩。一直都很好玩。好。好的。好好想想吧，孩子们。大家再见。