Joseph Carlsmith: 约瑟夫·卡尔史密斯：乌托邦、人工智能与无限伦理
Joseph Carlsmith - Utopia, AI, & Infinite Ethics
嘉宾：Joseph Carlsmith
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
本篇目录1 章节
§01文稿§01文稿
今天我很荣幸采访 Joe Carlsmith。他是开放慈善（Open Philanthropy）的高级研究分析师，也是牛津大学哲学系的博士生。Joe 有一个非常有意思的博客，叫 Hands and Cities，我去读过。我之所以想请他来做这期播客，是因为那上面有很多发人深思、见解深刻的文章，谈哲学、道德、伦理和未来。所以，Joe，我真的很想和你聊聊。不过你要不要先详细介绍一下自己目前在做什么？好的。我在开放慈善研究人工智能带来的生存风险。也就是说，我思考的是 AI 接下来会发生什么。
我们怎样才能确保一切顺利？尤其是，怎样才能确保先进的 AI 系统是安全的？此外我还有一个副业项目，就是这个博客，我在上面写哲学、写未来之类的东西。这在一定程度上源于我的背景：在进入 AI 领域、加入开放慈善之前，我是做学术哲学的。
好的，这个副业项目相当有野心。考虑到那些文章的篇幅和更新的规律，真的相当惊人。你想多谈谈你在开放慈善做的 AI 方面的工作吗？这是好几件事的结合。眼下我在思考 AI 的时间线和所谓的“起飞速度”，也就是从相当令人印象深刻的 AI 系统过渡到具有根本变革性的 AI 系统，这个过程有多快。我想借此对“一切彻底搞砸”的概率给出更多的判断依据。明白了。那么这有什么意义呢？我想，这个数字可能比我预想的高，也可能低。如果更高，也许我就该去做 AI 11（转写如此）方面的工作了，但除此之外，这个数字变化会带来什么影响？我认为，仅仅是理解时间线，就会有不少影响，涉及
你如何确定优先级，以及……在某种程度上，事情来得越早，你就越得为它提前到来做规划，也就越得抄近路，或者说，不能再指望自己有更多的时间。而且我认为总体来说，你认为发生灾难的概率越高，就越容易把这件事当作最重要的优先事项。我确实认为存在某个概率区间，在这个区间里这点也许没那么要紧。但我认为，比如 1% 和 10% 之间的差别相当大，10% 和 90% 之间的差别也相当大。而且你知道，这几个区间里的人我都认识。明白了。好的，有意思。那么我们退一步来看
再多谈谈背后的哲学动机。我想你自认是一名长期主义者。对，所以也许换个方式来问你这个问题：你有一篇很有意思的博客文章，谈的是回望我们的未来人会怎么看待 21 世纪，考虑到我们正在承担的风险。那么，你怎么看这样一种可能：我们也许正在放弃资源，也许是在投入——不对，是你把自己的职业生涯投入到建设一个未来上，而这个未来，鉴于你活在当下，
你可能会觉得陌生、令人不安甚至令人反感。我想补充一下这个问题的背景：从功利主义的角度看，现在显然比过去好得多。但过去的人可能会觉得，现在有很多糟糕的东西令人不安。比如他们可能不喜欢现代城市的格局，也许会觉得它很孤立；他们也许会觉得，你在手机上就能获取到的那种免费或廉价的信息，有点令人不安。
那么你怎么看这个问题？好的，我有几点想法。第一，我确实认为，如果把历史上的大多数人带到今天，我猜，视具体情形而定，他们会相当快地更愿意生活在今天而不是过去，即使一开始会有些未来冲击，有些东西让人感到疏离或不安。但话说回来，我认为无论在时间上还是在其他因素上，历史上的人类与今天之间的差距，其实都比我所设想的那个差距小得多，也就是今天的人类与生活在理想中、境况根本更好的未来人类之间的差距。
所以我确实预期，你刚到那里时，距离感会更大，也可能更加疏离。我个人的看法是，最好的那些未来应当是这样的：如果你真正理解了它们，真正体验了它们是什么样子——这可能是很大的一步，也许需要深入地接触，甚至可能需要改变你理解和体验的能力——那么你会觉得它真的很好。我认为这才是相关的标准。所以，未来起初让人疏离，我不太担心。对我来说，问题在于：当我真正理解了那里发生的一切之后，我的感受如何？明白了。
那么我想知道，我们应该多看重你身处未来之中所获得的那种内部视角。想想许多现存的意识形态，比如，想想一个伊斯兰主义者之类的人，他可能会说：听着，如果你能来伊拉克，感受一下为哈里发国而战的极乐，你就会比从外部视角理解得更透彻，比坐在沙发上吃着多力多滋更明白，为一项事业奋斗是什么滋味。也许他们的体验在某种意义上确实是极乐的，但我觉得在那种情况下，外部视角比内部视角更有用。嗯，我想这里有几个不同的问题。第一个是
如果你从内部去体验，会是什么样的体验？然后还有一个，我认为略有不同的问题，那就是：如果你完全理解了，你对此会怎么看？这里的完全理解，不只是拥有身处某种处境的内在体验，还包括理解这种处境在造成什么后果，是什么样的信念在构建这种意识形态，这些信念是否为真，以及其他各种因素。我想的是后一种。所以我并不是在设想“哦，你身在其中的话，未来会让你感觉很好”。因为根据假设，身在其中的人，至少人们希望他们是乐在其中的，或者说希望他们是点赞的。如果身在其中的人并不点赞，那这个乌托邦就太奇怪了。但我想的是，除了他们的视角之外，还有一种更整体的视角，也就是那种完全的理解。
而你正是从这个视角出发，才会认可这种处境。明白了。然后，另一个让人觉得棘手的地方是，思考他们会怎么看我们：他们会怎么看待我们因为没有针对生存风险做优化而承担的疯狂风险？有一个类比，我想 MacAskill 在他的新书里就用到了，就是把我们看作文明历史中的青少年。然后你想想自己青少年时做过的那些疯狂的事情，以及……对。所以，也许有这样一个方面：人们会希望能收回自己青少年时做过的疯狂事情。但我的印象是，大多数成年人大概会觉得，那些疯狂的事情虽然有点冒险，却很有塑造意义，也很重要。他们对过去做过的那些事情会感到怀念。
你认为回望我们的未来人，会对我们度过 21 世纪的方式感到后悔吗？还是会回头一看，觉得“哦，那可是个挺酷的时代”？我想，这个问题以存在未来为前提，这就把很多神秘感去掉了。但我怀疑他们回望 21 世纪的那些风险和恐怖时不会感到愉快。我的意思是，想想我们——或者至少是我——通常如何看待古巴导弹危机或第二次世界大战，我个人并没有那种怀念之情。
“哦，当然，那很危险，但它造就了今天的我”之类的想法。我还想说，我认为当你回顾自己的青少年时代，确实常常会有这样的感觉：比如说，你做过某种疯狂的事，你和朋友们过去常常飙车，在当地的采石场玩“胆小鬼”游戏之类的。然后你会想：“哦，对对对。”但你毕竟活下来了，对吧？而不该那样做的真正原因，在于那部分你直接丧命的概率。所以我认为，在某种程度上，
事后回望某些风险的那种视角并不是正确的视角，尤其是对于致死的风险，那不是正确的视角，不能用它来校准你对整件事究竟应该作何感受的理解。明白了。好的，我想你提到了乌托邦，而你有一篇关于乌托邦这个概念的文章很有意思，那你能不能多谈谈这个概念，以及它为什么重要？还有，为什么我们这么难想象出一个有吸引力的乌托邦？好的，对我来说，乌托邦就是指一个有着深刻改善的未来。我认为它之所以重要，是因为它其实是可能实现的。我认为这确实是我们能够做到的事情。如果我们打好手中的牌，以不疯狂的
方式去做，我们就能建成一个比我们今天所处的世界好得多的世界。尤其是，我认为在思考这种可能性时，我们常常低估了我们目前的处境与可能达到的境界之间，价值上的差距有多大。我认为乌托邦常常过于锚定在现状上，只是对现状做些小小的改变，而想象的是我们的根本处境基本不变。这有点像是，你有一份糟糕的工作，或者一次海滩度假，而乌托邦就是，人人都有海滩度假。
我不知道你对海滩度假怎么看。但我认为，差别其实更像是沉睡与清醒之间的差别。或者说，更像是住在洞穴里与住在开阔的天空下的差别。我认为这是一个非常大、非常大的差别，而且这很重要。这很有意思，因为我记得在那篇文章里，你有一节提到你预期乌托邦对于现在活着的人来说是可以辨认的。而你刚才的说法，让它听起来像是一种我们完全不熟悉的体验类别。对，那么这里有矛盾吗，还是我漏掉了什么？我认为至少存在一种张力，而在我看来，这种张力
得到化解或调和的方式，恰恰是通过我之前提到的那个概念：如果你真正理解了，你就会认识到这个乌托邦确实是好的。但我认为这个过程——理想情况下，我们建成乌托邦的方式，是经历一个漫长而耐心的过程，作为一个物种变得更智慧、更好、更有能力。正是因为这个过程最终走到了尽头，我们才有能力去建造一个深刻美好、而且截然不同的文明。但那是一个漫长的过程。所以我确实认为，如我所说，如果我直接把你送到那里，让你跳过那个过程，那你可能不会喜欢。而且它在某种意义上确实相当陌生。但如果你经历了那个真正理解、变得更智慧的过程，你就会认可它。
嗯哼。我觉得有意思的是，你认为通往乌托邦的过程更像是……也许我理解错了，但你提到，那是我们变得更智慧的过程。这听起来更像是一个哲学过程，而不是比如说，我们想出如何把一切转化成“快乐物质”（hedonium），然后从此就是永恒的极乐。对，那么我理解得对吗，你认为这更像是一个哲学过程？
那么你为什么这样认为？对，我肯定不会整天坐着想，我们现在就知道乌托邦是什么，就是快乐物质。我对快乐物质这个概念不是特别感兴趣，不过我认为有可能……我觉得它的名声不好。我觉得人们谈到快乐时，有时带着一种轻蔑的态度。而且快乐物质意味着一种单调乏味的整齐划一，你知道，你是在铺满……人们说，他们要用快乐物质铺满整个宇宙。听起来就觉得，哇，这听起来太糟了。而我认为，实际上，在思考快乐物质之类的东西时，相关的视角是那种内在的视角，从这个视角看，主体的体验是某种……
……是快乐的、无边无际的、充满活力的，不管快乐实际上是什么样子。快乐不是一件微不足道的事。我认为快乐在很多方面都是深刻的东西。但我真的不认为乌托邦就是关于这个的。我认为，首先，我自己的价值观似乎相当复杂。我并不认为我只看重快乐，我看重很多不同的东西。更广泛地说，如果我要经历一个大幅提升自己理解能力的过程，我对自己届时会怎么想、怎么感受，有很多不确定。我认为有时人们设想这件事时，会想象：哦，我们坐下来做一堆哲学，然后我们就会
解决规范伦理学的问题，然后我们就去执行我们对规范伦理学的解答。而我所说的智慧并不是这样想象的。我设想的是更丰富的东西，而且重要的是，它还包括对我们认知能力的提升。我认为我们现在理解宇宙的能力非常有限、非常小。而且我认为，关于心智能是什么、能做什么、能看到什么，还有大片未经探索的领域。所以我想在我们开始就长期而言要建设怎样的文明做出重大且不可逆的决定之前，先去勘探这片领域。明白了。乌托邦另一个也许令人担忧的地方是，正如你在文章里提到的，
历史上许多最糟糕的意识形态都带有乌托邦思想的成分。就 EA（有效利他主义）和功利主义总体上与乌托邦思想相容的程度而言——也许它们并不提倡乌托邦思想，但它们与之相容——你是否认为这对这场运动的健康和潜在影响力是个问题？你的问题是不是类似于：这是不是一个危险信号？就是，啊，我们看到历史上的其他意识形态，它们都与乌托邦思想相容，而也许有效利他主义或功利主义之类的东西同样与之相容。
所以我们应该以同样的方式担心吗？你的问题是这个吗？对，部分是，另一部分是：也许从道德上讲，乌托邦确实与这种世界观相容，而且这种世界观是正确的。但其含义是，有人误解了什么才是最好的，他自认为是 EA，而当他试图实施自己的方案时，就导致了糟糕的后果。对。所以我认为在这个大方向上确实有理由保持谨慎。但我不认为这些理由特别针对 EA 或功利主义。我并不认同自己是
功利主义者，但对于功利主义，我认为这些风险更应该被理解为源于“认为某件事非常重要”本身。我认为，很多出于信念而行动的人确实如此，尤其是当这种信念带有某种……确切什么算作一种意识形态，这个问题很有意思。但我认为，看着 EA 然后说“这看起来像是一种意识形态”是合理的。我认为这是对的。我也认为，对此保持相应的警惕是重要的。我认为很难有这样一种世界观——至少是一种合理的世界观——它在某种意义上不意味着世界可以好得多，
而我说乌托邦的时候，其实与此并没有多大不同。我想，我说的并不是一个完美的东西。我确实对事情究竟能好多少有一个更具体的看法，但从更广泛的角度来说，在我看来，非常非常多的人相信一个好得多的世界是可能的，并以不同的方式为之奋斗。所以我不会把危险信号特别归结到“相信事情可以变得更好”这一信念上。我认为这更多与你以多大程度的僵化去对待这个信念有关，也就是你如何在世界上依此行事。出于这种信念，你愿意在多大程度上打破常规，或者
以不合作的方式行事？在这方面，我认为确实需要保持谨慎。明白了。是的。我不确定我是否同意大多数人的看法或意识形态所蕴含的东西，能接近乌托邦思想者所设想的那种乌托邦。比如想想发达民主国家的现代政党，比如美国，如果想想哪个政党有什么乌托邦式的愿景，其实相当平庸。比如“哦，我们将有全民医保”，或者，我不知道，“未来几十年 GDP 会更高”，这在我看来并不乌托邦。这只是，而且看起来确实像是
一种有限的世界观，他们并没有真正去想事情可能好多少或坏多少，但这看起来并不完全是乌托邦式的。对，对，你来回应一下。我认为这个观点很好。所以也许这里相关的乌托邦概念是类似这样的：一个根本上好得多的世界这一概念，在你日常的投入中起作用的程度有多大？你知道，在某种程度上，我的意思是，我认为
如果我和大多数人坐下来谈，在合理性的某些约束下，我们最终可以同意世界还可以好得多。比如我们可以攻克癌症，可以攻克这个、那个，一直到最后一个。我们可以把这样的几件事过一遍。我们可以谈谈可能实现的富足程度。
而我认为，问题在于这是否是人们看待世界的一个结构性的或重要的维度。我认为你说得对，往往并不是。而这也许正是我希望通过那篇文章去反驳的东西。其实，我认为这是我们处境中一个非常重要的特征。我认为它确实可能很危险，如果你在这上面错了，或者你在这方面行事不明智，就可能非常糟糕。但我也认为这就是一个非常基本的事实。我认为我们只是需要学会成熟地对待它。而且
假装它不是真的，我认为不是办法。明白了。但至少对我来说，乌托邦听起来像是某种顶峰。也许你不是这个意思。那么，你在文章里以及总体上是不是在说，你认为事情能变得多好有某种承载上限，还是说超过某个点之后，事情还能无限地继续变好，但在这个点上，我们愿意说我们已经到达了乌托邦？对。我当然没有那种硬性的门槛，也就是“从这里开始我就称之为乌托邦”。我的意思是某种根本上好得多的东西。我确实认为，如果你有一个有限的……就最基本的层面而言，
如果可影响的宇宙所能处于的状态只有有限多种，而你对这些状态按好坏程度的排序是传递的、完备的，那么就会有一个顶端。但我认为，仅仅从认真对待“事情可以好得多”这一点来看，这并不是一个值得关注的重要问题。我觉得谈论“可究竟有多好、完美的东西是什么”，在这方面往往是一种干扰。它会牵扯到这样的问题：哦，多少痛苦是好的？而我认为，关于乌托邦的许多这类讨论会偏离一些基本事实，比如，至少我们可以做得好上一大截。
这一点需要牢记。明白了，明白了。你在文章里指出，许多宗教和灵性运动对乌托邦可能的样子思考得最多。而且，Nick Bostrom 2008 年有一篇很有意思的文章，他在里面描绘了他的设想：一个来自未来乌托邦的人回过头来对我们说话，听起来会是什么样子。读起来非常像一篇神秘主义的文章，换几个词，基督徒就写得出来，比如 C.S. Lewis 可能写过关于从天堂向下说话是什么感觉的东西。所以，我并无贬义，但乌托邦思想在多大程度上带有某种灵性或宗教的维度，依赖于一定程度的信念，相信事情可以以某种飘渺的、难以言喻的方式变得无法形容地更好？
所以我认为，对待乌托邦这一概念的某些方式，与宗教和灵性情境中常见的态度和取向之间，确实存在类比和相似之处。而我个人认为，它不必是那样的。正如我说的，我不认为它需要信念。我不认为它需要任何神秘的东西。我认为这只是关于我们当前的认知处境、我们当前的文明处境的一个基本事实：事情可以好得多。而且，它的“飘渺”在于很难想象。尤其是，对我来说，这里一个重要的证据来源是
人类体验质量的差异。想想你的那些巅峰体验，它们往往意义重大。你坐在那里，心想：哇，这太不一样了，这太震撼了，并且觉得有所触动，或者觉得这在某种意义上是你愿意用大量平淡的体验去换取的东西。我认为这很重要。所以我认为我们需要做的是从那里向外推。你看看自己的心智随着你进入某种体验，或者某种更广泛的、非体验性的东西——比如你的社群变得好了很多，你的人际关系变得好了很多——而走过的轨迹。看着那条轨迹，然后凝视
下去，它通向哪里？我确实认为这需要某种……我不想称之为信念。我认为这需要向某个在某种意义上超出你经验的区域做一种外推，但那个区域是深具价值、非常重要的。我认为这通常与灵性和宗教联系在一起。我认为这没问题。但我其实认为，乌托邦与天堂之类的东西之间存在若干非常重要的区别。比如，核心的一点是，乌托邦将是一种具体的、有限的处境。会有摩擦，会有资源约束，它是有限的，有一系列……它仍然处在现实世界中，而我认为
许多，大多数宗教的愿景并没有这些约束。这是它们处境中的一个重要特征。对，说到约束，这让我想起 Robin Hanson 的理论：最终，整个宇宙的经济将完全由这些数字人，也就是仿真人（ems）组成，而由于竞争，他们的工资会被压到仅够维持生存的水平。也许这与对他们体验能力的某种工程改造是相容的，使得他们在仅够维持生存的算力水平上工作仍然是极乐的，或者诸如此类。
不过，看起来经济学思维的第一层推论就是不会有乌托邦。事实上，平均而言事情会变得更糟，但如果你把所有体验加总，总体上也许会更好，而平均来看更糟。所以，我不知道，这种设想似乎与你的乌托邦不相容。你怎么看？对，我不会把
Robin 的世界称作乌托邦。所以，有一件我还没谈到的事是：我们对于不同质量的未来，整体的概率分布应该是怎样的？我们建成某种深刻美好的东西，而不是平庸或糟糕得多的东西，到底有多可能、有多大概率？我会把 Robin 的情景归入平庸或糟糕得多的范围。那么，你对他推导出这个结论所用的逻辑有批评吗？在某种程度上，我想我的主要批评，或者说首先想到的是，我认为我们很可能……我觉得竞争压力是一种把世界推向糟糕方向的来源，
但我也认为，明智的协调形式和先发制人的行动，在某些方面可以避免竞争压力的不良影响。这就是我设想避开 Robin 所谈到的那类情形的办法。你知道，这里面有很多复杂之处。对，对。过去几年并没有强化我对明智协调之可能性的信念。不过，对，对。
总之，我想和你聊的一件事是，你写过一篇论文，讲要匹配人类大脑的计算能力需要什么条件。与之相关，你在开放慈善上还有一份很好的摘要。你想谈谈你估算这个数字所采用的方法吗？以及为什么这是个值得弄清楚的重要指标？好的，我采用的方法是查阅神经科学文献中关于人脑计算能力的证据，并与一批神经科学家交谈，看看我们目前对“在计算机中复现人类认知中与任务相关的那些方面，每秒需要多少次浮点运算”这个数字到底了解多少。至于它为何重要，其实我并不完全清楚这个参数对我们整体图景有多重要。我想，它与我以及 Open Phil 一直在做的思考相关，是作为一个输入，用于一套整体方法，来估计我们何时可能看到人类水平的 AI 系统，这套方法首先要做的是粗略估计所需的计算能力。
比如大脑的规模，或者说 AI 系统的规模，以及它的总参数量和计算能力，这些与人类是类比的。然后据此外推出训练成本，也就是用当前的机器学习方法和当前的扩展定律来创造这样一个系统的成本。不过这套方法还引入了若干额外假设，我认为这些假设并不是那种一目了然的“哦，当然，我们就是这么做的”。所以我想，你得更深入细节一些，才能看清它具体是怎么输入进来的。明白了。然后，我想你说的是 10 的 15 次方 FLOP（浮点运算）
对应人脑。但你有没有估计过，训练出类似人脑的东西需要多少 FLOP？我知道 GPT-3 只有大约 1750 亿个参数，甚至可以装进一张微型 SD 卡里。但是训练它花了大约 2000 万美元。所以，你们能不能得出某种估计，说明训练这样的东西要花多少钱？对。我那份报告的重点并不是训练成本的外推。
那是 Open Philanthropy 的 Ajeya Cotra 做的工作，她把我报告中的估计作为一个输入。她的方法是，对利用这个输入推导整体训练估计的不同方式赋予不同的概率。尤其是，其中一个重要的不确定性来源是所需的计算量，或者说，你需要运行系统的次数，
针对它得到的每个数据点。比如在 GPT-3 这种情况下，在 GPT-3 式的训练中，你输出的每一个 token 都能得到一个有意义的数据点，以及一次关于你表现如何的梯度更新。你在预测互联网上的文本，提出一个 token，然后训练过程告诉你“不对，下次做得好一点”之类的话。而如果你是在学下围棋，你必须把整盘棋下完——我是说，围棋系统不完全是这样工作的，或者说并不是这样工作的，但这是个例子——如果你必须把整盘棋下完，
那就是几百步，然后你才得到一次关于你下得好还是不好的更新，这就是对算力需求的一个很大的乘数。这是其中一个核心因素，Ajeya 把它称为训练的“视野长度”（horizon length）。它是得出整体训练估计时一个非常重要的不确定性来源。不过最终，她得出了一个很宽的分布，从大约……GPT-3 大概是 10 的 24 次方——对，大约 4 乘以 10 的 23 次方之类——一直延伸到进化锚点，我想大约是 10 的 41 次方。
我想她的分布中心在 10 的 30 次方出头的某处。好的，这仍然相当多。这在多大程度上依赖于扩展假说？如果有人认为，当前的努力和当前的路线不太可能——至少不太可能以样本高效的方式——通向人类智能，那就好比有人说地球上的氘足够为文明供能数百万年，但如果你还没搞清楚聚变，那这个统计数字可能就无关紧要。
对。所以我认为这种方法确实假设：用当前已有的技术，在没有相对于现有水平的重大概念性或算法突破的情况下，可以用不算天文数字的算力和数据训练出人类水平或具有变革性的 AI 系统。不过，Ajeya 所用的具体方法允许你也给这个假设赋予概率。所以如果你愿意，可以说“我对此只有 20% 的把握”。然后还有其他几个选项。比如你也可以重跑一遍进化，这是……所以这是她提供的一个锚点，人们常说，这是创造人类水平系统难度的一个上限，
即做一些类似于模拟进化的事情。不过这有多难，还有很多悬而未决的问题。但我确实认为，如果你被深度学习中现有的技术和类似扩展假说的观点所说服，那么这套方法至少作为上限会更有说服力、也更有趣。我认为这很重要。关注算法突破有不同的方式。一种是因为你认为深度学习不够。另一种是因为你认为它们会相对深度学习带来很大的效率提升，以至于像 Ajeya 那样的估计是高估，因为实际上我们将不必
那样做。我们会取得某种突破，而且来得要早得多。我对这种观点也赋予了一定权重。对，这真的很有意思。所以这意味着，即使你认为当前的技术并不是最优的，这也许应该让你更倾向于认为它可能更早发生。真的很有意思。那么，你是如何估计模拟大脑中发生的相互作用所需的 FLOP 数的？显然，说你必须模拟每一个原子间的相互作用是不合理的。
那么你认为模拟到什么程度就足够了？我用了几种不同的方法，并试图把它们综合起来。第一种是研究大脑的机制，以及我们对其所做之事的复杂性有多少了解，要捕捉大脑中信号传递的、与任务相关的维度（或者说我们对任务相关维度的最佳猜测）有多难。然后我还试着引入与现有 AI 系统的比较，这些系统在复制人类大脑具备的某些功能块，尤其是在
视觉方面。也就是我们当前的视觉系统，与大脑中可能在做类似处理的那些部分相比如何，尽管后者往往还在做别的事情。然后我用了第三种方法，涉及大脑可能在进行的计算中，每单位计算的能耗所受的物理极限。第四种方法我只是略作提及，它试图利用与当前计算机的比较，从大脑的通信能力外推它的计算能力。所以这是一种三角验证：你看一堆不同的证据来源，在我看来这些证据每一个都相当薄弱。我想我们相当……不过，物理极限那部分也许更复杂一些，
但它是一个上限。我认为我们对这一切都有相当大的不确定性，我的分布也相当宽。但希望是，通过同时观察一堆东西，你至少能得到一个有依据的猜测。然后，对，我很好奇。神经科学或其他相关领域有没有共识，认为我们对信号机制的理解已经足够好，可以说基本上涉及的就是这些东西，
这个系统可以还原为这些，所以你需要这么多比特来表示，比如，这里所有的突触连接？还是说，对这件事究竟有多复杂，意见存在分歧？确实有分歧。而且有意思的是，在某种意义上也令人沮丧的是，和神经科学家谈起神经科学到底有多难。
我想，一个一以贯之的信息——我在报告里有专门一节谈这个——就是我们离真正理解大脑里发生了什么还有多远，尤其是在算法层面。所以在某种意义上，这份报告是有一定倾向性的，因为有些专家我觉得比另一些更有说服力。有些专家更多处于一种不可知论的模式，比如“我们就是不知道，大脑真的非常非常复杂”，他们倾向于给出非常大的算力估计，非常强调生物物理细节，非常强调可能正在发生的、而实际上并未发生的神秘事物。而另一些神经科学家则更愿意说：我们在机制层面基本知道发生了什么，但这与了解整体上的算法，即算法层面的组织方式，以及如何复制它，并不是一回事。我倾向于后一种观点，不过我对两者都给予权重，并试图综合我所见到的人们的整体看法。光看这篇文章本身，我并没有真正深入研究实际的论文，
推导出来的格式。但看起来，你是机械地估算 FLOP，把这里起作用的不同系统加总起来。对。我们应该预期它是这样可加的吗？还是说它可能是乘法式的，或者有更复杂的相互作用？比如 FLOP 随输入呈超线性增长。我知道，对于研究过这个问题的人来说，这听起来可能很天真，但这只是从
初看的角度提出的一个问题。对，我理解并拆解大脑中需要复制的那些处理形式时，它们看起来不是这种乘法关系。举个例子，简单的例子。假设我们有一些神经元，它们主要通过突触上的脉冲来传递信号之类的。然后我们还有胶质细胞，它们通过较慢的钙波来传递信号，这是一个独立的网络。你可以认为，如果钙信号的速率取决于通过突触的脉冲速率
之类的，那么这就是一个重要的相互作用。但总体而言，如果你设想这种网络处理，你可以独立地估计它们，然后再加总。在那种构想下，它们实际上并不是乘法式的过程。我确实认为各部分的估计之间存在某种相关性，但在根本层面上，它是加起来的。明白了。好的。那么，你对那些近乎玄学的假说有多大程度的信任？比如 Roger Penrose 提出的那个说法，
认为大脑中发生着某种量子力学过程，而这对理解认知非常重要。对，你对这类假说有多少信任？我对这些假说的信任度很低。我看不出有多少理由相信它，反倒看到不少理由不相信它。但这不是我深入研究过的东西。好的，明白了。
好，你有一篇关于无限伦理学的博客文章，非常有意思。你想谈谈为什么这是一个重要的话题，为什么要把它整合进我们的世界观等等吗？好的。无限伦理学是试图处理这样一个问题的伦理学：面对无限的世界，我们应该如何行动？我们应该如何给它们排序？它们应该如何进入我们的期望效用计算，或者我们对风险的态度？我认为这既有理论上的原因，也有实践上的原因。在理论层面，当你试图用很多常见的伦理理论、约束和原则去处理这个问题时，它们在无限世界面前就失效了。我认为这是判断它们是否站得住脚的一个重要线索，因为我认为无限世界至少是可能的。即使我们的世界是有限的，即使我们的因果影响是有限的，或者说我们的总体影响是有限的，无限世界也是可能存在的。
而且我们对它们是有看法的，比如，无限的天堂比无限的地狱好。我认为在伦理学中，我们通常期望自己的伦理原则能扩展到对各种情形进行排序，或者在假想情景中行动，也就是适用于所有可能的情形，而不仅仅是我们实际所处的情形。我认为无限就出现在这里。但更重要的是，我认为这是一个具有实践意义的问题。理由之一是，我认为我们应当对“我们生活在一个无限的世界里”保持非零的置信度，宇宙是无限的，这是一个非常现实的物理学假说，即使我认为主流观点是，由于熵、光速之类的因素，我们对这个宇宙的因果影响是有限的。但宇宙本身很可能是无限的，
而且可能以多种不同的方式无限。Max Tegmark 对宇宙可以非常非常大的各种方式做过一些研究。有多种情况让我认为，我们应当对“我们现在的行动可以产生无限影响”保持非零的置信度。也就是说，我们因果影响的那些限制可能是错的。也许将来我们有办法做出无限的事情。此外，我还认为，有些更奇特的方式，即使你的因果影响是有限的，也可以对一个无限的宇宙产生因果影响。这来自我在决策理论上做的一些额外工作。所以，如果你试图把这些纳入考虑，而你又是一个期望值推理者，
它很快就会开始主导你的期望值计算，或者至少会让它崩溃。你之前提到了长期主义。对长期主义产生兴趣的一个自然的理由、自然的论证是：哦，未来可能有那么多人，他们的生命极其重要。所以如果你做期望值计算，你对他们的影响就是起主导作用的东西。但实际上，如果你哪怕只有极小的置信度认为自己能做一件无限的事情，那么要么它起主导作用，要么它让计算崩溃。而如果你对做不同类型的无限之事都有极小的置信度，你又需要比较它们，那你就需要知道该怎么比较。
所以我认为，这其实是我们认识论的一部分。不过我想我们通常不这样对待它，因为我们往往不是在做期望值推理，也没有真正去想这件事。这些问题其实适用于我们。对，对。这太让人着迷了。如果我们只能影响有限数量的东西，那么也许宇宙整体中确实存在无限的痛苦或快乐，但我们所作所为的最佳情景与最差情景之间的差值是有限的。
但是，我不知道，如果我们周围的地狱或天堂总体上不会改变，这似乎就没那么有说服力了。你能再多谈谈吗？我想你在其他工作里提到过，可以产生超出光速和熵所允许范围的无限影响。你能多谈谈这怎么可能吗？好的。一种常见的决策理论——它不是主流的决策理论，但在文献中是一个有力的竞争者——是证据决策理论，按照它，你应当这样行动：大致来说，你得知自己采取了这种行动时会最开心，
并以此为理由。它之所以让你拥有某种因果影响，可以这样想：假设你是一个确定性的模拟，而有一个你的副本在运行，它离你太远，你永远不可能与它发生因果互动，对吧？但你知道它是一个确定性的副本，所以除非计算机出故障，它会做和你完全一样的事。现在你要做一个决定，你有两个选项。你可以给那边寄一百万美元。嗯，这有点复杂，因为他离得太远。但总的来说，比如我举起手，或者我要在白板上写点东西，或者说，假设我要做出
某个伦理决定，比如我是该去度一个昂贵的假期，还是该把这笔钱捐出去救人一命。因为另一个人会和我做一样的事，尽管我无法让他这样做。在某种意义上，当我做出选择之后，我应该认为他做了同样的选择。所以证据决策理论把他的行动在某种意义上视为受我控制。因此，如果你设想一个无限的宇宙，里面有无限多个你的副本，或者不是副本，而是行动与你相关联的人，使得你以某种方式行动时，就为你提供了他们会怎么做的证据，那么在某种意义上，他们的行动就在你的控制之下。所以如果他们有无限多个，
那么，按照证据决策理论和其他几种决策理论，你在某种意义上就对宇宙施加了影响。对，这听起来和量子力学里的一个经典实验很像，叫 EPR 对，你可能听说过。基本的想法是，如果你有两个纠缠的比特，把它们带到彼此非常遥远的地方，
然后你测量其中一个。在它们被分开之前，你们约定一条规则，比如“嘿，如果是正，我们就做这个；如果是负，我们就做另一个”。乍一看，似乎你自己去测量某个东西，就会对另一个人的行为产生影响，尽管光速本应不允许这样。如果你采用多世界观点，这个问题就解决了。
不过，对，这很有意思。这只是个思想实验，还是说出于某种宇宙学上的原因，我们真的应当预期这是我们影响世界的一种方式？我并没有深入研究过宇宙学，但我的理解是，宇宙在广延上是无限的，在足够远的地方，有我们的副本在进行着这场一模一样的对话，这至少是一个非常现实的假说。再远一点，还有我们的副本在进行这场对话，不过头上戴着浣熊当帽子，诸如此类，这本身就值得人去惊叹、去静静体会。但我的理解是，这只是一个现实的假说，更广泛地说，无限，无限的宇宙，现在已经是主流宇宙学的一部分。所以我认为这不只是一个思想实验。我认为无限宇宙是现实的可能。然后，我认为这类非因果的决策理论其实是我最倾向的决策理论，
尽管那不是主流观点。所以，如果你同时持有这两种观点，它就相当直接而实质地进入了你的考虑。但我也认为，每个人都应该对各种涉及无限的假说保持非零的置信度。因此无论如何，无限伦理学都是有用武之地的。明白了。那么，以这个例子来说，如果你对无限宇宙中每一个与你相同的副本都产生了影响，那么对于任何这样的副本，似乎都有无限多个略有
不同的其他副本。所以甚至不清楚你是否在增加什么，也许在无限的宇宙里谈比例根本没有意义。但是，如果还有另一个无限的副本集合，在白板上写下了完全相反的东西，那就不清楚你对发生的好事或坏事的总量到底有没有影响。我不知道。我的脑子在这里就转不动了，也许你能帮我理解。对。我想这里有几个维度。其一是试着理解：如果你处在这样一种无限的情形里，并且在考虑因果影响，那会造成什么差别？在你谈如何评估它的价值之前，你在经验层面上到底改变了什么？我认为这是个相当棘手的问题。即使我们解决了那个问题，也就是经验层面的因果影响，还有一个更进一步的问题：怎么用这个……你如何对它排序，或者说如何处理这里的规范性维度？这就是伦理问题，而在那里事情会变得非常
棘手，而且来得很快。事实上，有一些不可能性结果表明，即使是非常基本的约束，你本以为可以在我们的伦理理论中同时满足，到了无限宇宙的问题上，你也无法同时得到它们。所以我们知道，如果要把我们的伦理学扩展到无限，就一定有些东西得放弃、得改变。明白了。但那么，有没有什么理由让他确定下来，我想你提到你不是一个
功利主义者，而是以某种版本的 EA 或长期主义作为你暂定的道德假说，尽管这个问题似乎还没有解决？你怎么看待这种张力，同时又暂时留在 EA 里面？对，我认为这里有两个维度。其一，我认为一个好的做法是，如果你遇到某种令人动摇的哲学观念，尤其是那种很难、你并没有完全掌握的观念，不要彻底颠覆你的生活，然后再回头去……
但长期主义不正是这样吗？对，我认为这里确实存在张力，因为我认为，我们应该多认真地对待这些观念，在什么时候你应该根据你所思考和相信的不同东西，对你的生活做出什么样的改变。这真的是一门艺术，对吧？我认为有些人拿到第一个看到的想法就开始以不明智的方式做疯狂的事。而另一些人则太迟钝，不愿意认真对待观念，
也不愿意根据“什么看起来是真的”的变化来重新规划生活。但我认为，尽管如此，尤其是对于那些涉及“啊，原来做可怕的事也没关系”，或者“没有理由吃午饭”之类，也就是从整体上彻底打破你伦理观点的东西，我认为人们应该非常谨慎。这是一个方面。在哲学层面，我解决它的方式是：我认为对于其中许多问题，正确的前进道路，或者至少是一条看起来相当不错的道路，是活得足够久，让我们的
文明变得智慧得多，然后利用这种智慧和赋能的地位，在这些问题上做得更好。这也是我在无限伦理学那篇文章结尾所说的：我认为，如果一切顺利，未来的文明将更有能力应对这些问题。而我们在真正理解这些问题如何展开、如何应对上，还处于起点。所以我认为，无论在经验层面还是哲学层面，生存下来、变得更智慧、保持选项开放，然后从那里开始行动，在我看来都是殊途同归、相当不错的做法。而这最终与许多长期主义和生存风险的观点相当相似。只不过它较少聚焦于，主要的事件将是
未来的人们会怎样，而更多是关于到达这样一个点：我们足够智慧，能以更好的方式去理解和重新定位。好的。我觉得有意思的是，不同的人对“认知上的习得性无助”往往有不同的阈值，也就是他们基本上会说：这太怪了，我不去想它，我们还是坚持我目前的道德理论吧。
所以对另一些人来说，这个阈值可能在他们成为长期主义风险关注者之前，就是：对，数万亿未来的人，这说的是什么？我们别在这些事上改变我的想法。而对你来说，也许阈值在无限伦理学之前。有没有什么原则性的理由，认为停止的地方应该在这里？还是说只是性情和开放程度的问题？我认为没有原则性的理由。
我还应该说，我并不认为我对无限伦理学的态度仅仅是：哦，这已经在疯狂的道路上走得太远了，我退出。更多的是，未来的智慧这件事对我相当重要，把它作为一种指引的方式。我使用的第一层粗略判断是：你什么时候觉得它是真实的？如果你觉得一件事是真实的，而不是一个抽象的、好玩的论证，那就很重要，或者说那是一个真实的信号。
我也一般会鼓励人们——我被吸引的方式大概是这样：如果有一个想法在智识上很有说服力，这就是一个理由，让你对它做大量的研究、思考，并真正与之搏斗；如果它让你觉得不对，或者太疯狂，那为什么，并且真正去消化它，这是一个值得投入大量注意力的理由。但如果你投入了大量注意力之后，最终觉得：嗯，我猜在抽象层面上这有点道理，但它就是不像真实世界给我的感觉，不像是智慧，也不像是一种健康的生活方式之类，那么我会说：也许你不该那样做。
对。我认为有些人会做错，最后会躲开那些其实很好的想法。但我认为总体而言，这些问题足够激烈、足够困难，所以真正被说服，而不是为了某种抽象的东西就砍掉你认识论的其余部分，在我看来很重要，这也是一种更健康的相处方式。对，另一个例子是，你有一篇很有意思的博客文章，写的是蚂蚁，以及你给一窝蚂蚁做了绝育之后的想法。所以，这是另一个这样的例子，几乎每个人，除了，我不知道，
也许除了戴着口罩以防虫子进嘴的耆那教徒，都会说：好吧，如果我们说的是一公顷森林里数百万昆虫共有多少快乐单位（hedons），那你就把我说晕了。但另一方面，别人也许会说：好吧，也没有很强的理由认为它们完全、绝对没有感受痛苦的能力。所以我想知道你如何看待这类问题，因为你不可能停止生活，你甚至不会停止公路旅行，而光是开车你可能就会杀死数百只昆虫。那么，你如何看待这类难题？
对于各种昆虫究竟在多大程度上具有意识、痛苦，或者我们与道德受动者地位联系在一起的其他性质，我有相当大的不确定性，我认为这是恰当的立场。我认为，极其确信昆虫身上发生的事情在道德上完全中性，是一种很奇怪的观点。而且我认为这其实不符合我们的常识。比如说，如果你看到一个孩子用放大镜烤蚂蚁，我想我们，
当然，你可以说：啊，那只是表明他以后会对其他重要的事物残忍。但我不这么认为。你会看到蚂蚁在那里抽搐。所以我认为，像动物伦理中的许多情形一样，我们对哪些情形算道德相关、哪些不算，有点像精神分裂。我们既有宠物对待法，又有工厂化养殖之类的东西。所以我不认为“蚂蚁多少有些要紧”是一个激进的立场。我认为还有另一个问题，就是你整体的实际回应应该是什么。
我确实认为这是有代价的，就像伦理生活中的许多情况一样，存在权衡，你必须做出判断：以牺牲其他目标为代价，要给自己加上什么样的约束。就昆虫而言，它不是我目前的道德关注重点，我也没有付出很多代价去降低我对动物的影响。我不会去扫人行道——不好意思，我是说特别针对蚂蚁。所以我认为，这是我最好的猜测式回应，这与我生活中的其他伦理优先事项有关。但我认为，在“我完全不理会这个”和“我要成为耆那教徒”之间有一个中间地带，那就是承认这是一种真实的权衡，这里有不确定性，并为自己如何回应承担责任。对，这似乎有点像无限伦理学的例子：只要你对它们有任何感受痛苦的能力赋予一点点置信度，那么至少如果你不打算说，
哦，这不要紧，因为远未来有数万亿数万亿的先进……似乎应该有一件有说服力的事值得去想。但结果是，这甚至不像“成为纯素食者”那样，只是改变你的饮食。而且，你可能知道，这被用作对纯素主义的归谬法：如果你开始关心其他非人类动物，为什么不也关心昆虫？即使它们的价值只有一头牛的百万分之一，你每天通过你的各种活动，也很可能仍然在杀死
一百万只左右，也许是间接的。比如你吃的食物，以及为生产这些食物所使用的所有杀虫剂。我不知道你怎么解决这类问题。我想我会想真正听听经验层面的论证。我认为确实有很多昆虫。但我认为很容易……如果你想说，认真对待“有某种理由不去碾死一只虫子”这个想法，
如果你认为这会立即导致耆那教式的行为，除非有长期主义之类的东西。我觉得我想听听经验层面的论证，关于你到底在产生什么影响、怎么产生的，而我一点也不相信那就是实际的结论。如果那是个非常强的论证，那么我认为这是这种观点一个有趣的推论，也值得关注。但我不会急着跳到那一步。我觉得人们很容易跳到那里，几乎是出于想要得出归谬的愿望，而我会尝试放慢一点，真正去看：等等，这对吗？这里有很多权衡。我对此犹豫的根源是什么？而不是过快地跳到某种
足够荒谬、使我可以说“因此我可以拒绝整个思维模式”的结论上，尽管我并不知道为什么。明白了。对。好的，那么我们来谈谈思考观察者效应的两种不同方式及其含义。你就此写了一个四部分的系列，你能不能解释一下自我指示假设（self-indication assumption）和自我抽样假设（self-sampling assumption）？我知道这是个很大的话题，不过尽可能多讲一些。好的。我想进入这场辩论的一种方式，是考虑下面这个情形。你在一个白色的房间里醒来，墙上写着一条信息，假设你会相信这条信息。信息说：我，上帝——它来自上帝——我，上帝，我，
我抛了一枚硬币。如果是正面，我就在白色房间里创造了一个人。如果是反面，我就在白色房间里创造了一百万个人。现在要求你对硬币是正面还是反面给出概率。对这个问题，有一种我倾向的做法，或者至少我认为比另一种更好的做法，就是自我指示假设（SIA）。这些名字很糟糕，但就是这样了。SIA 认为，硬币正面朝上的概率应该大约是一百万分之一。这是因为 SIA 认为，你更可能存在于那些有更多人处于你的认知处境、也就是有更多人拥有你的证据的世界里，在这个例子里，证据就是在这个白色房间里醒来。这可能是个奇怪的结论，会走到奇怪的地方。但我认为它是比替代方案更好的结论。SSA 是我在那篇文章里考虑的主要替代方案，即自我抽样假设，
它认为你更可能存在于这样的世界：拥有你的证据的人在一个叫作“参照类”的东西里占比更大。参照类到底应该是什么相当不透明，但大体上说，参照类是你本可能成为的那些人的集合，在 SSA 的讨论中它大致就是这样起作用的。所以在这个例子中，两种情况下每个人都有你的证据，所以占比相同，于是你维持二分之一的先验。但这并不总是成立。所以在 SSA 的其他情境中，并非每个人都拥有你的证据。因此
它会向占比更大的世界更新。著名的是，SSA 导致了所谓的末日论证：你设想有两种可能。要么人类很快灭绝，要么我们不会很快灭绝，未来会有海量的人。然后你想象所有人按出生时间排序。在前一种情况下，大致在这个时期出生的人，占所有曾经活过的人的比例要大得多。所以如果你想象上帝先创造一个世界，然后把你随机插入某个群体，那么，如果人类很快灭绝，你发现自己处于 21 世纪的可能性，要比未来有海量
人的情况大得多。如果上帝把你随机插入未来这海量的人当中，那么处于 21 世纪的只是其中很小的一部分。所以，在其他情境中，SSA 实际上有这些重要的含义，也就是说，在这种情况下，你会非常非常强烈地向“未来很短”更新。而这对长期主义影响很大，因为长期主义的核心就是未来在期望上是很大的。好的。那 SIA 对此怎么看？对，我想可以这样理解 SIA 的故事。我给出了关于 SSA 的那个故事，大概是这样：首先，上帝创造一个世界。
这是 SSA。首先，他创造一个世界。然后他拿着——他铁了心要把你放进这个世界。所以他手里有你的灵魂，对吧？他真的想要，而且无论如何你的灵魂都要进去，对吧？但他把你的灵魂放进世界的方式，是把你随机扔进某个人群，也就是参照类。所以如果你醒来，那么你应该预期自己最终出现在这样的世界里：
你最终成为的那种人，在这个扔进去的过程中更可能是一个结果，也就是占你本可能成为的所有人的比例更大。SSA 与 SIA 认为的不同之处在于：我用来讲 SIA 的故事——虽然它不是唯一的说法——是上帝决定要创造一个世界，然后天堂里有一长队灵魂，他去那里随机地把它们抓出来，放进世界里，对吧？这样，如果世界里的人更多，你就有更多机会成为这些灵魂中的一个。你就坐在天堂里，希望被创造出来。按照 SIA，如果那个世界里有更多的人，上帝就有更多机会把你从天堂抓出来放进世界，也就是如果有
更多像你这样的人的话。所以你应该预期自己处于有更多这类人的世界里。这就是 SIA 的大致意思。这不是也意味着，假设未来人更多，你就应该处于未来吗？你再说说为什么这会意味着这一点？好的，在一个类似的情景中，也许回到上帝抛硬币的情景，
如果你把白色房间里的人替换为一个事物，一个有意识的实体，而未来会有更多的有意识实体，那么你确实应该预期，就像在那个有更多房间的情景里一样，你应该处于有更多有意识存在者的情景里，想必就是未来。那么在 SIA 下，你却处在现在，这仍然很奇怪。是的。
在一个特定的意义上是这样。确实，按照 SIA，假设我们起初不知道你在哪个房间，对吧？你在白色房间里醒来，你想知道：我是在一号房间，还是在二号到一百万号房间？对。而按照 SIA，你首先做的是：你醒来，不知道自己在哪个房间，但有更多的人处于有很多房间的世界里。所以你变得非常非常确信自己处于那个世界，也就是你非常非常确信是反面。然后你说得对，以反面为条件，你会觉得更……你会
把你的置信度平均分配给所有这些房间。所以你非常确信自己在二号到一百万号房间中的某一个，而不是一号房间。但这是在你看到房间号之前。一旦你看到房间号，确实你应该对自己的房间号相当惊讶。但一旦得到房间号，你就又回到了正反面各 50% 的状态，因为你原先对“反面且在一号房间”和“正面且在一号房间”的置信度是相等的。所以当你排除了反面情形下二号到一百万号房间的所有可能后，你剩下的就是正反面各 50%。
所以，SIA 在末日论证上让你回到常态的意义在于：一旦你根据“自己处于 21 世纪”这一点做了更新——诚然这应该令人惊讶，就好像你原本不知道自己处于 21 世纪，然后得知你确实处在 21 世纪，你应该会觉得：哇，这太出乎意料了。这是对的。但我认为，一旦你这样做了，你就回到了你关于灭绝的先验，不管它是什么。也许我仍然不明白，为什么你感到惊讶这件事本身不就是末日论证。对，我想这里有一种直觉，就是：SIA 是不是做出了糟糕的预测？你可以对 SIA 做反向更新，因为 SIA 本来会预测你处在未来。
我认为这里面有些道理，另外还有几个类似的情形。比如，我认为 SIA 在朴素的情况下会预测，你应该发现自己处于这样一种情形：有海量的人，一种痴迷于创造拥有你这种证据的人的情形。这是 SIA 的问题之一。所以你应该预期在每个犄角旮旯里都找到一个你的模拟。一旦你打开门，其实里面是一大堆处于你先前认知状态的你的模拟。所以我认为有……
然后你并没有看到这些。你可能会想：嗯，我应该对那个预测我会看到这些的人择理论做反向更新。我认为有这个方向的论证。对，那么也许我们退一步，回到最初用来区分这两种理论的那个例子。你能不能帮我理清我的直觉？我的直觉是非常倾向于这样说，因为，对，在我看来，你知道自己会醒来，对吧？你知道自己会在一个白色房间里醒来。
在你真正醒来之前，你的先验应该是正面或反面各一半。所以我不清楚，在没有学到任何新东西的情况下，你对这两种情形的后验概率为什么应该改变。我想 SIA 对此的回应是，或者至少让它变得直观的方式是说，你并不知道自己会醒来，对吧？所以如果我们回到那个上帝把你从天堂里抓出来的假想故事，他抓到你这件事根本不是……其实极其不可能。有那么多那么多人，我是说，还有另一回事，就是 SIA 总体上
对自己存在这件事感到非常惊讶。事实上，你可以提出同样的论证：SIA 说你不应该存在。你存在难道不奇怪吗？我其实认为这是个好论证。但一旦你进入这种思路，我认为应该这样想：并不能保证你……上帝并非一心想创造你。你是世界的一种特定的偶然排列。所以，如果这种类型的排列越多，你应该预期这种排列出现得越频繁，而不是假定无论如何存在都会包含你。对。那么你能不能多谈谈 SSA 的问题，也就是你认为它会失效的情形，比如你为什么偏好 SIA？好的。一个简单的问题，或者说最戏剧性的问题之一，是 SSA 预测有可能对世界施加一种类似心灵遥感（telekinetic）的影响。
设想有一只小狗，你醒来发现自己处在一个空的宇宙里，只有这只小狗和你，还有一块滚向小狗的巨石，对吧？这块巨石势不可挡地要杀死小狗。它是一块非常大的巨石，基本可以肯定小狗必死无疑。但你拥有做出有约束力的事先承诺的能力，而你确实会去执行这些承诺。而且你右手边还有一个按钮，可以让你创造出海量的人，成千上万亿的人，他们所有人穿的衣服都和你不同。
所以如果你创造了他们，他们的认知状态就会与你不同。现在，SSA，你做出如下决定。你说：如果这块巨石不从小狗身上跳开，也就是如果巨石以某种非常奇怪、非常不可能的方式跳起来，那么我就按下这个按钮，创造出海量的人，所有这些人的认知状态都与我不同，但我们假设他们在我的参照类里。
SSA 认为，你处于一个有海量这类人的世界里、而你自己一开始穿着不同颜色衣服的可能性足够低，因为如果这些人被创造出来，你只是参照类中很小的一部分。所以 SSA 认为，一旦你做出了这个承诺，巨石跳开的可能性其实更大。这看起来很怪，对吧？似乎这是行不通的。你不能只是做出这样的承诺，然后就指望巨石跳开。
这是比较奇特的例子。即使在上帝抛硬币的情形里，你也会得到类似的情形：朴素地说，上帝是否已经抛了硬币其实并不要紧，对吧？假设你醒来，得知自己在一号房间，对吧？但上帝还没有抛硬币。就好像他在抛硬币之前先创造了一号房间，然后他会抛硬币，由此决定他是否在未来创造所有其余的房间。如果你按照 SSA，一旦你醒来并得知自己在一号房间，你就会认为
未来出现那些人的可能性极低。所以，你现在说，在此之前这是一枚公平的硬币，上帝要当着你的面抛它。你仍然会说：对不起，上帝，这枚硬币落成反面的几率是百万分之一——不好意思，是百万分之一，或者某个非常小的数，我记不清具体是多少。这非常奇怪。那是一枚公平的硬币，还没有被抛出。但你凭借 SSA 的力量，却对它会怎么落变得极其有把握。这是另一个论证。我认为 SSA 还有很多其他非常糟糕的问题。
对，在我消化这些的同时，让我提一下你在文章里和之前已经指出的针对 SIA 的问题：如果有人认为 SIA 是真的，就应该非常确信，宇宙里有很多像你一样被抽样出来的其他人。那么，我们所处的宇宙并没有挤满人，就显得有些令人惊讶了。比如，你可以想象火星完全由人体构成，或者每一颗恒星里都有一个万亿人的模拟。这一切并没有发生，似乎是反对 SIA 的非常有力的证据。
然后还有别的东西，比如“自以为是的哲学家”（presumptuous philosopher）问题，你可能也想谈谈。不过，你是直接硬着头皮接受这些吗？还是怎么看待这些问题？我的主要主张是 SIA 比 SSA 更好。我认为人择推理的处境简直糟糕透顶。而且我认为总体而言，SIA 是向更大、人口更多的宇宙的一种更新。我想，最显眼的人口众多的宇宙并不涉及其他星球上藏着的人，但可能，我不知道，也许我们是在一个模拟中，而人们痴迷于模拟我们之类的。然后，我认为更重要也更令人担忧的是，我看待这场辩证的方式
是这样：首先 SIA，我是说 SIA 的一个大问题是，朴素地说，它立刻就变得确定你生活在一个无限的宇宙里，或者一个有无限多人的宇宙里。然后它就崩溃了，因为它不知道如何比较无限的宇宙。公平地说，SSA 在比较无限宇宙上也不太行。它们都有……你可以做一些实际上与无限伦理学里你能尝试做的事情相当类似的事，比如取不断扩大的时空球，数一数，你在这些球里有一定的比例或密度的人。
而宇宙学里有一个普遍的问题，就是试图理解拥有不同类型观察者的比例或密度意味着什么。但我自己的看法是，这里发生的事情是，我们很快碰到了这种无限，你很快就碰到了无限的宇宙，然后它们以类似于破坏你的伦理学的方式破坏了你的人择推理。
这就是我目前所处的位置。我希望更好地理解如何在有无限的情况下做人择推理。我在普适分布（universal distribution）上做的一些工作，我就此有几篇博客文章，就是在朝这个方向稍作尝试，不过它自己也有巨大的问题。好的，有意思。你知不知道——我只是隐约觉得 Robin Hanson 的“贪婪外星人”理论
大概用的是 SSA，但你知不知道他在里面是不是用了 SSA？我不知道。我没有仔细看过那项工作。好的，好的，酷。我不知道。我很难去想它。也许我还需要几周
才能完全消化它。不过，好的，这真的很有意思。你有一篇很有意思的博客文章，讲的是相信你看不到的东西。其中有一点，我是说，这在文章本身里几乎是一个题外话，但我觉得是个很有意思的评论。你对未来学做了一个有意思的评论。你是这么说的：
“就我的经验而言，许多未来学都带有一种鲜明的不真实感。这些概念——心智上传、纳米技术、太空定居和太空能量捕获——我认为即使定义松散，也是有意义的，但到了某个点，一旦模型变得如此抽象和不完整，那种在谈论一件真实的东西、哪怕是可能真实的东西的感觉就消失了。”那么你为什么认为是这样？有没有办法把未来学做得更好？我认为部分原因是想象力本身是一个相当有限的工具。而且很容易……要用这颗小小的头脑去尝试给整个未来建模，未来是一个很大的东西。所以必然需要使用这些极其有损的抽象。这就使你处于这样一种模式：你手里是些非常粗略、满是缺口的地图，你试图去操作它们。我认为这是一个维度。然后我还认为，这对未来学来说也不是那么独特，因为总的来说，我认为很难
始终让我们的智识投入扎根于真实世界。我认为人们很容易滑入某个区域，尤其是当这个区域带有社交动态，或者有点像一场智力游戏，你是为了乐趣本身而享受它，或者其中有某种地位维度，以及人们谈话的方式和其他东西，开始把我们的讨论推向一个不再是“啊，我们现在谈的是真实世界，让我们真的把它搞对”的方向。我认为未来学中就发生了这种情况。也许更甚，因为它可能给人这样的感觉：有些人，有些话题他们会当作“啊，那是一个真正
严肃的话题，说的是真实的东西”。而另一些话题则是“这是个可以编点东西的机会”。我的经验是，有时人们就是这样对待未来学的。还有一些话题，人们会进入这样一个区域：在这里可以随便说，没有任何约束。我认为这其实是错的。对于未来学，我认为存在重要的约束，也有我们可以说的重要的东西。但我认为这种氛围仍然会渗透进来。
对，有意思的是，未来和过去都是如此。我最近采访了一个写拿破仑战争的人。对，从抽象的意义上谈论它非常有意思。但同时，你也可以——这很少有人做——去想象那种现实：一百万人从俄罗斯行军撤出，冻僵，吃马和其他人的遗骸，然后饿死。那种具体的现实，而不只是在谈论抽象的东西，比如“哦，边界在这几十年里变了这么多”之类的。对，你如何思考历史会变得非常不同。就连最近，我读了一本关于纳粹使用冰毒的书。书里有一个特别愤世嫉俗的部分，纳粹政权的领导人们在谈论，“哦，冰毒是完美的药物，因为它给他们勇气，让他们可以毫无顾虑地闪击穿越一个地区，不去想有多冷，不去想独自待在无人地带有多可怕。”
还有这样一个形象：一个吸了冰毒的士兵，被迫走进荒无人烟的地方，然后所有人在冬天向俄罗斯进军之类的。我不知道这是不是要引出一个问题。我不知道你有没有什么反应。对。我是说，我认为这是个很好的例子，特别是这样一幅画面：把历史看成“边界在如何变化”，与这些人的具体性之间的差别。
而且我常常觉得，当你真正在脑海里呈现所有这些事件的亲历现实时，接触历史是令人毛骨悚然的。这是一种截然不同的体验。我认为在某种程度上，未来学之所以常常缺乏这种具体性，一个原因是，任何想要具体化的尝试都会是错的。所以你可能在某个抽象的东西上是对的，比如“哦，我们将有能力在……某某尺度上操纵物质”。
但如果你试着深入细节，然后说“醒来后在未来是这样的”，比如你正在吃着……之类的，那你立刻就错了。事情不会是那样的。所以你没有能力真正聚焦于确实为真的具体细节。因此在某种意义上，你需要来回切换：你需要先想象一个具体的东西，然后说“好吧，这是错的”，但接着把从中获得的那种具体感保留下来，说：但它会是一个具体的东西，只是不是我想象的那个具体的。然后即便你以更抽象的方式谈论，也保持那种具体感。我认为这是
一种微妙的舞蹈。对，对。你们很多人都知道，Peter Thiel 有一个他经常提起的说法，就是我们已经变成了不确定的乐观主义者，而他更喜欢确定的乐观主义，也就是你对未来可能是什么样有一个具体的愿景。好的，那么最后收尾，我想问你的一件事是，你说这个博客是副业项目。在你提到你的主要工作是 AI 之前，我还以为这至少算是你主要工作的一部分。
所以我觉得很意外，真的很意外，你居然能保持这样的更新频率。基本上你差不多每周就发表一本小书。而且里面有很多见地。而且不像互联网上的许多其他博客那样文风平淡，你的文笔很好。你是怎么，你怎么能在副业项目上保持这样的产出？我应该说一下，我最近的几篇文章特别长。
我当时从工作中抽出了一些时间，部分是在学术环境中写这些的。但博客的头一年半左右只是副业，我现在又回到把它当副业了。我认为有一点是有帮助的：我的博客文章太长了。我也有一个梦想，就是把我的长文章真正压缩，变成一个简洁、优雅、非常精炼浓缩的陈述，但那会花更多的……所以，我提高产出的一种方式，就是不做这种编辑，对此我感到愧疚。但至少这是一点。
那句名言是什么来着，我不知道是不是有人问过“你是怎么……”我想大概是说，我本来会给你写一封长信，但我没有时间写一封短信，所以我写了长信之类的。对，没错。我有个朋友说，真正应该是：我没时间给你写一封短信，所以我给你写了一封糟糕的信。我就想，希望它没那么糟糕。
但我确实认为，如果我有更多时间写这些文章，我会试着把它们删短。所以这是一种节省时间的方式，不管好坏。对，至少作为读者，我常常觉得，像你这样写作的人——也许这是在描述你的流程——Scott Alexander 说他基本上就是意识流地写，结果却非常好读。你的博客文章也非常好读。甚至我自己写的东西也是如此：那些我有意在写的过程中不去修改的，
读起来往往比那些我试图优化每个句子、然后每前进一步就退两步的要好得多。我不知道这是不是一种选择效应，也许是那些更难表达的东西，你花了更多时间去修改。但这挺有意思的。对，我在想。我在想。我的感觉是，我的
写作如果有机会修改，会好不少。这只是时间问题。但我确实认为人和人差别很大，这很有意思。我最近在读一本书，George Saunders，我很欣赏的一位作家，写了一本关于小说写作的书，叫《雨中池塘游泳》（A Swim in a Pond in the Rain）。他试图传达的那种氛围，我想在写作者当中相对常见，就是一种近乎痴迷的专注，甚至在逐句的层面上，也在认真思考：读者的心现在在哪里？他们如何投入？他们有兴趣吗？他们感到意外吗？我是不是正在失去他们？他的写作以一种甚至并不显眼的方式极具吸引力。你只是开始
读下去，然后你会想：哦，哇，我真的很投入。但这也是一幅相当令人望而生畏的图景，说明所需的专注程度。让我觉得：哇，如果我要把所有东西都这样写，那会大大削减我的整体产出。所以我确实认为这里需要平衡。如果你是那种可以意识流地写，而结果接近你修改后能得到的东西的人——我不确定我是不是——那就再好不过了，算是你运气好。对。还有一个额外的考虑：如果你认为一篇文章有多有趣、有多少人看到、有多少人觉得有价值，会遵循某种幂律，
那么不清楚这是不是建议你在每篇文章上花很多时间，以增加其中某一篇爆红的几率——鉴于爆红的和没爆红的文章差别很大——还是应该干脆大量地写，然后尽可能多地抽样。对，我想，其实博客我一开始部分就是作为一种练习，让东西尽快发出去。我曾经有一个想法，就是有一天我会把我一直在思考的一堆东西写出来，但它不知怎么变成了……我会以一种宏大的方式把它写出来，我终于写出来，它将是一件美好的东西，我会花上所有这些时间。
后来，由于种种原因，我最终觉得自己在生活的某些方面太过追求完美，或者太过……我需要更快地把东西发出去。所以博客就是这方面的一个练习。我认为它在某些方面得到了回报，如果不是这样，我想我不会去做的。明白了。好，最后一个问题。我很好奇你能不能给听众推荐三本书。我的首要推荐，这有点自我吹捧，因为我帮忙参与了这个项目，是 Toby Ord 的《悬崖》（The Precipice）。也许你的很多听众已经熟悉了，但我认为这本书真正传达了那些对我来说最重要的思想，
或者说对我自己的生活产生的影响近乎最大的思想。其他的书，我很喜欢剧本《天使在美国》（Angels in America）。我认为它是史诗般的、了不起的。当然那不完全是书，不过你可以读。我其实推荐看 HBO 的迷你剧，但那是我推荐的东西。然后，我不知道，去年我读了 Marilynne Robinson 的《管家》（Housekeeping），它有一种神圣的气质，我想她的很多作品都有。
所以我非常喜欢，也推荐给别人。那也是一部小说。如果你想找哲学类的，我不知道，我的很多工作是与 Nick Bostrom 以及他的整体著作对话的。我认为与之交锋是非常非常有价值的。明白了。好的，好的。那好。
对，Joe，非常感谢你来参加播客。很有意思，非常有意思。对，谢谢你邀请我。哦，我还要说一下，我在这里说的一切都纯属我的个人意见。并不代表我的雇主，也不代表任何其他人，只代表我自己。请大家记住这一点。好的，好的。
那么人们可以在哪里找到你的东西？你可以说一下你的博客链接、推特链接和其他的。好的。我的博客是 handsandcities.com。我的推特账号是 jkcarlsmith。这些都是可以联系到我的好地方。我的个人网站是 Josephcarlsmith.com。好的。那么关于 AI 和这类东西，我们在哪里能找到你的内容？
关于 AI 的内容在我的个人网站上有链接。所以那是最好的去处。好的，酷，酷。谢谢观看。希望你喜欢这一期节目。如果你喜欢，并且想支持这个播客，你能做的最有帮助的事就是在社交媒体上和朋友们分享它。除此之外，请在 YouTube 上点赞和订阅，并在播客平台上留下好评。再见，下次见。