Joseph Carlsmith: 约瑟夫·卡尔史密斯：乌托邦、人工智能与无限伦理

Joseph Carlsmith 介绍自己是开放慈善（Open Philanthropy）的高级研究分析师，研究人工智能带来的生存风险：AI 会发生什么，如何确保它朝好的方向发展，尤其是如何让先进的 AI 系统保持安全。主持人 Dwarkesh Patel 邀请他，是因为他的博客，文稿中把博客名写作 Hands in Cities（按转写原样）。这个博客谈哲学、道德、伦理和未来。Carlsmith 称它是一个副业项目，并说它源于他早年的学术哲学背景，那是在他转向 AI 和开放慈善之前。

他目前的工作是研究 AI 时间线和起飞速度，也就是世界从相当令人印象深刻的 AI 系统走向根本性变革的 AI 系统有多快。他借这项工作来进一步校准自己对“一切彻底出错”这一概率的估计。当被问到这个数字的变化意味着什么时，他给出两层影响。事情来得越早，你就越要为它很快到来做规划，越要抄近路，也越不能指望有更多时间。而灾难的概率越高，这件事就越容易成为最重要的优先事项。他认为有一个概率区间，在其中具体数字也许没那么要紧，但 1% 与 10% 之间的差别是实质性的，10% 与 90% 之间的差别也是，而这几个水平上的人他都认识。

主持人以关于长期主义的问题开启哲学讨论。如果有人把职业生涯用来建设某个未来，那个未来在当下活着的人看来，可能显得陌生、令人不安，甚至令人厌恶。他打了个比方：从功利主义的角度看，现在比过去好得多，但过去的人可能会觉得现在令人不安，比如现代城市里的孤独，或者手机上免费又廉价的信息。

Carlsmith 分两步回答。第一，他猜想大多数历史上的人被带到现在，即便有些未来冲击和疏离感，也会很快转而偏好现在。第二，历史上的人与我们之间的差距，无论在时间上还是其他方面，都远小于他所设想的我们与生活在根本上更好处境中的未来人之间的差距。所以他预期这些未来人初到时会面对更大的距离，可能也有更强的疏离感。他自己的标准并不是第一印象。他说，最好的未来，是你在充分理解并亲身体验之后会判断为真正美好的那种，这可能需要大量的接触，甚至需要改变你理解和体验的能力。对他来说，问题在于，当他真正理解了正在发生什么之后，会有什么感受。

主持人反驳说，局内人的体验可能误导人。一个伊斯兰主义者可能会说，在伊拉克为哈里发国而战所感受到的狂喜，比坐在沙发上的局外视角更能让你明白，然而在这种情况下，局外视角似乎更有用。Carlsmith 区分了两个问题：从内部看，这种体验是什么样的；以及，当你充分理解了这种处境之后，你会得出什么结论。在他的用法中，充分理解包括这种处境正在造成什么、支撑这套意识形态的信念是什么，以及这些信念是否为真。他指的是第二个问题，而不仅仅是说那个未来对生活在其中的人来说感觉良好。不过他仍然预期那里的居民会认可它。

如果身处其中的人不竖大拇指，那就是个奇怪的乌托邦。

除了居民自己的看法，他又加上一个更整体的视角，他称之为充分理解，那是人们据以认可这种处境的视角。

主持人接着问，未来的人是否会后悔我们处理 21 世纪的方式，并引用了一个类比，文稿中归于 McCaskill（按转写原样）和他的新书，把我们看作文明的青少年。成年人常常对自己青少年时期做过的冒险事怀有怀旧之情，因为那些事塑造了他们。Carlsmith 怀疑，假设未来存在的话，未来的人回望 21 世纪的风险与恐怖时会感到愉快。他说，自己对古巴导弹危机或第二次世界大战并没有这种怀旧之情。

他还质疑这个青少年类比本身。如果你和朋友飙车或在采石场玩“胆小鬼博弈”（chicken）时活了下来，你可以怀着温情回望，但真正不该这样做的理由，在于概率中你丧命的那一部分。

你直接丧命的那一块概率

他的结论是，事后回头看，并不是校准我们对风险（尤其是死亡风险）应有感受的正确视角。

当被问到乌托邦为什么重要，以及人们为什么难以想象一个有吸引力的乌托邦时，Carlsmith 把乌托邦简单地定义为一个深刻更好的未来。它之所以重要，是因为他认为这确实有可能：只要我们打好手中的牌，用不疯狂的方式，就可以建成一个远比今天好得多的世界。他说，我们常常低估现状与可得的未来之间在价值上的差距可能有多大。乌托邦往往被过分紧紧地锚定在现状上，只做了一些小改动，而我们的根本处境基本没有改变。他举的例子是从一份糟糕的工作到一次海滩度假，乌托邦就被想象成人人都在度假。他认为真正的差别更像是沉睡与清醒，或者住在山洞里与置身于开阔的天空之下，而这一点非常重要。

主持人指出，这似乎与 Carlsmith 的文章相矛盾，文章说乌托邦应该是当下活着的人能够认得出来的。Carlsmith 同意这里至少存在张力，并借助“理解”的概念来化解。理想情况下，我们是通过一个漫长而耐心的过程抵达乌托邦的，这个过程让我们作为一个物种变得更智慧、更好、更有能力，正因为这个过程臻于成熟，我们才能建成一个深刻美好而又根本不同的文明。如果有人被直接送到那里，跳过了这个过程，他可能不喜欢，它会显得相当陌生。而一个经历了理解过程、变得更有智慧的人，会认可它。

主持人把这理解为一个哲学过程，而不是比如琢磨如何把一切转化成 hedonium（快乐物质）、享受永恒的极乐。Carlsmith 同意，他并不认为我们现在就知道乌托邦就是 hedonium。他对这个概念并不是特别感兴趣，并说这个“品牌”不好：人们谈起快乐时带着轻蔑，而用 hedonium 铺满宇宙的图景又暗示着一种乏味的整齐划一。在他看来，看待 hedonium 这类东西的相关视角是内部视角，也就是主体自己的体验，这一点就是这部分对话停下的地方。