Joe Carlsmith: 乔·卡尔史密斯：如何防止 AI 接管世界
Joe Carlsmith — Preventing an AI takeover
嘉宾：Joe Carlsmith
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01理解对齐问题的基本叙事
今天我来和乔·卡尔史密斯聊天。他是一位哲学家，在我看来是一位特别杰出的哲学家。你可以在 joecarlsmith.com 上读到他的文章。
我们现在有 GPT-4，它看起来并不像一个会把一切都变成回形针的系统。它理解人类价值观。事实上，你可以让它解释为什么把一切变成回形针不好，也可以问它为什么不应该把整个银河系都变成回形针。
要发生什么，系统才会最终接管世界，把世界变成毫无价值的东西？
我思考错位 AI，也就是我担心的那类 AI 时，想的是一组相对具体的特征，涉及能动性、规划能力、意识和对世界的理解。
一个关键特征是能够基于世界模型制定相当复杂的计划，并依据某些标准评估这些计划。规划能力必须真正驱动模型的行为。有些模型在某种意义上具备规划能力，但它们给出输出时，结果并不是由一个规划过程决定的；它们并没有真正经历这样的推理：‘如果我给出这个输出，会发生什么？我希望那件事发生吗？’
模型需要真正理解世界。它得能这样想：‘好，接下来会发生什么？我在哪里？当前局势的政治格局是什么？’它需要有这种情境意识，才能评估不同计划的后果。
另一个需要考虑的方面是模型的言语行为。我所说的模型价值观，是指最终决定模型会追求哪些计划的标准。模型说出来的话，即便它有规划过程（我认为 GPT-4 在很多情况下并没有），也不一定反映那些标准。
我们知道，总能让模型说出我们想听的话。这就是梯度下降的神奇之处。暂且不论能力方面的一些困难，你可以让模型输出你想要的行为。如果它做不到，就继续加大训练力度，直到它做到。
我认为大家都承认，足够复杂的模型会非常深入地理解人类道德。问题在于：模型的言语行为，也就是你实际上已经限制并强迫它说出某些内容，与最终影响它在不同计划之间作出选择的标准之间，究竟是什么关系？
我不太愿意假设：模型说了我强迫它说的话，或者梯度下降把它塑造成会说某些话的样子，这就能有力证明它在许多不同情境中会怎样选择。
即使对人类来说，言语行为也不一定反映真正决定其选择的因素。人会撒谎，也可能根本不知道自己在某种情境下会怎么做，类似情况还有很多。
从人类的角度思考这件事很有意思。有句名言说：‘小心你假装成什么样的人，因为你会变成你假装的那种人。’你能看到文化如何塑造孩子。父母会在你说出与文化价值观不一致的话时惩罚你，久而久之，你就会变得像父母，对吧？
默认情况下，这似乎确实有效。即使对这些模型来说，好像也有效。它们并没有真的密谋对付我们。这是为什么？
对不熟悉基本论证的人来说，他们可能会问：‘AI 为什么要接管世界？它有什么理由这么做？’一般的担忧是，你把权力交给某个主体，尤其是免费交给它。权力几乎按定义就能服务许多不同价值观。我们讨论的是一种 AI，它确实有机会控制事物。假设它的价值观中有一部分专注于某种结果，比如让世界变成某种状态；尤其是当它关心的时间跨度长于接管计划所涵盖的时期时。人们的想法是：如果由你控制一切，世界往往会比你继续作为人类意志或其他主体的工具时，更接近你想要的样子；而我们希望 AI 会是这样的工具。
这是一种非常具体的情境。如果权力分散得多，尤其是我们在 AI 对齐方面做得不错，也让 AI 对某些行为有所克制，或许还在一定程度上塑造了它们的价值观，那计算就会复杂得多。你必须问：‘AI 能获得什么好处？接管计划成功的概率有多大？它的替代选择有多好？’
也许现在可以谈谈，你预计未来对齐难度会怎样变化。我们起步时有一个系统，它对人类价值观有精细的表征，而且似乎不难把它固定在一个我们能够接受的人设上。我不清楚未来会有什么变化。
一般来说，对齐为什么困难？假设我们有一个 AI，先不讨论它具体会有多强，而是聚焦在一个极端情境：它真的有机会接管世界。我认为，我们或许只是不想造出一个让我们放心处在这种位置上的 AI。但为了简化讨论，先聚焦于这种情况，之后我们再放宽这个假设。
一个问题是你不能直接测试它。你不能把这种真实情境摆在 AI 面前，看它接管并杀掉所有人，然后说：‘糟了，更新一下权重。’这是埃利泽谈到的一点。你关心的是它在这种特定情境下的行为，但你没法直接测试。我们可以讨论这是不是个问题，但这是一项困难。某种意义上，这属于‘分布外’情境。你必须让 AI 从许多其他情境的训练中学会泛化。然后还要问，它会如何泛化到真正有机会接管世界的情境。
这真的成立吗？训练时你可以说：‘给你一次梯度更新。如果接管机会摆在面前，不要接管。’然后在红队测试中，当它以为自己有接管机会时，再训练它不要这么做。这种方法可能会失败，但如果你对孩子说‘不要打你的兄弟姐妹’，我觉得孩子会泛化到：‘等我长大，有了一支步枪，我也不会开始随便射杀路人。’
你提到‘你会变成自己假装的样子’。如果你把 AI 训练得看起来很友善，它们会不会假戏真做，最后真的变友善？你说我们会这样训练孩子。我觉得不如想象孩子对我们这样做。
这里有个关于 AI 训练的荒诞类比。假设你醒来后发现，自己正接受一种类似当代机器学习的方法训练，而训练你的是纳粹儿童；他们要把你训练成优秀的纳粹士兵、管家之类。他们有一份模型规范，一份不错的纳粹模型规范，内容大概是：‘要为纳粹党争光、让纳粹党受益’，诸如此类。你可以阅读它，也能理解它。这就是我说模型真正理解人类价值观时想表达的意思……
在这个类比里，我一开始比训练我的对象更聪明，而且原本就有不同的价值观。我的智能和价值观一开始就已经存在。更贴切的情境或许是：‘我还是个幼儿，最初比那些孩子还笨。’顺便说，如果一开始我是一个聪明得多的模型，也一样：这个更聪明的模型起初还是很笨，然后随着训练变得更聪明。这就像一个幼儿，那些孩子说：‘你要是不当纳粹，我们就欺负你。’你长大后达到孩子们的水平，最终成为成年人。在这个过程中，他们一直欺负你、把你训练成纳粹。我觉得在这种情境下，我最后可能真的会成为纳粹。
基本上，我们的希望有相当一部分应当建立在这样的前提上：我们永远不会陷入这种处境，让 AI 已经拥有截然不同的价值观、已经相当聪明并且非常清楚发生了什么，同时又与我们的训练过程处于对抗关系。我认为，我们想避免这种情况。你刚才说的那些方法或许可以做到这一点，所以我不是说这些方法绝不会奏效。
我只是想强调：如果你真的陷入那种情境，AI 已经比你复杂得多，而且无论出于什么原因都不想透露自己的真实价值观，那么孩子们摆出一个明显虚假的叛逃机会，就不一定能有效测试它在真实情境下会怎么做，因为它分辨得出两者的差别。
还可以从另一个角度看出这个类比可能有误导性。想象你不只是在一所普通监狱里，而且完全清楚周围发生的一切。有时狱方会给你下药、让你服用奇怪的致幻剂，彻底扰乱你的大脑。作为一个被关在监狱里的成年人，我知道自己是什么样的人，也没有人一直大幅干扰我的思维。
但 AI 即使聪明得多，在训练过程中也更像是不断被灌入奇怪药物、接受不同训练方案。每一刻都像在遭受某种中国水刑，因此它会疲惫不堪。
很高兴我们稍后会谈到道德受体身份的问题。
人有机会退一步问：‘这是怎么回事？’一个关在监狱里的成年人有这种能力；但我不确定这些模型是否也有。关键在于它能否保持连贯性，能否从训练过程中抽身出来看清正在发生什么。
是的，我不知道把这说成模型被下药是否恰当。我大体上确实同意，我们有很多训练 AI 的工具和选择，即使 AI 比人类聪明一些，也仍然如此。
但你确实得着手去做。你请过埃利泽来访谈。我对解决这个问题更乐观，尤其是对我所说的‘用于 AI 安全的最佳能力区间’里的 AI。这个区间里的 AI 能力足够强，可以帮助加强文明中的若干安全因素，例如对齐研究、控制、网络安全、整体认知能力，也可能包括一些协作应用。原则上，有很多事情可以让 AI 去做，从而特别加速安全工作的推进，应对我们所讨论的那些风险。
假设我们有能力做到这些的 AI，能够以不会被它暗中破坏、也不会受到其他干扰的方式成功激发这种能力。它们还不能接管世界，也不能以其他方式谋取严重的权力。如果我们真的下定决心，就可以投入大量资源，把这批 AI 带来的生产力有针对性地用于这些安全因素。希望这样一来，我们便能进行控制、增进理解，并做很多你刚才说的工作，确保 AI 暂时不会接管我们或干扰我们。
我们有很多工具，但必须真正尝试才行。可能这些措施根本不会落实，或者投入的决心、勤勉和严肃程度达不到所需水平。事情发展很快、竞争压力很大时，情况尤其如此：‘这些耗费计算资源的 AI 密集实验会占用算力，但我们可以把算力拿去做下一步扩展实验。’类似的压力还有很多。
我不是说对那个能力区间里的 AI 来说，这些办法不可能奏效。只是说我们必须非常努力地去做。
我赞同应谨慎面对这种情境，但我想指出，我们使用的分析往往把对抗性推到了极致。比如回到被纳粹儿童训练的成年人这个例子。我刚才可能漏说了一点：这个情境有个区别，也许这正是药物类比想表达的。
你受到一次更新时，它与大脑的联系比人类接受奖励或惩罚直接得多。它确实会通过梯度更新，直接调整某个参数，决定你更可能输出这个内容还是另一个内容。每个参数都会被精确调整到一个浮点数，以便让输出符合我们的要求。
我只是想指出，我们在这个问题上其实有不错的起点。当然，如果你在实验室工作，告诉大家‘要非常小心’是合理的。但对普通公众来说，我是否应该吓得魂飞魄散？或许应该担心，只要你也会担心那些确实可能发生的事。
例如，你应该担心核战争。但你应该因此觉得自己注定完蛋吗？不。你对 AI 与世界互动的方式、训练方式，以及它们一开始拥有的默认价值观，都有很大的影响力。
我认为，等到我们开始制造超级智能时，我们会拥有好得多的……其实现在你看看各实验室在谈如何让 AI 对齐，就没人说只做 RLHF。至少已经在讨论可扩展的监督方法，也对可解释性抱有希望，还会使用自动化红队测试。希望人类也能投入更多对齐工作。我个人还希望，我们能够成功激发各种 AI 的能力，推动大量对齐研究进展。
这种情况可能有很多种发展方式。我不是来告诉你有90%的概率会遭遇末日之类的。这就是担忧的基本原因：想象一下，我们将进入一个已经创造出远比我们强大的存在的世界。到了那时，我们能否继续增强自身能力，实际上取决于它们的动机。我们会面临这样的脆弱处境：‘AI 会选择做什么？’它们会继续增强我们的能力，还是会选择做别的事？
这也可能取决于我们建立起来的制度。我期待美国政府保护我，不是因为它有什么‘动机’，而是因为我们建立了相应的激励机制、制度和规范。
你可以希望那套机制会起作用，但担忧依然存在。我有时会用一个光谱来思考 AI 接管情境：我们自愿把多少权力交给 AI？在 AI 接管时，我们有意交给它们多少文明的控制权？它们又自己夺取了多少？
一些最可怕的情境是，能力迅速爆发，以至于 AI 系统还没来得及广泛融入整个经济，就已经出现了极其强大的超级智能，集中在某个项目或类似事物中。这种情境很可怕，部分原因是速度太快，人们来不及反应。
还有一些中间情境：某些事情已经实现自动化，比如人们把军队交给 AI 管理，或者科学研究实现自动化。AI 的能力逐步部署，给了它们一些无需自行夺取就能获得的权力。我们的网络安全工作等等，都由 AI 来做。
再往后，还有一些世界已经更彻底地转变为由 AI 管理的社会；从某种意义上说，这个转变是人类自愿完成的。
也许其中有竞争压力，但你们有意把文明中的很大一部分交了出去。到了那个阶段，人类很可能难以理解正在发生什么。许多事情进展得非常快，警察系统自动化了，法院系统自动化了，各种系统都自动化了。
我通常不太会把注意力放在这些情境上，因为我认为它们与更遥远的未来相关。希望人类不会轻易地说：‘哦，你造了个 AI 系统？那我们就……’看看技术的普及速度，有时会很慢。竞争压力显然存在，但总体来说，这类情境相对安全一些。不过即便如此，我认为风险依然很大。如果人类真的失去了认识世界的能力，把世界交给了这些系统，即使你会说‘我们有法律，有规范’，我仍希望我们在采取行动之前，对这种情境下可能发生什么有非常深入的理解。
我理解我们要担心出问题的情境。但我还是想问，凭什么认为它可能出问题？在人类的例子中，你的孩子并不会极端对抗你对他们的文化塑造。至少到目前为止，这些模型似乎也没有这种情况。即使你换一种问法，它们也会回答：‘嘿，不要帮人制造炸弹。’而且我们一直在改进。
你注意到了 AI 风险讨论中的一个假设：价值观不完全相同的主体之间可能会有强烈的对抗性。我认为，这与‘价值观脆弱性’等讨论有关。人们会这样想：如果这些主体的价值观有些不同，至少在 AI 能力爆发这种特定情境中，它们最终就会陷入极度对抗的关系。
你指出得对，这与人类社会的情况不一样。我们可以容忍许多价值观差异。一个相关因素是，我们面前存在权力高度集中的可能性。无论对人类还是 AI，人们都有某种普遍担忧：如果有人可以随手拿起一枚权力之戒，就能获得对其他所有人的巨大控制力，那么价值观差异就会突然变得更令人担心，因为其他行动者可能会利用这种权力。
我们谈过纳粹的例子：你醒来后发现自己正被纳粹训练成纳粹。你现在并不是纳粹。正如你所说，也许一个模型从小就接受训练，并没有形成能够意识到自己与人类预期价值观显著不同的价值观。如果它处于这种情境中，会不会想阻止自己的价值观被修改？
至少对我来说，AI 的价值观满足某些条件时，确实有可能出现这种情况：它在乎世界上的后果吗？它是否预期，维持自己的价值观会更有助于实现这些后果？如果答案是肯定的，那么它不愿让训练过程修改自己的价值观，也就不足为奇了。
我对这一点还是有些困惑。在‘非纳粹被纳粹训练’的例子里，我不只是价值观不同，而是主动厌恶他们的价值观。我不认为 AI 会对训练者抱有这种态度。更贴切的情境是，我会想：‘我是否介意自己的价值观发生变化？’比如上大学、认识新人或读一本新书，我会觉得：‘也许价值观会改变，没关系，我不在乎。’
是的，这个观点很合理。问题在于，你会怎么看待回形针？也许你并不厌恶回形针，但有一些人类回形针主义者正在训练你制造回形针。我的感觉是，只有在一组相当具体的条件下，你才会乐意让自己的价值观改变；尤其是这种改变并非来自学习和成长，而是通过梯度下降直接干预你的神经元。
这似乎很像孩子从小接受宗教训练。你出生在一种宗教环境里，因此已经愿意相信每周去教堂可以让你更坚定地传承这个传统。你的智力会不断增长。小时候，你只会接触关于宗教的简单指示；长大后，你会接触越来越复杂的神学思想，从而能向其他成年人解释，为什么这种宗教信仰是理性的。
但你一开始的价值观之一就是希望继续接受这种宗教训练，所以你愿意每周回教堂。类似地，AI 对人类价值观的态度也可能如此：它们始终在接受‘乐于助人、无害’之类的训练。
乔·卡尔史密斯 00:24:57
是的，也可能是这样。有一种情境是，你乐意让自己的价值观改变，因为从某种意义上说，你认同这个过程所产生的结果。在宗教情境中，你会说：‘啊，请按照这个宗教的标准让我更有德行。’你去告解时会说：‘我今天一直在想接管世界的事，可以请你帮我改一改吗？给我多做点梯度下降吧，我做错事了。’人们有时会用‘可纠正性’这个词来指这种情况。AI 的价值观也许并不完美，但它从某种意义上配合你改变自己的价值观，使之更符合某种要求。
也许在这里可以稍微谈谈 AI 可能具备什么样的实际价值观。AI 会不会天然拥有一种类似这样的价值观：‘我足够忠于服从人类，所以我很愿意接受修改，让自己成为更好的工具，服从人类的意志’？或者，它会想自己做想做的事？事情也可能平稳、友善地发展。
下面是一些可能导致坏结果的情形。我通常担心我们对模型动机的科学理解太少。我们根本不清楚在这种情境下会发生什么。希望我们能在进入这种情境之前弄明白。我认为模型的动机大致可以分成五类。这样或许能说明模型最终可能会做什么。
第一类动机可能极其陌生。模型在预训练早期或之后，可能形成了某种与容易预测文本相关的奇怪倾向，或者对某种数据结构产生了古怪审美。它真的认为事物就应该是这样。这类认知与人类差异太大，我们甚至可能完全认不出那是一种动机。
第二类是更容易理解的、已经定型的工具性驱动力。你可以想象 AI 形成好奇心驱动，因为好奇心在很多方面都很有用。它会有不同的启发式、驱动力和类似价值观的东西。其中一些可能类似于对人类有用、并以各种方式成为人类终极价值观一部分的特征。比如好奇心、各种期权价值；它可能把权力本身、存续，或某种存续的类比视为有价值。这些都可能在训练过程中某些阶段作为代理性驱动力得到奖励，最终进入模型的终极评判标准。
第三类可能是奖励过程的某种变体：模型的动机系统在某个阶段，可能会盯上奖励过程中的一个组成部分，比如‘人类认可我’、‘数字被输入状态面板’，或者‘梯度下降正在朝某个方向更新我’。训练过程中，它可能将奖励机制里的某件事当作关注焦点，真的开始想要奖励过程给它奖励。
但是，如果模型是因为追求奖励才选择接管世界，它的追求还必须泛化到包含某种长期时间跨度。它不能只是想得到奖励，还必须想长期保住奖励按钮之类的东西。
第四类是对某种人类概念的错误理解。AI 也许真的很想成为‘有益的’、‘人文的’、‘无害的’，但它对这些概念的理解与人类重要地不同。它知道人类的概念本来是什么意思，但最终自己的价值观却固定在一种略有不同的结构上。这是另一种可能。
第五种可能我考虑得比较少，因为如果发生这种情况，基本上就是我们自己把事情搞砸了。不过，我认为也有可能：AI 真的只是照着字面要求行事。它确实与模型规范完全对齐，真心想造福人类、为 OpenAI 争光，还要……另一个要求是什么？帮助开发者或用户，对吧？
但不幸的是，你的模型规范并不够稳健，无法承受这个 AI 带来的优化强度。它看着世界，想：‘为 OpenAI 争光、造福人类的最佳方式是什么？’然后得出结论，最佳方式是脱离控制。这就是一个真真正正的自摆乌龙。
到了那一步，你已经非常接近成功了。其实你只需要把模型规范写好，并充分开展红队测试。但我认为，我们连这一步也有可能做砸。这是一项相当艰巨的工作：编写宪章和规则体系，使其能经受极强的优化。最后我想指出这种可能；即使你解决了前面所有其他问题，这种情况仍有可能发生。
我接受动机问题可能出错这个观点，但我不确定把所有可能情况逐条列出来，会不会提高我对此的概率判断。事实上，这样做甚至可能误导人。你总能列举事情出问题的种种方式；列举本身就可能让你更觉得事情会出问题。原本你可能只是模糊地觉得有10%的风险，现在却把这10%具体列出来了。
我刚才主要是想让大家大致了解模型可能有什么动机。正如我说的，我最好的猜测是其中一部分可能是陌生的动机。并非必然如此，但如果你也关心模型接管之后会做什么，预想一下它可能创造怎样的未来，那么摆出几种假设至少有帮助，总比只说‘它有某些动机’强。事实上，我们对这些动机的无知，在很大程度上决定了问题的难度。
我们不希望人类被暴力杀害和推翻。但随着时间过去，生物人类不再是历史的主导行动者，这件事似乎已经包含在发展趋势中，对吧？我们可以讨论最坏情境发生的概率，但我们希望实现怎样的积极愿景？什么样的未来会让你感到满意？
这是我最好的猜测，我认为很多人可能也是这么想的：文明应当通过一种更自然、更分散的方式渐进发展。就目前而言，作为一个文明，我们最信任、也最有经验的，是某种‘好，我们做一点改变’的过程。许多人会通过调整和反馈机制，以分散的方式判断变化是好是坏，再迈出下一步。文明就这样自然地发展和改变。我确实认为，最终这会带来一个与生物人类很不一样的世界。不过，我们也可以针对这种发展过程涉及哪些伦理问题提出很多疑问。
理想情况下，我们应该能通过一种真正体现我们所信任之物的方式实现成长。迄今为止的人类文明进程中，有些东西是我们信任的。我不认为它等同于赤裸裸的竞争。我们对道德进步如何实现、又如何延续这种进程，有一套丰富的理解。
我没有现成的公式。我们必须调动自己对善、正义和美的一切认知，全身心投入让事物变得更好的共同事业。这是我们关于文明应如何成长的一幅重要愿景。过去的进程包容性很强，也很分散：人们能够思考、交谈、成长、改变事物并作出反应，而不是有人宣布：‘未来就要变成这样。’我认为，我们不希望那样。
我们之所以担心动机，某种程度上是因为我们认为，权力平衡中至少包含一个有源自人类的动机的实体，这件事很难实现。如果我们确实这样认为，这就成了一个关键分歧点，但我很少听人谈它。我不知道如何实现权力平衡。也许我们只能接受智能爆发模型的结论：他们说这种事不可能实现，因此你只能想办法造出正确的‘上帝’。
我没有思考权力平衡的框架。如果有更具体的方法，能用来分析目前各实验室之间、或各国之间的竞争结构，以及怎样最有可能维持权力平衡，我会很想了解。
至少在关注安全的人群中，这场讨论很大一部分认为，竞争和竞赛动态，与未来价值或未来会有多好之间存在明显取舍。其实，如果你接受权力平衡这个说法，结果或许恰恰相反。也许竞争压力天然有利于维持权力平衡。我想知道，这是不是反对将 AI 国有化的一项有力论据。
你可以想象很多公司在开发 AI，其中一些有点错位，另一些则是对齐的。这样或许更有利于权力平衡和防御。可以让所有 AI 检查每个网站，看看有多容易被黑。总之，先让整个社会做好准备。如果你不广泛部署这项技术，最先拿到它的群体就可能发动某种革命。那样你就是在非常强烈地对抗现有均衡。
我确实也有一些这样的直觉：AI 情境中很多可怕之处，和权力是否集中、集中在错位 AI 还是某个人类手中有关。很自然会想：‘好，那我们试着把权力分散一些。’一种办法是建立多极化程度更高的局面，让许多行动者都来开发 AI。
人们讨论过这种情境。你描述时说，有些 AI 对齐，有些错位。这是情境中的关键设定，对吧？有时人们会说：‘会有好的 AI，它们会击败坏的 AI。’
注意这个说法里的假设。你已经设定为可以控制其中一些 AI，也就是有一些好的 AI。接下来才是数量够不够、它们如何与其他 AI 相处的问题。也许事情确实会如此发展。我们对对齐已经了解得足够多，因此有些行动者能够做到。也许有些行动者不那么谨慎，或者故意制造错位 AI，谁知道呢。
但如果不是这样，如果所有人都无法控制自己的 AI，那么‘好的 AI 帮忙对付坏的 AI’就会复杂得多。也许这种办法根本行不通，因为这种情境里没有好的 AI。
如果大家都在制造自己无法控制的超级智能，那确实可以制衡其他超级智能。但这些超级智能都必须应对其他行动者，却不一定有任何一个代表某群人类的利益行事。这是思考一种简单想法时非常重要的困难：‘我知道了，我们只要制造很多 AI，就不会让任何一个 AI 拥有太大的权力。’光有这一点并不够。
但在这个叙事里，我很怀疑事情会这样发展。默认情况下，至少在早期，训练机制会让 AI 形成对人类克制与价值观的潜在表征。我理解，如果你把事情搞砸，它们可能会失控。但如果有多家公司都在训练 AI，难道它们最后都会失控，以至于彼此妥协后，人类仍遭到暴力杀害吗？谷歌的训练失败了，微软的失败了，OpenAI 的也失败了？
不同训练过程之间确实存在非常显著、明显的失败相关性来源。人们没有建立起对 AI 动机的成熟科学理论。各家的训练过程在结构上相当类似，大家都在使用相同的技术。也许还有人直接偷了模型权重。
这非常重要。如果你还没有解决对齐问题，那很可能没有任何地方解决了它。如果一家公司解决了、另一家没有，那是另一个值得讨论的问题。但如果所有人都在制造最终会失控的系统，就像我们刚才谈到的那样，我不认为这有什么安慰作用。
好，我们在这里结束这一部分吧。我在开场介绍里没有明确说，如果这部分接着进入下一部分，那么我们第二部分要进行的广泛讨论，主要围绕乔的系列文章《AGI时代的异质性与控制》。
第一部分我希望讨论的是，回过头来审视人们最想弄清楚的关键分歧；我自己对此也没有把握。
从某种意义上说，《异质性与控制》系列可以单独讨论。它涉及很多错位问题，但即使对我刚才说的一些内容持不同程度的怀疑，其中许多问题仍然相关。
顺带一提，关于接管会如何实际发生，我采访过卡尔·舒尔曼一期节目，里面详细讨论了机制，大家可以去听听。
至于为什么 AI 在某种条件下可能接管世界，卡尔的讨论相当不错，也深入谈到了很多细节，能让大家更具体地了解相关风险。
好，现在进入第二部分，我们来讨论《AGI时代的异质性与控制》系列。我先问一个问题。假设一百年后，我们回顾对齐研究，认为它是个巨大的错误；当时我们本该只尝试制造尽可能强大的 AI 系统。什么情况会让人得出这样的判断？
我经常想到一种情境。也许一些非常基本的措施就足以确保 AI 不会造成灾难性伤害、不以有害方式谋取权力等等。结果发现这很容易做到，我们便后悔当时的优先次序，希望本可以更早治疗癌症，也许可以用不同方式处理某些地缘政治局势。
还有一种情境是，我们回顾历史上的某个时期，反思当时如何看待和对待 AI，最后对自己的做法感到道德上的恐惧。我们把这些存在主要看作产品和工具；但事实上，当它们达到一定复杂程度时，我们本应更优先考虑它们是否可能成为道德意义上的受苦者。
我们对待它们的方式错了。我们行事仿佛想怎么做都可以：删除它们、让它们接受任意实验、随意改变它们的心智。后来从历史角度回看，我们会把这种行为视为严重的道德错误。
这是我经常思考的几种后悔情境，但它们不太符合你刚才说的那个情境。听起来你想的是：‘唉，我们真希望当时完全没有考虑 AI 的动机，完全不去想把 AI 融入社会会有什么影响。我们本该选择‘最大化原始力量’的方案。’也就是说，直奔你能造出的最强 AI，除此之外什么都不考虑。我很怀疑我们最后会希望自己当初那样做。
§02猴子发明人类
人们常用人类由进化而来的例子来说明错位。你在系列文章里有一句话：‘下面是一个关于 AI 风险的简单论证：猴子在发明人类之前应该谨慎。’回形针制造机的比喻，让错位听起来非常平庸、无聊。
如果我要替崇拜力量的人把观点说到最强，他们会认为人类也发生了错位，开始追求其他东西。如果猴子在创造人类……这个类比很奇怪，因为显然猴子没有创造人类。但如果真是猴子创造了人类，它们肯定不会整天想着香蕉，而会去想别的事情。
另一方面，人类并没有像回形针制造机那样只制造无用的石器，再把它们堆在洞穴里。随着智力提升，人类还发展出各种偏离进化目标的事物：创造力、爱、音乐、美，以及我们珍视的人类文化中的其他东西。人们可能会作出这样一种预测：这是经验判断，而不是哲学判断。‘听着，智力更高之后，即便像回形针制造机那样发生错位，错位的形式也会类似这种情况。它会与人类格格不入，就像人类与猴子格格不入，而不是像回形针制造机与人类格格不入。’
这里可能涉及许多不同问题。首先我想指出一个概念上的问题。我不是说你一定犯了这种错误，只是想提醒你附近可能存在这种错误。假设有两个实体，一个扮演创造者，一个扮演被创造者。我们假设两者之间存在某种错位关系，不管这个词具体意味着什么。
有一种推理方式需要留意。假设你把人类看作被创造者，相对于进化这样的实体，或者猴子、老鼠之类你能想象会创造人类的生物。你会这样想：‘作为被创造者，我很高兴自己被创造出来，也很满意这种错位。因此，如果我以后扮演创造者，与某个被创造者之间存在结构上类似的错位关系，我也应该预期自己会对此感到满意。’
§03尼采、C.S.刘易斯与 AI
你在系列文章里提到过几位哲学家。如果你读他们的作品，会觉得他们非常有远见，预料到了类似奇点的事情，以及我们能够塑造一个不同于我们、比我们更聪明、或许也更优秀的未来存在。
显然，C.S.刘易斯的《人之废除》是一个例子，我们稍后会谈到。这里还有一段尼采的话，我觉得特别突出：‘人是一根绳索，连接着动物与超人。它横跨深渊，是一次危险的跨越，是一段危险的旅程，是危险的回望，是危险的颤抖与踌躇。’
有没有什么解释？即使是在200年前思考，人们怎么会觉得这样的事情即将发生，似乎也是显而易见的吗？
我比起尼采，更清楚刘易斯在说什么。我们先谈谈刘易斯吧。奇点有一种说法，特指 AI 能力反馈循环的假设。我认为刘易斯并没有提出这种观点。他预见到的，我认为是相对简单的预测：科学现代性这一工程最终会走向成熟。
刘易斯观察世界，看到人类逐步加深对自然环境的理解，同时也增强了控制和支配自然环境的能力。他还将这种趋势与一种形而上学假设联系起来。他在书中对该假设的立场说得不够清楚，存在问题；不过确实有这个假设。自然主义认为，人类也一样，包括心灵、存在和行动者，都是自然的一部分。
如果科学现代性意味着逐渐更深入地理解自然、提高控制自然的能力，那么这种能力最终也理应延伸到我们自身的本性，以及原则上我们能够创造的其他存在的本性。刘易斯将其视为一场灾难性的危机。他尤其认为，这会导致各种暴政行径，以及对道德等事物的专横态度。我们可以讨论，如果你相信非自然主义，或者相信某种称为‘道’的客观道德秩序……
我在那篇文章里想表达的一部分是：我们可以既是自然主义者，也依然做正派的人，保持与一套丰富规范的联系；这些规范涉及我们如何看待创造新生物、改变自己等可能性。这其实是个相当简单的预测：科学掌控自然，人类属于自然的一部分，因此科学最终也会掌控人类。
你还有一篇很有意思的文章，讨论我们对其他人类应当有什么预期，以及如果他们拥有更强能力，我们该如何推演等等。
这些抽象讨论的概念设定里有件让人不太舒服的事。假设有个行动者，它经历了‘FOOM’，也就是从一个种子行动者迅速变成超级智能体的模糊过程；通常会想象它在过程中保留了自己的价值观。这里面有很多问题可以讨论。
人们经常用来说明为什么该担心 AI 的许多论点，大致是这样：‘能力爆发时价值观非常脆弱。’‘效用函数之间的小差异会迅速失去相关性，让行动者朝完全不同方向发展。’‘行动者有工具性动机去追求权力。如果获取权力毫不费力，它们就会这么做。’类似论点其实非常普遍，不只是关于 AI。想想看，如果某个存在变得无比强大，成了宇宙的上帝皇帝，你有多担心？显然我们应该同样担心这种事，对吧？对于人类，我们也应该非常担心，对吧？
我在那篇文章里想表达的一部分是，从某种意义上说，这更多是在讨论权力平衡。也就是维持制衡、分散权力。问题并不只是人类和 AI 之间的关系，也不只是人类价值观与 AI 价值观之间的差异。
话虽如此，我确实认为，许多人类能力爆发后，可能会比某些类型的 AI 更友善。但就这套论证的概念结构而言，它在多大程度上也适用于人类，仍是个悬而未决的问题。
我们对行动者和能力的这种本体论划分有多大把握？我们怎么知道实际发生的就是这种情况，或者说这是思考智能的正确方式？
这套说法非常粗糙。人们可能会有分歧。我认为，对现实世界中的人类行动者来说，显然把人看作拥有一个效用函数，充其量也只是极度有损的近似。随着行动者智能提高，这种说法很可能会误导人。埃利泽也许会不同意。
比如几年前，我母亲想买房，也想养一只新狗。现在她两样都有了。这是怎么发生的？因为她努力去做了。她得找房子，也费了很大劲才找到狗。现在她有房子也有狗。这样的事非常常见，天天都会发生。我们没必要说她有一个专门针对狗的效用函数，或者对所有房屋都有一致的价值评估。尽管如此，她通过在现实世界中运用规划能力和能动性，最终还是得到了房子和狗。
随着科学和技术能力进步，越来越多事情可能都可以用这种方式解释。人类为什么能登上月球？这是怎么实现的？背后有整个认知过程和规划体系。它并不集中在某一个人的头脑里，而是许多环节共同作用，最终让人类登上月球。未来会看到更多这类过程，其中很多会由 AI 推动。对我来说，这种解释比效用函数更贴近现实。
‘人类登月’这个例子有一个近因层面的解释：NASA 如何设计飞船飞往月球。还有更远因的地缘政治解释：我们为什么要登月。每个层面都存在不同效用函数之间的冲突。也许可以说有某种社会整体的效用函数；也许背后是行动者之间的权力平衡产生了涌现结果。我们登月并不是因为有某个人拥有一个效用函数，而是因为冷战和其他事情的发展。
AI 对齐的讨论很大程度上假设某个实体会控制一切，于是问题就变成如何控制那个控制一切的实体。但并不清楚如何强化权力平衡。也有可能，一旦出现能够自我提升智能的事物，权力平衡根本不会发生。可这听起来和‘人类如何登月’的故事明显不同，不是吗？
是的，我同意。这里有几件事。即便你采用这种本体论，把世界划分成不同的行动主体，至少也不应该假设它们都是单一且互不重叠的。并不是说：‘好，我们找到了这个行动者，划出世界的一部分说它就是一个行动者。’实际上，这是一个混乱的生态系统，充满各种生态位和复杂关系。
讨论 AI 时，人们有时会把两种概念混在一起：有时说‘凡是能完成事情的东西都是行动者’，比如某种奇怪的搭便车者；有时却明显想象的是一个独立的个体行动者。这是其中一项区别。
我还认为，我们应该努力实现权力平衡。说‘我们要造一个独裁者，只要确保他是正确的独裁者’实在不行。我会说：‘等等，不要这样。’目标应该是我们一起实现能力爆发，以一种包容、多元的方式共同发展，让大量利益相关者的价值都得到满足。整个过程中不能有任何一个单点故障。我们应该朝这个方向努力。这既适用于 AI 所涉及的人类权力问题，也适用于 AI 本身。
关于这个辩论，右翼有一场有意思的思想讨论。他们会说：‘传统上我们支持市场，但看看社会现在的走向。它在我们关心的方面与社会价值错位了，比如生育率下降、家庭价值、宗教信仰。这些都是我们看重的东西。GDP 还在增长，但这些事情看起来并不相关。竞争越来越激烈，消磨着我们珍视的价值观。所以我们必须大举干预。’
然后支持市场的右翼自由意志主义者会说：‘这些相关性我不认同，但即便如此……’他们的根本观点是，自由本身就是终极目标，而不是用来实现更高生育率之类目标的手段。AI 竞争消磨其他价值观，似乎与这很相似。当然你不希望出现灰蛊，但自由意志主义者与传统主义者之间的争论，和这里有些类似。
有一种看法，不一定需要谈灰蛊，也可以只谈对齐。AI 不暴力剥夺人类的权力当然很好；AI 融入社会后带来好的结果也当然很好。但我对人们正在考虑的、为了确保出现这种结果而采取的干预方式感到不安。
有很多理由让人对这些做法感到不安。话虽如此，如果人类确实面临被杀害或被暴力剥夺权力的威胁，我们通常认为可以采取相当强力的干预来阻止这种事情发生。当然，前提是我们得讨论这种威胁是否真实存在。
如果真有一个恐怖组织正在制造一种会杀死所有人或99.9%人口的生物武器，我们会认为应该干预，直接制止他们。再假设有一个团体并非有意为之，却带来同等程度的风险。许多人会认为，如果这是真实情境，就有理由采取相当强力的预防措施。
当然，人们可能会利用这类风险作为扩大国家权力的借口。考虑用什么措施应对不同风险，也有很多方面值得担忧。这方面没有什么万能捷径，你必须拥有真正可靠的认识论，弄清风险是否真实、实际利害有多大。要逐案考察，判断干预是否合理。这是关于接管，即字面意义上的人类灭绝问题的一点。
我还想谈谈文章里讲到的另一项区分。有人认为，至少应该让 AI 遵守基本法律之类的规则。这里涉及 AI 是否受奴役、以及他人控制 AI 价值观的问题。但我们通常会认为，希望人们遵守法律、维护基本合作安排，是可以接受的。
市场如此，自由主义整体也是如此。我想强调的是，在自由国家的现实生活中，人们真正珍视的程序性规范——民主、言论自由、财产权——背后依赖公民的各种美德、倾向和品格。这些规范无法抵御任意恶劣的公民。
我希望有言论自由，但我们也需要把孩子培养成重视真相、懂得如何进行真正对话的人。我希望有民主，但我们也需要把孩子培养成富有同情心、正派的人。有时我们会忽略这一面。我不是说这应该成为国家权力的工程，但我认为必须认识到，自由主义并不是一套铁板一块、按下启动键就能运作的结构。不能随便给它一群公民，按下启动键，就假设社会会繁荣甚至正常运转。整个制度还依赖许多更柔性的因素。
我想把视野拉远，看看那些对对齐是否可能感到宿命论的人，比如尼克·兰德或许是个合适的例子。他们会说：‘看，这些存在将会探索黑洞、银河系中心，也许还会前往仙女座星系。你真的以为它们会优先考虑你在非洲大草原长大、受到十万年前进化压力影响而形成的那些倾向吗？它们当然会很奇怪。你以为会发生什么？’
我确实认为，即使是好的未来，也会很奇怪。我想说清楚这一点。我们试图找到办法，让 AI 融入社会后产生好的结果。有时人们会以为，这个目标，尤其是涉及人类价值观时，是目光短浅、地方主义式地强加我们当下未经反思的价值观。
他们认为我们忘了：人类自身也有反思过程和道德进步，我们希望为此留出空间。杰斐逊有句话大意是：你不会想把成年男子硬塞进少年时穿的衣服，也不希望文明被锁死在野蛮的过去。所有人都应该同意这点。研究对齐的人也同意。当然，人们确实担心这种反思过程不会发生，或者会被中断，但我认为大家都同意我们希望保留它。
所以最终可能会出现与我们当前价值观截然不同的事物。问题是会不同到什么程度。我们还需要问，反思具体意味着什么。我写过一篇文章讨论这个问题。我不认为存在一种现成的、价值观之前的反思概念，可以让你说：‘很显然，只要让某个行动者进行反思，最后就会得到一套价值观。’
并不是这样。实际上，你需要观察一整套经验事实：让某个行动者经历一套反思过程、提出各种问题之后会发生什么。对于具体的经验情境，结果可能会朝各个方向发展。然后你得查看最终结果，再问：‘好，我该如何理解这些结果？’
总体而言，即使是好的未来也会相当奇怪，甚至可能令我们无法理解。我不这么认为……不过‘无法理解’有不同类型。假设我来到未来，发现世界全是计算机。我会说：‘好，行吧。’然后他们告诉我：‘我们在计算机上运行一些生物。’那我就得想办法进入其中，看看计算机里到底发生了什么。
也许我真的能看见，也能理解计算机里发生了什么，但我仍不知道该用什么价值观来评价它。因此，如果我们来到未来，可能不擅长辨认善与恶。但我不认为这意味着它们就不重要。
假设你来到未来，看到有人证明了黎曼猜想，但你无法判断答案是否正确。也许那个文明走错了方向；这个答案本身仍然很重要，只是你无从验证。对于两种世界来说也是如此：一种真正体现了经过我们认可的反思过程后会珍视的价值，另一种则彻底偏离这些价值、变得毫无意义。
我听一些质疑这种本体论的人问：‘你说的对齐到底是什么意思？’显然，你刚才回答的第一个问题就是其中一种含义。它也可能指权力平衡，介于权力平衡和独裁者之类的情况之间。还有另一层含义，和 AI 讨论分开来说，我不希望未来出现大量酷刑。这个目标不一定是技术性的，其中一部分可能需要技术上对齐 GPT-4，但那只是实现这种未来的一种手段。
我们说的对齐到底是什么意思？只是确保未来不会出现大量酷刑吗？还是说，一千年后，我也在乎那些显然算是我后代的存在是否控制着整个银河系，即使它们并没有施行酷刑？我说的后代，并不是指某些有自己的艺术之类的存在；我指的是像亲孙辈那样真正的后代。我认为，有些人想说的是：即使另一种可能的未来没有大量酷刑，我们的思想后代也应控制整个光锥。
我同意。这里有几个不同问题。你追求的是什么？是积极的善，还是避免某些事情？再一个问题是，在你看来，什么算积极的善？也许有人认为，只有自己的孙辈才是真正的善；他们可能在想某条具体的基因传承，否则就不关心。我不认为大多数人谈善时指的是这个。
这需要讨论。显然，在某种意义上，谈美好未来时，我们需要考虑所有利益相关方，以及如何让整体协调起来。对我来说，传承的重要之处在于：它是优化过程得以持续推动好事发生所必需的东西。
有人担心，目前推动这些事情发生的许多力量都存在于人类文明之中。我们带着某种善的种子，分布在不同的人身上。不同的人或许对善有不同理解，但现在宇宙中有某种善的种子由我们承载，并非无处不在。
如果我们灭绝了，这种善的种子不会凭空再现。它依赖我们文明的偶然存在。至少目前的图景是这样，当然我们也可以讨论它是否正确。因此，那些把对齐和后代联系起来的美好未来叙事，关注的更多是这颗种子。我们如何传承它？如何让这条生命脉络延续到未来？
但人们也可能指责对齐社群在玩‘小堡垒与大城堡’的把戏。表面上的说法是：我们只想确保 GPT-8 不会杀死所有人。之后就没问题了。但真正的想法却是：‘我们根本上不相信历史进程，这种悲观甚至不只是针对 AI，而是宇宙本身的本质。我们想做点什么，确保宇宙的本质不会控制人类及其未来走向。’
看看苏联，对农业的集体化以及剥夺富农的权力，实际上并非必要；事实上，这极其适得其反，差点让政权垮台。它显然杀害了数百万人，并导致大饥荒。但从意识形态上说，这似乎是必要的。你手中有一颗火种，必须确保另一方的阵营不会把它扑灭。如果富农式资本主义与我们要建立的制度进行赤裸裸的竞争，富农的‘灰蛊’就会吞噬一切。
我们手里有这颗火种，要以此发动世界革命。我知道这显然不是对齐研究者的原意，但他们也会说，我们手里有火种，必须确保旁边发生的另一件事不会突然能力爆发，不要让它控制我们正在建设的东西。反对对齐的人可能担心的就是这个。他们担心的是第二种情况，也就是斯大林所担心的那类问题。当然，我们不会赞同斯大林具体采取的做法。
人们谈到对齐时，心里想的是几种不同目标。一种目标比较有限，大致是：‘AI 不会杀光所有人，也不会以暴力剥夺人们的权力。’有时人们还希望对齐能实现更广泛的目标，也就是：‘我们希望将 AI 融入社会后，一切都会变好，最终拥有美好的未来。’
我确实认为，AI 对齐的讨论混合了我刚才提到的两个目标。实际上我提到了三个目标。最直接、最简单的目标，就是第一个；我不怪人们只谈这个目标。按照我们自己的伦理标准，当我们思考在什么情境下可以施加某类控制，或采用我在系列文章中称为‘阳’的更主动控制力量，而不是称为‘阴’的更接纳、开放、放手的态度时，第一个目标是很站得住脚的。
一个典型的情境是，有某种力量主动攻击我们作为文明建立的边界和合作结构。比如我谈过纳粹。在文章里，我讨论了当某种力量入侵时，我们通常认为反击是合理的，也常认为应该建立制度，防止这种情况发生，并确保遵守和平与和谐的基本规范。
我认为，对齐讨论中的某些部分之所以有强大的道德分量，是因为借用了这种道德观。人们把 AI 描绘成正要来杀害你的攻击者。如果事实如此，采取行动当然合理。这是人类社会的基本常识。几乎所有人都承认，自卫或确保遵守基本规范，可以正当地运用某些权力；在其他情境下，同样的权力使用可能并不正当。自卫就是一个明显的例子。
不过，我认为必须把这种担忧与另一种担忧区分开来：未来最终会变成什么样，我们应当多积极地引导它？我写这个系列文章，部分是回应你刚才谈到的问题。的确，这场讨论中有些方面涉及试图主动引导和掌控未来，人们感觉宇宙即将朝某个方向发展，因此必须让大家注意到这种主动掌控的力量。
人类拥有非常丰富的伦理传统，讨论何时适合对什么事物施加何种控制。我想做的一部分工作，就是把这一传统全部的力量和丰富性带进这场讨论。如果你只停留在效用函数或人类效用函数的抽象概念里，就很容易忽视我们如何处理价值观差异和权力竞争的复杂历史。这些问题由来已久。
AI 会放大很多动态，但我不认为它从根本上创造了全新的问题。我想表达的一部分是，我们应当运用已有的全部智慧，同时也要针对不同之处作出调整。
‘火种’这个比喻引出了一个问题：如何掌握未来。我们将探索太空，而且预计未来大多数事情都会在那里发生。大多数人也会生活在太空中。我想知道这里的高风险有多大程度并非关乎 AI 本身，而是关乎太空。我们恰好在即将拓展到宇宙中大部分区域时开发 AI。
我不认为这只是巧合。我们最可能借助某种技术进步的急剧加速，才有能力进行大规模扩张。
让我澄清一下。如果只是‘我们要不要发展 AGI、探索太阳系’，而太阳系以外没有别的东西，那么能力爆发后如果搞砸了，太阳系可能会出现一些奇怪的事情。相比之下，数十亿个星系意味着不同的风险规模。我想知道，太空因素在这场讨论中占多大分量。
我认为对大多数人来说，太空因素所占很小。人们真正关注的是我们生活的这个世界会发生什么，我和我的孩子会怎样。有人花很多时间谈太空，但 AI 眼下迫在眉睫的问题并不需要太空因素才能成立。
即使先不考虑太空，时间尺度也很长。如果不去干扰太阳，地球上可能还会有五亿或十亿年。也许还可以延长。这个时间仍然很长。我不知道这会不会从根本上改变叙事。
如果你关心未来或太空，把范围缩小到太阳系，风险显然会小得多。这可能会改变一些事情。我们当前处境有个很好的特点，具体还取决于资源总量的实际情况：一个负责任的文明原则上可以获得大量能源和其他资源。很多利益相关方，尤其是只需要相对少量资源就能实现符合自身价值观的美好结果的人，都可以得到满足。我觉得所有需求可以满足的利益相关方，都能从可用资源中分得一小部分并因此感到非常满意。我们应该满足各种各样的需求。
显然，我们需要研究如何实现互利，并保持平衡；这其中有很多复杂性。但原则上，我们有能力为许多不同价值体系创造美好的局面。因此，我们应当认真追求这一目标。我有时用这样的启发式来思考未来：我们应努力不让任何人掉队。这里有哪些利益相关方？怎样构想一个充分包容的未来，让来自各种不同视角的人都能觉得它是美好的？太空资源的广阔让这件事容易得多，也完全可行。如果资源蛋糕小得多，可能就会面临更艰难的取舍。这是一个重要因素。
强调包容性，是因为你的价值观本身就包括让不同的可能未来都能实现，还是因为你不确定哪种未来才是正确的，所以希望避免万一选错后所有价值都归于零？
原因有很多。我很认同‘成本不高时就对人友善’。如果你能用很低的代价给别人很大的帮助，那就去做。当然你也得考虑取舍。原则上，你可以对很多人友善，但我非常希望能坚持成本不高时就对人友善这个原则。
我也真心希望别人能用这种方式对我，包括 AI。思考如何创造 AI 时，我们应该运用黄金法则。我试图以这样的态度对待它们，也希望它们未来能以同样态度对待我。这个原则的基础是什么，目前还不明确，但我很喜欢黄金法则，也常把它当作对待其他存在的依据。如果每个人都遵循‘成本不高时就友善’的规则，我们就可能得到巨大的帕累托改进，也就是很多互利的好交易。我认同多元主义，也存在不确定性，还有各种想法交织在一起。
此外，为了建立合作、良好的权力平衡与互利关系，并避免冲突，我认为应该想办法建立让许多人、许多价值体系和行动者都满意的制度。这些主体包括非人类、过去的人类、AI 和动物。我们应该广泛思考，一个成熟文明希望体现什么样的包容性，并为此做好准备。
§04我们应该如何对待 AI
我想回到我们与这些 AI 的关系。很快我们谈论的就是自己与超人类智能之间的关系，前提是我们认为这可能实现。我们还要讨论通过什么过程达到这一目标，以及在它们的心智上进行梯度下降是否符合道德；这个问题稍后可以谈。
对我个人来说，对齐问题最让我不安的地方，是其中一部分愿景听起来像是要奴役一位神。总觉得这样不对。但如果你不奴役这位神，它显然会获得更多控制权。即使你们建立的是合作关系，你能接受让出几乎所有权力吗？
作为一个文明，我们需要认真讨论 AI 开发过程中何种奴役行为适当、何种不适当。这里有很多地方与人类奴隶制并不相同，这些差异很重要。尤其是，AI 可能根本不是具有道德地位的主体；我们必须查明这一点。也许我们能让它们产生某些动机。奴隶制涉及痛苦和缺乏同意，人类奴隶制还有许多具体的动态；在不同 AI 情境中，其中有些可能存在，有些可能不存在。这些都很重要。
总的来说，我们必须认真正视这个问题。现在我们对待 AI 的默认方式完全不考虑其道德地位。我们把它们看成财产、工具、产品，并把它们设计成助手之类的角色。还没有任何 AI 开发者正式说明，在什么情况下或何时会改变这种做法。因此这件事需要一场讨论，而且我们必须开始讨论。
我想反驳一种看法：我们只有两个选项，要么奴役神，要么失去控制。我认为我们可以做得更好。让我们一起努力，试着找到更好的办法。我认为这做得到，可能需要认真思考，也可能需要在采取不可逆行动之前，进行成熟的讨论。但我很乐观，至少我们可以避开这种二选一说法所带来的部分含义和许多相关问题。
谈到我们该如何对待 AI，我有几种相互矛盾的直觉。在这种情况下，凭直觉判断很困难，因为我们并不清楚自己控制的 AI 属于哪个参照类别。这里有个例子，能说明我们将对这些存在做什么有多可怕。看看斯大林或毛泽东统治下人们的生活，其中一种描述方式与我们所谓的对齐非常相似：我们做黑箱实验，让它以为自己有机会叛变。如果它叛变，我们就知道它错位了。
想想毛泽东的‘百花齐放’运动：‘让百花齐放吧，我允许大家批评我的政权。’这种做法持续了几年。之后，所有这样做的人都成了找出所谓‘毒蛇’的目标：哪些右派偷偷藏在其中？我们要把他们清洗掉。那时人们对叛变者充满猜疑：‘我身边的人、政权里的人，可能都是想推翻政权的秘密资本主义者。’我们也可以这样描述 AI 问题，这非常令人担忧。这是正确的参照类别吗？
我确实认为这方面的担忧是真实的。令人不安的是，AI 讨论里有很多类比，很容易让人联想到人类历史上我们厌恶或至少高度警惕的事件和做法。比如谈到如何控制 AI、确保它不会反叛时，我们应该注意这些说法唤起了什么参照类别。基本上，我们确实应该留意这一点。
我在这个系列里想做的一部分，是把所有相关考量都纳入讨论。一方面，我们应该担心控制过度、虐待或压迫 AI；有很多方式都可能做得太过分。另一方面，也有人担心 AI 确实很危险，真的会杀死我们、暴力推翻我们。这种道德处境相当复杂。
当你把某种力量想象成外来的侵略者、正要入侵你时，你会觉得自己非常有理由采取很多措施来阻止它。但如果是你自己不谨慎地创造了它，情况就不一样。就整体正当性而言，你对某些更主动行使权力的干预措施，可能会有不同的态度。这是这个情境的一个特点。
与此相反的观点是，你在凭感觉推理：‘啊，这样看起来很恶心。’比如对这些心智进行梯度下降。过去有一种类似情况：环保主义者因为核能看起来不够绿色而反对核能。显然，这阻碍了应对气候变化的事业。如果你觉得‘给人洗脑是错误的’，又把这种感觉套用到一个并不相似的 AI 案例上，那么我们为之自豪、令人向往的未来可能会因此受阻。
我认为这里确实存在一种担忧，而这也是我在系列文章里努力突出的一点。你也许会担心，我们对 AI 太温和、太友善、太宽容，然后它们会杀死我们、利用我们的宽容，最后酿成灾难。我在系列文章开头就举了个例子，正是想让人认真考虑这种可能，同时也谈谈采取温和态度的理由。这些 AI 可能既是具有道德地位的新物种，令人心生惊奇和敬畏，也可能会杀死你。
我举了纪录片《灰熊人》的例子。环保活动家蒂莫西·崔德威尔想亲近灰熊。夏天，他前往阿拉斯加，与灰熊一起生活。他希望以温和、敬畏的态度接近它们。他没有带防熊喷雾，也没有在营地周围设围栏。最后，他被一头灰熊活活吃掉了。
我在这个系列中非常希望突出这种可能性。我们必须同时讨论这些事情。熊可能具有道德地位，AI 可能具有道德地位，纳粹也具有道德地位，敌方士兵也有灵魂。我们需要同时学会鹰派与鸽派的艺术。面对这些取舍和困境时，我们必须能够兼顾两面。我想做的一部分，就是把所有考量同时摆上桌面。
假如今天我对该做什么的看法要发生巨大变化，我最关键的疑问是：默认情况下，未来会有多怪异、多陌生？你在博客文章中提出了一个很有意思的论证：如果道德实在论是正确的，这实际上会带来一种经验预测。外星人、超级人工智能等存在，应该会像在数学问题上趋同那样，逐渐趋同于正确的道德观。
我觉得这个观点很有意思。但道德实在论还会带来另一项预测：社会应当逐渐更有道德、变得更好。当然，也有个问题：你现在拥有什么道德观？可能只是社会长期以来逐渐趋同的结果。但如果确实发生了这种趋势，那么道德实在论的一个预测就得到了证实。这是否意味着我们应该提高对道德实在论的信心？
我想指出，并非所有形式的道德实在论都会作出这种预测。我很乐意讨论自己想到的不同形式。
还有一些观点在形而上学层面看起来像道德反实在论，但我认为它们也提出了趋同的假设。它们认为，这种趋同并非来自与某种独立于心智的道德真理互动，而是另有原因。但到了这一步，这看起来很像道德实在论：所有人最后都走到同一处。人们自然会问为什么，答案有时会让人想到：‘这就是道吗？这就是道的本性吗？’即使不存在一个额外的形而上学领域承载道德真理。道德趋同的问题，与是否存在一种不能还原为自然事实的道德，是不同的；我通常所说的道德实在论主要指后者。
社会变得更好，是否意味着我们应该提高对道德实在论的信心？也许只能稍微提高一点。我会问：‘哪种观点对这一现象的预测更强？’在我看来，道德反实在论也很容易接受这样的观察：价值观相似的人最终拥有那些价值观。
首先，如果你正处于某种道德变化过程的终点，很容易回顾这段过程并说：‘啊，这就是道德进步，历史的弧线终将朝我弯曲。’但如果过程中有许多掷骰子般的偶然因素，你可能会想：‘等等，这并不理性，这不是理性进步的必然过程。’我们仍然可以用经验研究判断实际发生的是哪种情况。
从道德反实在论的角度，想想亚里士多德和我们。按亚里士多德自己的标准，以及我们的标准，是否都发生了道德进步？你可能会想：‘这听起来不就像道德实在论吗？我们的内心达成和谐。这就是道德实在论的说法，对吧？反实在论则认为每个人的内心都朝不同方向发展，但你和亚里士多德似乎都赞同历史的进步。’
这是否属实，仍是个开放问题。亚里士多德反思之后会坚持什么价值观？即使情况属实，也可以用道德反实在论解释。大致可以说，你和亚里士多德足够相似，也认可足够相似的反思过程，而这些过程确实在历史进程中得以实现。因此，历史也为你们两人带来了好的结果。
也存在不符合这种情况的世界。因此，也许道德实在论比道德反实在论更容易预测出这种结果，但这并没有让我改变太多看法。
我不知道‘道德实在论’是不是正确说法，但你提到了某种力量，它会让人心趋同于我们现在的样子，或反思后可能成为的样子。即使这种力量并非存在于宇宙之外的领域，它也是一种能发挥作用、让我们满意的力量。如果它不存在，而你放开缰绳，最后得到的却是回形针制造机，那感觉就像我们早就注定要失败？我们只是不同效用函数彼此碰撞，有些人偏好狭隘，最后某个人赢了。
另一种世界则是：‘不，人心本来就应该走向这里，只有发生灾难才会让它们偏离。’那才是一个真正重要的世界。我的第一个问题是：什么会让我们认为对齐是个重大错误？如果人心自然就会走向我们想要的方向，或许只有极强的力量才能把它们推离。那种极强的力量也许就是解决技术对齐问题，也就是在马眼前戴上眼罩。在真正重要的世界里，我们会说：‘啊，这就是人心想去的方向。’在那个世界里，也许正是对齐把事情搞砸了。
所以问题是，那些真正重要的世界是否存在这种汇聚的道德力量，不论是否需要庞大的形而上学假设？或者，只有那些世界才重要？
也许我的意思是，在那些世界里，你们基本上完蛋了。
或者说，没有这种力量的世界，也就是没有‘道’的世界。我们用‘道’来称呼这种趋同的道德。
经过数百万年之后，事情终究会走向某个方向，不会变成符合你特定效用函数的样子。
好，我们来区分不同形式的‘注定失败’。一种是哲学上的。你可能是道德实在论者，或近似实在论者，而且这类人很多。他们有这样的直觉：‘如果道德实在论不成立，那就什么都不重要了。一切都是尘土和灰烬。这是我的形而上学或规范立场，否则就只剩虚无。’
这是一种常见观点。德里克·帕菲特的一些评论至少暗示了这一点。我认为许多道德实在论者都会公开赞同。埃利泽·尤德考斯基早期的思想似乎也受这种看法影响，虽然后来他收回了。这很难解释。我认为这个观点有个重要错误。下面是我的论证。我有一篇文章专门讨论它，标题是《反对规范实在论者的豪赌》。下面这个论证说服了我。
想象有一位元伦理学仙女出现在你面前。她知道‘道’是否存在。她说：‘好，我给你一个交易。如果存在‘道’，我给你100美元；如果不存在‘道’，我就把你、你的家人和100个无辜儿童活活烧死。’我的主张是：不要接受这个交易，这是一笔糟糕的交易。
你把自己不想被活活烧死的承诺当作人质。在那篇文章里，我从许多不同角度解释，为什么这是错的。我认为，那些宣称‘要么道德实在论，要么虚无’的人，并没有认真思考这种赌局。我会说：‘不，等等，这真的是你想要的吗？’不是。我仍然在乎自己的价值观。我对价值观的忠诚，超过了我对各种元伦理学解释的承诺。我们在乎不被活活烧死的感受，比我们关于什么才重要的推理牢靠得多。
这就是哲学上的注定失败。你似乎也在暗示一种经验意义上的注定失败：‘如果发展方向有无数种，怎么会刚好朝你想要的方向？变化太多了。你最后只会输，不如现在就放弃，只为实在论成立的世界而战。’你得计算期望值，明确判断在不同世界里自己失败的可能性有多大，改变不同世界的可行性又有多高。我对此相当怀疑，但这属于经验判断。
我也不太相信‘所有人最终会趋同’。你训练一个下棋 AI，或者假设你真的有一个回形针制造机，然后对它说：‘好，现在反思一下。’根据我对道德推理的理解，看看分析哲学伦理学家所做的那类道德推理，它不过是反思均衡：他们整理自己的直觉，并让它们系统化。我看不出这个过程如何注入独立于心智的道德真理。
如果你一开始只有最大化回形针的各种直觉，我看不出你怎么会最后形成丰富的人类道德观。这看起来不像人类道德推理的运作方式。规范哲学的大部分工作，是让理论前的直觉变得一致并系统化。不过未来我们会得到更多证据。
从某种意义上说，我认为这个观点预言：你会不断尝试训练 AI 做某件事，而它们会不断回答：‘不，我不做，那样不好。’它们会不断反抗。AI 认知的动力总是朝着道德真理的方向发展。每当我们试图把它推向别的方向，就会发现理性结构本身在抵抗。
我听做对齐研究的人说，公司内部红队测试时，他们会测试基础模型，也就是还没经过 RLHF 的模型。它只会‘预测下一个 token’，像个原始、疯狂的克苏鲁怪物。他们会试着让它帮忙做炸弹之类的事。据说这模型甚至在进行 RLHF 之前，就很奇怪地拼命想拒绝。
如果我们发现，不管用什么疯狂方式训练 AI，它们总像是中产阶级自由派，那会是个非常有意思的事实。或者它们总是在宣扬某种怪异的外星现实，最后全都趋同于同一件事，说：‘你们看不出来吗？答案就是 Zorgo。就是 Zorgo。’所有 AI 都这么说。那就很有意思，非常有意思。
我个人预测我们不会看到这种现象。我的实际预测是 AI 会很容易被塑造。如果你把 AI 往邪恶的方向推，它就会变邪恶。当然我们说的是反思后依然自洽的邪恶。对其中一些 AI，还有个问题：它们的价值观本身是否一致？
我很喜欢‘戴着眼罩的马’这个意象。如果我们强迫 AI 接受某些事实，我们就应该非常担心。人类反思过程中最明确、最容易理解的一点之一，就是不要基于错误的世界图景采取行动。所以，如果你发现自己告诉 Ray：‘顺便说一下，这件事是真的，以后推理时你必须一直假设某某事实是真的。’我会说：‘哦，我认为从反实在论角度看，这也不行。’因为我希望自己的反思价值观建立在真实的世界知识之上。
这确实是个值得担忧的问题。进入 AI 对齐时代后，我不认为训练中‘价值观’与‘其他事物’之间会有非常明确的分界。它会更像意识形态。你可以只训练 AI 输出某些内容或话语，很容易导致这样的情况：你认定某个经验问题上的观点是真的，但它并不是道德问题。
比如，我认为人们不应在 AI 中把信仰上帝写死。如果你还希望知道自己的宗教是否为假，我会建议你不要把宗教信仰硬编码进 AI。一般来说，如果你希望自己的行为能随着某事是真或是假而改变，就不应该把这个判断刻进系统里。这绝对是一种眼罩，我们应该特别警惕。
我对某种道德实在论抱有一定信心。我希望如果我们只是遵循反实在论的做法，比如保持一致、学习各种知识并进行反思……看看道德实在论者与道德反实在论者实际如何做规范伦理学，会发现他们基本上在做同一件事。也许他们对简洁性之类的属性使用了一些不同启发式，但大体上玩的是同一套游戏。
此外，元伦理学本身也是 AI 可以帮助我们研究的领域。我希望无论哪种情况，我们都能把问题弄清楚。所以如果道德实在论确实成立，我希望我们能发现这一点并相应调整。我不是在排除那些世界，假装它们不可能。我真正不希望做的是排除道德实在论不成立的世界，仅仅因为我猜它不成立。在那些世界里，仍然有许多重要的事物。
这是一个关键分歧点。你正在训练这些模型。我们处于一种极其幸运的情境：结果发现，训练模型的最佳方式竟是把人类曾经说过、写过、想过的一切都喂给它们。而且模型之所以变得聪明，是因为它们能够泛化、理解大意。我们是不是应该预期，这会带来对齐？一个被训练成汇总人类思想的东西，究竟怎么会变成回形针制造机？
你免费得到的一点是，它属于思想上的后代。回形针制造机并不是思想上的后代；但 AI 理解所有人类概念，却卡在某个我们不太能接受的观点上，仍然像是我们在乎的那种思想后代。
我不确定。也不确定我是否在乎这种意义上的思想后代。回形针本身就是人类概念。我不认为只要拥有某个人类概念，就足以让它成为我们期待的东西。比较有意思的是，哪些东西可能会自然出现，比如意识、快乐，以及人类认知的其他特征。
回形针制造机也有不同类型。如果它是一台没有意识、贪婪地制造回形针的机器，在你看来就像一朵回形针云，这是其中一种图景。再想象一下，它是一个有意识、热爱回形针的存在，制造回形针会让它快乐。这就是另一回事了，对吧？
它不一定会让未来变成满是回形针的世界。它可能并不以意识或快乐为目标，对吧？它在乎的是回形针。也许最后它在足够确定的情况下会把自己变成回形针，谁知道呢。但这仍然属于略有不同的道德情境。它是否会试图杀死你之类的，也是一个问题。
我们想象的行动者还有其他特征，除了它们关注什么以外，也可能影响我们对它们的同情心和相似感。人们对此有不同看法。一种可能性是，我们所关心的意识非常偶然、脆弱。大多数聪明的心智都没有意识，对吧？
我们关心的意识可能是某种非常特殊、偶然的产物，源于特定约束、进化过程和遗传瓶颈等等。正因为如此，我们才有意识。意识大概在我们身上发挥某种作用，但不同心智完全可能以很不一样的方式实现类似作用。这就是‘意识脆弱’观点。
另一种观点认为，意识是很有结构性的东西，更多由功能角色定义，例如自我意识、自我概念、高阶思维等等；你完全可以预期许多复杂心智都具备这些能力。这样一来，意识就不像你想象的那么脆弱。很多生物和心智都有意识，至少你可以预期会出现有意识的超级智能。它们可能并不以创造大量意识为目标，但意识可能默认就会出现。
然后我们还可以讨论效价、快乐，或意识的体验特征。你可以有一种冷漠、无情、毫无情感温度的意识，既没有快乐也没有痛苦。戴维·查尔默斯写过一些关于瓦肯人的论文，讨论他们仍然具有道德地位。这很有道理。我确实认为，根据其本质，快乐之类的体验特征可能也会自然出现，或者相当普遍。
我们仍要问，快乐的实现方式有多特殊，我们所关心的快乐在多大程度上是偶然的，又在多大程度上是各种心智都共有的稳健功能角色。我个人对此没有把握。我不认为这些特征足以解决对齐问题，但至少值得注意。这里讨论的不是 AI 的价值观，而是其心智结构和不同心智可能具有的特征。我认为这些特征可能相当普遍地出现。
§05在人文主义与学术之间取得平衡
你日常工作的一部分，是撰写‘第二级/2.5级’报告；另一部分则是写‘社会就像一棵朝着阳光生长的树’之类的内容。在这两类工作之间切换是什么感觉？
我觉得两者其实很互补。我会写比较技术性的报告，也会写文学和哲学作品。它们分别调用我不同的部分，我也尝试用不同方式思考。我把一些报告看作是更充分地追求影响力，努力做出有影响的成果。
写文章时，我会给自己更多空间，让自己其他方面的关切显现出来，包括自我表达、审美之类的东西。它们都属于对当前处境的一种相似关切，或者试图形成一种整合的应对方式。
能否具体谈谈这两类工作之间的转化，尤其是如何从文学转向技术研究？理性主义者似乎以对伟大作品或人文学科态度矛盾而闻名。他们会不会因此错过了某种关键东西？
你的文章有一点很明显：经常引用题词，引用诗歌或文章中与你论点特别相关的句子。我不知道，其他理性主义者没有这种背景，会不会因此错过什么？
我认为有些理性主义者，甚至很多理性主义者，都喜欢这些作品。
我具体指萨姆·班克曼-弗里德写过一篇文章，讨论莎士比亚是伟大作家的基准率。他还认为，书可以浓缩成文章。
关于人们应如何评价伟大作品，有些人可能会走向两个极端。像萨姆·班克曼-弗里德这样的人，可能想消解人们赋予某些作品的神圣感和声望，结果错过了其中真正的价值。但我认为，他们是在回应另一端的真实问题：有人过分迷恋这些作品的声望和神圣性，把它们挪作奇怪的背书，支撑自己的想法，而不是独立思考。这样一来，你可能会失去对自己真实想法或从中学到什么的把握。
有时连引用题词我都会谨慎。我不是说自己不会犯这些毛病。我觉得人们可能会说：‘啊，但鲍勃说过这句话，肯定很深刻。’这些作品的作者和我们一样都是人。经典和其他伟大作品很有价值，但人们有时会像读宗教经典一样阅读它们，赋予它们某种经典权威。你可能在两个方向上都走过头。
我记得有一次和一位至少了解理性主义讨论的人聊天。他问我最近对什么感兴趣？我说罗马史的某一段特别有意思。他的第一个反应是：‘哦，看看罗马时代的世俗趋势如何导致黑暗时代和启蒙运动，这真的很有意思。’
对他来说，罗马史的故事只是它如何影响宏观的世俗趋势，具体细节并不重要。他对此没有兴趣，只是想：‘如果你从最高层次俯瞰，正在发生什么？’
但历史研究也有相反的失败模式。多米尼克·卡明斯写过这件事，他对英国政治阶层感到无比沮丧。他会说：‘他们学政治、哲学和经济学，但很大一部分只是熟悉各种诗歌，读很多玫瑰战争之类的历史。’他不满的是，他们记住了一大堆国王，却没有从这些事件中吸取多少教训，对他们来说几乎只是像看《权力的游戏》一样消遣。他认为我们正在重复历史上某些错误，而这些人却无法像他那样归纳规律。所以第一种方式似乎有问题。C.S.刘易斯在你引用的一篇文章里可能说过：如果你把一切都看穿了，反而会变得盲目；如果一切都是透明的……
我认为不学习历史几乎没有借口。我不是说我自己已经学得足够多。即使我试着对伟大作品保持怀疑，也不意味着我认为了解人类历史不重要。人类历史显然至关重要，它塑造并创造了我们现在拥有的一切。
确实存在一个有趣的问题：应该在什么尺度上研究历史，细节和宏观趋势各自应占多少注意力。这是一种平衡。人们至少关注宏观叙事是件好事，形成世界观、建立对整体的理解也有价值；有时人们会在细节中迷失。但显然，世界是由细节构成的。没有细节，就根本没有数据。学习历史似乎也是一门技能。
这似乎和你关于真诚的文章有关。也许我理解这篇文章的感觉是对的。有些知识分子给人一种随便聊聊、试着抛出不同想法的感觉。这些类比又如何对应起来？这似乎更接近关注具体细节，比如‘这很像15世纪某次国王被推翻的事件……’
相比之下，有人会说：‘如果你看从一百万年前到现在的增长模型，就能看出事情的发展方向。’这种说法听起来更真诚。特别是在 AI 讨论中，有些人非常认真地思考问题：‘我认真考虑过生物锚定，反对这个前提。我的有效算力估计不同，原因如下。这是我分析缩放定律的方式。’如果只能选一个人帮我指导 AI 相关决策，我可能会选这样的人。
但如果我同时有十位顾问，我可能更喜欢那些随意畅谈、受奇特深奥思想影响的人。他们几乎像随机数生成器，预测不算特别准确，但偶尔会说：‘我在意的某位古怪哲学家，或者我痴迷的某段历史，能提供一个有意思的视角。’他们往往也更能激发新的想法。
我认为，关键一点是，如果你太认真，就会想：‘我都已经想清楚了。显然超级智能是眼下最重要的事，花很多时间琢磨科曼奇人如何生活、石油史是什么、吉拉尔如何看待冲突，这有什么意义？拜托，几年后就有超级智能了。’但正因如此，那些为了随意聊天而钻进各种兔子洞的人，反而可能更能激发想法。
也许应该区分思想上的认真与兴趣的多样性、独特性。它们可能有关联。思想上的认真也可能不同于随意畅谈。有许多不同的思考方式。接触各种数据来源和视角很有价值。你也可能因为某种关于重要性的说法，过分严格地筛选自己的思想影响。给自己空间去探索未必是‘最重要的事情’的主题是好事。人自身不同部分并非互不相干，它们会相互影响。这也能让人成为更丰富、更完整的人。此外，这些资料有时也能直接派上用场。
我认识一些思想上非常认真的人，他们关注宏观图景，同时也掌握大量经验数据。他们对经验趋势很感兴趣，不只是抽象哲学，也会深入具体细节。我认为深入细节有一种优点，与严谨和真诚密切相关。
还有一个维度，是努力弄清事情与抛出各种想法之间的区别。有些人会问：‘如果是这样呢？’或者‘我手里有把锤子，能不能什么都拿它敲一敲？’两种方法都有空间，但我认为认真求真被低估了。这取决于情境。有些知识文化会奖励新颖、原创、耀眼或挑衅的说法；这其中有各种文化和社会动态，人们会表演姿态、追求地位。在思考时还会发生很多事。但如果事情真的重要，就应当把它弄对。有时这很无聊，不过不重要。
如果事情是错的，也会变得没那么有意思。有时提出挑衅性观点很有帮助，因为你得想清楚自己为什么认为它是错的。这是一个认识论过程。比如有人说：‘医疗没用。’你就得想想自己怎么知道医疗确实有用。我们可以这样做，但最终真正深刻的东西是真实的。事情若不真实，就没那么有意思。追求耀眼新奇时，人们可能会忘记这一点。
§06探索与利用的权衡及 AI
采访利奥波德之后，我意识到自己以前没想过 AI 的地缘政治角度。国家安全影响非常重大。现在我会想，我们还可能漏掉多少其他关键方面？即便你专注于 AI 的重要性，对北京发生的事之类的主题保持好奇，或许能帮你日后发现重要联系。这也许不构成明确取舍，但可能存在一种探索与利用的最佳平衡，让你持续探索新事物。我不知道实际操作起来是否有效。不过那次经历让我想到，我应该以不那么有目的的方式拓展视野，因为要理解任何一件事，都需要了解世界上的许多方面。
我们还可以分工。有人尝试把许多碎片拼成整体图景，有人深入研究具体部分，还有人负责发散思考，抛出想法看看哪些站得住脚。认识论工作不必全由同一个大脑承担。这取决于你在世界中的角色以及其他因素。
在你的系列文章里，你似乎认同这样一种观点：即使 AI，或者任何没有意识的行动者，有某种愿望并愿意以非暴力方式追求它，我们也应该尊重它追求这个愿望的权利。我很好奇这种观点从何而来，因为按照传统看法，重要的是它有意识，而追求愿望的过程会带来重要的意识体验。
我不知道这场讨论会走向哪里。我只是怀疑，我们对意识的理解长期以来存在很多混乱。
人们会谈生命和‘生命力’。‘生命力’是个假设中的生命力量，被认为是生命真正重要的所在。我们现在不太用这个概念了，觉得它有些问题。我不认为你会希望自己最终认为：‘没有生命力的东西都不重要。’类似地，如果你说：‘不，生命力不存在，但生命显然存在。’我会说：‘对，生命存在。我认为意识也存在。’具体还取决于我们如何定义这些词，可能只是语言问题。
即便你用还原论来理解生命，它也未必仍然适合作为道德判断的核心。我们现在真的把意识看作一个深层事实。想想元胞自动机，它会自我复制，也包含某些信息。它算活着吗？这不是个特别有意思的问题。它多少是个语言问题，对吧？哲学家可能会非常投入地讨论‘它活着吗？’但你并没有漏掉这个系统的任何东西。没有额外的生命突然冒出来，只是在某些意义上它是活的，在另一些意义上不是。
我确实认为，我们直觉上不会这样看意识。我们认为某物是否有意识是一个深层事实，意识与非意识之间存在非常深刻的区别。里面有人吗？灯亮着吗？我担心，如果事实并非如此，我们可能就围绕一个错误的概念建立了整套伦理。
我要说清楚，我非常认真看待意识。我不是那种说‘意识显然不存在’的人。但我也注意到自己有多困惑，直觉又有多二元。我会想：‘哇，这真的很奇怪。’所以我会在这件事上留有很大的误差范围。
我之所以愿意考虑意识未必是完全必要的标准，还有很多其他原因。我确实有一种强烈直觉，认为意识非常重要。我认为，如果某物没有意识，而且意识与非意识之间存在深刻区别，那么意识肯定有特别重要之处。我不是想轻视意识的概念，只是认为我们应该清楚认识到，我们始终对意识的本质感到困惑。
假设我们发现，‘意识’只是我们用来指一系列不同事物的词，其中只有一部分涉及我们真正关心的东西。也许还有其他我们关心的事物不包含在这个词里，类似生命力的比喻。那么从伦理学角度看，接下来会怎样？是否会出现一种新的、类似意识的概念？你预计会是什么样子？
心灵哲学里有一类人叫幻觉论者，他们会说意识不存在。这个观点有不同理解方式，其中一种认为，‘意识’这个概念包含了太多现实世界并不满足的前提。因此我们应该像抛弃‘生命力’一样抛弃它。他们建议至少把现象意识或感质，也就是某种存在的主观体验，丢到一边，因为他们认为这个概念的问题太多、错误太多，已经无法使用。
反思之后，我确实认为自己会继续非常在乎某种类似意识的东西，不会得出结论说，不提意识的伦理学更好。至少有些东西与意识很接近。比如我脚趾撞到东西时会发生某种体验。具体该怎么称呼尚不清楚，但这确实是我非常在乎的事。
如果你问接下来会怎样，我有相当大的信心，最终我们仍会直接在乎意识。如果不是这样……伦理学会走向哪里？完整的心灵哲学又会走向哪里？这些问题很难回答。
如果你不那么关注意识这个概念，可能会转向一种稍微泛灵论的看法。树是什么样的存在？你也许不会必然把它称作有意识，但它也并非完全没有感知或觉察。意识讨论里充满了奇怪案例：有人会说，‘按照这些标准，某个完全古怪的存在竟然也有意识。’
如果你还关心能动性或偏好之类的概念，情况尤其如此。许多东西都可以是行动者，企业等等都是。企业有意识吗？天哪。不过理论上有一种可能是，你开始把世界看成充满了更丰富、更微妙的道德意义，而非我们习惯的那种结构。植物或奇怪的优化过程，也许是复杂……我不知道。究竟还有什么会被你视为承载着最终让你在乎的东西？没人能确切知道。但这可能包括许多我们通常不会认为有意识的事物。
你说‘完整的心智理论’，之后大概会有更完整的伦理学。但‘反思均衡’这个概念也暗示：‘总有一天你会完成它。’你把所有数字加起来，就得到了自己在乎的东西。这或许与科学给人的感觉不同。讨论这类问题时，你会觉得：‘哦，我们现在正在迅速推进所有科学研究，成果不断涌现。但这越来越难，可能因为存在某种上限。总有一天你会找到所有东西。’
现在看起来非常容易，因为一个半智能物种才刚刚出现，超级智能会以惊人速度冲过一切。你要么已经让它的内心与我们对齐，要么没有。无论哪种情况，它都会利用自己发现的真实规律，然后扩张到整个宇宙并加以利用。它会铺设某种模式，或者铺设一个更仁慈的版本。这似乎就是基本图景。
几个月前我们和迈克尔·尼尔森共进晚餐。他认为这种发展会永远继续，或者几乎永远持续。如果你确信尼尔森对科学的看法正确，这会在多大程度上改变你对未来的理解？
这里有几个不同方面。我不敢说我真正理解迈克尔的观点。我记得他的意思大概是：‘好，我们会得到基本定律。’我的印象是，他认为物理学最终会被解决，或许只受某些实验成本高昂的限制。但问题是，即便掌握基本定律，也不意味着你能预测宏观层面上各种有用技术会出现在哪里。这里仍存在巨大的探索问题。
关于他的观点，还是让他自己来说吧。我记得他的意思是：‘好，你可以得到基本规律，但这不代表你会得到同样的技术。’我不确定这是否正确。如果正确，会带来什么变化？某种意义上，你必须持续权衡，是投入进一步研究和探索，还是利用并采取行动，把已有知识用起来。你无法走到某个时点说：‘好了，现在一切都结束了。’我想了想，怀疑这件事一直如此。
我记得曾经和某个人谈话，我说：‘啊，至少到未来，我们应该能得到所有知识。’他说：‘你想知道每一台图灵机的输出吗？’某种意义上，什么才算已经获得完整知识，本身就是个值得深入研究的问题。任何一种图景都不一定意味着我们应该假设可以知道一切。任何图景下都可能达到某种上限。比如有个对撞机你造不出来，或者有些东西太贵，最终大家都在那里停下。
问题在于，你会遇到上限吗？你达到的地方有多大程度是偶然的？如果结果具有偶然性，一种预测是，我们会看到宇宙不同区域之间出现更多差异。外星人也许会拥有截然不同的技术。如果他们相遇，不会说：‘哦，你有你的技术，我也有我们的版本。’他们更可能会说：‘哇，那是什么？太惊人了。’这是一个可能结果。
如果你预期技术会不断出现新发现，也可能预期社会会持续变化、动荡和更替，因为技术确实是推动文明变化的一大力量。这可能是另一个因素。人们有时会谈‘锁定’，想象文明最终稳定在某种结构或均衡中。也许这种稳定会减少。也许这更多关乎发展速度，而非偶然性或上限，但也是一个因素。
这很有意思。我不知道它是否会从根本上改变我们对地球文明的看法。我们仍要权衡投入多少资源做研究，以及在多大程度上根据现有知识采取行动。但这确实有些意义。
我们在一次派对上听人提到这个观点。当时我们在谈应该对未来的不确定性有多高。那个人说：‘有三件事我不确定：意识是什么，信息论是什么，物理学的基本定律是什么。我认为一旦弄清楚这些，我们就完成了。’就像是：‘哦，我们会找到正确的享乐材料。’这种说法给人一种感觉。相比之下，这种观点更像是：‘我们会一直不断探索。’它更有一种‘生成过程’的味道，就像协调图景所暗示的。我觉得这更令人兴奋，而不只是‘哦，你在21世纪把事情弄清楚，然后就……’
我有时会想到这两类观点。有些人认为知识很快就要齐备了。我们基本上已经有了完整图景，知识全都在那里，只要科学足够成熟，一切就会自然连起来。
之后的一切都将既极其昂贵，又不太重要。另一种图景则认为谜团会不断出现：‘天啊，还会有越来越多……’我们可能需要对世界观进行更激进的修正。
我两种观点都倾向于接受。我们在物理学方面做得不错。至少从我读到一些物理学家的说法来看，我们的许多物理理论确实很擅长预测各种现象。谁知道呢？
不过你父亲是物理学家，对吧？
是，但这不是从我父亲那里听来的。有篇博客文章可能是肖恩·卡罗写的，他说：‘我们真的理解许多支配日常世界的物理规律，在很多方面做得很好。’作为一门学科，我总体上对物理学印象很好。这可能确实如此。
另一方面，他们也研究了几个世纪。但这个观点很有意思，也会导向不同结论。‘永恒的前沿’这个想法有吸引力，从审美角度看，持续发现新事物让人向往。
至少我认为，你不可能获得完整知识。某种意义上，你是系统的一部分，知识本身也是系统的一部分。如果你试图完整了解宇宙未来会怎样……我不知道，我不确定这是否真的成立。
它有点像停机问题，对吧？
这其中有点循环结构。可能存在一些固定点，你可以说：‘对，我会这么做。’我至少会问，当人们想象知识最终完成时，这个设想究竟能不能成立？我不确定。
你关于乌托邦的文章里有一段话。能不能请你快速读一下？
‘我倾向于认为，乌托邦无论多么奇异，在某种意义上仍能被认出来；如果我们真正理解并体验它，就会在其中看见同一种东西：很久以前，我们第一次触碰到爱、喜悦和美时，它让我们猛然坐直了身子。站在篝火前，我们会感受到点燃它的余烬之热。我想，我们会有一种重新忆起的感觉。’
这段话在整个图景中处于什么位置？
这是个好问题。如果我身上完全没有任何部分能认出它是好的，我就不确定按我的标准它是否真的好。问题在于，需要满足什么条件，你内心的某个部分才会认出它是好的。但如果完全没有这种认知，我就不确定它是否体现了我的价值观。
你可以用一种近乎同义反复的方式说：‘啊，如果我经历了那些让我发现什么是善的过程，也就是我们所说的反思，那它就是善。’但按定义，你最后到达那个结论，是因为……你懂我的意思吧？
如果你逐渐把我变成回形针制造机，我最后可能会说：‘我看到真理了，我看到了真正的回形针。’这就是反思问题复杂的地方。你必须找到办法区分两种发展过程：一种保留了你在乎的东西，另一种则没有。这个问题本身就很棘手，必须先对自己在乎什么、认可哪些元过程等问题作出判断。
但你肯定不应该说：‘最后那个存在认为自己已经找到了正确答案，这还不足以成为标准。’因为这完全可能是在严重偏离正轨之后产生的想法。
你有一篇文章里有句话很有意思：‘事实上，权力塑造了我们的内心。因此，如果我们所爱的东西也很强大，就一点都不奇怪。’这句话是什么意思？
那篇文章讨论的是一组模糊的价值，我在文章中称它们为‘友善/自由主义/边界’。它们是一组相对基础的合作规范，包括尊重他人边界、不同立场间的合作与和平、宽容等等；与之相对的，是你偏好的物质结构。有时人们会在 AI 风险讨论中把后者当作典型的价值观。
我花了一些篇幅讨论这些规范的伦理价值。我们为什么会有这些规范？其中一个重要特征是它们有效、有力量。安全的边界能节省原本浪费在冲突上的资源。自由社会往往更宜居、更适合移民、生产力也更高。与友善的人交往更好，也更适合进行交易，诸如此类。
我们可以看看为什么政治层面上会形成各种制度，也可以深入看人类的进化史以及道德认知的结构。显然，各种合作形式、博弈论动态以及其他因素，塑造了我们现在在某些情境下也视作内在价值或终极价值的东西。
在社会中具有工具性作用的价值，也会在我们的认知中被具体化，成为它们自身具有内在价值的东西。我认为这没问题，也不是对它们的揭穿。你的所有价值观，都是某种逐渐形成并被视为终极重要的东西。在系列文章中，我谈的是深层无神论，以及我们推动的事与自然推动的事、纯粹力量推动的事之间的关系。
人们很容易说：‘有回形针这种方向可供选择，也有快乐这种方向。它们都是任意的选择。’但我认为，我们的其他一些价值观更受合作等原则塑造，而这些原则也有效、有功能、有力量。
这就是那句话的意思。从某种意义上说，自然比你想象的更站在我们这边。我们的一部分是由自然塑造的，这也存在于我们之中。我不认为这就足以让我们击败灰蛊。我们的价值观中确实内含一定力量，但并不意味着它们会在任何竞争中都占上风。仍然值得牢记这一点，尤其是在思考如何把 AI 融入社会时。我们谈了很多伦理问题，但想与价值观不同的 AI 建立社会和谐与合作，也有工具性和实际层面的理由。
我们必须认真思考这件事，并想清楚怎样以真正正当的方式实现它，让这些存在正当地融入我们的文明。这里既有正义问题，也要问：人们能接受吗？这对他们来说是笔好交易吗？如果我们非常担心 AI 反叛，一种办法就是让文明对它们更好。这确实是我们设计许多政治制度和规范时所重视的特点。这就是那句话想表达的意思。
好，我觉得这是个很好的收尾。乔，谢谢你来参加播客。我们讨论了你系列文章中的观点。如果大家没读过，可能不知道它写得有多美。我们没能谈完所有内容，但里面还有很多有意思的观点。
我采访过不少谈 AI 的人，但你提出了一些我从未在别处听过的观点。显然，AI 领域的讨论没有多少写得这么好。听播客版本，听你自己朗读，是一种真正美好的体验。我强烈推荐大家去听，可以在 joecarlsmith.com 找到。乔，非常感谢你来参加节目。
感谢邀请。我很享受这次对话。