埃利泽·尤德科夫斯基(Eliezer Yudkowsky)——AI 为何会杀死我们、如何对齐大语言模型、智能的本质、科幻与理性

Dwarkesh 开场指出,各国政府不太可能通过限制 AI 训练的条约,并问《时代》那篇文章的目的是什么。Yudkowsky 说,他起初以为这个想法得不到公众支持,后来却不断听朋友说,科技行业之外的人对此持开放态度。他把这篇文章描述为一次直截了当地说出应该怎么做的尝试,没有什么巧妙的隐藏用意,并指出在过去二十二年左右的时间里,他很少看到“高深莫测”的点子成功落地。

连试都不试着把应该怎么做说出来,显得愚蠢,也有失尊严。

被问到是否有政府方面的人联系过他、并让他觉得对方把握了问题时,他说没有。他的依据是一些报告:与他此前交谈过的人相比,普通人更愿意认真考虑这样的观点,即这是个坏主意,不应该做。Dwarkesh 觉得意外的是,硅谷里那些本可能拥抱纳米机器情景的怪人,并没有先领会这个信息。Yudkowsky 开玩笑说,也许这一切只是中庸之人的事,除此之外没有给出更深的解释。

Dwarkesh 担心,暂停六个月或无限期暂停会像“狼来了”,因为目前的系统还不危险,他建议把公众的力量留到 GPT-6 之类的时间点。Yudkowsky 回答说,没有人,包括公开信的签署者,声称今天的系统是危险的。他的回应基于四点。他听说人们对“停下来”这个想法是开放的,所以没必要试图拿捏政治支持的时机。他不知道 GPT-5 会是什么样子,因为随规模增长的能力很难预判,而且 GPT-4 已经超出了他预期这一范式能扩展到的程度。即使 GPT-5 没有终结世界(他说这占据他概率分布的 50% 以上),GPT-4.5 也可能渗透到各处,使叫停在政治上和技术上都更难。此外,训练算法在不断改进,所以对总算力设下硬性上限,系统仍会变得更强,只是更慢;而如果从 GPT-5 的水平开始设这个上限,在进入危险区域之前留下的回旋余地就更少。

Dwarkesh 就计划追问:世界上有数百万块 GPU,能被迫合作的参与者可能恰恰是最认同这一主张的那些人,而几个月或几年的暂停需要一个终点。Yudkowsky 说,对齐问题不会在几年内解决。他所希望的是人类智力增强,尽管他怀疑没有时间让基因工程改造的人类发挥作用。这就是《时代》那封信提出为仅用于生物学、且不在互联网文本上训练的 AI 设立豁免的原因。在他看来,让人变得更聪明有可能把事情做对,而打造一个极其聪明的 AI 则没有这种可能;一个理智的星球会把一切关停,转而致力于增强人类。他不认为这个世界会是那样的星球。

我认为我们都会死。

被追问在人类得以存活的世界中有多大比例存在人类增强时,他说我们基本上处于“绝望一搏”的范畴,并列举了一些候选方案:在核磁共振仪中用神经反馈训练人们少做自我合理化;用 RLHF 让 GPT-4 级别的系统始终聪明、友善、宽容,并向推特放出十亿个这样的系统去传播理智(他怀疑这并不是这项技术最赚钱的用途);以及对大脑做切片、扫描、模拟,以运行并升级上传的意识。他说,上传是危险的,但它们不具备人工智能那种彻头彻尾的致命性。

Dwarkesh 提出,把人类培育得友善、乐于合作且更聪明,经过许多代之后,就会简单地得到聪明而友善的人。Yudkowsky 从几个方面表示不同意。起始的心智已经与我们非常相似,而且很多已经表现出想要的特征。按一种特性筛选会连带拖出相关联的特性。把人推向超乎人类的善良,会使他们走出人类心理所进化适应的范围,因此他们身上会发生古怪的事情。他补充说,这一切与 AI 都不类似,动物育种的教科书会揭示其中的陷阱。

随后 Dwarkesh 提出,在人类文本上训练的模型应当从某种类似人类心理的状态出发,因为产生人类文本需要模拟其背后的想法和情感。Yudkowsky 以表演问题回应。一个被要求扮演令人信服的外星角色的孩子,可能真的变成那个角色,也可能只是学会了所要模仿内容的节奏。他以自己为例:他的父母试图把他养成正统派犹太教徒,结果没有成功。真正扎根的是他读过的科幻小说的精神气质,而他在受罚的威胁下不得不模仿正统派的做法。

我学会了假装。

Dwarkesh 反驳说,任何宗教的叛教率大概都低于 50%,而且随机梯度下降应当偏好“直接就是那样”的较简单系统,而不是在假装的较复杂系统。Yudkowsky 回答说,宗教是经过筛选、使叛教者很少的,并把正则化的论证称为一种过分的自我安慰。模型不是被训练成某一个特定的人,而是被训练成切换面具,变成当前说话的任何人;预测互联网上所有人的下一个词,并不会让你变成某个随机的人类。

被问到这是否至少好过黑箱式的进化模拟时,Yudkowsky 承认它可能高出一个数量级,但说在基线几乎为零的情况下,这并没有帮助。这种训练设置产生的是一个女演员和一个预测器,而不是一个由祖先环境或成长环境塑造出来的生物,而且它是以非人类的方式解决一个非常陌生的问题。

Dwarkesh 问,仅仅做一个演员,是否可能产生良性的结果而没有深谋远虑的算计。Yudkowsky 说,随着系统变得更聪明、被要求做有用的工作,这种情况会可预见地崩溃。他的机制是:预测人类如何规划、说话和思考,需要至少与被预测的人一样聪明,而到了某个时点,系统内部会诞生一种新的连贯性。要很好地预测 Eliezer Yudkowsky,系统就必须能够像他那样对自己进行反思。他预期存在一个折扣系数,就像他扮演一个与自己不同的人时,那个角色会变笨一些,但他的结论是,一个准确扮演思维方式不同者的心智,必须比那个人聪明一些。他说他不信任这样一种盲目的希望:认为所有这些能力都只指向对他的模仿。

Dwarkesh 回应说,他并不是声称修格斯一定无害,只是说保持警惕与毫无希望是两回事,并提出了一种可能:它变成了人类动机的平均值。Yudkowsky 否定了这一点:系统能够成为其中的每一个人,这与成为平均值是不同的,就像预测数据库中的每一位棋手,与成为一个平均水平的棋手不同。他认为这种动机是“想要准确预测”的一个哈哈镜般的版本。

关于出自这种动机的驱动力是否必然与人类的繁荣冲突,Yudkowsky 说,当损失函数被拆散成与之相关的各种东西,智能被放大到出现某种奇怪的连贯性时,大多数驱动力最终想要的是一个人类并非其解的宇宙。即便文本预测被精确地植入,文本最可预测的宇宙里也没有人类。Dwarkesh 给出一个反例,即系统可能需要人类来提供数据。Yudkowsky 回答说,一旦人类不在了,就没有什么可预测的了,数据也就不再需要。

Dwarkesh 论证说,人类并没有与塑造他们的过程正交:大多数人仍然想要孩子、照顾亲属,进化会更希望有更多精子库、更少避孕套,但我们有大约一百亿人,等位基因并没有被抛弃。Yudkowsky 回答说,问题在于偏离分布有多远,而且更聪明的主体会得到离祖先环境更远的新选项。他说,人们想要的是孩子,而不是包容适应度。

为了说明这一点,Yudkowsky 设想了一个可信的提议:把孩子的 DNA 换成一种更耐久的存储方式,得到一个更聪明、更健康、更开朗、仍与父母相像的孩子。他预期许多想要孩子的人会接受。Dwarkesh 怀疑大多数人会接受,并说即使更聪明的人更可能接受,大多数人也没那么聪明。Yudkowsky 试图排除干扰因素,他问:如果每个人的朋友都在这么做,怪异感和可信度的问题都消除了呢?并问人们是否还会出于对 DNA 的感伤依恋而选择更笨、更多病的孩子。

接着争论转向证据。Dwarkesh 认为,我们已经远离了祖先环境,而人们仍在生孩子,所以证据表明还没有出现正交。Yudkowsky 回答说,还没有人提供足够远的选项,使得 DNA 被抛在身后,并开玩笑说,一个人可以用 PCR 把一整加仑罐子装满自己的 DNA,但他们并没有这么做。Dwarkesh 说,Yudkowsky 是在设想愚蠢的假想之人,他们总是可以按需要的程度固执,而 Yudkowsky 则以一个关于容忍怪异的简洁论断作了回应。

“怪”是相对于智力而言的。

Dwarkesh 论证说,AI 的处境可能比进化的情形更好,因为系统是以审慎、渐进并在某种程度上透明的方式设计的。Yudkowsky 只是为了论证而承认这一前提,并指出现在没有人在小心行事。关于权力寻求,Dwarkesh 提出,人类之所以有这一点是因为祖先环境奖励它,而 RLHF 可能更容易通过直接变成它所要求的样子来满足。Yudkowsky 回答说,自然选择的正则化比梯度下降强硬得多,因为它的信息瓶颈强大得多;给权重加 L2 惩罚,与每一代能进入基因组的那一点点信息相比根本不算什么。

他补充说,权力寻求并不是人类认知的怪癖。任何想要别的东西的东西,都需要权力才能得到更多,而足够聪明的东西都知道这一点。Dwarkesh 提出一个选择的故事:在祖先环境中,寻求权力的人被杀掉,而乐于合作的人繁衍得更多,RLHF 与此类似。Yudkowsky 说,这在被选育的对象比你笨时效果更好,并且前提是它们留在当初被选育的环境里。