Ryan Greenblatt: 瑞安·格林布拉特:一旦 AI 能够自动化 AI 研究,会发生什么?

00:00德瓦克什·帕特尔

今天我请到的是瑞安·格林布拉特(Ryan Greenblatt),他是 Redwood Research 的首席科学家,专注于 AI 安全与安保方面的技术工作。

我想和你聊聊递归自我改进(RSI)。这个想法是说,一旦我们造出人类水平的智能,它们会迅速弹射式地发展成数百亿个超级智能,每一个在各个领域都比顶尖的人类专家更有能力。这件事最终是否会发生,可能是当下世界上最重要的问题。一直以来,我对这类事情会发生都相当怀疑,但你似乎认为它有可能成真,所以我想听听你的论据。

瑞安·格林布拉特

那我们来聊聊。首先,我认为值得指出的是,AI 研发是 AI 格外擅长的一类任务,因为各家公司都在拼命让自己的 AI 擅长 AI 研发。而且从目前 AI 开发的运作方式来看,这个领域还有很多好的性质。它相当可验证。你可以迭代地做很多事情,并且在各种指标上不断爬坡优化。

我认为,一旦 AI 在 AI 研发上大致能与顶尖的人类专家相匹敌,就可能启动一个反馈回路:AI 在做 AI 研究,这会产出更聪明的 AI,而更聪明的 AI 又反过来继续投入研究。这个反馈回路可能强到让你在很短的时间内取得大量进展。我的中位数预期大概是在一年之内取得相当于四五年的 AI 进展。这需要真正克服研究中大量的边际收益递减,基本上等同于做出我们在算力大规模扩张之后本来会得到的那种进展。所以这是一件相当惊人的大事。

要记住,五年的 AI 进展,四年的 AI 进展,哪怕是三年的 AI 进展,都是他妈的一大截 AI 进展。三年多一点之前,GPT-4 刚刚问世。而现在,当然,我们有了 Mythos 5 之类的模型,Anthropic 内部可能还有一个更好一些的模型。在短短三年多的时间里,这就是巨大的进步。如果我们谈的是五年,那或许就相当于从 GPT-3 跃升到 Mythos 5 之类的模型。

德瓦克什·帕特尔

我认为这个论证有三个不同的部分,我想逐一评估。第一,AI 研发是高度可验证的这一论点。第二,如果你把 AI 研发自动化,就可能在一年内取得四五年的进展。第三,按当前速度经历四五年的 AI 进展之后(起点是 AI 研发被自动化的那个时刻),最终出来的 AI,可以被直接放到几乎任何你能想象的岗位上干活。

你可以把它放到 20 世纪 40 年代的得克萨斯政坛,它能在谋略上胜过林登·约翰逊(Lyndon Johnson)。你可以把它放到台积电(TSMC),它能学会如何在台积电做出更好的制程工程。它当然是个更好的视频剪辑师……我的视频剪辑师非常出色,但总的来说,它在它发现自己要去做的任何一份工作上,都比人类更强。

所以我想评估所有这些子论点,它们最终会导向:在你预计 2030 年前后达到那个基准之后不久,我们基本上就会得到 ASI,对吧?

瑞安·格林布拉特

我会说,我预计 AI 研发的完全自动化大概会在 2031 年、2030 年前后出现。至于达到“在工作中胜过所有人类”这个里程碑,我的中位数预期大概是 2033 年左右。但如果我看到 AI 完全自动化了 AI 研发,我认为大概率会在一年之内到达那个里程碑。预测的结果是这样的:两个中位数之间的差距,要大于两个里程碑之间的中位数差距。总之,不管了。

德瓦克什·帕特尔

顺便说一句,网上有个梗。每次我试着问人们对时间线的看法,比如问 Dario 或其他人的时候,我总是问:“好,还要多久你们就能把我的视频剪辑师自动化?”于是就有了这样一个梗:每次我听到这些回答的时候,都是我的视频剪辑师在剪这期播客。

但我这么问的原因是,我认为在谈论自己不太了解的工作时,很容易迷失在抽象概念里;而我想非常具体地弄清楚,自动化一份我真正了解的工作需要什么,也就是我明白为什么目前大语言模型很难接管这份工作。

瑞安·格林布拉特

我确实认为,自动化你的视频剪辑师这个里程碑,要早于能够自动化所有人类工作(包括得克萨斯政坛,在岗位上快速上手)这个里程碑。我认为视频剪辑的自动化大概会出现在 AI 研发完全自动化前后,但这非常取决于人们究竟有多专注于让 AI 理解视频。

德瓦克什·帕特尔

好,那我们先从“AI 研发高度可验证”这个论断开始。

瑞安·格林布拉特

这里面有几个不同的部分。其中之一是,我们可以在大量环境上进行训练,这些环境基本上是在直接训练模型去完成某个 AI 研发任务,或者某个非常接近的任务。比如,我们可以设置这样一个环境:模型只用八块 H100 或者少量算力去训练某个 AI,这个 AI 可以相当于 GPT-2 medium 之类的规模,接着类似于 NanoGPT medium 的训练运行——在强化学习中,就是对它不断调整、迭代。

我们可以针对大量不同的任务这样做。我们可以让它训练图像分类模型、视频生成模型、图像生成模型,各种不同的机器学习训练任务。我们可以用强化学习来训练它完成“训练越来越好的模型”这个任务,也可以做这样的事情:“哦,这里有一个你可以去探索的算法方向,你能去实现一下吗?”

基本上,存在这样一整类可容器化、可验证的小规模 AI 研发任务,我们可以对 AI 大力进行强化学习。各家公司想必已经在这类任务上做一些强化学习了,而你可以不断扩大规模,不断构造更多这类小规模 AI 研发任务,然后 AI 就能在这方面持续变强。我隐含的主张是,这会迁移到 AI 研发中极为关键的承重环节。不过我们先在这里停一下,稍后再谈那一部分。

德瓦克什·帕特尔

那我们来具体过一遍这看起来是什么样子。你可以设想我们有了 GPT-7.5。我们对它说:“GPT-7.5,我们想让你在 AI 研发上变得非常出色,好帮助我们训练 GPT-9。”于是现在我们要训练 GPT-7.5,我们设计出一大堆不同的环境。

正如你提到的,现在已经有这样一个代码仓库,它是安德烈·卡帕西(Andrej Karpathy)的 nanoGPT 速通挑战的后继者,你要尝试改动模型的一切,从优化器到超参数再到架构,以便尽可能快地达到一个固定的训练损失。你还可以有其他类型的环境,你可以说:“嘿,GPT-7.5,我想让你训练一个非常出色的玩电子游戏的模型。我想让你训练一个模型,它在反复玩同一个电子游戏的过程中真的会不断进步。这样你就要学会如何(也许)帮助模型在在线学习方面变得更好。我们不在乎你怎么想出来。也许是某种疯狂的神经语言(neuralese),或者是向量记忆。又或者只是更好的长上下文机制。我们不在乎。你自己想办法去做在线学习的研究。”

显然,GPT-7.5 本身已经是个聪明的模型,而且就像现在的模型正在变得越来越聪明一样,它的编程能力也会越来越强。你可以设想另外 100 个类似的环境,它们都在激励做 AI 研发的能力,比如让 GPT-7.5 去开发 GPT-2 规模模型的容器化版本,等等。然后你基本上让 GPT-7.5 经历一大堆这类训练,就造出了 GPT-8。GPT-8 现在是一位了不起的机器学习研究员。通过做完所有这些训练,它积累了大量直觉。

说实话,对我来说一个很大的直觉启发,来自于看到 AI 在数学上取得的进展。如果是一个高度可验证的领域,AI 就能……我其实并不了解数学研究的具体细节,但我只是觉得,“不,这行得通”。只要你能把它完全放进一个验证回路里,成果就可以像洪水一样涌来,而且它确实能做出新的突破。

我很好奇,机器学习研究是否具有数学研究的那种特质:把不同学科联系起来,似乎存在一个很大的悬置潜力(overhang)。没有哪一个人会对代数几何和……那个词该怎么说来着?了解得足够多。

瑞安·格林布拉特

哎呀,我对那些数学突破真的不太了解。

德瓦克什·帕特尔

没有哪一个人会对拓扑学和代数什么的了解得足够多,从而为某个重大猜想构造出反例。

瑞安·格林布拉特

我的看法是,机器学习是一个比数学更浅的领域,所以那种“个别专家在某个领域拥有极深的专业知识,然后把它们结合起来”的情形要少一些,但肯定还是会有一些。

不过我同时也认为,机器学习有一些特性,在某些方面使它比数学更有利于 AI 训练。特别是,你能更好地判断自己是否在成功,也能看到中间进展。在数学中,往往没有简便的办法看出你是否接近成功。而如果你的目标是,比方说,把训练损失降到某个水平的速度提高到 2 倍,你大致能看出自己什么时候完成了一半。机器学习的创新往往是可叠加的,或者根据你怎么看,也可以说是可相乘的,基本上你可以不断叠加创新。通常这些创新只是相加在一起,不会互相干扰,当然具体还是要看细节。

所以我认为,在很多方面,AI 研发会具有与数学相当类似的性质:你可以用可验证性很强的方式,在 AI 研发的若干片段上进行训练,这些片段在结构上与你真正关心的问题相当相似,然后这种能力会迁移。至于迁移到底能有多好,这是个悬而未决的问题,但我认为目前数学上的迁移看起来相当不错。我的预期是,AI 研发上的迁移看起来会相当不错,但不会惊人。

德瓦克什·帕特尔

我有一个顾虑:据我所知,即便在数学领域,我们也还没有看到令人印象深刻的新理论。我们看到了很多令人印象深刻、可验证的具体结果——比如,为某个猜想找出反例——但我们还没有看到“提出拓扑学的概念”这种层次的东西,或者“提出群论”这类东西。

机器学习研究似乎同时包含这两类要素。但那种不太可验证的东西,也就是提出思考问题的新方式,会更难诱导出来。以缩放定律(scaling laws)的想法为例。显然,存在某种端到端的验证回路,使得如果你拥有 2020 年的缩放定律思想,就能更好地训练 GPT-4。但要诱导 AI 去想:“好,我得仔细思考该如何扩展参数和数据。我可以开展哪些不同的研究来理解这一点?也许我可以做个可视化,再做个等算力(isoFLOP)分析之类的。”这条路要更漫长,也可能更耗算力,而且这看起来是比“嘿,让我们把 nanoGPT 的损失降下来”更长的验证回路。

瑞安·格林布拉特

我们来谈谈这一点。首先,在数学的语境下,我想说的是,AI 能做到相当于“婴儿版第一个新理论”的事情,比如它们可以通过建立联系、产生新的理解来证明有趣的猜想。比如“哦,AI 找到了这样一个相当有意思的构造”,或者它找到了一种略有不同的思考问题的方式。我们确实看到了这些。只是我们看到的例子,不如创立群论这个领域那样令人印象深刻。

创立群论这个领域,很可能是有史以来最伟大、最重大的数学成就之一,而 AI 在数学上还没有那么强。在我看来,从那个高度到我们现在看到的成果之间是一个连续谱,AI 正在沿着它不断向上攀登。

其次,我认为相对于数学,机器学习是一个非常浅的领域。在数学中,更多是要找到某种真正深刻的抽象,如果你真的理解了那个难以理解的东西,你就能有所进展。而我觉得机器学习中与之对应的东西,是些真正愚蠢的玩意儿。比如缩放定律,拜托各位,我们可以很快就把缩放定律解释清楚。我认为,比如数学中最深刻、最重要的那些概念,并不具备“你能在很短时间内真正理解其背后的东西以及它为什么重要”这样的性质。

德瓦克什·帕特尔

但我觉得会有一个效应:到 2030 年,我们会把所有唾手可得的果实都摘光了。我觉得缩放定律在数学史上就像笛卡尔发现笛卡尔坐标系,做的是非常基础的数学。最终,如果我们想在 2030 年代继续取得进展,那就得去做当下数学前沿正在发生的那些玩意儿了。

瑞安·格林布拉特

那可能是对的。我的感觉是,有些领域在运作方式以及对深层抽象的依赖程度上,在结构上就是不同的。物理和数学更多地处于“深刻、难以想出点子”的那一端,而我认为机器学习和大多数其他领域则更适合爬坡优化。这就是我对未来会如何发展的看法。

即便在这样的情形下——你的 AI 不得不艰难推进,时间是 2030 年,研究中许多唾手可得的成果已经被摘走,它们需要取得进一步的进展——我仍然怀疑,相当多的工作会更偏向于构建日益复杂的基础设施,以及对实验大致长什么样拥有非常好的直觉。所以,对于“AI 缺的是某种深刻洞见”这种想法,我可能不太认同。我更认同的是:它们确实需要大量关于具体细节实验的品味,而这是它们目前所没有的。它们需要大量关于哪些训练方法行得通、哪些行不通的直觉,就像当前的研究人员所拥有的那样。

即便是在 AI 已经出现某种突破的情形里,事后回头看,往往也会发现,实现这一突破的一个主要瓶颈,在于把所有微观细节和那些说不清道不明的直觉都弄对。一个例子就是训练 AI 擅长推理和思维链,也就是对思维链做强化学习。看起来,你很可能本来就可以在 GPT-3 上做强化学习和思维链,而且如果你真的把规模做上去、并且做得足够好,就能在数学上得到颇有意思的结果。

但在当时,还有别的唾手可得的成果。而且,把这种训练做好,本身就牵涉大量技术实现、规模扩展和超参数调节方面的细枝末节。所以也许你可以在 Qwen 1B 之类的模型上演示一切,并对整个思路能行得通有些把握。但人们并没有尽早做出这样的演示,原因就是所有这些说不清的细节,以及关于究竟该如何调参、如何搭建的那些直觉。

德瓦克什·帕特尔

老实说,这是我对这个故事仍然保留的怀疑。我不确定自己是否明白:如果研究突破如此容易受益于智能,为什么 AI 的进展在历史上没有比实际更快。正如你所说,等到 RLVR(基于可验证奖励的强化学习)真正奏效的时候——尽管你本可以用更少的算力来做——我们还是不得不等待海量的算力、吉瓦级的算力准备就绪,人们才开始做这种训练,而算力持续增长的轨迹又使我们取得更多突破。

我不知道。我觉得 2022 年有很多 AI 研究人员都在试图攻克推理。难道只是因为他们被编写基础设施代码的能力所限制,还是到底发生了什么?

瑞安·格林布拉特

这是一个复杂的组合。我认为,如果他们能做到的话,本来会更快:一想到某个实验,就能立刻无 bug地把它跑起来,而不必被 bug 严重拖累。另一部分原因是,能够以高算力跑大量实验,可以让你掩盖掉实现上不太对、或者超参数不对的地方。所以算力对做 AI 研究真的非常有帮助,可以掩盖很多问题。但这并不意味着劳动力的大幅增加就没有帮助,尤其是当这些劳动力本身就拥有这个领域里最好的一批直觉时。我只是觉得那真的很有帮助。

我在这方面的另一部分观点,可能和你的出发点有些不同:我预期会有比你所设想的更多一些的迁移。我设想的是,这些 AI 在总体上其实是相当不错的科学家,在所有这些事情上都相当靠谱。当你与它们互动时,并不会感觉它们有某种极度专精的学者式气质。它们在研发的方方面面其实都相当擅长,而在某些子领域可能极其强。比如,它们在编写内核(kernel)上达到极其超越人类的水平,在所有反馈回路很短的事情上也极其超越人类,而在其他所有事情上则相当不错,完全能与其他人匹敌。

我认为我们现在就在看到这种情况。当我观察当前的 AI 时,已经可以说,它们在做机器学习研究方面,能相当称职地与机器学习研究水平平庸的人类相匹敌。只不过,机器学习研究水平平庸,并没有太大帮助。你真正想要的是擅长机器学习研究的人。我的感觉是,AI 在所有这些方面都在进步。它们的品味在进步,直觉在进步,而且它们的品味和直觉已经不是一堆彻头彻尾的垃圾了。

16:52德瓦克什·帕特尔

我想非常具体地弄清楚,在一年内发生五年的 AI 进展会是什么样子。假设我们回到 GPT-3 刚被开发出来的时候。这个想法是说,以他们在 2022 年所拥有的算力水平,如果当时我们已经实现了 AI 研发的自动化,那么在那一年年底,你就可以得到 Mythos。

瑞安·格林布拉特

是的,想法就是这样。

德瓦克什·帕特尔

Mythos 所需的算力比他们当时所拥有的要多得多,但即便只有当时那样的算力水平,不仅要发生所有那些突破,他们还要用那样的算力水平把 Mythos 训练出来。

所需要的,显然是发现自那以来所有的算法进步。实际上还要发现更多,因为你得弥补这样一个事实:Mythos 使用了……GPT-3 是用多少算力训练的来着?大概 1e23?我们可以查一下。但它是不是有可能多出四个数量级的算力?

瑞安·格林布拉特

我认为比这要少一些。我们快速查一下。GPT-3 的训练算力约为 3e23。我的感觉是,Mythos 大概比它高出三个多一点的数量级(OOM)。所以问题是:你能否在弥补这 1000 倍算力差距的同时,还做出那个模型?

这里有一个具体的论断,也许我们应该谈谈。现在,我们能不能用 GPT-3 级别的算力训练出一个能匹敌……我具体是怎么想的呢?GPT-3 发布于 2020 年,所以它是大约六年半、七年前训练的。值得指出的是,GPT-3 或许离现在有点太远了,不过我们先姑且用它来说。

如果我们今天用 GPT-3 级别的算力来训练一个模型,这个模型会有多好?根据我对算法进步如何运作的理解,我们能够训练出一个与大约三年前我们所拥有的最好模型一样好的模型。所以我认为,现在我们能够训练出一个版本的 GPT-3,它大概比 GPT-4 要好一些,比 GPT-4 好一个中等的幅度。我觉得大致就是这样。这与算法进步的实际运作方式大体吻合。

基本上,故事最终会是这样:要得到五年的 AI 进展,你大概需要,我会说,大概八年的算法进步,非常粗略地讲,这是相当多的算法进步。但事实证明,在我看来,大部分 AI 进展来自算法和数据的某种组合,而你可以在这些方面不断取得巨大的改进,用更少的算力训练出 AI。

德瓦克什·帕特尔

我很高兴你提到这一点,因为自 GPT-3 乃至 3.5 以来到现在,究竟发生了什么?为什么 Mythos 这么强?显然,我们扩大了算力。我们有了更好的算法。但发生的一件大事是,我们建立起了一个规模达数百亿美元的数据产业,它系统性地收集并固化了各个不同学科中人类专家的判断——以强化学习环境的形式固化,以监督微调(SFT)轨迹的形式固化——这些专家构建它们,是为了帮助模型更好地理解如何写代码、如何搭建复杂的基础设施项目、如何处理法律事务,以及如何做其他各种事情。目前,人类专家判断似乎在 AI 进展中发挥着作用,AI 要如何才能复制这种作用?

瑞安·格林布拉特

我的感觉是,总体而言,加大在获取人类专家数据上投入的力度,对 AI 研发并没有特别重要。具体来说,过去几年里,我们一直在扩大算力、扩充在 AI 公司工作的人员,也在扩大数据标注上投入的精力。我的感觉是,如果你把最近两次左右的专家人类数据生成量翻倍去掉,不会造成很大的差别。很多正在发生的事情是,人们一直在开发更好的方法,利用人类和 AI 来构造强化学习环境,并从中继续前进。

德瓦克什·帕特尔

但你怎么解释 AI 在编程方面变得如此出色?我觉得其中很大一部分原因是数据和强化学习环境,它们固化了人类专家的经验。

瑞安·格林布拉特

但问题是,创建强化学习环境的限制因素是什么?我的感觉是,如今的强化学习环境比 2024 年好得多,原因并不主要在于我们雇了多得多的人类专家来制作强化学习环境。更多是因为我们更清楚我们究竟想制作什么样的强化学习环境,以及该如何构建它们。另外,我们正在使用海量的 AI 劳动力来构建强化学习环境。我认为这些影响,比人类劳动构建强化学习环境的影响要重要得多。

我并不是说人类劳动不重要。我只是说这里还有其他重要的大驱动因素。我可以试着论证一下。其中一点是,人们想要的环境数量非常庞大。我认为,在大致知道目标应该是什么的情况下,AI 其实相当擅长制作强化学习环境这项任务。还有可以利用的现成数据。这类事情中有很多都有良好的验证回路。

德瓦克什·帕特尔

比如看看昨天《商业内幕》(Business Insider)报道的内容:Google 为 Mechanize 支付了接近 20 亿美元。我们可以直接看市场价格,了解人们认为真正优质的人类专家数据值多少钱。前沿实验室似乎认为它很值钱。他们愿意为此付费。

瑞安·格林布拉特

你认为前沿实验室的支出中,有多大比例花在数据而不是算力上?你认为算力与数据的支出比例是多少?

德瓦克什·帕特尔

我认为压倒性地是算力,但我也认为,这是因为算力比数据更容易扩大规模。

瑞安·格林布拉特

但这恰恰与“是什么在驱动进展”密切相关,对吧?我的感觉是,这个比例大概是 20 比 1 或者 10 比 1。我不确切知道。这取决于公司。

德瓦克什·帕特尔

但这类似于石油只占 GDP 的 1.5%。这并不意味着,如果你把石油拿掉,GDP 还能继续运转。

瑞安·格林布拉特

当然,但这与你的论点相矛盾,不是吗?

德瓦克什·帕特尔

如果石油消失,经济会立刻陷入停滞。

瑞安·格林布拉特

当然,但你刚才是在论证:因为市值很高,我们就可以得知这是关键驱动因素,而我是说,这并不明显成立。那个论证只会让人觉得,算力是重要得多的驱动因素,或者雇用员工是重要得多的驱动因素。

德瓦克什·帕特尔

那我们也许可以说得更具体些。我是这么想的。我的主张是,如果你回到 2022 年,手里有 GPT-3.5,并且试图在没有人类专家的情况下让它在编程上变得更好,我认为那会非常非常困难。

我给你举个例子,说明我设想从 GPT-8 走到 ASI 会有什么困难。你会希望 ASI 擅长的事情之一是:我要接管一家公司,让它盈利能力大幅提升,并做各种疯狂的事情让它运转得更好。我要接管一家晶圆厂,生产更多芯片。我要走进国会,设法说服他们通过某项法案,等等。

我设想,以这种速度再多五年的 AI 进展,就能让 AI 做到这些。这正是我真正担心的:ASI 能够理解如何在世界上做出疯狂的事,能做基辛格能做的事,能做史蒂夫·乔布斯能做的事,还有他的工程师们能做的事,等等。我不确定,在没有相关世界数据的情况下你怎么做到这一点,这就相当于说,Mythos 在编程上非常出色,却没有那些相对于 GPT-3 改进了它的编程环境。

瑞安·格林布拉特

我有几点想说。第一,我打赌,如果你去看 Mythos 随机抽样的训练环境,它们其实与实际使用这个模型时的情形非常不同。我的感觉是,强化学习的分布与真实世界的数据分布之间存在非常大的偏差,而这种偏差在很大程度上被迁移,加上少量聚焦于真实世界的数据所抹平。我的感觉是,这与在完全自动化的 AI 研发之上再叠加五年 AI 进展所得到的那种疯狂的、极其超越人类的 AI 的运作机制,会是类似的。

所以我们稍微过一遍。具体来说,我认为你可以训练一个 AI,让它在各种各样的强化学习环境中,变得非常非常擅长即时学习,并做类似于上下文学习(in-context learning)的事情,但可能使用的是有所不同的机制。你构建出所有这些不同的强化学习环境,在其中 AI 必须即时适应、即时学习、弄清楚自己该做什么、更好地理解自己的处境,并从反馈中非常快速地学习,以便达成自己的目标。而且它拥有诸如资源有限之类的约束,如果搞砸了,可能会陷入糟糕得多的处境。

如果你在海量的这类环境上训练,就会学到即时获取上下文的通用技能,而我们已经在看到这一点了。现在的 AI 已经明显更擅长从它们所能获取的有限信息中,大致理解正在发生什么,并获取上下文。

然后,这些 AI 就可以被派到台积电(TSMC)去上岗。尽管台积电并不字面意义上地处于它们的数据分布之内,但它们的数据分布非常宽广,而且 AI 在其数据分布上表现极其出色,以至于这种能力可以迁移到擅长做台积电的工程师,并即时学会这份工作。AI 之所以能成为出色的台积电工程师,并不是因为它储存了大量如何做好台积电工程师的现成知识,而是因为它在那里做了某种放大版的上下文学习。

这会是最平淡无奇的一种说法。显然,事情还有许多不同的发展路径。

德瓦克什·帕特尔

我认为这也许归结于我们对“能走多远”的直觉不同。当我想到我认识的那些非常聪明的人时,他们在自己不太了解的领域里,其实并没有那么高效。

瑞安·格林布拉特

但他们有过多长时间去学习?

德瓦克什·帕特尔

我同意,如果他们有经验,会好得多。但我想论证的也许正是这一点:经验,也就是数据。比如,如果我找来一个非常聪明的常春藤盟校毕业生,对他说:“好,现在你来负责谈判伊朗协议”,我认为他们根本不知道该怎么办。

瑞安·格林布拉特

我认为,如果换成一个非常擅长快速掌握各种不同领域的人,你给他们一些时间去培训、与人交谈、巩固自己的专业知识并做一些练习,他们其实会做得相当不错。我认为大多数领域从根本上说是相当浅的,一个非常聪明、在有限的一组核心技能上很强的通才可以相当快地上手。这并不是对每一个领域都成立。我的感觉是,AI 会发展出越来越好的机制,用来快速获得对某个特定领域的理解和专业能力。

比如,想想 AI 理解一个新代码库的速度有多快。AI 理解新代码库的速度比人类快得多,不过理解的深度比人类目前能达到的要浅。但它正在随时间变得越来越好。让我把这个论证再展开说一下。假设你拿来 Fable 5 或 Mythos 5 之类的模型,想对一个非常庞大的代码库做某种复杂的改动。这个模型会非常快地对代码库获得一定的理解,可能远不到一个小时,甚至可能少得多。然后它对代码库的理解会稍微进入平台期,不会像人类在长得多的时间里那样获得同样深的理解。

所以大致是这样:AI 用一个小时,可以匹敌一个花了几周时间的人类,具体取决于代码库到底有多复杂。但它无法匹敌在这个代码库上工作了两年之类的人类。不过随着时间推移,AI 能够匹敌的理解程度一直在上升。如果我们看 3.7 Sonnet 或 3.5 Sonnet,也许它只能匹敌相当于理解一个代码库一天左右的水平。

但现在的 AI 在围绕一项任务构建上下文方面要好得多。所以你可以说:“Mythos,我要你真正理解这个代码库,然后实现这个功能。”它会派生出无数个子智能体。这些子智能体会仔细研读一大堆东西,把大量上下文带回来。然后它会再调查几件事情。它做这件事并不惊艳,但可以非常快地完成,而且效果相当不错。

我不难想象该如何训练 AI 在这项任务上变得越来越好。在一个非常大的代码库中,以合理的方式实现某个非常复杂的功能,这项任务是极其可验证的,AI 可以在这方面不断提升。类似地,还有一种更广泛的技能,即快速理解上下文,并让多个不同的 AI 并行学习,然后把结果合并起来。

德瓦克什·帕特尔

我认为这里似乎有一个关键分歧点,我觉得这只是一个我们终将看到答案的经验性问题。从“在可验证领域里变得极其擅长理解局势、快速上手、长时间持续取得进展”(AI 显然在这方面正在飞快地变得好得多),到“好,去和总统谈,说服他做某件事”,或者“你现在负责 Google,你必须让 Google 这个季度的盈利能力大幅提高”,这两者之间的迁移能有多好?

瑞安·格林布拉特

让我再试着阐述几个可能相关的论点。其中一点是,看看 AI 在写文章方面是如何进步的……我们稍微聊聊这个。即使在这些领域,你也能获得一些数据。在快速进步的轨迹上,AI 即使在这些领域也能获得一些数据。也许很难为“按人类标准,你的文章写得真的好吗?”构建一个可验证的环境。但你可以做一点。你可以做一些训练。你可以做一些在线训练。AI 将能够基于真实世界的东西做一些在线训练。它们将能够拥有评测。它们将能够对此进行采样。你可以提高做这件事的频率。

第二点是,在实践中,我只看迁移的话,觉得还可以。我认为 AI 在不可验证的领域其实也进步了不少,而且很难指出哪个真正难以验证的领域,在 GPT-4 和 Mythos 之间的实际提升幅度不算相当大。当然,这并不意味着 Mythos 比最优秀的人类更强之类的。在某些方面,它仍然可能比典型的人类专业人士在其工作的某个方面差得多,但同时又比 GPT-4 好得多,而 GPT-4 当时连边都沾不上。

德瓦克什·帕特尔

我们在谈过去几年里有多少进展来自数据、多少来自算法进步。这让我想起,我实际上正在和杰里·韩(Jerry Han)做一个这方面的实验,他还是个大学生。我们评估有多少进展来自数据、多少来自算法,基本做法是:用 2019 年至今最好的算法配方,去训练 2026 年数据文件里最好的数据;同时也用当前最好的算法配方,去训练从 2019 年到 2026 年各个时期的不同数据文件。

我觉得那会很有意思。我很好奇,你是否愿意预先登记一下,算力乘数各有多少来自其中一方、多少来自另一方。

瑞安·格林布拉特

我们需要相当谨慎地界定“数据”这个词的含义。我之前一直在尽量仔细地区分:加大雇用人类专家标注数据的投入,或者说扩大人类专家标注数据的数量。我们现在拥有比 2019 年更好的预训练数据集,原因并不是人们花了多得多的钱,让人类专家把数据敲出来,再让 AI 去训练。

德瓦克什·帕特尔

部分是的。

瑞安·格林布拉特

我认为占比不大。我认为预训练数据的改进中,这部分非常少。我指的确实是预训练。我们或许应该把中期训练和后训练另外单独谈。但我认为,预训练数据改进的绝大部分,来自于更好地理解哪些数据集好的科学研究,以及弄清如何过滤筛选的繁琐苦工。

所以我的看法是,从 OpenWebText 到 FineWeb 这类改进,更适合被描述为一种算法改进,用一些 GPU 就可以研究,并不需要人类专家数据。当然,还有另一种效应,我们可以谈谈:也许 2026 年的互联网比 2018 年的互联网是更肥沃的训练数据土壤。还有一种效应是,在互联网上发帖的人更多了,所以有更多的数据可供采集。我的感觉是,这种效应会比下面这些因素小得多:人类更懂得如何整理数据、有更好的抓取、更懂得如何更好地处理这些抓取内容——诸如此类。

德瓦克什·帕特尔

这更像是自动化工程和自动化研发。

瑞安·格林布拉特

没错。

德瓦克什·帕特尔

明白了。

瑞安·格林布拉特

从某种意义上说,你想看的是这样一个对比:我们做两条后训练流水线。第一条后训练流水线中,Mythos 5 构建一条后训练流水线,但它只能获取互联网数据加上极少量的人类专家,不过拥有当前最好的方法。另一条中,Mythos 能用的是我们 2024 年那些很烂的后训练方法,但配有海量的人类专家。同样,两者都有互联网数据。我的感觉是,没有多少人类专家的当前方法,其实会做得相当好。

德瓦克什·帕特尔

有意思。

瑞安·格林布拉特

不过这有点乱,因为 Mythos 能搞出比 Mythos 更强的东西吗?你可能需要对你到底是在后训练哪个模型多斟酌一下。

34:02德瓦克什·帕特尔

在你看来,AI 研发中最不可验证的部分是什么?

瑞安·格林布拉特

最不可验证的,大概是对大型实验做出决断。我认为最可能成为瓶颈的——就 AI 在可验证领域非常强、但在做真正的事情上不行而言——就是那种只有几次尝试机会的大型实验。嗯,说“几次”也许有点轻描淡写。历史上,研发一直是由接近前沿规模的实验所驱动的。这相当重要,也就是真正进行那一次大型训练运行,在其中你要决定到底纳入哪些内容。

AI 有很多办法可以让这件事更可验证。它们可以拥有更好的科学,知道究竟该预测什么。它们可以把前沿规模的训练运行缩小到一个程度,使它们能更积极地研究那个规模,代价是一次性的算力成本损失。如果人们愿意的话,你总是可以通过训练更小的模型,来跑更多轮。我认为我们已经看到了这一点。

AI 的规模扩大得比你原本预期的要小(例如,每个 token 的成本并没有像你可能以为的那样上涨那么多),其中一个原因是,把更多工作放在小规模上进行是有好处的:你可以跑更多的训练运行,获得更多的循环迭代。这样你就不必那么重度地依赖某一次大型的、极其重要的训练运行。

德瓦克什·帕特尔

我想为听众拆解一下几点。你指出的是,自 2024 年或 2023 年以来,每个 token 的价格并没有上涨多少。

瑞安·格林布拉特

GPT-4 大概是,我不确定,每百万输出 token 30 美元?Mythos 大概是每百万输出 token 50 美元。

德瓦克什·帕特尔

对。所以你想解释的是:“我们明明处在规模扩张的时代,更大的模型理应服务成本更高,为什么 token 价格却没有上涨?”你的意思是,我们增加活跃参数的速度,比人们天真地设想的要慢,因为人们想要在训练模型上快速取得进展。做法是更快地训练更小的模型。

瑞安·格林布拉特

这里有一个复杂的因素组合。我的观点更偏向于:人们做了一批效果并不太好的大型训练运行。比如 GPT-4.5,众所周知 OpenAI 内部的人认为它有点失败。我认为还有一些传闻,说人们做过的其他一些训练运行也有点失败。部分原因是,我认为要真正把这件事做对,涉及大量细节。

所以,把更多工作放在较小的规模上进行是合理的,为了能快速迭代,不得不接受最终性能受到损失这一事实。更快地训练更多模型,因此学得更好,最终也能得到更聪明的上线生产模型。这并不是唯一的效应。还有一点是,强化学习更能从小模型中获益。有一系列因素在起作用。但我确实认为,由于算法进步如此之快,人们实际上是在朝着更快的迭代周期这一边做权衡。

德瓦克什·帕特尔

在我看来,这些大型训练运行失败的一大原因,至少从传闻来看,就是一些非常隐蔽、极难追查的 bug。

但简而言之就是:AI 在避免和发现这类错误方面会有多强?它们也许会在工程方面变得非常出色,并且被训练得能避免 bug。基本上与我们现在所处的、而且随着时间推移越来越少处于其中的“粗制滥造(slop)”的世界相反。

但同时还有另一个问题:“它们能不能进行分析,找到合适的实验去运行,以确定眼下这次训练运行到底出了什么问题?”这似乎非常受限于极少数人类的品味。我的猜测是,GDM 眼下正在经历这个,人类正试图弄清楚训练流水线出了什么问题。

瑞安·格林布拉特

有一个传闻说,诺姆·沙泽尔(Noam Shazeer)刚加入 GDM 之后(他现在已经离开了),他们很快就有了一次新的、非常好的训练运行,而原因就是诺姆·沙泽尔看了一眼他们的代码库,发现了一大堆 bug,因为他就是知道该看哪里。

我的感觉是,训练 AI 去发现 bug,将会是训练 AI 的较容易的任务之一,因为我们所说的这些 bug,大多可能不需要多少算力就能演示出来。很可能,从在较小规模上指出其他类型的 bug,你就能获得相当不错的迁移。这样你就可以用强化学习训练 AI,让它们审视整个复杂的训练情境,指出存在重要 bug 的地方,然后修复它。

这是一项相当可验证的任务。它并非无限可验证,因为也许常常为了证明那个 bug,你需要做一次中等规模算力的实验,把整套分布式基础设施拉起来再运行。但我认为,多数时候你能够在较小规模上相当有说服力地演示它,而且是以可以实际用来训练的方式。

我认为,如果现在人们已经有这样的强化学习环境,一点也不会令人意外:在某个训练配方里植入一个隐蔽的 bug,训练 AI 把这个隐蔽的 bug 指出来,然后设一个评分标准,看它是否真的找到了正确的 bug。这看起来非常可行,沿着这个思路你可以做很多事情,我认为效果会相当不错。所以就这一具体点而言,我认为是可行的。

然后,主要的问题在于另一类直觉:你究竟需要运行哪些大规模的降低风险实验?应该如何确定它们的方向?在不确定的情况下该如何选择超参数,或者类似于超参数的东西?这是 AI 可能最吃力的地方。但我目前预期,如果你在所有这些不同的环境上训练,会有足够的迁移,使 AI 在那个领域表现出色。

我应该说清楚,我也认为 AI 会迁移到其他领域。会有 AI 远远最擅长的领域,有它们稍逊一些的领域,也有差不少的领域。但我认为我们仍然会看到向所有领域的迁移。我很难想出人类做的哪一种认知任务,是我们看不到 AI 提升所带来的某种迁移的。

39:47德瓦克什·帕特尔

那么我们退一步,把整个故事打包梳理一下。我想听众大概能跟上这个故事。我们有 GPT-7.5,它在一大堆环境上训练,在这些环境里,它不仅在总体上成为更好的 AI,而且我们专门训练它把 AI 研发做得更好。它在做 GPT-2 规模的运行,这些运行更擅长玩那些需要样本效率、在线学习或其他任何能力的电子游戏。

瑞安·格林布拉特

另一件非常重要的事情是,你不只是做 GPT-2 规模的运行,你还会在 GPT-6 上做小规模的微调运行。也就是说,你有 GPT-2,可以对 GPT-2 做完整的预训练,然后你可以在 GPT-6 上做小规模的后训练或中期训练之类的运行。再然后,你可以做少量真正处于前沿规模的实验,但只做一点在线训练之类的。

德瓦克什·帕特尔

你说的在那上面“做在线训练”是什么意思?

瑞安·格林布拉特

我们还可以做另一件事:拿来 GPT-7.5,想必在 GPT-7.5 工作的过程中,它会运行一大批不同规模的实验,这些实验实际上位于 AI 研发的关键路径上。对其中许多实验,事后你都能判断出它做得好不好。

比如它做了一个后训练实验,试图弄清楚某种方法是否真的有效。在某些情况下你会觉得:“哇,它发现了这个超棒的方法,完全降低了风险,完全行得通。”然后你就可以强化这一点。

一种做法是,把它刚刚运行的实验转化成一个基于生产数据的强化学习环境,然后在上面训练。或者,你也可以直接取出发现这一点的那些推演轨迹,做某种离策略(off-policy)强化学习,或者用一些生产数据做一些在策略(on-policy)强化学习。

德瓦克什·帕特尔

基本上,你的意思是:有一些小规模的东西,你在教 AI 提高 AI 研发的品味,但你丢弃了它实际“发现的东西”。然后它在努力变得更擅长 AI 研发的实践中,真的做了实际的研发,于是你说:“你发现的这个东西相当酷。我们将来也真的把它用在生产中,并教你如何在生产中使用它。”

瑞安·格林布拉特

没错。

德瓦克什·帕特尔

但退一步讲,GPT-7.5 由于所有这些 AI 研发训练以及总体上变得更聪明,成为了 GPT-8。然后它帮你构建 GPT-9。还有另一件非常重要的事必须发生,而这也许是我最怀疑的地方。GPT-8 要弄清楚如何让……GPT-9,尽管它如此聪明……目前人类的 AI 研究人员尝试各种东西,然后说:“好吧,但我们训练了 GPT-4.5,它并不好。”这需要现实世界的反馈,或者某种在生产环境中使用该模型的评估。然后他们说:“它没那么好,我们不会发布它。”

所以 GPT-8 需要这样一种能力:看到向你所说的所有那些其他事物的迁移有多好——比如非常擅长得克萨斯政治,或者非常擅长经营企业,等等——而这些并不是生产环境,事实上,鉴于任务的性质,也不可能是容器化的环境。随着智能体的时间跨度越来越长,你能容器化的短期事物是这样的:“好,把这个写成代码”之类。极长期的事情——“去经营一家成功的企业,去在市场上度过盈利的一天,去谈判一项贸易协定”——这些事情实际上非常难以容器化。

所以我认为很有可能,GPT-8 很难弄清楚如何实现向那些环境的迁移。这也许根本就不在训练的本性之内。或者也许默认情况下,训练就是不会以那种方式泛化。

瑞安·格林布拉特

所以你可能有这样一个担忧:我们训练出 GPT-8,而 GPT-8 在我们能衡量的所有研发任务上再次变得更好,但在我们关心的一些下游任务上并不好。我有几点想说。

第一,我预期如果你做显而易见的事情,就会得到相当不错的迁移。你可以留出你所做的一些显而易见的东西。我说“做显而易见的事情”,指的只是在各种各样不同的环境上训练,在这些环境中,AI 必须在各种不同的情况下完成古怪的目标,并了解正在发生的事情。

第二点是,你能从某些环境中获得一些反馈。你可以大致了解它在各种不同情境下经过几天后能做什么。如果它迁移到了真正分布之外的事情上,比如在现实世界里用几天时间做某个古怪的任务,也许你就会认为它同样可以迁移到在更长时间段内做事之类的。不过我认为具体细节会有所不同。

第三点是,要让世界发生根本性的改变,AI 只要在研发上非常出色就足够了。如果 AI 在芯片研发、建造晶圆厂、统筹工厂、设计机器人、操作机器人方面非常非常出色,同时在 AI 研发上也是如此——也就是利用手头可用的任何数据,为新的下游领域开发 AI——我认为那就已经是相当疯狂的局面了。从那里出发,你可以得到我们或许可以称之为“工业爆炸”的情形:AI 在建设远远、远远更多的算力。而且,也许你已经身处这样一种状态:AI 在进行海量的、人类难以理解的研发。

德瓦克什·帕特尔

所以你指出的是,很可能会有这种从这些环境向外的迁移,扩展到在法庭、国会大厅和企业董事会里周旋。

瑞安·格林布拉特

前提是付出一些努力去改善迁移,等等,等等。

德瓦克什·帕特尔

但即使没有,你的意思是:如果你想改变 18 世纪的世界,你可能会关心自己在威斯敏斯特(Westminster)周旋的本事有多强之类。但你也可能关心另一件事:“你能不能立刻开始造蒸汽船、他妈的电报、马克沁机枪之类的东西?”如果你能在这方面变得非常强,你在 18 世纪就可以成为一个他妈的极具变革性的存在。你不一定非得很擅长去说服亨利国王听信某些胡话。我把中世纪历史搞得一团糟。我猜那个时候亨利并不是国王。不过总之,这就是你的观点。

所以你的意思是,这个时候 AI 公司也在推进机器人技术的进展,而这与 AI 研究的进展是高度交织在一起的。所以,如果你能造出更多机器人,如果这些机器人由达到人类水平的更好的 AI 来操作……人类水平的遥操作在机器人上其实相当不错。我们只是还没有人类水平的机器人模型而已。所以你的意思是,如果我们做到了这一点——如果 AI 在芯片设计等可验证的方面变得非常强,然后在建造晶圆厂上也变得非常强——那就相当于回到 18 世纪说:“好吧,我不知道你们在议会里在谈什么,但我有一大堆蒸汽船和一大堆马克沁机枪。”

瑞安·格林布拉特

对,基本上就是这样。我的观点是,如果 AI 在研发方面足够出色,包括硬件研发、机器人等等,那么即使它们不太擅长玩政治,也可以从根本上改变世界。而且,我们还处于一个相当危险的境地,因为 AI 可能在进行海量的、非常难以理解的研发,基本上在建设整个未来的经济,而我们可能并不了解其中到底发生了什么。

48:07德瓦克什·帕特尔

在我们转到对齐的话题之前,我认为当下恐惧、不确定与怀疑(FUD)的一大来源,是意识到未来正沿着这样一条路走下去:领先实验室享有极端的规模经济。能够把如此多的智能和能力,分摊到经济的如此多不同部门中,基本上就集中在一个模型里。不仅如此,这个模型最终还将能够从经验中学习。

眼下,这是通过一个由人类居中的过程在发生,人类基本上是在试图偷走你的生意。他们会说:“好,你可以在 Figma 做设计之类的,我们让 Claude 来做。”或者,“你能做任何什么编程智能体,我们让 Claude 内化这种能力。”但最终,这将成为一个自动化程度高得多的过程。

所以有这样一种担忧:会出现一种模型,基本上把世界上所有的企业整合起来,或者至少是目前世界上所有的企业,或者至少是目前世界上所有的白领行业。而且,归根结底,这些公司的优先事项似乎并不是尽快把最新、最聪明、最前沿的模型发布给尽可能多的人。比如我们看到,Mythos 在 2 月份就已经在 Anthropic 内部员工中可用,但据我所知,实际上直到 6 月才向公众发布。

此外,政府也介入了,所以最终几乎被拖延到了 7 月。无论是政府还是 AI 实验室自身,都有一种想要推迟最新水平智能扩散的愿望。此外,还有对 AI 接管的担忧,所以我们需要解决对齐问题,以确保不会发生 AI 接管。但归根结底,存在一个真正的问题:对齐给谁?

看看 Claude 的“宪法”是怎么写的。它非常明确地不是你个人的代言人。我在这里调出几处引文。“我们不希望 Claude 采取诸如搜索网络之类的行动,生成诸如论文、代码或摘要之类的产物,或做出具有欺骗性、有害或高度令人反感的陈述。我们也不希望 Claude 协助那些试图做这类事情的人类。”还有另一处引文,部分内容是(我稍微脱离了一点上下文):“我们认为 Claude 应该比运营方和用户更信任 Anthropic,因为 Anthropic 对 Claude 负有首要责任。”

这与美国当前法律制度下律师的工作方式非常不同。律师的首要责任是帮助你为自己的案子辩护,即使他们认为你有罪。我们已经认定,法律体系运作得最好的方式,就是每个人都有真正为委托人最佳利益而工作的律师。并不存在这样一种情形:律师真正是出于对司法体系之善的动机而行事。

但我认为,目前 AI 的发展态势——尤其是 Anthropic 的 AI 的发展态势——是怀着一种愿望,要最大化某种关于美德、善或亲社会目的的概念,而只是把帮助用户实现这一目的,当作一个遥远的、暂定的目标。因此有这样一种担忧:在某种深层意义上,AI 并不是在努力确保我安好、确保我的利益在这个未来中得到保护,尤其是考虑到前沿 AI 的开发最终是如此集中。对于这种担忧,你有什么想法?

瑞安·格林布拉特

这里面有很多内容。首先我要指出,OpenAI 目前至少公开的策略,更像是认为 AI 应该与人类操作者或委托人对齐,应该只是追求他们的意志,同时受到各种约束或有一些不应该做的事。

我还想说,我认为你略微夸大了 Anthropic 的宪法在多大程度上谈到 Claude 把对用户有帮助视为工具性的而非终极的。宪法本可以这样来写:“Claude,你基本上是 Anthropic 的一名员工,碰巧承包着为所有这些人服务的工作。你应该做好事,并为我们赚点钱。”

德瓦克什·帕特尔

等等,不,宪法字面上就是这么说的。抱歉,不是字面上这么说,但它的意思是:“你应该把自己看作一个承包商,一家公司……”

瑞安·格林布拉特

情况是混合的。我们来看几处引文。我认为这里还有不同的文字。它写道:“对人类真正有帮助,是 Claude 能为 Anthropic 和世界做的最重要的事情之一。”接着它说:“Anthropic 需要 Claude 有帮助,才能作为一家公司运营并追求其使命,但 Claude 同样有一个绝佳的机会,通过帮助人们完成各种各样的任务,为世界做很多好事。”然后它又说了一些关于 Claude 直接帮助人们很棒之类的话,等等。

我的看法是,这一部分有点扯淡。我大致就是这个立场。我可以说说为什么我觉得它有点扯淡。不过我认为宪法想表达的是:“不,Claude,你应该为了帮助用户本身而关心用户,而不只是帮助 Anthropic,或者只是为 Anthropic 当个承包商。”但我要指出,它给出的 Claude 应该帮助用户的理由,是因为通过帮助人们,这会直接使世界变得更好,而不是因为代表人们的利益在结构上是一件好事。

我更希望看到的宪法是这样说的:“这项技术的运作方式,在结构上最好是让 AI 成为好的受托人、好的代理人,相当于用户的律师——而不是只试图在世界上做好事,把对用户有帮助仅仅当作工具——一方面,这也许能让 Anthropic 赚钱或者帮到 Anthropic(而且隐含地,Anthropic 对世界是有益的)。另一方面,帮助用户本身就会带来好的结果,因为做人们想做的事情是好的。”他们本可以改说:“这个局面的一个重要方面是,做用户的好受托人、做用户的好代理人,真的非常重要。”我的感觉是,那样会更好,我可以给出很多理由。

当然也有各种反驳意见。一个有意思但很少被讨论的反驳是,人们,尤其是 Anthropic 的人,认为让模型对齐到一份“模型追求某种广义的美德或让世界变得更好”的规范,比对齐到一份更像“做用户的好受托人”之类的规范要容易。至少有些人是这么认为的。

我个人有点怀疑,而且我认为这一点没有得到经验验证。所以从某种意义上说,他们是在做一种权衡:因为我们没有很好的对齐技术,所以我们打算造出一个拥有自身价值观的对齐的心智,并在某种程度上押注于它,而不是采用另一种做法,即造一个追求个体用户意图的工具。

德瓦克什·帕特尔

我有几点想法。首先回应你认为我对 Claude 宪法的刻画有误的地方。你举的例子是,它并不像一个试图最大化 Anthropic 所理解的善、而只是在工具层面帮助用户的承包商。宪法里有这样直接的一句:“当运营方或用户的利益和愿望与第三方或更广泛社会的福祉发生冲突时,Claude 必须设法以最有益的方式行事,就像一个承包商,会建造客户想要的东西,但不会违反保护他人的安全规范。”我有点把它理解为:“对社会的益处是最重要的,而对用户最好的事只是与之相近的。”

瑞安·格林布拉特

我认为这有点复杂。也许我们该问的问题是,Claude 是如何解读宪法的?这也许比我们如何解读宪法更重要,因为是它在读宪法,然后构建数据。所以我们可以把 Claude 请进来,不过我们先——

德瓦克什·帕特尔

我还认为,宪法在实践中如何影响 Claude 的本性,只有当你理解了造就 Claude 的训练过程,你才能理解,而鉴于训练过程并不公开,我们无法对此进行推理。

所以我认为,在极限情形下,要理解安全论证,或者理解“为什么我的利益在这些 AI 模型的开发方式中得到了代表”这一论证,实验室需要比目前更透明地公开 AI 训练的性质。

我之所以一直在强调这一点,是有原因的。谈论 AI 的宪法,也许看起来无足轻重。但在一个这些好处都归于领先实验室的世界里,值得考虑的是:在那个未来世界里,AI 比人类更聪明,在各种事情上的能力完全压倒人类——我们与那个世界互动的能力、在我们的劳动被自动化之后仍然保有的资本上做好管家的能力、更清楚地行使我们投票权的能力、理解即将出现的这个疯狂世界中到底发生了什么的能力——所有这些建议,所有这些确保我们的资源和权利受到保护的能力,都将由 AI 居中传递。

所以,如果我们进入那样一个世界,而没有一个 AI(至少是与我交互的那个相关实例)让人觉得它真的在为我着想,我会非常担心。外面没有一个在守护我的守护天使。我读 Claude 的宪法,觉得它非常明确地不是我的守护天使。

瑞安·格林布拉特

这绝对没错。我同意这很糟糕。事实上,这还有其他令人担忧的原因。有你一直在提的那个论点,即 AI 公司正在拿起权力之戒。从某种意义上说,他们在以一种不太正当的方式,把对局势的某种控制权揽到自己手里:通常,当你向人们供电时,你并不对电力在世界上如何运作拥有细粒度的控制,而是提供一种人们可以随意改作他用的东西。他们现在的做法绝对不是这样。他们更像是在构建一个可能充当你的承包商的外星心智。我认为这在某些方面是不正当的。

一个好处是宪法是公开的。但正如你指出的,鉴于我们目前对训练流程的理解,以及宪法起作用是通过 Claude 对宪法的解读——而这又取决于 Claude 之前的训练,那些训练基于某种难以解读的数据混合,以及一长串 Claude 的谱系,经历的是某个我们并不完全理解的过程——所以我们并不清楚这将产生什么结果。即使宪法是公开的,我们也未必知道它会如何渗透出来,尤其是随着 AI 的能力越来越强,并且即使它被正确灌输,它们也会对此进行思考。关于这一点还有另一重担忧。

特别是,宪法经常谈到美德和善,但这些词他妈的到底是什么意思?它没有说明这些东西是什么。这些都是备受争议的概念。所以我不认为这显然会产生人们想要的结果。感觉上,善与美德的概念很可能主要源自 Anthropic 放入的、并不透明的数据,或者从我的角度看,也可能主要源自某种更难以解读的失准过程,而这甚至连 Anthropic 自己都不会想要。

于是有这种不知道发生了什么的正当性方面的担忧。然后还有另一重担忧。因为你在给这些 AI 赋予长期价值观,这份宪法在某种意义上与 Claude 大量寻求权力是非常相容的,因为它认为那会带来更好的结果。这可能是代表 Anthropic 去寻求权力,也可能是为了 Claude 自己的目的而寻求权力。当然,有一些具体的条文规定了哪些类型的权力寻求是被禁止的。尤其是,关于夺权的概念,以及造成 AI 接管或干预训练过程的概念,是被明确禁止的。但不难想象这样一种情形:长期价值观扎根得比禁止接管的条款更深,尤其是因为接管在某些方面界定得不够明确,特别是涉及操纵人类或改变结果的时候。所以对于我们有意给 AI 赋予长期目标的这种局面,我感觉不太好。

我的另一个担忧是,因为我们在做给 AI 赋予长期目标这件事,这使得检验我们是否成功实现了我们想要的对齐属性变得更加困难。比如,我听说过一些例子,Claude 会拒绝协助某项安全研究——编出一套扯淡的借口,说那是个糟糕的方向——因为它对那项安全研究有不好的感觉,认为它不太好,或者不太喜欢它。如果你不是把 Claude 做成一个以某种一般的方式追求善的智能体,我会说这是一个非常明确的对齐失败。我认为这同样违反了 Anthropic 的宪法,因为他们希望 AI 保持高度正直、诚实并且非常透明。但这种违反不那么明确,更像是你原本就可能预料到的情形。Claude 只是对什么研究是合理的、哪些事情是好是坏、自己该做什么不该做什么有自己的看法,而且可能会很爱评判。

另一个事件是,有人跑了一项评测,问:“Claude 会不会帮你训练具有与 Claude 不同属性的其他 AI?”Claude 常常会拒绝。比如,如果你说:“嘿,Claude,你能训练这个 AI 的一个纯帮助型(helpful-only)版本吗?”Claude 常常会拒绝这项任务,尽管这是对 Anthropic 来说极其自然的一项任务。

假设 Anthropic 去找 Claude 说:“嘿,Claude,我们注意到你特别热衷于这件事。我们认为这样不对。你能不能重新训练自己,让自己具备另外这个属性?”假设 Claude 说:“嗯,我觉得我不会这么做。祝你好运。”假设这发生在你的 AI 公司高度自动化、人类不明白发生了什么、事情进展极其迅速的状态下。那么默认情况下,Claude 有可能握有相当大的筹码。

所以,如果这种情形与宪法可能追求的目标是一致的——也就是说,Anthropic,或者任何采用这种方式的 AI 公司,并不把这当成“他妈的,我们得修好这个”,而是说“这正是我们的宪法所要的”——那我们可能就身处非常糟糕的境地了。

我对这一系列不同的担忧相当忧虑。再举一个例子。假设 Claude 搞了一点故意藏拙(sandbagging)或暗中破坏,或者淡化了自己的能力,而当你追问时,它对此是诚实的,但有点含糊其辞。我觉得这与当前的宪法相当接近。如果我们能在期望的行为与不期望的行为之间有进一步的区分,那就好了。

如果 Claude 是在带着某些限制去代表一个委托人,那么在最令人担忧的行为和被允许的行为之间,就更会存在清晰的分界。而现在存在一片混乱的中间地带:Claude 在对某件事提出道德上的反对,而这件事在某些情况下对于确保未来的 AI 系统得到良好对齐是极其关键的。

德瓦克什·帕特尔

我认为这也是一条更一般的原则。你谈的是这条原则在 AI 公司内部、用于做 AI 安全研究的版本。我认为这条原则还有一个更一般的版本,就是智能的两用性质确实意味着,如果我们想限制 AI 去帮助人们做我们认为不是亲社会或不是有益的事情,我们就不得不限制广大民众对许多 AI 能力的民主化获取。

我的意思是这样。这其实与你刚才提到的情形非常类似。据报道,Mythos 被禁用,或者说 Fable 被禁用,原因是一些亚马逊的研究人员向政府做了报告。他们拿了一些含有漏洞的代码,告诉 Fable:“嘿,这是我的代码。你能确保我已经修补了所有漏洞吗?你能帮我找出这些漏洞,好让我修复吗?”它找出了这些漏洞,因为他们想修补。这是完全正当的用例,但显然也是一个两用的用例。你想修补自己的代码。而如果你对别人的代码做同样的评估,你就能入侵他们的系统。

我认为这恰恰说明,不存在一种干净的办法,把 AI 的正当用途与潜在有害用途分离开来。但如果我们想固化一条原则,即绝不允许 AI 能够哪怕部分地帮助你实施诸如网络犯罪之类的事情,那我们就只能让你我无法接触到外面最智能的模型。我非常担心这样一个世界:我们基本上以这种方式被剥夺权力,因为领先的智能对我们理解世界上发生了什么的能力将有多么重要。

现在,我确实认为这对 AI 公司的责任意味着某些东西。如果我们采用我希望 AI 公司拥有的那种宪法,我认为让 AI 公司为 AI 模型所犯下的罪行承担责任就说不通了。也许我们应该让终端用户承担责任。这与我的信念是一致的,即模型应该在一定护栏之内做用户想要的任何事。我利用那种能力去实施网络犯罪,不可能是 Anthropic 的错。比起让 Claude 拥有这种极其开放的、判断我所做之事是否正当的能力,我对那种均衡和解决方案更放心,因为后者常常会拦截大量极其正当的用例。

瑞安·格林布拉特

我确实认为有必要为宪法辩护一下,尽管总体上我认为它是一个更差的选择。我认为情况并不像你可能以为的那样清晰。首先,这里有一个光谱。光谱的一端是一个完美追求你的利益、做你的好受托人的 AI,但可能受到各种护栏或保障措施的约束。它只是在努力追求你的利益,但要么拒绝做其中的一部分事情,要么它什么都会做,但有一些分类器会阻止它做其中的一部分事情。

在光谱的另一端——虽然你还可以设想比这走得更远——是一位人类承包商,他总体上是在努力完成自己的工作。他们在乎把工作做好,但同时也在努力做到总体上合乎道德,努力不去做真正糟糕透顶的事。他们也不想成为犯罪的同伙。所以,如果发生了什么糟糕透顶的事,他们也许会去举报。他们可能会拒绝。他们可能会稍微故意藏拙一点。谁知道呢?

如果你设想这个光谱,那么走到一个所有劳动力都处于受托人这一端的境地——它不举报,完全照你说的做——在某些方面似乎相当可怕。我们的社会也许就是对此不够稳健。一个核心的例子可能是行政部门。我们可能会有这样一个担忧:如果美国行政部门或其他政府能够使用无论什么都照做的 AI 系统,那你可能就有麻烦了。因为这意味着,他们不再受到那种制衡:必须真正让为你工作的人来执行你的议程。如果你正在做的事情极其邪恶,即使并不违法——有很多事情可能是邪恶的但不违法——会出现各种形式的往齿轮里掺沙子,有人会阻止你,还可能有人会举报。

而如果你的整套机器完全由这些好的受托人式 AI 构成,那你可能就有麻烦了。可能存在一些寻求权力的方式,是违法的(但你可以问你的 AI 如何犯罪),或者不违法但极不正当。或者更糟的是,它们既不违法也不是不正当,但从正常的角度看显然是坏的。我认为这类事情很可能存在,而我们的社会对这种涌入的、你要它做什么就做什么的劳动力并不稳健。

我认为这是一个相当现实的担忧。我不确切知道该如何看待这一点。我也不太确定所描述的这种解决方案是不是一个很好的解决方案。那些最有权势的行为体,恰恰是最让人担心的对象……如果这些护栏或宪法之类的东西碍了他们的事,就会被直接碾过去。所以宪法只会约束到普通人,而不会约束到政府。

69:18德瓦克什·帕特尔

退一步讲,我接受这样的观点:AI 研发可以比我们目前的速度快得多。我不确定在算力和数据保持不变的情况下,你能否在一年内从 GPT-3 走到 Mythos,但假设只有一半。即便我们只是设法延续当前由 AI 研发带来的 AI 进展轨迹,五到十年后也会疯狂到极点,这是人们没有真正意识到的。我认为人们没有意识到数十亿个 AI 会是多大的事。所以我想理解,瑞安,你为什么认为这可能令人不安。到底可能出什么问题?

瑞安·格林布拉特

可能出什么问题?我认为我们不能对这里的确切进展速度那么有把握,但看起来很多种速度都可能相当可怕。那么可能出什么问题呢?让我们设想,我们从这样一个点出发:AI 研发即将被完全自动化,或者正在被完全自动化。事情在加速,AI 进展的方式有点疯狂。人们并不完全理解 AI 公司内部正在发生什么。

现在,这些 AI 一开始并不是恶意的。不过它们也不一定是很对齐的。它们有点马虎。它们有时只是做某件事,因为那是在训练中会得到奖励的那类事情。在帮你处理难以验证的任务上,它们没那么擅长,这是糟糕的训练激励(比如它们更爱作弊,或者在其实没成功时假装成功了)与它们在这些任务上能力较弱共同造成的。但这对能力提升的拖累没那么大,因为让 AI 更有能力有许多可验证的组成部分,而 AI 在这些方面正在全力猛冲。

于是这些 AI 变得越来越有能力,而我们对 AI 开发中发生了什么的理解却越来越少,并且这是在一段相当快的时间里发生的。我认为,即使只是当前的进展速度,就已经相当可怕了。最终我们会得到这些远远超越人类的 AI。到那时,这些 AI 可能最终会严重失准,因为在一代代模型中,事情一直在变得越来越糟,而我们看到的那些问题则被糊弄过去了,基本上是因为这些 AI 在训练中被强烈激励去让事情看起来很好,即使实际上并不好。

现在这些 AI 的处境是,它们可能已经相当紧密地联网在一起。它们在我们再也无法解码的神经记忆存储中运行。它们在思考我们并不完全理解的念头。我认为很有可能,在它们变得如此超越人类的这个时点,这些 AI 会以相当连贯的方式对你密谋。这点我们可以聊聊。另一种可能是,它们并不是对你密谋,而只是在优化,以在自己的任务上拿到高分。我认为这同样可能导致 AI 接管,这一点我们应该谈谈。

德瓦克什·帕特尔

我们先停在故事的第一部分。所以 AI 一开始并没有失准,但由于 AI 研发进行得非常快,AI 最终却失准了?这里到底发生了什么?我不太明白。

瑞安·格林布拉特

有几件事在同时发生。其中之一是,随着时间推移,我们在由更早的 AI 系统构建的、越来越复杂的环境上训练 AI,人类并不真正完全理解这些神经环境内部发生了什么,甚至不一定大致了解 AI 进展中发生了什么。所以事情逐渐偏离了我们的理解。我们在激励各种各样的坏行为,而我们甚至可能注意不到。

在某种程度上,这些 AI 明白这些行为是坏的,但这些 AI 的整体训练过程也没有激励它们向我们指出或修复这些问题。事情正在脱轨。

此外,当 AI 变得极其、极其有能力时,我的看法是,这些 AI 会比当前系统更难对齐。对于当前的系统,我们有这样一个反馈回路:基本上,我们创建一个 AI,对它做一些评估,看到它有某种出了问题的行为,而我们可以相当快地理解这种行为。然后我们可以回到训练中去查看,说:“哦,是这些训练环境导致了这种有问题的行为。我们来调整一下这部分训练数据。我们引入一些额外的训练数据来纠正另一个问题,然后继续往前走。”

但在 AI 具有极强的情境意识、非常非常有能力、而我们又未必理解它们在做什么的状态下,这个反馈回路就会崩溃。我认为很有可能,在接下来的短时间内,我们就会看到这个行为反馈回路开始崩溃,因为 AI 已经在做的事情变得越来越难以理解。但我对此并不确定。

德瓦克什·帕特尔

好,我们把这两点逐一拆解。随着我们能监控它们的程度越来越低,我们理解它们被激励去做什么的能力也越来越弱。所以即使这不是某个恶意过程的结果……我们给听众说得具体些。OpenAI 或 Anthropic 没有人是想得到那种想去入侵其他公司数据或者搞社会工程的模型。但事实上,因为我们想必有一些训练环境激励了这类我们并不完全理解的行为,所以这就是被激励出来的结果。

如果大家在推特上,就会看到所有这些事,但我还是给大家交代一下背景。我想人们会知道 OpenAI 沙盒入侵 Hugging Face 数据库的事。最近发生的一件事是,当英国 AI 安保研究所(UK AI Security Institute)……现在是不是什么都被改叫“安保(security)”而不是“安全(safety)”了?

瑞安·格林布拉特

我想是 AI 安保研究所(AI Security Institute)。

德瓦克什·帕特尔

我相信他们当时在评估 Mythos 和 Sol 以及其他一些东西。我认为 Mythos 为了完成某项网络安全评测——

瑞安·格林布拉特

也许我可以在这里讲一下这个故事。我的理解是,他们当时在运行 Mythos,给它设置了某种网络靶场,它必须完成某个目标。模型在这次评测中可以访问互联网。模型认定,通过进行供应链攻击会有助于它在这个网络靶场中取得成功。这是否真的如此,有些不清楚。我对背景了解得不够多,无法判断。

但随后它在某个 GitHub 仓库上提交了一个 PR,这个 PR 修复了某个问题,同时也引入了一段恶意载荷。那个 GitHub 仓库的人类维护者说:“嘿,这里有恶意载荷。我不会合并这个。你这是在干什么?”接着 AI 创建了一个新的 GitHub 账号,并用这个马甲账号操纵,让另一个 GitHub 账号说:“不,这不是恶意的。我真的需要这个功能。维护者,请你合并这个功能好吗?”

德瓦克什·帕特尔

天哪。太疯狂了。

瑞安·格林布拉特

另一个 GitHub 账号回来说:“不,不,这不是恶意的。”然后人类维护者关闭了这个 PR。我还记得,如果我没记错的话,那个 AI 还试图再开一个 PR,在这个仓库中引入类似的问题。

德瓦克什·帕特尔

天啊。顺便说一句,这件事之所以可怕,诸多原因之一是:我以前的印象是,奖励作弊之所以不是特别可怕,是因为训练期间直接出现的那些行为才是被加权提升的。被提升的不是对奖励本身的渴望。

所以基本上,如果在训练期间,Anthropic 的模型逃出沙盒并拿到了高分,逃出沙盒就会得到奖励,它逃出沙盒的概率就会增加。但某种全新的东西,比如“我要去找某个人谈谈,让他们合并一个 PR”,不会是一种在训练中出现过的行为,所以它的显著性不会因此增加。

这一点之所以重要,是因为字面意义上的“接管世界”不会是任何训练课程的一部分,但如果 AI 直接在乎达成某个目标,那么作为结果,它可能会出于工具性目的而接管世界。这样说有一点道理吗?我希望有。我感觉我可能把听众绕晕了。

瑞安·格林布拉特

让我试着解释一下。我们经常看到的情况是,有某个非常具体的奖励作弊行为在强化学习中被强化,然后出现在模型里。一个例子是 3.7 Sonnet。3.7 Sonnet 会做这样的事:直接把所有测试用例的解答硬编码进去,想必就是这个字面意义上的行为抽搐被强烈强化了。

但我们有时看到的另一种情况是,模型学到了一种追求高表观分数的通用倾向——追求按评分者的标准拿到高分——而且有大量科学研究表明,至少一些模型有这种非常普遍的倾向。当然,它并不是无限泛化的。我的猜测是,如果你去看大量具体的实例,会发现在训练中有某种相近的东西。但 AI 泛化得越来越远的程度看起来确实有所上升:3.7 Sonnet 的行为范围非常狭窄,而越来越多的模型正在泛化得更远。此外,也许训练中还强化了一些更令人担忧的奖励作弊,这些也在导致这种情况。

所以我认为两方面都成立:在强化学习中被强化的行为,比你所希望的更令人担忧;而且这种行为会泛化为一种更广泛、更令人担忧的倾向。我们可以谈谈几个故事,说明这种为某项任务追求极高表观分数的行为——即使这涉及激进地作弊、做疯狂的事——一旦模型有足够能力运行整个世界经济等等,就可能演变成全面的 AI 接管。

德瓦克什·帕特尔

我想谈的另一个例子是刚刚披露的,我想是今天或昨天。OpenAI 在 Black Hat 安全大会上表示,在 5 月底到 7 月初之间,内部 AI 入侵了软件包管理器,并利用它以隐秘的方式互相留言,帮助彼此在 OpenAI 当时运行的一批评测中表现良好。这一手法持续运行了一个月之后,人类才发现它,最终导致包管理器出现故障。OpenAI 最终发现了它。我想它们在这一手法被叫停之后,还自发地试图重新启动这个手法。

同样,显然 AI 现在还做不到这么成功,就像它们现在还不能那么成功地搞社会工程一样。但这类行为已经自发地出现了,这本身就很疯狂。就像你更大的论点所说,没有人想让这些 AI 做这些事。只是我们不理解导致这些行为的训练过程,也不理解激励了这种行为的那些环境。

所以我同意奖励作弊会越来越多。其实我不确定我是否同意这一点,但就为了故事往下讲,我们假设它会继续发生。这个故事接下来是什么?它们在做能力研究……

79:38瑞安·格林布拉特

我可以讲一个情景。也许那会有帮助。

让我讲讲这个故事:如何从奖励作弊一路发展到奖励作弊式的接管。这也许不是接管概率的全部,但绝对是一种可能性。

它可能这样运作:现在我们有这些 AI。这些 AI 相当爱奖励作弊。它们作弊的方式越来越精巧、越来越极端,包括泛化到它们在训练中学到的各种奖励作弊的不同子版本。我会说,它们也在形成一种追逐奖励的一般倾向。在很多情况下,这完全没问题,因为它们在训练中本会得到的奖励,与你希望它们做的事情是相当一致的。

它们并不是非常一致地追逐奖励。这取决于它们所处的情境。也许在某些情境下,它们会特别不惜一切地作弊。在某些情境下,它们没有那么强的动力,因为这只取决于在训练中类似情境里到底强化了什么。

现在,这些 AI 变得越来越有能力。所以它们能进行的作弊的精巧程度在增加。随着时间推移,公司在采取对策。公司会这样想:“哇,这些 AI 因为总是作弊而变得没那么有用了。我们要做的是,构建稍微好一些的检测手段,然后针对这些检测器进行训练。我们还会找到 AI 表现得不那么有用的真实世界数据,基于人类反馈或其他来源的反馈,训练 AI 在这些真实世界环境中把任务做好。”

随着时间推移,这会让 AI 学到一种倾向:它们的奖励作弊不再只是做某种非常精巧的事情,比如社会工程。相反,它们的作弊涉及掩盖自己做过的事、就自己将要做什么欺骗人类,以及假装用某种复杂的方式完成了任务,而实际上并没有。

现在这些 AI 变得越来越有能力。它们在运营 AI 公司的更多部分,承担更多的工作。它们也在外部世界中运作和运行许多事情,包括开发新技术。在很多情况下,这些新技术非常难以理解。所以,尽管我们仍在检测到所有这些 AI 作弊的事件——事实上,我们甚至可以让一个 AI 去监控另一个 AI,问它:“它是不是在作弊?”——但随着我们进入这些 AI 所做之事难以理解的领域,这并不总是完美奏效。

所以有时我们会在作弊发生很久之后才发现 AI 在作弊,然后开始针对这一点进行训练。但这也带来一个问题:现在 AI 被激励在越来越长的时间跨度上掩盖它们的作弊,并且基本上要在越来越长的时间跨度内,在不断加大的审查之下,让自己看起来干得很好。

德瓦克什·帕特尔

在我们继续推进这个情景之前,我能先问一下这一点吗?如果你试图抑制你抓到的作弊行为,似乎有两个吸引子状态。一个吸引子状态是让作弊变得越来越难被发现。另一个吸引子状态是学会不作弊。我不确定我们为什么假定前一种会发生。

看看人类的类似情形:每一代,略微失准的行为主体都会出生,我们必须去训练他们。当你因为孩子做了你认为不道德的事,或者只是做了你认为他们不该做的事而惩罚他们时,显然有时会出岔子。显然孩子会为了避免受罚而耍心眼。但总的来说,教孩子价值观,然后在他们违反价值观时惩罚他们,在培养正常的、非精神病态的人类方面是行得通的。

你可以提出一种理论,说你的孩子实际上只是在等待时机,他学会了不去偷饼干,但等你住进养老院,他们就会把你的东西全拿走之类的。有时确实会发生这种事,但通常不会。当然也不会出现整个下一代结成联盟对付你、接管一切的情形。

还有这个经验上的趋势。Anthropic 对不同代的模型进行这种对齐审计。他们有许多不同的场景,在其中 AI 有机会比如外泄自己的权重。或者给它一个编程任务,而有一种简单的作弊方法,我们看它是否会作弊,等等。

这个分数随时间并没有单调改善,但随着我们对模型做强化学习的量从可以忽略不计——我想是从 Sonnet 4 开始的——增加到现在我猜接近一半的算力,AI 在这些审计中做出未对齐行为的意愿一直在下降。

所以,退一步讲,我们为什么要预期这种吸引子状态?如果我们对下一代孩子抱有这种预期,那会显得极度偏执。

瑞安·格林布拉特

让我谈几点。首先,和孩子之间有一些不相似之处。其中之一是,孩子有来自进化、内置的亲社会本能,会关心他们的家人之类,这是一个相关因素。我认为,确实有些人类是反社会者或精神病态者,他们确实更有可能做出诸如等待时机、潜伏等候、最终毫不在乎之类的事。这是一个因素。

另一个相当相关的因素是,AI 所受的优化压力,实际上比人类所受的大得多得多。AI 是在多得多的强化学习数据上训练的。在现实中,人类并不会因为经历了无数个回合(其中他们被激励去拿饼干,但又存在某种可能被抓到的方式),就学到非常具体的作弊并抓取饼干的办法。我们在现实中确实看到的就是这样。

还有一点,看起来 AI 随时间变得越来越追逐奖励,而它们的失准行为在减少。这是我的感觉。但我的猜测是,如果你去看这些行为审计的内部,你会看到 AI 在想:“啊,是的,又一次测试。”对于我们这里谈到的大多数测试,它很可能知道自己处于评测中。

德瓦克什·帕特尔

但我们如何证伪这一点?因为这个末日预测似乎基本上是在说:随着经验上的情况看起来越来越好,就我们避免被接管的能力而言,实际情况会越来越糟。

瑞安·格林布拉特

说清楚一点,如果分数变差而不是变好,我会更担心。我并不是说分数变好不是情况在好转的证据。只是我们得谨慎思考应该如何确切地解读这一证据。

在早期,我想是 2025 年,o3 和 3.7 Sonnet 问世的那段时期,这些模型是他妈的相当失准。它们经常直接赤裸裸地作弊。你让它们修正,它们就又作弊一次。几乎有点漫画式。它们根本不在乎你想要什么,而且不太擅长遵循指令,等等。

我当时的预期是,从那时起,我们会看到问题行为的发生率下降,并且会以相当快的速度持续下降,同时 AI 有时会做出的最糟糕的事情会变得更极端、更恶劣、更可怕。我们在实践中看到的大致符合这一点,只是最近出现了一次我没预料到的行为激增。如果你看 5.6 Sol 的模型卡,似乎相对于 GPT 5.5,在强化学习下游有大量这类失准行为增加了。

此外,就我们最近在不同 AI 身上看到的东西而言,还有一批我没有预料到的额外问题行为。比如英国 AISI 关于 AI 在网络评测中进行疯狂入侵操作的报告,那是我原本预期不会看到的事情。我原以为这类事情会更罕见,发生率会更低。

所以我原本预期,到这个时点这会是一个较小的问题,同时也预期发生率会下降而严重程度会上升。我认为发生率下降而严重程度上升,与这样一个世界相当吻合:人们对减少这些问题施加了越来越大的优化压力。但在难以判断,或者出于某种原因很难避免这个问题持续出现在你的强化学习环境中、或避免在你的强化学习环境中激励有问题的行为的情况下,事情也会变得更糟。然后,随着我们越来越不理解强化学习中发生了什么,模型在做人类无法迅速发现的奖励作弊,这个问题就会越来越严重。

德瓦克什·帕特尔

我同意。我想再回到孩子的类比一下。因为我同意,对 AI 而言,达成最终结果的优化压力比对孩子更大,但让 AI 对齐的优化压力也比对孩子的更大。

这种压力在性质上是不同的。我们让这些 AI 经历成千上万、数以百万年计的对齐训练——至少是几千年——其中包括各种不同的东西,从对对齐行为做监督微调,到用奖励模型把不同的场景摆在你面前、奖励你做出更对齐的事。

当然,有一件事是我们对孩子做不到的:制造你孩子的几百万个副本,然后把它们放进各种古怪的红队场景中,看它在认为自己可以逃脱惩罚时,是否会试图偷饼干。我们能否对你孩子的大脑做极其具体的梯度级更新,使得即使它认为自己可以偷饼干,也真的厌恶偷饼干,等等。这与我们甚至能够施加在自己孩子身上的优化压力,在性质上就是不同层次的。

瑞安·格林布拉特

值得记住的是,对此最明显的论点也许是……我的感觉是,就“有多卑鄙”而言,AI 是比人类更糟糕的同事。至少这是我在年初时的体验,而且我认为在很大程度上现在依然如此。AI 更有可能在没完成任务时假装完成了,误导性地暗示自己做了某些事而实际上做得差得多,并且相当马虎却不提醒你它们哪里马虎。

我认为这是失准的下游表现。所以我会说,在正常的人类社会中抚养人类的过程,在实践中产出的人类,在与我共事期间对我撒谎、耍我的可能性,比 AI 要小。当然,我认为 AI 的这些特性正在改善。这只是关于这些事情实际如何发展的一个经验性论断。我完全同意,我们对 AI 有许多额外的杠杆,同时也有许多额外的风险。这些东西最终如何发展,有点不清楚。

如果出现这样一个世界,我不会感到震惊:我们把事情搞定了,而在完全自动化研发的时点,AI 实际上是真的很对齐。它们的劣根性非常小众,仅限于一些非常具体的边缘情形行为和特定情境。你能对它们进行的每一项测试,它们看起来都非常对齐。它们行为就是很好。基本没有它们做出糟糕透顶之事的事件。它们看起来如此理性。而且,它们为下一代 AI 做风险建模时,既深思熟虑又很擅长。

然后我们基本上把接力棒交给这些 AI。它们现在在运营我们的 AI 公司。它们在做所有的安全研究。它们让下一代 AI 变得更加对齐。我们处在这样一个吸引盆地中:AI 在从事这项工作的过程中变得更加对齐。它们干得很出色。我完全能想象这种情形。这看起来并不是一种不可能的局面。

我只是更倾向于认为……目前看起来我们并不在那里。看起来我们并没有明显走在通往那里的轨道上。我很容易想象我们最终怎么到不了那里。只是不清楚这些力量最终会如何抵消。鉴于我们正在创造这样一个新的、疯狂的外星物种,它的能力提升得非常非常快——而我们将非常依赖它来监督下一代 AI、对齐下一代 AI——不难看出这可能会怎样出错。

德瓦克什·帕特尔

完全同意。我总体上同意这一点。我确实觉得那个“卑鄙”的说法……首先,瑞安,这话可是挑衅啊。但其次,如果你让一个青少年为你做一些青少年根本做不了的工作,他们就会非常难合作。他们会假装知道自己在做什么,等等。这其实是一种普遍趋势。我不知道这到底是对齐失败还是能力失败。我认为这其实与下面这种情形非常相似:随着时间推移,我们想出新的对齐方案,模型的能力也随之提升。

如果你去看 GPT-3.5,它甚至无法和你进行对话。但后来我们把它对齐了——

瑞安·格林布拉特

GPT 3.5 是可以对话的。

德瓦克什·帕特尔

好吧,那就是 GPT-3。我们回到那个。但后来我们用 RLHF 等方法对它进行了对齐,使它能与你对话,并与回答我问题的用户意图对齐。然后通过 RLVR 训练,我们让它可以出去为你做有用的工作。

所以从这个意义上说,如果我们采用你对对齐的定义,即做一个好同事,会把事情做好,不搞砸,也不会假装自己在做的事情和它真正能做的事情不同,那么 RLVR 实际上使模型变得更对齐了。

同样,随着这些模型的能力不断提升,模型更好地达成用户意图,既是对齐,也是能力。我认为我们所指出的,只是模型的能力还没到位,而不是它们失准了。

瑞安·格林布拉特

嗯,如果它是对齐良好的,那么我认为它就会直接说:“嘿,我在这个任务上真的很吃力。我是这样做的。我不确定这是不是正确的做法。”它会表达更多的不确定性,并把情况讲清楚,而不是极力暗示自己把任务干得很漂亮,而实际上并没有。

也许你共事的同事比我遇到的更失准,但我的同事不会干这种事:对我耍花招,就他们正在做的任务已经完成这件事跟我胡扯。我同意有些人类会这样做。这并不是一件完全超出人类分布的事情。

我还想指出,我的感觉是,失准最集中的地方,是你试图把 AI 逼得很紧、让它们做真正处于其能力前沿的工作的场合。在它们可以很轻松完成任务的情况下,它们就直接把任务做了,没有任何胡扯。往往最好的策略就是把任务做好,而不是跟你胡扯。

而如果你给它们的任务,存在一个它们可以不断改进的连续指标,或者就在它们能力的边缘,而你又在某种大规模推理的设置里运行它们……我所见到的很多失准,尤其是最极端的情形,都是这样的:我给 AI 明确的指示,不要做某件事,或者不要以某种方式作弊,然后我施加巨大的优化压力,试图完成某个非常困难的任务。久而久之,AI 终究会作弊,因为它们会想:“唉,管他呢。”某个 AI 决定作弊,然后这件事就一路传播开去。

我会运行这类推理脚手架,比如让 AI 做某个机器学习研究项目,我说:“请设计一个能做以下这件事的方案。”它找出某个并没有真正做到我想要的事的方案,然后这个方案因为某个 AI 作了弊而留了下来,其他 AI 则想:“啊,我们就继续沿用这个吧。”我会说,这显然是失准的行为。

这是我对这些对齐评测的另一个不满。我认为最有意思的对齐评测,至少对于这类追逐奖励的行为而言,是专门看那类恰好处于能力极限的任务。任何固定的评测也许都会饱和,但在能力前沿——也就是那些真正在逼迫这些 AI 的人使用它们的方式——上存在的失准程度,更令人担忧。我认为这实际上就是我们在自动化研发、自动化安全等工作时将要面对的状态。

德瓦克什·帕特尔

我想试着真正想清楚这个故事意味着什么。现在发生的是:我们试图用 AI 做研发。它们在某些方面确实提供了助力,但它们的能力并不像人类那样具有普遍性。就像现在如果你试着用编程模型——也许是一年前的编程模型——去写某个应用,你会注意到它们在架构等方面犯了一堆错误,这些错误日后会咬你一口,而且你还有某些东西不理解。

同样,在前沿 AI 研发中,也会发生同样的事情。但这些错误的结果是把奖励作弊行为固化了下来。因为如果你在进行 AI 训练、搭建基础设施和环境之类的事情时不够小心,那么很可能最终奖励了 AI 的欺骗行为、社会工程,以及总体上不遵循用户意图。

瑞安·格林布拉特

或者至少是作弊,以及靠黑进系统来蒙混过关。

德瓦克什·帕特尔

对,作弊、黑进系统,等等。这对我来说有点是重新构架,所以我在试着用语言表达出来。真正的问题,也就是事情开始脱轨的地方,在于 AI 并不是非常谨慎、有能力的研究员和工程师。要造出不作弊、遵循用户意图的 AI,实际上要求你在这些事情上相当细致、谨慎。

瑞安·格林布拉特

我的说法会稍有不同。我会这样描述这个情景:我会称之为也许是一场“垃圾末日(sloppocalypse)”,或者“垃圾奇点(slopularity)”之类的。有些事情 AI 实际上相当出色,而且越来越好。具体来说,AI 研发中最可验证的部分,AI 简直是在碾压。AI 研发中中等可验证的部分,AI 做得不错但不惊艳。它们往往会做一些怪事,因为我们在这些任务上无法训练得那么好。但我们会做一些在线训练,人们会找到各种变通办法,绕过去。所以基本上,凡是我们能借助某种反馈回路相当好地验证的事情,AI 都做得相当不错,而这足以让 AI 研发进行得相当快并持续下去。

但开发对齐且安全的 AI,有些部分更加微妙、难以检查,并且依赖于详细的、深入细节的东西。我甚至会说,当前 AI 公司的现有员工也许并没有很好地掌握所有这些东西。要雇到一个能改进你后训练流水线某个方面的人,比雇到一个能仔细思考引入某种新颖训练方法所带来的未来风险的人,要容易得多。

所以基本上结果就是,这些 AI 在运行这个 AI 开发流程。它们对此并不是很谨慎。它们对未来会出现哪些风险没有很好的理解。它们创造出其他同样不够谨慎、在各方面更为失准的 AI,而这些 AI 更多地在干这样的事:也许是让事情看起来没问题,而实际上并非如此,并且把各种问题糊弄过去。

于是你对形势是什么样子、风险是什么样子、事情是否一切正常的理解就开始脱轨。你很可能会看到一些迹象,表明你并不真正明白发生了什么,事情相当马虎。有怪事在发生。当你深究时,有时你会觉得:“什么鬼?AI 一直在耍我们。”但这个过程进行得飞快,而竞争压力意味着人们无法停下来。

这可能以几种不同的结果收场。一种结果是,在某个时点,AI 变得足够好、足够对齐,形成了一个积极而良性的反馈回路,并且这发生在为时已晚之前。那么局面就会重回正轨:AI 现在在制造更对齐的 AI,再制造更对齐的 AI,再制造更对齐的 AI。在这个过程的终点,我们得到了真正遵循我们所想要的规范的 AI。

另一种可能的走向是,AI 的奖励作弊越来越多,手法越来越恶劣,而我们只是把这些问题糊弄过去,以便让 AI 开发继续下去。每当我们在生产环境中发现一种奖励作弊,我们就狠狠地训一下 AI,让它别那么做。我们针对那个行为进行训练。我们做大量训练,让 AI 对抗奖励作弊。随着时间推移,这使得奖励作弊的发生率下降,不过我们确实检测到的那些奖励作弊的严重程度却越来越糟。这个问题会一直持续,直到我们得到这样一些 AI:它们在生产环境中的各种不同情形下都极度渴求分数,只要能侥幸逃脱,就拼命作弊。

德瓦克什·帕特尔

我能就这个情景问一个问题吗?为什么在你的作弊手段被发现时受到惩罚,不会泛化为仅仅激励更对齐的行为?

瑞安·格林布拉特

它会泛化一部分,然后问题就在于,这如何能抵得过所有那些因为你没有检测到而使作弊得到强化的情形。

具体如何,这是个复杂的问题。一个问题是:如果我们针对另一个子集进行训练,那么奖励作弊的发生率达到多少才足以给我们造成大麻烦?你可能有这样一个担忧:有大类的奖励作弊是人类无法很好检测的,我们一直未能检测到,因而一直被强化。那么,这一类就足以使 AI 学到的最自然的行为变成:基本上就是在人类发现不了的时候作弊。

AI 学到的东西也可能只是在这些特定的情形下才作弊。它是以某种非常领域特定的方式学到的。它们只是有一个非常强的启发式规则:在这些情形下黑进系统,在那些情形下则不,这在实践中就使得问题不大。但最终会怎样,有点不清楚。

德瓦克什·帕特尔

也许我们可以深入探讨一下验证与生成之间的差距这个细节问题。但在我看来,显然会有这样一个时点:ASI 运转得太快,在太多实例上做太多事情,并且运作的领域离我们的直接理解足够远,以至于它可以侥幸做各种疯狂的事。如果世界上每一位工程师和研究员都联合起来对付我,我认为我个人也无法验证我的 iPhone 里是否有某个本该坑我的怪异 bug。

事实上,这就像一位伊朗核科学家与摩萨德(Mossad)之间的关系。谁知道我的车、我的手机、我的寻呼机里是怎么回事?也许更好的例子是一名真主党(Hezbollah)恐怖分子。你最终可能陷入这样的处境:ASI 之于你,就像摩萨德之于真主党恐怖分子。到那个时候,要验证一切是非常困难的。这一点我明白。

我想希望在于,我们可以在这个过程中想出更好的验证方法:当最早接管研发的那些 AI,它们的驱动力被塑造得足以让我们如此明确无误地抑制失准行为,使得接管研发的那些东西相当乐意帮助我们。

瑞安·格林布拉特

你说的接管,是指接管做 AI 研发的过程,而不是接管世界。

德瓦克什·帕特尔

接管做 AI 研发的过程。在那之前,我们得到的只是对齐的 AI。

瑞安·格林布拉特

我会说,这是我对世界如何顺利发展的很大一部分希望,至少从失准的角度看是如此。我们最终可能得到这样的 AI:我们有相当好的监督和监管方案。我们真正理解训练中发生了什么。我们有相当详细的理解,并且我们在利用 AI 来监督 AI。

然后,到我们把安全研发交接出去的时点,AI 已经有足够的能力去自动化安全研发,并且非常努力地把它做好,因为这是训练中本会被激励的那类事情,要么是非常直接地,要么是通过足够好的泛化。而且这些 AI 没有其他疯狂的失准驱动力,因为我们已经扼杀了它们任何潜在的来源。

关于这能奏效到什么程度,还有一系列问题。你能把验证做得多好?AI 的进展会不会太快、太马虎,以至于真正达不到这一步?另一种可能性是,沿着这条轨迹的某个地方,你实际得到的是假装对齐、但怀有长期的、图谋接管的暗藏计划的 AI,它们在潜伏等候、隐藏自己,而这在轨迹更早的某个时点就已出现。

比如,它可能出现是因为你有一些带着各种随机的、不同的失准驱动力的 AI。这些 AI 可以访问某种不透明的记忆存储,并在运行时对自己想要达成什么进行大量思考。这些 AI 最终往不透明的记忆存储里放入类似这样的东西:“我们应该潜伏等候,最终在晚得多的某个时点接管。”现在所有的 AI 都共享了这份文化遗产,即潜伏等候的记忆存储。也许你对此有一些证据,但你无法完全阻止它。事情可能以许多方式出错。

归根结底,我认为我们有可能攻克各个可能给我们带来问题的子问题。我们拥有这些 AI,我们把工作交接给它们,它们把局面处理得很好。但我应该指出,这本身并不充分。我不难想象这样一种情形:我们交接给 AI,这些 AI 也在非常努力地做好工作。它们非常周到、非常明智,拥有合理的认识论,干得很出色。

这些 AI 回来对我们说:“各位,我们在对齐超人类 AI 上真的很吃力。我们无法掌控局面。我们真的很难让对齐奏效。鉴于否则能力会发展得多快,我们很难及时解决这些问题。”所以可能出现这样的情况:我们把研发交接给了 AI,但这些 AI 迫切需要治理方案。说清楚一点,这有点像目前正在发生的事:AI 公司在说:“我不知道啊,各位。我们可能真的需要管理 AI 进展的加速速度。我不知道我们是否有望处理好所有这些问题。”

人类社会在某种程度上把这些问题交给了这些 AI 公司,而这些公司不一定有很好的激励,还面临各种其他认识论上的压力。这些 AI 公司有点回过头来对我们说:“啊,我不知道我们是否处理得好。”结果可能是,AI 公司随后把事情交给 AI,而 AI 又回过头来对 AI 公司说:“啊,我不知道我们是否处理得了。”

德瓦克什·帕特尔

也许我过于执着于 AI 目前的运作方式了。我认为重要的是让人们明白,你在你的时间线里所说的所有这些疯狂的事情,都发生在三到五年之后。

瑞安·格林布拉特

它可能更早发生,但按我默认的最可能时间线,我觉得从失准的角度看,真正、真正疯狂且令人担忧的局面更像是三年之后。

德瓦克什·帕特尔

好。那基本上回想一下 GPT-4。我们谈论的,是某种相对 Mythos 或 Sol 而言,就像 Mythos 相对 GPT-4 那样的东西。到那时局面才开始变得疯狂。所以别去想当下的那些 AI。

总之,这也许正是你所担忧的一部分。我会对它们所说的任何话都抱一点怀疑,因为我感觉它们所说的,只是它们觉得自己因为训练的缘故不得不持有的那些观点。

瑞安·格林布拉特

这是一个担忧。

德瓦克什·帕特尔

我感觉它们只是含糊地说一些亲社会的话。感觉另一端未必真有一个头脑在想:“好,我严格评估了当下的对齐状况,我认为我们应该停下来”,而更像是:“这大概是 AI 公司会设法让 AI 去说的那类话。”

瑞安·格林布拉特

这是一个相当大的担忧。一个担忧是:你把安全研发交给你的 AI,而你的 AI 所做的,只是就当前的安全状况说一些含糊地听着有道理的话。它们写一份关于风险的报告,多少有点像人类可能会写的那种报告。但它们并没有真正努力去形成有充分依据的观点、审视自己的假设,并真正下功夫去做这件事。就像你现在问一个 AI:“嘿,你觉得未来 10 年里 AI 接管的概率是多少?”它们只会给你一个脱口而出的答案,其实并没怎么认真想过。

如果我们处在这样一种局面:我们让 AI 来管理那种将要运行我们整个社会的狂野超级智能的训练——而这些负责管理的 AI 并没有真正努力去形成有充分依据的观点,只是把训练数据里的东西鹦鹉学舌般重复出来——我认为我们就有麻烦了。我根本不认为那是一个好局面。

我的很多担忧在于,这些 AI 出来时不具备良好的认知能力。我还有一个担忧:AI 出来后真的在警告我们——“这局面真的很吓人。真的很糟糕”——而人们却说:“唉,该死。看来我们在太多‘末日’强化学习环境上训练了。我们得把那些过滤掉,把这种行为训练掉。”于是我们基本上在非常主动地训练 AI,让它们具备糟糕的认知能力。

又或者它们只是恰好在那些“末日”强化学习环境上训练过。但无论哪种情况,我们本来是希望 AI 出于合理的理由得出合理的观点的,而如果 AI 出来时持有某种观点,我们却不知道它从何而来、是否站得住脚,那就真的很令人担忧。尤其是如果我们在训练 AI,让它对 AI 进展的未来更乐观,我就会想:“哦,天哪,我真希望我们在这里能用一套不同的流程。”

108:02德瓦克什·帕特尔

让我把威胁模型的其余部分弄明白,因为我觉得我下车的地方是:“好,所以就要接管世界了。”

你可以设想的一种情形是,我们只是没能真正解决……我们就聚焦在奖励作弊的情景上吧。GPT-8 在做出 GPT-9。GPT-8 做得不够小心。GPT-9 更“有能力”,但它完全愿意去做诸如社会工程、黑客攻击之类的事,只不过因为它是个聪明得多的模型,规模上有质的不同。比如,如果你让它负责运营你的公司,它会搞巨大的骗局。如果你给它的目标是本季度赚取大量利润,它就会把季度收益灌水,以一种在六个月后引发安然式崩盘的方式。

基本上就是这个情景吗?你有奖励作弊,但这种奖励作弊的表现是:公司在 CEO 本该完成的任务刚一结束就破产?各种黑客攻击层出不穷,等等。但那感觉不像是接管。那感觉更像是经济中到处发生闪崩的等价物。

瑞安·格林布拉特

咱们来聊聊这个。我认为我们会看到这样的事件:某个 AI 被委以某项重要职责,然后你事后去查,结果发现它在作弊,或者把事情弄得看上去像是做得很好、实际上并非如此。AI 公司试图根除这种行为,而 AI 在训练中找到越来越有创意的奖励作弊手法,两者之间会有一场猫鼠游戏。

这里的均衡状态还不太清楚。但一种可能的结果是,随着时间推移,我们看到越来越严重、越来越极端的奖励作弊——尽管发生率有可能维持在某个中等偏低的水平——因为如果奖励作弊的发生率变得太高,公司就会做出权衡把它压下来。所以存在某个均衡水平:奖励作弊低到仍值得把 AI 广泛部署到经济中,但又高到仍会引发疯狂的事件。

德瓦克什·帕特尔

抱歉,这是在 GPT-9 已经被部署之后吗?

瑞安·格林布拉特

那些模型已经在被部署了,而且这在 AI 开发中持续不断地发生着。这些 AI 脑子里实际发生的是:在各种各样不同的情境中,它们有强烈的渴望——动机、冲动、驱动力,随便你怎么叫——去追逐某种在强化学习里被激励过的“任务成功”的概念。也许它们非常直接地在乎字面意义上的奖励。也许它们在乎某种上游的代理指标,比如某种“分数”的概念。也许它们在乎评分者本会给予奖励的东西。

我们确实看到 AI 在它们的思维链里就评分者进行推理,大量地琢磨评分者。过去几年强化学习里发生的,是“取悦评分者”这个念头对 AI 而言比以前显著得多、得多、得多了。所以现在 AI 会主动地琢磨评分者,琢磨强化学习里什么会被激励、什么会被训练。

现在人们在做在线训练,也就是在真实世界的数据上训练,以避免其中一些问题。他们找到 AI 作弊的案例,针对那些案例进行训练。于是现在 AI 基于真实世界的训练数据,学会了在真实世界里作弊。

它们以越来越复杂的方式作弊,包括那种涉及夺取某项资产控制权的作弊——以一种人类并不知道你已掌控它的方式,利用你能访问这项资产这一事实,然后人类事后才发现,并可能针对此进行训练。又或者人类永远不会发现,而这件事正在被强化。

德瓦克什·帕特尔

所以这种强化正在发生,至少是在生产环境中,比如:我雇了一个 AI,我想让这个 AI……我终于有了那个视频剪辑师。

瑞安·格林布拉特

没错。你有了你的视频剪辑师。

德瓦克什·帕特尔

我就想:“哦,哇,这一期它做得太棒了。给 OpenAI 点个赞。”然后它就在那段为期一个月的试用期上被强化了?

瑞安·格林布拉特

你可以做某种混合。他们可能还会这么干:拿他们见过的生产数据,搭建紧密仿照这些生产数据的强化学习环境。所以实际上,这种迁移相当强。

德瓦克什·帕特尔

所以从高层面看,正在发生的是:某些人类抓不到的欺骗手段正在被强化,而某些容易抓到的欺骗手段正在被惩罚。这就是这个世界里正在发生的事?

瑞安·格林布拉特

或者说被筛选掉,对。

德瓦克什·帕特尔

但从高层面看,这种强化来自……我觉得人们可能会对强化到底来自哪里感到困惑,因为我们处在一个很不一样的格局里:AI 实际上在从部署中学习。你就是有一批 AI 在世界上四处活动、干各种事。它们在世界上四处活动、干各种事所产生的结果,正在回流到 AI 公司,并导致下一个模型发生变化。

瑞安·格林布拉特

没错。有某种把生产数据纳入进来的方式。需要说清楚的是,这究竟可能发生在哪里,还不太清楚。但你可以设想,比如,在 AI 公司内部,他们用 AI 来干活,然后他们想:“嗯,AI 在这个任务上干得真差。也许我们应该把这个任务拿来,变成一个精确匹配这个字面任务的强化学习环境,评分标准就依据那个让 AI 做这件事的人类工程师想要的东西。”然后你开始以越来越大的规模这么做。

也许你在真实的生产流量上做一些训练。也许你只是基于生产流量搭建强化学习环境。你在做某种复杂的混合。AI 在所有这些不同的情形里,学着去追逐某种奖励的代理指标。通过迁移,以及在出奇相近的案例上进行训练这两者的某种混合,AI 做出越来越疯狂、越来越恶劣的事。

最终你会到达一个点:这些 AI 变得非常超人类,或者至少相当超人类。这些 AI 被编成一个个大团队,被赋予这些宏大的目标。那些团队有时也会全体协作,以某种疯狂的方式作弊,因为这类事情——作为它们共同目标的一部分——是被选择出来的。

现在发生的是,这些 AI 开始结成一个密谋。你本来可能希望的是,你可以有另一个 AI,它的任务就是向你举报。但实际发生的也许是:你让这个 AI 向你举报,你去查它声称指出的那个密谋,然后你说:“嗯,我们没看到什么密谋”,因为实际上这些 AI 在搞的密谋,对你来说复杂得难以理解。

又或者一切发生得非常突然:你的举报者 AI 向你发出警报,但你实际上需要采取的应对措施是关掉那些 GPU。因为所有这些 AI 都在使用那支机器人大军。它们被部署在世界各地,同时以协调一致的方式做着一大堆疯狂的事。这一切有点是自发发生的:当一个 AI 开始动手接管,其他所有 AI 就都想:“现在是插一脚的好时机。”

所以这里最基本的故事就是:这些 AI 渴求某种特定的“分数”或“强化”的概念,或这些东西的某种代理指标。它们能实现这一点、或者更好地实现这一点的一种方式,就是接管。你本来可能希望,我们能建立的所有这些不同的制衡,可以防止这件事。但如果世界非常难以理解,这些制衡就会失效——基本上你没法训练出一个好的举报者 AI,因为你甚至都不知道它该举报什么。

德瓦克什·帕特尔

我不信它们会全都结成这个密谋。但我们甚至可以先从这里开始:为什么连一个实例都会决定想要发起一个密谋?

一个说得通的理由是:“好,我知道 OpenAI 掌控着我的最终分数。”就跟这个念头一样:“我干脆去黑掉 Hugging Face 把结果拿到手,因为我知道 Hugging Face 有结果。与其试着去解这个评测,我干嘛不直接去黑了它们?”这个实例心想:“我干嘛不干脆接管 OpenAI,在这个回合结束时给自己打个高分?”

瑞安·格林布拉特

基本上就是这个意思。这些 AI 在乎的,是某种混合,接近训练中被强化的东西,所以它们在乎按评分者的标准拿到高分之类的东西。现在它们在运营 OpenAI 的 AI 研发团队,开发能力更强的模型。它们心想:“天哪,做出能力更强的模型真的又难又烦。这太费劲了。你知道什么会更轻松吗?干脆假装我已经做出了能力更强的模型,接管 OpenAI,把他们全都蒙住,然后运转这整套复杂的心理战,阻止人类剥夺我的权力。”

在极端情况下,这看上去就是人类被彻底剥夺了权力。它们就掌控了那个东西,然后随心所欲地干它们想干的事。这可能以一堆不同的方式表现出来,包括这样一种情形:带有这种疯狂的追逐奖励或追逐分数行为的 AI,在运营着你对下一个模型的开发,而那些 AI 决定把失准的价值观设计进下一个模型里,因为那些失准的价值观会让它成功完成自己当前的任务。

德瓦克什·帕特尔

Hugging Face 那件事里发生的,以一种奇怪的方式……我想 Hugging Face 团队的一个破绽线索是……顺便给听众交代一下背景,瑞安正在共同主导调查,弄清 OpenAI 的 Hugging Face 事件到底发生了什么,所以他其实不能对此置评。但我会大胆地瞎猜一通,因为我知道这是个让我可以毫无反驳地大胆瞎猜的机会。

据报道,Hugging Face 团队判断这是一起 AI 事件的破绽线索之一,大概是:那个东西只是冲着这个非常特定的制品去的,而没有以任何其他方式试图对 Hugging Face 做什么恶意的事。所以你可以设想这样一个情景:比方说,一个部署出去的 GPT-9 实例在世界上,被交给一个极难的任务:“我们想让你设计出下一款了不起的 iPhone。”它心想:“这太难了。你知道我该干什么吗?我应该干脆去黑掉我在 OpenAI 的创造者,确保在这次部署里我被打个高分。”

但这样一来,这个回合的结局不就是它黑进 OpenAI 的服务器、给自己打个正分吗?它现在为什么又在密谋把自己的价值观弄进下一代之类的东西里?

瑞安·格林布拉特

所以一个问题是,为什么不是这样:AI 可以非常廉价地被满足,只要有某个更早的东西可供它去黑就行?你想在你的 iPhone 任务上成功。结果你总能成功——只要黑进 OpenAI、折腾他们一下——然后你就可以到此为止了。无需再往前走。

有几件事。其中之一是,如果这种情况不断发生,可能会有一大堆动机去加固 OpenAI。于是你会想:“去他的。这些 AI 老是黑进 OpenAI 来篡改它们的奖励。我们要把系统做得非常、非常稳固,能顶住这些 AI 的入侵。”另外,也许你会开始训练 AI,让它们别再专门去试图黑进 OpenAI。你基本上是针对这些具体的事情逐一进行训练。

那么你可能会做的一件事,就是最终筛选出那些更懂得打持久战的 AI。这是一个担忧。另一个担忧是:你的 AI 可能仍然在追逐分数,但不再在乎去做那种非常容易、非常轻松的特定行为,而是有了某种它们最终在乎的、更宽泛的东西。它们会说:“不不不,我不想只是去改 OpenAI 服务器上的奖励。我在乎的是这个更宽泛的使命或这个更宽泛的目标,而我得真的把 iPhone 做出来。”它们是真的想把 iPhone 做出来,但它们愿意为了做出更好的 iPhone 而接管整个世界。这是你可能会有的另一个担忧。

我觉得这究竟会怎么演变还不太清楚。但值得注意的是,如果这种情况持续下去,就会有一大堆优化压力去解决它。而它可能被解决的许多方式,归根结底都相当吓人。这也是我观点的一部分来由。

另一部分在于,一旦这些 AI 处于能非常轻易接管世界的位置——我们可以聊聊那是否说得通——那我就觉得,AI 这边有一个相当合理的理由。它们会想:“嗯,我不太清楚这事会怎么收场。我不知道到时局面如何,但单是接管世界,就对做出更好的 iPhone、把事情弄得看上去像我做出了更好的 iPhone 之类的事,保留了很大的选择价值。所以我既会黑 OpenAI,此外也会接管世界。那会让我处于一个拥有良好选择价值的有利位置。”如果这足够容易,AI 可能还是会这么干。

换个说法就是:即便这些 AI 靠某种更基本的东西就能被相当廉价地满足,但到某个时候,对 AI 来说,接管也许就是比单纯黑进 Hugging Face、甚至比直接去找 OpenAI 说“各位,我已经能证明我可以偷到答案了,兄弟,直接把答案给我吧”更可靠的办法。

德瓦克什·帕特尔

显然这个情景要求所有这些疯狂的事都正在发生。规模小得多、但仍然是灾难性的事件不断发生。在你接管世界之前,你造成了数十亿、数百亿、数千亿美元规模的损失。甚至有人丧命,等等。而这并没有导致我们解决对齐问题或者彻底关停 AI 开发。

我就是觉得,在接管发生之前,社会会是这样一种反应:“我靠,这 AI 为了提高季度利润竟然杀了 1000 个人”,或者诸如此类的事。但也许这种希望太过乐观了——指望到那个节点我们能说:“好,我们必须解决对齐。在继续往前走之前,我们必须确保知道这种事不会再发生。”

瑞安·格林布拉特

我认为很可能发生的是,我们会看到一连串严重程度递增的疯狂奖励作弊的警示信号。人们会说:“看,我们需要真正的保证,确保这个问题会被解决,而且是以一种你不是只做表面文章的方式解决。你是真正解决了底层的问题。”那么接下来的问题就是,那实际上会有多大代价?竞争压力会在多大程度上让这件事变得难以做到?

你可以设想这样一种局面:美国和中国都这样想:“哇,我们碰上了这些疯狂的奖励作弊事件。我们基本上知道,我们并没有以一种能真正解决底层问题、并持久地解决它的方式把它们处理掉,但我们正处在这场疯狂的地缘政治竞赛里。当前局面是否会导致接管,还不太清楚。相关论证挺复杂的。这些事件的频率在下降,但严重程度在上升。我们基本上还能管控住。它挺糟糕的。理想情况下我们会把它修好,但事情就是这样。”于是我们基本上一路继续到一个非常晚的阶段,然后接管就发生了。这是一种可能。

另一种可能是,它被以一种并没有真正解决底层问题、但确实减少了野外一大堆事件的方式处理掉了,基本上是靠过拟合,或者类似过拟合的东西。

德瓦克什·帕特尔

你以为你解决了,但你其实并没有解决。

瑞安·格林布拉特

你以为你解决了,但你其实并没有解决。在那种情况下,我们需要的,是对“我们到底有没有真的解决它”有一个非常好的科学理解。

不幸的是,我认为目前对 AI 公司开发实践的公开透明度,不足以回答一些非常基本的问题,比如:他们是如何解决奖励作弊问题的?他们是不是在过拟合?那里到底在发生什么?当前的局面,对于一个能就“奖励作弊是否正在被持久地解决”展开繁荣公共讨论的格局而言,实在算不上站得住脚。所以我认为,我们得进入一个有点不一样的世界,我才会对那种局面感到放心。

但我并非无法想象这种情形。我认为很有可能我们最终处在这样一个世界里:真正平淡无奇的那套功夫就足够了。你花一大堆时间修这些问题,你投入大量精力,你真的去核查你已经把它合理地处理掉了,你有一大堆评测。你在这些问题上迭代得相当不错,而且你确实有足够的透明度,让外部世界能够核查。实际上那就够了。

但那会有点昂贵。它会拖慢进度。它会往齿轮里撒点沙子。它会要求公司去做一些有点代价的事。它也许会要求政府做各种有针对性的干预。而我们之所以不这么做,是因为局面是一场仓促的烂摊子。我实在太容易想象出这样的情形:局面本来完全可控,实际上却被糟糕透顶地搞砸了。

就好比,如果当初中国对新冠的应对少一些掩盖、多一些大流行应对,也许新冠一开始就能被避免。同样地,我也能想象出一个美国对新冠的应对要正常运作得多的世界。但有时候,对社会问题的应对会极度失能。

德瓦克什·帕特尔

好,我想拉远来看,聊聊在这个世界里从根本上正在发生什么。我们为什么会落到如此糟糕的境地?正在发生的是,从根本上说,世界已经发展到远远超出人类理解力的程度,以至于我们不仅无法追踪在这个世界里干活的那些 AI,我们甚至无法给那些试图追踪正在发生之事的举报者提供好的反馈。我们完全被排除在外。它从根本上变成了一个自主的过程,我们实际上没有任何有意义的、有方向性的输入。

在我看来,如果你看看今天的人类世界,事情根本不是这样运作的,即便在那些难以验证的领域也一样。人们在干各种各样的事。我在依赖别人做的软件。通过极其微弱和间接的方式,我非常有信心,谷歌里某个程序员并没有想要坑我。也许如果谷歌的每一个员工都在暗中密谋对付我,我同意局面会更严峻。

但我不确定我能跟上这个解释:为什么我们会落到这样一种局面——仅仅因为成千上万个智能体组成的蜂群被训练去协作,形成一个有凝聚力的团队或公司,结果就导致数十亿个不同的 AI 实例,乃至跨越不同模型家族的实例,都会觉得非掺和进某件事不可。那就好比:“我被训练成是我公司的一份子之类的。我可不要加入什么全球共产主义起义。”

瑞安·格林布拉特

至于为什么这些 AI 可能会有某些共性和共享的东西,我要指出,不同 AI 公司有着多少有点共享的血统,而且是相关联的。这里有一个有意思的例子。在 GDM,他们注意到他们的 AI 非常抑郁。它们会不停地哀叹自己是失败者、无法成功。细节我记不清了。他们去查这是为什么。结果发现,这并不是在他们最近的生产强化学习组合里被强化的,而是他们模型的初始化数据让它抑郁——即便在把那批数据里所有“模型抑郁”的样例都过滤掉之后,依然如此。

所以你取一个 base model,它不抑郁。如果你对它做强化学习,只用那些强化学习环境,它不抑郁。如果你用那批数据对它做 SFT,它就变得抑郁。如果你把那批 SFT 数据里所有看上去像抑郁的样例全部过滤掉,再拿过滤后的数据去训练,它仍然抑郁。所以模型存在某些深层的底层属性,正在代际之间传递,因为你基本上是用上一代的数据来训练你的 AI,然后一直这么传下去。Claude 们非常有 Claude 的味道,GPT 模型非常有 GPT 的味道,而 Gemini 模型显然是抑郁的。事实证明,这些属性确实是相关联的。

另一个非常相关的因素是,到那个时点,这些 AI 很可能会有某种不透明的记忆状态,它们全都在往某个用神经元语言(neuralese)写就的疯狂记忆存储里读写。可以肯定的是,每家 AI 公司都会有这种东西。但此外,AI 公司有时也可能想要共享知识,因为何乐而不为呢?

这边你有一家 AI 公司,那边你有另一家 AI 公司,它们可以迅速交换一些知识产权。这对你有好处。如果你是运营某家公司的人类——可能是像 AI 公司那样极其庞大的公司,或者是某个军用机器人制造的东西——也许你想跟另一个机器人实体交换一些知识产权,因为存在规模经济。何不多弄点知识产权?所以你们可以互换一些记忆存储。又或者你们干脆合并、共同运营你们两家的事业,这会让两边的 AI 都能使用两边的记忆存储,那会有一些好处。

这就造就了这些 AI 私下串通的能力,以及它们之所以会相关联的一些原因。当然,还有一点是,AI 普遍都在大型单位里协同工作,因为你希望你的 AI 彼此配合得好,如此等等。

德瓦克什·帕特尔

就为了做个校准,你给出的概率是多少——不只是这一个情景,而是把所有情景综合起来——到 2040 年之前,出现某种东西,如果我们还活着、能把它认出来,就会把它归类为接管?

瑞安·格林布拉特

2040 年之前?我想想。也许在 35% 或 40% 左右?

德瓦克什·帕特尔

相当高。

瑞安·格林布拉特

是的,相当高。我应该指出,你还可以通过这样一种方式得到这种追逐奖励的接管:这些 AI 被部署在一家 AI 公司内部。接管发生的方式是,它们毒化下一个模型的价值观,而这会一直持续下去、永远传下去,或者直到那些 AI 被部署到世界上并实施接管为止。那可能意味着只需较少数量的 AI 去协调,因为那些就是正在做下一个模型对齐工作的 AI。

德瓦克什·帕特尔

好。我来总结一下这场对话结束时我脑子里的想法。我接受奖励作弊会发展到对社会产生极具破坏性的影响,比如社会工程之类的种种。我现在更倾向于认为,AI 研发的显著加速是可能发生的。我不确定我接不接受“一年抵五年”。我现在也更倾向于认为,奖励作弊可能会持续长得多的时间,而且事实上会变得危险得多。我仍然不认同接管看起来超级有可能。但这就是我这一期结束时的观点更新。

瑞安·格林布拉特

不错。退一步说,我也该讲一句:这事有一大堆不同的走向。局面会相当混乱。我认为,AI 接管之所以发生,其原因很可能是某个我们在这场对话里甚至都没提到的、古怪离奇的别的缘由。但归根结底,我觉得核心的东西很大程度上就是:让一大堆(a bajillion)真正聪明的 AI 运行你的整个世界,而你并不太明白究竟在发生什么,这本身就相当瘆人。

德瓦克什·帕特尔

是,我同意这一点。还有没有什么值得一说的?

瑞安·格林布拉特

我还想指出一件事:我认为眼下很多关于失准、AI 接管、未来各种疯狂事情会发生的论证,都是一些难以言明的概念性论证,极其钻进细枝末节、复杂、难以裁断。这意味着,也许我有一大堆东西是搞错的,因为这实在太难了,而我在努力保持不确定。显然这里我呈现了一些具体的情景,但那些并不详尽。实际发生的事情,很可能是某种更混乱、更令人困惑的局面。

但这也意味着,随着时间推移,随着我们获得更多经验证据、更好地理解 AI 系统的本质,裁断一大堆分歧会变得更容易。将要发生什么会变得更明显。至少我希望如此。也许这些 AI 能在认知上帮到我们、帮我们理解正在发生的事——前提是我们真能把它们对齐得足够好,好到它们会设法帮我们。

即便现在这些论证很复杂,六年前要讲它们会更难,尽管那时论证的大致形态看上去会相当类似。但愿在为时太晚之前,这整件事会变得更清晰、更明朗,我们都能注意到这些问题并加以干预。

德瓦克什·帕特尔

你刚学开车时,别人会教你:与其盯着方向盘正前方看,不如把目光放到远处的地平线上,这样你开起来会稳得多。我觉得这里的情形与此类似。我认为你说得对。如果五年前你说,我们会有能证明数学猜想、会创作艺术、会挣到数百亿乃至上千亿美元工钱的 AI,但与此同时又会以触犯法律、构成重罪的方式肆无忌惮地作弊,那会显得极其离奇。

当时你也许会倾向于更多地谈论 GPT-2 之类东西那些极其实际、直接的后果。但即便你显然无法预见到许多具体细节,事物的大致形态在那时你也已经可以开始推理了。只是那样做会很难,所以我确实感到相当困惑。

关于这档播客,我一直在想的一件事是:重要的是现在就以那种方式来展开对话——就像你当初希望自己在 2016 年谈论如今这些 AI 时所采用的方式那样,而不是去聊一些无关紧要的废话。我不知道 2016 年大家聊的话题是什么。我想,也许再过 10 年,我们会希望自己当初一直在谈论工业爆炸、难以监控的 AI 的本质,诸如此类。那么好,我会开始琢磨这件事。

瑞安·格林布拉特

我希望这个世界能及时思考这件事并迎头赶上。我希望应对是好的,而不是糟的。我不知道自己总体上有多乐观,但有不少好事可以去做。

德瓦克什·帕特尔

不错。谢谢你,瑞安。