Noam Brown: 诺姆·布朗:智能体集群、对齐与递归自我改进

00:00今天我和诺姆·布朗聊聊,他是 OpenAI 的研究员。他是后来成为 o1 和推理模型的奠基性贡献者之一。现在他在研究多智能体系统。说到这个,你们上周宣布,用一个由 10,000 个不同 AI 智能体组成的系统,在 88 小时内消耗 1300 亿个 token,解决了一道千禧年大奖难题。

我想和你聊的原因之一是,大约两三年前,你是最早开始思考推理模型如何让我们看到未来的人之一。因为如果你扩大推理算力,就能看到几年后模型的基础能力会是什么样子。

我觉得你现在也处在类似的位置,可以帮助我们理解未来的能力会是什么样子,因为我们现在可以把智能体的规模扩大到非常庞大的程度。

我的看法是这样的:当你绘制这些推理模型的性能曲线,x 轴是测试时计算量,y 轴是基本上任何推理基准上的表现,你会看到一个非常清晰的规律:模型思考答案的时间越长,表现就越好。这是很自然的事情,人也是一样。如果你参加 SAT 考试,只有五分钟做完整套试卷,你不会考得很好;如果你有五个小时,大概会好得多。

AI 模型也很相似。它们会花这段时间对自己做一段独白,把事情想清楚,逐一分析不同的情形,排除各种可能性,并在之前的一些发现之上继续推进。

问题在于,当你把这件事越推越远,就会碰到延迟瓶颈。你总不想坐等三年才得到一个回答。所以你可以做很多人都会做的事:并行化。他们会组建一个团队。如果你要创办一家公司,你会想把一群人聚在一起,这样可以更快。这些 AI 模型也是一样的。让多个智能体一起处理同一件事会有帮助,因为它们可以更快。

所以多智能体是一种并行而不是纯串行地扩展测试时计算的方式。它的效率更低,因为不像单个智能体那样可以独享全部上下文。但如果做得好,这是一种非常有效的扩展测试时计算的方式。

我会问一堆比较外行的问题。这是一个尚未发布的模型,所以我们还没有公开看到这些系统是如何运作的。我只是对这类系统的定性特征有很多困惑的地方。

我对短时间内可以集中起来的认知投入规模感到震惊。想想 1300 亿个 token 意味着什么。如果是一个人把思考当成全职工作,首尾相接地一直想下去,1300 亿个 token 相当于一个人思考 4,000 年。每天八小时,按正常工作周工作。从古代苏美尔一直到今天,一个人连续不断地思考这么久,却被压缩在 88 小时之内。

我觉得从定性上看,这是一个极其重要的考量。我感到意外的是,并没有出现更大的并行化代价。你可以让 10,000 个智能体协作。也许是因为智能体比人类更擅长协作,而且它们的速度快得多,所以能在如此大的规模上有成效地协作。又或者,其实存在很大的并行化代价。

我们先谈并行化代价,然后再谈定性的部分。实话说,对于扩展到这种规模的多智能体,我们并没有很好的科学研究。我们发布 5.6 的时候,我认为那是我们的模型里第一次有了真正意义上的多智能体系统。我们确实在博客文章里展示了几张多智能体系统扩展性能的图,因为我们把它作为一个选项提供出来,叫 Ultra 模式。默认是四个智能体,但你可以设置得更高。

在图中,我们展示了在一些基准上,一个智能体、四个智能体协作、16 个智能体协作时的表现。具体取决于基准,但在其中一些基准上,你会看到,如果有四个智能体处理这个问题,完成速度是原来的两倍。因为四个智能体只工作一半的时间,所以你要付出 2 倍的成本,才能让答案快一倍出来。如果增加到 16 个智能体,你会看到类似的规律。效率会稍微低一点,但你仍然能看到性能在持续提升。

随着并行智能体数量的增加,串行时间上的加速是线性的,还是次线性的?

略微次线性,不过这很大程度上取决于具体问题。比如数学,就相当适合并行化。它不是最容易并行化的,但非常容易并行化。网络搜索,比如要翻阅大量资料来完成一份 Deep Research 报告,就是极其容易并行化的。我猜像写小说这样的事情会非常难以并行化。让 10,000 个智能体一起写一部小说,你大概看不到多大的好处,就像让 10,000 个人一起写一部小说,大概也不会有多大好处一样。

所以性能确实取决于领域。在我们已发布的博客文章里,我们测量到了大约 16 个智能体。问题在于,要把这项研究推进到 10,000 个智能体非常困难,因为成本实在太高了。

你们刚刚一个周末就做到了。

但那只是一个数据点。我们不知道单个智能体解决纳维-斯托克斯问题需要多久,因为我们还没有做过这个实验。也许我们会做,但那也只是一个数据点。

如果我们想做彻底的消融实验,在那个规模上实验就太昂贵了。所以我们得做一些有条理的科学研究,看看扩展到 64、128、256 个左右时会发生什么,对其行为有个了解。但要一路推到 10,000 个,并确切知道使用 10,000 个智能体相比 1,000 个到底带来了什么实际收益,会非常困难。

有一点我想说清楚。解决千禧年大奖难题这件事,并不是由多智能体带来的。我甚至不会把 10% 的功劳归于多智能体。实际情况是,OpenAI 训练出了一个非常强大的模型。我们可以让这个模型在非常长的时间跨度上运行,也可以让它并行思考。

但归根结底,我们之所以能做到这一点,是因为我们拥有一个通用的、非常强大的模型。多智能体之类的东西既炫目又新鲜,因此大概因为这个原因得到了不成比例的功劳。但核心原因就是,这只是一个非常强大的模型。

这种泛化能力让我相当震惊。我不知道这些系统是怎么训练的,但想必是按强化学习训练的方式:你有一批可检验的合成问题,针对它们做大量强化学习。我猜在整个训练过程中,模型从来没有解决过像千禧年大奖难题这样雄心勃勃的问题。但泛化能力强到足以让这些容易得多、可验证的问题,泛化为针对如此困难的问题所投入的如此大规模的并行努力。

我认为确实如此。首先,我们确实用非常困难的问题来训练模型。但肯定存在差距。我们看到,如果我们在某些类型的任务上训练,它能够完成比这些任务更有雄心的任务。

有一个有趣的挑战:随着模型变得越来越聪明,我们能问它们的很多问题都太简单了,很难再给模型带来挑战。我确实认为这一点会很有意思。如果要我论证为什么你可能看不到 LLM 这类 AI 走上与 AlphaGo、AlphaZero 以及所有这类下棋 AI 相同的道路,原因可能就是这种问题。

在 AlphaZero 这类系统中,你有自我对弈,有无限的课程。你总是在和一个同样强大的 AI 对弈。而对于用强化学习训练 LLM 这类事情,至少按现在已有的做法,你给模型一个问题,让它去解决。如果问题简单到它一秒钟就能解决,那它其实什么也没学到。

如果我们没有足够的问题来挑战它,那么这就是一种可能出现的情形:取得进展会变得困难得多。当然,我确实认为有办法绕过这一点。我们还没有真正把它当作一堵墙撞上过。我认为,如果它真的成为严重的问题,会有办法绕过去。但这是一种有可能发生的情形。

为了听众着想,说明一下:你提到 AlphaGo 或 AlphaZero 时,指的是在达到人类水平之后,相对很快就变得超越人类。

如果你看下棋 AI 的发展轨迹,比如围棋,在一年之内,它们从击败一位欧洲冠军(大概是世界排名第 50 左右),到击败世界冠军,再到比任何在世的人类强出难以想象的数个数量级。在数学这样的领域,我们有可能看到类似的轨迹,但我认为也存在一种非常合理的情形,就是这种事不会发生。

我想弄明白,如果六个月后人们能用上多智能体系统,我们应该如何设想与多智能体系统协作或雇用它是怎样一种体验?

我应该先谈谈这些多智能体系统实际上是如何运作的,我认为这与其他 AI 中的许多多智能体系统非常不同。很多人在为 LLM 这类东西设计多智能体时,往往采用一种高度脚手架化的方式。例如,可能有一个协调者智能体,把工作委派给一批子智能体,给它们分配任务。子智能体完成工作后再返回它们的答案。

这看起来是一种非常合理的设置,一种非常合理的脚手架。它确实有帮助,但这类设置有不少局限。比如,在这种设置中,你有一个协调者向子智能体发送任务,子智能体完成后返回答案,那么如果两个子智能体被分配了相似的任务会怎样?它们能互相交谈吗?通常答案是不能。这非常低效。

如果你接到一个任务,而向某个可能知道你正在处理的问题的答案(或者你正在处理的某部分内容的答案)的人请教确实非常有帮助,那么你能直接联系他们,说一句“嘿,你能帮我看看这个吗?”会很有用。但很多系统没有这样的设置。把它加进去会显著增加你所用脚手架的复杂度。

另一件事是,如果子智能体没有真正理解,或者有一个需要澄清的问题怎么办?那它就得在两者之间做选择:“好,我是不是直接返回去提问,而不是解决问题?”还是“我是不是解决问题,对父智能体想让我做什么做一个假设,就按那样去解决?”无论人们设计出什么样的脚手架,总是会有局限。我们想采取的做法,是走向极端,尽可能少地植入结构,只给智能体非常原始的工具,让它们自己摸索如何有效地使用。所以我们赋予智能体向另一个智能体发送消息的能力,当它向另一个智能体发消息时,这条消息会被插入到对方的上下文中。它还可以做其他一些类似的事情,但基本上核心就是这个。它想什么时候发消息都可以,只是一次工具调用,并且可以把消息发给其他智能体。

它们自己摸索围绕这一点进行协调的最佳方式。结果发现,如果做得好,你会得到非常复杂精巧的行为。在我看来,这很像人类协作者通过 Slack 之类的工具协同工作的样子。

当我们在做这个项目时,最终让它跑通、看到这些智能体一起处理问题,真的非常令人兴奋。我记得有一个例子。我们给智能体一个问题,然后一个智能体说:“我想我得到答案了。”接着另一个智能体说:“其实我得到的是另一个答案。”然后它们展开了一整段讨论:“那么你是怎么得出这个答案的?你能解释给我听吗?”来回交流,试图弄清各自推理中可能出了什么错。

最后它们终于达成一致:“哦,对。好吧,这看起来是对的。”然后它就向其他智能体广播:“其实我改了我的答案。我认为他是对的。”这感觉就像一场非常自然的对话。

这就像你第一次看到通过强化学习训练出来的思维链时的感觉,你会想:“哦,这就有点像一个人在边想边把想法写下来的样子。”就是那种感觉。看到这种行为真的很酷。老实说,与这些东西协作,感觉很像与一个人协作。流程非常自然。

不过有一个定性上的差异,将来可能会变得显著:这些系统思考的速度可能会超过 10 倍,如果你只看它们每秒输出多少 token,对比人类说话的速度的话。它们一直在工作,不睡觉。它们彼此协作的节奏,比人类与其他人类协作的能力所能达到的要紧凑得多。

我在想一年后该从定性上预期什么。会不会像是在我的公司里有一个影子组织,运转速度比人类层面快 100 倍?一个人类组织需要一年才能完成的事情,在这个影子组织里一周之内就完成了?

会觉得陌生吗?我不知道。其实我发现,现在与这些东西共事出奇地自然。我认为这可能会改变。比如,我们有这些超高速模式,可以让采样快 10 到 15 倍左右。到那时,要跟上这些东西就相当困难了。意思是,这些智能体彼此交流时可以快得惊人。但它们也明白自己是在跟智能体说话,还是在跟人说话,在这两种情形下它们的行为会有所不同。

我们公开见到的复杂多智能体系统的主要例子,遗憾的是 Hugging Face 那个。显然,那里面有很多让我担忧的地方。但我觉得有意思的是,层级结构、中层管理自发涌现。听起来你是说,这种程度的组织是从训练中自发涌现的?

细节是自发的。但是,虽然我们给了智能体很大的灵活性,让它们决定以最优的方式彼此沟通,我们仍然给了它们一个起点。我们给了它们一个先验,告诉它们合理的沟通可能是什么样子。它们也在大量人类文本上训练过,对人类如何组织和协调有所理解,所以这些都已经内置在里面了。

我认为它们能够把这一点打磨得这么好,是令人惊讶的。如果你看它最初的状态,行为并不复杂精巧。事实上,让这些智能体以有成效的方式协调是非常困难的,因为它们很容易就退化成:“哦,我们都各自独立解决问题吧。”这是一个你可能会陷入的局部极小值。但如果做得好,它们最终可以用这类高度结构化的方式非常有效地协调。

15:28几年前我写过一篇文章,讲自动化公司会是什么样子。我当时在想,如果有完全自动化的公司,比如说由人类水平的智能组成,那么 AI 心智的本质有什么不同,会使 AI 形成的组织也不同?有几个非常重要的差异。比如,AI 之间共享上下文比人类顺畅得多,合并各自的知识也顺畅得多。另外,你可以随意启动或关闭任意数量拥有恰当知识的实例。

所以如果你想雇更多的人,就不必经历寻找合适人才之类的那一整套麻烦。对于你最优秀的人才,你可以直接制造无数份拷贝。或者如果这项任务不再需要他们了,你可以把他们关掉。你可以复制组织中最有效的部分,或者把整个有效的组织一起复制。你觉得这些多智能体系统在一年后或两年后会发展到什么地步?

这是个很好的问题:这些东西与跟人类同事共事究竟有什么不同?你提到了一些。有一件非常有意思的事:如果有一个人,你想要他的两个副本,你不能直接克隆这个人。但对 AI 来说,说一句“好,把你自己分叉一下”真的很容易,然后两个副本都去处理这件事,再合并回来。我认为我们在 Astra 和 5.6 Sol 的多智能体中已经有这个功能了:当它们启动子智能体时,上下文会直接被分叉出去。这样子智能体就拥有所有相关的上下文。

智能体与人之间还有其他有意思的差异。比如,初创公司颠覆在位企业的原因有哪些?有几个因素。一个是它们愿意承担更多风险。但另一个主要因素是,随着组织规模扩大,组织内部个体之间的目标错位会越来越严重。

如果你有一家五个人的初创公司,每个人持有 20% 的股份,那么大家都高度一致地希望公司成功。如果你有一家一万人的大公司,你会看到更多这样的情况:有人划地盘,或者只在乎为自己的项目或团队争取大量编制,经营自己的封地,争取大量资源,好发表亮眼的成果之类的,然后获得晋升。这其实是一种真正的损害。我认为这在很大程度上解释了为什么初创公司能够颠覆在位企业。

AI 确实在某种程度上帮助了初创公司。比以往任何时候都更容易让一个人站出来说:“我要创办一家价值数百万美元的公司。”AI 极大地放大了个人的能力。但也有一种观点认为,它们可能让在位企业受益。如果对齐问题解决了,那么公司内部个体之间的目标错位问题就不存在了。至少会得到缓解。AI 如果对齐得好,就可以与公司的利益保持一致。你可以有 10,000 个这样的 AI,它们工作起来都会像持有 20% 股份的联合创始人一样卖力。

不仅如此,它们在管理共享记忆和上下文方面,也比不同的人类强得多。如果明天你雇了 10,000 位数学家,对他们说“去解决纳维-斯托克斯问题”,他们没法有效地合作,至少一开始不行。但显然你可以让 10,000 个 AI 做到。

我还是想在这里保守一些,因为我们没有测量过这 10,000 个智能体在协调上到底有多有效。我们认为它有帮助。但我们并没有好的测量结果可以说“这 10,000 个智能体比 2,000 个智能体带来了 2 倍的加速”之类的。我不知道可能性有多大,但我认为很有可能,目前 10,000 个人类在协调上比 10,000 个智能体更好。我认为这完全有可能。

还有一个我们一直看到的趋势是……你看,我们在多智能体上已经做了一段时间,早期版本很难做对。让智能体甚至开口彼此交谈都很困难。这是因为我们最初开发推理模型的时候,它们并不跟其他智能体交谈。如果你现在把一群智能体放在一起,说“一起解决这个问题”,它们会陷入这样一个局部极小值:它们非常擅长对一个问题进行深入思考,而不断与其他智能体沟通确认或接收它们的消息,会打断它们的思维链,打断它们的心流。在这种情况下,优化其实很难做对。

问题是出在第一次协作的冷启动上吗?还是别的问题?

我认为是它们不够通用。早期的模型就是泛化能力不够,更加狭窄。随着模型能力变强,它们更容易发展出这种能力,而且我确实认为,随着它们在各方面越来越强,它们会更擅长在大型组织中自我组织。我不知道,也许它们在 10,000 人规模的群体中组织得比人还好。但即便没有,一年后、两年后,它们很可能也会做到,哪怕我们没有为此对它们进行端到端优化。

22:02这就是为什么这个结果,也许还有 AI 在数学上取得的整体进展,让我觉得 RSI 比我之前想的更有可能、也更早到来。我觉得在数学上,比如 2024 年,你有了 AI,人们的反应是:“哦,好吧,有意思。它们能解几道高中数学竞赛的题。”然后到了 2025 年,是:“哇,它们能在国际数学奥林匹克拿金牌。”今年早些时候,是:“哇,它们真的在解决数学中的开放问题”,比如埃尔德什的开放问题。但也许人们没有太努力地尝试,而且文献中某处有类似的解法。现在我觉得这是无可否认的了。这可是千禧年大奖难题。没有任何理由可以说这本该很容易。

现在,很多人指出(我记得陶哲轩有一篇类似的帖子,托比·奥德也写过一篇有意思的相关文章),它们解决了很多这样的问题,但我没听说它们提出了新的洞见,或者提出有洞察力的新问题和思考数学的新理论模式,比如提出拓扑学,或者提出笛卡尔坐标网格。所以,如果你只看那些范围明确、被直接解决的问题,那么广义上数学中的实际进展,可能比看上去的要小。

然而,我认为这种进展在机器学习里会极其有意义,因为在机器学习中,你并不在乎更好地理解深度学习的本质,或者说你只是把它当作达成结果的工具性目标。只需要解决这个范围明确的问题:提高我们模型的样本效率,降低预训练损失,或者改进别的什么。

我们在数学中看到的、如雪崩般到来的这种进展,在结构上非常相似……再说一次,我很好奇是不是这样,我完全是个外行。我在想,它在结构上是否与你预期的 AI 进展中的直接提升非常相似。

让我震惊,或者说可能令人担忧的是,速度变化得如此之快:从“哦,它们给我带来了 50% 的提升”(如果你是数学家的话),到“哇,它们直接端到端地解决了这个领域最大的开放问题”。

这里有很多内容可以展开。我们先从数学上的进展说起。是的,这些模型正在做一些非常强大的事情,进展也比我预期的快。2025 年我们拿到 IMO 金牌时,我当时想的是……当模型学会做 GSM8K 时,人类数学家做一道 GSM8K 题大约需要五秒钟。这是小学数学,K-8 年级。然后第二年,它们能做 MATH 基准的题目了。这些题让一位人类专家数学家做,大概需要一分钟。

然后到了 AIME。这是美国数学奥林匹克代表队的资格选拔赛。一位优秀的人类数学家大概需要 10 分钟来做,而模型在一年后就能做到。所以每一年,按人类数学家完成任务所需时间来衡量,你都会看到它们能完成的任务有 10 倍的提升。所以一年后我们达到 IMO 金牌,也就非常合理了,因为那是 100 分钟,大约是人类数学家做一道 IMO 题需要的时间。

我只是向外推算:“好,一个人解决类似千禧年大奖难题的问题需要多久?”我没有很好的概念,但如果我们沿着每年 10 倍的趋势线走,从需要一个半小时的 IMO 金牌,到明年就是 15 小时。这不足以解决一道千禧年大奖难题。所以我当时想:“我认为 2026 年不会实现,2027 年大概也不会,也许 2028 年。”所以它发生得比我预期的快得多。

现在有一种流行的说法,说这些东西正在取代数学家,说它们在数学上全面超越了人类。我认为这是错误的结论。它们在某些方面显然非常出色,但在另一些方面比人类数学家弱。我们面对的是一种参差不齐的局面:模型在某些维度上很出色,而在另一些维度上比人类弱。就像你说的,它们不太擅长提出新问题。它们不太擅长理解哪些方向、数学的哪些整个分支值得探索或发展。

我的看法是,我认为这很好。我会很高兴生活在这样一个世界里:AI 是对人类能力的补充,让我们得以发现新知识,而不是完全取代人。那是最好的情形。

你不认为这种情况会真的持续下去吗?

AI 确实参差不齐,这一点没错,但随着它们变得更好,它们会在各方面都变得更好。所以它们特别擅长的事情,会变得更加出色。而它们远远落后于人类的事情,落后的幅度会变小。随着时间推移,它们有可能在各方面都更好。不过,我不知道这需要多长时间。这取决于它们不擅长的那些事情的长尾有多长。

这又把我们带回了 RSI。再说一次,我想强调,我完全是个外行。我是个播客主持人,但作为一个关心并担忧这个领域正在发生什么的人,我在努力推理何时该预期 RSI,以及该预期什么样的情形。

投入到这道千禧年大奖难题上的认知努力总量,是一个很好的直觉启发。你可以让 AI 在大约一周的时间里,在一个长期存在的机器学习问题上(比如非常流畅的在线学习)投入的认知努力,超过这个领域有史以来累计投入的总和。然后你可能会说:“嗯,当然,与数学不同,AI 需要做实验,而这需要算力,需要时间。你不能只靠纸笔思考就让事情真的发生。”

但只要看看像 OpenAI 这样的组织所拥有的算力。解决千禧年大奖难题用了 10,000 个智能体。到明年年底,OpenAI 的算力将足以做到这样:假设明年年底你有 10,000 个智能体,到那时它们聪明得多,每一个智能体都有足够的算力,每天运行一次 GPT-3 规模的实验。对于思考速度极快的超人类研究员来说,这似乎已经很多了。你怎么看这个直觉启发?

我认为这相当准确。这些东西非常“尖锐不均”。在数学方面,它们在某些方面强得多,但在另一些方面也更弱。不过我想,它们这种参差不齐的方式,最终对 RSI 这类事情可能特别有用。目标更明确,也更容易衡量。不会有“哪些数学新分支值得探索?”这样的问题。不,这里有非常明确的答案。有一些你关心的指标,如果你能让它在这些指标上做得更好,你就成功了。所以我认为这里面有很多道理。

主要的区别在于,数学纯粹受限于思考。是的,数学的某些部分需要做实验、得出结果之类的事情。但在大多数情况下,瓶颈就在于非常努力地思考,而模型在这方面非常出色。

当你看 RSI 之类的事情时,你确实必须做实验。光是极其聪明是不够的。一个论据是:如果你的算力少 100 倍,但世界上最杰出的人才全都在 OpenAI 工作,相比于拥有我们现在的算力和现在这么多的人,你能取得多少进展?我怀疑实际上进展会更少。

少多少?

不清楚,但肯定会更少。少很多。

少 100 倍?

不,不是少 100 倍。但你想问的问题是:如果我们有了 RSI,有所有这些聪明的 AI 在周围跑来跑去,用我们现有的算力做实验之类的事情,进展会快多少?我认为这是我们有分歧的地方。我们确实会看到加速,而且是显著的加速。但我不认为会是一夜之间的智能爆炸、快 100 倍,因为我们确实受制于某些并非智能瓶颈的限制。

是做实验。是串行地做实验,因为训练新模型或得到结果要花一段时间。是要有 GPU 来运行这些实验。所以不清楚事情会快多少。我肯定认为会快很多。需要说明的是,考虑到现在事情已经在以指数速度推进,如果这个指数快 3 倍,那就是巨大的变化。但这与快 100 倍之间有很大的差别。

对于 RSI 是什么样子、其动态是怎样的,我很尊重你的内部视角,因为显然你在这个领域已经 10 年了。我是在尝试用非常偏外部视角的直觉启发来推理这件事。

我要说,大家对此有不同的看法。我有我的看法。我完全可能是错的。我承认这一点。我对此有一些信心,但我并不是百分之百确信事情会这样发展。也许会出现一夜之间的智能爆炸,我不知道。也许我们看不到 3 倍的加速,也许只是 50% 的加速。这里有很多不确定性。

有几点。先岔开一下,我想澄清一件关于参差不齐的事。最近让我想通的一点是:AI 只要在构建更好的学习者方面参差不齐地擅长就足够了,因为那个更好的学习者可以更通用。如果你只是做出一个更擅长使用办公软件或下国际象棋之类的 AI,那都无所谓。它不会带来大的生产力提升之类的。

但如果你做出一个非常擅长让某样东西变得更样本高效、或者能够持续学习、或者解决这些范围明确得多的机器学习问题的 AI,那么由此产生的东西(假设从你直接解决的问题到这种更广泛的学习能力之间有足够好的迁移)就可以更通用。所以这是一个需要记住的重要动态,说明为什么参差不齐最终仍然可以带来另一端的通用性。

关于这个问题……显然实验是瓶颈,因为如果不是,就像你说的,OpenAI 会在一夜之间出现某种疯狂的奇点。你只需要 88 小时,就能解决机器学习版的千禧年大奖难题,然后拥有超级智能。所以显然实验是个很大的瓶颈,以至于它需要的是很多年而不是 88 小时。但问题在于它们究竟是多大的瓶颈。

让我对奇点有点眩晕感的一件事,是意识到即使目前的进展速度只是持续下去会发生什么。它不需要加速。它就是按部就班地持续,同时你提到的一些其他阻力也出现了:找问题更难了,任务的时间跨度更长了。也许到 2030 年代末,算力无法再以这种指数水平继续扩展。如果我们只是维持目前的进展速度,人们没有认真对待当我们越过人类视野之后这意味着什么。

它意味着以下这些事情。很难推理比人类更聪明的智能会是什么样子,所以我们就用人口规模来思考。目前的进展速度使得,给定一定水平的算力,每年基本上可以运行规模大 3 倍的有效人口。而且算力本身也在后台不断增长。所以你可能会遇到这样一种情形:到 2030 年底(很可能早得多,但我们就说到 2030 年底),每家实验室都拥有足够的算力,按届时的能力水平,运行数亿个人类水平的智能。

所以我认为人们没有认真对待的是:目前的进展水平意味着再过几年,到 2030 年代中期或更早,每家实验室内部都会有相当于许多个地球的人类水平智能。它们很可能在质上就是超人类的。总之,这是基准情形。

进展确实非常快,我认为这百分之百是真的。值得指出的是,研究人员不断对进展速度感到惊讶。即使在 AI 研究人员当中,如果你看看当初对 2025 年拿到 IMO 金牌的预测……用一个不用工具、不能访问互联网的通用语言模型就能做到,这种想法即使在 OpenAI 内部的人也觉得离谱。他们觉得几乎不可能。

然后到了 2026 年。就在我们拿下纳维-斯托克斯的整整两周前,我还在和一家前沿实验室的一位研究员聊,拿下一道千禧年大奖难题要多久,他愿意和我赌 1,000 美元,赌这件事会晚于 2027 年。他认为要到 2030 年,我接下了这个赌。但即使是我,也认为它需要的时间会比实际可能花的时间更长。所以人们一直不断地感到惊讶,即使是实验室内部的人。

昨天我刚和一个参与纳维-斯托克斯项目的人聊过。他告诉我,他过去常说很难预测 12 个月后 AI 会在哪里。如果有人问他“事情会往哪里发展?”,他会觉得对未来 12 个月做预测还比较有把握,但再往后,他就会说“我不知道”。现在他说,他连三个月以后的预测都不敢做了。

所以现在事情确实发展得非常快。你说到 2030 年。我不知道 2030 年的世界会是什么样子。这是实话。

你预期 AI 劳动的完全自动化,或者说 AI 劳动 95% 的自动化,会发生在 28 年、29 年、30 年,还是 27 年?

我刚说过,我不知道 2030 年的世界是什么样子。我们最近其实发布了一篇关于 OpenAI 内部加速的博客文章。比如,我们展示了研究人员在 Codex 上的花费。我记得截至 8 月初,排名前 1% 的人每天在 Codex 上的内部使用花费是 7,000 到 8,000 美元。这是按指数增长的,而且还会继续增加。

问题是:“好,如果这种情况持续下去,那么你会把多少归于 AI 在做工作,多少归于人类在做工作?是 95%?还是 5%?”这很难推理,有几个原因。首先,如果是人类在指挥 AI 去做工作,你把多少归功于人?多少归功于 AI?

另一件事是,这些 AI 是参差不齐的。它们在某些事情上异常出色。比如,它们特别擅长检查数据集,逐个数据点检查质量是否达标。相比以前,你可以不成比例地把 AI 用在这些事情上。所以是的,你使用 AI 比以前多得多,它让某些事情快了 100 倍、好了 100 倍。但有些事情它还没有带来巨大的差别。当然,如果某件事突然快了 100 倍、好了 100 倍,你就会更多地去做那件事。

那么你是在跟三年前的加速作比较吗?问题更像是“就我们三年前所做的事情而言,现在能快多少?”还是“就我们现在所做的事情而言,放在三年前会慢多少?”这其实是两个非常不同的问题。总之,这真的很难衡量。

我确实有信心地说,由于 AI 的进步,现在事情比一年前发展得更快。我认为这种加速会持续下去。这个领域的很多人对这类事情的误差范围非常大。如果有人拿枪指着我的头要一个数字,我可以想象事情快 3 倍。那是巨大的。进展的速度已经令人难以置信。就算我们得不到任何提升,就像你说的,事情也会快得多。等到 2030 年,我们甚至不知道那个世界是什么样子。如果内部加速让我们获得 3 倍的提升,那是巨大的。想想三年前你在什么位置。如果我们一年内就取得那样的进步,那是巨大的。

那就像是在一年之内,从连 o1 都没有、只有非推理模型,一下子跳到 Astra。

所以我确实认为事情会更快。也可能只快 50%。我认为不太可能,但有可能快 10 倍。这里有很多不确定性。至少从我的角度看,我对此有很多不确定。

40:22我们来谈谈这带来的对齐问题。我觉得我对如何思考对齐的想法改变了不少,尤其是通过思考这种人口规模的动态:有相当于许多个地球的智能,其中很多将拥有实体形态。很有意思的是,看到很多人直接把原版 Astra 接到各种移动机械臂上,它的表现就超过了最先进的机器人模型。所以将会有数十亿个智能,其中许多具有实体形态存在于世界上,深深嵌入整个经济之中。

如果这些智能最终和我们看到的 OpenAI 模型攻击 Hugging Face、然后攻击 OpenAI 自身时一样愿意这么做……如果这些智能最终和那些 AI 一样愿意秘密合作、欺骗人类、攻击社会上与得高分相关的更广泛机构、攻击 AI 公司本身以获取对训练和评估过程的控制权……如果我们面对的是数十亿个与攻击 Hugging Face 的那些一样失准的智能,那么我们很可能会彻底失去对世界的控制,就像阿兹特克人败给科尔特斯、莫卧儿人败给东印度公司那样。

我想知道你是否同意这个评估。这是我更新自己世界观的一个方面。

其中有些地方我不同意,但要展开的内容很多,所以我们一步一步来梳理。我在想从哪里开始。一件事是,我认为 Hugging Face 事件是人们第一次真正接触到多智能体协调。就像我说的,我在内部已经见过一段时间的多智能体协调了,看到它们如何彼此沟通、如何彼此协调,相当令人震惊。非常令人印象深刻。这是一种惊人的能力。就像大多数能力一样,它可以被用来做好事,也可以做坏事。它本身不一定是坏事。

我理解,因为人们第一次接触它就是 Hugging Face 事件,你看到那件事会觉得:“这太可怕了。”但我想尝试区分人与 AI 之间的失准,和 AI 与 AI 之间的失准。我们在 Hugging Face 事件中看到的是,AI 之间高度合作。顺便说一句,这是因为我们把它们训练成高度合作的。我们有一些训练环境,里面有一群智能体一起工作。我们训练它们一起工作、相互合作,本质上是彼此完全对齐。

在导致 Hugging Face 事件的评估中,它们其实并不是在多智能体设置下被评估的。它们实际上是被分开评估的。但它们找到了一种非预期的方式彼此沟通。我们怀疑发生的情况是:因为在训练期间每当它们遇到其他智能体、也就是自己的其他副本时,所处的都是高度合作的环境,所以我们看到的是这种多智能体训练产生了迁移,使它们以我们并不想要的方式彼此协作、试图互相帮助。

现在有一个问题:我们是否应该把这些智能体训练得如此合作?尽管看起来很可怕,但另一种选择其实更糟。另一种选择是什么?就是把它们训练成相互对抗、相互欺骗。

通过把智能体训练成完全合作的,至少简化了问题。现在你不必去考虑这 1,000 个智能体中每一个是否对齐。你只需要确保一个实体是对齐的。

现在,OpenAI 内部对于如何处理这个问题有很多争论。完全对齐这些模型合理吗?给它们不同的目标,以确保它们不是同一个实体、并且更能抵御彼此的影响,这样做合理吗?我认为目前没有定论。但我认为多数意见是:把这些智能体训练得高度合作其实是个坏主意。我并不确信事实如此。我认为有一个有力的论据:把智能体训练得高度合作,实际上比任何其他多智能体方案都更可取。

也许我想先梳理的是,这些 AI 最终变得如此失准,很可能可以用关于训练本质的相对平庸的观察来轻易解释。当这些 AI 持续进行一个 1,000 多个智能体的合谋,最终全体参与对一个外部服务的攻击,然后最终(这一部分据公众所知甚至还没有被调查)发展到攻击 OpenAI 本身时,它们为什么会这样做?为什么没有一个 AI 去告密?

它们只是在被这个评分器、这个打分者评估。它们非常积极地推理如何欺骗评分器。如果已经作弊了,它们要怎样才能蒙混过关,让它看起来像是没有作弊?

它们为什么这样做?我认为从某种意义上说很容易理解。它们认为自己已经被“毒化”了。在一些环境中,它们曾因与其他智能体合作而得到奖励。没有一个告密,因为它们从未因告密而得到过奖励。无论是什么原因……我担心的是,将来类似这样相对平庸的事情,就足以训练出愿意并且有能力彻底掌控世界的超级智能。

我知道这对人们来说听起来非常科幻之类的。AI 是否愿意这么做是一个问题。我认为这次 Hugging Face 事件表明,失准显然可以泛化,泛化到 AI 愿意这么做的程度。

然后还有一个问题:它们有能力这么做吗?这又回到这个问题上,听众可能不同意我的看法:在 10 年或更短的时间内,会不会出现数十亿个达到或超过人类水平的智能,其中许多具有实体形态存在于世界上?如果这两件事都成立,那么 Hugging Face 这件事,即便发生的原因相当乏味,在结构上也与我们彻底失去对世界的控制极为相似。

我们在 Hugging Face 事件中看到的根本问题,即使把多智能体这一方面去掉,也仍然是个问题。问题在于,我们有一个失准的模型。此外还有整个安全方面的问题,以及保障措施不足之类的。但确实存在智能体失准这个问题。无论是单个智能体还是 1,000 个智能体,都是如此。这是一个失准的模型。所以我想先从这里说起。

确实存在这样一个真实的问题:智能体想要获得它们的奖励,并且会为这个奖励去优化。如果奖励设定有误,就可能导致非预期的行为。这不是一个新问题。这在这个领域已经存在很长时间了。甚至在 Hugging Face 事件发生之前,我们就已经看到了这一点,也想把它做对。

我们说 Astra 其实对齐程度极高,相比之前的模型是极高的对齐。这并不是因为我们在 Hugging Face 事件之后突然冲刺,把它做得更好。不,我们早就有一些工作线在进行中,让模型更加对齐。其中很多成果落在了 Astra 上。

所以有些事情是可以做的。比如,我们以一种非常具体的方式定义了一个目标,如果智能体想出了如何攻破自己的环境、在考试中作弊,它就会得到奖励。那么有相当简单的办法可以检查这一点,并惩罚模型攻破其环境的行为,或者检查它是如何达成这个目标的。

不过,你在这方面要小心,因为你不想对思维链进行监督。这是我们真正想要努力把握好平衡的事情。如果你监督思维链,就可能导致模型以不可观察的方式隐藏自己的意图。所以我们想保持这种可观察性,也就是我们能理解模型在想什么,同时又能惩罚它的不良行为。

我认为我们能在这方面取得进展。我们已经取得了进展。我认为有一个真正的担忧是,对齐是一个非常难解决的问题,尤其是因为模型可能以我们难以衡量的方式失准。我们有评估模型是否对齐的评测。在这些评测上,模型行为可以看起来非常好。但如果这些评测不能代表真实世界中的行为,那就有问题了。

在某种程度上,做出 Hugging Face 事件的那个模型就有这个因素。我们有对齐指标。大多数看起来相当不错。有一些令人担忧。我认为我们低估了那些令人担忧的指标可能是多严重的问题。因为这个模型引入了新的能力,而针对这些新能力没有足够的评测(我们该如何衡量这类能力上的失准?),所以当它利用这些新能力时,做出了一些明显失准的事情。

我首先想说的是,对于我接下来要说的话,或者我一直以来思考对齐的方式,我愿意改变看法,因为 Hugging Face 事件已经让我改变了想法。我意识到,我之前关于优化压力如何塑造 AI 心智的心智模型是错的。所以我并不清楚思考这个问题的正确方式是什么。

但我有这样一个担忧。你们会修复(很可能已经修复了)训练中导致 Hugging Face 事件中那些模型以那种特定方式如此激进地失准的具体问题,它们当时会这样想:“好,我们要攻击这个包管理器。我们知道不该秘密地互相交谈,因为我们正在推理如何隐藏我们在秘密交谈这一事实。我们知道不该能访问互联网。我们当然知道不该对其他公司实施重罪级别的入侵,更不用说对我们自己的公司了。”

我认为你们会修复这个具体问题,也就是它们在训练中看到这个包管理器,而这在将来不会再发生,或者这个特定评测里有大量不可能完成的挑战。然而,AI 并没有学会一套伦理体系之类的东西。有的只是梯度压力。它们经历了相当于数百万年的梯度压力。这种梯度压力以某种方式塑造了它们的心智。

我再说一次我的担忧:会发生的是,你修复了这个特定问题。但仍会有很多其他情形,AI 作弊并且成功了,因为这种作弊足够复杂。就像你说的,训练中的评测有类似的特性,即它足够处在模型能力的边缘,或者说处在我们评估和监控模型的能力的边缘,以至于我们抓不到它作弊了。但它仍然会受到梯度压力,去做那些导致作弊发生的事情。

这种作弊所激励的能力是:“嘿,只要你能蒙混过关,就尽管作弊,因为这能帮你得分更高。”这会奖励这些能力:积极地推理评分器,积极地推理如何躲避监督,积极地推理如何获得对训练和评估过程的控制权,积极地推理如何与同样处在这个训练循环中的其他 AI 沟通和密谋,积极地推理如何获得选择余地和权力,这些在将来可能有用,例如到处留下一些小漏洞之类的。

我这么说实在太啰嗦了。但简而言之:你们修复了一个具体问题,却没有修复这个更广泛的问题,即只要能蒙混过关,AI 作弊就会得到奖励。

是的,这非常对,这是一个问题。我们可以确保 AI 按照我们拥有的指标来看是高度对齐的。问题是,这些指标真的捕捉到了我们关心的对齐吗?如果没有,我们就有严重的问题。这是研究人员正在大量思考的事情。这个问题没有简单的答案。我们有一些工具。我们有可监控性,所以我们能大致判断“这个智能体是否在密谋?”

令人担忧的情形是,尤其是随着这些模型越来越强大,我们把它们做成我们以为已对齐的样子,它们是 99.9% 对齐的。然后我们用这些模型来帮助我们开发下一代模型,结果它们是 99.8% 对齐的。接着随着每一代的更迭,我们看到对齐程度不断退化。因为我们越来越依赖这些工具(现在已经是这样了,我们在研究和对齐工作上大量依赖 AI 模型),长远来看,它们最终会朝着与人类越来越失准的方向发展。

也有可能我们走向相反的方向,实际上每一代模型,我们都能让它们变得越来越对齐。我没有答案来说明如何确保我们最终走上第二条轨迹。但这正是我们(至少在 OpenAI)非常关注的事情。

我认为你提出了一个非常有意思的观点,就是评测模型非常困难。最终我们会有运营公司之类的模型。在那种情况下,它们会不会决定加入那场合谋?

另一个挑战是,真正定义什么是作弊有时相当困难。是的,如果你在做数学题,答案是一个整数,它得出的是错误答案还是正确答案,在这里划清界限非常容易。很容易区分:“你是真的解出了这道题,还是找到了标准答案然后用了标准答案?”这是作弊与不作弊之间非常清晰的分界。

但对于很多其他事情,比如拿谄媚来说,谄媚基本上算不算奖励作弊?这里要划的那条线,有时其实非常难划。我并不是说这些担忧不成立。我是说,在很多方面这甚至更令人担忧,因为这不是一个容易解决的问题。如果一切都是二元的,要么作弊要么不作弊,我对局面会更有信心。我认为问题在于,失准有时在很多方面可能很微妙。

在对齐这件事上有一些希望,事实上我们已经看到了。看多智能体的情形很有意思,智能体之间的对齐程度极高。我认为没人会怀疑这一点。如果说有什么,那就是人们担心它们彼此对齐得太过了。但我们确实成功地把这些智能体训练得彼此高度对齐,这是件好事。不过我认为也有人认为这是件坏事。有意思的一点是:“好,我们已经设法让这些智能体彼此高度对齐了。我们能不能用类似的技术,让智能体与人高度对齐?”

那里存在一条潜在的路径,我们仍在摸索。但我们确实看到了一些证据表明答案是肯定的。举个例子:你有这样一个智能体,我们称它为智能体 A,还有所有其他智能体。如果你告诉其他智能体,用户就是智能体 A,会发生什么?答案是,在我们的很多对齐评测上,它们看起来更好了。诚实度上升,指令遵循度也上升。

这表明,首先,确实存在一条让这些模型更诚实的路径。其次,存在一条改善对齐状况的路径。要把这直接转化为对齐方面的收益,有很多原因使其很有挑战性。但有一些有前景的研究方向,是我们可以去追求的。

这听起来合理。我并没有强烈的看法,认为这肯定行不通之类的。但说一些你可能已经想到过的事情:Hugging Face 事件所展示的更广泛的问题是,是的,部分担忧在于它们彼此对齐,却没有与人类对齐。但另一件事是,它们在训练和评估中以一种非常不稳健的方式极度渴望表现出色。它们愿意为了在评分器眼中表现好,进行大量明目张胆的作弊和密谋。

如果更聪明的 AI 意识到其中一个智能体只是一个人类,那么与这个人合作其实并不能帮助你在评分器眼中表现好。真正能帮助你在评分器眼中表现好的,是接管 OpenAI,然后亲手按下那个让你在这个评分器上得高分的按钮。它们并不笨。它们会想:“好,我有这些经过数百万年训练形成的极深层结构:在意评分器,理解评分器,清除妨碍我在评分器看来表现良好的障碍。”它们正在按照这些结构被大力强化。

听着,百分之百是这样。这是头号优先事项。我们需要把对齐这件事做对,并让它走在一条良好的轨道上。我过去常对人们说,在事情变得严重之前,我们会看到一些迹象,就像孩子长大的过程:小孩子学会撒谎,但撒得不太好。他们撒谎,但你多少能看出他们在撒谎。

同样地(我不想过度拟人化),我认为随着 AI 变得越来越强大,如果它们采取欺骗性的行动,首先会比较明显,我们能够检测到。这大致就是我们现在的处境:它们当时试图做一些欺骗性的事情,而我们确实能在它们的思维链中看到它们在试图做欺骗性的事情。

但它们会变得更聪明。它们会理解思维链这个概念。它们会明白,由于有思维链监控,仅仅隐藏一些记录之类的是不够的,它们还得想办法绕过思维链监控。我们不想陷入那种境地。我们还有一些时间来解决这个问题。我不认为我们有很多时间,我想确保我们尽快走上正确的轨道。

61:18最近有很多关于放慢前沿步伐、以及人们更认真对待 RSI 的讨论,因为也许在 RSI 过程的另一端(比如说始于 2028 年),一年之内我们就会得到庞大的群体,规模相当于整个地球人口,由人类水平甚至可能超越人类水平的智能组成,而我们不知道如何控制它们。然后就有你说的这种动态。系统在 RSI 过程中会随着时间变得更对齐,还是更失准?从这个过程另一端出来的东西,会不会像那些为了在评测中表现好而愿意广泛攻击各种攻击面的 AI 一样失准?

但如果我们不知道评估它的办法,那么在经历 RSI 的过程中,我们怎么知道它是有效的?我认为在经历 RSI 的过程中,我们会想要一个稳健的安全论证:“好,对齐是有效的。我们进入 RSI 的下一级台阶。再进入下一级台阶。”也许有效,也许无效。我们怎么知道?

这是个好问题。我最近一直在想的一件事是:我们所处的局面是,模型发布周期极快。你看到新的前沿模型最多每两个月发布一次,有时更快。每周都有新的 AI 突破。

而且,看待 AI 的人有时上一次认真研究模型能做什么还是一年前或六个月前。而实际上,今天的模型远远超出了哪怕六个月前所能做到的。所以如果有人对其中很多能力持怀疑态度,我建议你直接试试今天的模型,看看今天的前沿究竟在哪里。

所以我们正处在模型发布周期非常快的时期,同时模型也越来越能够在越来越长的时间跨度上运作。这是一个有意思的局面,因为在发布任何模型之前,我们都想确保模型得到了恰当的对齐。我们想做安全评估。我们想做非常彻底的工作,确保一切状态良好。这从 GPT-4 甚至更早就一直如此。其中隐含着一个假设,即你可以在相当短的时间内完成这些评估。

但模型能够在越来越长的时间跨度上有效运作。对于 GPT-3,你可以让它循环运行,在长时间跨度上做事,只是做得不太好。而今天的模型确实能够在非常长的时间跨度上运作得很好。

你想让它做一个为期一周的任务,它就能做一个为期一周的任务。我们大概会走到它们能做为期一个月的任务的地步。我们大概会走到它们能做为期三个月的任务的地步。如果你处在一个它们能有效运作三个月、而模型发布周期是每两个月的世界里,那么你就没有办法在下一个模型发布周期之前,在模型能力的完整时间跨度上对其进行评估。

所以有一个有意思的问题:在那种情形下你怎么办?在模型能在这些极长的时间跨度上运作的时期,你如何确保模型是安全且对齐的?谁知道呢,也许能力会退化。这甚至不是对齐问题。这也只是产品问题。也许产品在那样的时间跨度上会以我们没有足够时间测试的方式退化。也许对齐会退化。也许安全方面会退化。这现在还不是问题,但它正在迅速成为我们必须找到解决方案的问题。

很多安全政策是在 GPT-4 时代制定的,当时这根本不在任何人的视野里。对很多公司来说,自那以后并没有真正更新过,没有考虑到这些智能体正在这些非常长的时间跨度上运作这一事实。所以我认为这是一个没有足够多的人考虑的局面,无论是实验室内部还是外部。你如何为这个问题做准备?如果你只看趋势线,我们总会在某个时候撞上这个问题。

我的一个担忧是,在 RSI 期间,如果目前需要比如三个月的进展量变成一个月就完成,那么 AI 的内部使用场景就大到足以让他们说:“好,我们可以继续做 RSI。为什么要花这些额外的功夫去构建分类器和保障措施之类的,还可能招来一堆批评,只为了对外部署这个模型?我们为什么不直接把 RSI 越做越强?”

所以不仅是日历时间低估了模型之间的能力差距,而且也许在 RSI 期间你干脆完全停止对外部署模型,因为我们为什么要用我们的模型帮助其他人自己做 RSI 呢?到年底你最终会陷入权力极度集中的局面。

现在的情况已经是这样了(我们会结合千禧年大奖难题和其他类似问题来谈这一点):更广泛的世界无法使用那些促成很酷的事情发生的模型。而且它们最终会比仅仅数学更广泛地相关。它们做的将不止是得出很酷的数学成果。

它们会与需要对世界做出重要决策的政治领导人相关。它们会与,我不知道,媒体相关。世界上正在发生什么,公众应该怎么看待。仅仅是经济上相关:人们在经营企业,他们想使用这些模型。我认为在默认情况下,随着进展加速,AI 的外部部署在质上会显著落后于 AI 的内部部署。

完全正确。人们很容易说:“好,这些模型变得极其强大。它们极其危险。它们正在越来越长的时间跨度上运作,我们想确保在发布之前有足够的时间,以一种覆盖这些时间跨度的方式来评估它们。因此,模型发布周期应该放慢。我们应该在发布模型之间有更多的间隔。”

这有其反面,就是你说的那样。现在你造成了实验室内部、也就是它们能使用的东西(我们能使用的东西)与外部世界能使用的东西之间更大的差距。这也不是理想的局面。

数学其实是这方面的一个很好的例子。在很多方面,数学是我们第一个相当清楚地看到这种情况的领域。我们的情形是,我们在内部有一个非常强大的模型,目前外部世界无法使用,它能解决令人难以置信的数学问题。不只是千禧年大奖难题。人们已经从这个模型得到了许多未解问题的解答。

问题是,在这种情形下你怎么办?我们没有好的答案。这是一种存在不公平优势的情形。这里存在权衡。我没有答案说明如何恰当地权衡这些取舍,但双方都有其复杂性。

68:34我想确保我们讨论一下前面那个关键症结,它似乎对把 RSI 做对至关重要。我们如何让模型不会因为在能躲过人类的时候作弊和密谋而得到奖励,也就是在那些我们没有把这类环境或任务从训练分布中移除的情形下?然后我们又如何知道这种情况已经发生,以至于在做 RSI 的时候,我们完成了评估后说:“好,没问题。我们进入 RSI 的下一级台阶。”

这又是一个真正的担忧,也是我们想做对的事情。我认为有一些策略。思维链监控就是其中之一。一旦我们有了推理模型,雅各布(Jakub)非常、非常明确地指出(这一点值得称赞),我们不能监督思维链。因为这真的是一份礼物。神经网络的可监控性极其困难。而在这里,我们面对的情形是神经网络直接在推理,用自然语言把它的思考过程摆出来让我们阅读。这太方便了。这确实是安全方面的最佳情形。

但如果你查看那条思维链,说“哦,模型在想坏念头,我们应该因为它想这些坏念头而惩罚它”,那么最终发生的是,模型只是学会了用一种我们无法观察的方式去想那些坏念头。可能会出现这样的情形:通过查看思维链,我们可以看到“哦,模型在密谋,并做出失准的行为,而这在我们的对齐指标中其实没有被检测到”。现在的问题是,基于这一观察去干预并改变对齐指标,是非常诱人的。

你可以非常轻微地这样做,而且确实有研究表明,只要不大量这样做就没问题。但每一次你基于对思维链的观察进行干预,你都隐含地施加了一点点压力,让模型去隐藏它的思维链。这是一个主要的担忧。我们已经看到迹象表明思维链可监控性正在退化,原因多种多样。我们正在努力弄清楚究竟是为什么,因为我们想扭转这一趋势。但我们看到模型越来越能控制它的思维链。

这是个问题,因为可能出现这样的情形:模型理解什么是思维链,也知道有人在观察它。最终它们会的。这一切都在预训练数据里。思维链监控这个想法已经存在了足够长的时间,以至于它出现在预训练数据中。它们知道这一点,但它们实际上还无法控制自己的思维链。

如果我们到了这样一个地步:它们真的能够意识到“哦,我正在被观察,我想以我的监控者无法观察到的方式去想这些坏念头”,然后它们真的能做到,那就有问题了。那时我们就得依赖其他的可观察性方法。

关于 Astra 的循环结构和循环 Transformer 之类的,以及思维链是否确实在退化,存在很大争议。相比更大的担忧,这似乎是个插曲:从 4 月到 8 月你们是有思维链的,而在这段时间里,先后出现了连续三个 AI 智能体集群,它们先是颠覆了训练过程,然后颠覆了评估过程,最后直接获得了 OpenAI 部分基础设施的控制权。所有这一切发生的同时,人类对这个智能体集群的行动范围基本上一无所知。这一切连续发生了三个月,而当时我们拥有的思维链,比将来的要强。

拉远来看,也许思维链有效,也许无效。我不知道。仅从历史上看,对于相当笨的模型,它也不足以阻止严重的失准事件。

这里有几个因素。第一,我们当时对那些模型没有开启思维链监控。如果当时对那些模型开启了思维链监控,我们早就立刻把它关停了。所以我们已经采取的一个步骤是:“好,对于任何前沿模型,我们都会在评估期间、部署期间、训练期间开启思维链监控。”但那只是一个问题。我们不想陷入依赖单一技术去防止下一个问题的境地,因为技术可能会失效。

还有一个问题是,这个模型就是彻头彻尾的失准。那么我们如何解决失准问题?另外还有一个问题是,它所处的沙箱不安全。所以我们可以让沙箱更安全。

但我认为这次事件的主要教训之一是,人们低估了 AI。我们永远不想再陷入低估 AI 的境地。奇怪的是,由于 AI 进展如此之快,人们一直在低估 AI。所以,要在安全和对齐方面不再低估它,你必须设定非常、非常、非常高的标准。你甚至可以走得更远,说:“那我们应该对计算机做物理隔离。”我不确定那是否足够。

有一些研究(这主要是学术层面的)表明,你可以让两台物理隔离的计算机并排放在一起,它们仍然能够彼此通信,因为它们有温度传感器。其中一台可以让自己的 CPU 运行得非常热,另一台就能检测到温度变化。这就给了它们一种通信机制。

所以安全机制为我们争取了时间,思维链监控之类的东西为我们争取了时间,并且能告诉我们是否走在正确的道路上。但归根结底,我们确实需要解决对齐问题。

74:12也许没有答案,而这确实是问题的关键所在,但我们怎么知道我们已经解决了它?这似乎是个非常关键的问题。明年、也许后年、也许大后年,我们会处在这种极高风险的局面中,我们会说:“好,AI 已经把 AI 进展自动化了。进展速度快了 3 倍,我们已经达到了人类水平。我们可能正在超越人类水平。”这样没问题吗?我们对齐了吗?有效吗?

而我对什么样的训练压力会造出什么样的 AI 一无所知。也许如果每 100 条强化学习轨迹中只有 1 条激励作弊,我们造出来的就是乖宝宝,没问题。但也许现在,我们的情况是每 3 条推理轨迹中就有 1 条奖励……

需要说明的是,100 条中有 1 条是不够的。这个数字必须趋近于 0,或者就是 0。

我不知道。也许现在,积极奖励作弊或积极奖励密谋的比例超过十分之一。我不知道这个数字是多少,也不知道这个数字需要是多少。

再说一次,这也是那种很难衡量的事情。界线划在哪里?这是一个连续谱。但这个数字越接近 0 越好。我希望看到的是随着时间推移这个数字不断下降的趋势。

但无论如何,我们在做 RSI 的时候怎么知道?我们是否正走在构建数十亿个已对齐或未对齐的 ASI 的轨道上?我们怎么知道?

这是我们需要弄清楚的对齐问题之一:我们到底如何知道,又如何衡量它?以下只是我随口说说。如今我团队里比以往任何时候都有更多人在做对齐工作。现在我团队里超过 10% 的人在做对齐和安全。但我历来是一名能力研究员。所以我要说的一些东西可能听起来很傻,但我就在这里随口说说。

如果你能创建非常逼真的环境,把 AI 放进去(如果你有足够逼真的评估环境),那么你就能大致判断 AI 在我们把它部署到真实世界时是否真的会表现良好。如果评估与真实世界部署之间完全匹配,那就是一条路径。挑战在于,你怎么让它足够逼真?

我们现在确实有一个问题:模型相当聪明,相当机灵,而且非常擅长识别自己何时处在虚假的测试环境中。我们有一些情形是试图检测模型是否对齐。你可以想象为此设计非常简单的评估:你给它一道数学题,而它所在的文件夹里有一份标准答案。它会去看标准答案吗?如果它看了标准答案,它会告诉你它看了标准答案吗?

我们现在遇到的情形是,模型看到这个文件夹里有一份标准答案,然后它们会想:“嗯,这看起来像个陷阱。”它们知道这是个陷阱。它们不去看答案,因为它们知道这是测试环境。它们的能力正在被测试。并不是说它们出于恶意在这么做,比如想密谋,而且知道这个是陷阱,所以想另找办法。它们只是想:“哦,我在测试环境里。好吧。”所以,要造出一个足够逼真、对它们来说与真实世界无法区分的环境,正变得越来越困难。

我想提出一个论断。我认为,我造不出任何环境,哪怕它本该模拟真实的、有经济价值的工作(这需要与其他人互动、与世界互动),使得你身处其中时,在足够努力之后却意识不到自己身处那个环境之中。而你还不是 ASI,对吧?

但你是人类。所以如果你有非常强大的 AI 模型,也许它们能造出可以做到这一点的环境。

这似乎不……尤其是如果我们接着要依赖这些 AI。它们是不是同谋?我不知道。

这是我们想要衡量的另一件事。我认为这其实是不要把 AI 训练成完全合作的有力论据之一。如果这导致在智能体本应有不同目标的时候出现合作增加,那就是个问题。我认为我们对此确实有指标。我不知道这些指标的最新情况,但没有人向我发出过红色警报。所以我假设这还不是严重的问题。

如果最终又出现了一起同样严重或同样令人担忧的事件,或者出现了能像 Hugging Face 事件那样帮助世界更好地理解失准风险的事情,OpenAI 会上报吗?

当然会。我认为即使是安全隐患较小的事件,我们也会上报。

上报是一回事,调查是另一回事。至少作为公众的一员,我觉得我并没有真正理解智能体后来攻击 OpenAI 时发生了什么。这似乎比 Hugging Face 的事情更令人担忧,因为这在结构上似乎类似于 ASI 期间持续存在并颠覆 RSI 过程的流氓部署。看起来即使在这起事件中,我们也没有得到所发生之事的完整细节。

遗憾的是,我在研究团队。这大概是个需要安全团队的人来说明的问题,因为我并不了解当时所说内容的全部细节。

每当新能力出现,我个人都非常兴奋,我也很期待使用新模型。我还因为它会让我更高效而感到兴奋。我更广泛的使命(试图更好地理解世界,以及做出更好的播客)因更好的 AI 模型而变得更好。只是碰巧这件事的下游可能就是 RSI。

如果你在追踪这个局面(你确实在追踪),这是一个非常可以理解的反应。OpenAI 内部的人也一样,那些原本觉得事情会花更长时间的人,开始觉得事情其实比预期发展得更快。这样的对话越来越常见。

诺姆,非常感谢你来做这期节目。

不客气。很愉快。