持续学习时代的 8 个预测

我在别处解释过为什么我认为需要持续学习。我不认为,如果 AI 只能在一次次会话之间写 Markdown 文件来传承信息,它们就能像人类一样胜任整份工作。

举个例子来说明:假设学生学萨克斯风的方式是这样的——第一个学生从零开始尝试吹奏,第一次练习结束后,她写下一堆笔记;然后在音乐厅外等候的下一个同样从没碰过萨克斯风的学生,先读完所有笔记再去尝试吹奏,如此循环下去。即便门外有无穷无尽的萨克斯风“新手”排队,可以一个接一个地给下一个人留笔记,也不存在任何一段他们共同写出来的文字,能让门外的第 N 个学生第一次上手就吹得熟练。到了某个时刻,你必须把经验积累进大脑里。我认为,对于我们希望 AI 在它们被部署到的各种工作场景中学会的许多技能和知识,情况也是如此。

好,那么一旦有了持续学习,AI 会发生哪些变化?

- 目前提出的许多 AI 监管方案都假设:先训练一个模型,然后再部署。因此,只要在模型部署之前做一系列检查,就能确保它不会协助网络攻击或递归式自我改进。但如果基础模型每天都在根据它完成的数百万次工作会话而更新呢?这是我认为现在就锁定某种监管安全体制并不明智的诸多原因之一。我们连一年后会面对什么样的技术都不知道,更不用说五年或十年后了,而我们却可能固化一套陈旧、甚至可能适得其反的应对 AI 威胁的方式。如果政府确实想对模型提供商做某种安全评估,那么更合理的做法是每月或每季度进行风险检查,而不是单独挑出训练结束之后、部署开始之前的某个特殊时刻,因为在未来,这不会再是一个有实质区别的类别。

- 各实验室进行技术对齐的方式将需要彻底改变。目前几乎所有技术都聚焦于这样一个问题:如何让一组冻结的权重在部署期间表现良好。我不知道有多少研究关注这样的问题:即使权重在不断更新,如何保证 AI 系统永远不会被越狱攻破,也不会变成带有欺骗性或邪恶的人格。而如果 AI 还要在不同用户之间汇总所学内容,又该如何防止用户向基础模型植入后门或某种恶意倾向?从某种意义上说,这其实更接近人类的对齐问题——你的孩子出去学习新事物,有时会被疯狂的意识形态或毒品之类的东西一击即中——但你希望自己已经给了他们足够的常识和基本价值观,让他们能以自我引导的方式不断成长,而不会最终抱持某些极其怪异、厌恶人类的信念。

- AI 心智的多样性将会增加。目前,知名的 AI 心智不到 5 个,而且由于训练数据大致相同,它们彼此都非常相似。但如果 AI 从经验中学习,而且不同 AI 的经验各不相同,那么我们最终可能会看到真正各不相同的 AI。

- 当部署成为训练的一部分,领先的回报将加速增长。如果你拥有最好的模型,更多人用你的 AI 去做更复杂、更有用的工作,并给它大量反馈,让它能把这些反馈整合到会话窗口之外,那么你的模型会变得更加聪明。

- 如果模型主要从部署中学习,各实验室就会面临尽早部署其最聪明模型的压力。Anthropic 自 2 月起就在内部使用 Mythos,但直到 6 月才向公众发布这个模型。在持续学习的体制下,四个月的内外部时间差意味着放弃四个月的部署学习。更早发布的竞争对手在发布当天可能不如你的模型,但它能利用多得多的真实世界经验来变得更好。

- 持续学习将为领先的 AI 实验室建立一条目前它们所缺乏的清晰护城河。很多人一直在问,AI 实验室到底怎么赚钱?我在自己的播客里问达里奥(Dario)这个问题时,他拿云服务商作类比:云服务商同样提供许多无差异化的服务,却依然能获得很高的利润率。但云服务利润率之所以高,是因为从一家云服务商切换到另一家既耗时又昂贵。而目前 AI 模型并没有切换成本。没有什么能阻止我先用 Codex 创建一个软件仓库,再用 Claude Code 把它完成。但一旦有了持续学习,你所使用的模型会在一次次会话中随着与你的互动而真正变得更好,那么切换成本就会变得相当可观。如果你想更换所使用的 AI,基本上就等于要解雇一位已经积累了数月组织背景知识的员工,换上一位全新的员工,并且得从头开始培训。一旦被这样锁定,模型提供商就可以要求相当丰厚的利润率。

- 企业会对此心知肚明,并会设法避免这种锁定。但如果选择是:要么被锁定在某个模型提供商手里,要么就失去这项极有价值的功能——模型在一次次会话中为你持续改进——那该怎么办?如果真实使用最终成为模型改进的主要方式,那么实验室可能会补贴那些允许模型在其会话上训练的用户和企业,尤其是在困难且具有重要经济价值的工作上,就像谷歌免费提供搜索一样。反过来,实验室也可能表示,任何拒绝让其在自家会话上训练的企业,都无法使用最顶尖的模型。通过胡萝卜加大棒,实验室会设法让用户允许 AI 从经验中学习。我在这里略过了一个事实:更新单个用户的那一组权重,与把所有这些不同的权重分支汇集回主模型,是有区别的,后者在技术上可能更具挑战性,但假以时日,这个问题同样会被解决。

- AI 训练本身已经具有很大的规模经济(理论上预期如此的原因是,你可以把昂贵的训练成本摊薄到更多用户身上;实际证据则是,到目前为止,实验室的收入增长快于其算力增长)。但持续学习还可能为终端用户带来推理环节的规模经济,具体来自批处理——前提是各公司专属的信息需要完整的权重更新,而不是存放在低秩适配器中。粗略的估算表明,对于像 DeepSeek V3 这样的稀疏模型,最优的推理批大小大于 2,400(也就是说,除非你的模型同时生成这么多条序列,否则就是没有充分利用算力)。如果你想了解其中的原因,请去看我与赖纳·波普(Reiner Pope)关于推理经济学的完整一期节目。不过总之,这里的重点是:一组给定的权重,只有在数千条序列同时针对它进行解码时,才能得到高效的服务。一家大公司的员工和智能体所产生的并发流量足以达到这一规模,因此可以高效地服务其持续更新的权重分支;而一个以批大小 1 为自己服务的个人用户,可能要承受 100 倍以上的算力效率损失。所以,提供个性化权重的经济账,强烈地偏向大型组织。

等到持续学习真正可行时,还会有许多别的变化,而最重要的变化很可能恰恰是最难预料的。但上面这些,即使在今天看来也相当明确。