人工智能中心的数据黑洞

智能的一种定义是样本效率,也就是说,在某个特定领域里,你需要看到多少数据才能流畅而胜任地开展工作。我们并不清楚,过去几年里我们在训练样本效率上是否真的取得了多少进展;更像是我们大幅拓宽并改进了数据分布。

AI 变得更强的主要方式,是加入更多、更好的数据,并扩大算力来首先生成这些数据。显然,强化学习(RL)是实现这一点的主要手段。你可以把 RL 看作一种合成数据生成:你针对一个验证器投入大量算力,以找出“好”的数据;然后训练模型去预测这些正确的推演轨迹(rollout),这与训练模型预测互联网文本中的下一个词的方式大致相同。

要让这个过程奏效,模型至少必须事先有一定概率能预见到正确的解法,这就是为什么在你希望模型胜任的每一个领域和每一项技能上,你还需要数量多到令人难以想象的人类专家轨迹。

很难夸大这些人类专家数据在任务上有多么专门、多么量身定制。如果你想获得一些直观感受,可以去看看 Mercor 或 Surge 网站上的职位描述。那里有招聘文字处理专家的列表,他们负责把遗留文档转换成精美的 Word 文件;有法律专家,负责撰写逼真的并购尽职调查或证券申报文件;有管理咨询顾问,负责撰写模板化的市场研究;此外还有几十种其他特定类别。

不仅这些数据必须如此针对特定领域,而且数量还必须极其庞大!每一项技能至少对应数百名人类专家,他们要生成示例答案、撰写评分细则,并解释自己的思维链。生产这些专家标注(以及让这些被细致编目的技能得以凝结的 RL 环境)的数据产业,每年营收已达数十亿美元,很快将达到数百亿美元,这是有原因的。

想象一下,如果你要学会如何美化一份 Word 文件,却需要花上几十年的课程时间,有数百位教授同时授课,还要完成数百万项练习任务。即便是任务数量上的差距,也还是低估了这道鸿沟:模型要啃的任务数量要多得多,而且每一项都难得多。一个人类学生做一道教科书习题也许只练一两遍,而 GRPO 会让模型为每个任务生成数百到数千条推演轨迹。我们正在打造某种弗兰肯斯坦式的怪物,由十亿块精心构建的示例拼接缝合而成。

Epoch 最近报告称,开源模型仅比最先进的闭源模型落后 4 个月。我认为,开源模型和先前的落后者之所以能相对容易地在几个月内追上前沿,原因在于数据才是进步的真正驱动力。数据可以很容易地从公开 API 中蒸馏出来,而超参数、训练技巧和架构上的微优化则做不到这一点;如果后者才是进步的主要推动力,那么追赶就会比我们实际观察到的困难得多。

人们很容易忘记这些模型是在多么海量的数据上训练出来的,又比我们人类一生所见的数据多出多少。我们把这些 AI 看作一个闪烁着各种能力的星系,但在它们的中心,肉眼不可见、把所有星座维系在一起的,是一个大到难以想象的数据黑洞。

- 如果一个人平均每小时听到和看到约 2,000 个词,那么从出生到成年,他们会接触到约 2 亿个 token。相比之下,前沿模型是在数十万亿到数百万亿个 token 上训练的。这相差接近一百万倍。

- 一个人可以在几小时内学会遥控任何一台随机的人形机器人或机械臂。机器人产业之所以还没有成为一个数十万亿美元的产业、没有无穷无尽的宇树 G1(Unitree G1)大军在世界上做各种有用的工作,原因就在于我们的 AI 学习起来比人类低效得多,而且即使我们已经收集了数百万小时的示范数据,也不足以让它们完成复杂、开放式的任务。

- 一个青少年只需大约 20 小时的练习就能学会开车。即使把他们约 16 年积累的物理直觉也算作相关的训练数据,这也比 Waymo 和特斯拉训练其自动驾驶模型所需的数据量至少少了 3 到 4 个数量级。

我想回应针对这类比较的一些常见反对意见:

- 数十亿年的进化就是我们的预训练,所以拿我们一生中所见的那一点点数据,去和这些冷启动的大语言模型要学习的数据相比,是不公平的。

- 我们的基因组只有 3GB,其中大约 1% 至 2% 是编码蛋白质的。这根本不足以存储据说已经预训练好的模型参数(前沿模型的大小是以 TB 计的)。更贴切的类比或许是:进化找到了合适的超参数和损失函数(题外话:我曾与亚当·马布尔斯通(Adam Marblestone)做过一期很有意思的播客,他认为损失函数才是进化更重要的发现),而相当于参数训练的过程仍然发生在一生之中,并编码在一个人毕生建立起来的大脑神经连接图谱里。

- 即便我们可以把预训练一个基础模型所需的数万亿 token 解释为追赶进化的成果,这也无法解释为什么边际能力需要如此多的数据——一旦你受过教育,你学一门新的编程语言并不需要 100 位不同的教授,但 AI(即使已经过预训练)却需要。

- 这些比较没有包括我们一生中所见的多模态数据。如果把所有这些感官信息都算进去,从出生到成年,我们大概处在数百亿到数千亿 token 的范围。

- 盲人或聋人被切断了这类感官信息,他们可能在相应的感官上不够熟练,但拥有与其他人相同的通用智能。这表明,所有这些数十亿的感官 token 并不是真正让人类变聪明的东西。

- 事实上,只能通过手语和阅读(而不是听觉)交流的聋人,所摄入的内容远少于我们先前算出的 2 亿个语言 token,而即便如此,这也足以让他们成为完全的通用智能体。

- 缩放定律告诉我们,更大的模型样本效率更高。人脑有 100 万亿个突触——如果每个突触约等于 1 个参数,而前沿模型目前大约有 5 万亿个参数,那么也许再把参数规模扩大一两个数量级,我们就能达到人类水平的样本效率。

- 缩放定律方程的工作方式是:参数项和数据项各自独立地加到损失中。假设你有一个按计算最优方式训练的模型,然后问:如果我只想最大化样本效率、使用更少的数据,并且愿意加入任意多的参数来实现这一点,会怎样?采用 Chinchilla 缩放定律论文中的常数(即使常数不同,结果的性质也不会改变),哪怕把参数数量增加到无穷大,要保持相同的损失,所需数据量也只能减少约 10 倍。而人类的样本效率比这些模型高出数千到数百万倍。仅靠扩展当前的模型,根本无法弥补这一差距。这确实表明,人类处在一条完全不同的缩放曲线上。

但你可能会问,样本效率为什么重要?各家实验室有两个压倒一切的目标:实现白领工作自动化,以及实现 AI 研究本身的自动化。这两者中,有哪一个必须达到人类水平的样本效率吗?

在白领工作上的赌注是:软件工程师、分析师或会计师所做的常见任务,嗯,就是常见的。我们可以通过 RL 和监督微调(SFT)相当容易地把常见任务纳入分布之内。这些 AI 实验室的营收曲线表明,即使我们没有复制人类的样本效率,把任务纳入分布之内也能带来巨大的价值。

没错,训练 AI 去做这些任务,比训练人类低效得多。但那又怎样?人类的寿命不允许经历这些模型所经历的训练量和广度。如果你作为一个人有某种奇怪的学习障碍,需要通读 GitHub 上的每一个公开代码仓库才能成为一名合格的开发者,那么培养你就毫无意义。你在受教育的早期阶段就该领社保了,而且即便受训完成,你一次也只能做一个项目。但 AI 可以通过一次性灌入吉瓦级的训练算力来学会这些技能。而且它们学到的东西可以分摊到数十亿次会话上,所以我们在训练它们时可以低效得离谱,却仍然稳赚不赔。

白领员工需要进行多少无法事先训练的“分布外”思考?这更多是关于不同工作性质的问题,而不是关于 AI 研究的问题。这也取决于具体工作:有些工作足够机械、可预测,早在现代 AI 时代之前就已被自动化了,比如银行柜员或旅行社代理。也有另一些工作,需要每天处理与数据分布相距甚远的问题。即便是软件工程(AI 本应最先取代的工作)也是如此。我愿意打赌,到 2028 年,对人类软件工程师的总体需求会比现在更多,这在很大程度上要归功于 AI 的互补性投入。

各实验室对后一类工作的计划,是先实现 AI 研究的自动化,然后让自动化的 AI 研究员去解决样本效率问题。所以问题就变成:不具备人类水平样本效率的 AI,能否仍然解决通往类人智能与学习道路上剩下的研究难题?

这个问题我会在以后的博客文章中讨论——我认为人们目前看待智能爆炸的方式相当笨拙。要么有人干脆否定 AI 加速 AI 进步的可能性,要么只是假设最后会冒出一位上帝。人们并没有去推理:一种极其迅速的进步、但起点是大语言模型,会是什么样子。

感谢 Mercury 赞助本文!Mercury 是我使用的银行平台,他们刚刚发布了一项名为 Command 的新 AI 功能。由于我已经用 Mercury 来运营我的几乎整个业务,Command 能够获取它完成实际工作所需的全部信息。我可以让它发送发票、给支出分类,甚至转账……Command 都能直接搞定。详情请访问 mercury.com/command