AI 中心的那个数据黑洞

Patel 用一个定义重新组织了关于 AI 进步的常见叙事。按这个定义，智能就是样本效率：在一个领域里，你需要看多少数据才能流畅、称职地做事。接下来的判断对主流叙事并不友好——过去几年，训练样本效率是否有明显提升并不清楚；真正发生的是数据分布被大幅拓宽和改善。

他给出的机制是：AI 之所以变强，主要靠加入更多、更好的数据，以及扩大用于生产这些数据本身的算力。强化学习是最清楚的例子，而他对它的描述有意偏“降温”：强化学习就是一种合成数据生成。你对着验证器投入大量算力来找出“好”数据，然后训练模型去预测这些正确的轨迹，方式很像训练它预测互联网文本里的下一个词。

这个说法里有一个前提，承担了全文大部分重量：要让这个过程起作用，模型必须对正确答案已经有某种非零概率。这正是为什么，用 Patel 的说法，你需要“拉伸心智的量级”的人类专家轨迹，覆盖你想让模型胜任的每一个领域和技能。你没法教模型去找一个它还想象不出的答案。