下一个大突破,是 AI 在工作中学习
The next big breakthrough will be AIs learning on the job
收听本集00:00 / 19:53
精读 · 按主题梳理核心观点、论证与案例。
§01谜题:电脑操作可验证,却进展缓慢
Patel 从一个看似绕路的疑问开场,而它其实是全文的骨架:电脑操作用起来显然可验证,为什么进展这么慢?在 Etsy 下单、把活动场地订齐、把税报了——成功与失败毫无歧义,可这个领域推进得远比同样可验证的编程和数学慢。
他列出常见的解释——预训练时高质量多模态数据少得多、视频更快吃满上下文窗口——然后点出他认为被低估的那一条:可验证还不够。一个领域还必须“可磨”,具体说就是你能对着确定、可重放的模拟器跑大量并行轨迹。编程符合这一点,因为你可以给一千个智能体完全相同的容器、一个仓库和一个待实现的功能。
电脑操作不符合,至少不是轻易符合。一千个智能体不可能同时去试亚马逊的结账流程,因为机器人会被检测并封掉。变通办法是把 Slack、Gmail 等常用应用克隆出来,Patel 称这在当下是劳动密集且不可扩展的做法——不过一旦模型能高保真地重建复杂应用,这件事就会变得可行,而这个流程顺便还是极好的编程强化学习目标。
他由此得出的推广才是关键:除非一个领域能提供高度可重放的训练目标,否则模型在其中很难进步。底层原因就是训练时的样本效率极低——这正是上一篇独白停下的地方。