关于 Sutton 访谈的一些想法

这是 Patel 在 Richard Sutton 访谈引发听众大量反应之后写的一篇梳理。它的结构很重要。他先承认这期节目引来了多少讨论，说自己现在对 Sutton 立场的理解比访谈当时清楚得多，并预先为可能的错误或误解向 Sutton 致歉。这个开场定下了全篇的调子：它不是为 LLM 辩护、去驳一位批评者，而是先把批评讲到最强，再精确指出分歧究竟在哪里。

让步放在最前面，而且相当实在。Patel 把 Sutton 立场的最强版本复述成五个环节：苦涩的教训讲的是能有效、可扩展地利用算力的技术，而不是不加区分地花算力；花在 LLM 上的算力大部分用于部署，而部署期间它什么都没学到；训练本身效率极低，消耗掉相当于数万年人类经验的量级；训练中学到的一切都来自人类数据，包括那些由人搭好的 RLVR 环境；由此得到的智能体从未通过与世界的有机、自主互动来学习。