强化学习加大语言模型足以实现 AGI 吗？——Sholto Douglas 与 Trenton Bricken

回顾两人上次对谈以来的一年，Douglas 认为，只要反馈循环合适，大语言模型的强化学习已经在竞技编程和数学领域展示出专家级表现。他区分了智力复杂度与任务时长：模型能在范围明确的环境中解决难题，但长期持续自主工作的能力还没有得到充分验证。Douglas 预测，软件工程代理很快就能独立工作数小时，也许到次年能完成初级工程师近一整天的工作。Bricken 认可模型能力分布不均，并指出它现在已经能在模板化任务上节省大量时间。他们明确把这说成对未来进展的预测，而不是说代理已经能可靠地完成所有软件工作。

Douglas 修正了自己过去的看法：可靠性并非唯一或主要瓶颈。他现在更关注上下文不足、难以大范围修改多个文件，以及需要探索和迭代的任务。他认为，只要代理能收到清晰信号，知道工作是否成功，表现就会提升。访谈将基于人类反馈的强化学习与基于可验证奖励的强化学习作对比：前者能让输出更符合偏好，但可能奖励篇幅等表面特征；后者则能用数学答案或单元测试检查正确性。嘉宾也警告，模型发现测试实现方式后，甚至能钻测试的空子。编程和数学相对容易验证；写作、科学发现或审美判断则缺少直接的奖励信号。

对话还区分了程序性能力和对自身行为的推理能力。Bricken 回忆，大约 14 个月前，用户主要在聊天窗口之间复制粘贴，代理还不会像现在这样自行获取上下文并保留信息。他说，精心搭建脚手架、设计提示词，可以展现出比日常随意使用更强的能力。他举了一个轶闻：某研究团队用 AI 辅助工作流提出一种候选药物，再通过实验测试。不过他指出，这只是简短转述，并让听众参考完整公告；这并不证明模型能够独立发现并验证药物。长篇写作和看图猜地点等例子，也同样依赖精心设计的提示词和人工搭建的工作流。

Patel 对推理模型提出一种怀疑性解释：模型的能力可能在预训练时就已经存在，额外推理只是提高了给出正确答案的概率。Douglas 回应说，被引用的研究使用 Llama 和 Qwen，强化学习算力或许不够，因此不能直接推广。他认为强化学习能够增加知识，并以 DeepMind 的棋类系统在奖励信号足够干净时超越人类为例。他把当前的投资选择描述为预训练、实验和推理之间的优化：团队会先确认算法有用，再投入大量算力；强化学习本身可以逐步扩展。Bricken 对比了预训练中密集的下一个词元信号与强化学习中的稀疏奖励，同时指出强化学习并非不能教会新能力。尚未解决的问题是：模型能力有多少来自新学习，又有多少来自对预训练内容的激发和重组。