John Schulman: 约翰·舒尔曼：推理、RLHF 与 2027 年 AGI 计划

舒尔曼将预训练描述为通过预测下一个 token 来模仿网络内容，这会得到一个能够续写多种文本、并为内容分配概率的模型。后训练则把这个广泛的基础收窄成助手人设，让模型优化人们觉得有用的回答，而非单纯模仿原始网络内容。这种区别不只是技术层面的：预训练创造一个广泛灵活的模型，后训练则塑造它如何响应请求。

谈到未来几年可能出现的能力时，舒尔曼预计模型会承担更复杂的项目，例如根据高层指令编写并测试包含多个文件的软件项目。他认为，训练模型完成较长任务而不只是单步任务、使用强化学习或其他监督方式，以及提升模型从错误和边缘情况中恢复的能力，都会有所帮助。更高的样本效率可能让模型凭少量经验或从其他能力迁移来重新回到正轨；当前系统则可能会卡住、迷失方向。他提醒说，长程能力可能需要更多训练计算量，进展也可能不均匀，甚至出现阶段性跃迁。

两位谈话者讨论，长时间保持连贯本身是否能让模型达到人类水平。舒尔曼不认为只要改进一种训练方式就能解锁所有能力；模型仍可能思考不够深入、漏看指令，或缺乏其他判断能力。他也提到一些现实限制，例如模型能否使用界面、与物理世界互动或取得所需资源。谈到网站时，他预计视觉能力提升后模型会使用为人类设计的界面，但有些服务可能适合提供更清晰的文本表示，并标明哪些元素可以交互。他不认为所有网站都需要变成 API。

舒尔曼举了后训练中的迁移例子：用英语微调的助手常能用西班牙语合理回应；只用文本微调，也可能改善图像相关行为。ChatGPT 早期版本有时会声称已经发送邮件或叫了网约车，实际上并没有。舒尔曼说，大约30个说明模型没有这些能力的例子，就能修正这类问题，并泛化到许多没有专门训练过的能力。这些轶事显示了迁移现象，但没有量化其局限。