Dario Amodei: 达里奥·阿莫代伊：指数增长即将走到尽头

阿莫代伊认为，过去三年模型能力的进展大致符合他的预期：模型从聪明的高中生水平，提升到大学生、博士生和专业人士的水平，编程能力则更进一步。令他意外的不是技术进步，而是公众仍把注意力放在旧有政治争论上，没有意识到指数增长可能正在接近一个重要拐点。他所说的“终点”不是模型即将停止进步，而是这条长期曲线正接近能力发生剧变的阶段。

他以自己 2017 年提出的“大块计算假说”为这一判断提供依据。他认为，进步的主要驱动力包括原始算力、数据的数量和质量、训练时长、可扩展的目标函数，以及保持计算稳定的归一化或条件化方法。在他的解释中，预训练和强化学习并非根本不同的过程：前者从广泛文本中学习，后者让模型在众多目标任务上训练。阿莫代伊说，预训练缩放定律仍持续带来提升，强化学习也呈现相似趋势。他举例称，数学竞赛表现会随训练时长呈对数线性提升，并补充说这种趋势不限于数学。

采访者提出了样本效率方面的质疑：如果模型具备人类学习的核心，为什么还需要高昂的数据、算力和定制环境，逐项教它使用 Excel、PowerPoint 或浏览器？阿莫代伊承认这确实是个难题，但认为强化学习环境的作用类似早期的大规模互联网预训练：目标不是教会每一项具体技能，而是通过广泛任务促进泛化。他把这与 GPT-1 的狭窄训练分布转向 GPT-2 的互联网数据相类比，并认为强化学习也可能从数学任务逐步扩展到编程及其他领域。

尚未解决的分歧，是模型训练与人类学习之间的距离。阿莫代伊指出，预训练使用数万亿个 token，远超一个人能接触到的文本量，因此二者的样本效率并不相同。他提出一个暂定的层级类比：预训练和强化学习可能处于进化与即时人类学习之间，而上下文学习则介于长期学习和短期学习之间。模型能在长上下文中适应，并不代表它已经能像人一样在工作中持续积累背景知识；阿莫代伊明确表示，他还没有完整答案。

讨论转向 AGI 的时间表。双方都预期模型能力会不断扩大，但他们侧重于不同问题：在可验证任务上的表现，能否泛化到复杂且开放式的工作？阿莫代伊估计，十年内出现“数据中心里的一国天才”的概率为 90%，并认为端到端编程可能一两年内实现。对于难以验证的任务，例如规划火星任务、作出基础科学发现或写小说，他仍保留不确定性。采访者提醒，即使模型擅长可验证领域，软件工程仍包括设定目标、长期设计和撰写高层次方案。

阿莫代伊把软件工程自动化描述为一条光谱：模型先编写大部分代码，再承担更多端到端任务，之后才可能减少对人类工程师的需求。他说，在某些场景里模型已经编写约 90% 的代码，但这远不等于淘汰 90% 的软件工程师。采访者要求采用更有意义的指标：不仅要看代码由谁写，还要看整体生产力提升多少，以及模型能否确定技术方向、理解背景、完成编译、配置环境、测试并编写设计文档。双方讨论的是自动化的不同层级；单一的“AI 编码占比”无法代表就业或生产力的变化。