AGI 还要 30 年——Ege Erdil 与 Tamay Besiroglu
AGI is still 30 years away — Ege Erdil & Tamay Besiroglu
嘉宾:Ege Erdil、Tamay Besiroglu
精读 · 按主题梳理核心观点、论证与案例。
§01“智能爆炸”是一个不完整的类比
Tamay 认为,把 AI 进步称为“智能爆炸”,就像把工业革命称为“马力爆炸”:这只强调一种可测量能力,却忽视了推动生产转型的互补变化。工业革命不仅带来了物理动力,还改变了农业、交通、金融、法律和城市化。同样,高能力 AI 可能只是转型的重要组成部分之一;其经济影响还取决于其他产业与体系能否同步变化。
双方对分歧的讨论具体落在“远程工作者何时能被完全替代”这个时间问题上。如果“直接替代”意味着 AI 能做所有远程工作,Ege 估计要到 2045 年左右;Tamay 更乐观一些,但说预测取决于如何定义完全替代。Dwarkesh 提到推理和编程近期进步很快,而 Ege 认为,仅凭可见进展外推,并不能确定整个经济何时实现自动化。
§02能力里程碑、算力与经济瓶颈
嘉宾们提出一种基于能力的时间线分析方法。Tamay 说,从 AlexNet 以来,训练算力增长了大约九到十个数量级,并伴随若干重大进展:复杂游戏、语言、抽象推理、编程,也许还有数学。如果全面达到人类水平还需要长时间连贯性、自主性和多模态理解等能力,过去突破的速度可提供参考。但早期进步也受益于算力快速扩张;如今能源、GPU 供应和数据中心基础设施逐渐成为限制,算力扩张越来越困难。
Dwarkesh 指出,目前 AI 建设在 GDP 中仍占很小一部分,先进制程芯片也并非主要用于 AI。嘉宾们认为,解锁更多能力可能还需要大量投资,并提出经济是否能支撑这种扩张的问题。Ege 还质疑当前模型已经接近完全胜任远程工作的说法:他认为,电脑操作系统连订机票这类普通任务都应对不好;单项任务成功也不等于整个工作岗位实现自动化。
订机票的例子凸显了自动化一项任务与自动化一个岗位之间的区别。旅行代理可能会订机票,但这或许只占其工作的一小部分,还需要整合许多其他任务。Ege 认为,这是他与较乐观预测之间的重要差异:许多岗位所需能力远超最直观、可见的那项任务。
§03现有模型只是需要“解除束缚”的智能吗?
Dwarkesh 提出“解除束缚”的假设:现有模型可能已经包含相当广泛的智能,只是受训练数据有限、上下文较短、缺少推理时思考和工作背景等因素限制,无法发挥生产力。他以 ChatGPT 的后训练和推理模型为例,说明看似不多的额外训练有时能解锁显著能力。Tamay 回应说,AlphaZero 等优秀系统并没有只靠增加文本和上下文就变得通用;获得新能力可能需要改变训练方法。
Tamay 提醒,不要因为某项能力最后阶段似乎只花了少量算力,就判断它容易实现。推理模型依赖多年积累:大规模硬件、互联网规模的训练数据、更快的推理和蒸馏。看似简单的最后一步,建立在深厚的技术栈上。他承认,未来行动能力也可能在事后看来很简单,但让模型成为胜任工作的智能体,可能需要多年互补创新。
Ege 以 AlphaGo 和 AlphaZero 为例,提醒人们不要假定狭窄能力的成功会广泛迁移。它们在游戏中的成功并未使其成为胜任数学任务的智能体。因此,他怀疑当前大语言模型能否仅靠类似于推理能力的渐进添加,就普遍获得行动能力。讨论没有排除未来方法能解锁这种能力,但强调了双方的分歧,而非给出结论。
§04长期行动能力不等于一组简单任务
嘉宾们区分了完成一个有边界的电脑任务,与能长时间持续执行一串行动的智能体。Dwarkesh 提到 METR 评测:模型能完成的任务时长似乎每七个月翻一倍。他问,如果外推这个趋势,到 2030 年模型能否完成需要人类耗费一个月或一年的任务。他还认为,人们可能高估了推理的复杂度:思维链方法只需较少额外算力就能带来显著提升。
Ege 承认 AI 已经能完成困难的推理任务,但强调国际象棋、围棋和《星际争霸》等游戏处在狭窄且固定的环境中。系统在特定游戏里应对出色,并不代表它获得了通用感觉运动技能或学习陌生游戏的能力。《宝可梦》的例子凸显了这一差异:Claude 可能知道玩家在月见山该怎么走,但真正操作时仍会卡上 48 小时。明确的知识不会自动转化为胜任的行为。
§05什么证据会改变他们的预测?
Tamay 说,有几类进展会让他更乐观:可靠的长上下文和多模态推理、跨系统整合,以及能持续行动并完成漫长陌生任务的能力。一个具体测试是,让 AI 在几乎没有训练资料的情况下通关一款新发售的 Steam 游戏。他也将 OpenAI 收入视为可能的信号:1,000 亿美元目标他觉得相对可能,而 5,000 亿美元则会大幅改变其看法。Ege 和 Tamay 提醒,对某种产品愿意付钱并不能单独证明它会改变经济。