Leopold Aschenbrenner:2027 年通用人工智能、中美超级智能竞赛与历史的回归
Leopold Aschenbrenner — 2027 AGI, China/US super-intelligence race, & the return of history
Guests: Leopold Aschenbrenner
In-depth read · Key ideas, reasoning, and examples, organized by topic.
§01人工智能正成为工业规模的投资项目
Leopold Aschenbrenner 将前沿 AI 描述为一个工业流程,而不只是软件产品。每一代系统不仅需要代码,也需要更大的算力集群、发电设施,最终还需要半导体制造能力。他以英伟达数据中心收入的迅速增长,以及大型科技公司的资本支出,作为 ChatGPT 发布后加速已经开始的迹象。在他的叙述中,眼前的基础设施竞逐建立在一条更长期的趋势之上:近十年来,最大规模系统的训练算力每年增长约半个数量级。
沿着这条趋势外推,会得到巨大的基础设施需求预测。Aschenbrenner 估算,GPT-4 的训练集群约有 25,000 张 A100,成本约 5 亿美元,功率约 10 兆瓦。若趋势延续,他预测 2024 年将达到 100 兆瓦、相当于 100,000 张 H100;2026 年达到 1 吉瓦、100 万张 H100 等效算力,成本数百亿美元;2028 年达到 10 吉瓦、成本数千亿美元;2030 年则达到 100 吉瓦、耗资 1 万亿美元,并消耗超过美国用电量的 20%。这些是预测,并非已确定的投资计划。他也承认推理还需要额外 GPU,而且美国电力生产几十年来几乎没有增长。
§02投资逻辑取决于能力与收入增长
主持人追问能源限制,以及这类集群是否真的能够建成。Aschenbrenner 说,10 吉瓦规模的建设已经在规划中,并提到有关 OpenAI 与微软合作建设 1,000 亿美元集群的报道,以及 AMD 对 2027 年加速器市场规模达 4,000 亿美元的预测。他认为到 2027 年 AI 总投资可能接近 1 万亿美元,随着模型改变预期并产生收入,更大的集群也会随之出现。他用企业能否赚到足以支撑资本投入的收入来检验这一设想:约 100 亿美元收入或可支持 2024 年规模的训练,而每年耗资 1,000 亿美元的基础设施需要大得多的市场。他设想数亿办公用户订阅 AI 服务的可能路径,同时承认每月 100 美元并不便宜。
Aschenbrenner 估计,10 吉瓦集群可能产出真正的 AGI。他预测,到 2025 至 2026 年,模型能力可能超过大多数大学毕业生;到 2027 至 2028 年,则可能接近顶尖专家,像远程员工一样工作。他用“解除束缚”(unhobbling)描述当前模型虽有能力却受到限制,仍需获得计算机使用、长期规划和智能体行为,才能真正产生经济价值。中间阶段的模型也可能提高生产力,但要把它们融入工作流程,需要改变现有做法;能像随时可用的同事那样行动的模型则可能更容易采用。主持人以目前还没有像同事一样工作的模型为例提出质疑,并追问长期项目所需的训练数据从何而来。
§03测试时计算与自我学习仍是开放问题
Aschenbrenner 认为,测试时计算可能成为快速进步的来源。GPT-4 可以通过思维链推理数百个 token,而解决难题可能需要数百万 token,相当于人类数月的工作。当前模型在编程和调试时最终会陷入停滞,但他认为模型或许能够学会简单的规划和纠错行为。他提出两条通往智能体的路径:通过更大的模型提高可靠性,或解除系统束缚,让它们采用 System 2 式流程并持续进行测试时推理。扩展规模可能增强 System 1,而成功的 System 2 则可能带来更长且连贯的思考。
主持人质疑 System 2 是否只是一个容易添加的功能,指出只有少数动物具备这种能力,而进化形成它花了很长时间。Aschenbrenner 回应说,预训练形成的是丰富的世界表征,而非单纯的统计产物,因此模型能够泛化。RLHF 等后训练方法则可以把大量潜在能力塑造成有用行为。机器人领域有所不同,因为它缺少同样的预训练优势,更直接依赖强化学习和自我博弈。关键的经验问题仍未解决:自我学习与长程推理究竟能否通过相对简单的改动解锁,还是需要根本性的新方法。
§04自我学习可能把潜在能力转化为智能体
Aschenbrenner 认为,预训练给了模型一种自举优势,类似于人学会读书之后才开始独立学习。他把被动听课与通过反思、讨论、失败练习逐渐读懂难书作比较,认为模型也正接近后者。上下文学习的样本效率很高,而预训练则较低;强化学习可能把自主学习的成果重新蒸馏进模型权重。他说强化学习一旦奏效就很强大,但稳定训练并不容易,所需技术还需要继续研究,不会立刻出现。
预测中的智能体路径结合了持续扩展规模与“解除束缚”:教系统规划、评议草稿、纠正错误并进行更长时间的推理。Aschenbrenner 预计,仅靠扩展规模,到 2027 至 2028 年就可能带来类似 GPT-2 到 GPT-4 的能力跃迁。他认为当前模型在测试时计算方面仍有很大提升空间,可以让它们在难题上投入更长时间,甚至相当于人类数月的工作。主持人追问模型是否拥有理解长期项目所需的数据,Aschenbrenner 则提到规划与纠错 token 可能是简单的补充。他把两条路径区分为:以蛮力提高 System 1 的可靠性,或通过 System 2 支持连贯的长程推理。
主持人再次质疑 System 2 是否只是容易实现的工程改动,并指出动物中这种能力十分少见。Aschenbrenner 回应说,下一 token 预训练能学到丰富的世界表征,而不只是表面模式;RLHF 等后训练则能把潜在能力塑造成有用行为。他把语言模型与机器人作对比:机器人缺少同样的预训练基础,因此更依赖强化学习和自我博弈。对话仍未解决一个核心问题:这些方法能否通过小幅改动解锁独立推理,还是需要更深层的突破。
§05渐进的能力跃迁可能引发安全应对
Aschenbrenner 预计,AI 会逐渐从认知工作延伸到工业应用。自动化研究人员会先改进 AI 并解决机器人问题;工厂工人可能先借助 AI 指引工作,之后机器人再承担更多任务。随着能力更强的系统带来大量收入,并需要巨额能源和资本投入,他认为美国和中国的国家安全机构都会开始重视这一技术。他把这描述为一个中间阶段:随着能力和投资逐渐显现,人们会持续更新看法。这个过程并非从聊天机器人直接跳到超级智能,而是一个范围不断扩大的转型,并带来经济与地缘政治影响。
主持人与嘉宾将潜在的公众反应与 COVID-19 初期相比较:指数级增长可能已被少数人看见,但大多数公众和机构未能意识到它。Aschenbrenner 回忆自己在疫情期间还是 17 岁的大学三年级学生;主持人则追问是否会出现一个类似 2020 年 3 月的时刻,让人们突然意识到局势的严重性。主持人把未来的国家级 AI 行动比作新的曼哈顿计划,同时指出政治背景与战时击败纳粹德国并不相同。这里的历史类比是用于思考政治动员,而不是确定无疑的预测。
Keep reading as a member.
You've read the free preview. Become a member to read the rest, with side-by-side reading and downloads where available.