OpenAI 首席科学家 Ilya Sutskever——为什么下一个词元预测可能超越人类智能

本期节目开篇就是一个承诺加一张议程清单。Dwarkesh Patel 造访 OpenAI 位于旧金山的办公室，与其说是一场对话，不如说是一份承重问题清单：AGI 还要多久才到来、模型是否正被外国政府滥用、生成式模型之后会是什么、AGI 之后的生活是什么样、与微软合作的现实算计以及与谷歌的竞争，还有对齐一个超人系统的难度。这套框定方式对全场的阅读方式有影响，因为 Sutskever 回答每个问题时都处在同一个语域里：简短、留有余地，并且刻意不做过度断言。Patel 的第一个问题其实不是问题，而是一句带着陷阱的恭维——能在自己领域做出一次定义性突破的科学家本就稀少，能在一生中做出多次彼此独立的突破的更少——Sutskever 的回答浓缩了他整套方法论的要点。他拒绝解释天赋这件事，而把整件事重新框定为努力而非洞见。其含义是：这个领域里决定性的优势将属于最拼命的那个人，这既可以是一句自谦的话，也可以是一句宣战的话，而他刻意让两者都留着余地。

能在自己领域做出重大突破的科学家并不多

放在语境里看，他这次回避其实起了实质作用。如果突破是纯粹努力的下游结果，那么再多的安全或战略层面的审慎推理也无法替代 grind 本身，真正重要的指标是谁能在实验台前坐得最久。这同时也预先挡掉了后面关于“这些回答在多大程度上可以当作预测来信任”的所有讨论：他从第一分钟起就在示意自己不会给出经过校准的概率。Patel 随后追问——同样这些时间，或许有比坐在实验室里更值得做的事——这一点始终没有得到正面处理。对话随即进入第一个实质性问题，而采访者关于部署的框定，成了本期节目真正的开篇论题。

第一个实质性问题相当尖锐：GPT 已经公开可用好几个月了，为什么看不到更多明显的滥用——为什么没有更多外国政府用它大规模搞宣传，或者对老年人群体实施诈骗？Sutskever 的答案里叠着三个不同的假设，而他给出它们的顺序本身就值得注意。他先说滥用可能只是还没到那个量级，接着立刻承认如果此刻正在发生一部分这样的事他也不会意外，然后才给出那个合理的机制：对手方会去用开放权重的模型，而不是托管 API——恰恰因为开放模型部署起来不会留下服务方能观察到的痕迹。因此安全问题和 API 问题是结构上不同的两类问题，而 Sutskever 把后者当作更可能的那个。

我完全可以想象他们会拿一些开源模型，试图把它们用于这类目的

被追问这是否只是因为对手方还没想透，他又给出两种可能性，而且没有排序：他们可能还没用自有技术基础设施把它规模化做起来；也可能已经在发生了——他称之为“挺烦人的”。随后他用异常干脆的肯定回答了“这种活动能否被追踪”这个问题：大规模追踪是可能的，是的，但这需要专门的行动。最后这半句才是重点。它承认追踪不是一个常规的数据分析问题，而是一个情报问题——这意味着隐蔽的成本远低于侦查的成本，于是均衡状态就是持续存在、且无人能够完全审计的低烈度滥用。他完全没有讨论这种追踪在制度层面需要什么。而值得留意的是，Patel 提出的两个担心中，外国对手提取模型权重并逆向出能力，是战略上更严重的那个，Sutskever 却把它当作整个领域的问题而非 OpenAI 一家的问题——并且用更少的篇幅带过。

从这里开始，访谈转向经济学，而 Patel 提出的核心谜题是关于时间而非量级。AI 已经具有巨大的经济价值，但问题在于：在 AGI 到来并压垮类人劳动的市场之前，当前这一类价值还能维持多久。Sutskever 的回答是，这个问题部分无法回答，因为它取决于你把 AGI 的定义画在哪里——他用一个刻意泄气的观察来举例：普通大学本科生就够格了——也部分是因为一个众所周知的偏差：正在做某项技术的人往往乐观，因而倾向于低估实现它所需的时间。他用来校正的思维实验是自动驾驶汽车：系统看起来什么都能做，但可靠性明显还没有解决。

我们还需要再做些工作，才能真正把各种问题都理顺，让它变得真的很好、真的可靠、真的稳健、行为得体

他回答里的微妙之处在于对事后视角的重新框定。他论证说，窗口之所以在事后显得短，只是因为每一年都比前一年更大；而这会造成一种系统性偏差，让人以为窗口正在收窄，实际上复利效应意味着 AI 的经济贡献在 AGI 到来之前会逐年增长。所以这个窗口不是在变窄；它是在绝对量上扩张，同时在时长上仍然有限。这是一个确实不显而易见的论证，也正是行业辩护方想说、而怀疑者会想检验的那一类。

当 Patel 追问 2030 年 AI 占 GDP 多少时，Sutskever 的回答是全片方法论意味最强的一刻。被要求给出一个上下限时，他拒绝了，并用一句理应被更多引用的话解释了原因：

我的误差棒是对数刻度的

一个对数刻度的答案不是回避，而是关于不确定性形状的断言：2030 年 AI 经济贡献的合理区间跨越若干个数量级，任何点估计都是虚假的精确。真正有意思的是他接下来说什么——他先接受了 Patel 设定的反事实前提，即创造出来的价值最终小得令人失望，然后指出原因。是可靠性。不是能力，不是采用率，不是监管，而是输出足够正确、正确到可以在无人监督下被信任这一项平淡的工程属性。

这确实会严重抑制这些系统所能创造的经济价值

这是个好答案。可靠性是最难扩展的失效模式，因为它会同时折损其他每一项改进的价值：一个有九成时候是对的模型，依然需要人去核查每一个答案，而核查成本不会随模型一起缩小。这个论证的软肋是，Sutskever 把可靠性当作纯技术问题，而不是一个与验证基础设施和责任归属纠缠在一起的问题。同时还要注意，采访者的框定里藏着一个 Sutskever 并不接受的隐含前提：一个技术成熟但可靠性不足的系统，似乎和 immature 系统是两回事。他直接否掉了这个区分——这些系统在技术上会是成熟的，只是它们是否足够可靠还是个问题——而 Sutskever 的回应把这个区分直接压掉了。

本期节目最核心的技术问题，就嵌在标题里：下一个词元预测真能超越人类智能吗，还是说它本质上是一台模仿机器，永远只能做到与人类持平？Sutskever 的立场是：怀疑论的读法是把方法的表层描述照字面理解所产生的错觉。标准的反驳是：预测就是模仿，模仿无法超越其范本，因此下一个词元预测的天花板就是人类水平。他的反驳之道，是换一个方式来向模型提问。不要问网络“普通人会怎么做”，而要问“一个拥有非凡洞察力与能力的人会怎么做”——这样的人也许并不存在，但他的行为仍可从那些确实存在的人的行为中插值出来。

我要挑战“下一个词元预测无法超越人类表现”这个说法