OpenAI 首席科学家 Ilya Sutskever——为什么下一个词元预测可能超越人类智能

我去了 OpenAI 位于旧金山的办公室，向 OpenAI 的首席科学家兼联合创始人 Ilya Sutskever 询问了以下问题：

- 距离 AGI 还有多久

- 泄密与间谍

- 生成式模型之后是什么

- AGI 之后的未来

- 与微软合作，以及与谷歌竞争

- 对齐超人类 AI 的难度

今天我很荣幸地采访 OpenAI 的联合创始人兼首席科学家 Ilya Sutskever。Ilya，欢迎来到 The Lunar Society。

谢谢，很高兴来到这里。

第一个问题，而且不许谦虚。能在自己的领域做出重大突破的科学家并不多，能在一生中做出多次彼此独立的突破、并由此定义其所在领域的科学家就更少了，区别在哪里？是什么把你和其他研究者区分开来？为什么你能在这个领域多次突破？

谢谢你的美言。这个问题很难回答。我非常努力，把我能给的全都给出去，这一点到目前为止是有效的。我觉得事情就是这么简单。

明白。那么为什么 GPT 的非法用途并没有那么多？为什么没有更多外国政府用它来散布宣传，或者骗奶奶们？

也许他们其实还没有大量去做这件事。但我也不会对其中一些正在当下发生感到意外。我完全可以想象他们会拿一些开源模型，试图把它们用于这类目的。可以肯定的是，我会预期他们未来对此感兴趣。

从技术上说，可能只是他们还没把它想透？

或者还没能用他们的技术规模化地去做。也可能就是正在发生，那挺烦人的。

如果真的在发生，你能追踪到吗？

我认为大规模追踪是可能的，是的。这需要专门的行动，但做得到。

现在存在一个 AI 具有极高经济价值的窗口期，就说是飞机那种量级吧，但我们还没到 AGI。这个窗口有多大？

很难给出精确答案，而且它肯定会是一个好几年的窗口期。这也取决于你怎么定义。因为 AI 在成为 AGI 之前，会年复一年地以指数方式变得更有价值。

事后看，可能会觉得只有一两年，因为那两年比之前的年份更大。但我要说的是，仅仅去年，AI 就已经产生了相当多的经济价值。明年会更大，之后会越来越大。所以我认为从现在到基本实现 AGI，会有一段时间这一直成立，而且是一段相当长的时间。

好。因为我很好奇，如果有家初创公司在用你的模型，那么到了某个点，如果有了 AGI，全世界就只剩下一门生意了，那就是 OpenAI。任何一家企业还能有多长的窗口期，能做出 AGI 造不出来的东西？

这跟问“距离 AGI 还有多久”是同一个问题。很难回答。我不太愿意给你一个数字。也因为存在这样一种效应：那些乐观的、正在做这项技术的人，往往会低估实现它所需的时间。不过我让自己落地的办法是拿自动驾驶汽车来类比。特别地，有一个类比是：如果你看特斯拉的尺寸，再看它的自动驾驶表现，看起来它什么都能做。但同样明显的是，就可靠性而言仍有很长的路要走。我们在模型上可能处于类似的位置——看起来我们什么都能做，与此同时，我们还需要再做一些工作，才能真正把各种问题都解决掉，让它变得真的很好、真的可靠、真的稳健、行为得体。

到 2030 年，AI 会占 GDP 的百分之多少？

哎呀，这个问题非常难回答。

给我一个上下限吧。

问题是我的误差棒是对数刻度的。我可以想象一个很高的百分比，同时也可以想象一个令人失望的低百分比。

好，那我们取一个反事实：假设它是个小百分比。比方说到了 2030 年，这些 LLM 并没有创造太多经济价值。尽管你认为这不太可能，你目前最好的解释会是什么，说明为什么会出现这种情况？

我真的不认为那是一种可能的可能性，这是我要说这番话的前提。但如果你接受问题里的假设——为什么在现实世界影响上令人失望？我的答案会是可靠性。如果最后情况是：人们真的很希望它们可靠，而它们却没能做到可靠；或者可靠性被证明比我们预期的更难。

我真的不认为会是这种情况。但如果非要选一个，而你告诉我——嘿，为什么事情没成？我会选可靠性。就是你还得盯着答案、逐项复核。这一点确实会严重抑制这些系统所能创造的经济价值。

明白了。技术上它们会是成熟的，只是问题在于它们是否足够可靠。

嗯，从某种意义上说，不可靠就意味着技术不成熟。

对，说得在理。生成式模型之后是什么？之前你做的是强化学习。是不是就这个了？这是带我们走向 AGI 的范式吗？还是这之后还有别的？

我认为这个范式会走得非常、非常远，我不会低估它。很有可能这个确切的范式不会正好是 AGI 的最终形态。我不太愿意精确说出下一个范式会是什么，但它可能会涉及把过去出现的各种不同想法整合起来。

你指的是其中某一个具体的吗？

很难说得很具体。

所以你可以论证说，下一个词元预测最多只能帮我们达到人类水平，也许超不过？那要怎样才能超越人类水平？

我要挑战“下一个词元预测无法超越人类水平”这个说法。表面上看起来它不能。看起来如果你只是学会模仿、预测人们会做什么，就意味着你只能复制人类。但这里有个反驳论证，说明为什么情况可能并非如此。如果你的基础神经网络足够聪明，你只要问它——一个有深刻洞察力、有智慧、有能力的人会怎么做？也许这样一个人并不存在，但神经网络很有可能能够外推出这样一个人会如何行为。你明白我的意思吗？

明白，不过它从哪里获得关于“那个人会怎么做”的这种洞察呢？如果不是来自……

来自普通人的数据。因为你想一下，把下一个词元预测得足够好到底意味着什么？这实际上比看上去深得多。把下一个词元预测好，意味着你理解了导致那个词元产生的底层现实。它不是统计。嗯，它确实是统计，但统计是什么？为了理解这些统计、并把它们压缩掉，你需要理解这个世界里到底是什么造就了这组统计。那么你接着会说——好吧，我手上有所有这些人。是什么造就了人的行为？他们有思想，有情感，有观念，他们以某些方式做事。所有这些都可以从下一个词元预测中推导出来。而我要论证的是，这应当使得——不是无限地，但在相当不错的程度上——你可以说出：好吧，如果一个兼具这些特性和那些特性的人，你会怎么做？也许这样的人并不存在，但因为你如此擅长预测下一个词元，你仍然应该能猜出这个人会怎么做。这个假想的、想象出来的人，心智能力远超我们其余所有人。

当我们在这些模型上做强化学习时，还要多久，强化学习的大部分数据会来自 AI 而不是人类？

已经大部分默认的强化学习来自 AI 了。人类被用来训练奖励函数。然后奖励函数与模型的交互是自动的，强化学习过程中生成的所有数据都是由 AI 创造的。如果你看当前那套因 ChatGPT 而获得大量关注的技术/范式——基于人类反馈的强化学习（RLHF）。人类反馈被用来训练奖励函数，然后奖励函数被用来创造训练模型的数据。

明白。那么有没有希望把人类彻底从循环里拿掉，让它以某种 AlphaGo 的方式自我改进？

是的，当然可以。你真正想要的是，让教 AI 的人类老师与一个 AI 协作。你可以把它想象成这样一个世界：人类老师做 1% 的工作，AI 做 99% 的工作。你不希望是 100% 的 AI。但你确实想要人机协作，由人来教下一台机器。

我有机会上手试过这些模型，它们似乎不擅长多步推理。虽然一直在进步，但要真正突破这个门槛需要什么？

我认为专门的训练能带我们过去。对基础模型越来越多的改进能带我们过去。但从根本上来讲，我也不觉得它们在多步推理上有多差。实际上我认为，当它们不被允许把思考说出来的时候，它们在“心里算”的多步推理上很差。但当它们被允许把思考说出来时，它们做得相当好。我预计这会显著改善——既靠更好的模型，也靠专门的训练。

你们在互联网上用完推理用的 token 了吗？还够吗？

给这个问题一点背景：有种说法是，总有一天我们会耗尽用于训练这些模型的 token。是的，我认为这一天终究会到来，而到那时，我们需要有别的训练模型的方式，需要有别的办法来有效提升它们的能力、锐化它们的行为，确保它们完全、精确地做你想要的，而不需要更多数据。

你们还没把数据用完？还有更多？

是的，我会说数据的情况仍然相当好。还有很多可用。但到某个时候数据会耗尽。

最有价值的数据来源是什么？是 Reddit、Twitter 还是书？你会去哪儿训练更多其他种类、其他变体的 token？

一般来说，你会想要那些谈论更聪明事情的 token、更有意思的 token。你提到的所有来源都是有价值的。

所以也许不是 Twitter。但我们需要走向多模态才能获得更多 token 吗？还是说我们剩下的文本 token 还够用？

我认为纯文本这条路还能走很远，但走向多模态似乎是一个非常有成效的方向。

如果你方便谈这个的话，哪里是我们还没抓取过 token 的地方？

显然我没法替我们回答这个问题，但我确信对每个人来说这个问题的答案都不一样。

不靠规模、也不靠数据，纯粹靠算法改进，我们能获得多少个数量级的提升？

很难回答，但我确信总有一些。

这个“一些”是多还是少？

只有一种办法能知道。

好。接下来快速听一下你对几个不同研究方向的意见。检索式 Transformer。就是把数据存在模型外部某个地方，然后以某种方式检索出来。

看起来有前景。

但你把它看作一条前进路径吗？

看起来有前景。

机器人。OpenAI 放下机器人这条线是对的吗？

是的，是对的。当时确实没法继续做机器人，因为数据太少了。当时你如果想做机器人，就得变成一家机器人公司。你需要有一大群人来造机器人和维护它们。即便那样，如果你要造 100 台机器人，那已经是一项巨大的运营了，但你还是得不到多少数据。所以在一个大部分进展来自算力与数据结合的世界里，机器人这条路是没有数据通路的。所以当年我们决定停止做机器人时，是没有出路的。

现在有了吗？

我会说现在可以走出一条路来。但人必须真正投入这项任务。你真的得说——我要造成千上万、成万上万、数十万台机器人，从它们身上收集数据，找到一条渐进的路径，让机器人做稍微更有用一点的事。然后得到的这些数据用来训练模型，模型再做稍微更有用一点的事。你可以想象这是一条渐进改进的路径：你造更多机器人，它们做更多的事，你收集更多数据，如此等等。但你必须真正投入这条路径。如果你说“我要让机器人这件事成真”，那就是你要做的事。我相信确实有公司正在这么做。但你必须真的热爱机器人，而且必须真的愿意解决与它们打交道的所有物理和后勤问题。这跟软件完全不一样。我认为只要有足够的动力，今天在机器人领域是可以取得进展的。

有哪些你很想试、但因为在当前硬件上跑不好而试不了的想法？

我不认为当前硬件是限制。事实并非如此。

明白。那有什么想试的就可以直接搭起来跑？

当然。你可能希望当前硬件更便宜一些，或者说如果它的内存处理带宽更高一点会更好。但总体而言，硬件根本不是问题。

来聊聊对齐。你觉得我们会永远有“对齐”的一个数学定义吗？

要得出一个数学定义是不太可能的。与其说我们会得到一个数学定义，不如说我们会得到多个定义，从不同角度审视对齐。而我们正是通过这种方式获得想要的保证。我的意思是，你可以看它在各种测试中的一致性、在各种对抗性压力情境下的表现，你也可以从内部观察这个神经网络是怎么运作的。你必须同时看这好几个方面的因素。

那么在把一个模型放到真实环境里之前，你需要有多确定？百分之百？百分之九十五？

取决于这个模型有多强。模型越强，我们就越需要有把握。

好，那假设它几乎就是 AGI。AGI 在哪里？

取决于你的 AGI 能做什么。记住，AGI 是个含义模糊的词。你的普通大学本科生就是一个 AGI，对吧？AGI 指的是什么，存在相当大的模糊性。你把这条线画在哪里，决定了你要有多大的确信度。

你前面提到了通往对齐的几条路径，你觉得眼下最有希望的是哪一条？

我认为会是多种方法的组合。我真心认为你不会想只有一种方法。人们想要的是多种方法的组合：一方面投入大量算力做对抗性工作，去找出“你想让它学会的行为”和“它实际表现出来的行为”之间的任何不匹配；另一方面用另一个神经网络去探查这个神经网络，以理解它在内部如何运作。所有这些方法都是必要的。每一个这样的方法都会降低失配的概率。而且你还希望处在这样一个世界里：对齐程度的提升速度持续快过模型能力的提升速度。

你觉得我们今天用来理解模型的方法，到真正超级强大的模型上还适用吗？或者说能适用到什么程度？是不是同一套东西在它们身上也管用？

没有保证。我会说，就目前而言，我们对自己模型的理解仍然相当初级。我们取得了一些进展，但还有更多进展的空间。所以我预期，最终真正成功的，会是我们拥有一个被充分理解的小神经网络，由它承担任务去研究一个尚未被理解的大神经网络，并加以验证。

到什么时候，大多数 AI 研究会是由 AI 完成的？

今天你用 Copilot 的时候，你是怎么分工的？所以我预期到了某个时候，你会向 ChatGPT 的后代提问，说——嘿，我在琢磨这件事和那件事。你能给我一些值得尝试的有成效的想法吗？而且你确实会得到有成效的想法。我不认为这会让你有可能解决那些你以前解决不了的问题。

明白。不过这说到底只是更快地给人类出主意，对吧？它本身并没有参与到研究过程里？

那只是一个例子。你可以有很多种切分方式。但那里的瓶颈在于好想法、好洞见，而神经网络在这方面确实能帮上我们。

如果你要为一个价值十亿美元的对齐研究成果或产品设立奖金，你会设什么具体标准？这样的奖金有说得通的形式吗？

有意思，你问到我正好在琢磨的一个问题。我还没想出确切的标准。也许可以设这样一种奖金：我们可以这么说，两年后、三年后或五年后回头看，说“当时那就是主要成果”。也就是说，不设一个当场就做决定的评奖委员会，而是等五年之后再来追溯性地授予。

但没有什么具体的、可识别的东西，让我们能说：你解决了这个特定问题，并且取得了很大进展？

很大的进展，是的。我不会说这就算是全部了。

你觉得端到端训练对于越来越大的模型来说，是正确的架构吗？还是说我们需要更好的把东西连接起来的方式？

端到端训练非常有前景。把东西连接起来也很有前景。

什么都很有前景。

OpenAI 预计 2024 年营收十亿美元。这很可能是对的，但我只是好奇：当你谈论一种新的通用技术时，你如何估计它的风口会有多大？为什么是这个特定的数字？

我们的产品已经做了相当长一段时间了，从两年前 GPT-3 时代就开始，通过 API，我们看到了它是怎么增长的。我们也看到了 DALL-E 的反响是怎么增长的，以及 ChatGPT 的反响。所有这些都给了我们信息，让我们能对任何事情做出相对合理的外推。也许这就是答案之一。你得有数据，你不可能凭空想出这些数字，否则你的误差棒每个方向都会是 100 倍。

但大多数指数增长并不会一直保持指数增长，尤其是当量级越来越大的时候，对吧？那你在这里是怎么判断的？

你会押注 AI 不会成功吗？

跟你聊过之后不会。来聊聊 AGI 之后的世界是什么样吧。我猜你正以每周八十小时的工作强度朝这个宏大目标迈进，你对此非常着迷。在一个你基本上是住在“AI 养老院”里的世界里，你会满意吗？AGI 到来之后你个人打算做什么？

AGI 到来之后我会做什么、人们会做什么，这是个非常棘手的问题。人们会到哪里去寻找意义？但我认为这方面 AI 是能帮上忙的。我能想象的一件事是，我们会变得更开悟，因为我们与一个 AGI 互动，它会帮助我们更正确地看待世界，而我们在互动中也因此从内里变得更好。想象一下和历史上最好的冥想老师对话，那会是一件有帮助的事。但我也认为，因为世界会发生很大的变化，人们要精确地理解正在发生什么、以及真正该如何作出贡献，会变得非常困难。我认为有件事是有些人会选择的：成为“部分 AI”。为的是真正扩展自己的心智与理解，真正能够解决那时的社会所面对的最困难的问题。

你会成为“部分 AI”吗？

这非常诱人。

你觉得 3000 年还会有肉身形态的人类吗？

3000 年？我怎么知道 3000 年会发生什么？

比如那会是什么样子？地球上还有人类在走动吗？还是说你们具体地想过，你到底希望这个世界变成什么样？

我来描述一下我觉得这个问题哪里不对。它暗示着我们可以决定希望世界变成什么样。我认为这个图景不正确。变化是唯一不变的东西。当然，即便 AGI 被造出来之后，也不意味着世界会静止不动。世界会继续变化，继续演化，并经历各种各样的转变。我认为没有人知道 3000 年的世界会是什么样。但我确实希望，会有很多人类的后代过着自己幸福、充实的生活，可以自由地做他们认为合适的事，或者说，他们就是那些在解决自己问题的人。有一种世界我会觉得非常乏味：我们造出了这个强大的工具，然后政府说——好，AGI 说社会应该这样运转，那我们就按这样来运转社会。我更愿意要这样的世界：人们仍然自由地犯自己的错、承担自己的后果，并在过程中逐渐在道德上演进、自己向前进步，而 AGI 更像是一张兜底的安全网。

你花多少时间思考这类事情，又花多少时间单纯做研究？

我确实花了不少时间思考这些。它们是非常有意思的问题。

就我们今天拥有的能力来说，它们在哪些方面超越了我们 2015 年时的预期？又有哪些方面到今天这个时间点仍没达到你当初的预期？

公平地说，这基本就是我 2015 年时预料的样子。2015 年，我的想法要激进得多——我只是不想跟深度学习对着干。我想在深度学习上下尽可能大的注。我不知道具体怎么做，但它会自己找到答案的。

但有没有哪个具体方向是它超出你预期、或者不及你预期的？比如 2015 年做出的某个具体预测被推翻了？

遗憾的是，我不记得自己在 2015 年做过的具体预测了。但我确实觉得，总体来说，2015 年时我就只想在深度学习上押尽可能大的注，但我并不知道具体会怎样。我当时没有一个关于七年后能走到哪里的具体想法。

嗯，也是，2015 年我在 2016 年、也许是 2017 年，跟所有最好的那些人一起，就认定事情会走得非常远。但那是笼统的。所以这既是——既是这样，它既让我意外，我当时也在做这些激进的预测。但也许我内心其实只有 50% 的相信。

你现在相信什么，甚至连 OpenAI 大多数人听了都觉得非常牵强？

因为我们在 OpenAI 内部沟通很多，大家对我怎么想已经有相当清楚的了解，而我们在 OpenAI 确实已经到了在所有这些问题上都能取得一致的阶段。

谷歌有定制的 TPU 硬件，有来自所有用户的海量数据、Gmail 之类的。这是否让他们在训练更大、更好的模型方面比你更有优势？

一开始 TPU 出来的时候，我印象非常深刻，我觉得——哇，这太惊人了。但那是因为我那时对硬件理解得不够深。后来真正的情况是，TPU 和 GPU 几乎是同一回事。

它们非常、非常相似。GPU 芯片稍微大一点，TPU 芯片稍微小一点，也许便宜一点。但它们会生产更多的 GPU 和 TPU，所以 GPU 说不定最终还是更便宜。

但从根本上看，你有一个大处理器，还有一大堆内存，而这两者之间存在瓶颈。TPU 和 GPU 都在试图解决的问题是：把一个浮点数从内存搬到处理器所需要的时间。在这段时间里，处理器可以做几百次浮点运算，这意味着你必须做某种批处理。在这个意义上，这两种架构是一样的。所以我真的觉得，在某种意义上，关于硬件唯一重要的就是每浮点运算的成本和整体系统成本。

差别没那么大？

实际上我也说不好。我不知道 TPU 的成本是多少，但我怀疑如果说有区别的话，TPU 可能更贵，因为它的数量更少。

你工作的时候，有多少时间花在配置好初始参数上？花在确保训练跑通、拿到对的超参数上？又有多少是纯粹在提出全新的想法？

我会说两者都有。提出全新的想法只占工作的一小部分。提出新想法当然重要，但更重要的是理解结果、理解已有的想法、理解到底在发生什么。

神经网络是个非常复杂的系统，对吧？你把它跑起来，得到某种行为，而这种行为很难理解。到底发生了什么？理解结果、弄清楚下一步该跑哪个实验，这上面要花很多时间。理解什么东西可能出错了、什么可能导致神经网络产生一个意料之外的结果。

我也会说有很多时间花在提出新想法上。我不太喜欢这种说法。它并不算错，但主要活动其实是理解。

你觉得这两者的区别是什么？

至少在我心里，当你说“提出新想法”时，我会想——哦，如果它这样那样会怎样？而“理解”更像是——这整件事到底是什么？底下真正在发生的是哪些现象？有哪些底层作用？我们为什么要这样做而不是那样做？当然，这跟可以被称为“提出想法”的东西非常接近。但真正要紧的事情发生在“理解”这一侧。

这描述的是你整个职业生涯吗？回头看 ImageNet 之类的，那更多是新想法还是更多是理解？

嗯，那绝对是理解。那是对非常古老之物的一次全新理解。

在 Azure 上做训练的体验怎么样？

棒极了。微软一直是我们非常好的合作伙伴。他们真的帮着把 Azure 提升到了对机器学习来说非常好用的状态，我们非常满意。

整个 AI 生态对可能发生在台湾的事情有多脆弱？比如说台湾发生海啸之类的，那 AI 整体会怎么样？

那肯定会是一个重大挫折。几年之内没人能拿到更多算力。但我预计算力会重新长出来。比如，我相信英特尔还保留着和几代之前差不多的晶圆厂。这意味着如果英特尔愿意，他们可以生产出四年前那种水平、类似 GPU 的东西。不过没错，这不是最优的，

实际上我不确定我关于英特尔的说法是否准确，但我确实知道台湾之外也有晶圆厂，只是没有那么好。但你照样可以用它们，照样能走得很远。这只是成本问题，只是一次挫折而已。

随着这些模型越来越大越来越大，推理成本会高到用不起吗？

我看这个问题的方式不一样。并不是说推理会变得成本高到无法承受。更好模型的推理确实会变得更贵。但会高到无法承受吗？那取决于它有多有用。如果它比它本身的价格更有用，那它就不是无法承受的。

给你打个比方：假设你想跟一位律师谈话。你手上有个案子，或者需要一些建议之类的，你完全愿意每小时花 400 美元，对吧？所以如果你的神经网络能给出真正可靠的法律建议，你会说——我愿意为此花 400 美元。这样一来推理成本就完全不算高得难以承受了。问题在于：神经网络能不能在这样的成本下给出足够好的答案？

能。而且你会在不同模型之间出现价格歧视？

今天已经就是这样了。在我们的产品里，API 提供多种不同规模的神经网络，不同客户根据自己的使用场景选用不同规模的神经网络。

如果有人能拿一个小模型微调一下，得到一个对自己来说够用的东西，他们就会用那个。但如果有人想做更复杂、更有意思的事情，他们就会用最大的那个模型。

你怎么防止这些模型变成纯粹的商品，让这些公司之间一路互相压价，直到价格基本上等于跑一次 GPU 的成本？

是的，毫无疑问有一股力量在试图促成那种局面。答案是，你必须不断取得进展。你必须不断改进模型，不断想出新点子，让我们的模型更好、更可靠、更值得信任，这样你才能信任它们的答案。所有这些。

嗯。但假设现在是 2025 年，有人按成本价提供 2024 年的模型，而且它依然相当不错。那为什么人们还要用 2025 年的新模型，如果一年前那个反而更好？

这里面有好几个答案。对某些用例来说，那话可能是对的。2025 年会有一个新模型，它会驱动那些更有意思的用例。另外还会有推理成本的问题：如果你能通过研究把同一个模型以更低的成本提供出去。同一个模型对不同公司来说，提供成本也会不同。我也能想象某种程度的专门化：有些公司可能在某个方向上专门深耕，从而比其他公司更强。而在我看来，这在某种程度上正是对商品化的回应。

随着时间推移，这些不同公司的研究方向是收敛还是分化？他们会不会做着越来越相似的事？还是会分叉到不同的领域？

我会说在近期来看，看起来是收敛的。我预期会出现一种“收敛—分化—收敛”的模式：近期的工作会有大量收敛，长期的工作会出现一些分化。但接着一旦长期的工作开始出成果，就会再次收敛，

明白。当其中一家找到最有希望的方向时，其他人就会……

对。现在公开发表的东西明显变少了，所以这个有希望的方向要过更久才会被重新发现。但我会想象事情就是这么走的：收敛、分化、收敛。

嗯。我们在开头稍微聊过这个。但随着各国政府了解到这些模型有多强，你担心间谍活动，或者某种攻击手段来获取你们的权重，或者以某种方式滥用这些模型来摸清它们的底细吗？

是的，这种可能性绝对不能排除。我们会尽力防范，但它也会成为每一个构建这些东西的人都要面对的问题。

你怎么防止你的权重泄露？

你要有非常好的安全人员。

有多少人有权 SSH 进装着权重的那台机器？

安全团队做得非常好，所以我对权重泄露真的不担心。

在这个规模上，你预期模型会展现出哪些类型的涌现性质？会不会有什么东西是凭空冒出来的？

我敢肯定会出现全新的、令人惊讶的性质，我不会对此感到意外。我真正兴奋、我希望看到的，是可靠性和可控性这一类。我认为这会是非常非常重要的一类涌现性质。如果你有了可靠性和可控性，就能帮你解决很多问题。可靠性意味着你可以信任模型的输出，可控性意味着你可以控制它。我们会看到的，不过如果这些涌现性质真的存在，那会非常酷。

有没有什么办法可以提前预测这个？比如到这个参数量会发生什么，到那个参数量又会发生什么？

我认为可以对某些具体能力做出一些预测，尽管这肯定不简单，至少今天你没法做到非常细粒度的预测。但在这方面做得更好真的非常重要。任何有兴趣、并且对如何做到这一点有研究想法的人，都能做出有价值的贡献。

你有多认真看待这些规模定律？有一篇论文说——你需要再多好几个数量级才能把推理能力完全释放出来？你是认真对待它，还是认为它到某个点就会失效？

问题在于，缩放定律告诉你的是你下一个词预测准确率的对数会怎么变，对吧？而把下一个词的预测准确率和推理能力联系起来，是另外一个单独的挑战。我确实相信两者之间有联系，但这个联系很复杂。而且我们可能会发现，还有别的东西能以更小的代价给出更多推理能力。你提到了推理 token，我觉得它们会有帮助。可能确实有一些东西是有帮助的。

你们是在考虑直接雇人来为你们生成 token 吗？还是说全都来自已经存在的东西？

我认为依靠人来教我们的模型做事——尤其是确保它们行为良好、不产出虚假的东西——是一件极其明智的事。

奇怪的是，我们所需的数据、transformer、这些 GPU，恰好在同一时间出现。你觉得这很奇怪吗？还是你不这么看？

这确实是个有意思的局面。我会说它很怪，但在某种层面上又没那么怪。为什么没那么怪——数据之所以存在、GPU 之所以存在、transformer 之所以存在，背后的驱动力是什么？数据之所以存在，是因为计算机变得更好、更便宜，我们有了越来越小的晶体管。突然间，在某个时点，每个人都拥有一台个人电脑变得经济可行了。一旦人人都有了个人电脑，你当然就想把它们连到网络上，于是有了互联网。一旦有了互联网，你就突然有了大量涌现出来的数据。GPU 之所以同步在改进，是因为晶体管越来越小，而你在为它们寻找可以做的事情。

游戏成了一件你可以拿它们去做的事。然后到了某个时点，英伟达说——这个游戏 GPU，我也许可以把它变成一种通用的 GPU 计算机，也许有人会觉得有用。结果它对神经网络确实很好用。也完全可能 GPU 会晚五年、晚十年才到来。假设游戏这件事不存在，这有点像很难想象——如果游戏不存在意味着什么？但也许存在一个反事实的世界，GPU 比数据晚五年到、或者早五年到，那样的话事情可能就不会像现在这样万事俱备。但这就是我想象的那幅图景。所有这些维度上的进展是深度交织在一起的。这不是巧合。你没法挑着挑着决定在哪些维度上取得改进。

这种进展有多不可避免？假设你、Geoffrey Hinton 还有其他几位先驱从未出生过。深度学习革命会在大致同一时间发生吗？会推迟多少？

也许会有一些延迟。也许延迟一年左右？

真的吗？就这？

真的很难判断。我不太愿意给出更长的回答，因为——GPU 会持续改进。我看不出有什么人会绕开它。因为还有这么一点。假设没人做出来，计算机持续变得更快更好。训练这些神经网络会变得越来越容易，因为你的 GPU 更大，训练一个模型所需的工程投入更少，你不用那么费劲地优化代码。ImageNet 数据集刚出来的时候，它非常大、非常难用。现在想象你多等几年，它变得非常容易下载，人们可以直接上手摆弄。我猜最多也就那么多年。不过我不太愿意给出更长的答案。你没法重跑一个你并不了解的世界。

我们回到对齐这个话题，简单说一下。作为一个对这些模型有深刻理解的人，你直觉上觉得对齐会有多难？

以目前的能力水平，我们对怎么对齐它们已经有了一套相当不错的想法。但我不会低估对齐那些真正比我们聪明的模型的难度，更不会低估对齐那些有能力歪曲自己意图的模型的难度。这件事值得花大量时间思考和做研究。学术研究者常常问我，他们最好的贡献点在哪里。而对齐研究就是一个学术研究者可以做出非常有意义贡献的地方。

除此之外，你觉得学界会不会对模型的实际能力提出重要的洞见，还是说到了现在这一步那就只是公司的事了？

公司会把能力兑现出来。学界完全有可能提出那些洞见。由于某种原因，这似乎没怎么发生，但我不认为学界有什么根本性的障碍。并不是说学界做不到。也许他们只是没在思考对的问题，或者类似的原因——也许因为在公司内部更容易看出需要做什么。

我明白了。但也存在一种可能，就是有人干脆就意识到……

我完全同意。为什么我要排除这种可能呢？

这些语言模型具体要经过哪些步骤，才会真正开始影响原子世界，而不只是比特世界？

我不认为比特世界和原子世界之间存在一条清晰的分界线。假设神经网络告诉你——嘿，这是件你应该做的事，它会改善你的生活，但你需要以某种方式重新布置你的公寓。于是你真的去重新布置了公寓。神经网络就影响了原子世界。

有道理。你觉得要到达超人类 AI，还需要几次像 Transformer 那样重要的突破吗？还是说你觉得那些洞见其实书里早就有了，我们只需要把它们实现出来并连接起来？

我其实看不出这两种情形之间有那么大的区别，让我解释一下。过去取得进展的方式之一，是我们认识到某个东西一直都具有某种理想的性质，只是我们没意识到。这算不算一次突破？你可以说算。这算不算把书里的东西实现出来？也算。

我的感觉是，其中很可能会有几件这样的事发生。但事后回看，它不会让人觉得是一次突破。大家都会说——哦，那当然了，某件这样的事能起作用是完全显而易见的。

Transformer 之所以被特别提出来作为一项具体进展，是因为这种事对几乎所有人来说都不显然。所以人们可以说，这不是他们已经知道的东西。看看深度学习最根本的那项进展：一个用反向传播训练的大型神经网络能做成很多事情。新意在哪里？不在神经网络本身，也不在反向传播。但它绝对是一次巨大的概念突破，因为在此之前很长一段时间，人们就是看不到这一点。而现在大家都看到了，大家都会说——那当然了，完全显而易见。大神经网络，大家都知道它们能行。

你对你以前的导师新提出的 forward forward 算法怎么看？

我认为它是在尝试不用反向传播来训练神经网络。而如果你本人的动机是想理解大脑可能是如何学会它那些连接的，那这件事就格外有意思。原因是，据我所知，神经科学家相当确信大脑无法实现反向传播，因为突触中的信号只朝一个方向移动。

所以，如果你有神经科学的动机，并且想说——好，那么我如何想出一个东西，能在不做反向传播的前提下逼近反向传播的优秀性质？这正是 forward forward 算法试图做的。但如果你的目标只是工程上做出一个好系统，那没有任何理由不用反向传播。它就是唯一的算法。

我猜我在不同的场合听你说过，你把人类当作“智能存在”的现成案例。那么在什么时点上，你就不再那么当真这个比喻、不再觉得需要在研究中按这个思路推进？因为对你来说它作为某种存在性案例是很重要的。

在什么时点上，我不再把人类当作智能的存在性案例？

或者换个说法：在追求模型里的智能时，不再把人类当作你想效仿的范例。

我认为从人类身上、从大脑那里获得启发是好事。同样地，从人类与大脑那里获得启发也是好事。但“从人类与大脑获得启发”这件事本身是有讲究的，因为很容易抓住人类或大脑的某个非本质特征。而许多试图从人类和大脑获得启发的研究者，往往会变得有点过于具体：他们会想——好，那么应该遵循哪一个认知科学模型？与此同时，也请考虑神经网络本身这个想法，也就是人工神经元这个想法。它同样受大脑启发，但后来被证明极其富有成效。那他们是怎么做到的呢？人类有哪些本质性的行为，能让你说“这个东西向我们证明了这是可能的”？什么叫本质？我的意思是：不，这其实是某个更基础的东西涌现出来的现象，我们只需要把最基础的部分做对。人当然可以、也应当谨慎地受人类智能的启发。

最后一个问题。就你个人而言，为什么“最早投身于深度学习革命”和“至今仍是最顶尖研究者之一”这两件事之间会有如此强的相关性？你本来会以为这两件事不该有这么大关联。但为什么会有这种相关性？

我不认为这两件事有特别强的相关性。老实说，这个问题很难回答。我只是一直非常努力地去做，而到目前为止这就够了。

所以这就是坚持。

这是必要条件，但不是充分条件。要真正把某件事弄清楚，很多东西必须同时凑齐。你得真正全力以赴，同时也得有正确的看事情的方式。这个问题很难给出一个真正有意义的回答。

Ilya，这次访谈非常愉快。非常感谢你来到 The Lunar Society，也感谢你带我们到你们的办公室。谢谢。

是的，我非常享受。非常感谢。