Shane Legg（DeepMind 创始人）——2028 年的 AGI、超人级对齐与新架构

00:00今天我很荣幸请到 Shane Legg，他是 Google DeepMind 的创始人兼首席 AGI 科学家。Shane，欢迎来到播客。

谢谢。很高兴能来。

第一个问题。我们具体该怎么衡量朝 AGI 的进展？我们手上有这些 loss 数值，能看到 loss 从一个模型到下一个模型在改善，但它终究只是一个数字。我们该怎么解读它？怎么看出我们实际取得了多少进展？

这是个难题。AGI 按定义讲的是通用性，不是做某一件具体的事。当你心里有一个非常具体的目标时，衡量表现要容易得多，因为你可以围绕它设计一个测试。

也许我该先解释一下我说的 AGI 是什么意思，因为围绕这个词有几种不同的理解。我说 AGI，指的是这样一台机器：它能做人通常能做的那些认知活动，也许还能做得更多。要算得上 AGI，这就是你必须达到的门槛。

所以，如果我们想检验自己是否达到了这道门槛、或者是否正在接近它，我们真正需要的是大量不同类型的测量和测试，覆盖人能做的各种认知任务的广度，然后还要知道人在这些任务上的表现是什么水平。这样才能判断我们究竟到没到那一步。

这很难，因为人能做的一切构成一个庞大的集合，你永远不可能把它穷尽。但我认为，如果你到了这样一个地步：你有一套相当全面的测试，覆盖我们能做的各类认知活动；有一个 AI 系统在所有这些测试上都能达到人类水平；而且即便费尽力气，你也找不出新的、机器表现低于人类的认知任务——那么到那一刻，你就拥有 AGI 了。

从概念上说，也许确实存在某件人能做而机器做不到的事；但如果你费了功夫也找不到，那么从一切实际意义上讲，你手里就已经是 AGI 了。

我们说得更具体些。我们用 MMLU 和其他基准来测量这些大语言模型的表现。目前这些基准缺了什么？人类认知的哪些方面，它们没能充分测量到？

又是一个难题。这些都是相当大的领域。比如说，它们测不了理解流式视频这类能力，因为这些是语言模型，而人是能理解流式视频的。

它们也不具备情景记忆这类东西。人类有我们所说的情景记忆。我们有工作记忆，装的是刚发生不久的事；还有皮层记忆，是那种沉淀在皮层里的东西；但两者之间还有一个系统，就是情景记忆，对应的是海马体。它负责非常非常快地学会特定的东西。所以，如果你明天还记得我今天跟你说的某些话，那就是你的情景记忆、你的海马体在起作用。

我们的模型并没有这类机制，我们也没有真正去测这类能力。我们只是把上下文窗口——它更接近工作记忆——做得越来越长，以此来某种程度上弥补这一点。

但这确实是个难题，因为人类智能的通用性非常非常广。所以你真的得钻进细节里，去找是不是有某类特定能力在现有基准里缺失，或者是不是有些类别的基准目前根本还不存在，诸如此类。

你说的情景记忆这件事，把它称作样本效率合适吗，还是说那是另一回事？

它和样本效率关系非常密切。它是让人类具备很高样本效率的原因之一。大语言模型也有某种样本效率：当某样东西进入它们的上下文窗口，就会使分布发生偏置、表现出不同的行为，这是一种非常快的学习。学习有很多种，现有系统具备其中一些，但不具备另一些。这有点复杂。

这种记忆、也就是我们说的样本效率，算不算是这些深度学习模型的致命缺陷——它要吃掉数万亿 token，比任何人一生所见还要多一个数量级？还是说这只是个会随时间解决的问题？

当信息在上下文窗口里时，模型能立刻学会；然后是训练基础模型时那个更长的过程，那时候它们是在数万亿 token 上学习。但中间那一层它们是缺的。这正是我想说的。

我不认为这是根本性的局限。我觉得大语言模型带来的变化是：某种根本性的东西已经变了。我们现在知道怎么造出对正在发生的事情有某种程度理解的模型。这在过去是不存在的。而因为我们现在有了可扩展的做法，这就打开了很多很多新的可能。

现在我们可以去看那些缺失的东西，比如情景记忆这类机制，然后开始设想怎么解决它。我的感觉是，对于现有模型的大多数短板，现在都有相对清晰的解决路径——不管是幻觉、事实性、它们所拥有的记忆与学习类型，还是理解视频，或者诸如此类的事情。我看不到什么大的障碍。我看不到面前有什么高墙。我只看到还需要更多研究和投入，而这些东西都会改善，大概率会被充分解决。

回到最初那个问题：怎么衡量人类水平 AI 什么时候到来、或者已经超越了人类水平。就像你说的，你还可以用别的基准、别的特性，但具体来说，它得做到什么，你才会说“好，我们到人类水平了”？

它得从头到尾打通《我的世界》吗？它得在 MMLU 上拿满分吗？它到底得做到什么？

不存在某一件做到就够的事，因为我认为这正是它的性质所在：它讲的是通用智能。所以我必须确认它能做很多很多不同的事，而且没有缺口。

我们已经有系统能在某些类别的事情上做到人类水平甚至更高，非常惊人。我想要的是整套我认为足够全面的测试；更进一步，当有人过来说“行，它通过了一大套测试，那咱们来找反例吧。咱们用对抗的方式来做，专门去找那些人们显然、通常都能做到、而机器会失败的例子”——当这些人都找不出来的时候，我就会说“好，我们大概到了”。

你早期很多研究——至少是我能找到的那些——都强调 AI 应该能在各种开放式环境里操作并取得成功。听起来几乎像个电子游戏。你现在还是这么想的吗，还是看法不一样了？

有一点演变。我做关于通用智能的博士论文时，是想提出一个极其普适、通用、数学上干净的框架，用来定义和测量智能。我认为其中有成功的地方。至少在我自己心里，它把智能的本质讲清楚了：能在许多不同领域、不同任务上表现良好，等等。关键在于这种表现能力，以及表现的广度。我觉得那对我很有帮助，也很有启发。

始终有个参照机的问题。在那个框架里，你要按复杂度给事物加权。有点像奥卡姆剃刀：越简单的任务和环境，权重越高。你有一个可数的半可计算环境空间。而那个柯尔莫哥洛夫复杂度度量里内置了一个东西，叫作参照机。它是一个自由参数。也就是说，这个智能度量里含有一个自由参数；你改变这个自由参数，就会改变权重，改变整个任务与环境空间上的分布。这算是整个问题里尚未解决的一部分。那么理想情况下我们该用哪个参照机？不存在普适的参照机。人们通常会在里面放一台图灵机，但机器有很多种。

既然它是个自由参数，我觉得最自然的做法就是去想：在智能这件事上，什么对我们才是有意义的。我认为人类智能在我们所生活的环境里是有意义的。我们知道人类智能是什么——我们自己就是人，我们和其他具备人类智能的人打交道。我们当然知道人类智能是可能的，因为它就存在于世界上。我们知道人类智能非常非常强大，因为它以无数种方式深刻影响了世界。我们也知道，如果达到了人类水平的智能，那会是经济上的变革性事件，因为人在经济中所做的那些认知工作，届时机器就能做了。它在哲学上也会很重要，因为这正是我们通常思考智能的方式。从历史上看，那会是一个关键节点。

所以我认为，类人环境里的人类智能是一个相当自然的参照点。你可以想象把参照机设成这样：它偏重我们所生活的这类环境，而不是某种抽象的数学环境。我大致就是这样走上这条路的——从“我们来定义一个完全普适、干净、数学化的智能概念”，到“嗯，它里面有个自由参数”。

一种思路是更具体地去想人类智能，然后造出能匹敌人类智能的机器。因为我们理解那是什么，也知道那是非常强大的东西。它有经济、哲学和历史层面的重要性。

当然还有另一面：在柯尔莫哥洛夫复杂度的这种纯形式表述里，它其实是不可计算的。我当时也知道这里有个局限，但那只是一次在理论上给出干净定义的努力。我认为我们大致能走到那一步，但还卡在参照机这个没有指定清楚的问题上。

11:41在往下走之前，我想就你最初提到的 LLM 需要情景记忆这一点问一句。你说这些是我们能解决的问题，不是根本性障碍。

但你说这话的时候，是认为它们靠规模扩张就能解决，还是说每一项都需要精细的、架构层面的专门解法？

我认为会是架构层面的，因为现有架构并不真正具备做这件事所需的东西。它们基本上只有一个上下文窗口——当然，这个窗口非常非常流动——再加上权重，东西会非常缓慢地固化进权重里。所以在我看来，这像是工作记忆，就像你大脑里的激活；而权重则像你皮层里的突触。

而大脑把这些分开了。它有一套单独的机制来快速学习特定信息，因为与缓慢学习深层规律相比，那是另一类优化问题。两者之间存在张力，但你两种都想要。你希望听到某人的名字，第二天还能记得；你也希望能在一生中整合信息，从而开始看出世界上更深层的模式。

这是相当不同的优化目标、不同的过程，但一个完备的系统应该两者都能做。所以我认为，造一个同时做这两件事的系统是可以想象的；但你也能看出，正因为它们是很不一样的事情，分开来做才合理。我觉得这就是大脑把它们分开处理的原因。

我很好奇你认为这具体会怎么实现。DeepMind 一直在做这类特定领域的强化学习式系统：AlphaFold、AlphaCode 等等。这些在你设想的通往 AGI 的路径里处于什么位置？它们只是些与之正交的领域专用模型，还是会汇入最终的 AGI？

AlphaFold 这类东西其实并不汇入 AGI。我们在这个过程中学到的东西，也许最终会有用，但我不认为它们很可能在通往 AGI 的路径上。不过我们是个很大的团队，有几百几百个博士在做各种各样的项目。当我们看到像 AlphaFold 这样做成大事的机会，我们就会去做。并不是说我们只做 AGI 类的工作。我们做聚变反应堆，做可持续发展和能源方面的各种事情。有人看森林砍伐的卫星图像，有人做天气预报。我们有大量的人在做好多不同的事。

关于你刚才说的把参照机设成人类智能这一点。有意思的是，你在 2008 年的论文里提到如何测量智能，其中一个做法是——你说可以做一个压缩测试，看它能不能在文本样本里补全词，这就能测出智能。而有趣的是，大语言模型的训练方式基本上就是这样。

当时你有没有觉得，这是一个特别值得去训练的方向？

嗯，是的。从某种意义上说，后来发生的事其实和我论文里写的高度一致。Marcus Hutter 提出 AIXI 的想法：你拿所罗门诺夫归纳法——它不可计算，但在理论上非常优雅、样本效率极高——作为预测系统；一旦有了它，你就可以在它之上构建一个通用智能体，做法基本上就是加上搜索和强化信号。AIXI 就是这么做的。

但它大致告诉你的道理是：如果你有一个极其出色的序列预测器，某种所罗门诺夫归纳法的近似，那么从它走到一个非常强大、非常通用的 AGI 系统，就只是再往前一步。其实你已经解决了一大半问题。

我认为我们今天看到的正是这个：这些强大得难以置信的基础模型是极其出色的序列预测器，它们在用所有这些数据压缩世界。然后你可以用不同的方式去扩展它们，造出非常非常强大的智能体。

16:26让我就这点再问你一些。

Richard Sutton 在《苦涩的教训》那篇文章里说，可以扩展的东西有两样：搜索和学习。我猜可以说 LLM 属于学习这一面。而搜索这一面——你整个职业生涯都在做，让智能体与环境互动——是需要重新探索的方向吗？还是说它需要被加到 LLM 上，让它们能真正与自己的数据、与世界互动，或者以某种方式互动？

是的，我认为这个方向是对的。这些基础模型在某种意义上是世界模型，而要做真正有创造性的问题求解，你就得开始搜索。想想 AlphaGo 和那著名的第 37 手，它是从哪儿来的？是从它见过的所有人类棋局数据里来的吗？不是。它来自系统把某一手识别为相当不可能、但似乎说得通，然后通过搜索的过程，才明白那其实是一步非常非常好的棋。

所以要获得真正的创造力，你得在可能性空间里搜索，找到那些隐藏的珍宝。创造力就是这个。当前的语言模型其实并没有这么做。它们确实是在模仿数据，模仿它们从互联网上这些最初源自人类的数据里看到的所有人类巧思之类的东西。

这些模型能把东西混搭起来。它们可以用 Kanye West 的说唱风格来演绎《哈利·波特》之类，虽然这种事从没发生过，但它们能把东西揉在一起。但如果你想要一个系统真正超越这一步，不只是以新颖的方式泛化，而是做出真正有创造性、不只是把已有事物混搭的东西，那它就需要在可能性空间里搜索，找到藏在某处的那些隐藏珍宝。而这就需要搜索。所以我认为，在流程里拥有强大的搜索之前，我们不会看到真正超越自身训练数据的系统。

有传闻说 Google DeepMind 在训练更新的模型，你不必专门评论这些传闻，但当你这么做的时候，如果真像说的那样，要进入下一层级就需要搜索这类东西，那你们的训练方式会和 GPT-4 或其他 transformer 的训练方式完全不同吗？

关于我们怎么训练，我不能说太多。可以说的是，我们大致在做这个领域里很多人都在做的那类规模扩张和训练，但我们有自己的做法，有自己不同的技巧和技术。

19:19好，也许我们回头再来问，看看能不能得到另一个答案。

我们简单聊聊对齐。要让人类水平和超人水平的 AI 对齐，需要什么？

这很有意思，因为现在流行的那些强化学习和自我博弈式做法，比如 Constitutional AI 或 RLHF，DeepMind 在这方面显然多积累了数十年。我很好奇你怎么看当前的格局，以及 DeepMind 怎么处理通往人类水平模型的安全问题。

你想知道我们现在在做什么，还是想让我试着讲讲我认为应该做什么？

应该做什么。

目前我们做很多事情。做可解释性，做过程监督，做红队测试，做危险能力的评估，还做机构与治理方面的工作，以及一大堆别的事，对吧？

那么，我认为应该做什么？我认为强大的机器学习、强大的 AGI 迟早会到来，而如果这个系统真的很有能力、真的很聪明、真的很强大，那想用某种方式把它关起来、限制住，大概不是能赢的策略，因为这些系统最终会非常非常能干。所以你必须要做的，是让它对齐。你得让它从一开始就在根本上是一个高度合乎伦理、价值对齐的系统。怎么做？

这也许有点天真，但这是我的看法——人会怎么做？如果你面前有一个非常困难的伦理抉择，你会怎么做？你不会直接做脑子里冒出来的第一件事，因为其中可能牵扯很多情绪和其他东西。这是个难题。

你要做的是让自己冷静下来。你得坐下来，认真想。你得想：“好，我能做什么？”我可以这样做，也可以那样做，还可以那样做。如果我做每一件事，会发生什么？这需要一个世界模型。然后你得从伦理上想：我怎么看这些不同的行动、各种可能性以及它们可能带来的后果？正确的做法是什么？当你把所有不同的可能性、你的行动、它们可能引出的结果，以及它们如何与你的价值观和伦理相契合都想了一遍之后，你才能得出某个结论：如果你真的想在这件事上做到合乎伦理，什么才是你真正该做的最佳选择。

我认为 AI 系统本质上也需要做同样的事。现在你从基础模型里采样，它就是脱口而出第一个东西。如果你愿意的话，这就像心理学里 Kahneman 等人说的系统 1。这还不够好。

而如果我们做的是没有人类反馈的 RLHF（RLAIF），Constitutional AI 就是想做这类事情，你某种意义上是在修补底层的系统 1。这能移动分布，可能很有帮助，但那是一个非常非常高维的分布，而你只是在很多个点上戳它。所以它不太可能是一个很稳健的解法。这就像想把自己从一个坏习惯里训练出来，最终大概能做到。但你真正需要的是拥有一个系统 2。你需要让系统不只是从模型里采样。你需要系统这样想：“好，我要把这件事推理一遍。我要做逐步推理。摆在我面前的选项有哪些？我现在要用我的世界模型，用一个好的世界模型去理解每个选项可能导致什么。”然后从伦理角度对每一个进行推理。

所以你需要一个系统：它对世界有深刻理解，有好的世界模型，也很好地理解人，很好地理解伦理，并且具备稳健、非常可靠的推理能力。然后你把它设置成这样：它运用这套推理和对伦理的理解，去分析摆在面前的不同选项，然后执行其中最合乎伦理的那条路。

但很多人思考根本的对齐问题时，担心的不是它没有世界模型去理解自己行动的后果，而是它在意的后果不是我们在意的那些。所以，即使你改进它的系统 2 思维、让它规划得更好，根本问题仍然是——我们对想要的东西有非常细微的价值观。我们怎么把这些价值观传达出去，并确保它们在 AI 里得到强化？

它不只需要一个好的世界模型，还需要对伦理有非常好的理解。而我们需要向系统传达：它应该遵循什么样的伦理和价值观。

那我们怎么做，才能确信一个超人水平的模型会守住这些价值观，或者说一开始就学到了它们？

它应该会守住，因为如果它的所有决策都基于对伦理和价值观的良好理解，并且始终如一地这样做，它就不该采取破坏这一点的行动。那会是自相矛盾的。

对，那么怎么才能让它一开始就学到这些？

是的，这就是挑战。我们需要有系统。我的想法是这样的：要有一个深刻合乎伦理的 AI 系统，它同时也必须非常非常能干。它需要非常好的世界模型、非常好的伦理理解，还需要非常好的推理能力。因为如果你这些都没有，怎么可能始终如一地做到深刻合乎伦理？做不到。所以我们其实需要在系统里有更好的推理、更好的世界理解、更好的伦理理解。

在我看来，前两样随着模型变强自然会跟着来。

是的。这是个很好的性质，因为它在某种程度上其实是能力问题。

但如果第三样——伦理模型——是个瓶颈，或者它并不是随着 AI 自身发展就能自然得到的东西，那究竟有什么技术手段能确保它实现？

首先，我们应该在伦理上对系统做通识训练，让它很好地理解人类伦理。讲座、论文、书籍以及各种材料都很多。我们需要确保它很好地理解人类伦理，至少要像一个很优秀的伦理学家那样好，因为这很重要。

然后我们需要决定：在这种对伦理的通识理解之上，我们希望系统真正重视什么、应用哪一套伦理？而这并不是技术问题。这需要由社会、伦理学家等来给出答案。

我不确定存在所谓最优伦理，但我很确定可以提出一套伦理，它比那些所谓末日论者所担心的 AGI 系统行为要好得多。然后你要做的是，把系统设计成真正遵循这些东西：让它每次做决策时，都用对世界和伦理的深刻理解，加上非常稳健精确的推理，对自己正在做的事做一次伦理分析。

当然，我们还会想要很多别的东西。我们会希望有人去检查这些推理过程，希望有人去核实它在得出结论的方式上是否规矩。

但我还是觉得，我没弄明白那个根本问题——怎么确保它真的遵循那套伦理——到底是怎么解决的。因为按理说，它读过毛泽东的著作，所以理解毛泽东式的伦理，也理解其他各种各样的伦理。我们怎么确保它最终遵循的是伦理学家们认定的那一套，而不是它理解的其他那些？

对。所以你必须向系统明确规定：这些就是你应该遵循的伦理原则。

那我们怎么确保它照做？

我们必须在它做的过程中检查它。我们必须让自己确信，它始终如一地遵循这些伦理原则，至少不亚于一群人类专家。

你担心吗：如果你用默认做法，也就是每当它看起来在遵循这些原则时就强化它，你可能同时也在训练它欺骗？

强化确实有一些危险的方面。我认为更稳健的做法其实是检查推理过程、检查它对伦理的理解。为了让我们确信系统真的很好地理解伦理，应该对它做一段时间的反复盘问，努力把它的理解拆开来看，确保它非常稳固。

另外，如果它已经部署，我们应该让人持续查看它做出的决策以及通向这些决策的推理过程，努力确保它在这类事情上的推理是正确的。

Google DeepMind 内部有这方面的某种框架吗？

这不太算 Google DeepMind 在这个问题上的立场。这是我个人对于这类事情该怎么做的一点看法。内部有很多不同的观点，这类想法也有各种不同的变体。

那么你个人认为，是否需要这样一套框架：当你达到某些能力水平时，这些就是你在那个节点必须落实的具体安全基准，否则就应该暂停或放慢？

我认为这是个合理的做法，但实际做起来相当难。有些人在思考这个。我知道 Anthropic 发布过一些类似的东西。我们也在考虑类似的事情，但真正把具体条款定下来是相当难的。我认为这是个重要问题，我当然鼓励人们去做。

29:58有意思的是，你创办 DeepMind 时写的那些博客文章，是 2008 年的，当时的动机是加速安全研究。

总体来看，你认为 DeepMind 对安全和对能力分别产生了什么影响？

哦，有意思。我不知道。说实话很难判断。

我为 AGI 安全担心了很久，远早于 DeepMind 成立。但招人做 AGI 安全一直非常难，尤其是在早期。大概 2013 年，我们招了第一个人，他只同意兼职做，因为他不想完全放下能力方面的工作，怕影响自己的职业发展。而这个人此前已经在 AGI 安全领域发表过论文。

我不知道。很难说如果我们不在那里做这些事，反事实会是什么样。我们一直是一个公开谈论这件事的团队。我在很多场合讲过它的重要性。我们一直在招人做这些课题。我认识这个领域里很多人，和他们聊了很多很多年。我 2005 年前后就认识 Dario 了，我们断断续续聊过 AGI 安全之类的话题。

DeepMind 产生的影响：我想我们是第一家 AGI 公司，而作为第一家 AGI 公司，我们一直设有 AGI 安全团队。我们多年来一直在发表这方面的论文。我认为这给 AGI 安全这个领域带来了一些可信度。不久之前，AGI 还是个边缘词汇。我希望这能给人们腾出一些空间。

你认为如果没有 DeepMind，AI 本身的进展会是什么样？

这不只是人们针对 DeepMind 的说法。我认为这也是人们针对 OpenAI 和 Anthropic 的一个普遍看法：这些人入行是为了加速安全，而净效果可能反而是把能力加速得多得多。

对，对。我认为我们确实加速了能力，但同样，反事实很难说。比如说，ImageNet 不是我们做的，而 ImageNet 对吸引这个领域的投资非常有影响。AlphaGo 是我们做的，它改变了一些人的想法。但这个共同体比 DeepMind 大得多。

如果回到五年多以前，相比很多较小的学术团队，我们能用更大的团队做更大的项目、承担更有雄心的东西，对吧？所以我们能做的工作性质有点不一样。这在一定程度上影响了格局。

但这个共同体比 DeepMind 大得多得多。还有不少拥有可观资源的其他参与者。也许我们让事情快了一点，但我认为很多事无论如何都会在不太久之后发生。好想法常常是飘在空气里的；作为研究者，你正要发表某个东西时，会看到别人带着非常相似的想法拿出了不错的结果。很多时候这就像是时机到了。所以我发现很难对这里的反事实做出推理。

34:03说到早年，很有意思的是，2011 年你写过一篇博客，里面说——“我决定再一次把我对人类水平 AGI 何时到来的预测保持不变。也就是说，我给它一个对数正态分布，均值 2028 年，众数 2025 年，前提是不发生核战争之类的疯狂事情。”

这是在深度学习之前，是没人谈 AI 的时候，而结果证明，如果趋势延续下去，这个预测并不算离谱。

在所有这些趋势真正显现之前，你怎么会有这么准的估计？

首先我要说，那不是深度学习之前。深度学习大约在 2008 年就开始起步了。

哦，抱歉。我是想说 ImageNet 之前。

ImageNet 之前？对，那是 2012 年。

我最初形成这些看法是在 2001 年前后，读了 Ray Kurzweil 的《灵魂机器的时代》之后。他书里有两个非常重要的观点，我后来相信它们是真的。一是算力会以指数方式增长，至少持续几十年；二是世界上的数据量会以指数方式增长几十年。而当算力和数据都以指数方式增长时，高度可扩展算法的价值就越来越高。人们有很强的动机去做出更可扩展的算法，来利用所有这些算力和数据。所以我认为，我们很可能会开始发现能做这件事的可扩展算法。然后这些因素之间还有正反馈：如果你的算法更善于利用算力和数据，那么数据和算力的价值就会上升，因为它们能被更有效地使用。而这又会推动这些领域获得更多投资。如果你的算力性能提高，数据的价值也会提高，因为你能利用更多数据。所以这些因素之间存在正反馈回路。这是第一点。

第二点就是看趋势。如果可扩展的算法真被发现，那么在 2020 年代，就应该有可能开始用远超一个人一生所经历的数据量来训练模型。我判断，那会是一个开始发生大事的时期，而这些事最终会打开 AGI 的大门。这就是我的推理过程。我认为我们现在正处在第一部分。我认为我们现在已经可以开始用超出一个人一生所体验的数据规模来训练模型了。所以我认为这是第一个解锁步骤。

所以，是的，我认为到 2028 年我们有 AGI 的概率是 50%。注意，只是 50%。我敢肯定，到了 2029 年，会有人说：“Shane，你错了。”拜托，我说的是 50% 的概率。

我认为这完全说得通，但如果到那时没实现，我也不会感到意外。在研究和科学中，你经常会碰到意想不到的问题，有时候事情就是比预想的更久。

如果我们到了 2029 年还没实现，如果是某个问题导致的，那最可能的原因会是什么？

我不知道。目前在我看来，所有这些问题大概都能靠若干年的研究解决。这是我现在的感觉。

如果 2028 年真的是那一年，那么从现在到 2028 年这段时间会是什么样子？

是不是说这期间会产生数万亿美元的经济影响、世界变得疯狂，还是会发生什么？

我认为你会看到现有模型逐渐成熟。它们会更少产生幻觉，事实性大大提升。回答问题时，它们对当下正在发生的事会更了解、更新。它们会变得多模态，程度远超现在。而这只会让它们有用得多。

所以我认为，未来几年我们最可能看到的，就是大量出色的应用。当然也会有一些被滥用的情形。我确信会有人拿这些模型搞出一些相当没用的东西。但我对未来几年的预期总体是正面的。我们会看到各种各样真正令人印象深刻、令人惊叹的应用。

关于安全，你提到外面有这些不同的研究方向，DeepMind 内部也在做。可解释性、RLAIF 等等。你对哪一个最乐观？

哦。我不知道。我不想挑最喜欢的，挑最喜欢的很难。这些领域里做事的人我都认识。我倾向于系统 2 那一类的东西。我们有一项 Geoffrey Irving 领导的工作，叫 Deliberative Dialogue（审议式对话），就是系统 2 的路子：围绕智能体可以采取哪些行动、或者某件事的正确答案是什么，展开某种辩论。然后人们可以去审视这些辩论等等，并用这些 AI 算法帮助自己判断正确的结果。这大概是想把对齐扩展到越来越强大的系统上的一种方式。我认为这类东西相当有前景，不过这是个很宽的类别，里面有很多不同的课题。

这很有意思。你提到 LLM 需要改进的两个方面：一个是情景记忆，另一个是系统 2 思维。这两者是相关的，还是两个彼此独立的短板？

我认为它们相当独立，但也可能有一定关联。你可以学到不同的思考问题的方式，并且借助情景记忆很快地学会这些。所有这些不同的系统和子系统都在相互作用，所以它们从来不是完全分开的。但在概念上，你大概可以把它们当成相当不同的东西。

我认为幻觉和事实性是另一个会相当重要的方面，在很多应用里尤其重要。如果你要一个模型写有创造性的诗，那没问题，因为你希望它能很自由地提出各种可能性等等，不必被某个具体的现实约束。但如果你要把它用在某个特定应用里，通常你就必须对当下正在发生什么、什么是真的什么不是真的等等说得非常具体。而目前模型在真实与创造之间有点太随心所欲了。我认为这在很多方面限制了它们的应用。

41:24最后一个问题。你在这个领域已经十多年，比很多人都久，你见过不同的里程碑，比如 ImageNet 和 Transformer。你认为下一个里程碑会是什么样子？

我认为人们将来会回想起来、会记住的下一个里程碑，是走向远为彻底的多模态。那会把你在语言模型里看到的那种理解，展开到一个大得多的可能性空间里。等人们回头看时，他们会想：“哦，那些老式模型，它们只会聊天，只会处理文本。”那感觉就像一件非常狭窄的事；而现在它们能听懂你说话，能理解图像、图片和视频，你可以给它们看东西之类的。它们对正在发生的事情会有多得多的理解。那会让人感觉这个系统以一种强大得多的方式向世界敞开了。

我能就这点追问一句吗？ChatGPT 刚发布了他们的多模态功能，而你们 DeepMind 有 Gato 那篇论文，那是一个模型，你可以把图像、电子游戏甚至动作都塞进去。到目前为止，它似乎还没有像当初 GPT-3 之后的 ChatGPT 那样渗透开来。

这怎么解释？只是因为人们还没学会怎么用多模态？还是它们还不够强大？

我认为现在还早。你会越来越多地看到对图像之类东西的理解。但我想在这个转变的早期，等到系统开始真正消化大量视频和其他这类东西时，它们才会对世界以及各种其他方面形成扎实得多的理解。而当这件事做得好时，自然会打开大量新的应用和各种各样的新可能，因为你不再被限制在文字聊天里了。

也会带来新的训练数据来源，对吧？

对，新的训练数据，以及各种各样不再纯粹是文本的应用。那些应用是什么？嗯，大概很多我们现在根本想象不到，因为一旦你能以一致的方式处理各种不同的模态，可能性就太多了。

太好了。我觉得停在这里很有行动意义。非常感谢你来上播客，Shane。

谢谢。