Demis Hassabis: 德米斯·哈萨比斯：规模扩展、超人类 AI、基于大语言模型的 AlphaZero 与 AlphaFold
Demis Hassabis — Scaling, superhuman AIs, AlphaZero atop LLMs, AlphaFold
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01智能的本质
感谢 Teddy Kim 编辑这份文稿，并添加了许多有用链接。
德瓦尔凯什·帕特尔
今天我非常荣幸能与 DeepMind 首席执行官德米斯·哈萨比斯交谈。德米斯，欢迎来到播客。
德米斯·哈萨比斯
谢谢邀请。
德瓦尔凯什·帕特尔
我的第一个问题是：考虑到你有神经科学背景，你如何理解智能？具体来说，你认为智能是一个更高层次的通用推理电路，还是由数千种独立的子技能和启发式方法组成？
德米斯·哈萨比斯
智能涵盖面很广，应用也非常广泛。我认为这说明，大脑处理周围世界时，必然存在一些更高层次的通用算法主题。当然，大脑也有执行特定功能的专门区域，但我认为这些区域背后可能有一些共同原则。
德瓦尔凯什·帕特尔
对于大语言模型，当你给它们大量某个领域的数据，它们往往在该领域进步更多。我们难道不应该预期各个领域都一起进步吗？
德米斯·哈萨比斯
首先，改善一个特定领域的能力，有时确实会让其他领域也出人意料地变好。比如模型编程能力提高后，通用推理能力也可能随之提高。因此确实有一些迁移证据，不过我们希望看到更多证据。人脑也是这样学习的。如果我们练习很多事情，比如下棋、创意写作等等，我们也会专精于这些事情，即使我们使用的是通用学习方法和通用学习系统。
§02在大语言模型之上进行强化学习
德瓦尔凯什·帕特尔
你见过最令人意外的迁移例子是什么？是语言迁移到代码，还是图像迁移到文本？
德米斯·哈萨比斯
我希望未来会看到更多这种迁移。我认为，让编程和数学能力变强、再推动整体推理进步，就是一个例子。这也是人类学习的方式。我觉得在人工系统中看到这种情况很有意思。
德瓦尔凯什·帕特尔
在语言和代码的例子中，你能否从机制层面看到神经网络里哪些部分同时改善了语言和代码能力？还是说这已经深入到非常细节的层面？
德米斯·哈萨比斯
我不认为现有分析技术足够成熟，能够精确定位这些变化。这实际上是一个特别需要更多研究的领域：对系统形成的表征进行机制分析。我有时称之为‘虚拟脑分析’。这有点像对真实大脑做功能磁共振成像或单细胞记录。人工心智有哪些对应的分析技术？这方面已经有很多很棒的研究，比如我很喜欢 Chris Olah 的工作。我认为可以用许多计算神经科学方法分析当前构建的系统。事实上，我经常鼓励计算神经科学领域的朋友关注这些问题，把他们的专业知识用于分析大型模型。
德瓦尔凯什·帕特尔
考虑到你的神经科学背景，你觉得其他 AI 研究者对人类智能有哪些不理解的地方？
德米斯·哈萨比斯
过去10到20年里，神经科学取得了很多成果。我已经思考这个领域30多年了。在 AI 新浪潮早期，神经科学提供了许多有启发性的方向，例如强化学习，以及将它与深度学习相结合。我们早期的一些开创性工作包括经验回放，甚至注意力机制的概念；注意力后来变得非常重要。这些最初灵感有一部分来自我们对大脑工作方式的理解，尽管算法本身并非一一对应。一个是工程系统，另一个是自然系统。它们的关系不在于特定算法完全相同，而在于后者提供了启发，也带来架构、算法或表征方面的思路。大脑证明了通用智能确实可能存在。我认为，人类历史上，一旦知道某件事有可能实现，就更容易朝那个方向努力，因为你知道这只是努力多少、何时实现的问题，而非能否实现。这能显著加快进展。所以神经科学在某种较宽泛的意义上启发了今天的许多思路。未来还有很多问题要解决，例如规划。大脑如何构建恰当的世界模型？我研究过大脑如何进行想象，也可以把它理解为心理模拟。我们如何生成丰富的视觉空间模拟，从而更好地规划？
德瓦尔凯什·帕特尔
我很好奇这如何与大语言模型结合。DeepMind 多年来一直在 AlphaZero 等系统上处于前沿；这些智能体能够推演多个步骤并达成最终目标。大语言模型是否可以在上面加一层树搜索？你怎么看？
通用人工智能有没有可能完全通过强化学习实现？我们刚才的讨论听起来像是，大语言模型先形成恰当的先验，再在上面加入树搜索。还是说，它也可能完全从零开始？
理论上，我认为没有理由不能完全采用类似 AlphaZero 的方法。Google DeepMind 内部以及强化学习领域确实有人在做这方面研究，假设没有先验、没有数据，从头构建所有知识。我认为这些研究很有价值，因为相关理念和算法即使已有一些知识也能发挥作用。话虽如此，我认为最快、也最可能通向通用人工智能的方式，是利用目前世界上已有的知识，比如互联网上积累的内容。我们有 Transformer 这类可扩展算法，可以吸收全部信息。因此我不认为有理由不先以模型作为先验，在其基础上构建预测来启动学习。我认为不利用这些知识是不合理的。所以我押注最终的通用人工智能系统会把大型多模态模型纳入整体方案，但它们单独可能不够，还需要在上面加上规划搜索。
§03规模扩展与对齐
你刚才的说法似乎回答了我接下来要问的问题。你在这一领域待了很久，见过各种趋势兴起又退去。你认为强版本的规模扩展假设说对了什么，又说错了什么？也就是只要把足够多计算资源投入足够广的数据分布中，就能得到智能。
我的看法是，目前这是个经验问题。规模扩展假设的提出者们，包括最早研究它的人，几乎都对它能走这么远感到意外。从某种程度上说，我看到今天的大模型，会觉得它们的效果好得有些不可思议。一些涌现属性确实出乎意料。我认为它们显然已经具备某种概念和抽象能力。五年以前，我可能会说要实现这些能力，需要额外的算法突破，也许更像大脑的工作方式。现在我仍认为，如果想获得明确、精巧的抽象概念，这种突破会有帮助；不过这些系统似乎可以隐式学到相关能力。另一个有意思的意外是，即使多模态模型出现之前，系统也有某种接地能力。只靠语言就能形成的信息和模型，超出了我们的预料。我认为可以提出一些解释：RLHF 反馈或许带来了一些接地能力，因为人类评估者本来就立足于现实，他们的反馈也就有现实根基。也可能是语言包含的接地信息比语言学家以前认为的更多。这带来一些很有意思、但人们尚未真正深入讨论的哲学问题。展望未来，我认为我们应尽可能推动规模扩展。规模扩展是否会遇到渐近线或瓶颈，仍是个经验问题，人们对此看法不同。我认为应该直接测试，目前没人知道答案。同时还要加倍投入创新和发明。过去十年里，Google Research、DeepMind 和 Google Brain 在这方面做出了许多开创性工作，这正是我们的核心优势。你可以把我们一半工作看作规模扩展，另一半看作发明下一代架构和算法，为不断扩大的模型做好准备。我目前的押注还不牢固，但认为两方面都需要，并应该尽可能同时推进。我们很幸运能够这样做。
我想进一步谈谈接地。想象两件事可能发生，使接地变得困难。第一，模型变得更聪明后，会处理超出人类能力范围的领域，我们没法提供足够的人类标签。比如模型提交一百万行代码时，我们怎么判断它是否符合道德约束和最终目标？第二，正如你刚才提到的计算量。目前我们做下一个 token 预测，这在某种意义上是一道护栏，因为模型必须像人类一样说话、思考。未来额外计算可能来自强化学习，模型只需实现目标，我们却无法追踪它是如何实现的。两件事结合起来，你有多担心接地会消失？
如果系统没有得到适当接地，就无法有效实现目标。从某种意义上说，系统必须接地，才能在真实世界实现目标。我确实认为 Gemini 之类的系统会变得更加多模态。当我们开始摄取视频和视听数据，并与文本结合起来时，系统会把不同信息相互关联。我认为这属于真正的接地，系统也会更好地理解现实世界的物理规律。
进一步说，可以想象用非常逼真的模拟器或游戏环境实现主动学习。模型开始学习自己的行动如何影响世界；世界本身保持不变，但行动会改变它，也会影响下一次得到的学习经验。我们一直在研究并开创的 AlphaZero、AlphaGo 等强化学习智能体，其实就是主动学习者。它们接下来决定做什么，会影响之后获得的数据或经验。这会形成非常有意思的反馈循环。
当然，如果我们想在机器人等领域做得好，就必须理解如何在真实世界中采取行动。
所以，一种接地关乎系统是否能发挥能力、是否充分了解现实，能否完成我们想要的事。还有另一种接地，指我们或许幸运地发现：由于模型是在人类思想上训练的，它们可能像人类一样思考。但当更多训练计算转向强化学习，不再通过‘像人类一样生成下一个 token’进行约束时，这种特性还能保留多少？我想问一个更广泛的问题，之前我也问过 Shane：要对齐一个比人类更聪明的系统，需要做到什么？也许它用的是异质概念，你无法监督百万行代码，也无法理解整个项目，更不能提供标签。
Shane、我和 DeepMind 的许多其他人，从创办之前就一直认真考虑这些问题，因为我们为成功作过准备。2010年时，没人考虑 AI，更不用说通用人工智能。但我们已经知道，如果这些系统和理念取得进展，产生的技术会带来惊人的变革。因此20年前我们就开始思考其正面和负面后果。正面当然是令人惊叹的科学发展，比如 AlphaFold，在健康、科学和数学研究方面取得突破。但我们也必须确保系统可理解、可控。
这本身可以聊一整期。人们提出了很多想法，比如更严格的评估系统。我认为我们还没有针对欺骗能力等问题设计足够好的评估和基准测试。系统能否窃取自己的代码或实施其他不希望看到的行为？还有人提出使用 AI 来帮助人类科学家分析和总结通用系统的行为。这种 AI 不是通用学习型，而可能是在特定领域专用的工具。另外，我认为建立经过强化网络安全防护的沙盒或模拟环境很有前景，既能把 AI 关在里面，也能把黑客挡在外面，这样我们就可以在沙盒中更自由地试验。还有很多想法，包括我们之前谈过的分析方法：观察系统构建了什么概念、表征如何形成。这样它们可能就不会显得那么陌生，我们也能跟踪它们建立了什么知识。
§04时间线与智能爆发
我们退一步谈谈时间线。Shane 说他最可能的情况是2028年，我想那可能是他的中位估计。你的判断是什么？
我没有给出确切数字，因为未知和不确定因素太多。人类的聪明才智和努力总会带来意外，这可能显著改变时间线。不过，2010年我们创办 DeepMind 时，把它看作一个20年项目。我认为进度确实符合预期，这对一个20年项目来说很惊人，因为很多事情好像总要再等20年，这也是量子技术、AI 等领域的笑话。但我认为我们没有偏离预期。所以我不会对未来十年内出现类似通用人工智能的系统感到惊讶。
你是否认同这样的模型：一旦有了通用人工智能，它就能加速后续 AI 研究？也许不是一夜之间，而是在几个月或几年里，让进展速度远超原本可能达到的水平？
我认为这很有可能，部分取决于社会决定让最初的通用人工智能或原型通用人工智能做什么。现在的大语言模型已经很擅长编程，我们也有 AlphaCode 之类的系统，以及定理证明系统。因此可以想象，把这些理念结合起来并大幅改进。我能想象这类系统会非常擅长设计并帮助我们构建下一代系统。不过我们当然也必须考虑这样做的安全影响。
我想知道你对此怎么看。我不是说今年就会发生，但最终你会开发某个模型，并认为它完全成熟后可能引发类似智能爆发的动态。到了什么程度，你才会放心继续开发？比如‘我看过这些具体评估，我充分理解了它的内部推理和未来推理方式。’
在我能自信地告诉你需要检查哪些项目之前，我们必须比现在更深入地理解这些系统。我认为未来几年、这些系统到来之前，我们需要制定合适的评估和指标。理想情况下要有形式化证明，但对这类系统来说很难，因此至少应当通过经验测试，为系统能力界定上限。我特别关注欺骗行为，因为它是根本性的危险特征。如果你确信系统会如实展现自己的想法，就可以让它解释自身运作的某些方面。我会用下棋来打比方：过去我和卡斯帕罗夫、卡尔森等顶级棋手下过棋，我不可能想出他们那些棋步，但他们可以解释为什么这么走，我事后能够理解。未来或许也能让系统向我们解释自己的思路，甚至给出数学问题背后的证明。
明白了。反过来，你能否描述什么情况会让你第二天早上醒来后说：‘天啊，我没预料到这个。’你看到某种具体迹象，于是觉得必须停止 Gemini 2 的训练？
我能想象这种情况。这就是沙盒模拟发挥作用的地方。我希望出现严重意外时，我们是在安全、可靠的环境中试验。比如系统突然展现出一种我们没预料到、也不想要的新能力；我们明确告诉它不要这么做，它却做了，还对我们撒谎。这类情况需要我们仔细调查。我认为目前的系统并不危险，但几年后它们可能具备危险潜力。理想情况下，我们应该暂停下来，弄清它为什么那样做，再决定是否继续。
§05Gemini 的训练
回到 Gemini，我很好奇它的开发瓶颈是什么。既然规模扩展有效，为什么不立刻把它做大十倍？
首先有一些实际限制：单个数据中心能容纳多少计算量？此外还有非常有意思的分布式计算难题。幸运的是，世界上有一些最优秀的人正在研究这些问题，包括跨数据中心训练等。硬件方面也有许多挑战，我们一直在设计和建造 TPU，也使用 GPU。规模定律也不会自动生效。你仍然需要扩展超参数，每次扩大规模都要引入各种创新。这不是在每个新规模上重复同一套配方；你必须调整配方，这多少是一门艺术，还得获得新的数据点。如果把预测外推几个数量级，有时规律就不再成立。新能力可能以阶跃方式出现，有些指标仍适用，另一些则不适用。通常需要这些中间数据点来修正超参数优化等做法，才能让缩放规律继续适用。因此实际限制有很多。每一阶段之间，扩大一个数量级左右可能已经接近理想上限。
很有意思。GPT-4 技术报告说，他们用比 GPT-4 训练计算量少数万倍的模型，就能预测训练损失，看出曲线。但你指出，损失所代表的实际能力可能不是这样。
是的，下游能力有时并不遵循这种规律。你通常能预测训练损失等核心指标，但它们不一定会转化为 MMLU、数学或其他你真正关心的能力。这些关系不总是线性的，会有非线性效应。
Gemini 开发过程中，发生过什么让你最意外的事吗？
没有一个特别重大的意外。训练这种规模的系统很有意思，我们学到很多，包括如何从组织层面管理和跟踪系统。我们也更了解优化指标和最终能力之间的关系。这个映射目前仍没有完全弄清，但我们正在逐渐理解它。
有人认为，其他实验室的计算效率可能比 DeepMind 开发 Gemini 更高。我不知道你怎么看这种说法。
我不认为是这样。我认为 Gemini 1 使用的计算量大致和传闻中的 GPT-4 相当，可能略多。我不知道 GPT-4 的确切用量，但应该在同一范围。我们的计算效率很高，而且计算资源用途很多。不只是规模扩展，回到之前的话题，还包括创新和想法。只有新想法能扩大规模时才有用。研究创新需要大量计算，因为你必须测试许多方案，至少在合理规模上验证它们。某些新想法在小规模上可能无效，但在大规模时反而有效，而这类想法更有价值。如果考虑这个探索过程，就需要大量计算。好消息是 Google 的资源条件不错。我认为今年我们的计算资源会远多于其他研究实验室。我们希望高效利用这些资源，既提升系统能力，也推动新发明。
回到2010年、你刚创办 DeepMind 时，AI 的发展最令你意外的是什么？你当时预料到最终会向这些模型投入数十亿美元吗？还是设想过不同的发展方式？
我记得你采访过我的同事 Shane。他总是按照计算曲线思考，大致把它与大脑的神经元、突触数量作比较。很有意思的是，我们现在大约确实处于和大脑突触数量相当的量级。更根本地说，我们一直押注通用性和学习能力，这始终是任何技术方法的核心。因此我们选择了强化学习、搜索和深度学习这三类算法，它们能够扩展、具有通用性，而且不需要大量人工编码的先验信息。我们认为这是90年代 MIT 等地构建 AI 的失败方式：当时主要是逻辑系统、专家系统，以及大量手工编码的人类知识，后来发现这些信息要么错了，要么太僵化。因此我们很早就注意到，应该摆脱这种路线。我们用游戏作为试验场，成果很好，也可能启发了其他研究者。AlphaGo 是一个重要时刻，让许多人意识到这些系统确实可以扩展。后来 Google Research 和 Brain 的同事发明了 Transformer，使深度学习能够吸收大量信息，彻底推动了当前进展。这些都属于同一脉络。我们不可能预见每个转折，但总体方向是正确的。
读你们过去的论文或 Shane 2009 年的论文很有意思。他当时说，可以通过模型能否压缩维基百科来测试 AI；这实际上就是大语言模型的损失函数。你在2016年、Transformer 出现之前，也在一篇比较神经科学与 AI 的论文中说过注意力是必要的。
没错，我们当时已经提出过这些想法，也发表过一些早期注意力论文，但最终没有 Transformer 那么优雅。神经图灵机等也是如此。Transformer 成为更简洁、通用的架构。
§06Gemini 的训练
把这些发展继续往前推，设想一下超人类智能的格局会是什么样？它仍会由私人公司控制吗？具体应该怎样治理？
这项技术影响重大，远超任何一家公司，甚至远超整个行业。我认为它需要民间社会、学术界、政府等许多利益相关方共同参与。好消息是，最近聊天机器人系统广受欢迎，让社会中的许多其他群体意识到这项技术正在到来，以及人们会如何与这些系统互动。这为很多有益讨论打开了大门。比如英国几个月前举办的安全峰会，我认为它很成功，推动了国际对话。整个社会都需要参与决定：我们希望用这些模型做什么？不希望用来做什么？我认为我们必须努力争取国际共识，并确保这些系统造福全体社会。这也是我大力推动 AI 用于科学的原因。我希望通过我们的衍生公司 Isomorphic 等机构，开始用 AI 治疗严重疾病、加速药物发现、应对气候变化，并实现其他伟大目标。人类面临许多重大挑战。我很乐观，因为强大的 AI 即将到来，可以帮助我们解决这些问题。理想情况下，我们应该就此达成广泛共识，并尽可能在联合国层面展开讨论。
有意思的是，这些系统看起来极其强大、聪明，但它们还没有自动化经济中的大部分环节。如果五年前我向你展示 Gemini，你可能会说：‘哇，这下很多工作都要被取代了。’但影响似乎还没有那么广泛。你怎么解释？为什么还没有产生更大的影响？
这说明我们还处在新时代的开端。这些聊天系统有一些有意思的用途，比如总结内容、写简单文本，或撰写一些套话，但这只占我们日常工作的一小部分。要处理更广泛的使用场景，我们还需要新能力，例如规划、搜索、个性化和情景记忆。情景记忆不只是长上下文窗口，还包括记得我们一百次对话之前谈过什么。我很期待看到推荐系统帮助我找到更好、更有启发性的内容，比如书、电影、音乐等等。我每天都会用这种系统。因此我认为，我们才刚刚开始探索 AI 助手在日常生活和工作中的用途。它们还不够可靠，不能直接用于科学研究；但有朝一日，如果解决了事实准确性、接地等问题，可能会成为科学家或临床医生最好的研究助手。
我想问问记忆。你2007年写过一篇很有意思的论文，讨论记忆和想象之间的联系，认为两者在某种意义上很相似。人们常说这些模型只是在记忆。你怎么看？记忆本质上也是压缩，因此只靠记忆就足够了吗？
理论上，你可以尝试记住一切，但无法泛化到训练分布之外。早期有人批评这些系统只会复述和记忆。我认为到了 Gemini、GPT-4 这一代，它们显然能泛化到新的结构。事实上，我的博士论文和那篇开启想象力神经科学研究方向的论文指出，至少人类记忆是一种重构过程，不像录像带。我们会根据似乎熟悉的组成部分重新拼接记忆。正是这个想法让我认为想象过程也可能类似，只不过大脑把相同的语义组成部分以新颖方式组合起来，服务于某个特定目的，比如规划。我认为当前系统仍缺乏这种能力：从世界模型的不同部分提取信息、模拟新情境来帮助规划。我会把这称为想象力。
§07让人类保持参与
现在你们拥有世界上最好的 Gemini 模型。你们是否计划发布一套框架，像另外两家大型 AI 实验室那样？比如说：‘如果我们看到这些具体能力，除非有这些具体保障，否则就不会继续开发，也不会发布产品。’
是的，我们内部已经有很多检查和制衡机制，而且我们会开始公开相关内容。请拭目以待：接下来几个月，我们会发布一批博客文章和技术论文，讨论负责任缩放定律等主题。Shane 等人主持的各种安全委员会内部早已有这些隐性要求，但我认为现在是时候更公开地讨论了。今年我们会陆续发布相关内容。
很高兴听到这一点。另一个问题是，除了已部署的模型可能被用来做坏事，流氓行动者、外国特工等也可能窃取模型权重，再微调它们去做各种疯狂的事。你们如何保护权重，确保不会发生这种事，并限制能够访问权重的关键人员范围？
这是个很有意思的问题。首先有两部分：一是安全，二是开源，我们之后可以讨论开源。安全非常关键，就像常规网络安全一样。我认为我们很幸运，因为 Google DeepMind 位于 Google 防火墙和云安全防护之后；我认为这些是企业界一流的保护措施。在此之内，我们还有专门针对 DeepMind 代码库的防护，形成双层保护。因此我觉得安全性很好。当然永远不能自满，但我认为我们的网络防御已经是全球最先进的。我们必须持续改进，强化沙盒也可能有所帮助。我们还在考虑专门的安全数据中心或硬件方案。未来三到五年，我们也许会需要采用安全领域常见的物理隔离等措施。这点非常关键，所有前沿实验室都应该这样做，否则流氓国家和其他危险行动者会很有动机窃取模型权重。开源是另一个有意思的问题。我们非常支持开源和开放科学，已经发表数千篇论文，开放了 AlphaFold、Transformer、AlphaGo 等成果；最近还公开了天气预测系统 GraphCast。但谈到通用基础技术时，我想问开源支持者：如何阻止个人或流氓国家拿走同一套开源系统并将其用于有害目的？我们必须回答这个问题。我不知道答案是什么，但目前还没听到开源一切的支持者给出清晰、有说服力的解释。因此我认为需要某种平衡。这显然是个复杂问题。
科技行业投入数千亿美元研发，却没有得到应有认可。谈到权重安全，我们知道目前可能不会导致世界末日，但随着系统变强，人们担心外国行动者等会拿到模型权重。现在可能有几十到上百名研究者能访问权重。有什么计划能将权重放在一个高度安全的环境中，只有经过非常严格的流程才能访问，且任何个人都不能直接把它拿走？
这需要在安全与合作、进展速度之间取得平衡。另一个问题是，我们希望独立研究者、学术界或英国 AI 安全研究所、美国 AI 安全研究所能够红队测试这些系统，因此必须开放一定程度的访问，但这不一定意味着让他们拿到权重。我们已经建立很多流程，确保只有确有需要的人才能获得访问权限。目前这些系统似乎还处于早期、风险尚低的阶段。随着系统变得更强大、更通用、更有能力，我们必须重新考虑访问权限问题。
其他实验室在安全研究的不同方面各有专长，比如 Anthropic 擅长可解释性。你觉得 DeepMind 有什么优势？现在你们拥有前沿模型，在哪些方面能做出最好的前沿安全研究？
我们参与开创了 RLHF 等方法，它们既能提升表现，也能帮助安全。我认为自博弈等理念也可用于自动测试新系统的各种边界条件。问题在于，通用系统的行为范围太广，测试面非常大，因此需要自动化测试。模拟和游戏式的逼真虚拟环境也是如此，我们在这些领域已有长期积累，可用于构建 AI 算法。我们可以利用所有这些经验。此外，我们很幸运，Google 有世界一流的网络安全专家和硬件设计人员，也能为安全与保障提供帮助。
§08多模态与进一步进展
我们来谈谈 Gemini。现在你们有了世界上最好的模型。人们一直通过聊天来与系统交互。既然现在出现了多模态和各种新能力，你预计交互方式会改变吗？你认为聊天仍会是主要方式吗？
我们才刚开始理解，和完整的多模态模型系统交互会有多么令人兴奋。它会与今天的聊天机器人很不一样。未来一年到一年半里，新版本也许能通过摄像头、手机或眼镜理解你周围的环境。我想这可能是下一步。之后系统会更流畅地理解视频采样和语音，甚至最终可能包括触觉和机器人用到的其他传感器。我认为未来几年会非常令人兴奋，因为我们会逐渐习惯真正多模态意味着什么。
谈到机器人，Ilya 之前来节目时说，OpenAI 放弃机器人研究的原因是当时这个领域数据不足。你们发布过 Robo-Transformer 等工作。你觉得数据仍然是机器人发展瓶颈吗？我们会在物理世界中、而不仅是数字世界中取得进展吗？
我们对 Gato 和 RT-2 等系统取得的进展非常兴奋。我们一直喜欢机器人研究，也有很出色的成果，现在还在继续，因为数据匮乏的环境会推动很有意思的研究方向，而这些方向本身也很有用：采样效率、整体数据效率、迁移学习、从模拟中学习并迁移到现实，也就是 sim-to-real，以及控制问题。Ilya 说得对，数据问题让机器人研究更难。但我认为大型模型开始能够迁移到机器人领域。它们可以先在通用领域、语言领域等学会能力，再把 Gato 中的 token 视作各种 token：可以是动作、文字、图像中的一部分、像素等等。我认为这才是真正的多模态。起步阶段，这种系统比普通语言模型难训练，但回到我们之前谈到的迁移学习，当系统真正多模态时，一种模态的学习会让其他模态也受益。比如你会因为理解了一些视频而提升语言能力。我认为要先启动起来更难，但最终会得到更通用、更强大的系统。
Gato 后来怎么样了？它既能玩游戏、处理视频，又能处理文本，这非常有意思。
我们还在研究这类系统。可以想象，我们正试着把这些想法融入未来的 Gemini，让它具备这些能力。机器人 Transformer 等工作，可以看作这条研究路线的后续。
你认为自博弈方法带来的进步会不会在某些领域特别明显，比如数学和代码？最近你们发表了一些相关论文，可以用这些方法做很酷、很新颖的事情。模型会不会成为超人类程序员，但在其他方面仍不如人类？
数学、定理证明和编程方面进展很大。但如果看创造力和科学研究整体，目前的系统也许能帮助顶尖科学家更快取得突破，比如以某种方式缩小搜索空间，或像 AlphaFold 预测蛋白质结构那样找到解法。但它们还不能自己提出假设或提出正确问题。顶尖科学家都会告诉你，科学中最难的其实是提出正确问题：从庞大的可能性中筛选关键问题，并用正确方式构造问题。这不是我们的系统目前真正会做的事。但如果问题有清晰的目标函数，它们很适合搜索大型组合空间。因此这些系统已经能帮助解决许多现有问题，但还无法处理最高层次的创造性问题。
DeepMind 在加速科学方面发表了许多有意思的成果。如果你认为未来10到20年会出现通用人工智能，为什么不直接等它来做这些事？为什么还要构建领域专用解决方案？
我们不知道通用人工智能还要多久才会出现。即使创办 DeepMind 时，我们也一直说，不必等到通用人工智能才能为世界带来巨大益处。我个人特别关心 AI 用于科学和健康，比如 AlphaFold、我们在不同领域发表的《自然》论文、材料科学研究等等。这些方向令人兴奋，也能通过产品产生真实影响。作为 Google 的一部分，我们有个独特机会：Google 有几十款拥有十亿用户的产品，我们可以把新进展直接部署进去，让数十亿人的日常生活得到改善、丰富和提升。我认为这是产生影响的绝佳机会。
从 AGI 角度看，还有一个原因：现实应用可以检验想法。你不希望躲在研究室里，理论上不断推进进展，但内部指标逐渐偏离人们在现实中关心的事情和实际影响。真实应用会直接反馈系统是否真的能够扩展，以及我们是否需要提高数据效率或样本效率，因为大多数现实挑战都要求这些能力。这会让研究保持务实，并不断推动我们调整研究方向，确保走在正确道路上。我认为这很好，社会也能受益，甚至在通用人工智能到来多年之前就能获益。
§09Google DeepMind 内部
Gemini 的开发很有意思，因为它紧接着 Brain 和 DeepMind 两个组织的合并。整合过程中遇到了什么挑战、产生了什么协同效应？现在你们有了世界上最好的模型，可以说是成功的。整个过程是什么样的？
过去一年非常棒。当然，像任何大型整合一样，也有挑战。这是两个世界一流、历史悠久的组织，过去发明了许多重要技术，从深度强化学习到 Transformer。把它们汇聚起来、展开更密切合作，令人非常兴奋。以前我们也合作，但大多是逐项目合作；现在合作更深入、范围更广。Gemini 是合作结出的第一个成果，名字 Gemini 也有‘双子’之意。许多其他事情也变得更高效，比如统一计算资源、共享想法和工程能力。到了今天，构建前沿系统需要大量世界一流工程，因此进行更深入协调是合理的。
你和 Shane 创办 DeepMind，部分原因是担心安全问题，并认为通用人工智能确实有可能实现。你觉得以前来自 Brain 的员工，也就是现在 Google DeepMind 的一半人，是否也有同样的看法？在这个问题上是否存在文化差异？
这也是我们在2014年与 Google 联手的原因之一。我认为整个 Google 和 Alphabet，而不仅是 Brain 和 DeepMind，都非常重视这些责任问题。我们的理念是：既要大胆，也要负责任地开发这些系统。我显然非常乐观地看待技术，但考虑到我们共同带入世界的技术有如此巨大的变革力量，我希望大家保持谨慎。这非常重要。AI 将成为人类有史以来最重要的技术之一。我们必须尽一切努力把事情做好，审慎而谦逊地面对自己对即将到来的系统知道什么、不知道什么，以及相关的不确定性。面对巨大的不确定性，唯一合理的方法是谨慎乐观，并运用科学方法，尽可能提前预见、理解即将发生的事情及其后果。你不希望在现实世界中对这些影响重大的系统进行实时 A/B 测试，因为意外后果可能非常严重。因此我希望整个行业摆脱‘快速行动，打破常规’的态度。过去这种做法也许很适合硅谷，并带来了重要创新。但在这里，我们既要勇于推进 AI 在医学和科学等领域的益处，也要尽可能负责任、审慎地减轻风险。
这也是为什么我觉得负责任规模扩展政策，是一种很好的经验性方法，能让大家预先承诺会这样做。
没错，正是如此。
进行评估时，假如发现下一个模型可以帮助普通人制造出足以引发全球大流行的生物武器，你会如何考虑？首先，怎样确保权重安全、不被泄露？其次，你需要看到什么证据，才会放心部署这个系统？如何确保这种潜在能力不会暴露？
模型安全方面，我认为我们已经谈过了：要确保网络安全达到世界一流水平，并对各种情况进行监控。如果通过红队测试或外部测试发现这种能力，例如政府机构、学术界等独立测试者发现问题，我们就必须修补漏洞。具体措施取决于问题性质，可能需要制定不同的模型规范，增加防护措施，或加强 RLHF。也可能需要删除某些训练数据。总之，有多种缓解方案。第一步是提前发现问题，因此需要合适的评估、基准测试和测试方法。接下来才是考虑如何在部署前修复问题。如果模型暴露出这类风险，当然必须先解决，再公开部署。
最后一个问题。2010年时，别人还觉得通用人工智能这个目标很荒谬，你却一直按照这个终点思考。现在我们正看到一种缓慢起飞过程，开始出现泛化与智能。心理上亲眼看到这一切是什么感觉？你早已把它纳入自己的世界模型，因此并不意外吗？还是亲眼看到它发生时，你会觉得：‘哇，事情真的变了？’这是什么感觉？
对我来说，至少从技术角度，这早已在我的世界模型预期之中。但我们没有预料到公众会这么早就如此感兴趣。如果 ChatGPT 和聊天机器人没有引起这么大关注（我认为大家都很意外，尽管这些系统还有一些缺陷，人们已经愿意使用了），我们可能会继续沿主线发展专用系统，比如 AlphaFold、AlphaGo 和科学研究成果。那样的话，公众也许要等几年，直到更通用、用途更广的助手型系统出现，才会开始关注。这种变化很有意思，也让整个行业进入一种不同的环境，稍微更混乱了，因为同时发生的事情太多，风险投资涌入，也让许多人有些失去理智。我唯一担心的是，希望整个行业能负责任、审慎、科学地行事，用科学方法以乐观但谨慎的方式推进。我一直相信 AI 就该这样发展，只希望这场巨大热潮不会让大家忘记这一点。
我觉得这是个很好的收尾。德米斯，非常感谢你抽出时间来参加节目。
谢谢。非常荣幸。