Adam Marblestone: 亚当·马布尔斯通:AI 缺失了大脑的某种根本性要素

00:00德瓦克什·帕特尔

我有一个价值百万美元的大问题,我一直想通过所有这些对 AI 研究者的采访找到答案:大脑是怎么做到的?我们向这些大语言模型投喂了多得多的数据,但它们拥有的能力,仍然只是人类全部能力的一小部分。那么到底是怎么回事?

亚当·马布尔斯通

这也许是一个价值千万亿美元的问题,或者类似的说法。你可以论证说,这是科学中最重要的问题。我不敢说我知道答案。我也不认为答案就一定会来自许多聪明人像现在这样投入大量思考。我整体的元层面看法是,我们必须赋能神经科学这个领域,让神经科学在技术及其他方面成为一个更强大的领域,这样才真正有可能攻克这样的问题。

也许,用现代 AI、神经网络、深度学习的视角来思考这件事,可以说它有几个关键组成部分。首先是架构。也许还有超参数,比如你有多少层,或者这个架构的其他属性。然后是学习算法本身。你如何训练它?是反向传播、梯度下降,还是别的什么?它如何初始化?如果我们只看系统中负责学习的那部分,它仍然可能有某种权重的初始化。此外还有代价函数。它被训练去做什么?奖励信号是什么?损失函数是什么,监督信号又是什么?

在这个框架内,我个人的直觉是,这个领域忽视了这些非常特定的损失函数、非常特定的代价函数所起的作用。机器学习往往偏爱数学上简单的损失函数。预测下一个词元、交叉熵,这些都是计算机科学家式的简单损失函数。我认为进化实际上可能把大量的复杂性构建进了损失函数里,也就是为不同区域设计了许多不同的损失函数,并在发育的不同阶段启用。基本上就像是一大堆 Python 代码,为大脑不同部分需要学习的内容生成一套特定的课程。

因为进化已经多次见识过什么成功、什么失败,进化可以把学习课程的知识编码下来。在机器学习的框架下,也许我们可以回头谈谈,大脑的损失函数从何而来?不同的损失函数会导致不同的学习效率吗?

德瓦克什·帕特尔

人们说,皮层拥有通用的人类学习算法,也就是人类拥有的那种秘密配方。这是怎么回事?

亚当·马布尔斯通

这是个很大的问题,而且我们并不知道答案。我见过一些模型,其中皮层……皮层通常具有这种六层结构,这里的层与神经网络里的层在含义上略有不同。皮层上任何一个位置,沿着片层向内走,都有六层实体的组织。然后这些区域彼此相连,而这更像是网络意义上的层。

我见过一些版本,它们想要解释的只是:“它是如何近似反向传播的?”那么相应的代价函数是什么?如果你想说它有点像反向传播,那么这个网络被要求做什么?它是在对下一个词元预测做反向传播,还是在对图像分类做反向传播,或者到底是什么?没有人知道。但有一种想法,一种可能性,就是它只是一个极其通用的预测引擎。也就是说,皮层的任何一个区域都只是在试图预测……基本上就是,它能否学会根据它所看到的所有变量中的任意一个子集,去预测任意另一个子集?这就是全向推断,或者说全向预测。

而大语言模型只是看到上下文窗口里的一切,然后计算一个非常特定的条件概率,即:“给定最近的成千上万个内容,下一个词元的概率分别是多少。”但如果让大语言模型去做“the quick brown fox 空 空 the lazy dog”这样填补中间的任务,而不是预测下一个词元,那会显得很奇怪,因为它只是在做前向预测。它可以在上下文窗口等层面上以涌现的方式学会如何做这类事情,但就其原生方式而言,它只是在预测下一个词元。

如果皮层在原生设计上就是这样的呢:皮层的任何区域,都可以在给定其他任何缺失子集的情况下,预测其输入任意子集中的任何模式?这更像是“概率式 AI”。顺便说一下,我现在说的很多东西,和杨立昆会说的极其相似。他对这些基于能量的模型很感兴趣,这类东西就像是所有变量的联合分布。任意一种变量组合的可能性或不可能性有多大?

如果我钳制其中一些变量,并且明确说这些变量就处于这些状态,那么我就可以,比如通过概率采样来计算——以这些变量被设定为该状态为条件,而它们可以是模型中变量的任意子集——我能否预测任何其他子集会怎么变化,并在钳制这个子集的情况下从任何其他子集中采样?而且我可以选一个完全不同的子集,从那个子集中采样。这就是全向推断。

因此,皮层中可能有一些部分,可能有一些联合区域,根据听觉去预测视觉。也可能有一些区域,去预测大脑中更偏先天的那部分将要做什么。因为要记住,整个这套东西是骑在蜥蜴脑和蜥蜴身体之上的,如果你愿意这么说的话。而那部分同样是值得预测的。你预测的不只是我看到的是这个还是那个。这块肌肉是不是要绷紧了?我是不是要出现笑的反射了?我的心率是不是要上升了?我是不是要触发这种本能行为了?

德瓦克什·帕特尔

基于我更高层次的理解……比如,我可以把有人告诉我“你背上有只蜘蛛”,与那个蜥蜴脑部分对应起来,而如果我真的在眼前看到一只蜘蛛,那个部分就会被激活。你学会了把两者联系起来,所以即便只是听到有人对你说“你背上有只蜘蛛”

亚当·马布尔斯通

嗯,我们稍后再回到这个话题。这在一定程度上与史蒂夫·伯恩斯的理论有关,我最近对它很着迷。不过在你和伊利亚的播客里,他说过:“听着,我不知道有任何好的理论能解释进化是如何编码高层次的欲望或意图的。”我认为这与所有关于大脑会用到的损失函数和代价函数的那些问题紧密相连。这是一个非常深刻的问题,对吧?

比方说,我在你的播客上说错了话,觉得很尴尬,因为我想象杨立昆正在收听,他说:“那不是我的理论。你把基于能量的模型描述得太糟糕了。”这会在我身上激活先天的尴尬和羞耻感,我会想躲起来之类的。这会激活这些先天的反射。这很重要,因为否则我可能会被杨立昆那支劫掠成性的、由其他……组成的大军杀掉。

德瓦克什·帕特尔

法国的 AI 研究者们要来找你了,亚当。

亚当·马布尔斯通

所以我有那种本能反应是很重要的。但当然,进化从未见过杨立昆,也不知道基于能量的模型,不知道什么是重要的科学家或播客。大脑必须以某种方式,以非常稳健的方式,编码这种不要得罪部落里非常重要的人之类的欲望,而事先并不知道大脑的学习子系统,也就是进行学习的皮层及其他部分,将要学到的所有那些东西……皮层将要学习这个世界模型。它会包含杨立昆和播客这样的东西。而进化必须确保那些神经元,不管是“杨立昆对我不满”神经元,还是别的什么,都能被正确地连接到羞耻反应,也就是奖励函数的这一部分。这很重要,对吧?

因为如果我们想要能够在部落中追求地位,或者像你说的那样向有学识的人学习,诸如此类,与朋友而不是敌人交换知识和技能……我们必须学习所有这些东西。它必须能够稳健地把这些学到的世界特征、学到的世界模型的部分,与这些先天的奖励函数连接起来,然后真正利用这一点去学习更多。因为下次如果杨立昆给我发邮件说我搞错了,我就不会再试图去得罪他了。我们会基于此进行进一步的学习。

在构建奖励函数时,它必须使用学到的信息。但不知道杨立昆的进化,是怎么做到这一点的?史蒂夫·伯恩斯提出的基本想法是,皮层的一部分,或者像杏仁核这样的其他会学习的区域,它们所做的是对引导子系统进行建模。引导子系统是包含这些更偏先天编程的反应的部分,其中有先天编程好的一系列奖励函数、代价函数和自举函数。

例如,杏仁核中有一些部分能够监视那些部分的行为,并预测它们会做什么。你如何找到对社会地位重要的神经元?嗯,你有一些关于社会地位的先天启发式规则,又比如你有一些关于友善的先天启发式规则,是引导子系统可以使用的。而且引导子系统实际上有它自己的感觉系统,这很疯狂。我们通常认为视觉是皮层做的事。但还存在一个引导子系统,一个皮层下的视觉系统,叫做上丘,它具有先天的能力,比如检测人脸或威胁。

所以有一个带有先天启发式规则的视觉系统,而引导子系统有它自己的反应。杏仁核的一部分或皮层的一部分会学习预测这些反应。皮层中对社会地位或友谊重要的神经元是哪些?它们就是那些能预测这些关于友谊的先天启发式规则的神经元。你在皮层中训练一个预测器,然后问:“哪些神经元是这个预测器的一部分?”这些就是你现在真正成功连接起来的神经元。

德瓦克什·帕特尔

这太有意思了。我觉得我仍然不太明白……我明白皮层如何能够学会大脑中这个原始部分会对……做出怎样的反应。显然它带有这样的标签:“这里确实是一张蜘蛛的图片,这很糟糕,要害怕这个。”皮层之所以学到这是糟糕的,是因为先天的那部分告诉了它。但接下来它必须泛化到:“好吧,蜘蛛在我背上。有人告诉我蜘蛛在我背上。这也很糟糕。”

亚当·马布尔斯通

是的。

德瓦克什·帕特尔

但它从未在这一点上得到过监督。那么它是怎么……?

亚当·马布尔斯通

嗯,那是因为学习子系统是一种强大的学习算法,它确实具有泛化能力,能够泛化。引导子系统则是那些先天的反应。你的引导子系统里会内置一些东西,也就是这些较低位的脑区:下丘脑、脑干等等。同样,它们有自己原始的感觉系统。

所以可能存在一种先天反应。如果我看到某个东西正朝我的身体快速移动,而且我之前并没有看到它在那里,它又小又黑、对比度很高,那可能是一只昆虫正窜到我身上。我会本能地躲闪。有这些先天的反应。在下丘脑中,会有某一组神经元,比方说,就是“我正在躲闪”或者“我刚刚躲闪过了”神经元。

当你躲闪时,首先,它对奖励函数是一个负面贡献。你也许并不希望这件事发生。但那是一个不带任何泛化的奖励函数。我会避开那个朝我窜过来的东西的那种确切情形。也许我会避开某些导致那个东西窜过来的行为。这是你能得到的一种泛化,也就是史蒂夫所说的奖励函数的下游。我会避开蜘蛛朝我窜过来的那种情形,但你还会做另一件事。

比如说,你的杏仁核中会有一部分在说:“好,在几毫秒、几百毫秒或几秒之前,我是否本可以预测到那个躲闪反应?”这会是一组神经元,本质上是一个分类器,判断“我是不是要躲闪了?”而对于进化需要照管的每一个重要的引导子系统变量,我都会有这样的分类器。我是不是要躲闪了?我是不是在和朋友说话?我现在该不该笑?这位朋友地位高吗?不管下丘脑、脑干里包含什么变量……我是不是要尝到咸味了?

它会有所有这些变量,而对每一个变量,它都会有一个预测器。它会训练这个预测器。现在,它所训练的这个预测器是可以有一定泛化的。它之所以能有一定泛化,是因为它的输入完全不同。它的输入数据可能是诸如“蜘蛛”这个词之类的东西,而“蜘蛛”这个词可以在各种各样的情形下被激活,这些情形会让你世界模型中的“蜘蛛”一词被激活。如果你有一个带有非常复杂特征的复杂世界模型,那本身就会给你一定的泛化。不只是那个朝我窜过来的东西,甚至“蜘蛛”这个词或“蜘蛛”这个概念,都会引发这一触发。这个预测器可以学到这一点。不管我世界模型里的蜘蛛神经元是什么,哪怕是关于蜘蛛的一本书,或者某个有蜘蛛的房间,或者别的什么……

德瓦克什·帕特尔

这场对话在听众中引发的起鸡皮疙瘩的程度……

亚当·马布尔斯通

现在我正在激活你的引导子系统,你的引导子系统中,下丘脑里那一小组与窜动昆虫相关的蜘蛛神经元,正在被对话中这些非常抽象的概念所激活。

德瓦克什·帕特尔

如果你再继续说下去,我就要加一个触发警告了。

亚当·马布尔斯通

那是因为你学到了这些。皮层天生就具有泛化的能力,因为它只是基于这些非常抽象的变量,以及它所拥有的所有整合信息来做预测。而引导子系统只能使用上丘和少数其他感受器能输出的东西。

德瓦克什·帕特尔

顺便说一句,值得一提的是,把神经科学的不同部分联系起来的这个人,史蒂夫·伯恩斯,是一位前物理学家。过去几年里,他一直在尝试综合——

亚当·马布尔斯通

他是一位 AI 安全研究者。他只是在做综合。这又回到了学术激励的问题。我认为这有点难说。确切的下一个实验是什么?我要怎么就此发表一篇论文?我要怎么训练我的研究生去做这件事?这是非常具有推测性的。但神经科学文献中有很多内容,史蒂夫能够把它们整合起来。而且我认为,史蒂夫本质上给出了伊利亚那个问题的一个答案,也就是:大脑最终是如何编码这些更高层次的欲望,并把它们与更原始的奖励联系起来的?

德瓦克什·帕特尔

这是个很天真的问题,但我们为什么不能通过这样来实现这种全向推断:训练模型时,不只是从一个词元映射到下一个词元,而是去掉训练中的掩码,让每个词元都映射到每个词元;或者在视频、音频和文本之间设计更多的标签,迫使它把其中每一种映射到另外每一种?

亚当·马布尔斯通

我是说,那也许就是办法。我并不确定。有些人认为,大脑进行概率推断的方式不同,或者它用的是一种不是反向传播的不同学习算法。可能还有其他的学习方式,比如基于能量的模型或其他类似的东西,你可以想象它们参与了实现这一点,而大脑拥有这些。

但我认为有这样一个版本:大脑所做的,是用一些粗糙的反向传播版本,通过几层来学习预测,它有点像一个多模态基础模型。大语言模型也许只是在预测下一个词元。而视觉模型也许是通过学习填补空白、重建不同的片段或组合来训练的。但我认为大脑是以极其灵活的方式做到这一点的。

如果你训练一个模型只去填补中心的这个空白,好,那很不错。但如果你没有训练它去填补左边的另一个空白呢?那它就不知道该怎么做了。这不属于被摊销到网络中的那套预测技能。而对于一个真正强大的推断系统,你可以在测试时选择:它需要推断的变量子集是哪些,哪些变量被钳制?

德瓦克什·帕特尔

好的,有两个子问题。第一,这让人不禁怀疑,人工神经网络所缺乏的东西,也许与奖励函数关系不大,而更多在于编码器或嵌入……也许问题在于,你没有在正确的潜在抽象层面上表示视频、音频和文本,以至于它们无法相互交融并产生冲突。

也许这也和大语言模型似乎不善于在不同想法之间建立联系有关。这些想法是否是在一个足够通用的层面上被表示的,从而让你能够注意到不同的联系?

亚当·马布尔斯通

嗯,问题在于这些问题全都纠缠在一起。如果我们不知道它是否在做类似反向传播的学习,不知道它是否在用基于能量的模型,而且我们甚至一开始就不知道这些区域是如何连接的,那就很难真正触及这件事的基本事实。不过,是的,有可能。

我认为已经有人做过一些工作。我的朋友乔尔·达佩略几年前实际上做过这样一件事:他把一个模型——我记得是 V1 的模型,具体来说是早期视觉皮层如何表示图像——作为输入送进一个卷积网络,这改善了某些方面。可能存在一些差异。视网膜也在做运动检测,某些东西会被过滤掉。感觉数据可能经过了某些预处理。可能在哪些模态预测哪些模态等方面存在一些巧妙的组合,从而带来更好的表征。也可能有比这更巧妙得多的东西。

确实有一些人认为,架构中内置了归纳偏置,会以不同的方式塑造表征,或者说你可以做一些巧妙的事情。Astera,也就是雇用史蒂夫·伯恩斯的那个组织,刚刚基于多丽丝·曹的工作启动了这个神经科学项目。她有一些想法,关于如何构建基本上所需训练更少的视觉系统。他们把一些假设构建进架构设计中,比如物体由表面界定,表面具有某些类型的形状,以及它们相互遮挡的关系之类的东西。也许可以在网络中构建更多的假设。进化可能也对架构做了一些改动。只是我认为,代价函数等等也可能是它所做的关键事情。

22:20德瓦克什·帕特尔

我想谈谈你刚才一带而过的那个想法,也就是摊销推断。也许我应该先试着解释一下我认为它是什么意思,因为我觉得我多半理解错了,这样可以帮你纠正我。

亚当·马布尔斯通

我也已经有好几年没碰这个了。

德瓦克什·帕特尔

现在,模型的工作方式是,你有一个输入,把它映射到一个输出,而这是在摊销一个过程,一个我们认为才是智能本质的真实过程。那就是你对世界可能是什么样子有某种先验,也就是有哪些原因使世界成为现在这个样子。然后当你看到某个观察时,你应该这样想:“好,这是世界可能的所有样子。这个原因最能解释正在发生的事。”

现在,对每一个可能的原因都做这种计算,在计算上是不可行的。所以你只能去采样,比如:“哦,这里有一个潜在的原因。它能解释这个观察吗?不能,算了。继续采样。”然后最终你得到了那个原因,这个原因解释了观察,这就成为你的后验。

亚当·马布尔斯通

这其实说得相当不错。贝叶斯推断总体上就是这种非常难以处理的东西。我们用来做这件事的算法往往需要取大量样本,也就是蒙特卡洛方法,取大量样本。而取样本需要时间。这有点像最初的玻尔兹曼机之类的东西。它们使用的就是这类技术,而且现在它在概率编程以及其他类型的方法中仍然经常被使用。贝叶斯推断问题,基本上就是感知的问题:给定某个世界模型,给定一些数据,我应该如何更新我的……我内部模型中缺失的变量是什么?

德瓦克什·帕特尔

我想这个想法是,神经网络但愿能……显然,从机制上说,神经网络并不是从“这是我的世界模型,我要试着解释这些数据”开始的。但希望是,不再从“嘿,这个原因能解释这个观察吗?不能。这个原因解释了这个观察吗?能。”开始。你所做的就只是,观察……

亚当·马布尔斯通

神经网络认为最好的那个原因是什么?

德瓦克什·帕特尔

从观察到原因。所以前馈过程是从观察到原因,再到输出,而这个输出……

亚当·马布尔斯通

你不必评估所有这些能量值之类的东西,也不必四处采样让它们变高或变低。你只是说,大致上那个过程会得出这个是排名第一的,或者类似的结果。

德瓦克什·帕特尔

没错。一种思考方式可能是,测试时计算,也就是推断时计算,实际上又在做这种采样。你可以直接读它的思维链。它实际上就是在做我们谈到的这个玩具例子,就像是:“哦,我能通过做 X 来解决这个问题吗?不行,我需要换一种方法。”这就引出一个问题。我是说,随着时间推移,确实有这样的情况:原本需要推断时计算才能引出的能力,会被蒸馏进模型。于是你摊销的,正是过去需要通过这些推演、这些蒙特卡洛推演才能弄清楚的东西。

总的来说,也许有这样一个原则:可以被复制的数字心智,与无法被复制的生物心智相比,面临的相关权衡是不同的。所以总的来说,摊销更多的东西应该是合理的,因为你可以直接复制这种摊销,或者复制你内置的那些东西。

这是一个有点跑题的问题,但值得推测一下。在未来,随着这些系统变得更智能,我们训练它们的方式变得在经济上更合理,有哪些东西适合摊销进这些心智,而进化却认为不值得摊销进生物心智?生物心智每一次都必须重新训练。

亚当·马布尔斯通

首先,我认为概率式 AI 的支持者会说,当然你需要测试时计算,因为这个推断问题真的很难,而我们所知道的解决方法都涉及大量的测试时计算。否则它就只是一个糟糕的近似,永远不会……你得有无限的数据之类的才能做到这一点。我想一些概率派的人会说:“不,它本质上是概率性的,以这种方式摊销它根本说不通。”他们接着可能还会指向大脑说:“好,大脑里的神经元是随机的,它们在采样,在做各种事情。所以也许大脑实际上做的更像是非摊销的推断,真正的推断。”

但同样奇怪的是,感知只需要几毫秒之类的时间就能完成。它似乎并没有用到那么多采样。所以它显然也在把一些东西烘焙进近似的前向传播之类的过程中来做到这一点。在未来,我不知道。在某种程度上,是不是已经有这样的趋势:人们过去不得不使用测试时计算的那些东西,正在被用来回过头训练基础模型?现在它一次前向传播就能完成。

也许进化做了这件事,也许没有。我认为进化仍然必须把一切都通过基因组来传递,以构建网络,而人类生活的环境是非常动态的。所以也许,如果我们相信这是对的,即按照史蒂夫·伯恩斯的说法存在一个学习子系统和一个引导子系统,那么学习子系统并没有很多预初始化或预训练。它有某种架构,但随后在一生之中进行学习。这样的话,进化实际上并没有往那个网络里摊销多少东西。它转而把这些摊销进了一组先天行为里,以及一组自举的代价函数里,或者说构建非常特定的奖励信号的方式里。

德瓦克什·帕特尔

这个框架有助于解释人们指出过的一个谜团,我也问过几位嘉宾:如果你想把进化类比为预训练,那你如何解释通过基因组传递的信息如此之少这个事实?人类整个基因组的大小是 3 GB。显然,其中只有一小部分实际与编码大脑有关。

此前人们做过这样的类比:进化实际上找到的是模型的超参数,即那些告诉你应该有多少层的数字,也就是架构,基本上就是各部分应该如何连接在一起。但如果故事的一个重要部分是,提高样本效率有助于学习、通常会让系统表现更好的是奖励函数,是损失函数——而如果进化找到的是这些有助于学习的损失函数——那么就真的说得通了:你怎么能用这么少的信息构建出一种智能。因为奖励函数,用 Python 写,奖励函数字面上就是一行。所以你只需要一千行这样的代码,而这占不了多少空间。

亚当·马布尔斯通

是的。而且它还能利用我之前描述的那种泛化,就是我们谈到蜘蛛的时候,它只是学到“蜘蛛”这个词,就会触发蜘蛛反射之类的。它也可以利用这一点。仅仅通过指定这些先天的蜘蛛相关内容,以及史蒂夫所说的负责学习的“思想评估器”,它就能构建出一个其中实际上包含大量泛化的奖励函数。

这也可能是构建你所需要的那些更复杂的奖励函数的一个非常紧凑的方案。它不必预见奖励函数在未来的方方面面。它只需要预见哪些变量是相关的,以及有哪些启发式规则可以用来找出这些变量。然后它还必须为学习子系统的学习算法和基本架构给出一个非常紧凑的规格说明。接着它必须指定所有这些 Python 代码,涵盖关于蜘蛛的一切、关于朋友的一切、关于你母亲的一切,以及关于交配、社会群体和共同注视的一切。它必须指定所有这些东西。

那么这真的是对的吗?我认为有一些证据支持。陈飞和埃文·马科斯科以及其他各种研究者一直在做这些单细胞图谱。通过 BRAIN 计划,也就是一个大型神经科学资助项目,扩大神经科学技术的规模——我再说一遍,这是我着迷的事情之一——所做的事情之一是,他们基本上遍历了不同的区域,尤其是小鼠大脑,并绘制出不同细胞类型的位置。皮层不同区域中有多少种不同类型的细胞?不同区域之间是否相同?然后你再看这些皮层下区域,它们更像是引导子系统或产生奖励函数的区域。它们有多少种不同类型的细胞?它们有哪些神经元类型?

我们不知道它们是如何全部连接的,也不清楚它们具体做什么、回路是什么、意味着什么,但你可以通过对 RNA 测序来量化到底有多少种不同的细胞。而基本上,引导子系统中古怪、多样、专门定制的细胞类型,要比学习子系统中多得多。比如皮层的细胞类型,看起来足够用来构建一个学习算法,并指定一些超参数。而在这个引导子系统里,有无数种,成千上万种非常古怪的细胞,其中可能有一种对应蜘蛛躲闪反射,有一种对应“我马上要尝到咸味了”。

德瓦克什·帕特尔

为什么每个奖励函数都需要一种不同的细胞类型?

亚当·马布尔斯通

嗯,这就是先天布线的回路出现的地方。在学习算法的部分,也就是学习子系统中,你指定初始架构,指定一个学习算法。所有的关键作用都是通过突触的可塑性发生的,也就是那个大网络内部突触的变化。但就它的初始化方式而言,它是一种相对重复的架构。这就像制作一个八层的 Transformer 所需的 Python 代码量,与制作三层的 Transformer 并没有太大不同。你只是在复制。

而奖励函数的所有那些 Python 代码则不同,比如,如果上丘看到有什么东西在窜动,而你感觉皮肤上起了鸡皮疙瘩之类的,那就触发蜘蛛反射,这些全是一堆专门定制的、特定于物种、特定于情境的杂七杂八的东西。皮层不知道蜘蛛,它只知道层。

德瓦克什·帕特尔

但你是说,写出这个奖励函数的唯一方式,就是拥有一种特殊的细胞类型?

亚当·马布尔斯通

是的,我想是这样。我认为你要么必须有特殊的细胞类型,要么必须以某种方式获得特殊的布线规则,让进化能够在没有任何学习的情况下规定这个神经元需要连到那个神经元。而我认为,最可能的实现方式是,这些细胞表达不同的受体和蛋白质,它们的作用是说:“好,当这个和那个接触时,就形成一个突触。”所以这是基因层面的布线,而要做到这一点就需要细胞类型。

德瓦克什·帕特尔

我相信如果我懂神经科学入门知识,这会容易理解得多,但看起来引导子系统里仍然有很多复杂性,或者说通用性。所以如果引导子系统有它自己的、与视觉皮层分开的视觉系统,那么不同的特征仍然需要接入那个视觉系统。所以蜘蛛这个东西需要接入它,爱这个东西也需要接入它,等等等等。所以看起来很复杂。

亚当·马布尔斯通

它仍然很复杂。这正是基因组上大量的基因组“地盘”,以及这些不同细胞类型等等,会被用来给引导子系统布线、预先布线的更多理由。

德瓦克什·帕特尔

我们能判断基因组中有多少明确在起作用吗?我想你可以判断有多少与产生RNA有关,这些RNA,或者说表观遗传,体现在大脑中不同的细胞类型上。对吧?

亚当·马布尔斯通

对。细胞类型正是帮助你做到这一点的。我不认为能精确到“哦,基因组的百分之多少在做这件事”,但你可以这样说:“好,在所有这些引导子系统的亚型中,有多少不同的基因参与规定哪个是哪个,以及它们如何布线?这些基因占据了多少基因组‘地盘’,与那些规定视觉皮层与听觉皮层的基因相比如何?”后者只是重复使用同样的基因,把同一件事做两遍。而蜘蛛反射的接线……对,你说得对。它们必须构建一个视觉系统,还必须构建一些听觉系统、触觉系统和导航类的系统。

甚至输入到海马体的那些东西,比如头朝向细胞。连果蝇的大脑也有先天的回路,能弄清它的朝向并帮助它在世界中导航。它利用视觉,计算自己飞行时的光流,以及飞行与风向的关系。它有所有这些先天的东西,我认为在哺乳动物的大脑中,我们会把这些全都归入引导子系统。这有很多工作要做。所以基本上,所有用于规定果蝇必须做的那些事情的基因,我们也会有类似的东西,只是全都在引导子系统里。

德瓦克什·帕特尔

但我们有没有这样的估计,比如:“需要多少个核苷酸,多少兆碱基才能——”

亚当·马布尔斯通

我不知道。我是说,我想你也许可以就此去问问生物学家。我是说,从基因的角度看,我们与酵母有很多共同之处。酵母在生物学中仍被用作某种程度的药物开发等方面的模型。而基因组中如此之多的部分,只是用来让你拥有一个细胞,它能回收废物、获取能量、进行复制。

然后我们与小鼠有哪些共同之处?所以我们确实在某种程度上知道,我们与黑猩猩之类的动物之间的差异——这包括社会本能,以及皮层等方面更先进的差异——是由极少数的基因造成的,这些基因用于额外制造出八层的 Transformer 而不是六层的 Transformer,或者微调那个奖励函数。

德瓦克什·帕特尔

这有助于解释为什么人科动物的大脑尺寸膨胀得如此之快。假设,如果我说得不对请告诉我,按照这个说法,社会学习或其他某种因素提升了从环境中学习的能力。它提高了我们的样本效率。你不必亲自去猎杀野猪并摸索如何做到,你可以直接说:“长者告诉我,长矛是这么做的。”现在这提高了拥有更大皮层的激励,因为更大的皮层可以学习这些东西。

亚当·马布尔斯通

是的,而且这可以用相对很少的基因来实现,因为这实际上是在复制小鼠已经拥有的东西,做出更多。它可能不完全相同,也可能有一些微调,但从基因组的角度看,你不必把所有这些东西重新发明一遍。

德瓦克什·帕特尔

那么,皮层在大脑进化史上可以追溯到多久以前?这个想法是不是说,皮层早就解决了全向推断这件事,那是一个长期以来已经解决的问题?然后灵长类的重大突破是我们获得了奖励函数,从而提高了拥有全向推断的回报?

亚当·马布尔斯通

这是个好问题。

德瓦克什·帕特尔

还是说,全向推断也是花了一段时间才解锁的东西?

亚当·马布尔斯通

我不确定对此是否有共识。我认为可能存在一些关于语言的具体问题。是否有一些微调,无论是通过听觉和记忆,还是某种听觉记忆区域的组合?可能还存在宏观布线,比如你需要把听觉区域接入记忆区域之类的地方,并接入某些社会本能,才能让语言发生。但这也可能只需要少量的基因改变,就能说:“哦,我只需要从这边的颞叶,连到听觉皮层,之类的。”

有一些证据指向布洛卡区、韦尼克区。它们与海马体以及前额叶皮层等相连。所以也许有少量基因,使人类能够真正正常地使用语言。那可能是很重要的一项。但究竟是皮层发生了某种变化,从而使做这些事情成为可能?还是说那种潜力本来就在那里,只是没有激励去扩展这种能力,然后使用它、把它连到这些社会本能上并更多地使用它?我多少倾向于后者。我认为小鼠的皮层与人类有很多相似之处。

德瓦克什·帕特尔

不过苏珊娜·赫库兰诺-乌泽尔有相关的研究,表明神经元数量随重量的扩展,在灵长类大脑中比在啮齿类大脑中更好。那是否意味着皮层的可扩展性实际上确有某种改进?

亚当·马布尔斯通

也许吧,也许。我在这方面不是特别深入。可能在架构、折叠方式、神经元特性等方面有一些变化,以某种方式稍微调整了这一点。但无论哪种情况,仍然存在一种扩展。

德瓦克什·帕特尔

没错。

亚当·马布尔斯通

所以我并不是说人类在学习子系统的架构上完全没有什么特别之处。但是,我认为人们相当普遍地认为它扩大了。那么问题就是:“好,那么这又如何与引导子系统的变化,以及利用这一点并让你能有效地用它来自举的本能相匹配呢?”

不过再补充几点,即便是果蝇的大脑也有一定程度的……即使追溯得很远……我是说,我想你读过那本很棒的书《智能简史》,对吧?我认为这是一本非常好的书。看起来很多 AI 研究者都觉得这是一本非常好的书。

一直追溯到任何有大脑的生物,都有一定程度的学习。基本上,至少追溯到脊椎动物,就有类似原始强化学习的东西。想想斑马鱼。然后还有其他分支。鸟类可能重新发明了类似皮层的东西。它没有六层结构,但它们有一些有点像皮层的东西。所以爬行动物之后的某些情形,在某种意义上,鸟类和哺乳动物都做出了某种有点像皮层、但组织方式不同的东西。

但即使是果蝇的大脑,也有联想学习中枢,它们所做的事情也许有点像伯恩斯的这个“思想评估器”概念:有一种特定的多巴胺信号,用来训练果蝇蘑菇体中特定的神经元亚群,把不同的感觉信息与“我现在会得到食物吗?”或“我现在会受伤吗?”联系起来。

德瓦克什·帕特尔

稍微岔开一下。我记得读过贝伦·米利奇写的一篇博客文章,说与音频和视觉相关的皮层部分,在其他灵长类和人类之间发生了不成比例的扩展,而比如与气味相关的部分则没有。我记得他说过类似这样的话:这是由于那类数据的扩展定律特性更差。也许他就是这个意思,但我认为对那里实际发生的事情,另一种解释是,内置于引导子系统中的这些社会奖励函数,需要更多地利用能看到长者、看到视觉线索、听到他们在说什么的能力。而为了理解这些引导学习的线索,你需要更多地激活视觉和音频,而不是气味。

亚当·马布尔斯通

我是说,这类东西有很多。我感觉其实你之前的节目里已经提到过。比如连人眼的设计,有瞳孔和眼白等等,我们被设计成能够基于共同的目光接触来建立关系。也许这在萨顿那一期里出现过。我记不清了。但是,是的,我们必须通过自举达到这样的程度:能够检测到目光接触,能够用语言交流。这就是生命最初几年试图完成的事情。

42:42德瓦克什·帕特尔

好,我想问问你关于强化学习的事。目前这些大语言模型的训练方式是,如果它们通过了单元测试或解出了一道数学题,那么整条轨迹,轨迹中的每一个词元都会被加权提高。人类是怎么回事?大脑的不同部分是否发生着不同类型的基于模型与无模型的学习?

亚当·马布尔斯通

嗯,这又是这类问题之一。我对这些问题的所有回答,我说的任何具体内容,都只是在表明我们可以朝这个大方向去探索。我觉得这很有意思,也许我觉得文献以某种非常宽泛的方式指向这些方向。我真正想做的,是去绘制整个小鼠大脑的图谱,全面地弄清这一切,让神经科学成为一门以基本事实为依据的科学。所以基本上,我不知道。

但首先,我认为在伊利亚上你的播客时,他说:“很奇怪你们不用价值函数,对吧?”你们基本上用的是最笨的强化学习形式。当然,这些人都极其聪明,他们在优化如何在 GPU 上实现它,他们取得的成就确实令人难以置信。但从概念上讲,这是一种非常笨的强化学习形式,即使与 10 年前所做的相比也是如此。就连玩雅达利游戏的那些工作用的也是 Q 学习,它基本上是一种时序差分学习。时序差分学习基本上意味着,你有某种价值函数,我现在选择的动作,并不只是字面上告诉我紧接着会发生什么。它告诉我的是,这个动作对我预期总奖励之类的东西的长期后果是什么。

所以你会有这样的价值函数……大语言模型里完全没有价值函数,这太疯狂了。我想既然伊利亚说过,我就可以说。我对 AI 的了解只有他的百分之一,但这个方法居然行得通,实在有点疯狂。

但就大脑而言,我认为大脑中有一些部分被认为做着非常像无模型强化学习的事情,那就是纹状体和基底神经节的一些部分。人们认为它们有一个有限的、相对较小的动作空间。它们能采取的动作类型,首先可能是这样的:“告诉脑干和脊髓做这个运动动作?是或否。”也可能是更复杂的认知类动作,比如:“告诉丘脑允许皮层的这一部分与另一部分对话”,或者“释放海马体中的记忆并开始一个新的记忆”之类的。但从基底神经节出来的动作是有限的一组,而且那只是非常简单的强化学习。

所以,其他动物的大脑和我们大脑的某些部分,很可能只是在运行非常简单、朴素的强化学习算法。在此之上还有一层:神经科学中的一些重要工作,比如彼得·达扬的工作,以及一大批工作,我认为这也是 DeepMind 当初做时序差分学习的部分原因。他们对神经科学非常感兴趣。有大量神经科学证据表明,多巴胺给出的是这种奖励预测误差信号,而不只是“是或否”的奖励,即使奖励发生在遥远的未来无数个时间步之后。它是一个预测误差,这与学习这些价值函数是一致的。

所以有这一层,然后也许还有更高阶的东西。我们有皮层在构建这个世界模型。那么,皮层世界模型可以包含的内容之一,就是一个关于你何时会得到奖励、何时不会得到奖励的模型。同样,它是在预测引导子系统会做什么。它也可能在预测基底神经节会做什么。你的皮层里有一个模型,它有更多的泛化、更多的概念和所有这些东西,它会说:“好,这些类型的计划、这些类型的动作,在这些类型的情境下会带来奖励。”所以我有一个关于我自己奖励的模型。

也有人认为你可以反过来做。这也是推断图景的一部分。有一种观点叫做“强化学习即推断”。你可以这样说:“好,以我获得高奖励为条件,采样一个我为了达到那里而需要采取的计划。”这就是从奖励部分推断计划部分。我把奖励钳制在高水平,然后推断计划,从那些可能导向这一结果的计划中采样。所以,如果你有这个非常通用的皮层系统,它就可以直接做到。如果你有这个非常通用的基于模型的系统,而且这个模型除了其他内容之外还包含计划和奖励,那么基本上你就能免费得到这一点。

德瓦克什·帕特尔

所以用神经网络的话来说,就是在发生于……的全向推断上附带了一个价值头——

亚当·马布尔斯通

是的,或者说有一个价值输入。

德瓦克什·帕特尔

哦,好的。有意思。

亚当·马布尔斯通

对,而且它可以做预测。它能预测的几乎属于感觉变量的东西之一,就是它将获得什么奖励。

德瓦克什·帕特尔

顺便说一句,说到摊销,显然价值就像是对查找奖励的推演过程进行摊销。

亚当·马布尔斯通

是的,差不多是这样。它就像是奖励的统计平均或预测。

德瓦克什·帕特尔

岔开一下想法。乔·亨里奇等人有这样一种观点,关于人类社会是如何学会做某些事情的:比如,你怎么发现这种几乎总是会让你中毒的豆子,只要按一个十步的、极其复杂的过程处理就可以食用,而其中任何一步出错,这豆子就会有毒?你怎么弄清楚要用这种特定的方式、这种特定的武器、在一年中这个特定的时间去猎这种海豹,等等?除了几代人不断瞎试之外,没有别的办法。我觉得这其实非常像发生在文明层面的无模型强化学习。不,也不完全是。

亚当·马布尔斯通

在某种意义上,进化是最简单的算法。如果我们相信这一切都可以来自进化,那么外层循环可以是极度缺乏远见的。

德瓦克什·帕特尔

对,这很有意思。就是层级式的……进化:无模型……

亚当·马布尔斯通

那这说明了什么?也许只要做得足够多,简单的算法就能让你得到任何东西。

德瓦克什·帕特尔

对。

亚当·马布尔斯通

是的,我不知道。

德瓦克什·帕特尔

所以,进化:无模型。基底神经节:无模型。皮层:基于模型。文化:可能是无模型的。我是说,你会留意长者的做法之类的。

亚当·马布尔斯通

也许这些东西的群体选择之类的更偏无模型。但现在我认为文化,嗯,它储存了一部分模型。

50:31德瓦克什·帕特尔

退一步说,与现在存在的计算机相比,我们使用生物硬件,对人类来说是劣势还是优势?我这个问题的意思是,如果存在“那个算法”,那么把它刻写进今天的硬件里,它的表现在性质上会差很多还是好很多?之所以认为可能……我的意思是这样的。显然,大脑做了很多取舍,而这些取舍与计算硬件无关。它必须在能量上高效得多。也许因此,它必须以较慢的速度运行,这样电压差就可以更小。所以大脑以 200 赫兹运行,只能在 20 瓦下运行。另一方面,在机器人领域,我们显然已经体会到,手指比我们迄今能造出的电机灵巧得多。所以也许大脑中有某种相当于认知灵巧性的东西,这或许是因为我们可以做非结构化稀疏。我们可以让存储和计算处于同一位置。

亚当·马布尔斯通

是的。

德瓦克什·帕特尔

这一切最后怎么算?你会不会觉得:“妈的,要是不用受这些大脑的限制,我们会聪明得多。”还是说你会觉得——

亚当·马布尔斯通

我认为最终我们会以某种方式两全其美。我认为大脑一个明显的缺点是它无法被复制。你没有对每个神经元和突触的外部读写权限,而对计算机你有。我可以直接在 Python 之类的环境里编辑权重矩阵中的某个东西,然后加载并复制它。原则上如此。所以它无法被复制、无法被随机访问,这一点非常恼人。但除此之外,它也许有很多优势。这也告诉你,你想要以某种方式对算法进行协同设计。这或许与我们讨论的所有内容相比改变不大,但你想要以某种方式做这种协同设计。

所以,是的,你如何用真正慢速的低电压开关来做到这一点?这对能耗将非常重要。让存储和计算处于同一位置。我认为硬件公司可能会尝试让存储和计算同址。他们会尝试使用更低的电压,允许一些随机性的东西。

有些人认为,我们谈到的所有这些概率性的东西——“哦,其实就是基于能量的模型,等等”——它是在做大量采样的。它并不是把一切都摊销了。神经元对此也非常自然,因为它们天然是随机的。所以你不必在一堆 Python 代码里基本上用随机数生成器来生成样本。神经元自己就能生成样本,而且它可以调节不同的概率,并学习这些调节。所以有可能它与某种推断方法是高度协同设计的。

德瓦克什·帕特尔

那会很搞笑……我是说,我从这次采访中得到的信息是,所有那些人们在推特上嘲笑的人,杨立昆、Beff Jezos 之类的,我不知道,也许他们说对了。

亚当·马布尔斯通

这确实是一种解读。当然,自从大语言模型兴起以来,我其实完全没有再做过 AI 方面的工作,所以我已经脱离了圈子。但我对扩展起作用等等感到惊讶,我认为这很了不起。不过,是的,我认为杨立昆和 Beff Jezos 在概率模型方面有点抓到了某些东西,至少是有这种可能。事实上,直到 2021 年左右,所有神经科学家和所有 AI 人士都是这么认为的。

德瓦克什·帕特尔

对。所以大脑中发生着一大堆细胞层面的事情,并不只是神经元到神经元的突触连接。其中有多少在功能上做的工作比突触本身还多,又有多少只是为了让突触这套东西运转而不得不做的一堆权宜之计?对于数字心智,你可以非常轻松地微调突触,抱歉,我是说参数。但对于一个细胞,要根据梯度信号来调节一个突触,就需要所有这些疯狂的机制。那么它实际做的事情,是不是比只需极少代码就能完成的东西更多?

亚当·马布尔斯通

我不知道,但我不相信那种激进的说法,比如“哦,其实记忆主要不是突触,或者学习主要是基因层面的改变”之类的。我认为,你说得非常好,更合理的是更接近你说的第二种情况。比方说,你想对从你的神经元发出的或输入你的神经元的所有权重做权重归一化。那么你大概必须以某种方式把这件事告诉细胞核,然后让它把所有东西再发回给突触之类的。所以会有大量的细胞变化。或者比方说,你有很多可塑性,并且是某个记忆的一部分。现在它已经被巩固到皮层之类的地方了。现在我们想把你重新用作一个可以再次学习的新单元。

会有大量的细胞变化,所以细胞里会发生大量的事情。但从算法上说,它并没有真的在这些算法之外增加什么。它只是在实现这样一件事:在数字计算机里,我们很容易直接找到权重并修改它们。而在细胞里,它字面上必须自己靠分子机器完成这一切,没有任何中央控制器。这有点不可思议。

我认为,有些细胞所做的事情看起来更有说服力。小脑必须做的事情之一是随时间预测。时间延迟是多少?比方说,我看到一道闪光,然后若干毫秒之后,我的眼睑会被吹一口气之类的。小脑可以非常擅长预测闪光与吹气之间的时间间隔,这样你的眼睛就会自动闭上。小脑参与了这类反射,即习得的反射。

小脑中有一些细胞,看起来细胞体在储存那个时间常数、改变那个延迟的时间常数中起了作用,而不是全靠类似“我要造一个更长的突触环来让延迟更长”这样的方式。不,细胞体会直接为你储存那个时间延迟。所以确实有一些例子,但我不会一上来就相信这样一种理论,即发生的本质上是神经元之间连接的变化,而且那就是主要的算法层面的事情。我认为仍然有很好的理由相信是这样,而不是某些疯狂的细胞层面的东西。

德瓦克什·帕特尔

回到整个这个视角:我们的智能不只是这种构建世界模型的全向推断,而是真正有一套系统教我们该关注什么、哪些是值得学习的重要显著因素,等等。我想看看我们能否由此得出一些直觉,关于不同类型的智能可能是什么样子。看起来,AGI 或超人类智能应该仍然具备学习相当通用的世界模型的能力,但它可能会被激励去关注与现代奇点后环境相关的不同事物。我们应该预期不同的智能之间会有多大差异?

亚当·马布尔斯通

我认为思考这个问题的一种方式是:真的有可能造出回形针最大化者之类的东西吗?如果你试图造出回形针最大化者,它最终会不会因为唯一的奖励函数就是制造回形针而不够聪明?我会问,你能做到吗?我不知道。如果我更多地代入史蒂夫·伯恩斯的立场,我想他非常担心的是:要得到某种聪明的东西,引导子系统中所需的最小可行内容,要比让它具有类人的社会本能和伦理等所需的最小可行集合少得多。

所以,关于引导子系统,你想了解的很大一部分,实际上本质上就是如何做对齐的具体细节,或者说人类行为和社会本能是什么,与单纯实现能力所需的东西相比。我们是以略有不同的方式谈论它的,因为我们当时大概是在说:“嗯,为了让人类进行社会性学习,他们需要有眼神接触并向他人学习。”但我们从大语言模型已经知道,取决于你的起点,你可以在没有这些东西的情况下学会语言。所以我认为,很可能可以造出超级强大的、基于模型的强化学习优化系统之类的东西,它们没有我们人类大脑奖励函数中的大部分内容,因此可能想要最大化回形针。这是一个令人担忧的问题。

德瓦克什·帕特尔

但你指出的是,要造出一个有能力的回形针最大化者,也就是能建造飞船、学习物理之类的那种东西,它需要有一些能引发学习的驱动力,比如好奇心和探索。

亚当·马布尔斯通

是的,好奇心,对他人的兴趣,对社会互动的兴趣。但我认为那是相当少的一点。这一点对人类成立,但对已经预训练为大语言模型之类的东西,可能就不那么成立了。所以,我们想了解引导子系统的大部分原因,如果我代入史蒂夫的立场,是出于对齐方面的理由。

德瓦克什·帕特尔

我们有多大把握确信,我们拥有合适的算法概念词汇来思考大脑在做什么?我的意思是,神经科学对 AI 有一个重大贡献,就是 20 世纪 50 年代的神经元这个想法,那是最初的贡献。但后来我们所学到的关于大脑实现的高层算法的很多东西,似乎都是受这样一种动态启发的:从反向传播,到大脑中是否发生着类似反向传播的东西,到“哦,V1 是不是在做类似卷积神经网络的事情”,再到时序差分学习和贝尔曼方程、演员-评论家,等等……我们想出某个点子,也许可以让 AI 神经网络按这种方式工作,然后我们注意到大脑中也有某种东西是这样工作的。那么为什么不认为还有更多类似的东西呢。

亚当·马布尔斯通

也许有。我之所以认为我们可能抓到了点什么,原因在于我们基于这些想法造出来的 AI 效果出奇地好。另外还有一堆纯经验性的证据。卷积神经网络及其变体。我不确定最新的进展是什么,但与计算神经科学中其他关于视觉系统在做什么的模型相比,它们的预测力就是更强。你可以直接打分,即使是在猫的图片之类的数据上预训练的卷积神经网络,它们在某张任意的其他图像上的表征相似度,与用不同方式测得的大脑活动相比如何?吉姆·迪卡洛的实验室有这个 Brain-Score,而 AI 模型实际上……似乎在那里有一定的相关性。神经科学不一定有比这更好的东西。

所以,是的,这只是在重述你所说的:我们拥有的最好的计算神经科学理论,似乎在很大程度上是由 AI 模型以及发现有效的东西而催生的。比如先发现反向传播有效,然后再问:“我们能否用皮层回路来近似反向传播?”之类的。已经有过这样的事情。

不过,有些人完全不同意这一点。捷尔吉·布扎基是一位神经科学家,他有一本书叫《由内而外的大脑》,他基本上是说,我们所有的心理学概念、AI 概念,所有这些东西都只是编造出来的。我们真正需要做的是弄清楚大脑实际使用的基元集合究竟是什么。而我们的词汇不足以描述它。我们必须从大脑出发创造新的词汇,而不是先说出反向传播,然后试图把它套用到大脑上之类的做法。他研究的更多是大脑中的振荡等现象,而不是单个神经元及其功能。

我不知道。我认为这一观点有其道理。而且从研究计划设计的角度看,我们应该尝试做的一件事,就是模拟一只微小的蠕虫或一条微小的斑马鱼,尽可能做到生物物理层面、自下而上的程度。比如获取连接组、分子、活动,把它当作一个物理动力系统来研究,看看它会做什么。

但我不知道,我就是觉得 AI 对计算神经科学来说是非常好的素材。那些模型实际上可能相当不错。我们应该去研究这一点。我认为,研究组合中既应该有一部分是完全自下而上的,不试图把我们从 AI 学来的词汇套用到这些系统上;也应该有另一大部分是尝试用这套词汇或其变体来做逆向工程。我们应该两者并行。我的猜测是,逆向工程这条路实际上会大致行得通。比如我们确实看到了时序差分学习这样的东西,而萨顿也是独立发明了它。

德瓦克什·帕特尔

那一定是种疯狂的感觉,就像——

亚当·马布尔斯通

是啊,那太疯狂了。

德瓦克什·帕特尔

我写下的这个方程竟然就在大脑里。

亚当·马布尔斯通

看起来多巴胺确实在做其中一部分,是的。

63:59德瓦克什·帕特尔

那我来问问你这个问题。你们在资助不同的团队,他们试图弄清大脑里到底是怎么回事。如果我们有了大脑的完美表征,不管你怎么定义它,为什么认为这真的能让我们找到这些问题的答案?我们有神经网络,它们可解释得多,不仅因为我们知道权重矩阵里是什么,而且因为确实存在权重矩阵。有这些装着数字的盒子。即便如此,我们能说清的也只是非常基本的东西。我们大致能看到一些回路,用于非常基本的模式匹配,比如一个词元后面接另一个词元。我觉得,我们并没有真正解释大语言模型为什么聪明,仅仅因为它们是可解释的。

亚当·马布尔斯通

我会在一定程度上反驳这一点。我们对大语言模型根本上在做什么是有一些描述的。它所做的就是:我有一个架构,有一个学习规则,有超参数,有初始化,还有训练数据。

德瓦克什·帕特尔

但这些是我们因为自己构建了它们才知道的,而不是通过查看权重解读出来的。与连接组相类比的,是看到权重。

亚当·马布尔斯通

我认为我们应该做的是,更多地用架构、学习规则、初始化这类语言来描述大脑,而不是试图去找“金门大桥回路”,然后精确地说出这个神经元究竟如何……那会是某种极其复杂的习得模式。康拉德·科尔丁和蒂姆·利利克拉普在一段时间之前,大概五年前,有一篇论文,叫《理解一个神经网络意味着什么?》。他们基本上是说,你可以想象训练一个神经网络去计算圆周率的各位数字之类的东西。那是某种疯狂的模式。你还可以训练这个东西去预测你能找到的最复杂的东西,预测股价,基本上就是预测非常复杂的系统、计算上完备的系统。我可以训练一个神经网络去做元胞自动机,或者别的什么疯狂的东西。我认为,我们永远无法用可解释性完整地捕捉这一点。它内部只会进行非常复杂的计算。

但我们仍然可以说,它变成这样的方式是:它有一个架构,我们给了它这些训练数据,它有这个损失函数。所以我想用同样的方式来描述大脑。我认为我一直在勾勒的这个框架是,我们需要理解皮层,以及它如何体现一种学习算法。我不需要理解它是如何计算“金门大桥”的。

德瓦克什·帕特尔

但如果你能看到所有的神经元,如果你有连接组,为什么这能告诉你学习算法是什么?

亚当·马布尔斯通

嗯,我想对此有几种不同的看法。这取决于这个研究组合中的不同部分。在完全自下而上、必须模拟一切的那部分研究里,它基本上就是做不到。你必须对斑马鱼大脑之类的做一个模拟,然后观察其中涌现的动力学,再提出新的名称、新的概念等等。这是最极端的自下而上的神经科学观点。但即便在那里,连接组对于做那种生物物理的、自下而上的模拟也非常重要。

但另一方面,你可以说:“嗯,如果我们真的可以运用一些来自 AI 的想法呢?”我们基本上需要弄清楚,它是一个基于能量的模型,还是一个摊销式的 VAE 类型的模型?它是在做反向传播,还是在做别的?学习规则是局部的还是全局的?如果我们对此有一些可能想法的备选库,那就把连接组看作海量的额外约束,它们将有助于细化,最终得到一幅自洽的图景。

我对引导子系统方面的事情也是这样考虑的,就是一些非常基本的问题。有多少种不同类型的多巴胺信号,或引导子系统信号,或思想评估器等等……有多少种不同类型、什么样的大类?比如,仅仅是下丘脑中的细胞类型比皮层中的多这一非常基本的信息,就是关于在那里与在别处构建了多少结构的新信息。有多少种不同的多巴胺神经元?前额叶与听觉区之间的连线,与前额叶与视觉区之间的连线是否相同?这些最基本的东西,我们都不知道。问题在于,通过一系列专门定制的实验来了解哪怕最基本的东西,也要花上极其漫长的时间。而通过获取连接组一次性了解所有这些,效率要高得多。

德瓦克什·帕特尔

这件事的时间线是怎样的?想必这么做的想法,首先是为了指导 AI 的发展。你想弄清楚怎样才能让 AI 想要在意他人如何看待它内部的思维模式。但可解释性研究者仅仅通过检查普通的神经网络,就已经在这个问题上取得进展。一定存在某种特征……

亚当·马布尔斯通

你可以对现有的大语言模型做可解释性研究。但你无法对一个假想的、基于模型的强化算法做可解释性研究,比如像大脑那样的、我们在实现 AGI 时最终会收敛到的那种东西。

德瓦克什·帕特尔

有道理。但 AI 的时间线要怎样,这项研究才算切实可行并且有意义?

亚当·马布尔斯通

我认为可以说,如果你处在“AI 2027”那种情景里,那它就不太切实可行,也不太有意义。我现在所做的科学研究不会影响十年后的科学。因为将会影响十年后科学的,是这个“AI 2027”情景的结果。如果我拥有连接组,大概也没那么要紧,也许只是稍微调整某些东西。

但我认为有很多理由认为,我们也许能从这个范式中获得很多东西。可是那个真正的东西,那个对整个未来具有变革意义的单一事件,仍然在五年以上之后,或者类似的时间。

德瓦克什·帕特尔

那是因为我们还没有掌握全向推断,还没有找到合适的办法让一个心智以合理的方式去关注事物吗?

亚当·马布尔斯通

我是说,我会把你和所有人做的整个播客合集,看作是展示这些看法的分布。我不知道。卡帕西的时间线是怎样的,对吧?哈萨比斯的时间线是怎样的?所以并不是每个人的时间线都是三年。

德瓦克什·帕特尔

但原因各不相同,我很好奇你的是哪些。

亚当·马布尔斯通

我的是什么?我不知道,我只是在看你的播客。我在试图理解这种分布。我并没有很强的主张说大语言模型做不到。

德瓦克什·帕特尔

但关键症结是数据效率,还是……?

亚当·马布尔斯通

我认为部分原因只是它与所有这些大脑方面的东西奇怪地不同。直觉上,它就是和所有这些大脑方面的东西奇怪地不同,而我有点在等待那个开始更像大脑的东西出现。我认为,如果 AlphaZero、基于模型的强化学习,以及 10 年前人们研究的所有这些其他东西,给我们带来了 GPT-5 这种级别的能力,那我会觉得:“哦哇,我们既在正确的范式中,又在事先看到了结果。所以我的先验和我的数据是一致的。”而现在则是:“我不确切知道我的数据是什么。看起来相当不错,但我的先验有点奇怪,所以我对此没有特别强烈的看法。”

所以我认为存在这样一种可能性:基本上所有其他正在进行的科学研究都在某种程度上被取代了。但我并没有把很大的概率放在这上面。我认为我的时间线可能更接近 10 年左右的范围。如果是这样,我认为这两种世界之间很可能存在差别:一种是我们把连接组存在硬盘上,并且对引导子系统的架构有所了解。我们已经比较了哪怕最基本的属性,比如小鼠、鼩鼱和小型灵长类等的奖励函数、代价函数、架构等是什么。

德瓦克什·帕特尔

10 年内这可行吗?

亚当·马布尔斯通

我认为必须是一次非常大规模的推进。

德瓦克什·帕特尔

需要多少资金,与我们现在的情况相比如何?

亚当·马布尔斯通

我会说,大概是几十亿美元量级偏低的资金,而且要以非常协调一致的方式投入。

德瓦克什·帕特尔

那现在有多少投入在上面?

亚当·马布尔斯通

我先说说我们在连接组学方面正在做的一些具体事情……E11 Bio 是我们在连接组学方面的主要项目。他们正在努力把连接组脑图谱技术的成本降低几个数量级。惠康基金会一两年前发布过一份报告,说要获得第一个小鼠大脑的连接组,会是一个耗资几十亿美元的项目。E11 的技术,以及该领域的一系列努力,正试图把单个小鼠连接组的成本降到几千万美元的低位水平。

那是哺乳动物的大脑。人脑大约是它的 1000 倍。如果凭借技术,小鼠大脑可以降到 1000 万、2000 万、3000 万美元,那么如果只是朴素地按比例放大,仅仅做一个人脑,费用仍然是几十亿美元。你能做得比这更好吗?你能以不到十亿美元拿下一个人脑吗?不过我不确定你是否需要人脑中的每一个神经元。

比如,我们想要做一整个小鼠大脑、人类的引导子系统,以及几种具有不同社会本能的哺乳动物的完整大脑。所以,通过大量的技术推动和大量协调一致的努力,如果是集中力量,真正显著的进展可以在数亿到几十亿美元偏低的规模上实现。

德瓦克什·帕特尔

连接组的定义是什么?想必它不是一个自下而上的生物物理模型。那么它只是能够估计大脑的输入输出吗?它的抽象层次是什么?

亚当·马布尔斯通

你可以给出不同的定义,而其中很酷的一点是……连接组学的标准方法使用电子显微镜和非常非常薄的脑组织切片。它基本上是标记。细胞膜会显现出来,大量散射电子,而其他一切散射电子较少。但你看不到分子层面的很多细节,比如哪些类型的突触、具有不同分子组合和属性的不同突触。

E11 和该领域的一些其他研究已经转向光学显微镜范式。使用光学方法,光子不会损伤组织,所以你可以清洗它,并观察脆弱而精细的分子。因此,用 E11 的方法,你可以得到一个“分子注释的连接组”。它不只是告诉你谁通过某个突触与谁相连,还告诉你突触处存在哪些分子?那是什么类型的细胞?

分子注释的连接组,并不完全等同于拥有突触权重。也不完全等同于能够模拟神经元,并说出拥有这些分子和连接在功能上会有什么后果。但你也可以做一定程度的活动图谱绘制,尝试把结构与功能关联起来。基本上就是训练一个机器学习模型,根据连接组去预测活动。

德瓦克什·帕特尔

从人类基因组计划中可以得到哪些教训?一种看法是,它是个错误,你不应该花几十亿美元去测绘一个基因组。相反,你本应该直接投资于那些如今让我们只需几百美元就能测绘基因组的技术。

亚当·马布尔斯通

嗯,乔治·丘奇是我的博士导师,他指出过,第一个基因组大约花了 30 亿美元,大致相当于每个碱基对 1 美元。然后美国国家人类基因组研究所基本上把资助流程设计对了。他们让一批公司竞争以降低成本。然后成本在 10 年里下降了大约一百万倍,因为他们把范式从宏观的化学技术,转变为这些单个的 DNA 分子:在显微镜上形成一小簇 DNA 分子,你在相机的每个像素上一次只能看到少数几个 DNA 分子。它能让你并行地查看不同的 DNA 片段。所以你把这件事并行化了数百万倍。这就是成本降低数百万倍的原因。

从电子显微镜转向光学连接组学,甚至将来可能出现的新型连接组学技术,我们认为应该会有类似的规律。这就是为什么 E11,这个聚焦研究组织,从技术开发入手,而不是一上来就说我们要做一个人脑然后直接暴力推进。我们说的是,先用新技术把成本降下来。但即便如此,这仍然是一件大事。即使有了新一代技术,你仍然需要在数据采集上花费数亿美元。

德瓦克什·帕特尔

这笔钱会由慈善、政府还是投资者来出?

亚当·马布尔斯通

这还很待定,而且在某种意义上正在不断演变,就在我们说话的此刻。我听到一些传闻,说可能会成立与连接组学相关的公司。到目前为止,E11 一直靠慈善资金。美国国家科学基金会刚刚发出了关于“技术实验室”的征集,在某种程度上受 FRO 启发或与之相关。你可以设立一个技术实验室,与我们一起真正去绘制小鼠大脑图谱,那会是慈善加政府的资金,仍然处于非营利、开源的框架内。但公司能加速这件事吗?你能否在一家公司的背景下,可信地把连接组学与 AI 联系起来并为此获得投资?这是有可能的。

德瓦克什·帕特尔

我是说,训练这些 AI 的成本在大幅上升。如果你能讲出这样一个故事:我们不仅会搞清楚某些安全问题,而且事实上一旦做到这一点,我们还能告诉你 AI 是如何工作的……你应该去找这些 AI 实验室,直接说:“把你们 2030 年预计预算的百分之一给我。”

亚当·马布尔斯通

七八年前我稍微试过一点,当时没有太多兴趣。也许现在会有。但我们谈到的所有这些东西,聊起来很有趣,但归根结底是推测。比如,大脑的能效究竟是什么原因?它是在做真正的推断,还是摊销推断,还是别的什么?这些都是神经科学可以回答的。这会很难,但确实是可以回答的。所以,如果只需几十亿美元偏低的规模就能全面地解决这个问题,在数万亿美元的 GPU 等投入这个大局面下,我觉得做这笔投资其实是合理的。

德瓦克什·帕特尔

而且,去年成立了很多实验室,它们以数十亿美元的估值融资,做的是相当可信、但并不是“我们下个季度的年度经常性收入将达到多少多少”这类事情。而是类似“我们要发现新材料,并且——”

亚当·马布尔斯通

是的,登月式创业公司,或者亿万富翁支持的创业公司。我把登月式创业公司视为与 FRO 处在同一个连续谱上。FRO 是引导慈善支持的一种方式,并确保它是开源的、公共利益性质的,还有各种其他可能是某个 FRO 具备的属性。但是的,亿万富翁支持的创业公司,如果它们能瞄准正确的科学,确切无误的科学的话。

我认为,有很多方式可以做出永远得不到连接组的登月式神经科学公司。比如“哦,我们要上传大脑”之类的,却永远得不到实际的小鼠连接组之类的东西。也就是那些你需要用来夯实科学基本事实的基础性工作。有很多方式会让一家登月公司走偏,没有去做真正的科学。但也可能有办法让公司或大型企业实验室参与进来,并且把这件事做对。

德瓦克什·帕特尔

这让我想起你五年前在一次讲座中提到的一个想法。你想解释一下行为克隆吗?

亚当·马布尔斯通

其实这很有趣,因为我第一次看到这个想法,我想可能是在 Gwern 的一篇博客文章里。总有一篇 Gwern 的博客文章。现在已经有了学术研究方面的努力,也有一定程度新兴的公司类型的努力,试图做这件事。

通常情况下,比如说我在训练一个图像分类器之类的。我给它看猫和狗之类的图片,它们带有“猫”或“狗”的标签。我有一个神经网络,应该预测“猫”或“狗”这样的标签。你输入的每个标签所含的信息量是有限的。只是“猫”或“狗”。

如果我同时还要求:“预测我在看到猫或看到狗时,我的神经活动模式是什么,以及其他所有东西”呢?如果你把它作为辅助损失函数或辅助预测任务加进去,这会不会塑造这个网络,让它知道人类对猫和狗所知道的信息,并以与大脑表示它的方式一致的方式来表示,即与大脑表示事物的那种表征维度或几何结构一致,而不是只有这些标签?这会让它泛化得更好吗?会让它有更丰富的标注吗?

当然,这听起来非常有挑战性。生成大量带标签的猫的图片是非常容易的。Scale AI 之类的公司就能做到。而要生成大量对应于你想训练 AI 去做的事情的大脑活动模式则要难得多。但同样,这只是神经科学的技术局限。如果每一部 iPhone 同时也是一台脑扫描仪,你就不会有这个问题,我们就会用脑信号来训练 AI。只是技术发展的顺序是,我们先有了 GPU,然后才有了便携式脑扫描仪。

德瓦克什·帕特尔

这里对应的机器学习类比是什么,你实际会做什么?因为当你蒸馏模型时,你看的仍然是最后一层上所有……的对数概率——

亚当·马布尔斯通

如果你把一个模型蒸馏到另一个模型,那是另一回事。你只是试图把一个模型复制到另一个模型中。我认为我们并没有一个真正完美的蒸馏大脑的方案。要蒸馏大脑,你需要复杂得多的脑接口。也许你也可以做到。你可以制作替代模型。安德烈亚斯·托利亚斯等人正在做一定程度的、基于大脑活动数据的神经网络替代模型。不用你的视觉皮层来做计算,而是直接用替代模型。所以在某种程度上,你是在把你的视觉皮层蒸馏进一个神经网络。那是一种蒸馏。

而这里做的事情有点不同。这基本上只是说我在添加一个辅助的……我把它看作正则化,或者看作添加一个辅助损失函数,它把预测任务平滑化,使其也始终与大脑表示它的方式保持一致。它可能会帮助你应对诸如对抗样本之类的问题。

德瓦克什·帕特尔

但你究竟预测的是什么?你预测的是大脑的内部状态吗?

亚当·马布尔斯通

是的。所以除了预测标签,也就是一个标签向量,比如是猫、不是狗、是、不是船,独热向量之类的,“是,它是猫”,而不是其他无数个类别,在这个简单的例子中是这样。你还要预测一个向量,它是所有这些脑信号测量值。

总之,Gwern 很久以前有一篇博客文章,大意是:“哦,这是一个中间形态的东西。我们谈论全脑仿真,谈论 AGI,谈论脑机接口。我们也应该谈论这种脑数据增强的东西,它在你的所有行为上训练,同时也被训练去预测你的一部分神经模式。”

德瓦克什·帕特尔

你是说学习系统已经通过引导系统在这样做了?

亚当·马布尔斯通

是的,而且我们的大脑,我们的学习系统也必须把预测引导子系统作为一项辅助任务。这对引导子系统有帮助。现在,引导子系统可以访问那个预测器,并利用它构建一个很酷的奖励函数。

83:28德瓦克什·帕特尔

另外,你是 Lean 的董事会成员,Lean 是数学家们用来证明定理等的一种形式化数学语言。显然,现在有很多关于 AI 自动化数学的讨论。你怎么看?

亚当·马布尔斯通

嗯,我认为数学中有一些部分,看起来相当有望被自动化。首先,Lean 在微软和其他地方开发了好几年。它后来成为了 Convergent 的聚焦研究组织之一,以便推动更多工程投入和关注。

Lean 是这样一种编程语言:你不再用纸笔表达你的数学证明,而是用 Lean 这种编程语言来表达。然后最后,如果你这样做,它是一种可验证的语言,你可以点击“验证”,Lean 会告诉你,你证明的结论是否确实完美地从你证明的假设中推出。所以它会自动检查证明是否正确。

仅就其本身而言,这对数学家之间的协作等很有用。如果我是一个业余数学家,想为某个证明添砖加瓦,陶哲轩不会直接相信我的结果。但如果 Lean 说它是正确的,那它就是正确的。所以它让协作变得容易,同时也让证明的正确性很容易成为一种强化学习信号,非常符合 RLVR(可验证奖励的强化学习)。形式化的数学证明——形式化意味着它是用 Lean 之类的东西表达的、可验证的——现在可以被机械地验证。这就成了一个完美的 RLVR 任务。

我认为这条路会一直有效,看起来至少有一家估值十亿美元的公司,Harmonic,就是基于此。AlphaProof 也是基于此。还有另外几家新兴的、真正有趣的公司。我认为,对数学证明狠狠地做 RLVR 这个思路将会奏效,我们将能拥有搜索证明并找到它们的系统,就像我们有 AlphaGo 之类的东西能搜索下围棋的方法一样。有了那个可验证的信号,它就行得通。

那么这样就解决数学了吗?仍然存在涉及提出新的有趣想法的猜想部分。仍然存在数学的概念组织,即什么是有趣的。你一开始如何提出新的定理陈述?甚至是关于用什么策略来做证明的非常高层的拆解。我认为这将转移这部分负担,使人类不必做数学中的大量机械性部分。验证引理和证明,检查这篇论文中的陈述与那篇论文中的是否完全相同,等等。这些将直接奏效。

如果你真的认为我们会得到我们一直在谈论的所有这些东西,那么真正的 AGI 也应该能够提出猜想。本吉奥有一篇论文,更偏理论性的论文。大概还有一批其他论文正在涌现。是否存在一种衡量好的解释或好的猜想的损失函数?这是一个相当深刻的问题。

一个真正有趣的数学证明或陈述,可能是这样的:它压缩了大量信息,并对许多其他定理有大量推论。否则你就得用冗长复杂的被动推断去证明那些定理。而在这里,如果你有这个定理,这个定理是正确的,你就能用简短的被动推断得到所有其他定理。而且它是一个简短紧凑的陈述。所以它就像是一个强有力的解释,解释了数学的其余部分。数学所做的部分工作,就是造出这些能够解释其他事物的紧凑的东西。

德瓦克什·帕特尔

就像是这个陈述的柯尔莫哥洛夫复杂度之类的东西。

亚当·马布尔斯通

是的,即在已知这个陈述的情况下,生成所有其他陈述的复杂度之类的。或者,如果你加入这个陈述,它会如何影响证明网络其余部分的复杂度?那么你能否构造一个损失函数,加入“哦,我希望这个证明是一个极其强大的证明”?我想有些人正在尝试做这方面的工作。所以也许你可以把创造力的部分也自动化。

如果你有真正的 AGI,它会做人类能做的一切。所以它也会做富有创造力的数学家所做的事情。但除此之外,我认为仅仅是对证明狠狠地做 RLVR,就会成为数学家们一个非常有用的工具。它将大大加速数学并大大改变数学,但不一定会立刻改变它的方方面面。

我们会得到黎曼猜想的机械证明之类的吗?也许吧,我不知道。我不够了解这些东西搜索起来有多难,而且我不确定有人能完全预测这一点,就像我们当年无法确切预测围棋何时会被攻克一样。

我认为它会有很多非常酷的应用。其中一件你想做的事,是拥有可证明稳定、安全、不可被黑客攻破的软件。你可以针对软件写数学证明,并说:“这段代码,不仅能通过这些单元测试,而且我可以用数学证明,没有办法以这些方式入侵它,或者没有办法篡改内存”,或者黑客常用的那类手段,又或者它具有这些属性。你可以用同样的 Lean 和同样的证明来做经过形式化验证的软件。

我认为这将成为网络安全中一个非常强大的组成部分,与各种其他关于 AI 入侵世界的问题都相关。而且如果你能证明黎曼猜想,你也将能够证明关于非常复杂的软件的极其复杂的事情。然后你就可以让大语言模型“给我合成一个我能证明是正确的软件”。

德瓦克什·帕特尔

为什么可证明的编程语言没有因为大语言模型而兴起?

亚当·马布尔斯通

我认为它正开始兴起。一个挑战——我们实际上正在孵化一个这方面潜在的聚焦研究组织——是规约问题。数学家知道他们想形式化哪些有趣的定理。但比方说,我有一些参与运行电网之类的代码,它有一些安全属性,那么这些属性的形式化规约是什么?电网工程师只是造出了这个东西,但他们不一定知道如何从中提炼出形式化规约。而且,想出你的代码真正想要的那个规约,也不一定容易。人们不习惯写出形式化规约,而且相关工具也不多。

所以还有这样一个用户界面加 AI 的问题:我应该指定哪些安全规约?这是我想要的规约吗?所以存在规约问题,它一直都非常复杂和困难。但就在最近很短的时间里,大语言模型才能够为对数学家有用的东西生成可验证的证明,并开始能够在一定程度上用于软件验证、硬件验证。

但我认为,如果你把未来几年的趋势推演下去,有可能局势会就此逆转。形式化方法,整个形式化方法或形式化验证这个领域,可证明的软件。它是一个奇怪的、几乎是边缘角落的领域,属于编程语言中偏理论的部分,往往带有很浓的学术色彩。不过,DARPA 有过一个项目,做出了一架可证明安全的四旋翼直升机之类的东西。

德瓦克什·帕特尔

安全是指抵御……?具体证明的属性到底是什么?不是针对那个特定项目,而是一般而言。因为显然东西会因为各种原因出故障。

亚当·马布尔斯通

你可以说,比如这里内存的这一部分是用户可以访问的部分,它里面发生的事情无论如何都不能影响这边内存里发生的事情之类的。诸如此类的东西。

德瓦克什·帕特尔

所以有两个问题。第一是这有多大用处?第二是,作为数学家,这会有多令人满足?它可以用于证明软件具有某些属性或硬件具有某些属性,如果这行得通,显然会非常有用。但从纯粹的……我们能把数学搞明白吗?你的感觉是不是,数学里有这样一些东西:发现一个构造可以映射到另一个领域中的另一个构造,或者发现“哦,这个引理,如果你重新定义这个术语,它仍然满足我对这个术语的本意,但以前推翻它的反例就不再适用了”。数学中发生的那种辩证式的过程。

亚当·马布尔斯通

软件会取代这一点吗?

德瓦克什·帕特尔

是的。这种纯数学的价值,有多少仅仅来自于想出完全崭新的方式去思考一个问题,把它映射到一个完全不同的表示上?我们有例子吗?

亚当·马布尔斯通

我不知道。我觉得它有点像当年人人都得写汇编代码之类的时候。那时诞生的有趣又酷的创业公司少得多。能做这件事的人更少,进展更艰苦、缓慢、孤独,等等。你会遇到更多虚假的失败,因为你没搞懂汇编代码方面的某些东西,而不是你的概念本身是否正确这个根本问题。更难协作,等等。所以我认为这会非常好。

有一种担忧是,由于没有学习做证明中机械性的部分,你就无法产生那些为更概念性、更有创造性的部分提供信息的直觉。

德瓦克什·帕特尔

汇编也是一样。

亚当·马布尔斯通

对。那么这种情况是从哪一点开始适用的?就“凭感觉编程”而言,人们是没有在学计算机科学,还是实际上他们一边凭感觉编程,一边同时也在看大语言模型向他们解释那些抽象的计算机科学概念,而这一切只是发生得更快?他们的反馈循环更快,而且因为凭感觉编程,他们学到了多得多的抽象计算机科学和算法知识。我不知道,这并不明显。这可能与用户界面以及围绕它的人类基础设施有关。

但我想确实有一种担忧,就是人们不学习那些机制,因此不会建立扎实的直觉之类的。但我的直觉是,这是极其积极的。至于净效果上到底有多大用处,或者总体上会出现多少数学突破,或者哪怕是我们关心的那些数学突破,我不知道。

我认为另一件很酷的事情是可及性问题。好吧,这听起来有点老套。好吧,是的,更多人可以做数学,但那又怎样?但我认为有很多人可能会有有趣的想法。比如也许是量子引力理论之类的。是的,可能是我们中的某个人,而不是一位正式的物理学家,提出量子引力理论。就像史蒂夫·伯恩斯阅读神经科学文献,他并没有在神经科学实验室待过很多。但他能够综合整个神经科学文献,然后说:“哦,学习子系统、引导子系统。这一切说得通吗?”在某些方面,他是一位外行的神经科学家。能不能有外行的弦理论家之类的,因为数学由计算机替他们完成了?这会不会带来弦理论中更多的创新?也许会。

德瓦克什·帕特尔

有意思。好,那么如果这条路行得通,并且你说得对,大语言模型不是最终范式,假设在那种情况下至少需要 10 年才能得到最终范式。这里有一个有趣的科幻设定,你有……陶哲轩今天发了一条推文,大意是:“这些模型就像是自动化的聪明,而不是自动化的智能。”你可以在定义上吹毛求疵。但如果你有自动化的聪明,并且有某种过滤方式——如果你能够形式化并证明大语言模型所说的东西,你就能做到这一点——那么你就可以出现这样一种情形:数量本身就产生了质的变化。

那么,世界上有哪些领域可以放进这种可证明的符号表示里?所以在 AGI 还非常遥远的世界里,也许真的有必要把大语言模型所做的一切,或几乎一切,都变成超级可证明的陈述。这样大语言模型就能真正彼此叠加、相互建立,因为它们所做的一切都是可证明的。

也许这只是必要的,因为你有数十亿个智能体在四处运行。即使它们是超级智能,未来的 AGI 文明要想彼此协作,唯一的办法就是它们能证明每一步。它们只是在暴力地批量产出……这就是木星大脑们在做的事情。

亚当·马布尔斯通

这是一种通用语言,是可证明的。从“你是不是在试图利用我,或者你是不是在给我发某种实际上试图入侵我大脑的信息?”的角度来看,它也是可证明的。你是否在试图对我施加社会影响?你实际上是否只是向我发送了我为此所需要的信息,不多也不少?

有位叫 davidad 的人,他现在是英国 ARIA 的项目主管,他设计了一整套 ARPA 风格的项目,一种“受保障的 AI”,极大程度地利用了可证明的安全属性。你能否把证明应用到……你能否有一个世界模型?但这个世界模型实际上并不是只用神经元激活来规定的,而是用方程来规定的。那些可能是非常复杂的方程,但如果你能变得极其擅长用聪明才智,用自动化的聪明来自动证明这些东西……你能否拥有显式可解释的世界模型,而不是神经网络世界模型,并且基本上回到符号方法,仅仅因为你拥有极其强大的证明能力?是的,我是说,这是一个有趣的愿景。我不知道在未来 10 年里这是否会成为实际发生的愿景,但我认为思考它非常有意思。

即便对数学而言,我是说,陶哲轩正在做的一些事情,并不是关于你能否证明单个定理。而是类似于:让我们批量地证明所有定理,然后研究已被证明的定理这个整体集合的性质。哪些被证明了,哪些没有?好,那是所有定理的全景图,而不是一次一个定理。

98:18德瓦克什·帕特尔

说到符号表示,我一直想问你的一个问题是,大脑是如何表示世界模型的?显然最终体现在神经元上,但我指的不是极其功能层面的东西。我指的是概念上,它是类似于神经网络隐藏状态的东西,还是更接近符号语言的东西?

亚当·马布尔斯通

我们不知道。对此有一定的研究。有一些东西,比如面部斑块神经元,它们表示面部的某些部分,并以有趣的方式在几何上组合起来。那是几何与视觉方面的。对其他更抽象的东西也是这样吗?有一个认知地图的概念。啮齿动物的海马体要学的很多东西是位置细胞,以及啮齿动物接下来要去哪里,会不会在那里得到奖励?这是非常几何化的。那么我们是否用空间地图的抽象版本来组织概念?

有一些问题,比如我们能不能做真正的符号运算?我的大脑里能不能有一个寄存器,不管变量内容是什么,都能把一个变量复制到另一个寄存器?这就是变量绑定问题。基本上我不知道我们是否有那样的机制,还是更像是代价函数和架构使其中一部分近似地涌现出来,但也许它在神经网络里也会涌现?有一批有趣的神经科学研究在试图研究这一点,即这些表征是什么样子。

德瓦克什·帕特尔

但你的直觉是什么?

亚当·马布尔斯通

是的,我的直觉是,那里面会是一团乱麻,我们应该去看架构、损失函数和学习规则。我不指望里面会很漂亮。

德瓦克什·帕特尔

也就是说它不是符号语言那类的东西?

亚当·马布尔斯通

是的,大概不太符号化。但其他人的看法非常不同。

德瓦克什·帕特尔

另一个随机的问题,说到绑定,感觉到有一种体验,这是怎么回事?你大脑的所有部分,在建模非常不同的东西,有不同的驱动力,而至少大概率它们感觉到此刻有一种体验正在发生。而且跨越时间你也感觉到……

亚当·马布尔斯通

是的,这个问题我基本上不知所措。我不知道。马克斯·霍达克最近一直在就此做演讲。他是另一位非常硬核的神经科学人士,神经技术人士。我提到的多丽丝那件事,听起来可能也有点触及这个问题。但是,是的,我认为没有人对此有任何头绪。它甚至可能涉及新的物理学。

德瓦克什·帕特尔

这是另一个可能还没有答案的问题。持续学习,它是不是某种极其根本的东西的产物,甚至在学习算法的层面?你可以说:“你看,至少我们在神经网络中做反向传播的方式是冻结权重,有一个训练期,然后冻结权重。所以你只需要这种主动推断或其他某种学习规则来做持续学习。”还是你认为这更多是架构的问题,基本上是记忆究竟如何存储、你有什么样的联想记忆?

亚当·马布尔斯通

所以持续学习……我不知道。在架构层面,海马体可能在做一些有趣的事情。人们长期以来都这么认为。它存储什么样的序列?它如何组织、表示这些?它如何回放?回放的是什么?这种记忆巩固究竟是如何运作的?是不是用来自海马体的回放或记忆去训练皮层之类的?可能有一些这样的东西。

可能存在多个时间尺度的可塑性,或者巧妙的学习规则,能够同时存储短期信息并利用它进行反向传播。神经元可能同时在做几件事:一些快权重可塑性和一些较慢的可塑性,或者具有多种状态的突触。我是说,我不知道。从神经科学的角度看,我不确定我见过什么对持续学习的成因特别明确的说法,也许只能说是海马体巩固皮层的这种系统巩固观点。有些人认为这是其中很重要的一块,而我们仍然没有完全理解其中的细节。

德瓦克什·帕特尔

说到快权重,大脑里有没有什么东西,相当于我们在神经网络中看到的参数与激活之间的这种区别?具体来说,在 Transformer 中,我们有这样的观念:一部分激活是你随时间累积起来的先前词元的键向量和值向量。

有所谓的快权重,每当出现一个新词元,你就用它去查询这些激活,但显然你也不能用它去查询网络中所有属于实际内置权重的其他参数。有没有某种类似的区别?

亚当·马布尔斯通

我不知道。我是说,我们肯定有权重和激活。至于你能否以这些巧妙的方式使用激活,以不同形式的实际注意力,比如大脑中的注意力……那是否基于“我在试图集中注意力”……我认为大脑中很可能有好几种不同的实际注意力。我想关注视觉皮层的这个区域。我想关注由这个区域的内容所触发的其他区域中的内容。还有仅仅基于反射之类的注意力。

所以我不知道。不只是有皮层,还有丘脑。丘脑也以某种方式参与中继或门控信息。有皮层与皮层之间的连接。皮层区域之间也有一定量的连接是经过丘脑的。有没有可能这在进行某种匹配或约束满足,或者在这边的键和那边的值之间做匹配?有没有可能它能做类似的事情?也许吧。我不知道。这些都是这个皮层-丘脑系统架构的一部分。我不知道它有多像 Transformer,或者是否存在与那种注意力类似的东西。把这个弄清楚会很有意思。

德瓦克什·帕特尔

我们得给你十亿美元,这样你就可以再来这个播客,告诉我大脑究竟是怎么运作的。

亚当·马布尔斯通

我主要就是做数据收集。是真正无偏见的数据收集,这样其他所有人就可以去弄清这些问题。

德瓦克什·帕特尔

也许最后一个问题,你从 Gap Map(缺口图谱)中学到的最有趣的事情是什么?也许你可以解释一下什么是 Gap Map。

亚当·马布尔斯通

在孵化并提出这些聚焦研究组织的过程中,也就是这些像创业公司一样的非营利登月项目,我们一直在让慈善家,现在还有政府机构来资助它们,我们和很多科学家交谈过。有些科学家说的是:“这是我的研究生接下来要做的事。这是我觉得有趣的东西。探索这些真正有趣的假设空间,就是我们一直在谈论的所有那类事情。”

有些科学家则说:“这里有个缺口。我需要这样一件基础设施。无论是我实验室里的研究生组合,还是我与其他实验室通过传统基金松散合作,都不可能为我弄到它。我需要有一支有组织的工程团队,去造出相当于哈勃太空望远镜的迷你版。如果我能造出那个哈勃太空望远镜,我就能为我所在领域的所有其他研究者,或者某条技术进步路径扫清障碍,就像哈勃太空望远镜抬升了水位、改善了每一位天文学家的处境一样。”但它本身并不真的是一项天文学发现。只是你必须把这面巨大的镜子连同 CCD 相机送入太空,并组织所有的人员和工程等来做这件事。所以我们与科学家谈到的一些东西就是那个样子。

Gap Map 就是对很多这类东西的汇总清单,我们称它为缺口图谱。我认为它其实更像是一份基础能力图谱。所有这些东西是什么,就像迷你哈勃太空望远镜?然后我们把它整理成一个个缺口,以帮助人们理解或检索。

德瓦克什·帕特尔

你发现的最令人惊讶的事情是什么?

亚当·马布尔斯通

我想我以前谈过这个,不过一点就是它的整体规模或形态之类的。它有几百项基础能力。所以如果其中每一项是一个深科技创业公司规模的项目,那总共只是几十亿美元左右。如果每一项是一轮 A 轮融资,那只是……解决这些缺口并不需要万亿美元。比那低。所以这是一点。也许我们本来就是这么假设的,然后得到了这个结果。它并不是真正全面的。它实际上只是对我们与科学家们进行的大量对话的一种总结方式。

我确实认为,在整个汇总过程中,像 Lean 这样的东西其实是出乎意料的,因为我最初是从神经科学和生物学出发的,那里非常明显有这些“组学”。我们需要基因组学,但也需要连接组学。我们可以改造大肠杆菌,但也需要改造其他细胞。生物学基础设施有一些比较显而易见的部分。我没有意识到数学证明的基础设施也是一回事,而这是在尝试做这件事的过程中浮现出来的。

所以我期待看到其他这类东西,即解决它其实并不是什么很难的智力问题。它也许有点相当于 AI 研究者只是需要 GPU 之类的东西,加上专注,以及非常好的 PyTorch 代码,就可以开始做了。哪些领域需要或不需要这样的东西?那些已经获得了无数资金投入的领域,是否仍然需要其中一些?它们是否仍然存在其中一些缺口,还是只有更被忽视的领域才有?我们甚至在真正的天文学中也发现了一些有趣的,有些真正的望远镜尚未被探索。也许是因为一旦项目达到某个临界规模,你就必须做一个非常大的项目,而那在联邦机构里是个更官僚的流程。

德瓦克什·帕特尔

我想如今在科学的每一个领域,你都需要规模。

亚当·马布尔斯通

是的,我认为在科学的许多领域你都需要规模。这并不意味着小规模的工作不重要。也不意味着创造力、偶然发现等等,以及在大学里看到的每个学生追求完全不同的方向或论文题目,就不是同样关键的。但我认为,基本上每一个科学领域都缺少一定量的可扩展基础设施,甚至数学也是如此,这很疯狂。因为我原以为数学家只需要白板,但他们其实需要 Lean。他们其实需要可验证的编程语言之类的东西。我之前不知道这一点。

德瓦克什·帕特尔

好的。亚当,今天聊得非常愉快。谢谢你来。

亚当·马布尔斯通

非常感谢。我的荣幸。

德瓦克什·帕特尔

人们可以在哪里找到你的内容?

亚当·马布尔斯通

荣幸。现在最简单的方式……我的 adammarblestone.org 网站目前好像是挂了。不过 convergentresearch.org 可以链接到我们一直在做的很多东西。

德瓦克什·帕特尔

另外你还有一个很棒的博客,叫 Longitudinal Science。

亚当·马布尔斯通

Longitudinal Science,对,在 WordPress 上。

德瓦克什·帕特尔

好的。

亚当·马布尔斯通

非常感谢。很荣幸。