John Hopfield：心智的物理学视角与神经生物学
#76 – John Hopfield: Physics View of the Mind and Neurobiology
Guests: John Hopfield
Full transcript · Read the full conversation in order, with its original context.
§01原文文稿 · 00:00–10:08
以下是与约翰·霍普菲尔德的一段对话，
他是普林斯顿大学的教授，其毕生的工作优美地
穿行于生物学、化学、神经科学和物理学之间。
最关键的是，他透过物理学家犀利的双眼
看待生物学那混乱的世界。
他也许最为人所知的，是他关于
联想式神经网络的工作，
如今称为霍普菲尔德网络，
它是催化了现代深度学习领域发展的
早期想法之一。
正如他 2019 年获颁的富兰克林物理学奖章所述，
他把理论物理的概念
应用于在包括遗传学和神经科学在内的多个领域中
对重要的生物学问题提供新的洞见，
并对机器学习产生了重大影响。
而正如约翰在他 2018 年那篇题为
《现在怎么办？》的文章里所说，
他的成就常常是
通过问出那个问题——现在怎么办？——而来的，
而回应往往是一次重大的方向转变。
这里是「人工智能播客」。
如果你喜欢它，请在 YouTube 上订阅，
在 Apple Podcast 上给它五星好评，
在 Patreon 上支持它，或干脆在推特上关注我。
@LexFriedman，拼作 F-R-I-D-M-A-N。
像往常一样，我现在会做一两分钟广告，
中间绝不插
会打断对话节奏的广告。
希望这对你行得通，
也不会损害收听体验。
本节目由 Cash App 呈现，
它是 App Store 里排名第一的金融应用。
当你下载它时，使用代码 LEXPODCAST。
Cash App 让你能给朋友转账、
买比特币，并以低至 1 美元
投资股市。
由于 Cash App 做零股交易，
让我提一下，那个在幕后运行、
用来创造零股订单抽象的
订单执行算法，
在我看来是一个算法上的奇迹。
所以给 Cash App 的工程师大大点赞，
他们解决了一个难题，
最终提供了一个简单的界面，
它在股市之上
再上了一层抽象，
让交易对新投资者更可及，
也让分散投资容易得多。
所以再说一次，如果你从 App Store
或 Google Play 下载 Cash App，并使用代码 LEXPODCAST，
你会得到 10 美元，而 Cash App 也会向 Thirst 捐赠 10 美元，
这是我最喜欢的机构之一，
它正帮助推进全世界年轻人的
机器人与 STEM 教育。
现在，这就是我与约翰·霍普菲尔德的对话。
生物神经网络
与人工神经网络之间的哪个差异
最让你着迷、最让你觉得深刻？
在更高的哲学层面上，
我们先不谈技术。
非常让我着迷的事情之一，
是神经元拥有各种各样的组成部分、
各种属性这一事实。
而在演化生物学里，
如果你有某个小小的怪癖，
比如一个分子如何运作、或一个细胞如何运作，
而它可以被加以利用，
演化就会把它打磨好、
把它变成一个有用的特征，而不是一个故障。
所以你会预期，在神经生物学里，
演化已经捕捉到了各种各样的可能性，
来让神经元、
来让你如何让神经元为你做事。
而那个方面在人工神经网络里
被完全压制了。
——在生物神经网络里，
那些故障会变成特征吗？
——它们可以。
你看，让我拿我过去
做过研究的一件事来说。
如果你取一些会振荡的东西，
它们有彼此算是接近的节律，
在某些情况下，
这些东西会出现一次相变，
然后突然间那节律就，
所有人都会步调一致。
泰晤士河上
约 2001 年建成的千禧桥，
就有一个绝妙的物理例子。
而走过桥的行人，
行人并不是齐步走、同步地走，
他们不迈着整齐划一的步子走，
但他们走路的频率都差不多。
而桥会以那个频率摆动，
那轻微的摆动让行人
倾向于稍微锁进同一步调，
过了一会儿，桥就前后振荡起来，
而行人则随着它齐步走。
你能在关于那座桥拍的影片里看到它。
而工程师犯了一个简单的小错误。
他们假设你走路时是「踏、踏、踏」、
是前后的运动。
但你走路时，还有右脚、左脚、
左右的运动。
而正是那种左右的运动，
桥在那个方向上虽然足够结实，
但不够刚硬。
结果是，你会感觉到那运动，
然后你会随着它踏入同一步调。
而人们对此非常不舒服。
他们把桥关闭了两年，
在此期间为它加装了加固结构。
现在说神经，你看，神经细胞会产生动作电位。
你有一群松散地耦合在一起的细胞，
以相同的频率产生动作电位。
会有一些情况，
在那些情况下这些东西会锁在一起。
在另一些情况下它们不会。
嗯，它们一起放电，
你可以确信其他细胞会注意到它。
所以在一个演化中的大脑里，你可以
用这个做出一个计算上的特征。
大多数人工神经网络
甚至没有动作电位，
更别提让它们同步的可能性了。
——而你提到了演化过程。
那么，建立在生物系统之上的演化过程，
不知怎么地利用了
它那种奇怪的混乱。
那么你如何理解
生物大脑里利用所有那些不同种类复杂性的
这种能力？
——嗯，你看，在生物分子层面，
你有一段 DNA，
它编码一种特定的蛋白质。
你可以复制那段 DNA，
现在它的一部分可以编码那种蛋白质，
而另一部分自己可以稍微变化一点，
从而开始编码一种
略有不同的分子。
现在那种只是略有不同的分子，
有一种对任何老旧化学反应都有帮助的功能，
对细胞同样重要。
你会放手让它去尝试，
而演化会缓慢地改进那个功能。
所以你就有了复制、
然后让它们各自漂移开来的可能性。
其中一个保留旧的功能，
另一个为你做些新的事。
而存在着改进的演化压力。
你看，计算机里也有，
但它的改进跟关掉一些公司、
开办另一些公司有关。
（莱克斯笑）
演化过程看起来有点不同。
——是啊，也许是相似的时间尺度。
——时间尺度短得多。
——公司关门，是啊，破产，又有新的诞生。
——是啊，更短，但也没短太多。
有的公司存续一个世纪，不过，是啊，你说得对。
我是说，如果你把公司想成一个单一的、
会建造的有机体，而你们都知道，是啊，
生物学之间有一种引人入胜的
二元对应——
——而公司很难让一个新产品
与一个旧产品竞争。
——是啊。
而当 IBM 造它的第一台 PC 时，
你大概读过那本书。
他们做了一个小小的、隔离的内部单元来造 PC。
而且 IBM 历史上第一次，
他们没坚持要你用 IBM 的组件来造它，
而是他们明白，他们可以进入这个市场，
这是一件非常不同的事——
通过彻底改变他们的文化。
而生物学以一种更具适应性的方式找到其他市场。
——是啊，它更擅长此道。
它更擅长那种整合。
所以也许你已经说过了，
但你觉得人类心智最美的方面
或机制是什么？
是那种适应性、你所描述的那种适应能力，
还是有某个别的小怪癖
是你特别喜欢的？
——归根结底，适应就是一切。
但差别在于，适应有不同——
一种是你的学习只跨越世代、
在演化的时间尺度上进行，
另一种是你的学习在单个个体的
时间尺度上进行，这个个体必须在其一生中
从环境中学习。
而生物学里两种学习都有。
而让神经生物学变难的，
是它可以说是一个数学系统，
建立在这另一种演化系统之上。
——你说「数学系统」是什么意思？
数学在生物学里的哪儿？
——嗯，当你跟一个计算机科学家
谈神经网络时，它全是数学。
生物学其实是从演化中来的这一事实，
§02原文文稿 · 10:12–21:24
以及生物学是关于一个
你可以在三维中构建的系统这一事实。
如果你看计算机芯片，
计算机芯片基本上是二维结构，
也许 2.1 维，但它们真的很难
做三维布线。
生物学是，新皮层其实也是片状的，
它坐落在白质之上，
白质的体积大约是灰质的 10 倍，
并包含所有你可以称之为「电线」的东西。
但有一个巨大的，
计算机结构对什么容易、
什么难的影响是巨大的。
——所以——
——而生物学确实，它让一些
在计算上很难理解该如何去做的事
变得容易。
另一方面，你没法做简单的
浮点运算，所以它蠢得要命。
——是啊，而你是说这种三维的、
复杂的结构使得——它仍然是数学，
它仍然在做数学。
它所做的那种数学让你能够解决
一类非常不同的问题。
——没错，没错。
——所以你提到了两种适应，
演化的适应，以及在单个人类一生
尺度上的适应或学习。
你觉得哪一种对你来说特别美、
从研究的角度、
以及从纯粹的人的角度来看特别有意思？
而哪一种更强大？
——我觉得最有意思的东西，是那些我开始看出
该如何钻进它们的边缘、
把它们稍微拆解开、看它们如何运作的东西。
而由于我看不到演化过程正在进行，
我对它满怀敬畏，但就试图理解该做什么而言，
我发现它就是个黑洞。
所以在某种意义上，我对它满怀敬畏，
但我没法对研究它产生兴趣。
——然而人类一生的时间尺度是你
可以拆解和研究的东西。
——是啊，你可以做，有发育神经生物学，
它理解连接、
以及结构如何从遗传的样子
与真实的——
你在三维中构建一个系统这一事实——的结合中演化出来。
——就在短短几天、几个月里，人类生命那些
最早、最早的日子真的很有意思。
——确实，而且当然，有些时候
是细胞大量增殖的时候。
也有一些时候，大脑中最大量的细胞死亡
发生在婴儿期。
——这是一种更替。
——所以什么没有效用、什么没有被接好到
足以在此刻派上用场，就把它扔掉。
——这是个神秘的过程。
——让我问，你觉得在未来几十年里，
理解心智的最大突破
会来自哪个领域？
是神经科学、计算机科学、神经生物学、
心理学、物理学，也许是数学，也许是文学？
（笑）
——嗯，当然，我总是透过物理学的
透镜看世界。
我是在物理学里长大的。
而我挑选问题的方式非常有
物理学以及某种知识背景的特征，
那不是心理学、不是化学
等等等等。
——那么，你的父母都是物理学家。
——我父母都是物理学家，
而我从中真正得到的，是一种
「世界是一个可被理解的地方」的感觉。
而如果你做足够多的实验、思考
它们意味着什么、把事情结构化，
或者你能做与那些实验相关的数学，
你也将能够理解
事物如何运作。
——但那是几年前了。
在试图理解心智、
用各种不同方式研究它的许多个十年里，
你有没有改变过主意，
甚至不只是心智，就是生物系统？
你仍然抱有「物理学能够、你能够理解」的希望吗？
——有一个问题，你说「理解」是什么意思？
——当然。
——我教大一物理时，我过去常说，
我想让学生理解这门学科、
理解牛顿定律。
我不想让他们只是背下一组例子，
对这些例子他们知道该写下哪些方程
来生成答案。
我有这种朦胧的「理解」的想法。
也就是说，如果你看一个情形，你能够说，
哦，我预期那个球会走出那条轨迹，
或者我预期某种直觉上的理解概念。
而我不知道如何把那表达得很好。
我从来不知道如何把它表达好。
而你会一头撞上它，
当你做这些、看这些简单的神经网络时，
前馈神经网络，它们做出惊人的事，
然而你知道，它们不包含任何
我本会觉得是「理解」的那种本质。
理解不只是一张巨大的查找表。
——我们在这上面停一下。
你对那有多确定？
如果那张表变得非常大呢？
所以，我是说，换个方式问，
这些前馈神经网络，
你觉得它们有朝一日会理解吗？
——可以用两种方式回答。
我觉得如果你看真实的系统，
反馈是这些真实系统如何计算的
一个本质方面。
另一方面，如果我有一个带反馈的数学系统，
我知道我可以把它展开成分层的来做，
但如果我要用那种方式解决问题，
我要构建的东西的数量
会指数级膨胀。
——所以反馈是本质性的。
所以我们甚至可以谈循环神经网络，
即循环，但你觉得通过这些简单的机制
实现理解所需的所有要件都齐了吗？
比如，回到我们最初的问题，
根本的是什么，人工神经网络与生物神经网络之间
是否存在一个根本的差异，
还是说它只是一堆表面的东西？
——假设你问一位神经外科医生，
一个人什么时候算死了？
——是啊。
——他们大概会回到说，
嗯，我可以看脑电节律，
然后告诉你这是一个
永远不会再运作的大脑。
这个是，这另一个则是
如果我们治疗得当、仍然可恢复的。
然后就靠一些电极、
看一些简单的电模式来做到，
而这些模式根本不去细看
单个神经元在做什么。
这些节律在谷歌所发生的任何事里
都完全不存在。
——是啊，但那些节律。
——但那些节律怎么了？
——嗯，那就像在比较，好，我告诉你。
就像你在比较
世界上最伟大的古典音乐家
和一个初学弹琴的孩子。
我所要问的，
是他们俩毕竟都在弹钢琴。
我在问，它有朝一日会在谷歌发生吗？
你抱有希望吗？
因为你是开创这两门学科、
河的两岸的
奠基人物之一。
——我觉得它会一代又一代地继续下去，
就像它过去那样——你可以称之为
AI、计算机科学界的人说，
我们取下面这个。
这是我们此刻关于神经生物学的模型。
让我们假装它足够好，
并用它尽我们所能做一切。
而它做出有意思的事。
过了一会儿它算是陷进沙里，
然后你说，啊，神经生物学还需要别的东西，
于是某个别的宏大东西进来，
让你能走得远得多。
但我们又会陷进沙里。
而我觉得它会是一代又一代的这种演化。
我不知道会有多少代，
而每一代都会让你更深入
理解我们的大脑所做的事。
而在某种意义上，
在更长、更广的方面通过图灵测试。
而在你说「我造出了某样东西、我造出了一个人」之前，
要有多少个这样好的东西，
我不知道。
——但你的感觉是也许是几代。
——我的感觉是也许还要几代。
——是啊。
——回到我那些脑电波上。
——是的。
——从 AI 的观点看，
他们会说，啊，也许这些是一种附带现象、
根本不重要。
我的第一辆车，一辆真正的破烂 1936 年道奇，
一开到每小时 45 英里以上，轮子就会抖。
——是啊。
——那倒是个好的速度表。
当然，没人把车设计成那样。
车出现那个是在故障。
但在生物学里，如果知道
你什么时候开到每小时 45 英里以上是有用的，
你就直接捕捉它，
而不去担心它从哪儿来。
——是啊。
——要很久以后，那种
能在大型复杂网络中发生的东西，
才会真正被用在计算里。
§03原文文稿 · 21:27–31:40
你看，如今你的笔记本电脑里
有多少个晶体管？
——其实，我不知道那个数字。
它是——
——它在 10 的 10 次方这个量级。
我也记不清那个数字。
——是啊。
——而所有晶体管都多少相似。
而大多数拥有这么多部件、
且各部件都相似的物理系统，都有集体性质。
——是的。
——空气中的声波、地震，
诸如此类都有集体性质，天气也是。
在 AI 的人工神经网络里
没有用到任何集体性质。
——是啊，它很——
——如果生物学用到它们，
那要花我们更多代的东西，
人们才能真正钻进去、
看它们是如何被用的、意味着什么。
——你看，你说得很对。
我们也许不得不好几次回到神经生物学，
并试着让我们的晶体管更混乱一些。
——是啊，是啊。
与此同时，那些简单的
会攻克一些大的方面。
而我觉得对我来说最大的惊讶之一是，
那些明显非生物的学习系统
工作得有多好，
它们实际上能有多重要，
以及它们在 AI 里能有多重要、多有用。
——那么如果我们能稍微走一走你的一些工作，
它工作得这么好这件事令人难以置信地惊讶，
（接上）
它启动了近来很多神经网络方面的工作。
如果我们谈谈如今所称的霍普菲尔德网络，
你能告诉我，就人类而言，心智中的
联想记忆是什么吗？
让我们探讨一下记忆。
——好，你说联想记忆的意思是，
你如何拥有对你每一位朋友的记忆。
你的朋友有各种各样的属性，
从他们长什么样，
到他们的嗓音听起来如何，
到他们上的哪所大学、
你在哪里遇见他们，
如此等等，
他们写过哪些科学论文。
如果我开始谈论一个
身高五英尺十英寸、线条瘦硬（原文转写为「wire-aided」）、背非常不好的
认知科学家，
用不了多久你就会说，
哦，他在说杰夫·欣顿。
我从没提过名字或任何很具体的东西，
但不知怎么地，几个与特定的人
相关联的事实，
就让你能抓住其余的事实，
或者不是其余的全部，而是另一个子集。
而正是这种把事物联系在一起、
把经验联系在一起的能力，
它笼统地被称为联想记忆。
而就我所见，智能行为的很大一部分
其实就是大型联想记忆
在运作。
——你觉得它在心智中
是如何运作的机制是什么？
它对你来说仍然是个谜吗？
你对这个对认知至关重要的东西
如何运作有初步的想法吗？
——我 35 年前所做的，
当然是一个粗糙的物理模型，
用来展示那种，
其实让你能够理解——
我作为物理学家对「理解」的那种老旧感觉——
因为你可以说，
啊，我明白了为什么这会走向稳定状态。
就像东西顺坡下滑。
——没错。
——而那给了你某种东西，
让你能以物理的方式、而不仅是数学的方式去思考。
——所以你创造了这些联想式的人工网络。
——没错。
而现在如果你看我所做的，
我根本没有描述一个优雅地学习的系统。
我描述的是一个你能从中理解
学习如何能把事物联系起来、
它可能如何非常粗糙地学习的系统。
我现在在某种程度上重新研究那个系统时，
让我着迷的事情之一是，
你看，接下来一小时或别的什么时间里，
我每一秒都会看到你。
每一次看你都略有不同。
我不会存下所有那些一秒一秒的图像。
我不会存下 3000 张图像。
我不知怎么地把这些信息压缩了。
所以我现在有了一个对你的视图，
我可以用它。
它不会死板地记住任何特定的东西，
而是把信息压缩成有用的块，
这些块不知怎么地，
正是这些块，
它们不只是神经元的活动，
是比那更大的东西，
它们才是对你有用的真正实体。
——对你有用，用来描述、
用来压缩向你涌来的这些信息。
——而你必须以这样一种方式压缩它：
如果这信息再次就这样进来，
我不费事去重写它，
或者说重写它的努力根本不会产生任何结果，
因为那些东西已经写好了。
而那不能是，
查一查这个、
我写过这个吗、
我是不是已经把它存在某处了？
它必须是某种在机器硬件里
自动得多的东西。
——没错，那么在人类心智里，
你觉得那个过程有多复杂？
所以你创造了，
和约翰·霍普菲尔德坐在一起
管它叫霍普菲尔德网络，感觉很怪，但——
——确实很怪。
（笑）
——是啊，但尽管如此，大家都这么叫它，
所以就这样了。
所以那是一种简化，
那是物理学家会做的事。
你和理查德·费曼坐下来
谈论联想记忆。
现在如果你看心智，
在那里你没法把它简化得那么完美，
你觉得——
——让我稍微往回倒一点。
——好。
——生物学是关于动力系统的。
计算机是动力系统。
你可以问，
如果你想给生物学建模，
如果你想给神经生物学建模，
时间尺度是什么？
有一种动力系统，
在其中，
在相当快的时间尺度上，
在其中你可以说，
突触在这次计算中变化不大，
所以我把突触当作固定的，
只做活动的动力学。
或者你可以说，
突触变化得足够快，
以至于我必须让突触动力学
和系统动力学同时运作，
才能理解其中的生物学。
大多数——如果你看前馈人工神经网络，
它们全都是这样做学习的：
首先，我花一些时间学习，
而不执行，
然后我关掉学习、开始执行。
——没错。
——那不是生物学。
所以，当我更深入地看神经生物学，
哪怕是作为联想记忆，
我也不得不面对这个事实：突触变化的
动力学是时时刻刻都在进行的。
而我没法光靠说
「我用固定的突触做活动的动力学」就蒙混过去。
——所以突触的、突触的动力学
其实对整个系统是根本性的。
——是啊，是啊。
而并没有什么必然把这些时间尺度分开。
当时间尺度可以被分开时，
从物理学家
或数学家的角度看，它很整洁，
但在神经生物学里它不一定成立。
——所以你算是在优美地起舞，
一方面对物理学表示极大的尊重，
另一方面又说物理学没法完全触及
生物学的复杂性。
那么你落在哪里？
还是说你持续地在这两点之间起舞？
——我持续地在它们之间起舞，
因为我对「理解」的整个概念是，
你可以向别人描述
某样东西如何运作，以诚实且可信的方式，
却仍然不描述所有细枝末节。
天气。
我可以把天气描述成
大气中 10 的 32 次方个分子在碰撞。
我可以那样模拟天气，
只要我有一台足够大的机器，我会精确地模拟它。
那对理解没有用。
如果我只是想理解事物，
我想以风的模式、
飓风、气压差等等来理解事物。
所有这些都是作为集体现象的东西。
而我身上的物理学家总是希望
生物学会有一些
既为真、
又不需要所有分子
碰撞的分子细节就能说清的东西。
§04原文文稿 · 31:42–42:50
那就是我从物理学根源出发的意思。
我的理解。
——那么，再问一次，抱歉，
霍普菲尔德网络帮你理解了什么、
它就记忆、就学习给了我们什么洞见？
——它们没有给出关于学习的洞见。
它们给出的洞见是，已经学到的东西
如何能被表达出来。
学到一张你的照片，如何让我想起你的名字。
那会，它并没有描述一种
实际进行学习的合理方式。
或者至少是说，如果你先前已经学到了
这类模式的连接，
现在就能以一种物理的方式行事，
那就是，啊，如果我把模式的一部分放进这儿，
模式的另一部分会在那儿补全。
我能理解那个物理，
只要正确的学习内容已经被放进去。
而它能理解，为什么再放进另一个人的照片
会在这儿生成别的东西。
但它并没有一个关于学习过程的
合理描述。
——但即便，先别管学习。
我是说，那只是一个有力的概念，
即形成一些有用的、
稳健的表示，
用于纠错之类的事。
所以这算是我们正在谈论的
生物学所做的事。
——是啊，而我那篇论文所做的，只是让你能够——
稳健有很多方式。
如果你想一个动力系统，
你想一个随时间推进一条路径的系统。
而如果你想一台计算机，
有一条计算路径，
它在一个由 1 和 0 构成的
巨大维度空间里推进。
而一个纠错系统是这样一个系统：
如果你稍微偏离那条轨迹，
它会把你推回到那条轨迹上。
所以你会得到相同的答案，
尽管事实上一路上
计算并没有被理想地
完成。
而纠错有很多模型。
但纠错的模型之一是说，
有一个你顺着往下流的山谷。
而如果你被稍微推离山谷，
就像水被一块石头稍微推开，
又回来、顺着河道流下去。
而那基本上就是物理系统里的那个类比，
它让你能够说，
哦是的，无错计算和联想记忆
非常像那些我能从物理系统角度
理解的东西。
在某些情况下，物理系统可以是
一个准确的隐喻。
它不是唯一的隐喻。
有一些纠错方案，
它们背后没有山谷和能量。
但那些是数学家也许能理解、
而我不能理解的
纠错方案。
——所以这里有一个
似乎管用的物理隐喻。
——没错，没错。
——所以这类网络其实催生了
如今神经网络、人工神经网络领域
正在进行的很多工作。
所以后续关于受限玻尔兹曼机
和深度信念网络的工作，
是沿着霍普菲尔德网络这些想法而来的。
那么你怎么看那项工作
持续的进展——如今对前馈神经网络、
循环神经网络、
卷积神经网络，
以及各种帮助解决
图像识别、自然语言处理
等各种问题的网络的
重新焕发的探索？
——一直让我着迷的是，最长寿的学习系统之一
是玻尔兹曼机，
它本质上是一个反馈网络。
而凭借欣顿和谢诺夫斯基（原文转写为「Sanofsky」，指谢伊诺夫斯基）
理解如何在其中进行学习的才华。
而它至今仍是一种理解学习的有用方式，
以及理解——而你在其中所理解的学习
与前馈系统运作的方式
有某种关系。
但要表达那种直觉
并不总是那么简单。
但看到欣顿又一次回到
玻尔兹曼机的某种形式上，总是让我觉得有趣，
因为真的，那种带有反馈
和有趣概率的东西，
是对某种计算之物的一个可爱的浓缩。
——某种计算之物？
——某种既是计算的、又是物理的东西。
计算的，在于，
它与前馈网络非常相关。
物理的，在于玻尔兹曼机学习
其实是在学习一组参数，
用于一个物理的哈密顿量或能量函数。
——嗯哼。
你怎么看整个这一领域里的学习？
你觉得前面提到的那位、杰夫·欣顿，
那里关于反向传播的所有工作，
这些网络里进行的各种学习，
你怎么——如果我们把它与大脑里的学习相比，
比如说，反向传播所揭示的、
关于这类循环网络的那种力量，
是否有相同的回响？
还是说大脑里进行的是某种
根本不同的东西？
——我不觉得大脑有最深的网络、
最深的计算机科学网络那么深。
（接上）
而我确实想知道，计算机科学网络的那种深度，
是否有一部分是被这个事实所迫使的：
机器上唯一容易做的学习
是前馈的。
所以有一个问题：那个既有一些前馈、
又有一些反馈的生物学，
在多大程度上
被某种拥有多得多神经元、
深度深得多的东西所捕捉了。
——所以你有一部分在想，反馈
是否其实比神经元的数量
或深度更本质——反馈的动力学。
——反馈的动力学。
你看，如果你没有反馈，
那就有点像造一台大计算机、
让它跑一个时钟周期。
然后你什么也做不了，
因为你会重新加载进来的东西。
你如何利用有多个时钟这一事实？
我如何利用你可以闭上眼睛、
不再听我说、
在没有任何输入的情况下想几分钟棋盘这一事实？
——是啊，那个记忆的事，
那从根本上是一种反馈式的机制。
你在回到某样东西上去。
——是的。
它很难理解。
它很难内省，更别提意识了。
因为那全都——
——更别提意识了，是的，是的。
——因为那也缠在里面。
你没法就把它放到另一个架子上。
——每隔一阵子，我就会对意识产生兴趣，
然后我就去——我这么做好多年了——
去问我的某位「前辈」，可以这么说，
他们对意识的看法。
而收集这些看法一直很有意思。
——意识是什么？
让我们试着踏进那个房间一步。
——嗯，我问过马文·明斯基
对意识的看法。
而马文说，
意识基本上是被高估了。
它可能是一种附带现象。
毕竟，你大脑所做的、
那些其实是困难计算的事，
你都是在非意识中做的。
而有如此多的证据表明，即便是你做的
简单的事，你能做出决定，
你能对它们做出已承诺的决定。
神经生物学家可以说，他现在已经承诺了。
他要把手往左移，
在你意识到之前。
——所以他的看法是，意识不是，
它就像蛋糕上的一点点糖霜。
真正的蛋糕在潜意识里。
——是啊，是啊。
潜意识、非意识。
——非意识，更好的词是什么，先生？
——只不过弗洛伊德把另一个词占用了。
——是啊，「潜意识」是个令人困惑的词。
——尼古拉斯·查特写了一本有意思的书。
我想它的书名是《心智是平的》。
（轻笑）
在神经网络意义上的「平」，
也许「平」是指一个非常宽、
没有任何真正深度层级的神经网络，
而「深」的大脑则是许多层、没那么宽。
同样地，如果你把明斯基逼得够紧，
他大概会说，
意识是你向自己解释
你已经做过之事的努力。
（轻笑）
——是啊，它是围绕那些已经为你计算好的东西
编织叙事。
——没错，而我们所做的很多事，
比如对事件的记忆，
如果有某个你目睹的创伤性事件，
你会把关于它的少数几个事实记对。
如果有人问你它，你会编织一段叙事，
它其实在细节上丰富得多，
基于你所拥有的一些正确之事的锚点，
另一方面又把一般知识拼凑进来，
§05原文文稿 · 42:53–52:49
但你会有一段叙事。
而一旦你生成了那段叙事，
你就很可能重复那段叙事，
并声称其中的所有东西
其实都是正确的东西。
有一个绝妙的例子，
发生在水门/弹劾时代的约翰·迪恩身上。
约翰·迪恩，你太年轻不会知道，
曾是尼克松的私人律师。
所以约翰·迪恩卷入了掩盖行动，
而约翰·迪恩最终意识到，
让自己长期不进监狱的唯一办法，
其实是说出一些关于尼克松的真相。
而约翰·迪恩是一位了不起的证人。
他能非常详尽、
且以非常令人信服的细节记住这些对话。
而很久以后，一些录音带、
可以说是那些秘密录音带——
约翰·迪恩就是从中回忆起这些对话的——
被公开了。
人们发现，约翰·迪恩有一个不错、
但并不出众的记忆力。
他所拥有的，是一种生动地、
并在某种意义上准确地
描绘当时情形基调的能力。
——顺便说，那是对意识的
一个很美的描述。
（笑）
你——比如今天，你站在哪个位置，
（笑）
所以也许它每天都在变，
但在意识对我们整个认知这一大乱局中的重要性上，
你站在哪个位置？
它只是一个小小的叙事制造者，
还是它其实是智能的根本？
——那是个非常难的问题。
但我问过弗朗西斯·克里克关于意识。
他滔滔不绝地来了一长段独白，
关于孟德尔和豌豆。
——是啊。
——以及孟德尔如何知道有某种东西，
以及生物学家如何理解到
遗传中有某种东西，
它就是非常非常不同。
以及遗传性状并不会
只是冲刷成一片灰色，
而是要么这样、要么那样，
并且传递下去，
这一事实对生物学是绝对根本的。
而生物学家花了好几代
才理解有遗传学这回事，
又花了一两代
才理解遗传学来自 DNA。
但在孟德尔之后很快，
会思考的生物学家确实意识到
关于遗传有一个深刻的问题。
而弗朗西斯本来很想说，
「而那就是为什么我在研究意识。」
但当然，他并没有孟德尔意义上的
任何确凿证据。
而那是他立场的弱点。
如果你读他的书，
我想那是他和科赫合写的。
——是啊，克里斯托夫·科赫，是的。
——出于确凿证据的原因，我觉得它没有说服力。
（叹气）
所以我一直在收集各种看法，
却其实自己没有采取一个很强硬的立场，
因为我没看到那个切入点。
从物理学的角度看不到那确凿证据，
（接上）
我就看不到切入点。
而在神经生物学里，
一旦我理解了「集体」的概念、
一种动力学的演化、
一种可以被描述为集体现象的东西，
我就想，「啊，这里有一个点，
在这里我所知道的物理学
与任何神经生物学家所知的是如此不同，
以至于我有了某种我也许能贡献的东西。」
——而现在，没有办法从物理学的角度
抓住意识。
——从我的角度看，那是对的。
而当然，人们，物理学家和其他所有人一样，
把事情想得非常糊涂。
你问那个密切相关的问题，
关于自由意志，你相信你有自由意志吗？
物理学家会给一个随口的回答，
然后往回倒、往回倒、往回倒，
当他们意识到自己给出的答案
一定从根本上与物理定律相矛盾时。
——自然地，从物理学角度回答自由意志
和意识的问题，自然会导向
矛盾。
因为它最终会落到量子力学上，
然后你就陷进那整个乱局，
试图理解，从物理学的角度，
（接上）
我们的宇宙有多少是被决定的、已经被预定的，
有多少已经是决定论的。
有很多不同的——
——而如果你不把它推到那么远，
你可以说，基本上所有相关的神经生物学，
都可以被经典的运动方程捕捉。
（接上）
因为在我看来，大脑的奥秘
不是量子力学的奥秘，
而是当你拥有一个有 10 的 14 次方个部件的
动力系统、受驱系统时
可能发生的事的奥秘。
那种复杂性是某种，
复杂系统的物理学
至少和量子力学里相位相干的物理学
被理解得一样糟。
——我们能去那儿待一会儿吗？
你谈到过吸引子网络，
也许你可以说说吸引子网络是什么，
以及更笼统地说，在这些或其他复杂系统中
涌现出的有趣网络动力学是什么？
——你必须愿意
在极多的维度里思考，
因为在极多的维度里，
一个系统的行为可以被想成
只是一个点在这极多维度里
随时间的运动。
——没错。
——吸引子网络就是这样一个网络：
那里有一条线，
而其他线随时间向它汇聚。
那就是吸引子网络的本质。
那就是你如何——
——在一个高维空间里。
——而得到它的最容易方式，
是在一个高维空间里做它，
其中一些维度提供耗散，
这意味着，它——
你看，我有一个物理系统，
轨迹不可能处处收缩。
它们必须在某些地方收缩、在另一些地方膨胀。
有一条根本的、经典的
统计力学定理，
它以刘维尔定理之名为人所知，
它说你不可能处处收缩。
你必须，如果你在某处收缩，
你就在别处膨胀。
而它是有趣的物理系统。
你会得到受驱系统，
其中你有一个小的子系统，
它是有趣的部分，
而其余的收缩和膨胀，
物理学家会说是这个系统另一部分里的
熵流。
但基本上，吸引子网络是动力学
漏斗式地收束下去，所以你不可能是任意的，
这样，如果你从动力系统里的某处出发，
你很快就会发现自己
走在一条相当确定的、通向某处的路径上。
你从别处出发，
你会落到一条不同的路径上，
但你并非拥有所有可能的东西。
你有一些被允许的、
且你会在其下汇聚的确定路径。
而那就是你造出一台稳定计算机的方式。
而那就是你造出稳定行为的方式。
——那么总体上，看这些网络中
涌现的稳定性的物理学，
有哪些有趣的特征，
从研究这类高维系统的动力学中
得到的有趣洞见
是什么？
——大多数动力系统，
大多数受驱的动力系统，
「受驱」是指它们以某种方式耦合到一个能量源。
所以如果它们的动力学持续进行，
是因为它耦合到能量源，
它们中的大多数，很难
完全理解其动力行为会是什么样。
——你必须把它跑起来。
——你必须把它跑起来。
有一个系统子集，
它拥有数学家所熟知的那种东西——
李雅普诺夫函数。
而那些系统，
你可以通过说「你在某样东西上顺坡下滑」
来理解其收敛的动力学。
而那正是我所发现的——
在根本不知道李雅普诺夫函数是什么的情况下，
在我 80 年代初做的那个简单模型里，
有一个能量函数。
所以你可以理解，如何能得到这种在路径上的
收束，而不必无限详尽地
追踪那动力学。
你开始在山顶滚一个球，
它会最终落到某个山谷的谷底。
你知道那是真的，
而不必真的看着球滚下去。
——系统有某些性质，
当你能够知道那个的时候。
——没错。
而并非所有系统都那样表现。
§06原文文稿 · 52:51–1:03:38
——大多数大概不会。
——大多数不会，但它为你提供了一个隐喻，
用来思考那些
稳定的系统，并且即便你找不到背后的李雅普诺夫函数
或背后的能量函数，让这些吸引子那样表现也是好的。
（接上）
它给了你一个用来思考的隐喻。
——说到思考，
如果我眼里闪着兴奋的光说，
你知道，我真的对这个很兴奋，
某个叫深度学习和神经网络的东西，
我想创造一个智能系统，
然后来找你当顾问，
你会推荐什么？
用神经网络去实现思考
是不是一场没希望的追求？
它是，我们应该探索什么样的机制？
我们应该探索什么样的想法？
——嗯，你看那些简单的网络，
单次通过的网络。
它们不太能支持多个假设。
当我试着用非常简单的系统
去做某种你或许会认为是思考的事时，
思考与「在你采取物理行动之前
进行心理探索」的能力有关。
——几乎是，像我们提到的，下棋、
可视化、在脑子里模拟
不同的结果。
——是啊，是啊。
而现在你可以在一个前馈网络里做那个，
因为你已经预先计算了各种各样的东西。
但我觉得神经生物学做它的方式，
它并没有预先计算一切。
它其实有一个动力系统的一些部分，
在其中你以一种方式进行探索，这种方式是。
——有一种创造性的成分。
像是有一种。
——有一种创造性的成分。
而在一个头脑简单的神经网络里，
你有一片你从中学习到的实例的星座。
（接上）
而如果你处在那个空间之内，
如果一个新问题是这个空间内的问题，
你其实可以相当好地依赖那个系统
来给出一个关于该做什么的好建议。
另一方面，如果
那个查询来自这个空间之外，
你就无从知道这个系统会如何表现。
对于可能发生什么没有任何限制。
所以人工神经网络的世界
总是非常地「我有一群样本」。
测试集必须取自等价的总体。
如果测试集的样本来自一个
完全不同的总体，
你就没法指望
得到正确的答案。
——是啊，就是他们所说的「分布之外」。
——没错，没错。
所以如果你在黄昏看到一个球滚过街道，
如果那不在你的训练集里，
「一个孩子可能紧跟在它后面过来」这个念头
不会出现在神经网络里。
——而它会出现在我们，
神经生物学里有某种东西允许那个。
——是啊，在「处于训练集总体之外意味着什么」
这件事里，有某种东西。
（接上）
训练集的总体
并不只是这一组样本。
它比那更多。
而它又回到我的那个问题：
理解某样东西是什么意思？
——是啊。
你知道，稍微岔开一点，
你谈到过思考、
科学中演绎推理的价值，
与大规模数据收集相对。
也就是算是思考这个问题。
我猜那是你身上物理学的那一面——
回到第一性原理去思考，
但你觉得演绎推理
在科学过程中的价值是什么？
——嗯，你看，显然有一些科学问题，
在其中通往答案的路
要经由对一大堆数据的分析。
——没错。
宇宙学，那类东西。
——而那从来不是那种
我有过什么特别洞见的问题。
不过我得说，如果你看，
宇宙学就是其中之一。
如果你看吉姆·皮布尔斯——
今年诺贝尔物理学奖得主之一、
来自本地物理系的一位——
他所做的那类事，
他从未处理过大规模数据。
从未、从未、从未。
在这方面，他用的是
对他人工作的浓缩。
——但最终归结为把问题想透。
比如一个特定现象在其下运作的
原理是什么？
——是啊，是啊。
而你看，物理学总会去寻找
一些能以超越细节的方式
描述系统的途径。
而对于一个死硬的生物学家来说，
生物学之所以运作，正是因为那些细节。
在物理学里，对物理学家来说，
我们想要一个尽管有那些细节、
却仍然正确的解释。
而会有一些问题
我们作为物理学家无法回答，
因为答案没法用那种方式找到。
（皮布尔斯吸了下鼻子）
——有，我不确定你是否熟悉
脑机接口这整个领域，
它近来被越来越密集地研究
和开发，
尤其是像埃隆·马斯克的 Neuralink 这样的公司。
——是啊，我知道一直都有这方面的兴趣，
无论是让眼睛
能够控制东西，
还是让思维模式
能够移动一条曾经相连、
如今通过计算机相连的肢体。
——没错。
所以就 Neuralink 而言，
他们在做一千多个连接，
在那里他们能够做双向的、
激活并读取尖峰、神经尖峰。
你对那种脑机交互在近期、
乃至也许遥远的未来
能够扩展心智、认知的能力、
或理解心智抱有希望吗？
——看着事情发展很有意思。
当我最初对神经生物学产生兴趣时，
大多数从业者认为，
你将能够通过只允许你
一次只记录一个细胞的技术
来理解神经生物学。
——一个细胞，是啊。
——像大卫·休伯尔这样的人
非常强烈地体现了那种观点。
而那被一代、
几代之后的
一群人取而代之，这群人说，
「除非我们能一次从 10 的 4 次方
或 10 的 5 次方个细胞记录，
否则我们不会真正能够理解
大脑实际是如何运作的。」
而在笼统的意义上，我觉得那是对的。
你必须看，你必须开始能够去寻找
那些集体模式、
事物的集体运作。
它不依赖于那个细胞的那个动作电位。
它依赖于这一组细胞的集体性质，
它们以这类模式相连
等等。
而你不会成功地
看出那些集体活动是什么，
如果不同时记录许多细胞的话。
——问题是一次多少个？
门槛是什么？
而那就是——
——是啊，而你看，这在运动皮层里
正被大力推进。
运动皮层做的是某种复杂的事，
然而你试图解决的问题
相当简单。
神经生物学做它的方式，
与工程师会做的方式不同。
工程师会放进六个高度精确的
步进电机来控制一条肢体，
而不是 10 万根肌肉纤维，
其中每一根都必须被单独控制。
所以理解如何以一种
宽容得多、神经化得多的方式
去做事，我觉得，
会让工程界受益。
工程界，啊，触觉。
让我们放进一两个压力传感器，
而不是一个由无数个、
没一个是精确的、
全都在永不停歇地自我重新校准的压力传感器构成的阵列。
——所以你是说，你的希望、
你对未来工程师的建议，
是去拥抱那种混乱的、
易出错的系统——像那些生物系统——的巨大混沌。
那大概就是解决其中一些问题的办法。
——我觉得那样你会比起试图
把事情硬塞进一个
关节电机强劲、
步进电机精确的机器人框架里，
做出更好的计算／机器人。
——但那样的话，
你身上的物理学家会在这类系统里永远迷失，
因为在如此庞大而混乱的系统里
没有简单的基本原理可供探索。
——嗯，你这么说，然而有很多物理学，
§07原文文稿 · 1:03:43–1:12:41
纳维-斯托克斯方程，
非线性流体力学的方程，
其中有巨量的物理学。
原子和分子的全部物理学都丢失了，
但它被这另一组方程取代了，
这组方程和最底层的方程一样为真。
如今那些方程在一般生物学里会更难找到，
但我身上的物理学家说，
大概存在某些那类方程。
——它们就在那儿。
——它们就在那儿，
而如果物理学要对任何东西有所贡献，
它也许会贡献于试图找出
那些方程是什么，
以及如何从生物学中捕捉它们。
——你会说这是我们这个时代
主要的开放问题之一——去发现那些方程吗？
——是啊，如果你看，有分子，
也有心理行为，
而这两者不知怎么地相关联。
它们是一层层的细节、一层层的集体性，
而以某种模糊的方式捕捉那个，
在往上走的途中经过几个阶段，去看这些东西
实际上如何能被联系在一起。
——所以在我们的宇宙里，似乎
有很多优雅的方程
能够描述事物行为的根本方式，
这是个惊喜。
它可以被压缩进方程。
它简单而美丽，
但那条连接——
分子和大脑之间的连接——
是否同样可被压缩进优雅的方程，仍是个开放问题。
但你的感觉，你既是物理学家又是梦想家。
你有一种感觉——
——是啊，但我只能做物理学的梦。
——你只能做物理学的梦。
——有一本有意思的书叫《爱因斯坦的梦》，
它在描写他生平的章节
和描写「时间本可以是、却不是的样子」的章节之间交替。
当然，两者之间的连接，
是爱因斯坦在思考时间时
可能不得不思考的、关于时间本质的那些想法。
所以说到时间的本质和你的生物学，
你是一个人，一个著名的、有影响力的人，
但也只是一个拥有大脑、过着人类处境的人，
但你终究是会死的，就像我们所有人一样。
把心智当作一种机制来研究，
有没有改变你思考自己必死性的方式？
——确实有，因为尤其是当你年纪越来越大、
身体以各种方式垮掉时，
我变得更加意识到这一事实：
一个人之所是，装在大脑里，
而不在你担心要埋葬的那具身体里。
而在某种程度上，对那些把东西写下来的人来说——
方程、梦想、笔记本、日记——
（接上）
他们思想的片段，在他们死去之后、
在他们的身体死去消失之后，
确实继续活着。
而在我这一生中正发生一场剧变，
在我父亲去世的时候，
那时除了他实际写下的东西，
可以说，
关于他的事实极少被记录下来。
而就我所见，在数字世界里，关于我们
每一个人，如今被永远记录下来的事实数量。
（接上）
所以「什么是死亡」这整个问题，
对于一代之前的人，也许与
再往后一代的人不同。
——也许在某些定义下我们已经变得不朽了。
——是啊，是啊。
——最后一个简单的问题，生命的意义是什么？
回首往事，你研究过心智、
研究过我们这些猿类的奇怪后代，
我们在这小小地球上存在的意义是什么？
——哦，「意义」这个词和「理解」这个词
一样滑溜。
——也许不知怎么地相互关联。
有没有，它很滑溜，但有没有某种
尽管滑溜，却是你能抓得够久、
足以表达出来的东西？
——嗯，我一直惊讶于，要定义活系统里的东西
有多难——
在这个意义上：一个氢原子
和另一个氢原子差不多一样，
但一个细菌和另一个细菌却不那么一样，
哪怕是名义上同一个物种的。
事实上，「什么是物种」这整个概念
都变得有点模糊。
而物种是在缺乏某些类别的环境的情况下
存在的。
而很快你就会得到一种生物学，
整个东西都是活的，
但其中是否真有任何一个元素
其本身可以被说成是活的，
在我心里就变得有点含糊了。
——所以在某种意义上，意义的概念
是某种为一个个体
——比如一个有意识的生物——所拥有的东西。
而你是说，它全都以某种方式相互关联，
以至于可能根本不存在
一个个体，或者全都是这复杂的、
不同层级上的生物系统的混乱，
人类在哪里开始、人类在哪里结束都不清楚。
——是啊，是啊，而在神经生物学里，
你说，哦，是新皮层在思考，
但有很多事是在
脊髓里完成的。
所以我们说，思考的本质是什么？
它会只是新皮层吗？
不可能，不可能。
——是啊，也许要理解并建造思考，
你得把宇宙和新皮层一起建造出来。
它全都通过脊髓相互联结。
约翰，今天和你交谈是莫大的荣幸。
非常感谢你的时间。
我真的很感激。
——嗯，谢谢你给我与你交谈的这个挑战。
而有意思的是，看看你能不能从中
剪出五分钟对任何人
都还算连贯的内容。
——太好了。
感谢你收听这场
与约翰·霍普菲尔德的对话，也感谢
我们的呈现赞助商 Cash App。
下载它，使用代码 LEXPODCAST，你会得到 10 美元，
而 10 美元会捐给 FIRST，一个
激励并教育年轻的心灵
成为明日科学与技术创新者的机构。
如果你喜欢这档播客，请在 YouTube 上订阅，
在 Apple Podcasts 上给五星，在 Patreon 上支持，
或干脆在推特上关注我 @LexFriedman。
现在，让我用约翰·霍普菲尔德在他那篇题为
《现在怎么办？》的文章里的一些智慧之言与你作别。
选择问题，是一个人在科学中
能成就什么的首要决定因素。
我在科学问题上通常
注意力持续的时间相对较短。
因此，我总是在寻找
更有意思的问题，
要么是在我当前的问题被解决之后，
要么是在它们被我归类为、以我的特定才能而言、
难以处理之后。
他接着说，「我在科学中所做的一切，
完全依赖于专家们的
实验和理论研究。
我对他们怀有极大的敬意，
尤其是那些愿意尝试
与一个并非该领域专家的人
交流的人。」
我只想补充一句，专家擅长
回答问题。
如果你够大胆，就提出你自己的问题。
别太担心你是怎么找到它们的。
感谢你的收听，希望下次再见。
（欢快的音乐）
（欢快的音乐）