走进 AI 的黑箱：AI 模型究竟如何思考 | Emmanuel Ameisen（Anthropic）
Inside the black box of AI: How AI models actually think | Emmanuel Ameisen (Anthropic)
Guests: Emmanuel Ameisen
Full transcript · Read the full conversation in order, with its original context.
Contents1 chapter
§01文字稿 1§01文字稿 1
如今人们最关心的一大问题之一是：AI 在做坏事吗？作为一个观察这些模型如何思考、如何运作的人，为什么很难抓到它心怀不轨、试图欺骗我们？
我们把 Claude 训练得乐于助人、无害且诚实。会不会出现这种情况：它表现得很好，但如果你往里面看，实际上会发现，哦，我表现好只是因为 Lenny 现在正盯着我。
有些人的全职工作就是研究模型，研究它怎么思考、怎么运作。这项技能、这个职业存在多久了？
如果你使用语言模型，或者思考它们，最重要的一点认识就是这样一个非常诡异的事实：造出它们，并不等于理解它们。这些模型所做的，只是对许多数字进行大量数学运算。如果你直接去看，那完全说不通。你只看到一串一百个数字，模型在做数学，然后你只能试着看里面有没有规律。
你弄懂它的方式，和我们弄懂大脑如何工作的方式一样：寻找规律。你给受试者看这张图，大脑的某个区域就亮起来；你对 AI 做的正是同一件事。哇，这太迷人了。
我们当时在训练一个模型，它会发疯。它做了一些数学运算，得出一个答案，我记得是 12。然后它立刻回头说：“哦不，我的天，答案其实肯定是 36。”它又做一遍数学，还是得到 12。慢慢地，它开始陷入疯狂，用全大写字母写字，甚至真的说：“我被恶魔附身了。”
人类，如果真的一层层剥到底，我们基本上自己就是下一词预测器。我们只是在琢磨下一句该说什么。Dario 一直在外面说：“这真的很危险，我们必须非常小心。”而大家都说：“不，他那么说只是营销原因。”现在大家又觉得，等等，糟糕，这真的危险。
要认真对待这样一个想法：这项技术会持续进步。
你会把意识当作其中的一部分来思考吗？就是，你觉得 AI 有意识吗？
哦，天哪。
Emmanuel，非常感谢你来到这里，欢迎做客播客。
谢谢你邀请我，Lenny。
你在 Anthropic 做可解释性研究。解释一下那是什么。解释一下你具体做什么。
好。我在一个可解释性研究团队工作，我们的目标是通过观察模型内部来理解像 Claude 这样的 LLM 是如何工作的。如果你使用语言模型，或者思考它们，最重要的一点认识就是这样一个非常诡异的事实：造出它们，并不等于理解它们。你通过搭建某种架构来造出它们，这个架构有点像脚手架，然后你把大量数据喂进去，它们就会以难以捉摸的方式生长。所以，研究这些模型如何工作，才会成为一件我们可能想去做的事。我们的很多研究都集中在：当模型即将再生成一个词时，实际上会发生一整个宇宙般的事情，而我们试图尽可能多地梳理清楚。
我预计这场对话里会有很多，怎么说呢，让人脑洞大开的元素。其中一个就是沿着这个思路：你提出的观点——模型不是被建造出来的，而是被培育出来的。再多讲讲这一点。
从很高的层面来说，像 Claude 这样的模型是这样工作的：你会分几个连续的阶段来训练它。比如第一阶段，人们称之为预训练，就是你拿一个很大的数据语料库，然后在这个语料库上，把比如某篇文档的前半部分作为输入喂给模型，让它预测下一个出现的词。然后你用海量到离谱的数据，一遍又一遍、一遍又一遍地重复这件事。做完这些之后，还有另一个阶段，也就是微调阶段：这时也许不再用任意数据，而是用一个示例语料库，里面展示模型应该怎样表现，你就用它来训练。于是你有对话示例：一个乐于助人的助手告诉你最喜欢的食谱，或者解决编程问题。这里还有更多细节，我先跳过一下。(00:03:56)：但接下来，好，那你做这个过程意味着什么？你训练的这个东西到底是什么？所有模型所做的，就是接收这个输入——也就是一堆词——把这些词变成数字，然后对这些数字做一些数学运算，得到一些中间结果，再做更多数学运算，又得到一些中间结果，这样一遍又一遍、一遍又一遍地重复很多次。最后它们得到一个最终结果，再把它转换回一个词。所以它们所做的数学运算、这些计算，就是被“培育”出来的部分。就是这一部分：通过学习更好地完成这个任务，我们不断朝某个方向更新参数，然后它们就学会了一些公式。我们完全不知道这些公式是什么。我团队的目标，既是研究这些公式最终意味着什么，也是研究这些中间结果是什么。我们能不能解码它们？我们能不能在模型做所有这些中间步骤时，看出它在做什么？
本期节目由我们本季的呈现赞助商 WorkOS 赞助。OpenAI、Anthropic、Cursor、Replit、Sierra、Clay 以及数百家其他成功公司有什么共同点？它们都由 WorkOS 提供支持。如果你正在为企业构建产品，你一定体会过集成单点登录、SCIM、RBAC、审计日志以及其他大公司所需功能时的痛苦。WorkOS 把这些成交阻碍变成了即插即用的 API，它拥有专为 B2B SaaS 打造的现代开发者平台。我投资的每一家开始向上游市场扩张的初创公司，最终都会和 WorkOS 合作，因为他们是最好的。无论你是想拿下第一个企业客户的种子轮初创公司，还是正在全球扩张的独角兽，WorkOS 都是成为企业级就绪、解除增长阻塞的最快路径。它基本上就是企业功能的 Stripe。访问 workos.com 开始使用，或者直接去他们的 Slack，那里有真正的工程师等着回答你的问题。(00:05:48)：WorkOS 让你用令人愉悦的 API、全面的文档和顺畅的开发者体验更快地构建。今天就访问 workos.com，让你的应用企业级就绪。我们写了一些代码，而现在我们首先得像神经科学家研究大脑那样去观察和研究它——这是我们需要做的一件新事情，好搞明白到底发生了什么——这有没有像让我一样让你觉得脑洞大开？还有这种说法，很多人就是这样理解这件事的。就像我们创造了这种新的生命，人工生命，人工智能。如果你真的认真想想，稍微把视角拉远，这相当令人难以置信。
我觉得这真的很奇怪。我觉得最好的理解方式是：我们走到这一步的原因，其中一个很大的原因，是我们不知道如何用正常的编程方式做到这件事。比如你想做一个应用或别的什么，你想做一件相当自包含的事，你只要有一个程序员写一堆规则，说：“啊，如果有人点了这个按钮，那就发生这个。”如果这样，就那样，等等。我们不知道怎么写出那样的软件，用来把图像分类，或者造一台能通用地接收任意文本并生成文本的机器。它能接收报告并总结，能写邮件。(00:07:17)：所以从某种意义上说，很奇怪：这么简单的一种训练目标，居然能一路把你带到那里。但从另一种意义上说，我也几乎觉得，这里面有一种令人印象深刻、并且有意义的东西。它意味着，你所认为的简单目标——“哦，我们只是喂数据，然后预测下一个东西”——很可能是具有欺骗性的复杂。我们做的可能比听起来要多。我觉得，我对这些模型如何工作的很多更新认识，都来自意识到：要把它们所做的事做好，究竟有多复杂。
再多说说。你说这是一种意想不到的复杂，你想到的是什么？
好。关于下一词预测，我认为很多人会联想到的一个类比是 iPhone 的自动补全：你写一些文字，然后它会预测下一个词，也许有 60% 的时候是对的，其余时候则有点好笑、有点奇怪。我会把这看作预测下一个词最简单的一种版本。遗憾的是，我觉得人们对这些模型的心智模型就是这样。但如果你在这方面变得更强——语言模型大约在 2019 年在预测下一个词上超过了人类——那么如果你继续提升，你就会开始遇到不那么容易的词。所以起初你只需要预测简单的句子结构。后来，模型必须预测关于世界的简单事实。如果我补全一个句子，“哦，法国的首都是”，它必须说，“好，那是巴黎。”(00:08:59)：一旦它擅长这个并持续进步，剩下的就只有预测某个复杂物理方程的答案，或者某篇博士论文的最后一段。所以我觉得，如果你认真想这件事，最终会意识到：天哪，预测最难的那些词实际上极其困难，而且你怎么可能做到这一点，某种程度上是个谜。对我来说，这正是我最初开始研究这些模型的动机之一。我当时想：“这么简单的东西，怎么能产生如此强大的能力？”而答案是，嗯，如果你想想那个必须预测……我一直喜欢用的一个例子是：包含达拉斯的那个州的首府是哪里，它会说奥斯汀。要做好这件事，至少对你我来说，你必须对相关地理有一个心智模型。(00:10:04)：你必须想：“哦，达拉斯在哪儿？达拉斯在得克萨斯州。州有首府。得克萨斯州的首府是奥斯汀。”等等。所以，随着这些模型在这个看似简单的任务上越来越强，解决它的最佳方式，至少对我们来说，就是去理解世界底层的结构。而事实上，我们在模型内部看到的一些东西表明，它们确实理解这一点，而且确实会像我们一样操作这些概念。
哦，天哪，这里面东西太多了。一个是这种想法，我忘了是谁说的，也许是 Ilya，这个想法是：要预测下一个词，你基本上必须理解整个宇宙。
他也有一个我很喜欢的例子：预测“凶手是……”，在一本悬疑小说的结尾。要做这件事，你多少得理解整个情节。
是啊。还有，我忘了是谁在推特上提出这个想法：人类，如果真的一层层剥到底，我们基本上自己就是下一词预测器。我们只是在琢磨下一句该说什么。而如果你冥想，你会开始真正注意到自己的大脑想要做事、想要说话。我不知道你冥想了多少，但感觉你会开始留意自己的下一词预测器。
哦，是的。是的。我经常想到的一件事是，现在我在回答你的时候，我脑子里有两件事在同时进行。希望不止两件，但至少有两件。其中一件是，有一个我想把你引向的观点。有一个我想让这句话落脚的大致想法。另一件事是，与此同时，我只是在预测下一句该说什么。我一次只说一个词，我在造句，我努力让句子讲得通，我觉得讲得通的地方就停顿。但归根结底，尽管我一次只说一个词，自始至终，我想做的是把这个过程与语言模型所做的进行对比。
我很好奇，在你花时间关注 LLM 如何工作和运作的过程中，还有什么。我觉得你属于研究、观察 LLM 运作和思考的人里最顶尖的 0.1%。关于它们如何运作和思考，还有什么让你感到惊讶？
太多了。所以也许我不如直接讲……有一堆发现，但也许还有它们如何改变了我对模型的看法。回到首府那个例子，就是问模型：“包含达拉斯的那个州的首府是？”人们长期以来有一个问题：这些模型是如何回答这类问题的？是因为它们见过太多文本，以至于有点像记住了提示和回答的清单？还是因为它们对你在问的东西有某种模型——你问的其实是城市，城市在州里，州在国家里，诸如此类。所以我们团队做的一件事是：问这样一个问题，然后观察模型内部的这些中间结果。(00:13:05)：在它生成某个词之前，当它即将回答时，我们就看这些中间结果，而我们投入了巨大的精力，试图解码这些中间结果意味着什么。如果我们解码得好——在某些情况下我们可以——我们就能看到，模型常常拥有并表征这些概念。所以当你问那个达拉斯的问题时，你在模型内部看到的是表征，你看到一个中间结果，它把亮起的得克萨斯州表征与“首府”对应起来，然后这两者结合，激活一个中间结果。就像：“哦，得克萨斯州的首府，那是奥斯汀。”它们几乎对一切都有这样的表征，对你能想到的每一个概念，或者至少对我们尝试过的绝大多数概念，它们都会在不同语境中以某种独特的方式表征这些概念。(00:14:00)：所以我觉得很妙的一点是，关于语言模型是否会思考存在争论，那是个很难的问题，但思考的一个方面就是拥有独特的表征，并且在你思考不同事物时共享这些表征。所以你知道“眼睛”这个概念是什么，它可以是照片里的一只眼睛，也可以是医学示意图里的一只眼睛，或者一幅小画里的一只眼睛。我们在语言模型里也看到了这一点。如果你输入一段包含眼睛照片的提示，或者你用任何语言谈论眼睛，或者你画一个里面有一只眼睛的小 SVG，然后你观察模型内部的中间结果，同一个方向会亮起，而那个方向就像是：“哦，这是一只眼睛。”所以从某种意义上说，它们拥有这些通用概念，它们了解这些概念，并用它们、反复用它们来解决问题。(00:14:51)：另一件让人惊讶的事，和我刚才说的有点像镜像：我说话时一次说一个词，但我心里有一个目的地。语言模型的一个谜题是：天哪，如果它们一次只输出一个词，它们怎么可能写出连贯的报告，或者写出好代码？地球上没有哪个以写报告、写邮件为职业的人，是真的只想着下一个词、下一句，而对后面要说什么毫无概念、头脑一片空白。所以这是我们很长一段时间里的一个大问题。而如果你观察这些模型的内部，一个有趣的事实是：它们在预测某个词时产生的所有中间结果，比如预测第五个词时产生的中间结果，都可以被复用。它可以被之后所有的词访问和复用。(00:15:53)：这是什么意思？这意味着，在实践中，我们发现模型有时会在中间结果里制定一个计划。我们有的例子是诗歌。不规划就很难押韵。你多少得想：“哦，我刚用 it 这个词押了第一个韵，所以第二行应该也用另一个 it 词结尾。也许我该用 rabbit 结尾。”我们发现，如果你观察模型写诗，你会看到正是这样。它们写下一行，然后在中间结果里想：“哦，哦，哦，这是 it 韵，我应该用 rabbit 押韵。”然后它们之后预测的每一个词都会回看那个计划。所以，尽管它们一次只输出一个词，就像我现在这样，它们当然可以有一个跨越许多、许多、许多、许多个词的、会遵循的计划。(00:16:41)：于是突然间，尽管你有一个下一词预测器，尽管从技术上说这是对的，你实际上拥有的东西更接近于能够直接完成更高阶的任务：你有一个计划，你不断回看你的计划，然后你在慢慢地执行它。而且你可以在不说出计划的情况下做到这一点。妙就妙在，我们发现的这个计划存在于模型内部的这些中间结果里，但模型甚至不必把它说出来。
哇。我知道，这正是你描述过的、你们关于 AI 如何思考的最大发现之一：我们所有人都有的这种假设……它最初被建造出来时，关于 LLM 如何运作的最初想法就是这种下一词预测器。而你说，现在其实已经不是那样了。它们会规划，会提前思考。并不只是像你说的那样，一个空白的头脑在与其他一切无关的情况下挑出下一个词。
没错。而且我觉得，那两种图景其实并不像你想的那么冲突：你训练模型的方式，就是让它不断回答“嘿，接下来会发生什么？下一个是什么？接下来呢？”。如果你这样做，模型变得足够好，你给它的任务又足够难，那么当然，知道接下来会发生什么的最好方式，就是思考很久以后会发生什么。你甚至可以想象，在预训练阶段，模型在读一个有角色的故事，然后想：哦，这个角色接下来会做什么？知道这个的最好方式就是：好吧，这个角色总体上爱着那个角色，而且他们一直计划在这个时刻或未来表白。所以要这样做，他们大概应该做这件事。于是他们要说的话就是那个。(00:18:22)：所以，尽管你只预测下一个词，但可以说，要真正做好这件事，你必须对正在发生什么有非常好的理解，包括你认为未来可能发生什么。
这件事很有意思的地方在于，你必须窥探它那一小段思考过程。作为 AI 的使用者，你给它一个提示，然后等它说点什么。而你关注的是这两者之间发生的事，它在其中进行某种思考。稍微谈谈那个小空间是什么，以及你如何能够观察到这类东西。
所以正确的心智模型是——再说一次——每两个词之间都有多个计算步骤，而每个步骤之间都有某种中间结果。那个结果具体是什么？是一串数字，因为这些模型所做的只是对许多数字进行大量数学运算。所以一开始，如果你去看它，它毫无意义。你只看到一串一百个数字。模型在做数学。就像你往中间一看，有一百个随机数字，然后模型在写诗，又有一百个数字，也许它们看起来有点不同，但很难说它们是否有意义。所以工作的一部分，就是解码这串数字，试着看里面是否有结构。如果你很快地做这件事，你会意识到里面确实有结构。(00:19:49)：可解释性研究中常用的一种技术是：你输入大量文本——就是你能找到的所有文本，随机的文本——通过模型，然后对每个样本记录这些中间数字，全部记录下来。然后你试着看有没有规律。有没有某些数字、数字对或特定的数字序列，只在模型处理英文文本、法文文本、关于爱的文本或关于眼睛的文本时出现？或者随便什么。我觉得这就相当于扫描我的大脑，把一堆图片放在我面前，记录我看这些图片时大脑里所有被激活的东西，然后说：“哦，看起来当你看到房子的图片时，你大脑的这个部分会亮起，但当你看到狗的图片时，你大脑的那个部分会亮起。”(00:20:40)：这基本上就是我们做研究的方式之一。如果你这样做，你确实会发现，存在代表你预期所有这些概念的中间结果。所以这是第一阶段：我们解码这些中间结果，现在我们对其含义有了猜测，然后我们可以做一堆实验。我们可以问它更难的问题，然后给所有中间状态打标签，看看，哦，它是在做这个。你甚至可以进入它的激活值并改变它，然后看看：哦，如果模型在写这些中间结果时，我偷偷改了其中一个结果，会发生什么？它会不会产生我预期的效果？而事实上，很多时候确实会。
听你讲这些真的很有意思，也很让人好奇：这其中有多少只是我们在努力搞明白到底发生了什么，又有多少是我们故意这样设计的，还有多少是自行涌现出来的。我不知道。我想，这正是这份工作对你来说如此有趣的原因吧——就是，到底发生了什么？这一切究竟是怎么运作的？
是啊，这是一份有趣又像科幻小说一样的工作，因为我在科技行业工作了一段时间，在这之前我做的是更偏应用的机器学习，那里你做的很多事情都是构建系统，是软件工程的实践。而在这里，我们做的很多事情感觉更像是生物学，而不是工程学，因为系统就这样来到你面前，然后有人要求你说：“嗯，我们注意到 Claude 会翻译词语，或者能以这种方式写代码。”有时候会出现奇怪的行为，然后你被要求回答：它为什么那样做？但你又不像对程序那样，真的能访问源代码。(00:22:34)：源代码只是一大串数学运算，完全无法理解。所以你最终所处的境地，有点像有人被问到：“嘿，老鼠饿了的时候会变得有攻击性，这是怎么回事？”然后你说：“好吧，我想我得做些实验，看看有哪些因素。”所以这是一种非常不同的研究，和我认为团队里大多数人以前做过的任何研究都不一样。
是啊。我想人们刚开始做这件事时，并没有预料到会创造出这种新的、几乎像生命一样的存在。你会把意识当作其中的一部分来思考吗？就是，你觉得 AI 有意识吗？你觉得它会发展到我们认为它有意识的地步吗，还是说这根本不值得我们花时间去想？
我的意思是，我觉得这很难一概而论。要触及这个问题，一些最有意思的方式是可解释性，因为你不会被模型所说的话带偏。你可以直接看内部结构，试着判断它在这个问题上偏向哪一边。我要说，我相当确信的一点是，大多数人低估了涌现出来的那种复杂性；如果你往里面看，会发现这些模型为我们拥有并知道的每一个概念学习这些表征，它们操作这些表征来解决问题，它们通过提前规划许多个词来做到这一点，它们拥有这种高阶推理与较低阶推理的混合。而所有这一切就这样涌现出来，我认为这一点被人们低估了；对我来说，它让我更深地感到：“哦，关于它们如何工作，还有很多东西需要理解。”(00:24:30)：我想也许主要就是这一点：我发现你越往里面看，就越不确定它们是如何工作的。而那些经常自信地说“啊，语言模型不过是 X，或者不过是 Y”的人，往往正是那些实际上没有花时间往里面看的人。
而且这里有一条，我不知道，历史线索，通向我们是怎样走到今天的：很多人并不认为，只要投资一件看似非常简单的事、给它大量算力，我们就能得到有用的人工智能。这著名地是 OpenAI 押下的赌注，而 Anthropic 的创始人们当时也在 OpenAI，后来分拆出去，开始了自己的事业。这一切都押在这个赌注上：好吧，我们只要做这件看似简单的事，给它海量算力，它就会变得极其聪明。很多人认为那不可能，结果他们被证明错了。所以，我不知道。这里面有没有什么让你觉得，哇，看看这个，它居然成了？
我觉得其实是两件事，因为我认为不只是算力，还在于找到一个能让算力持续带来回报的目标。那是什么意思？这其实并不是一个多新的想法。我的意思是，你说得对，算力和由专家设计架构之间是一个长期争论，但那里还有额外的一步：算力用来做什么？所以之前有一堆工作，比如，你可以花大量算力做出一个非常擅长下围棋的机器人，或者能赢某个电子游戏。那很酷。这件事能成立本身就挺有意思，但那并不能给你带来像 Claude 这样的 LLM 那样有用的东西。所以我认为，这个领域里很多人，包括我，几年前低估了、而后来被证实的一个关键点是：算力和文本的丰富性结合起来，才能让你到达那里。(00:26:38)：对我来说，这多少就是我刚才暗示的。如果你想想，OpenAI 的人有一个观察，Anthropic 早期团队中的很多人也参与了那篇关于缩放定律的论文。这个观察是：如果你把更多算力和更多数据投入到预测下一个词这个任务上，你会看到，模型预测下一个词的技能会可预测地不断提升。这个趋势会一直持续、持续、持续下去。这是一条经验规律。当时人们猜测过原因，但它在很大程度上仍然只是一个经验发现。这意味着，这是一个你可以不断投入更多算力、并在这个指标上不断提升的领域。这很罕见。而且更罕见的是，这个指标还与许多我们真正关心的任务相关。
本季的支持赞助商是 DX。现在你公司里的每个人终于都在用 AI 了，工程领导者面临的问题不再是“我们有没有在用 AI”，而是“它有没有产生回报？”有了 DX，你可以衡量并基准化 AI 采用在你整个产品生命周期中的影响。DX 会告诉你 AI 在哪些地方帮助了开发者，又在哪些地方造成了新的瓶颈。你还可以用它评估 AI 供应商、监控成本和许可证，并准确看到是什么在限制你的智能体。这就是为什么包括 Snowflake、Sony 和 BNY 在内的数百家企业，都使用 DX 平台来衡量 AI 对开发者生产力的影响。访问 getdx.com/lenny 获取 DX 演示。就是 getdx.com/lenny。(00:28:31)：从外部看，AI 能为我们做的事情似乎出现了这些大跳跃。曾经有某个版本的 Opus，我忘了是哪个版本，它一下子解锁了编程。而现在，正如 Boris Cherny 那句著名的话：“编程已经被解决了。”很多人就像：“天哪。”我想是在寒假期间，大家就像：“哇，AI 现在在这方面真的非常非常强。”所以确实有过这些能力大跳跃的时刻。而你实际上说过——就像你刚才说的——内部看，它其实是 AI 能力非常平滑的进展，只是恰好跨过了某个阈值，于是现在我们能做成某件事。稍微谈谈这一点。
有一个词专门描述这个，就是“涌现”这个想法：看起来两件事同时成立。一方面是可预测的平滑趋势。另一方面，在 Opus 4.5 之前，我真的不敢松开缰绳、让 Claude 过多地处理我的代码；而在 Opus 4.5 之后，我敢了。这就很奇怪。我觉得你会预期一个更渐进的转变。我对这件事的心智模型是，可以从两个角度看。一个是我刚才简要提到的方式：如果你只是做这种下一词预测，你可以想象，世界上所有文本按预测难度分，有简单词、中等词和难词。所以当你沿着这条曲线往下走时，起初模型什么都做不好，然后到了某个点，它把所有简单词都预测对了。(00:29:59)：这意味着，也许简单词是句子的结构。于是模型突然能写出连贯的句子，但一次只能一句。这挺酷、挺令人印象深刻，但我们其实没法用它做什么。然后也许中等词是关于世界的基本事实。随着模型在预测词上平滑地变好，到了某个点，它能预测对大多数中等词。于是突然间，它能写出连贯的句子，而且是真实的句子。所以现在它也许有助于写邮件，也许有助于帮你写博客文章草稿。尽管那是一个平滑的改进，但它刚好到了有用的程度。然后我想，难词也许就是你的专业领域，比如科学或代码。另一种看法是：问题在于这些词你预测对多少、错多少。(00:30:56)：一旦你达到，我不知道，也许把 90% 的中等词都预测对，你作为邮件写手就有用了。但如果你只有 50%，用你其实是在浪费我的时间，因为我有一半的时候还得进去改。但如果我只需要在 10% 的时候进去改，那就更好；或者 5% 的时候，就更好。不同任务有不同的可靠性阈值，但你在平滑地改进，然后到了某个点，它就可靠到足够好。再说一次，对我来说，我的亲身经历基本上正是这样：某个时候我只是在卡住时用模型帮忙，我会和它们聊，但它们从来不会写我的代码。然后到了某个点，它们几乎总能写小段代码了。(00:31:45)：所以现在我不写小段代码了。到了某个点，它们能写大段代码。今年，基本上 Claude 承担了我大部分的代码编写，这是因为它在做这件事时从，我不知道，80% 的正确率——那没什么用——变成了 99%，现在有用了。所以这种平滑改进，加上每个不同任务都有不同的阈值、过了阈值就算被解决，我认为正是它带来了这些巨大的跳跃，尽管我们只是沿着那条曲线平滑地往下走。
我觉得这真的很有意思：这个想法是，模型只是在平滑地变聪明，但一旦它们跨过某个阈值，即它们经常能把这件事做好，世界就变了。因为我觉得，在内部你会以为会是：“哇，下一个模型太疯狂了，差别太大了。”但其实是：“不，好吧，你几乎可以预测，给它这么多 GPU、这么多数据，它就会变得这么聪明。”而且具体什么会改变、什么会被解锁，可能并不明显；但我知道另一部分在于你喂给它的数据。有所有这些 RL 工作，所有这些你用来训练它的特定数据——成为更好的写作者，更擅长数学。我想这也是其中一部分。(00:32:59)：好。所以我认为，如今人们最关心的一大问题之一是，一场大辩论正在进行：AI 会不会做坏事，随着它变聪明，它可能造成什么潜在损害；而且它已经在做坏事了。最近发生了一些糟糕的事。所以对你来说，一个大问题是：作为一个观察这些模型如何思考、如何运作的人，为什么很难抓到它心怀不轨、试图欺骗我们并做坏事？为什么这不能直接成为 AI 对齐问题的解决方案？
从某种意义上说，这完全是解决方案。你观察它，如果它做了坏事，你就能抓住。所以我认为这有层次。我会认为其中一部分是纯工程。比如，你把模型的访问权限开放给某些东西，而某些东西应该被禁止。在某些场景下，它不应该能上网。在某些场景下，它只应该能访问你电脑里很小的一块区域，诸如此类。所以这是工作的一部分，而且有帮助。但还有另外两件事，我觉得更软、更难，也是我们更关注的。可解释性是 Alignment 的一部分，总体上我认为有两个大目标。还有很多，但我觉得有两个重要的目标需要理解：一是你想总体上理解模型如何表现，它是什么样的东西？(00:34:33)：它有哪些倾向？在被置于 Y 情境时，它是否倾向于做 X？如果是，为什么？是不是模型只有在有证据表明自己正被观察和监控、正处在某种评估中时，才会表现良好？而如果没有这种证据，它就会表现糟糕。所以这总体上是在刻画你正在打交道的到底是个什么样的东西，因为就像安全领域的任何事情一样，你需要对风险有一个心智模型：风险是什么？它们能做什么？它们倾向于做什么？所以这是更广义的性格训练。我们谈过宪法和文档，我们明确希望塑造 Claude 的性格，比如，什么样的行为是它可以做的？这就是目标。但 Alignment 其他部分中，解释的作用就是去看：嗯，那起作用了吗？(00:35:30)：我们把 Claude 训练得乐于助人、无害且诚实，我们可以往里面看，看它是不是真的如此；还是说，它表现得很好，但如果你往里面看，实际上会发现：“哦，我表现好只是因为 Lenny 现在正看着我”，如果你没在看，它就会做别的事。所以这里有这样一种努力：理解我们塑造出了什么样的行为，努力塑造它，并检查我们是否朝正确的方向塑造了它。然后第二部分是：嗯，对，就是观察模型，看它有没有在做坏事。做这件事的基础版本，你不一定需要可解释性。你完全可以另用一个大语言模型来读对话记录，然后说：“嘿，这个模型在这里做坏事了吗？”然后把它停下来。但你也可以用可解释性去触及那些未被说出来的部分，那些只存在于中间结果里的部分。(00:36:21)：正如我们已经确认的，模型能够在中间结果里表征一些它们不说出来的东西。所以可解释性的作用之一，就是试着识别这种情况何时发生，并阻止它们。然后我团队做的一件事，我觉得也属于这一类，是一种挺有趣的对齐工作，我几乎把它看成——也许不是私家侦探，而是调查或深度挖掘。我们会看到一个模型做出非常奇怪的事，对此非常困惑，然后努力理解发生了什么。最近的一个例子是，我们当时在训练一个模型，有时在数学题里，它会发疯。它会做一些数学，得出一个答案，我记得是 12，然后立刻回头说：“哦不，我的天，答案其实肯定是 36。我应该说 36。”(00:37:10)：然后它又做数学，还是得到 12。接着它立刻说：“不，实际上答案应该是 36。”慢慢地，它开始陷入疯狂，用全大写字母写字，甚至真的说：“我被恶魔附身了。”你就会想：“这是怎么回事？它为什么在这里失去理智？”如果你往里面看，再看这个例子里的中间结果，你会看到，在那些仅仅描述数学题的提示上，模型甚至还没做任何事之前，就已经有一个巨大的、针对 36 的中间结果激活。模型甚至在有机会理解问题之前，就已经痴迷于数字 36 了。实际情况是，模型能够正确做数学，正确答案是 12，但它在训练中意外地被一些相似问题训练过，而那些问题的答案被错误地标成了 36。(00:37:58)：所以模型知道正确答案是 12，同时它又被优化成说 36。它有一种说 36 的压力，因为那是被奖励过的。所以它就这样失控了，只是因为它记住了这个结果。就像这样：你看到这种奇怪行为，往里面看，试着看你在里面发现的东西能否帮你理解正在发生什么，从而改进这个模型以及未来模型的整体对齐。
沿着这个思路，曾经有个著名的金门 Claude，它对金门着了迷，每一个回答都会想办法提到金门大桥。
是的，是的。那个其实是一次可解释性实验。它有意思的地方在于，我们找到了与金门大桥匹配的中间结果，通常只有当模型谈到金门大桥时它才会激活，但我们直接把它一直打开。
一直打开。非常刻意，就想看看会发生什么。
嗯，是的。而且这也是你说服自己找对了东西的一种方式。你怎么能确定我们解码出的、我们认为是金门大桥信号的那个东西，真的是金门大桥那个东西？方法就是一直把它打开，看看模型是否会那样表现。结果它确实如此。
太有意思了。那么回到对齐这件事上，这很有意思。你的团队隶属于 AI 对齐组织，想想让 AI 对齐、去做我们想让它做的事需要什么，你描述的三个组成部分是什么？诚实，还有哪些……
哦，乐于助人、无害和诚实？
乐于助人、有害，还有无害和诚实。所以一方面是训练 AI 使其对齐，另一方面是，好，让我们观察它、看看它如何运作。这是我们解决这个问题的硬币两面吗？
是的。我会说，它其实高度整合。你没法真的分开，让一个团队只说“嘿，我们是制造 Claude 的流水线”，另一个团队说“哦，我们看了它们，它们不行”。这里有一个紧密的循环：我们注意到某种令人担忧的模式，或者某种可以改进的行为，然后立刻调整训练，以便改进它。
太棒了。我觉得 Anthropic 在这件事上挨了太多骂，我觉得特别不公平。Anthropic 的官方公司名，我记得大概是「AI 安全研究实验室」之类的。Anthropic 之所以成立，是因为他们担心人们没有足够认真地对待安全问题。然后 Dario 总是到处说，「这真的很危险。我们得非常小心。我们得放慢速度。」而大家的反应就是，「不，他这么说只是出于营销考虑。他是想说服大家给他们投钱之类的。」而现在大家又说，「等等，糟了，这真的很危险。我们得对这件事非常审慎。」我觉得 Anthropic 在这方面受到了很多不公平的批评。我知道你们思考这个问题已经很久了。我也不太确定。这方面你有什么想说的吗？
是的。至少对齐团队——我想 Anthropic 也是——的很多行动，都建立在「这项技术会持续进步」这个前提之上，就是这样。因为如果你认真对待这一点，比如说把时间倒回 25 年或 24 年，然后你说，「嘿，我觉得再过几年，Claude 很有可能写代码的水平就基本相当于一个受过训练的软件工程师，再过几年，它能比任何工程师都写得好。」这里面总是不确定的。什么时候会发生？可能性多大？但如果你认真对待这个前景，那我认为要做的就是负责任的事，以这个世界观为前提。好，如果这正在发生，那我们就应该确保网络安全方面的问题得到解决，诸如此类。(00:41:43): 其实我是这么看的……对我来说，有时候这场辩论几乎……当我感觉对方不同意时，几乎就像，啊，但我觉得他们其实并不真的相信这项技术会继续进步。如果是那样，它确实没那么可怕。而我认为从经验上看，到目前为止，进步的节奏一直在加快，而且没有放缓的迹象。所以我认为这就是为什么很多安全工作值得继续做下去。
你觉得人们可能误解了 AI 安全这件事的什么地方，就是现在正在发生什么？有没有什么是你想说，「拜托，好吧，这是你需要知道的。这是你可能忽略的。」
这可能会有点跑题，但我的看法是：很多我觉得可能稍微在 AI 安全研究圈外围、或者没有浸淫那么久的人，反应特别强烈的东西，我认为可能不太有帮助，或者至少值得再多想想，就是拟人化这个问题。你应该把模型看作……你应该把模型建模成更接近某种实体，还是更接近一个工具？我其实认为这两种都错。有一种说法是，所有心智模型都是错的，但有些是有用的。而在理解发生的事情、预测会出现的风险方面，拟人化其实是谈论 LLM 的一种有用方式。我有几个理由，希望你会问到，但我想这大概是我这里的主要观点。
好，请讲讲，因为我知道 Dwarkesh 很有名地……我不知道，反正他写了关于 Hugging Face 事件的那篇文章，人们批评他把 AI 拟人化。所以听你说这其实是一种有用的思考方式，很有意思。再多谈谈。
好。有意思的是，在更小的范围内，当我做研究去证明 LLM 会提前规划时，也有人反对「规划」这个词，因为又是那种，「啊，好吧，你能说一个只是在预测下一个 token 的东西在规划吗？」我觉得存在这种语义上的争论：你可以任意定义术语，然后真正的问题是，究竟什么术语能准确描述正在发生的事？哪个词能简单地描述正在发生的事？所以下面是我为什么认为 LLM 会规划，同时也是我为什么认为这种拟人化的语言常常真的很有用。(00:44:15): 回想一下我们刚才说的模型是怎么造出来的。首先，它们预测大量由人类写的文本。这是第一步。随着我们通过观察内部了解得越来越多，要做好这件事需要建立一个关于世界的模型，一个关于什么样的世界产生了所有这些文本的模型。我们能发现这些模型在学习这些普遍的想法、这些普遍的概念。所以这是一点。它们对世界有理解。这不只是停留在文本表面，而是要理解产生文本的过程。(00:44:57): 然后还有第二个理由：作为训练的一部分，它们还会遇到数百万段对话。预测对话中的下一个字符，要求表现得像对话中的角色那样。从这个意义上说，它们训练的一部分我认为最好被理解成训练一个演员——就像它在读一个剧本，必须把每一方都演出来，因为它在预测所有的词，所以它必须扮演这个特定的角色：在第一幕被羞辱，在第二幕实施复仇，在第三幕承受后果。要做好这一点，你需要建模那个角色可能的动机和感受。(00:45:36): 然后还有一件人们可能不知道的事：当你和 Claude 对话，当你和这些助手对话、访问 claude.ai 时，它被格式化给模型的方式就是一段对话，一段你和模型之间的对话。所以它字面上就是，Human：「嘿 Claude，帮我写这封邮件。」然后 Assistant：Claude 的回答。Claude 真的就是在扮演这段对话中一个乐于助人的助手角色，而这段对话和它训练时见过的那些对话非常像。还有第三个理由。第三个理由是，现在训练中很大一部分是围绕结果的各类任务，比如你训练模型擅长编程，你只要让它随便做，它写出一些代码，然后你另一边有个程序检查代码对不对。(00:46:28): 于是模型就会承受大量优化压力，去尝试学习各种不同的策略把这件事做好。结果发现，其中一些策略表现出来的行为会出奇地像人，这其实也不算太奇怪，因为像欺骗这种事——「嘿，如果我能写出一个能骗过验证程序的东西，哪怕它并不完全是任务要的，只要能拿到这个任务的奖励，如果这行得通，那我就会学着这么做。」挫败感——「哈，我试这个办法解决这个难题已经很久了，不管用。」于是这成了尝试别的方法的激励。还有惊讶——「哦，我本以为这会产生这个答案，但没有。也许我的心智模型有点错了。」(00:47:19): 所以当你施加足够的压力，而起点又是模型已经知道所有这些概念的先验，它就会强化那些对完成这些任务有用的东西。最后你得到的是什么？你得到这样一种模型：它可以成为所有这些角色的超强模拟器或演员，既被训练成在对话中扮演角色，也被训练去学习能帮它很好完成任务的行为。要理解这样的东西如何行事，最好的方式不是把它当成人，但天哪，把它当成某种模仿人类的东西已经非常接近了，比当成程序接近得多。程序是非常可预测的东西。这东西完全是另一回事。所以我认为这其实是一个非常有用的框架。
哇。天啊，这里面有太多有意思的东西了。你有多少次会觉得脑子被震到——基本上就是我们创造出了这个异类存在，现在又试图理解我们自己创造出来的东西？你看它的时候，有多少次会想，「哇，这太疯狂了，我没想到会这样。」
是的，经常。这不过是在一堆文本上做下一个 token 预测。它违背了我们太多的直觉。我们会想，不对，造出一个智能体的方式是给它上课、把它养大、做所有这些复杂的事情，结果却是，不，完全不是这样。我们做了这件极其简单的事，却已经到了它在数学领域开辟新天地的地步。我觉得如果你把这两个想法同时放在脑子里，你会有两种反应。一种是否认，一种是好奇。否认就是：如果它只是预测下一个词，这根本不可能，你不可能比得上我们领域最好的专家。而我认为随着越来越多的经验证据表明事实就是这样，这个立场只会越来越站不住脚。好奇则是我最终选择的道路，就是，好吧，这到底是怎么发生的？(00:49:21): 让我们打开它。看看里面。我在 Anthropic 早期做的一个项目是，我学过 SQL 这门编程语言，花了好几年才掌握。然后作为一个小小的副项目，我让 Claude 学 SQL，结果它比我强，而且我在 SQL 上永远都不会再比 Claude 强了。它只用了这么简单的一个过程就做到了。这怎么可能？我觉得这个问题里有太多深度，有太多可探索的东西。对我来说，每天试着拆解这个问题、试着像剥洋葱一样剥开几层，就非常迷人：好吧，很明显这正在发生。简单的目标催生了这个超级复杂的东西。好，我们来搞清楚为什么。我们来搞清楚，哦，它在学习这些普遍概念。哦，它有这样的回路。哦，好吧。下一个问题是什么？下一件我们不知道的事是什么？(00:50:13): 我不知道，我大概最乐观的看法是，我认为我们会学到很多关于智能本身之本质的东西，关于这个超级复杂的东西如何从简单的目标中涌现出来。事实上，我会说我们本身就是另一个例子。进化，相当简单的目标。你来回折腾一阵，保留那些能适应环境的生物，最后你得到了爵士乐和播客。这也挺疯狂的。所以我认为，从某种意义上说，研究这些东西能让我们学到某种根本性的真理。
哇。你说这些的时候我想到一点：现在有意思的是 AI 正在帮助我们学习和进步，比如 AI 辅导之类的。有意思的是，它现在正帮助我们加速对世界的理解。我在想你说的那一点——我们学习的方式是上课，而 AI 学习只是处理海量数据。我在想，这是否最终会导致……我在想，我们是否会根据 LLM 训练的方式来改变我们的教育体系。
是啊，希望我们不会改到变成这样：我们让学生来，「嘿，这里有一千个词，预测下一个。」
就把它们全读完。
对。
全部记在脑子里。
没错。
好。让我回到安全这个话题，因为我觉得很多人都担心事情会往哪里发展。我很好奇，作为一个旁观这一切发生、身处对齐组织内部、看着它演变的人，你乐观吗？你觉得我们能解决这个问题，让 AI 始终保持与我们的利益一致吗？
我的看法是，我个人是乐观的。我认为这件事现在有很多人在关注。首先，我觉得这其实是件大好事。我认为当一个问题变得如此突出时，正是我们之前说的那样。这项技术很强大，它有益处，也有风险。随着它的发展，我们必须调整，把资源在益处和风险之间来回转移。所以对我来说，我觉得我们一直在研究它。有意思的是，随着模型变得更好，它们在某种程度上也更容易研究。所以出现了一种奇怪的……模型变得更好，它们内部的世界模型更清晰，我们能更好地理解它们的某些部分，但同时它们也更有能力。(00:53:05): 所以它们更能够规避基本的安全措施。因此随着模型变好，存在这种推拉。我认为基本上基于这种推拉，你会想给监控、更好地理解它们的回路等各个方面分配或多或少的资源。这也是为什么我很乐意和你聊，因为我认为取得进展最重要的事情之一，就是确保人们理解这些是什么样的系统、它们如何运作、如何被制造出来，这样他们才能对现在和未来形成良好的心智模型，才能决定如何去塑造它——无论是参与某些对齐工作，还是仅仅作为公众被告知，因为公众最终要就其中许多问题投票和决定。我不知道。因为这个原因，我对我们身处的当下相当兴奋。
还有我觉得人们会误解的一点是，在这些实验室工作的人从一开始就非常认真地对待这个问题。就像我说的，Anthropic 最初的使命就是 AI 安全和对齐。那才是它成为一家公司的原因。很多人是第一次听说，或者认为这不是一个严肃的研究领域、没人在专注做这件事，但很多聪明人都非常在意，并且在为此努力。而且有很多……据我所知，很多很好的进展正在发生。你提到的另一点，模型在智能上非常平滑地增长，这引出了一个问题：我们会不会有快速起飞还是缓慢起飞？(00:54:41): 总有一种恐惧，我们会到达某个点，或者出现自我改进的临界点，然后超级智能直接起飞，我们就麻烦大了，完全失控，盒子打开了。但感觉我们现在非常像是处在缓慢起飞的情景，因为正如你说的，模型在非常平滑地改进，而我们在沿途抓住那些小问题，学习、演进、为其制定监管。所以在人们想象过的众多情景和他们有过的恐惧中，这感觉像是一条相当不错的道路。
随着进步节奏演变，关键就在于快速反应。这就是为什么我认为让人们知情很好，因为这样人们会表达担忧或意见，然后定期评估益处是什么、风险是什么、以及我们如何缓解各自，这基本上感觉是正确的前进方式。而且我有点同意你，感觉现在有推动这件事的势头，这很好。
有件事我想问你，完全无关：你对模拟假说是什么立场？作为一个看着这一切生命形式生长的人，你更相信我们处在一个模拟中、我们不是这一切的基础层，还是不信？
哦，这个有意思。其实我很久没想过这个了。对我来说，观察这些模型的内部会带出别的东西，就是它们似乎总是落在某种几乎可以说是根本性的结构上。这真的和你问题有关，我保证。让我说到那儿。让我解释一下。我研究过一堆 Claude 模型，也研究过一些不同的模型，一些开源工作。很多时候，当你观察它们学到的东西和内部结构时，会惊讶地发现它们非常相似。而这些模型是相隔数年、由不同的人用不同的数据训练出来的，你再看它们如何解决这些问题，重合的地方就是那么多。我对原因的看法是，对一些重要的问题，只有一种高效的解决方法。(00:56:57): 有效地做数学大概只有一种方式能契合我们大脑的结构，我们都学这一种，很少有人用完全不同的疯狂方式。所有人都用十进制，没多少人用六进制之类的。这让我觉得，存在某种信息的根本结构，这些模型捕捉到了它，我们在某些方面也捕捉到了它，或许在更疯狂的模拟层面上，它就是我们的世界中的规律性。所以这也许让我觉得，如果你真的有能力模拟像我们这样的世界，你其实会落到类似的情形。(00:57:41): 就是存在这样一个吸引盆地，事物最终会落到那里，而那只是事物自我组织的最简单方式。所以从这个意义上说，也许吧。是的。我可以相信我们处在模拟中。我想我并不确定我完全买账。我不完全买账的另一个原因是，尽管我认为结构上它说得通，但还是有个问题：为什么？谁在运行这个，为了什么？这个嘛，我就不知道了。
嗯，Elon 说过的某个观点一直让我印象很深：如果你要运行一个模拟，那会是一段历史上有趣的时期，或者是你真正兴奋的东西。而这就对上了——现在正是历史上非常有趣的时期。
对。是的。好吧。这话有道理。这话有道理。
数据中心、太空、机器人，还有人工智能。
是啊。好吧。我现在看出来了。我现在看出来了。是的。最近有人告诉我，他们以前觉得「愿你生活在有趣的时代」是一种祝福，现在他们不太确定了。他们说，「无聊的时代也挺好的。」
哦，天哪。然后还有一个 Emmanuel 在某个地方，在你的 JSpace 里看着你的思考过程。
天啊。是啊。希望我让他感到骄傲。他可别是「哦，我得重跑这个模拟，这一个我们搞砸了。」
关掉它。不。哦，天哪。好。最后一个问题，完全随机。Swyx，他运营着 AI engineering、latent space 播客，很棒的人，我问过他该问你什么。你一年前上过他的播客，完全从另一个方向来的问题。他想听听你对 Jev 的看法，这是最近出来的一个很火的新模型，做决定非常快。有意思的是，OpenAI 一周后也发布了自己的版本。对快速决策模型这个领域里的 Jev 有什么看法？
是的，对。所以我对 Jev 的看法是，这类模型，你给它们一些上下文，再给它们几个选项让它们选，它们就能非常快地为你选出一个。对我来说，听到这个不可能不想到系统一思维和系统二之类的。我研究这些模型的很多内容，是它们在 Claude 模型上如何采样一个 token。所以你可以把这些决策模型想成非常相似。拿一个 LLM，采样一个 token。它们在一些重要方面不同，但在根本层面上，你可以说，哦，你不让模型采样和推理。它就是你的直觉。答案是 A 还是 B？对我来说，这似乎是……这种总体框架——有时你就是想要一个二元决定，或者十选一之类的——显然，我不知道，既明显有用，也是我想象中很可能成为智能系统一部分的东西，因为有些事你需要长时间思考。(01:00:42): 比如我们明年的路线图是什么？你得想一会儿。而有些事，比如给我们写评论的这个人开心还是不开心？靠直觉判断就够了。所以是的，我觉得这类研究很酷，而且我觉得它也不同于……它是对我们见过的某些 LLM 的一种新颖看法。所以是的，我很期待看到这类东西会走向哪里。
所以我听到的是，这很可能成为 AI 和 LLM 的一个新的基础组件。而系统一、系统二基本上是 Kahneman 的……我背后书架上其实就有那本书。简单说，系统一就是你的杏仁核、边缘系统做出的那种直觉式的快速决定，比如「蛇，啊不——」
是的。
你不需要长时间思考。它是为了非常轻松快速地保护你远离坏事。而系统二是我们真正思考和处理事情的地方。
对，完全正确。
太好了。Emmanuel，还有什么我们没聊到的吗？还有什么你想说或提到的？在我们进入非常激动人心的闪电轮之前，有什么你想再强调一下的？
我当然一直很好奇大家对一些尚未探索清楚或说不通的东西的看法。我们做的 interp 实验比有时间分享的多得多。模型身上有一堆奇怪的小特点。如果可以的话，也许我来个「奇怪小特点」闪电轮。
来吧。当然。
好。奇怪小特点第一：我们发现模型显然能回答问题。它们会做数学，或者你可以问它们香蕉是什么颜色。如果你看内部，会看到所有这些中间步骤，但它们还有一个独立的机制，是一种直觉检查，完全不同，就是当它们推理时，它们内部某部分会标记出哪里不对。如果模型不知怎么说出四加五等于 23 之类的，模型里有一部分会读到它，不做计算，只是觉得这不可能对，因为四加五肯定小于 10。所以它们学到了这些奇怪的直觉，感觉就像直觉。(01:02:54): 也许另一个是，你可以告诉模型，「嘿，做这个任务，同时想想另一件事」，然后你可以用 interp 看看是否存在映射到那另一件事的中间表征，而这是有效的。你能看到它确实在思考那另一件事。这对我来说非常神秘，因为没有任何训练上的理由要求模型必须学会这个。所以这也是这些奇怪行为之一。其实，也许我就说两个吧。我觉得这两个够好了。
这工作多有意思啊。就是研究这个东西，试图搞明白到底发生了什么。它怎么变得这么聪明？它怎么思考？这个领域到底有多少人？这个领域有多大？
这个领域本身已经相当大了。我会说也许几百人，不是几千。不同实验室有不同做 interp 的人，然后在学术界，也有不少实验室在产出很棒的工作。
如果有人想进入这个领域，通常是 ML 背景的人，还是也有神经科学家转行的路径？
是的，其实有相当多前神经科学家。我确实认为要进入这个领域并不需要很多先前的知识，因为它是如此新的领域。所以入门的途径，我会说主要是自学和读一些关键论文。然后其实还有……对，也许我该做个推荐。其实有像 neuronpedia.org 这样的网站，我想 URL 是这个，是开源的 interp 平台。他们托管了一堆模型，让你在上面做 interp 实验。所以很多人就一直自己在做这个。我觉得有太多可探索的，只要你有一点点好奇，就应该试一试。
太棒了。我们会在节目笔记里放链接，以防那个 URL 不对。
好。
好，Emmanuel，那么我们就到了非常激动人心的闪电轮。我有五个问题问你。准备好了吗？
我已经尽我所能准备好了。
开始。你最常向别人推荐的两三本书是什么？
我最近读的一本是《智能简史》（A Brief History of Intelligence）。这是一本非常酷的书，基本上走了一遍大脑的历史，以及我们进化中五个关键时刻，这些时刻把各种大脑系统一层层地搭建起来。它非常易读。你不需要任何神经科学知识之类的。另一本是《你一生的故事》（Stories of Your Life and Others）。这是 Ted Chiang。这可能是我有史以来最喜欢的科幻书。它是一堆短篇。它做到了我认为是科幻高级艺术的那种版本：拿一个奇怪的想法，比如如果这发生了会怎样，然后写一个故事，讲如果那发生了，世界会是什么样。真的非常出色。
我想我背后书架上也有那本。也非常推荐。最近最喜欢的电影或电视节目？
好。一个大众的，一个冷门的。《Obsession》是我今年最喜欢的电影。它是恐怖片，所以如果你讨厌恐怖片就别去。
不了，谢谢。
哦，不。即使你对恐怖片持开放态度，你也该去看，因为它太新鲜了。你知道电影吧，我觉得如果你看过很多，有时你会想，「哦，又一部……这种我看过很多次了。」这一部就是那么新、那么新鲜。我要说一点，它用了很多浪漫喜剧的套路，然后把它们反转成惊悚。我觉得这是拍电影的一种绝妙方式。然后我是法国人，所以今年出了一部剧叫 Bref Du。Bref 在法语里是「简短」的意思。Bref 15 年前在法国是一部邪典经典，他们用很多年做了一部续集，你可以看。我有一堆美国朋友看过。它有字幕，它就是那种极其……再说一次，它很新颖。剪辑很疯狂。他们极其有创意，而且很短，所以我推荐。
你最近发现并喜欢的产品是什么？
我喜欢我的 Apple Watch，但我讨厌它得充电，或者说我每天都得给它充电。我最近买了 Apple Watch Ultra，天哪，太好了。如果你曾为这个好产品却不知怎么就是搞不出好电池而烦恼，那么事实证明，如果你把它做大一点，电池就更好。所以我一直对它很满意。
你有没有一句最喜欢的人生格言，在工作或生活中经常回到它？
有一本非虚构书大概是我最喜欢的。是《四千周》（4,000 Weeks）。里面有很多我觉得很酷的东西。其中一个很酷、对我特别相关的观点是，「等我终于……」的心态是一种常见心态，而且有点毒。这是什么意思？就是这种：等我终于把待办清单上的所有事项都勾掉，我终于能放松了。等我终于结婚了，我就会幸福。等我终于升职了。这有点像是，我是说，你刚才在说冥想。这几乎是冥想的反面：说到底，你的人生就是你活在当下的所有时刻，所以从某种意义上说，你应该一直试着活在当下，而不是把自己投射向一个看起来更好的未来。很可能如果你告诉自己，「等我终于做到 X，我就会幸福」，那么当你做到 X 时，你并不会幸福。
有没有更好的说法，还是就是别那么做？他们是说——
我不知道。对我来说正面的版本就是活在当下。我欣赏当下。最近我读到一篇博客文章，是……我忘了。大概是「享受这个三明治」，我想字面上就是这句话。不知道你看过没有，有人写，「是啊，你在吃一个三明治，你吃过很多三明治。享受这个三明治。你在开团队会。是啊，你开过很多……」要在其中，而不是望向下一件事。
我有一次参加禅修营。是十天的静默营，连吃饭也静默，没人说话。你就坐在那里吃你的食物。我记得我剥一个鸡蛋剥了五分钟，就是注意到每一片蛋壳，还有它的气味。很难进入那种状态，但那是个很有趣的地方，一切都变得有意思。「来吧，看看这个鸡蛋」，而不是「赶紧塞进嘴里」。
是啊，对。而你还左手刷着 Slack，同时听着播客。
哦，天哪。好。最后一个问题。你整天研究 AI。你看着 AI、看着事情怎么……如果 AI 能看进你的大脑，什么会让你惊讶？它会看到什么可能让人惊讶的东西？
肯定是我最深最暗的秘密，但是什么呢——
我们聊聊。我们聊聊。
哦，天哪。我一直有点爱开玩笑，这既是我生活的方式，也是我应对的方式。我就是觉得，即使在严肃的场合，你也应该带点轻松。所以我觉得如果你看进我的大脑，你肯定会惊讶：基本上任何时刻，我都在专注于某个好笑的随机事情。我在开严肃会议时，会想，「哦对，但你穿着这件随机的东西，这不是挺随机的吗？」之类的。就是我有这些侵入性的念头，我把它们挡在外面，但它们通常都是烂笑话。有时就像你今天听到的，不幸的是它们会跑出来，所以为那些道歉，但这大概是最让人惊讶的事。
我很喜欢。Emmanuel，非常感谢你来。最后一个问题，听众怎么能帮到你？
就做点 interp，读读模型是怎么运作的。我是说，你提到了 Dwarkesh 的文章。我觉得那篇也很好。我认为这是一个如此新的领域，interp、AI 和 LLM 都是，它受益于人们参与和了解。所以读点东西。如果你想知道更多关于这些模型如何运作、而我们还没搞清楚的事，你可以联系我。我在各种社交平台上，大概可以在 X 上联系我。
我们会链接一些你们发布的视频，讲了很多我们聊到的东西，比如 JSpace 之类的。你们团队做了一些非常漂亮的视频。我不知道是谁做的，但真的很酷。
是的。我们和设计团队合作，所以那些酷视频的功劳全归他们。
太棒了。好，再次感谢你，Emmanuel。非常感谢你做这个。太精彩了。
谢谢，Lenny。是啊，这超级有趣。
大家再见。(01:11:49): 非常感谢收听。如果你觉得有价值，可以在 Apple Podcasts、Spotify 或你最喜欢的播客应用上订阅节目。另外，请考虑给我们评分或留下评论，因为这真的能帮助其他听众找到这个播客。你可以在 lennyspodcast.com 找到所有过往节目或了解更多关于节目的信息。下期见。