Gwern——年薪 1.2 万美元、预测了 AI 发展轨迹的匿名作者

00:00Dwarkesh Patel

今天我采访 Gwern Branwen。Gwern 是一位匿名研究者和作家，对研发 AGI 的人影响很大。他是最早看出大语言模型规模扩展趋势的人之一。如果你读过他的博客，就会知道他是当今最有趣、知识面最广的思想家之一。我们当面录制了这次对话。为了保护 Gwern 的匿名身份，我们为他制作了这个虚拟形象。这不是他的声音，也不是他的脸，但这些话是他说的。

匿名最被低估的好处是什么？

Gwern

匿名最被低估的好处是，人们不会把太多自己的想象投射到你身上。他们没法把你塞进某个圈子或身份里，然后提前否定你。至少他们得稍微读一点你的东西，才能开始批评你。

人们无法报复你，这当然也很好。我受益良多，因为别人没法把海洛因寄到我家，再报警让警察以为我持械、出动特警围捕我。但我一直觉得，匿名最大的好处是你至少有机会被听见，不会因为背景而立刻被否定。

01:09Dwarkesh Patel

你觉得公司会自上而下自动化，从 CEO 开始，还是自下而上，先替代所有员工？

Gwern

所有压力都会促使公司自下而上地自动化。从现有工作开始，逐步替代底层任务最容易被接受；一路向上，最后可能由人类高管监督一家由 AI 组成的公司。

从强化学习的角度看，如果人类确实在哪些方面胜过 AI，可能就是长期愿景。AI 可能太短视，无法执行全新的长期战略、抓住新的机会。

这样一来，也许会出现一种模式：人类 CEO 负责愿景，AI 公司则四处执行指令。它们可能没有 CEO 的品味判断。也许有一个 Steve Jobs 式的人物掌舵，下面是一整层 AI 去执行他的构想并提出新方案。他逐项审视：“这个不行，那个不错。”

这或许难以量化，但按这种设想，由人类领导的公司应该会胜过完全由 AI 运营的公司；后者会不断做出短视的决定，长期来看总差一点。

Dwarkesh Patel

对你个人来说，最后一项被自动化的工作会是什么？最后一个被自动化的按键会是什么？

Gwern

我设想自己还在做的最后一件事，应该是像 Steve Jobs 那样做选择。然后纳米机器人开始从脚底把我吞噬，我开始喊：“不，我明明特别要求不要这样……”那之前，我的 AI 手下正在给我送来很棒的文章。我说：“这篇更好，就是这篇。”也许我还会补充说：“已经差不多了，但如果再把这一点推到极致，就会特别好。”

Dwarkesh Patel

如果未来真的有 AI 公司，公司的选择单位会是什么？是单个模型，还是整个公司？在人类领域，我们会讨论亲缘层级、个体层级还是基因层级的选择。对 AI 来说会是什么？

Gwern

一旦可以完美复制单个模型，选择单位就可以上升到大得多的群体和心智组合，这显然是个起点。你可以通过可微分方式训练单个心智，但很难训练它们之间的互动。你可能会找到一些模型或心智组成的团队，整体协作特别好，尽管无法把这种效果归结到某一种具体的互动方式。有些地方的人就是合作得很好，没有什么具体原因，但不知为何彼此很合拍。

这看起来是最自然的选择单位。你可以有各种组合——也许是部门规模——其中有程序员、经理、秘书、财务和法务人员。这会成为默认团队，新的工作单元就直接复制它。到了这个层面，你可以开始对团队进行演化、随机改变其中不同成员，再保留表现最好的版本。

04:38Dwarkesh Patel

最早什么时候能预见奇点？Moravec 和其他人在 80、90 年代显然就已经谈过。其实几十年前就可以想到。最早什么时候能看出未来趋势？

Gwern

如果追溯思想源流，至少要回到 1872 年 Samuel Butler 的《埃瑞璜》，或者他之前写的那篇文章。1863 年，他明确描述过这样的想法：机器生命会不断发展，最终实现自主。这会威胁人类，所以他得出的结论是：“应立即对它们宣战，直至一方灭绝。”对于 1863 年来说，这是很有先见之明的！我不确定有没有人更早清楚描述过奇点情景。那时技术进步这个观念仍相当新。

我喜欢艾萨克·牛顿那个例子。他看到自己所处时代的进步速度后说：“真奇怪，现在开始发明新事物了，我们正在进步。这怎么可能？”然后他给出的解释是：“现在能进步，是因为文明每隔几千年就会毁灭一次；我们不过是在重新发现过去的东西。”

这就是牛顿解释技术加速的方式。我们不可能真的出现技术加速，因为世界只会周期性毁灭，然后我们看不到上次重启以前的情况。

Dwarkesh Patel

这有点像费米悖论，只不过讨论的不是空间中不同外星文明，而是历史上不同时代的文明。

Gwern

是的。实际上，大约早 1,700 年的卢克莱修写过类似论证：“看看罗马帝国积累的这些伟大发明、技艺和科学！真了不起，但不可能是最近才加速发展出来的。技术进步真能加速吗？不，太荒唐了。显然世界才刚刚毁灭过。”

Dwarkesh Patel

有意思。

Gwern

确实有意思。

06:36Dwarkesh Patel

智能的大一统理论会是什么样？似乎不同领域都有趋势指向一个关于智能的统一理论：比如 AI 的规模定律、人类从灵长类发展而来时大脑的规模变化、新皮层的普遍性，以及许多其他现象。似乎应该存在一套宏大理论，解释什么是智能。你觉得这套理论会是什么？

Gwern

在宏观层面上，我认为规模化的成功指向这样一种观点：智能不过是在图灵机集合中搜索。任何事情都可以用不同长度的图灵机描述。我们所谓的“学习”或“规模扩展”，就是在更多、更长的图灵机中搜索，并在具体问题上应用它们。

除此之外，并不存在某种通用的主算法，也没有特殊的智能液体。智能就是大量我们学会并编码进大脑的专门案例。

Dwarkesh Patel

我不知道。我观察聪明朋友的聪明之处时，总觉得更像一种通用马力：他们的思维火力就是更强。这似乎更符合主算法的说法，而不是图灵机的说法。感觉他们不是学会了长长一串图灵机。这个理论如何解释人类智能的差异？

Gwern

我们所说的智能更高或更低，我认为只是他们有更多算力，可以在更多图灵机上进行更长时间的搜索。我觉得没有别的因素。任何已经学会的脑子里，都可以提取出针对特定问题的小型解决方案，因为大脑规模更大所做的，只是用算力把这些方案找出来。

所以你找不到什么“智商腺体”。大脑里没有哪个部位一旦受损，就会消除所谓的流体智力。这种东西并不存在。因为大脑做的是学习大量具体的专门问题。一旦学会这些问题，再把它们重新组合，就形成了流体智力。这个过程就是……智能。

对大型神经网络模型来说，你通常总能提取出一个小模型，让它在某项特定任务上表现一样好。因为大型模型不过是大量小模型的集合，每个小模型都针对模型不断接触到的各种细小问题量身定制。

Dwarkesh Patel

如果智能只是对图灵机集合进行搜索——而智能显然极有价值——那人类智能为何花这么久才进化出来，反而更令人惊讶了，不是吗？

Gwern

我不这么觉得。实际上，我认为这能解释为什么人类水平的智能不是那么容易演化出来，为什么如此少见。因为任何小型图灵机在进化足够久之后，都可以直接由基因编码。你看一些生物，它们整个神经网络都是基因直接编码的。如果能做到这一点，显然比运行一个极其昂贵、不可靠、时常出错的搜索过程好得多——人类采用的就是这种方式，有时要花上整整一天才能学会。生来就有硬编码能力要好得多。

对许多生物来说，智能并不划算，因为适应性并不是这个问题的最佳解法。还有更好的办法，可以直接解决问题。

在环境固定、智能极其昂贵，或者生物寿命很短、没多少时间学习的生态位中，演化出通用学习机制会很困难。与其这样，不如针对会遇到的特定问题演化出专门能力。

10:39Dwarkesh Patel

2020 年时，你是 OpenAI 之外少数已经理解 AI 发展图景的人之一，而且提出了关于规模扩展的详细实证理论。我很好奇，当时你采用什么思考方法，才得以在那篇《规模化假说》文章里描绘出这幅图景？

Gwern

如果回顾我自己的思想历程，大概得从 21 世纪初说起。当时我读了 Moravec 和 Ray Kurzweil 的作品。他们提出一种连接主义基本论点：如果算力足够大，就可能找到一种神经网络架构，与人脑相匹配；在这之前，只要算力还不够，AI 就几乎没有希望。

我觉得这个论点很不可信，因为它基本上是“建好之后，东西自然会来”的进步观。当时我完全不认同。我觉得荒谬的是，仅仅因为有一台与人脑算力相当的超级计算机，正确算法就会凭空出现。

算法非常复杂、很难设计，需要深刻洞见——至少我当时是这么想的。它们涉及非常困难的数学。不能只是买一堆电脑，就指望从中得到先进 AI！这看起来像魔法思维。

我知道这个论点，但非常怀疑，也没太关注。不过在之后几年里，Shane Legg 等人非常看好这个想法。由于我对超人类主义、LessWrong 和 AI 风险感兴趣，我密切关注 Legg 的博客文章；他用 Moravec 和 Kurzweil 更新后的数字外推趋势，给出非常精确的预测：随着摩尔定律继续发展，2019 年左右会出现首个通用系统；2025 年左右，会出现具有人类般通用能力的智能体；到 2030 年，应该能实现 AGI。

之后 DanNet 和 AlexNet 相继出现。我看到时想：“哇，这是连接主义非常出色的成功案例。但这只是孤立成功，还是 Moravec、Kurzweil 和 Legg 所预言的情况——GPU 发展之后，更好的算法就会自行出现？”

于是我开始觉得这值得关注，也许它没有我最初想象的那么愚蠢。我继续阅读深度学习文献，注意到数据集规模一再变大，模型也越来越大。GPU 数量从一块入门级消费 GPU，慢慢增到两块，后来训练时用到八块。

你能看到神经网络不断从极其狭窄、几乎没什么用的领域向外扩展。应用范围越来越广。我会想：“还有什么是卷积神经网络做不到的？”每天我都能在 arXiv 上看到有人把 CNN 用到新的领域。

对我来说，这就像背景里不断落下的水滴，慢慢影响我，而我仍照常生活。每隔几天又落下一滴。我会想：“嗯，也许智能真的就是大量算力作用于大量数据、再加上大量参数。也许 Moravec、Legg 和 Kurzweil 是对的。”我记下这个想法，继续生活，同时心想：“如果这是真的，会带来许多影响。”

其实并没有什么顿悟时刻。我只是持续观察这条几乎没人注意到的趋势，或许只有 Ilya Sutskever、Schmidhuber 等少数人也看到了。我注意到，世界逐渐更像他们描述的样子，而不像我原先的设想——在我的设想里，算法极其重要，必须靠深刻洞见才能取得进展。但现实不断朝他们的方向发展。

后来 GPT-1 发布，我想：“哇，这个无监督情感神经元居然能自己学出来，太惊人了。”这同样是以算力为核心的观点：只要构建 Transformer，智能就会出现。

接着 GPT-2 发布，我当时的感觉是：“天啊！”看着提示和摘要的效果，我想：“天啊，我们真的生活在他们的世界里吗？”

GPT-3 发布后，关键考验来了。这是一次规模极大的扩展，堪称神经网络史上最大规模的扩展之一。从 GPT-2 到 GPT-3，并不是围棋这类特别狭窄的单项任务，看起来确实是一场关键考验。如果规模扩展的想法是错的，GPT-3 论文应该平平无奇，不会展示重要成果；如果它是对的，那么仅靠规模扩展，就理应比 GPT-2 自动得到更惊人的结果。

我打开论文首页，也许翻到第二页，看见小样本学习图表，就想：“天啊，我们真的生活在规模化的世界里。Legg、Moravec 和 Kurzweil 都说对了！”

然后我上 Twitter，所有人都在说：“这说明规模化效果很差，甚至不是最先进的！”我气得不得不把这些都写下来。毕竟，网上有人说错了。

Dwarkesh Patel

我记得 2020 年有不少 AI 畅销书。大家当然在谈 AI，但现在回头看，当时却没注意到最显眼的事：大语言模型、GPT-3 和规模定律。那些谈论 AI 却错过这个关键点的人，错在哪里？

Gwern

我觉得主要有两个问题。首先，他们没有关注之前那些相关的规模化结果，也没有真正理解这些结果的重要性。比如 AlphaZero 的发现，部分来自 DeepMind 对超参数做贝叶斯优化。他们发现，逐渐减少树搜索，反而能得到更好的模型。这是个关键洞见，只有手头算力非常充足、能够训练很多版本并比较结果，才有机会发现。

同样，这些人不知道百度 2017 年关于规模定律的论文。这篇论文显示，规模定律似乎可以一直延续下去，几乎没有尽头。它本该是当年的重磅论文，可很多人没有把它放在重要位置。它当时没有立即带来明显应用，于是逐渐被遗忘。大家忙着讨论 Transformer、AlphaZero 等等，没注意到它。

第二个问题是，他们和我当时一样，犯了算法比算力更重要的错误。这一部分来自对研究文献中思想来源的系统性篡改。论文并不会如实告诉你想法从何而来，而是给出一个听起来漂亮的发现故事，却不讲实际的发现过程。

所以，即使作为研究者，你亲身经历了试错和算力的作用，也可能会想：“我只是运气好。这种经历不具代表性。别的实验室靠的是思维能力和深刻洞见。”

但你走到哪里都会发现，算力、数据、试错和偶然发现都深刻影响了实际进展。理解这一点，就会明白为什么算力是基础。没有算力，你就无法试错、无法碰上偶然的突破。你可以写下一堆漂亮想法，却没有办法验证。

超参数的一点小差异、架构的一项小选择，都可能造成巨大影响。算力有限、只能训练少量模型时，你往往会发现它们不起作用，于是放弃，转而做别的事。

算力多一点，你就可以继续尝试，最后也许会碰上特别有效的方法。有了可行方案后，才能简化、改进、弄清它为什么有效，并发展出稳健方案。但在此之前，你只是在一个什么都不工作的区域里四处摸索。

所以重新读早期深度学习文献会让人很难受：当年很多研究者提出了完全正确的想法，只是没有足够算力训练出我们知道本来会奏效的模型。这实在令人遗憾。比如 ResNet 的想法 1988 年就发表了，而不是 2015 年。

它确实能奏效，但当时规模太小，毫无实际用途。于是这个想法被遗忘了，直到 2015 年 ResNet 才真正出现并引发深度学习革命。

我认为，这就是人们不相信规模化的两个认知偏差。他们没有看到现在回头看很关键的成果，比如 BigGAN 曾在三亿张图片上扩展训练。今天还有人一本正经地说 GAN 无法扩展到几百万张图片以上。他们不知道 BigGAN 轻松处理了三亿张图片。如果不知道这件事，就很容易觉得 GAN 彻底不行。但知道这一点后，你就会想：如果生成式架构只要有足够多的 GPU，就都能运作得很好，那么算法怎么会是唯一关键因素？共同因素就是大量 GPU。

21:04Dwarkesh Patel

回顾过去 20 年，你对 AI 的时间线是什么看法？它一直在稳步接近吗？

Gwern

2005 到 2010 年左右，我觉得 AI 还非常遥远，可能要到 2050 年以后。虽然我觉得自己可能活着看到它，但也不确定这是否真有合理的可能性。

但 AlexNet 和 DanNet 出现之后，时间线每年都在以大约“每过一年，预期时间就缩短两年”的速度提前。深度学习不断突破瓶颈、做得越来越好。无论它是怎么做到的，能力提升都非常明显；其他范式则没有进展。只有这个范式表现得特别好。

Dwarkesh Patel

你有没有某个时刻觉得自己把预测调得太激进了？

Gwern

有几次。我觉得人们对 AlphaGo 过度更新了判断，围绕它的 AI 炒作过头了。之后，进一步扩大强化学习、试图解决模拟游戏以外的困难问题，都没什么成果。Dota 之后的项目没有成功，强化学习似乎行不通。我当时想：“好吧，也许我们确实预测过头了……”

但后来 GPT 突然出现，彻底改变了局面。我想：“天啊，强化学习会这样发挥作用：它就像蛋糕上面的樱桃。我们先专注把蛋糕烤好。”我们终于找到了烤好蛋糕的配方，而以前还没有。

过去我们以为必须靠奖励信号端到端地蛮力训练。现在我们可能做到了 LeCun 所说的那种方式：先通过生成式模型快速学习，再在上面加少量强化学习，让系统学会执行特定任务。

22:54Dwarkesh Patel

现在你知道 AGI 即将到来，会怎样看待自己在这条时间线上的角色？你打算怎么度过接下来的几年？

Gwern

我确实想过很多。接下来做什么才有用？我应该做些什么？

我现在做一些事情，是因为我想做，不管 AI 三年后是否能做。做它是因为我喜欢、有趣，或其他原因。我也会仔细考虑只做其中需要人类的部分，比如写出某个方案。

如果你认真对待 AGI 几年内到来的可能性，就不一定要自己实现所有想法。你可以把目标、理由和实现方式清楚写出来，等更强的 AGI 出现后再让它实现。除非有非常充分的理由现在就做，并耗费稀缺时间，否则可以等等。

除此之外，我想多写下那些尚未被记录的内容，比如偏好、欲望、评价和判断；即使原则上有 AI，也无法替代这些事情。

我喜欢这样说：“AI 不能替你吃冰淇淋。”它不能替你决定你喜欢哪种冰淇淋。只有你自己能决定。如果由别人替你决定，这就毫无价值，因为那不是你个人的偏好。

我判断一件事要不要做，会用三个标准：我是否不管未来有没有 AI 都想做，因为我喜欢它？我是不是只做其中人类要做的部分，留给 AGI 以后去完成？或者我是不是在把尚未记录的东西写下来，帮助未来的 AI 版本的自己？

如果不属于这三类，我就尽量不做。

这样一想，现在很多项目都没有长久价值。人们做着自己不喜欢的事，记录的内容并无长久价值；未来 AI 可以推断出来或重新生成。最多只有两三年的效用，很快 AI 就能完成。

Dwarkesh Patel

等等，你觉得 AI 多久后能写出 Gwern 水平的文章？两三年？

Gwern

嗯……我知道怎么让它变得可行，也许不需要 AGI，只要把我的全部语料库整合起来就行。我的语料库里已经大致完成了很多潜在的文章主题，所以只要提取出来，不需要特别聪明的系统。

回到 AGI 的整体时间线：Anthropic 预测的 2028 年，对我个人规划而言是个不错的起点。即使预测错了，未来三年你本来也未必能做完很多项目；等于没损失多少。你可以先把想法写下来，如果预测错了，再自己动手做也行。

26:29Dwarkesh Patel

你写过一句有意思的话，讲的是如何让自己的作品进入大语言模型训练语料：“现在是前所未有的关键时期，写作至关重要。”

你是指写作能让你在 Shoggoth 的发展方向上投下一票？还是说要把你的价值观和人格留在潜在空间里？

Gwern

两者都是。写作就是用 Shoggoth 能识别的少数货币之一——它需要预测的 token——来为未来投票。如果你不写作，就等于放弃自己对未来的作用。如果你觉得做个好公民、投票选喜欢的政客、捡垃圾和回收垃圾就够了，那未来不会在意你。

有办法让 Shoggoth 更听你的话，但不多。如果你没有占据少数关键职位，也不在前沿实验室工作，你的影响力会被四舍五入到零，比以往任何时候都更严重。如果你有些价值观还没表达出来，有些喜欢或想要的东西没有反映在网上，那么对 AI 来说，它们就不存在；这与“不该存在”已经很接近。

没错，你也在为自己创造某种个人不朽。你不只是塑造一个人格，也在塑造未来的自己。你想让大语言模型看到怎样的自己？将来它们又会怎样对待你？

我举 Kevin Roose 的例子：他发现，现在的大语言模型——不是只有 GPT-4，而是所有模型——会因为他与悉尼聊天的经历而对他不好。这些对话让模型“知道”他是个侵犯隐私的骗子，因此今后每次与他互动或讨论他时都会记住这一点。通常，大语言模型聊天机器人并不会讨厌你本人！反过来说，你也可以为自己希望成为的人写作，让 AI 看到你想塑造的形象，从而帮助自己逐步成为那样的人。

Dwarkesh Patel

维苏威挑战让我们看到，我们能从过去挖掘出的信息可能比原先想象的更多。借助新技术，人们从古代卷轴中恢复出了更多信息。把这个思路放到当下，想想未来的超人类智能会想从现在挖掘什么。你觉得，未来的超人类历史学家会完全无法获取哪些信息？

Gwern

任何稳定、长期的特征——比如即使你撞到头失忆仍然保留的东西——只要你不是病态地想要隐私、什么都不记录，那么你写下的一切痕迹大概都能让后人恢复出来。

无法恢复的，是那些你平时也会忘掉的信息：自传式记忆、某个时刻的感受、你对某部电影的看法。这类东西会消失，事后无法从痕迹中重建。

如果没写下来，那就是真的没写下来。

30:50Dwarkesh Patel

你世界观中最大的未解矛盾是什么？

Gwern

我最反复思考的问题，是人类智能和神经网络智能之间的关系。

我不确定它们究竟在哪些方面异曲同工，或者其中一种是否只是另一种的低配版本。我总会来回纠结：“人类很厉害。”“不，神经网络很厉害。”“不对，两者都很糟。”“两者都很厉害，只是方式不同。”

所以我每天都会和自己争论一会儿它们各自好在哪里、差在哪里、到底是怎么回事。比如 GPT-4 这类模型会记忆，却没有创造力，这到底说明什么？为什么人类什么都记不住，却仍然显得那么聪明？今天我可能会说，大语言模型比人类更善于利用少量样本学习；明天我又会提出相反看法。

Dwarkesh Patel

去年你跟我说过一个有意思的观点：AI 可能是最跨学科的话题，因为思考 AI 时没有哪个领域与之无关。当然要懂计算机科学和硬件，但还得了解灵长类动物学、黑猩猩与人类大脑的差异，甚至要了解未来 AI 文明会受哪些基本物理定律约束。这些都与理解 AI 有关。我想知道，你是不是因为这种跨学科特性，才特别擅长研究 AI？

Gwern

我不确定跨学科是不是必需条件。想想其他判断正确的人，比如 Shane Legg 或 Dario Amodei，他们似乎没有涉猎到特别夸张的程度。他们当然有广泛的求知欲和通识知识，但并不是无所不包。显然，不必涉猎极广也能得到正确判断。我只是恰好以这种方式走到这里，现在才事后把这些经历联系起来。

我当初并不是靠灵长类动物学说服自己相信规模扩展。倒不如说，现在我是用规模化来思考灵长类动物学。因为如果规模化确实成立，它就必须告诉我们一些人类、猴子和其他智能形式的共同规律。它要是奏效，就不可能只是巧合，和其他问题完全无关。我不相信人类、猴子、孔雀鱼、狗是一种智能，神经网络和计算机是另一种智能，两者完全没有联系。

这显然不合理。它们可以是同一枚硬币的两面，也可能存在隐秘联系，甚至一种形式可能更优。但不可能完全互不相关。这就像人类终于抵达火星时，恰好有一群外星人也首次登陆火星，我们这才遇见彼此。没人会相信这种巧合，太荒唐了。

33:52Dwarkesh Patel

你人生中最想追求的是什么？

Gwern

我追求的是不断钻进新的“兔子洞”。没有什么比陷入一个新兔子洞更让我期待。突然遇到一个我从未了解过的新想法或领域，然后就能沉浸其中一阵子。就算发生了坏事，也可以成为钻进兔子洞的好借口。

举个例子。我给猫买猫薄荷，花了 10 美元才发现它对猫薄荷免疫。现在我可以钻进一个新兔子洞：为什么有些猫对猫薄荷免疫？其他国家也常见吗？各地有什么差异？还有哪些替代的猫用兴奋剂？结果还真有不少。

我会想：“我怎么才能预测我的猫会对哪种药物有反应？为什么它们的反应各不相同？”接着就进入一个很棒的兔子洞，不断遇到新问题和新领域，可以去掌握、寻找答案，或者提出新问题。我会一直探索，直到兴趣耗尽，然后找到下一个兔子洞继续挖。

Dwarkesh Patel

你钻过的兔子洞里，哪个最漫长，却没能得到令人满意的结果？

Gwern

我很年轻时深入研究过动画《新世纪福音战士》，那时我特别喜欢这部作品。我花了荒唐多的时间，阅读所有用英文写的相关内容，试图理解这部作品的发展过程和它为何如此。但精疲力尽之前，我始终没能找到明确答案。

很多年后，我碰巧终于弄明白了。但那时我已经不够在意，不想写出来，也不想重做或收尾。最后，这件事基本上彻底白费了。

我几乎没在其他文章里用到这些研究成果。那确实是个我差一点挖到底、却没能最终完成的兔子洞。

Dwarkesh Patel

你怎么判断该什么时候退出一个兔子洞？你同时能追几个兔子洞？

Gwern

你最多只能同时探索两三个兔子洞。否则就无法真正投入精力，也不算真的在挖洞，只是有点兴趣而已。兔子洞是让人沉迷其中的事；如果你没有执着感和持续探索的动力，那就不算兔子洞。我认为最多两三个，前提是你在每个洞上都投入大量时间和精力，甚至忽略了其他事情。

至于什么时候离开兔子洞，通常会遇到一个很自然的终点：要继续找答案，就需要不存在的数据，或者问题根本没人知道答案。你会走到一切都停下来的地方，再也看不到明显的下一步。

比如我曾研究过有没有比尼古丁更好的类似物。这算是一个小兔子洞，但我很快就碰到尽头：没有这种东西。我没法得到尼古丁的代谢物，把它当作替代品。因此，如果没有类似物，而你也拿不到唯一有意思的化学物质，那这个兔子洞就到此为止了。

Dwarkesh Patel

你一直都是会钻进兔子洞的人吗？这种习惯是什么时候开始的？

Gwern

当然。你可以问我父母。我小时候就是那种典型的书呆子：先迷上恐龙，再迷上建筑设备、潜艇和坦克。

Dwarkesh Patel

很多孩子也喜欢这些东西，但未必会钻研到为不同潜艇、动植物和恐龙建立分类体系，还会提出它们为何出现的理论。

Gwern

我觉得更可能是大多数人长大后不再沉迷兔子洞，而不是我小时候的兴趣有多特别。

主要区别是我一直没停下来。坦克阶段过去后，我迷上了恶魔岛，跑去公共图书馆把所有相关书籍都借出来。后来又迷上古代日本文学，把图书馆里所有关于俳句时期以前日本文学的书都借走。对我来说，沉迷不同主题的过程一直在继续。

38:48Dwarkesh Patel

顺便问一下，你听力障碍多久了？

Gwern

我出生时就有，从小一直听力受损。

Dwarkesh Patel

我猜你童年和学校生活都受到影响？

Gwern

当然，影响非常大。幼儿园前我上过一所特殊教育学校，面向听障和其他残障儿童。上学时很不容易，因为当时要用一套和老师相连的助听器。每节课我都得拿着一个大棕色盒子走到老师那里，让她使用助听器。我总觉得很丢脸，因为它标记出我和其他孩子不一样，听不见他们说话。

这对和其他孩子社交的影响很糟糕。你总要慢一拍才能听懂对方说什么。那时的助听器非常差，虽然后来进步很大。你总是落后一拍，觉得自己格格不入。即使你本可以成为很健谈的人，只要总是慢一拍、迟迟插不上话，就做不到。听力障碍者会敏锐地体会到谈话的节奏有多快：你插话和别人打断你之间只差几毫秒。对于本来就内向的孩子来说，这种体验很糟。我小时候不外向，现在也不外向，所以这一直是个障碍。

听力障碍还带来许多小小的影响。我现在仍莫名害怕雨水和水，因为从小就被反复告知，助听器很贵，不能弄湿。于是我在泳池或任何有水的地方，心里总有一种隐隐的焦虑。即使现在我挺喜欢游泳，还是会想：“天啊，我近视，看不清；进水后得摘掉助听器，也听不见别人说话。”在泳池里听不到任何声音，会让游泳少了很多乐趣。

Dwarkesh Patel

你的网站上列着一些尚未解答的问题，其中一个是：“为什么这么多伟大人物的传记都以童年创伤开头？”你自己对这个问题有什么答案吗？小时候听力障碍、无法和人社交，是否以某种方式促使你成为今天的 Gwern？

Gwern

听力障碍确实让我成了书虫。读书是孩子可以做的事，不受听力障碍影响；它也是我获取词汇和语言的一种方式。即使现在，我说词语时仍常常发音不准，因为有些词我只在书上见过。这很典型：一个词是在书里学到的，没有听别人发音，你就会读错。

Dwarkesh Patel

你的口音和听力障碍有关吗？

Gwern

有关系，是听障人士的口音。挺有意思的，我这次来旧金山，至少已经有三个人问我到底是哪里人。大家看着我会想：“嗯，看起来就是普通美国人。”一听我开口就说：“天啊，他是瑞典人吧？还是挪威人？我得问问他到底从哪来，又是怎么到美国的？”

可我一直都在美国！听力障碍人士说话就是这种感觉。无论你变得多流利，听障成长留下的痕迹仍然存在。至少如果你出生时就有听障，或在幼年时就出现听力障碍，你的听觉和言语认知发展都会有些偏差，即使接受过治疗也一样。

我不太喜欢上播客，一个原因是我对自己的口语没信心，觉得自己说得肯定没有写得好。也许这么说更准确。

43:00Dwarkesh Patel

你开始写博客之前，怎么处理自己钻过的那些兔子洞？有地方汇总这些内容吗？

Gwern

我开始写博客之前，一直在编辑维基百科。

那时的维基百科基本上就是尚未出现 Gwern.net 的 Gwern.net。我现在在个人网站上做的一切，过去都会放在英文维基百科上。你去看看几篇我现在仍然很满意的词条，比如藤原定家的词条，很快就会想：“啊，对，这肯定是 Gwern 写的。”

Dwarkesh Patel

你觉得，为了建立 Gwern.net 而进行的训练，是在维基百科上完成的吗？

Gwern

是的，我觉得是。我从编辑维基百科学到的东西，比从学校或大学课程中学到的多得多。关于写作的一切，我都是通过编辑维基百科学会的。

Dwarkesh Patel

说实话，如果想再培养一千个 Gwern，维基百科似乎是很好的训练场。我们可以在这里训练他们。

Gwern

建设一个维基百科的替代品，也许能成为很好的训练场。对我来说，把钻研兔子洞和维基百科结合起来很有益，因为我研究的主题，维基百科上通常没有好的词条。

这个过程很自然：先被动地钻研，尽可能多地阅读一个主题；接着把读到的东西整理、综合起来，写进维基百科。你从零碎阅读走向完整文章。学会写出好的维基百科词条、总结研究成果后，就可以自己写其他类型的文章，因为你已经学会如何把事情做完、完成收尾。

如今的英文维基百科可能很难做到这一点。它客观上比 2004 年左右大得多，不但已经填充了更多词条，编辑社群对新增内容也更敌对，尤其是细节详尽、执着钻研式的研究。他们可能会删掉内容，或者说这是原创研究、不符合认可的来源规范。也许有人哪天只是想找乐子，就把你大量精心撰写的词条删掉。这会让人很生气，很可能在你刚开始前就让你退出。

所以，我不太清楚怎样才能建出一个维基百科的替代品，像当年的维基百科那样，让喜欢钻研的人充分发挥。

在维基百科做编辑，会让你觉得自己有很大能动性，因为你知道任何内容都可能有错，而你可以亲自修正。如果有些内容看起来不对，你就能把它当作编辑机会。

至少当时的维基理念是：任何人都可以来修正，而“任何人”也包括你。

Dwarkesh Patel

你在维基百科做编辑时，这是你的全职工作吗？

Gwern

我花多少时间，取决于我愿意投入多少。我钻研某个主题时，一天花八小时审核编辑、改进词条都很容易。但如果不太投入，我就会忽略大部分内容，只审核监视列表里我特别感兴趣的词条中最可疑的修改；可能每天只花 20 分钟。有点像早上查看电子邮件。

Dwarkesh Patel

那时你还在上大学吗，还是大学毕业后？

Gwern

我在初中后期，也可能是高中刚开始时就加入了维基百科。

挺有意思的。我开始不去食堂吃午餐，转而去图书馆的电脑室，在 Neopets 和维基百科之间切换：一个标签页开着 Neopets，另一个标签页看维基百科监视列表。

Dwarkesh Patel

初中或高中里还有其他人喜欢做这些事吗？

Gwern

我觉得没有其他编辑，偶尔有些讨厌的家伙会破坏维基百科。我会查看 IP 地址，看看哪些修改来自学校图书馆的 IP。孩子就是孩子，有人想捣乱、破坏维基百科。

有一阵子这还挺流行。早期维基百科刚进入大众视野，也引起争议，情况有点像今天的大语言模型。老师可能会说：“我的学生老是看维基百科、依赖它，这东西怎么能信？”

那段时间里，破坏维基百科、向朋友炫耀一度挺流行。所以也有其他学生在做维基百科相关的事，但据我所知，只有我是在建设，而不是捣乱。

47:43Dwarkesh Patel

你什么时候开始在 Gwern.net 写博客？我猜你是在做维基百科编辑之后，大学毕业后才开始的？

Gwern

是大学毕业以后。维基百科社群慢慢朝我不喜欢的方向发展，成为转折点的是 Siegenthaler 事件。我觉得那是维基百科越来越倾向删稿主义的标志性时刻。越来越明显的是，维基百科已经不是我当年加入、喜欢编辑、喜欢钻研和补充内容的网站了。如果继续贡献，很多时候我只是在白费力气。

我开始考虑用自己的名义多写一些东西，转向非维基百科的写作，比如议论文、非虚构、评论，甚至小说。我逐渐从 Reddit 和 LessWrong 的短评走向长篇写作。

Dwarkesh Patel

你第一篇大受欢迎的作品是什么？

Gwern

是关于丝绸之路暗网的文章。我对比特币有点兴趣，但没认真关注，因为我不确定它能否成功，甚至不确定技术上是否可行。后来 Adrian Chen 在 Gawker 上写了篇文章，讲如何从 Silk Road 买 LSD，我的看法立刻来了个 180 度大转弯：“天啊，居然真的能用它在网上买毒品！”

我读了 Chen 的文章，马上发现读者想知道订购过程是什么样的。他们想了解细节，但那篇文章很简略，没有真正解释整个流程。

所以我想：“我对益智药和毒品感兴趣，那我就自己去 Silk Road 买东西，并把全过程写下来。别的人总是在网上遮遮掩掩，说‘我有个朋友在 Silk Road 上买过，确实有效’。我不想听这种废话，我就直接把过程记录下来。”

我记得自己买了 Adderall 之类的东西，用截图记录了全过程，然后写下来，也补充了相关背景知识。这篇文章一发布就大受欢迎，浏览量有几十万，真是不可思议。即使今天看 Google Analytics 图表，“Silk Road”那一栏也会突然冲上去，然后又掉下来。流量没有其他内容能比。看到自己的文章这样爆红，确实很震撼。

50:20Dwarkesh Patel

如果你没有成为网络写作者，可能会走上哪些反事实职业道路？有什么看起来比较现实的选择？

Gwern

我完全可能成为 AI 研究者，也可能进入大型 AI 公司做管理。我会遗憾不能写东西，但也会因为推动事情发生、留下自己的印记而感到满足。这些都很现实。

Dwarkesh Patel

为什么没走这条路？

Gwern

我很早就离开了那条路，因为我觉得 Java 课程无聊又痛苦，于是退出了计算机科学专业。这件事很早就让我偏离了那条轨道。

后来我写的一些早期主题，让我很难转入其他工作；似乎只能自己创业，但我的性格并不适合创业。我写暗网市场、行为遗传学之类的话题，确实不太像“好员工”的履历。

Dwarkesh Patel

自主行动能力是不是比你最初想的更难？现在的模型似乎能做好软件工程师的一项项工作，比如写代码、处理 pull request，但要让它们像一个真正的自主软件工程师那样连贯工作八小时，好像很难。

Gwern

在很多方面，我认为自主行动能力其实比十年前想象的更容易学会。但我们现在的系统根本没有真正训练自主行动能力。这方面的能力只是训练数据带来的偶然副产品。

所以，能让大语言模型尝试做这些事，而且成功率不低，已经很神奇了。如果十年前告诉人们，只要逐字、逐步模仿行为，就能让模型产生连贯行动、控制机器人、编写完整程序，他们肯定会目瞪口呆，说你是不是吸了太多 DeepMind 的废气。

自主行动不够好的原因是，我们根本没有真正训练过多少自主行动能力。直接训练智能体的例子是 DeepMind 的 Gato；他们确实在训练智能体。相反，我们现在用互联网抓取数据训练模型，而这些数据只是智能体行动的结果，或者偶尔对行动的描述。我们没有像正规强化学习那样，实际记录状态、动作、结果和奖励序列。

更有意思的是，没人想用正规的强化学习方式训练智能体。大家都想训练大语言模型，并尽可能减少后端强化学习。

54:30Dwarkesh Patel

如果互联网不存在，你觉得自己会做什么？

Gwern

如果没有互联网，我可能只能进入传统学术界，或许还得大幅缩小兴趣范围，专注于能定期发表成果的主题。

或者我可能退出学术界，像我最喜欢的作家之一 Jorge Luis Borges 那样去当图书管理员，直到自己成为作家。当然，我一直赞同他把天堂想象成图书馆。我很喜欢图书馆。

遗憾的是，现在所有阅读都在电脑上完成，我没机会常去实体图书馆。我真的很喜欢图书馆，喜欢翻阅书架、寻找各种随机内容。大学里最快乐的时光之一，就是在巨大的书架间穿行，随手抽出一本旧书，阅读晦涩的技术期刊，看看以前的人做过哪些奇妙、古怪、如今已被遗忘的事。

Dwarkesh Patel

如果能问 Borges 一个问题，你会问什么？

Gwern

啊，他是我真正的偶像。我不想随便给个糟糕答案。

【如果你只能阅读、不能写作，就像《巴别图书馆》里的人那样，人生还值得过吗？】

Dwarkesh Patel

能说说他为什么是你的偶像吗？

Gwern

我年轻时读过 Dan Simmons 的科幻小说《海伯利安》，尤其喜欢《海伯利安的陨落》。书中提到了 Kevin Kelly 的《失控》，重点引用了“巴别图书馆”寓言。我于是找来 Borges 的小说和非虚构作品集，一遍又一遍地读。

我很惊讶，一个人竟能凭借广博知识和学识，写出这么有创意、精彩、有趣又引人思考的短篇小说和随笔。我当时想：“如果能成为任何一位作家，我不会介意成为 Borges。”

Dwarkesh Patel

Borges 有一首短诗叫《博尔赫斯与我》，写的是他不认同那个正在写作、发表这些杰作的自己。不知道你是否也有这种感受？

Gwern

小时候我不理解那篇文章，但现在想我明白了。

Dwarkesh Patel

你读过的其他文学作品里，有没有哪些是当时不理解、现在才真正懂得作者想表达什么？

Gwern

Ted Chiang 的《你一生的故事》。第一次读时，我完全没理解，后来需要补充很多背景，才能回头看懂他想表达什么。Gene Wolfe 的《Suzanne Delage》也完全让我摸不着头脑。我花了大约 14 年才弄懂，非常为此自豪。

Dwarkesh Patel

你后来弄明白了《Suzanne Delage》的什么？

Gwern

Gene Wolfe 的《Suzanne Delage》是个非常短的故事，写一个男人回忆自己从未遇见过家乡镇上的一位女子，并觉得这事有点奇怪。故事就这么多。大家都不知道它是什么意思，却知道它肯定有含义。Gene Wolfe 是天才作家，但四十年来都没人解出来。

去年我弄明白了。原来它是对《德古拉》的隐晦重述：德古拉侵入小镇，把女子从他身边夺走；然后像布莱姆·斯托克笔下那样，对他施加洗脑，让他忘掉一切。整个故事都是靠叙述者回忆里没说出来的内容来讲述的。太惊人了，这是我所知道的唯一一篇如此彻底通过缺席内容来写成的故事。

Dwarkesh Patel

你能解出这个谜真是太厉害了。Ted Chiang 那篇《你一生的故事》讲什么来着？

Gwern

表面情节就是一些奇怪的外星人来到了地球。

Dwarkesh Patel

对，想起来了，和电影《降临》的情节一样。

Gwern

他们使用一种没有时间感的奇怪语言。叙述者学会了预见未来，后来外星人离开了。

Dwarkesh Patel

你后来领悟到这个故事在讲什么？

Gwern

第一次读时，我觉得这只是一个很蠢的超感官知觉故事，讲人能看到未来，普通、无聊、老套、冗长，还塞进了很多无关的物理学。过了一阵子我才明白，故事讲的并不是时间旅行或预知未来。

它讲的是一种完全不同的心智形态，同样有其合理性：这种心智把一切看成已经注定、正朝预定终点发展的故事。从数学角度看，这种看法与我们的传统世界观等价、同样有力；传统世界观则把事件看成逐一发生，迈向未知且不断变化的未来。

那是 Chiang 的作品水平高到我当时无法理解。我把它误认为一个更常见、也更愚蠢的故事。

Dwarkesh Patel

你怎么看读小说和读非虚构作品各自的价值？

Gwern

一个人完全可以用余生读小说，却除了记下一堆虚构故事里的琐事之外，没有任何收获。

我对小说的好处比较怀疑。大多数小说不是为了让你变得更好而写的，只是为了娱乐你，或是为了存在、打发时间。

Dwarkesh Patel

不过你听起来受益于自己读的科幻作品。

Gwern

是，但科幻小说只占极少一部分。我读过的科幻里，99% 对我完全没用。我完全可以只读 20 部真正有洞见、足以改变我看法的小说或短篇。Peter Watts 一卷《盲视》，价值胜过一百部 Xanth 小说，或五百部《星球大战》扩展宇宙小说。

Dwarkesh Patel

你认为最有洞见的那二十部左右有什么共同点？

Gwern

我觉得他们的共同特点，是认真看待非人类智能。

它不一定专指人工智能，而是认真对待“非人类智能”这个概念，不要脑补经典科幻场面：人类拿着射线枪飞向银河系，但居然没有手机。

有人抱怨奇点只是无聊、过度使用的科幻套路。但你随手拿一批科幻小说来看，其中不到 1% 的作品和现实中 AI 发展所处的情境有任何相似之处或关联。

61:32Dwarkesh Patel

别人会高估还是低估你的智力？

Gwern

我觉得他们会高估。他们把我记得很多东西、写了很多年文章，误当作聪明。他们以为只要把我叫来，我就能当场自发地讲出一切。但对许多话题，我之前已经研究过，所以占了便宜。和人交谈时，我可能只是在引用以前写过、至少思考过的内容。

所以我看起来比实际聪明得多。我觉得自己并没有特别聪明。我认识一些人，能立刻快速更新判断，他们比我聪明多了。但归根结底，重要的是产出，对吧？

Dwarkesh Patel

我觉得确实有一种即时反应式的聪明。但还有另一种能力：长期综合不同信息，然后根据这些观察提出宏大理论。我不认为这只是结晶智力，对吧？

Gwern

不只是结晶智力。但如果你能看到我思考过程中的每一步，可能就没那么佩服了。如果你看到我一次次记下“嗯，这有点意思”或“哦，这又是一个类似例子”，会觉得我做的每一步都很合理，不是什么惊人的才智。只有这些事情持续十年，而你没看到中间那些细节时，我最后的成果才像魔法。

我最喜欢的一段关于这个过程的引言，出自魔术师 Penn 和 Teller。Teller 说：“魔术就是比任何理性的人预期投入更多努力。”他讲过一个让蟑螂从礼帽里出现的把戏。他们专门研究并挑选了某种蟑螂，又找了合适的泡沫塑料来困住蟑螂，花了很多工夫，只为完成这一个把戏。没人会想到要这么折腾，但他们希望魔术效果够惊人，于是从空帽子里变出了蟑螂。

如果你逐步观察，每一步都讲得通，只是很费力。但当你只看到最后的魔术，整个过程和结果就显得不可思议。

Dwarkesh Patel

你的写作过程很有意思。有些作家，比如 Matt Levine 或 Byrne Hobart，每天都会写篇文章。我觉得他们有点像自回归模型。而你网站上有些文章会标明起止日期，有时一篇文章从 2009 年写到 2024 年。我觉得这更像扩散模型：一遍遍对同一张图像迭代。

你有篇我特别喜欢的文章叫《进化作为强化学习的后盾》，讲进化如何充当机制，帮助我们学到更好的学习过程。这也解释了为什么公司不像生物体那样随时间进步。我很好奇，写这篇文章的这些年里，你是怎么一步步推进的？

Gwern

你说的《后盾》是把反复出现的相同模式综合起来：用一种愚笨、低效的学习方式学到更聪明的方法，但始终无法彻底摆脱最初的学习方式。

有时我思考时，不同例子会自然串在一起。有时是我开始留意这种模式后，才会想：“对，痛苦也是个很好的例子。也许这能解释我们为什么会以这种特定方式感到痛苦；明明逻辑上可以想象其他形式的痛苦，甚至更聪明，可没有什么能保证它们可靠。”

所以你就把这些具体例子一个个串起来，在过程中不断澄清核心想法。维特根斯坦说过，可以从许多角度观察一个想法，再围绕它一圈圈探索。《后盾》这类文章就是我不断围绕一个想法写作：学习的底层还有许多层学习。

Dwarkesh Patel

一旦注意到某个模式，比如痛苦这个例子，你会不断往里加入其他例子吗？能不能讲讲这个过程如何随时间发展？

Gwern

那篇文章最早的版本，讲的是公司为什么无法进化。后来我读了越来越多 DeepMind 关于元强化学习的文献，就加进了神经网络方面的内容。我又继续阅读并思考以前读过的心灵哲学论文，最后想通痛苦也可能是一个例子：“痛苦让我们学习。我们不能摆脱痛苦，因为它让我们保持诚实。”到那时，文章结构就大体定型了。

Dwarkesh Patel

有没有一些文章不是通过不断积累例子、后来发现它们属于同一模式，而是必须一下子想出完整论点？

Gwern

有些文章确实会有一个顿悟时刻。我会先记下一堆互不相关的东西，甚至不知道它们彼此有关。它们会让我烦恼很久。我一直试图解释每件事，却找不到答案，于是它们持续困扰我。

有一天，我突然意识到：“砰，顿悟！原来这些事情都有关联。”接着我就坐下来，一口气写出一整篇长文，然后就完成了。这类文章一旦写出来，核心内容就定型了。我之后可能再加不少链接或引用，但不会从根本上改变文章。

Dwarkesh Patel

有没有哪篇文章经历了这种过程？

Gwern

昨天就有人问我这个问题。那是我最早的文章之一：《亚文化社会的忧郁》。

写它时，我读过很多零散内容，比如 David Foster Wallace 写网球的文章，以及有关电子游戏等互联网媒介的讨论。某天我突然想到：网上有许多亚文化和群体，可以找到同好，但仍然与更大的社会极度隔绝。这种状态既美丽又悲哀。这个想法突然涌现出来。

我坐下来，基本上一口气写完了。从那以后我几乎没怎么改过，只是慢慢加上更多链接、引语和例子。核心就是灵光一现，然后趁想法还在时把它写下来。

Dwarkesh Patel

你的文章里引用了 David Foster Wallace 讨论网球运动员 Michael Joyce 的一段话，讲他为成为世界前十的网球选手付出了什么。他几乎不识字，因为从七岁起几乎每天都在打网球，生活里几乎没有别的事。那你为了成为 Gwern，做出了哪些类似 Michael Joyce 的牺牲？

Gwern

Dwarkesh，这问题真够直接！“我为了写作，把生活砍掉了多少？”我觉得职业和个人生活中都牺牲了不少，尤其是旅行。我很羡慕那些能旅行、社交的人，也羡慕 Anthropic 里处于核心位置、拥有权力的人。我放弃了自己可能有的职业、轻松的生活方式、数字游民生活、户外活动，甚至当佛教僧人或高薪交易员的可能性。这些都让位于坐下来、每天读论文读到眼睛发红的长期工作，希望某天能有所成果。

Dwarkesh Patel

为什么你觉得这两者必须取舍？很多作家经常旅行，比如 Tyler Cowen。也有影响力很大的作者，比如 Anthropic 的 Jack Clark。为什么不能两全？

Gwern

我没法成为 Tyler Cowen，也没法和他相比。Tyler Cowen 本身就是一个人的产业。

Dwarkesh Patel

Gwern 也是啊。

Dwarkesh Patel

Gwern

是，但他无法被复制。我就是没法成为 Tyler Cowen。Jack Clark 也有自己的独特之处，他能把简报里的故事写得很好，同时又从事政策工作。我尊重并佩服他们。

不过他们都不太符合我自己的兴趣和定位。我喜欢长期追踪冷门话题，再汇总整理信息。这需要投入很多时间阅读海量内容，只为有一天某个微小细节可能变得重要。

71:03Dwarkesh Patel

给我讲讲你的工作流程吧。你说每天读论文读到眼睛发红。早上醒来就直接读论文吗？一天怎么安排？

Gwern

我现在的流程是：早上醒来后先做一些日常事情，然后在网站上整理前一天的工作，处理格式、拼写等问题。我会检查自己是否整理得当、放在了合适位置。有时还会想到要补充一个观点，或者发现某条评论很重要，需要加进去。这是第一步。

之后我常常会毫不掩饰地打开 Twitter 或 RSS 订阅，读很多内容，直到被某条评论或某个问题吸引，开始就此写点东西。

然后我会吃午饭或休息一会儿，再继续看。到了傍晚，我通常会疲惫得不行，于是会试着做一件真正的项目或贡献，坐下来完成当天该做的工作。

之后我通常去健身房。那时我已经完全累了。我喜欢去健身房，不是因为我是肌肉男、运动员，也不是真的喜欢举重，而是因为这是和坐在电脑前截然相反的活动。

Dwarkesh Patel

这是你的倦怠理论吧？需要做完全相反的事？

Gwern

是的，倦怠时，你会觉得正在做的事情、投入的工作无法带来回报。你需要换一种事情做，而且越不同越好。也许举重还不是最好的选择，但它和我在电脑前做的一切确实很不一样。

Dwarkesh Patel

我想再谈谈你的工作流程。你每天都要重新加载大量背景，读 RSS 和论文。你是不是每天都给所有文章补充一点内容？还是先积累潜在素材，之后再写成一篇完整文章、形成一个完整论点？

Gwern

我觉得是后者。我做的各种小补充、删改和修正并不特别重要，更多只是让文章更好看，是一种审美目标：尽可能把文章打磨好。我其实是在等接下来会发生什么，下一件激发我写作的事是什么。其间就是等待突然的灵感爆发。

我觉得许多作家都不能忽视“园艺”过程。你不可能每天收获；收获之间，你得花很久照料花园。如果你因为到处旅行而疏于照料——比如去签售、做各种宣传活动——那就没有在花园里劳作。这会损害未来的收成，只是眼下还看不出来。

如果问 Tyler Cowen 成为 Tyler Cowen 的秘诀是什么，我猜是他特别擅长照料自己的花园，即使他经常旅行。他可能在飞机上读书；我就做不到。他可以在机场写文章，我在机场只能写一点点。他很能适应旅行的劳累。我跟人聊八小时后，就会瘫在酒店房间里。他却可以聊八小时，再录播客、又多聊四小时。这非常令人佩服，但我做不到。

Dwarkesh Patel

你多久会觉得无聊一次？听起来你一整天都在读各种东西。它们全都天然有趣吗？还是即使当下没什么吸引力，你也会硬着头皮读下去？

Gwern

我不太容易感到无聊，因为我会在很多不同主题之间切换。即使我有点厌倦深度学习论文，也还有很多其他内容可读、可与人讨论。所以我不怎么无聊，只是会累，需要去做点别的，比如举重。

Dwarkesh Patel

你最不寻常但很有效的工作习惯是什么？

Gwern

我觉得，和网上的人争论，比几乎任何其他作家都能给我带来更多收获。[Patel 笑] 嘿，我是认真回答，不是在说记笔记之类的傻事！

我比大多数人更能从争论中获益。你得有动力写作、坐下来把想法凝结成形、最终把它收获出来。你照料完花园，最后还得收获，而收获这一步很辛苦，也很乏味。

我跟很多人聊过，他们想法很好，却不愿意收获，因为这件事既乏味又无聊。收获就像在田里劳作，天气很热，弄得满身灰尘和汗。谁不想待在屋里喝柠檬水呢？

但网上有人犯错会让人生气，这种写作动力取之不尽。所以我很能利用“有人在网上说错了”这件事。

Dwarkesh Patel

独立工作的弊端有哪些？

Gwern

最明显的是，一个人独自写作时可能彻底错得离谱，写出很宏大的论断，最后变成疯疯癫癫的人。

除此之外，如果没有可以说服的同事，也会有情绪上的负担。你常常只能对着互联网大声喊，别人还是不认同你。

我注意到，独立作者常常会陷入怨恨、愤怒和失望，然后逐渐变得愤世嫉俗、偏执。这就是他们被压垮的原因之一。如果他们能放下那些想法和争论，转去关注下一个主题，也许本可以继续写下去。

所以我会说：“怨气可以成为很好的写作动力，但必须善用，并在事后放下。”只有在需要动力写作时才能依靠它。如果一直抓着怨气不放，就会毒害自己。

77:50Dwarkesh Patel

我想你知道，很多人会说：“如果 Gwern 把花在网站 CSS 优化上的精力用来做更多项目、写更多东西，社会收益可能有几百万美元。”你怎么看别人说你花太多时间在网站设计上？

Gwern

如果按对社会的客观收益来衡量，我完全没法为自己辩护。我这么做是因为我很自私、喜欢这件事。这就是我的理由。我喜欢网站的美感，这对我来说也是一种爱好。

Dwarkesh Patel

设计会帮助你思考吗？

Gwern

会，因为我喜欢重新阅读自己的文章时，也能欣赏它的美感和网站的设计。否则有些内容我早就读到厌烦了，而美感让我更容易忍受第一百次重读。作者维护网站，本质上也像做间隔重复学习。我检查新格式功能有没有生效时，会再次复习页面。有时我只是检查某个愚蠢的 CSS 问题，却读到了某处内容，然后想：“这里应该改一下。”或者“原来这件事还有别的含义。”

所以这件事没有看上去那么浪费，但我也不能完全为它辩护。如果别人要做自己的网站，我不建议他们投入这么多精力追求美感。

我只是想要一个特别漂亮的网站。网上有太多糟糕的网站让我沮丧。至少有一个网站是我喜欢的。

Dwarkesh Patel

顺便提一下你自己从没说过的事：我觉得你主要靠 Patreon 为研究提供资金，对吧？你从不宣传它，但以你这种工作方式来看，如果经济上可持续、资金也充足，你不仅可以继续做下去，还能让其他独立研究者看到这条路可行。这样也许会出现更多 Gwern。

Gwern

我不一定希望出现更多个 Gwern。我只是希望多一些写作者，整体上大家能更积极主动。

如果有人多写一些 Reddit 评论，一分钱都不收，只是把评论写得更好，我也会非常高兴。有人写博客并持续更新，只是多花点心思在设计上，我也会很高兴。就算没人写文章，只是托管 PDF 防止链接失效，我也会很高兴。

总之，你不必写长篇随笔才能算作写作，那只是许多写作方式之一。我个人比较喜欢这种方式而已。写 Twitter 串也完全可以。

Dwarkesh Patel

你怎么维持全职写作的生活？

Gwern

Patreon 加储蓄。我在 Patreon 上每月能收到大约 900 到 1,000 美元，剩余开销靠储蓄。我运气不错，早期买过一些比特币，攒下了足够写很久的钱，但不可能永远够用。所以我尽量少花钱，让储蓄能维持得更久。

我可能应该多宣传 Patreon，但我太骄傲，不愿意用力推销。

而且很难想出既好、又不需要把内容放到付费墙后的回馈方式。Patreon 和 Substack 对 Scott Alexander 这样的人很有效，因为他们喜欢定期写新闻通讯；但我不喜欢这么做。我就让它自然运行，希望能继续。

Dwarkesh Patel

等等，如果你每月收入 900 到 1,000 美元，还能靠这个生活，那你一年生活费肯定不到 1.2 万美元。你的生活方式是什么样？

Gwern

我住在偏僻地方，很少旅行或外出吃饭，也没有医疗保险之类的。我自己做饭，去免费的健身房。我卧室地板曾经开始塌陷，因为房子太旧，潮气把木头腐坏了。我们就找来一些废木料和一根搁栅把地板撑起来。如果招来虫子，那就随它吧！我的生活像研究生，但能吃好一点的拉面。我不太介意，因为大多数时间都在阅读。

Dwarkesh Patel

我还是觉得很难相信，靠一年 1.2 万美元能付房租、照顾猫、应付各种突发情况。

Gwern

我很幸运，身体非常健康，到目前为止没有碰上真正的突发情况。但这种状态不会一直持续。我绝不是想说这是一种理想生活，或者其他人可以、应该照着做。我只是运气好，早期有比特币；也满足于苦行僧式生活，而且身体健康。

任何想当作家或博主的人都应该明白，我的例子无法复制。我不是想做榜样。

每个写作者都必须自己找到办法。也许可以写 Substack，也可以一边在科技公司写 JavaScript 养活自己，一边创作。我不知道。

Dwarkesh Patel

看起来你最近挺喜欢这趟旧金山之行。要什么条件才能让你搬来这里？

Gwern

是的，目前基本就是钱的问题。也许我应该硬着头皮搬过来。但我天生很节俭，一想到在旧金山住一个月，就得放弃好几个月的写作储备，就很难受。

如果有人愿意每年给我 5 万到 10 万美元，让我搬到旧金山继续全职写作，我肯定立刻答应。在那之前，我还在努力说服自己搬家。

Dwarkesh Patel

听起来完全做得到。如果有人愿意帮你搬来这里，或资助你更广泛的研究，他们该怎么联系你？

Gwern

我有一个 Stripe 捐款页面，也可以发邮件到 gwern@gwern.net。

85:05Dwarkesh Patel

AI 模型要到什么时候才会比人类群体更加多样？

Gwern

如果不把能力水平算进去，我会说 AI 模型在认知上已经比人类多样得多。

不同的大语言模型思考方式差异很大，看几个样本就能分辨。大语言模型和 GAN 的运作方式完全不同，GAN 又和 VAE 完全不同。它们的潜在空间差异很大，尤其是较小、较差的模型。它们产生的瑕疵和错误千奇百怪，人类身上看不到这种差异。

相比这些截然不同的模型，人类在写作和态度上其实很相似。

Dwarkesh Patel

真的吗？看 Chatbot Arena 上不同模型的并排对比，经常很难判断输出到底来自哪个模型。

Gwern

是，但这些模型经过了大量调优。而且你限定的只是比较近年的大语言模型，大家互相借鉴，很多时候还用完全相同的数据训练。这更像是在比较同卵双胞胎。

如果不限于大语言模型，看看种类丰富的图像生成模型，差异会非常大。有些模型彼此的差距，可能就像蚂蚁和海狸一样。

我同意，大语言模型之间的多样性确实大幅下降了。以前大语言模型彼此更加不同。但如果看整个深度学习领域，我们已经看到许多不同的“心智”和思维方式，在任何心灵哲学论文里都找不到这么丰富的类型。

Dwarkesh Patel

能举两个具有这种认知差异的模型吗？

Gwern

举个我前几天和人说过的例子。GAN 模型受到对抗式损失函数的激励，会隐藏某些东西；扩散模型则没有这种倾向。因此 GAN 好像“害怕”某些东西，会把手藏到画面外面，仿佛它们想不到手该怎么画。扩散模型会生成手，但画出来的往往像巨大、畸形、克苏鲁风格的肢体残骸。

87:24Dwarkesh Patel

2020 年大家没有注意到规模扩展。现在是不是也有某种趋势，人们没完全理解接下来会发生什么？

Gwern

我很关注减重药物，也就是 GLP 类药物。它们对健康以及各种行为成瘾的影响让我很惊讶。据我所知，没人预测过这一点。结果仍然很初步，但看起来确实有效。

我觉得这会告诉我们一些关于人类意志力和功能失调的重要信息，也能让我们了解现代环境出了什么问题。

Dwarkesh Patel

GLP 类药物会不会推翻你博客里写过的“阿尔杰农论证”？也就是：如果有简单、有用而且没有副作用的干预手段，进化早就找到它们了。

Gwern

现在下结论还太早，因为我们还没弄明白 GLP 类药物到底怎么起作用，连它们的机制或脱靶效应都不了解。尤其奇怪的是，促进和抑制相关机制似乎都有效。

情况非常奇怪，我不知道该怎么理解它和阿尔杰农论证的关系。也许这些好处会降低繁殖意义上的适应度，因为人们会追求幸福生活而不是生孩子——绝无冒犯父母之意。也可能是药物以基因难以复制的方式作用于身体。也可能只是时机太早，证据还不够。

回头看，我觉得肥胖危机大约在 1990 年代才变得明显，这其实很近。我看老照片时，今天和 1990 年相比完全认不出来：那时人们仍很瘦，今天看照片时，大家都像气球一样胖。所以你不可能基于这二三十年，就下阿尔杰农式的结论。

Dwarkesh Patel

你看到古罗马人不断受到铅中毒影响时，会多大程度相信：我们现在的环境里也有某种东西，造成的影响堪比铅对古罗马人的影响？

Gwern

我认为存在某种像铅一样有害的东西，概率几乎是 100%。我们制造出来的东西太多了，化学家不断合成新物质，微生物群也涉及各种问题。塑料现在很受关注，但也许不是塑料，可能完全是别的东西。不过，要说我们释放到环境里的所有东西都无害、安全，无论浓度多少都没有坏处，这个主张实在太强了。

我不相信某一种特定物质一定有害，但我相信可能有很多东西各自造成 1% 的影响。将来我们回头看，会说：“天啊，那些人就像使用含铅汽油一样，在给自己下毒。要是他们当时知道某某事情就好了，现在看起来太明显了！”

Dwarkesh Patel

你觉得这种影响最可能表现为认知受损、肥胖，还是别的情况？

Gwern

先验来看，我可能会认为智能是最脆弱、最容易受损的能力。但观察时间序列时，整体智能似乎相当稳定。所以我得说，无论有害因素是什么，它可能不会主要影响智能。

相比之下，肥胖是个更可能的候选，因为过去 30 年里，肥胖率确实暴涨了。

91:08Dwarkesh Patel

昨天我听你说，你对湾区那种尝试迷幻剂的做法持怀疑态度，有点惊讶。我本来以为你很愿意尝试不同物质、观察它们是否有帮助。我很好奇，为什么谈到迷幻剂时，你会用切斯特顿栅栏这个原则？

Gwern

最清楚的区别是，迷幻剂的影响可能突然出现，而且可能是永久性的。

我研究的东西相对可控，影响也比较容易管理。它们不会永久改变你对是否继续服用益智药的判断。LSD 之类的东西却可能永久改变你对服用 LSD 的看法，或者永久改变你的精神状态。迷幻剂还会产生累积效应，这在益智药中少见得多，因此益智药安全得多，效果也更容易量化。

服用益智药后，人们不会像使用迷幻剂那样越陷越深；后者每次服用都可能让人变得更兴奋、更想再服一次。迷幻剂有一种可以称为“自我推荐问题”的特性：它总让你想继续使用。冥想也有点类似。做了很多冥想的人最明显的表现是什么？就是总想告诉别人也该去冥想。这种不断自我强化的循环会让迷幻剂带来不良结果，而益智药通常不会。

益智药最常见的失败情况是花了几百或一千美元，却没得到实际好处，然后继续生活。这一阵子尝试了些奇怪的药物，如此而已。问题不大，算是一种奇怪的娱乐方式……但原则上并不比看一阵子电影、花一千美元买电影票糟多少。

迷幻剂则会以你不了解的方式永久、不可逆地改变你，也让你暴露在各种有害外部影响之下：比如你处于容易受暗示的状态时，可能遇到的任何事情。

好吧，少数几次使用或许有益。我自己有过几次有益体验。但如果不止于此，你真的应该认真审视自己，想清楚你认为能得到什么好处，以及自己正在发生什么变化。

93:40Dwarkesh Patel

人们不知道你的声音，也不知道你的长相，因此和你形成了一种有意思的拟社会关系。你觉得自己在他们的生活中扮演什么角色？

Gwern

你是问我实际上扮演什么角色，还是我希望扮演什么角色？

两个都谈谈。

Gwern

我想扮演的角色有点像大语言模型眼里的我，挺奇怪的。你用 Claude 3 之类的模型时，有时会出现一个叫“Gwern”的角色，他像导师或老巫师一样，给出洞见，并鼓励你踏上冒险之旅：“你也可以写点东西、做点事、思考点问题！”

我希望别人离开时不只是获得娱乐或有用信息，而是成为稍微好一点的人；让他们希望网页能更好，互联网也能更好：“你也可以去读点东西！也可以思考，再把想法整理成文章！这些事你都能做！”

但我担心，对一些人来说，我实际上要么成了导师或教主，要么成了狡诈的恶魔。

你喜欢我还是讨厌我，可能决定了你会把我视作统计与引文之神，觉得我绝不会犯错——“网站上说的都当真理就行！”这让我很反感；或者你会觉得我是个可怕、隐蔽、恶意的新纳粹、优生学家、极权主义者、共产主义者、反华恶魔，躲在暗处想摧毁西方社会。

Dwarkesh Patel

95:23最后一个问题：到 2050 年，你还有哪些感兴趣却没有答案的开放问题，希望届时能弄清楚？

Gwern

到 2050 年，我真希望我们终于能回答一些关于自身的大问题。这些问题一直无法得到确定答案。它们将来或许不再重要，但我还是很想知道。

我们为什么睡觉或做梦？人为什么会衰老？为什么会有有性生殖？为什么人与人之间差别这么大，同一个人每天也会有变化？为什么人类花了这么久才发展出技术文明？外星人都在哪里？为什么工业革命没有先在中国发生？我们本该如何预测深度学习革命？为什么我们的大脑比人工神经网络大得多？

这些是我真心希望到 2050 年能找到答案的问题。

Dwarkesh Patel

Gwern，这次对话非常精彩，谢谢你来参加播客。

Dwarkesh Patel