Sholto Douglas, Trenton Bricken: AMA：AGI 时代的职业建议，以及我如何做研究（嘉宾：Sholto 与 Trenton）

今天这期是 Ask Me Anything（随便问）节目。和我一起的是我的朋友 Trenton Bricken 和 Sholto Douglas。你们俩是搞 AI 那一摊的吧？

对。

算是浅尝辄止。

他们是 Anthropic 的研究员。另一条消息：我今天有一本书上市，叫《The Scaling Era》。我希望待会儿有一个问题正好是“你为什么要买这本书”。不过我们可以一石二鸟。好了，那就直接开始吧。我们要回答的第一个问题是什么？

我想问那个我之前听到过的、很好接的“高飞球”式问题：为什么普通人要在意这本书？比如说，为什么我妈应该买这本书、读这本书？

好，我先说说这本书是什么。你知道，过去这几年我一直在采访 AI 实验室的 CEO、研究员，像你们这样的人，也采访各个不同领域的学者、经济学家、哲学家。我觉得他们一直在回应的，基本上是我们有史以来不得不问自己的那些最棘手、最有趣、也最重要的问题。比如：智能的根本本质是什么？当我们多出几十亿劳动力时会发生什么？我们要怎么为这件事建立经济学模型？我们该如何思考一种比全人类加起来还要强大的智能？这甚至还是一个自洽的概念吗？所以我特别高兴的是，我们和 Stripe Press 一起做出了这本书，把所有这些访谈里最好、最有洞见的片段汇编、挑选出来。你可以读到 Dario 回答“为什么 scaling 有效”；翻到下一页是 Demis 解释 DeepMind 的计划——他们到底走不走 RL 路线，AlphaZero 那套东西会有多少进入下一代 LLM；再下一页当然就是你们俩，讲这些模型在技术细节上是怎么运作的。

而且牵涉到的领域实在太多了。我觉得 AI 可以说是能想象到的最跨学科的领域之一，因为没有任何一个领域、任何一个人类知识的门类，与“理解一个由不同种类存在者构成的未来社会会是什么样”无关。你会看到 Carl Shulman 讲 scaling 假说如何体现在灵长类大脑的缩放上，从黑猩猩到人类。下一页可能是一位经济学家，比如 Tyler Cowen，在解释他为什么不预期爆炸式的经济增长，以及为什么各种瓶颈会把这些增长全部吃掉。嗯，总之，这就是为什么你妈应该买这本书。它是所有这些不同人类知识领域、应用于人类当下所面临的最重要问题的提炼。

我确实喜欢这本书按不同主题切分、又横跨各个访谈的组织方式。所以它看起来像是一种很好的方式，能把所有这些访谈以一种好消化的方式过一遍。

对。书里还有两场我之前做过、但从没公开发布过的访谈。其中一位是 Jared Kaplan，他是你们的联合创始人之一；这也是另一个例子——他是物理学家，从非常数学化的角度、用数据流形的概念来解释 scaling。然后下一页就是一个完全不同的视角：Goren 在讲通用智能当初究竟为什么会演化出来，它真正的演化目的到底是什么。而且是一页一页地来，你可以直接翻着看。即便对我这个坐在对话另一端的人来说，读它的时候也真的很酷，会有那种“哦，我现在才意识到这些洞见彼此是怎么连起来的”的感觉。

对，我另外唯一觉得突出的地方，是导言部分——

唯一突出的地方？

对，那真的就是唯一值得一提的地方。我只是说，在易读性上突出的是导言部分，还有那些说明训练一个机器学习模型所需要的各种输入的图表。Stripe Press 的书本身也很美，它们有很棒的边注，用来解释什么是参数、什么是模型这一类的东西。

其实我们做完那期节目之后，有一堆人——我不知道你看到没有——各自独立地写了博客文章、做了 Anki 卡片之类的玩意儿，来解释这些概念，因为我们当时有些东西一带而过了。希望我做的每一场访谈都得到了类似的处理：你可以读到一场技术性很强的访谈，对象是某位实验室 CEO，或者工程师、研究员，然后旁边就是：这里有更多背景，这里有更多定义，这里有更多评论。而我，是的，我觉得这让对话的层次提高了。

换句话说，我爸妈终于能搞明白我这份工作到底是干什么的了。他们会理解得非常好。

也许我爸妈会。因为我出了一本书。

我爸妈只需要知道一件事：我的名字在一本书里。

你是合著者。

他们会说：“酷。”

我们要不要进入 AMA 的问题？

来吧。

好。Brian Krav 问：“你跟 Dario 提到过、也偶尔在推特上讲过的那个问题——模型无法在不同主题之间建立联系，某种组合式的注意力难题——你现在怎么看？你会用规模化、推理模型，还是别的东西来解决它？”

所以问题是，我问 Dario 的其中一个问题是：你看，这些模型把人类全部知识都背下来了，你会想，如果一个人背下了这么多东西，而且智力中等偏上，他应该能在不同领域之间建立起各种联系。顺便说，人类确实有这样的例子。有一个叫 Donald Swann 还是什么的人［Don R. Swanson］，他注意到镁缺乏之后大脑发生的变化，其结构跟偏头痛期间看到的完全一样。于是他就想：那你补充镁剂，我们就能治好一大批偏头痛。而且这招奏效了。还有很多别的类似例子，就是你只是注意到两块知识之间的两个不同联系。那么，如果这些 LLM 是有智能的，为什么它们不能利用自己这个独特的优势，做出这类发现？有你们在这儿，我谈 AI 的事还有点不好意思。不过，其实 Scott Alexander 在他某个 AMA 帖子里回应过这个问题，他说：“你看，人类也没有这种逻辑全知能力”，对吧？他用的例子是语言：如果你真的去琢磨，为什么这两个词是有关联的？比如我明白为什么“rhyme”和另一个词有相同的词源。但你就是不会去想它，对吧？这里有一个组合爆炸。我不知道这能不能回应这个事实——我们知道人类能做到，对吧？人类确实做到过，而我不知道有哪怕一个 LLM 做到过的例子。其实，是啊，你们对这个问题的答案是什么？

我目前的答案大概是：预训练目标并不一定会——它赋予模型关于世界的、灵活好用的通用知识，但并不一定赋予它建立新颖联系、或者做研究的技能。而那类事情，人是通过博士项目、通过探索和与世界互动的过程被训练出来的。

所以我认为，至少你需要对类似的事情做大量 RL，才有可能接近做出新颖发现。所以我希望在开始构建那些与世界互动、尝试做出科学发现的模型时，能看到一些早期的证据，并且去建模我们期望处于这些位置上的人会有的行为。因为老实说，作为一个领域，我并不认为我们真的在有意义或规模化的层面上做过这件事。

顺着这个、关于 RL 再说一点：我在想，模型现在是不是根本不擅长判断自己该存哪些记忆。它们训练的大部分内容只是在预测互联网上的下一个词，并记住其中非常具体的事实。但如果你现在教我一样新东西，我非常清楚自己记忆的局限，所以我会试着构造一个能留下来的摘要。而模型目前没有机会这么做。总的来说，记忆脚手架现在还非常原始。我是说——

对，就像 Claude 玩宝可梦那个。

正是，对，或者说有人做了这个项目，很厉害，它走得很远，但后来另一位兴奋的 Anthropic 员工迭代了记忆脚手架，很快就把它提升了。所以这是一点。我还想，模型会不会是白痴天才（idiot savant）。最好的类比也许是 Kim Peek。Kim Peek 出生时没有胼胝体，如果我记得没错的话。他大脑的每个半球相当独立地运作。所以他打开一本书，能看到两页，每只眼睛读其中一页。他对自己读过的所有东西有完美的百科式记忆。但同时他也有别的功能损伤：社交上的运作，诸如此类。而 LLM 在非常冷门的主题上强得惊人，却仍然可能在别的主题上彻底失败，这挺令人惊讶的。

我真的很想深挖一下这件事：为什么在记忆化上会有这种权衡。为什么把它切断……据说这跟那种功能损伤有关，但为什么不能……维基百科文本大概只有五兆字节的信息。人脑能存的东西多得多，那为什么人脑就是不想让我们记住这类东西，还在主动修剪，而且……是啊，我不知道。不过我们不必现在做，我们会单独做一期。

对，关于这点我只想说一件事：还有另一个案例研究，某个人有完美记忆，什么都忘不掉。但那种记忆太妨碍他了。就好像你 transformer 的上下文窗口有上万亿 token，然后你把所有时间都花在注意过去的事情上，太困在细节里，以至于无法从中提取任何有意义的、可泛化的洞见。

对。Terrence Deacon，就是你推荐的那本书的作者，有个很有意思的洞见：我们小时候学得最好，但我们把童年发生的事字面意义上全忘了，对吧？我们完全是失忆的。

而成年人处在中间：我们记不住精确细节，但仍然能以相当不错的方式学习。然后 LLM 处在这个梯度的另一端：它们能把维基文本的精确措辞记下来，却无法以那些非常明显的方式泛化。

有点像 Gwern 的理论，优化器理论，不是吗？

对，我想我大概就是从那儿来的。

对，Gwern 对我来说也肯定对这些东西有很大影响。

我觉得在播客这件事上被低估的一点是：我们有个群聊，而且我们也经常线下见面。播客的所有产出，其实都来自你们和另外几个人不断给我喂想法、推我一把之类的，然后我可以在对话中把它当作一个直觉泵来用。

对，你不是唯一一个。

你什么意思？

哦，就是，光听别人怎么说我就获益巨大。说到底，不管哪种方式，都只是反刍。

下一个问题？

好。

Rabid Monkey 问：“假设你有一个 17 岁的弟弟或者侄子，刚上大学。考虑到你们对 AGI 的时间线判断，你会建议他学什么？”

这真的很难，对吧？我不知道，去做播客？我感觉这工作还会继续存在。挺有意思的，因为我学的是计算机科学，回头看——当时你本可以去做软件工程师之类的。结果你做了播客，这算是挺不负责任的职业选择，但回头看，就像……它居然还成了。就在这俩哥们儿被自动化的时候。

我经常被问这个问题，我喜欢给的一个答案是：你应该把接下来几年想成是，每年把你的个人杠杆率提升一个巨大的倍数。

所以现在就已经有软件工程师会过来说：“你知道，我快了两倍”，或者说：“用新语言，我比去年快了五倍”。我预期这条趋势线基本上会继续下去：你会从“我在电脑上跟某个模型协作，基本上是一次结对编程”这种模式，走到“我在管一个小团队”，再走到“我在管一个部门或者一家公司”。基本上，那是在瞄准一个任务。所以我认为，各个领域里的深层技术知识在四年后仍然重要。绝对会。因为你会处在管理几十个——或者说，你的个人管理带宽会被管理 AI 团队这件事占满。

也许我们最终会落进一个真正的奇点世界，那里是 AI 在管 AI 之类的事。但我认为，在可能性光谱中非常大的一部分里，你管着的是巨大的、远比今天任何个人能调动的资源都要多的资源，而你应该能用这些资源解决多得多的问题。

没错，而且我想强调这不只是自我安慰。真的，这些模型缺乏那种长期连贯性，而这对做成一间成功的公司是绝对必要的，或者……光是租个办公室就挺复杂的，对吧？所以你可以想象，一个接一个的行业——经济真的很大，对吧？

而且真的很复杂。

正是如此，所以，我不知道细节，但我猜如果这是那种数据稀疏的事情、你得知道这个行业里正在发生什么的背景之类的，我觉得你会处在有利位置。

也许我另一个想法是：总的来说，规划职业生涯真的很难。而我不知道这意味着什么建议，因为我记得自己当时特别挫败。我在上大学，我做播客的原因是想搞清楚我到底想做什么。不是播客本身。我会去看 80,000 Hours 之类的职业建议，回头看，那些基本上全都没用，还不如就去试着做事情。我是说，尤其在 AI 领域，太难预测会出现什么样的转变了，所以就去试、去做。我知道这是非常平庸、非常含糊的建议，但我对职业建议这件事整体上相当怀疑。

嗯，有一条职业建议我并不怀疑，那就是把自己放到靠近前沿的位置，因为从那里你能有更好的观察点。对吧？你可以学很深的技术性的东西，不管是计算机科学还是生物学，然后达到一个能看出问题在哪儿的程度，因为在前沿，问题实际上明显得惊人。很难看到……

其实，你觉得这里还有机会吗？因为人们常提到的一点是：也许那些职业上已经比较资深、拥有大量默会知识的人，会处在被 AI 加速的位置上；但你们俩在四年前或两年前、在被“发现”的时候，那种情况——你有一个 GitHub 上的 open issue，然后你去解决它；那种路径是不是已经结束了，所以新人上手变得难得多？

那仍然是我们招聘时看的东西。所以，你懂的？

对，我支持“学基础、获得有用的心智模型”这一套，但感觉一切都应该以 AI 原生的方式来做，或者用自上而下的方式，而不是你那种自下而上的学习。所以首先，用 AI 模型更高效地学东西，然后只要知道它们的能力边界在哪里就行。

而且任何把大量事实或信息的死记硬背放在思维方式之上的学科，我都会担心、都会怀疑。但如果你一直在用 AI 工具帮你，那你自然就会对它擅长什么、不擅长什么有很好的感觉。

好，下一个。你挑选嘉宾的策略、方法或标准是什么？

最重要的是：我想不想花一到两周，把你写过的每一个字、录过的每一场访谈都读一遍，再跟一堆其他人聊你的研究？因为经常有相当有影响力的人来问我：“你能让我上你的播客吗？”而多数情况下我说不，原因有两个。一个是，好吧，你有影响力，但作为访谈对象，这从根本上并不那么有意思。我想的不是我将和你共处的那一个小时。我想的是那两周，因为这就是我的生活，对吧？研究就是我的生活，而我想在做这件事的时候开心。所以，这两周会不会过得有意思？它会不会对我未来的研究之类的有帮助？

另一个原因是，如果只看最受欢迎的几期、或者看长期什么能帮一档播客成长，大牌嘉宾其实没那么重要。我迄今为止最受欢迎的嘉宾是 Sarah Payne，而在我采访她之前，她只是一位学者，公众知名度完全没有，我只是觉得她的书挺有意思。所以我最受欢迎的嘉宾是 Sarah Payne，然后还是 Sarah Payne、Sarah Payne、Sarah Payne，因为……我和她之间有一大堆对谈。

顺便说，按每分钟观看量调整后计算，我做的是《Sarah Payne 播客》，偶尔聊聊 AI。

这挺逗的。

然后是 David Reich，他是研究古 DNA 的遗传学家。他算是有点名气，出过一本畅销书，但他不是 Satya Nadella 或者 Mark Zuckerberg——那两位是名单上接下来的。然后再往后，我觉得很快就是你们俩，或者 Leopold 之类的，再往后才轮到实验室的 CEO 们。

所以，对于我实际想做的事来说，大名字没那么重要。而且你也真的很难预测谁会变成 David Reich 或者 Sarah Payne，所以就图个乐。跟任何你愿意花时间研究的人聊，这其实是个相当好的、预测什么会真正受欢迎的代理指标。

如果有那么一个具体时刻的话，是哪一个时刻让你意识到，做这档播客是一条可行的长期路线？

我想是在我为一场 Mark Zuckerberg 的节目去各处找广告位的时候。现在回头看，那其实并没有那么震撼，但当时我想的是：“哦，我真的可以全职雇一个剪辑师，或者不止一个剪辑师，从那里把它变成一门真正的生意。”因为在那之前，人们会跟我说：“哦，那些别的播客能赚多少多少钱。”而我会想：“怎么赚的？”你知道吗？

所以我和一个朋友之间有个常年的玩笑。我不知道你见没见过我这样，但每次我遇到一个年轻人说“我这辈子该做什么？”，我就说：“你得开个博客。你得成为 AI 界的 Matt Levine。”你能做到的。那是个完全空着的生态位。我和他们之间这个玩笑是，他们说：“你就像个中了彩票的乡下人，见谁跟谁说，'各位，草稿纸啊，拿草稿纸啊。'”

我确实想再追问一下，因为你给那个 17 岁孩子的直接回答是去做播客。那么，现在有哪些生态位？你会在新的博客、播客里期待看到什么样的东西？

我不知道你们是不是也这么想，但在我看来，“AI 界的 Matt Levine”是个完全空着的生态位，我也向那些正在试图填上它的人道歉。所以我真正想强调的另一件事是：靠别人的建议来做这件事，或者抱着“至少我在努力不去填某个特定生态位”的想法，都真的很难做成。你想想外面任何一种成功的新媒体，它都有两个共同点：一，它往往不只是面向某一个特定话题或兴趣；二，最重要的是，它是由一个人的愿景推动的。不是一个集体或者别的什么。所以我特别想强调的是：这件事是可以做成的。

第二，你能靠它赚很多钱——对真能做成这件事的那种人来说，这大概不是最重要的事，但仍然值得知道这是一条可行的职业路径。

第三，基本上你一开始会感觉很糟，你早期做的东西都会有点烂。也许其中有些会被人欣赏。但说“就算你真的很糟也坚持下去”，这看起来像是个坏建议，因为有些人确实很糟。但如果你不是，那就去做，对吧？在业余时间写三个月博客，真的会花掉你什么？而人们就是没有真正认真地做这件事做得足够久，久到能拿到证据，或者拿到那种 RL 式的反馈——哦，原来是这样做；原来是这样搭建一个论证；原来是这样做出一个让人愿意读、愿意看的有说服力的东西。

写博客绝对被低估了。我觉得我们大多数人大概都——

所以你们俩都有过相关的博客。我不知道它们是不是真的对拿到——

不是那个。它们算是有点相关。但我觉得更重要的是，我们几乎读过所有对 AI 做深度论述的博客。比如，如果你写出高质量的东西，它几乎无一例外会被在推特上转来转去，被人读到。

哦，这一点太被低估了。有两条证据。我跟一位你会知道的、非常著名的博主聊天，我问他：“你多久会发现一个还没被发现的新博主？”他说：“呃，很少发生，大概一年一次吧。”然后我问他：“在你发现他或她之后，世界上其他人要多久才会发现？”他说：“大概一周吧。”

而这说明它其实非常高效。就像……哦，我还有几个观点。

说来听听。这、这就是 AMA 嘛。

所以我相信，媒体里那种缓慢的复利式增长多多少少是假的。比如 Leopold 的《Situational Awareness》。他并不是花了很多年慢慢积累受众之类的。那篇就是真的很好。不管你同意不同意，只要它足够好，字面意义上每一个重要的人——我说的是字面意义上——都会读它。而你要零样本做出那样的东西是很难的。但根本上要强调的是，所谓的复利增长，至少对我来说，其实是我感觉自己变强了。

而不是说那三年只有 1,000 个粉丝的日子在某种意义上产生了复利……我不觉得是那样。我觉得只是花了些时间才变得更好。

对，当然，Leopold 发了那篇之后，第二天，你几乎能想象它被钉在推特这面墙上，可以这么说。

就是，你知道，所有人都在谈它。接下来那一周你去任何活动，整座城市里每一个人都在谈那篇文章。就像文艺复兴时期的佛罗伦萨之类的。

没错。是啊。世界很小。

世界很小。

你觉得你的第一个大成功是什么？我在回想我第一次发现你播客的时候。我清楚地记得你有一篇讲 Annus Mirabilis 的博客文章。

而且我记得 Jeff Bezos 转发了它。我在想那是不是在那之前，不过，是啊。我很好奇你的答案。

我觉得就是那个。而且它并不是那种有什么了不起的洞见、活该爆火的东西。它只是不断往球门射门。那些文章都是“洞见色情”那一类的，然后其中一篇大概正好抓住了对的人的注意力，是啊。但我觉得就是那个。

对，还有一件被低估的事：一篇文章并不需要有一个根本性的新洞见，它更多是给人们一种方式，把一堆他们本来就已经以更模糊的方式意识到的东西清晰地表达出来。而即便它非常干脆利落却并不雄辩，那也仍然很有价值。

有一点我应该强调，我觉得它也许是对这个反馈回路最重要的事。不是受众的复利增长。我甚至不觉得是“我在做播客这件事上获得了更多射门机会”。我其实不认为只靠一遍又一遍做同样的事就能让你进步多少。如果没有奖励信号，你就会一直重复你以前在做的事。

我真的认为最重要的一点是：这档播客好到值得让我去认识像你们这样的人。然后我就和像你们这样的人成了朋友。你们教我东西。我做出更好的播客，希望是稍微更好一点。这又帮我认识其他领域的人。他们教我更多东西。最近关于中国的那件事，我写了一篇博客，讲几个在中国发生的事情。光那一篇博客，就在一篇文章的时间里给我挣来了一个了不起的中国关系网络。对吧？所以希望，如果我做一期关于中国的节目，我会因此变得更好。而希望这在各个领域一个接一个地发生。所以，能认识像你们这样的人，其实就是主要的飞轮。

有意思。所以要搬去旧金山？

对。如果你想做 AI，是的。

哦，Jacked Pajeet 问了个非常重要的问题。你卧推能推多少？

你不能撒谎，因为我们俩都知道答案。

我曾经卧推 225 磅推过 4 个。现在大概比那轻 20 磅左右吧。

你们俩问我这个，是因为我跟你们俩都去举过铁。我记得 Trent 和我在做引体向上和卧推。然后到“卧推”这一项，他就又加一片杠铃片之类的。接着他不做引体向上了，开始猛做双力臂。

全靠技术。这一点得说清楚。

所以他们俩卧推都比我多。但我在尽力了。

六个月后再问一次。

好。

你最喜欢的历史书是哪本？你身后有一整面墙的历史书。

哦，显然是 Caro 写的 LBJ 传记。我从那些书里最主要的收获是，LBJ 有一句话，他会讲给他的辩论［学生］听。他二十岁出头时，在德州给这些贫穷的墨西哥裔学生教辩论。他常对他们说：“如果你把每件事都做完，你就会赢。”我觉得这句话被低估了。这就是我最大的收获。而你能在他整个职业生涯里看到这一点：有一个合理的努力量，按 20/80 来算。你做那 20%，拿到 80% 的效果。然后如果你越过那一点，就会变成：“不，我不只做 20%，我要把整件事全做完。”再往上还有一个层次，那是不合理地使用时间。这件事最终不会有任何影响，但你还是去试着做。

你在推特上分享过用 Anki。或者甚至是 Claude 的集成。你会做读书会吗？你用 GoodReads 吗？还有你现在在读什么？

我不做读书会。［Bud the SpaceBar edition］真的极大提升了我学习的能力。主要因为——这甚至不是那种跨越数年的长期影响，虽然我觉得那也算一部分，而且我确实后悔那些没有用 Speech Marking Cards 做的期，因为那些洞见就那么淡掉了。主要是，如果你在学一个复杂的主题，至少对我来说，做整合（consolidate）超级有帮助。因为如果你不做，你就像一个将军，你会说：“我要对这个国家发动一场战役。”然后你爬上一座山头。第二天你在撤退，然后你又爬同一座山头。也许有个更洁食一点的类比。是啊。然后另一个问题是，我现在在读什么？

哦。我的朋友 Alvaro De Menard，《Fantastic Anachronism》的作者。我能举起来给大家看吗？其实就在这儿。希望他不介意我分享这个。但他把他翻译的他最喜欢的希腊诗人 Cavafy 的作品印了 100 本。希望我没念错。抱歉，那一本上有一句很好的题词是写给 Guern 的，因为那是他那一本，不过它真的特别讨人喜欢，这就是我最近在读的东西。

到目前为止有什么洞见吗？

诗人们会讨厌这个框架。我觉得诗有点像 TikTok，你从中得到某个东西的一种快速感觉，然后你就划走。然后你得到下一种感觉，划走……Alvaro，对不起。

不，这挺有意思。你是怎么学新东西、或者为一期节目做准备的？你提到过那一到两周的时间，你在深挖那个人。那实际上是什么样子？

非常就是那种显而易见的事：你读他们的书，读他们的论文。如果他们有同事，你会试着跟他们聊，更好地理解这个领域。我还要提一句，我要做的只是向他们提问，而我认为，要成为一个实践者那样去学一个领域，比只学到能问出有意思的问题，要难得多。但为此，它就是那种你会预期到的、显而易见的东西。

“Based Carl Sagan”问：“你的长期目标和抱负是什么？”

AGI 大概就是让“长期”这件事变得更难表述了，对吧？你知道 Peter Thiel 那句关于“你的十年计划是什么，为什么你不能在六个月内做完”的话？

就像，考虑到时间线，这尤其显著。在可预见的未来，就是把播客做大、做更多期，也许更多写作。所以十年之后会怎样，我们再看。世界可能会变得足够不同。所以基本上，现在就是做播客。

有件事你跟我聊过，特别是在你想给播客招人的时候，就是你想通过播客达成什么。可以这么说，你想让播客以什么方式塑造世界？你对此有什么想法，还是……因为我记得你跟我说过：“我真的想让人们真正理解 AI，以及这会如何改变他们的生活。”

或者，“我们现在能做些什么，来塑造世界，让它最终变得更好。”

我不知道。我对这件事有相互矛盾的看法。一方面，我确实知道 AI 里现在正在做重要的决定。而且我确实认为，顺着我们刚才说的关于 situational awareness 的话，如果你做出了真的很好的东西，它极有可能一发命中相关的那个人，而人们总体上是讲道理的。你提出一个好的论证，它会传播开。另一方面，我只是觉得，很难知道该做什么。你必须有一个非常正确的世界模型，然后你还得知道，在那个世界模型里，你采取的行动会产生你预期的效果。甚至就在上周，我跟 Epoch 的人聊过之后，我对一些相当根本的东西改了主意——关于我如何看待智能爆炸、或者变革性 AI 的可能性。

基本上，TLDR 是：我现在只希望这档播客成为一个认识论工具，因为我觉得太容易搞错了。所以，对相关论证有一个背景水平的理解，是最高优先级。

有道理。

你的感觉呢？我应该做什么？

我是说，我觉得这档播客很棒，应该有更多人来听，而且还有很多嘉宾我很期待你去采访。

那你得给我推荐。

所以到目前为止，这看起来是个挺好的答案。

对。我觉得确保——不只是 AI，还有其他领域——存在一场伟大的观念辩论，而这一切在价值上都有极高的杠杆，这很重要。

对，对，对。

你是怎么打理胡子的？很有威严。

我不知道该说什么，就是基因。我确实会修，但——

不用胡须油？

有时候我会用胡须油。

多久一次？

每两天一次。

那可不叫“有时候”！那叫相当频繁！

不过，你洗头和洗胡子用的是不同的洗发水吗？

不是。

你用什么洗发水？

去屑的。

你会用护发素吗？

会。

你多久刮一次？

谁让你问这些的？

我们是在给人们他们想要的答案。

大洗发水公司。大胡须油公司。

对，你可以把一些广告位卖给不同的洗发水公司，然后我们来剪。

也许我们已经卖了一个广告位。谁知道呢？

抱歉，你之前有那个周边产品的想法。你想解释一下这个 T 恤的点子吗？

对，对，对。所以人们应该对这个有反应。应该有人把它做出来。Dwarkesh 想要周边，但他不想承认自己想要。或者他不想自己做，因为那看起来俗气。

所以我真的很想要一件纯白 T 恤，正中间就只有 Dwarkesh 的胡子。就这样。别的什么都没有。

但你刚才说，它的质感应跟衬衫其他部分不一样。

哦，所以我当时真的在顺着这个发挥，也许限量版套装可以把一些你的胡子毛发真的缝进衬衫里。

我的天。

那会挺酷的。我愿意付钱。我愿意为那个付钱。

多少钱？

我的胡子上到处都是一块块的斑。

取决于有多少毛。如果只是某处有一根，还是整件都是。比如，“我得干洗它吗？我能不能用轻柔模式洗？”但说真的，我觉得你应该做周边。如果你想把这档播客做大——显然你想——那这是一个办法。

你觉得未来胡子和胡子毛发是必要的吗？

哦，是啊。哦，是啊。

哪位历史人物最适合运营一家前沿 AI 实验室？

这问题肯定是问你们的。

哦。不，我是说，我更好奇你先怎么看。你跟 AI 实验室负责人们聊过的比我多。

对。我本来想说 LBJ。抱歉，这问题是问谁最擅长运营 AI 实验室，还是谁对世界最好，还是……？

对，你想要什么结果？

因为我想，最好的 AI 实验室 CEO 成功的地方似乎是：融资、造势、设定一个连贯的愿景。我不知道 CEO 本人有没有好的研究品味之类有多重要，但看起来他们的角色更像是对外部世界的一种使者。而我觉得 LBJ 会很擅长这个。就是拿到正确的让步、让项目推进、在不同群体之间协调，也许——哦，Robert Moses。

再说一次，不一定对世界最好，但就“把事情办成”而言。

对。我是说，我觉得“对世界最好”是个相当重要的前提条件。

哦，对。谁会对世界最好？有一句 Lord Ackwood 的话：“伟人极少是好人。”所以很难想到历史上哪个伟人，我既觉得［会］真正推动事情向前，又信任他的道德判断。

对。我们在很多意义上对今天这批人很幸运，对吧？

没错。

比如，今天这批人既……他们既努力、很在意道德那一面，又能把实验室往前推。

这也是为什么我对那种宏大的方案持怀疑态度，比如国有化、或者某种公私合作，或者就是总体上把格局搅动得太厉害。因为我确实认为我们处在比较好的……我是说，不管是 alignment，还是某种部署、安全风险，那种难度——宇宙的本性就会让它在某个程度上很难。但在很多反事实宇宙里的人文因素，我觉得我们最后遇到的不会是这些人……比如，我们甚至可能处在一个他们连嘴上功夫都不做的宇宙，没有人有过那种想法——可能会有 ASI 接管。总体考虑下来，我觉得我们活在一个相当好的反事实宇宙里。

……一批很好的牌手在船上。

没错。没错。

你是怎么为快速到来的时间线做准备的？

如果时间线很快，那就会有那么六个月，人类历史上最重要的决定正在被做出。而我觉得，在那段时间里有一档 AI 播客可能有用。基本上这就是计划。

你在支出、健康或者其他方面，做过什么更短期的决定吗？

我采访完 Zuckerberg 之后，我公司的银行余额是负 23 美分。广告费一到，我立刻把它再投资到英伟达。所以，那就是……抱歉，不过你问的是从某种利他的角度？

不，不，就是总体上，比如，因为你的 AGI 时间线，你有改变自己的生活方式吗？

我从没去了解过怎么开 Roth IRA。

他之前给我们拿过 Fiji 水。

还是塑料瓶装的，所以……

Dwarkesh 变了。

那你们呢，你们的生活方式因此改变了吗？

也没有，没有。我就是，一直在工作。

但无论如何你都会那样做，还是不会？

啊，我大概会对我选择投身的那件事非常投入地去做。

对，对。你呢？

我取消了 401K 的缴款，所以——

哦，真的？

对，对，那个，那个感觉是更严肃的一个。我很难想象一个世界，我在这个账户里放着这么些钱，一直等到我 60 岁，而那时候情况看起来那么不一样。

我是说，靠你那些边际 401K 缴款，你可能会变成万亿富翁。

也许吧，但你也无法把它投到特定的东西上。而且，我不知道。我未来可能会改主意，可以重新开始，而我已经缴了几年了。

更严肃地说，我一直在想的一件事是：你怎么能把这笔钱用于利他的目的？基本上，如果在我了解的领域——也就是做内容——有某个人正在上升，我能不能用钱去支持他们？我对此有两种想法。一方面，有人为我做过这件事，而那实际上是我能继续做播客的原因之一，当时这档播客完全说不通，只有几百个听众之类的。我想特别感谢 Anil Varanasi 做了这件事。还有 Leopold，其实也是，通过他之前运营的那个基金会。

另一方面，就是那位博主说的那件事：好的那些你其实真的会注意到。很难找到一个被埋没的人才。也许我在这件事上完全错了。但我会觉得，如果我搞一个资助申请，说“如果你在试着做一个博客，我就给你钱”，我其实不确定那会有多奏效。

不过你也可以做不同的事。比如，有那种“我给你钱，让你搬到旧金山住两个月”。然后去认识人、获得更多背景和品味、以及关于你在做的东西的反馈，重点不太在钱或时间上。而是把他们放进一个能更快成长的环境里。比如，那是可以做的一件事。我觉得你在这一点上相当主动，你会刻意介绍你认为彼此会有意思的人认识，这类事情，所以……是啊。

对。不，我是说，这非常公平，而且我显然从搬到旧金山获益巨大。如果我不在这里，我不太可能把播客——至少是 AI 相关的——做到我现在这个程度。所以也许，仅凭人们现在已有的内容质量来判断他们、然后把钱扔给他们——不是扔钱，而是给他们足够的钱搬到旧金山，卷进这个智识环境里，然后也许因此做出点有意思的事——那样做是个错误。

最容易想到的是 MATS 项目，做 AI 研究的那个。它看起来在给人时间、资金和一种社会地位的正当性，让他们在有导师的情况下做 AI 安全相关的研究，这一点上取得了难以置信的成功。

哦，而你们，你们有一个类似的项目……

我们有 Anthropic Fellows Program。

没错，对。我知道你们大概在筛选稍微不同的东西，但我猜它会是幂律主导的。你有没有注意到一个模式，不管是 MATS 的 fellows 还是你们的 fellows，谁就是那种“这整件事值了”的人？

你对某件事的第一手看法是什么？

我是说，已经有好几个人被 Anthropic 和其他实验室从这个项目里招走了。所以，我觉得它的投资回报是巨大的。而且是啊，据说这些 fellows——我想有 20 个——真的很好。

但让它运转良好、或者找到那一个人的诀窍是什么？

我觉得随着时间推移它变得好多了：早期的 fellows，有些人做了好工作、拿到了好职位。所以现在后来的 fellows，质量门槛就一路上升、上升、上升。而且现在的导师也比以前更好。所以这是这种很酷的飞轮效应。但最初，它只是给那些没有资金或时间为自己打出名声、或者做有雄心的研究的人。所以那有点像给他们那个生态位去做。这看起来真的很关键。

你也可以做别的事，不一定要花钱。你可以把一些你很有兴趣读、或者想推广的想法放出来。

对，对，对。那边有些东西要来了。

好，这就对了。

所以，如果这期节目顺利的话，会在周二和书同时上线——顺便说，你可以在 stripe.press/scaling 拿到。但在周三，也就是第二天，希望这里有对你有用的东西。

我们还想问别的什么问题吗？

我有一套看法、但很少被问到的话题，是分发（distribution）。

AI 的分发？

不，抱歉。就是那种 Mr Beast 式的分发：人们——我觉得这是对的——把注意力放在内容上，如果内容不达标，我觉得你不会成功。但就某人在做类似事情的程度而言，他们一贯低估的，是花时间去把分发做对。我就是随便有些看法……比如，就增长而言，我的播客最成功的东西是 YouTube Shorts。那是你事先绝对预测不到的东西。而它们基本上至少贡献了播客一半的增长之类的。

我是说，我信。为什么你不会预测到？比如，我是说，我猜这里有那种对比：长形式的深度内容，和 YouTube Shorts 之类。但我绝对觉得它们是好的钩子。好内容。

我对怎么写推特之类的有一套看法。核心直觉是：写的时候就像在给一个群聊写。给你朋友的群聊，而不是什么正式的东西。

这里还能想到什么？

嗯，也许 TikTok 和 YouTube Shorts 之间的差别挺有意思。

哦，对。我们从没攻下过 TikTok。

为什么没有？比如，你试过吗？

试过。我是说——

试过？你什么都试过了吗？

不，我没有什么都试过。

你读过这些诗吗？也许你正泡在泡泡浴里、头上抹着胡须洗发水。

读诗？如果你能让这里面任何一点爆火，那会了不起。你现在必须做这个！

显化。读一首诗，把腿翘开。

上一期是可解释性挑战，现在是 Dwarkesh 泡在泡泡浴里。

我总得想办法把书卖出去，你知道吧？

但你简直就像 Margot Robbie 那样——

对，正是。解释种子机制。

对，对，对，对，对。

那什么是 scaling？

这就是你攻下分发的方式。

这就是你攻下分发的方式。

哦，不过是啊，不，就像我们做那期节目时，它上线了，你在分享一些关于它表现如何的有意思的小细节，还有你想用的缩略图和标题。我甚至觉得我还让你多分享一些细节，因为那些看起来有意思、很酷、很微妙。但看起来你其实也有点讨厌这件事。就像在玩这种必须把所有旋钮都优化好的游戏。

所以我意识到的是，我是说，人才就是一切，所以我很幸运有三到四个剪辑师，我特别骄傲能和他们共事。我不知道怎么再招到更多这样的人。他们就是那么好、那么自主。所以老实说，关于怎么纠正这一点，我没有诀窍。我招到了这些人。其中一位是阿根廷的农民，一位是斯里兰卡的大一数学学生，一位是 Mr Beast 某个频道的前剪辑师。另一位是捷克的导演，他做那些你在《Notes On China》里看到的 AI 动画，而且他正在做更多那样的文章。

所以，我不知道怎么再复制那种捞人的运气。

天，说实话，那网撒得真够宽的。该死。

但他们全都是，天哪，他们太厉害了。

而这些都是通过你的挑战赛、还有在推特上发帖来的？

没错。我搞过一个为我的播客做片段的比赛。我这样捞到了其中几个。是啊，很难，很难复制，因为我试过……“试过”，是事后才试的。

你觉得为什么这在视频剪辑师身上这么奏效？因为你对你幕僚长也试过类似的办法。

对。区别在于，对视频剪辑师来说，我认为存在这种套利机会，有些人……这从根本上就是：你愿不愿意努力工作、并且痴迷于随着时间变得更好？他们所有人都超额做到了这一点，但你就是能在别的国家找到这样的人……而且这甚至跟工资无关。比如，我把他们的薪水翻了十倍之类的。关键只是找到一个真正以数据为导向的人，而那里存在这种全球套利。

而在总经理那边……顺便说，我最后雇的那个人，也是我特别兴奋能一起共事的，是你从小最好的朋友。Max Farrens。

Max 太棒了。

他本来会有很多别的机会。不存在那种奇怪的套利——你在阿根廷找到某个农民。

对。不过是啊，挺惊人的：你找了挺久，然后只是随口提到 Max 在找新的事情做。

这问题会像那种“12 岁小孩了解世界”的问题，但我真的不知道大公司是怎么招人的。因为我找这个人找了一年，而我对最后雇到的人真的很满意。但就像，如果我需要为一间公司招 100 个人，更别说 1,000 个人，我就是不知道该怎么规模化地找到这样的人。

对，我是说，我觉得这是创业公司 CEO 的头号问题。招人。它就是无情地排第一。

对。而让我震惊的是，我的平台似乎没帮上多大忙。在我几轮公开招募里，我收到了接近 1,000 份申请。而且我觉得有很多非常酷的人申请了。但我最后雇的那个人，其实只是别人推荐来的，像共同朋友那种。另外几个最强的候选人也是这样。所以这挺奇怪。世界上最好的人不想申请，至少不想申请这类东西，你只能主动去找他们。即便你以为自己有公开平台之类的。

对。对，我是说，这份工作可能就是太偏离分布了，跟人们会做的任何别的事都不一样。

没错，对。

Aditya Ray 问：“作为一个新手写作者，你怎么在 Substack 上做起来？”

我觉得如果你是从零开始，有两个有用的窍门。一个是做播客，因为你不需要有某个超级原创的新观点。你只需要采访那些有观点的人，然后你可以借他们的平台。

第二是写书评。同样，因为你有一个可以回应的东西，而不必自己想出一套独特的世界观。大概还有别的办法，而且提前给建议真的很难。就去试。但我觉得这些是很好的冷启动。

书评是个好建议。我其实会用 Gwern 的书评来给别人推荐书。

顺便说，这是一个供给严重不足的东西。因为如果有人有书评的话。Jason Furman 是那位经济学家，他大概有一千条 Good Reads 书评。而我大概独立访问过他的 Good Reads 一百次。Gwern 的书评也一样，对吧？

所以，如果你想开始做某种内容，书评是一个供给非常不足的东西。

我喜欢这个。

对。酷。太谢谢你们俩来做这个了。

对，这挺好玩。

我们很快会再把位置调换过来。

坐在热座上感觉如何？

挺好的。从来没人问我问题。

从来没人问过 Dwarkesh 怎么样！

酷。对，对，超级期待这本书上市。

谢谢。

顺便说，那个网站很棒。

谢谢。Stripe.press/scaling

对。

酷。

谢谢你们，各位。

回头见。

谢谢。