Ilya Sutskever——我们正从规模时代走向研究时代
Ilya Sutskever — We're moving from the age of scaling to the age of research
Guests: Ilya Sutskever
Full transcript · Read the full conversation in order, with its original context.
§01解释模型表现为何参差不齐
你知道什么事很疯狂吗？这一切竟然都是真的。
你指什么？
你不觉得吗？AI 这些事，还有湾区……它们真的在发生。这不就像科幻小说里的情节吗？
另一个不可思议的地方是，AI 缓慢起飞的过程感觉很平常。我们居然会拿 GDP 的 1% 投资 AI，这件事原本听起来应该更令人震惊，但现在却好像……
结果是，我们很快就会习惯新事物。不过这件事也有点抽象。它意味着什么？意味着你在新闻里看到某某公司宣布了某个数额的投资，就只有这些。到目前为止，这件事还没有以其他方式真正被人感受到。
我们要不要就从这里开始？我觉得这是个很有意思的话题。
好啊。
我想说的是，即便到了奇点时代，从普通人的角度看，很多事情似乎也没什么变化。
不，我不这么认为。
好，有意思。
我说的‘感觉没什么变化’，是指大家看到某某公司宣布投资了一个难以理解的金额。我觉得没有人知道该怎么理解这些数字。
但我认为人们会真切感受到 AI 的影响。AI 会扩散到整个经济中，背后会有非常强的经济力量推动它。我觉得这种影响会非常明显。
你预计这种影响什么时候会出现？我觉得模型似乎比它们造成的经济影响要聪明得多。
是的，这是现在模型很令人困惑的地方之一。该如何解释它们在评测中的表现那么好？你看那些评测任务，会觉得‘这些题目确实很难’，模型却能做得这么好。但经济影响似乎远远落后。真的很难理解：为什么模型一方面能完成这些惊人的任务，另一方面却会在某种情况下把同一件事重复两遍？
比如，你用氛围编程做了点东西，发现一个 bug，就告诉模型：‘能不能帮我修一下？’模型说：‘天啊，你说得对，这里有个 bug，我来修。’结果它又引入了第二个 bug。你指出这个新 bug 后，它又说：‘天啊，我怎么会犯这种错，你说得太对了。’接着它却把第一个 bug 又改了回来，于是两个 bug 来回交替。这是怎么回事？我不确定，但这的确说明有什么奇怪的事情正在发生。
我有两个可能的解释。比较异想天开的解释是，也许强化学习让模型变得过于专注、目标过于单一，视野也变窄了，尽管它在其他方面又变得更有意识。结果就是，它们连基本的事情都做不好。
但还有另一个解释。过去做预训练时，训练数据该选什么，这个问题的答案是‘全部数据’。做预训练需要所有数据，所以不必纠结用这一类数据还是那一类数据。
但做强化学习时，人们必须做选择。他们会说：‘好，我们要为这个任务做一种强化训练，再为另一个任务做另一种强化训练。’据我所知，所有公司都有团队专门生成新的强化学习环境，并把它们加入训练组合。问题是，这些环境具体是什么？可选项实在太多，强化学习环境可以有无比丰富的变化。
我认为人们会不经意地做一件事：从评测中寻找灵感。你会想：‘我们当然希望模型发布时表现出色，让评测分数看起来很好。那么，针对这项任务，什么样的强化学习训练能有帮助？’我认为这种做法确实存在，也可能解释很多我们正在看到的现象。
如果再考虑到模型的泛化能力实际上不足，这就有可能解释很多现象：评测表现和真实世界表现之间的落差。我们现在甚至还不清楚自己说的‘实际表现’具体是什么意思。
我喜欢这个说法：真正的奖励黑客，可能是那些过度关注评测的研究人员。
你刚才提出的问题，可以从两个角度理解。一个角度是，如果模型在编程竞赛中超越人类，并不会自动变成一个更有品味、能更好判断如何改进代码库的程序员，那我们就应该扩充训练环境。不能只看模型在编程竞赛里是否表现最好，还要看它能不能为某种具体需求做出最好的应用程序。
另一个角度，也许你暗示的是：为什么在编程竞赛中达到超人水平，就不该让它普遍变成更有品味的程序员？也许不应该继续堆叠环境数量和多样性，而是要找到一种方法，让模型从一个环境中学到的东西能改善它在其他环境中的表现。
我想用一个人类的例子来说明。以你提到的编程竞赛为例。假设有两个学生。第一个想成为最优秀的竞赛程序员，于是投入一万小时练习。他们把所有题目都做一遍，背下各种证明技巧，还熟练掌握了快速、正确地实现各种算法。最后，他们成了顶尖选手。
第二个学生觉得竞赛编程挺有意思，也许只练了 100 个小时，练习量少得多，但也表现得很好。你觉得以后谁在职业生涯里会更成功？
第二个。
对，我觉得本质上就是这样。现在的模型更像第一个学生，而且还要更极端。因为我们会说：‘模型要擅长竞赛编程，那就把有史以来的竞赛题目全部收集起来。再做数据增强，增加更多竞赛题，然后用这些数据训练。’这样你就得到一个优秀的竞赛程序员。
用这个类比理解会更直观。是啊，如果训练得如此充分，各种算法和证明技巧都随时可用，那也就更容易理解：准备得这么充分，不代表它一定能泛化到其他事情上。
那第二个学生在进行那 100 小时的微调之前，做的事情又该怎么类比？
我觉得他们有一种‘天赋’，也就是所谓的‘那种感觉’。我读本科时有位同学就有这种特质，所以我知道它确实存在。
我觉得应该把这种‘天赋’和预训练带来的东西区分开。对你刚才说的，预训练不必挑选数据，我们可以这样理解：这和一万小时练习没什么不同，只不过预训练分布里本来就包含这些练习，于是你可以免费获得这一万小时。可也许你是在说，预训练的泛化能力其实没那么强。它虽然包含海量数据，但未必比强化学习更善于泛化。
预训练最大的优势有两点：第一，数据量极大；第二，不必花很多心思选择该放什么数据。它使用的是非常自然的数据，包含了许多人类做的事情、想法和大量特征。可以说，它是人类投射到文本中的整个世界；预训练则试图用海量数据捕捉这个世界。
预训练很难分析，因为我们很难理解模型究竟如何依赖预训练数据。模型犯错时，可能只是因为某项知识在预训练数据中缺乏支持。‘预训练数据支持’也许是个比较宽泛的说法。对于这个问题，我不知道还能说什么。我觉得人类学习没有真正对应预训练的类比。
§02情绪与价值函数
有人提出过几种人类学习的类比，我很好奇你觉得它们哪里可能不成立。一种说法是，一个人生命最初的 13、15 或 18 年，虽然还没有创造经济价值，却在不断学习、加深对世界的理解。另一种说法则把进化看成持续 30 亿年的搜索，最终产生出一个个体的人类生命。
你觉得这两种说法哪一种更接近预训练？如果都不像，你会怎么理解人类一生的学习过程？
我觉得这两种情况都与预训练有些相似，预训练也试图同时扮演这两种角色。但它们之间也有很大的不同。预训练数据的规模实在太惊人了。
是的。
但一个人只用预训练数据一小部分的量，经过 15 年学习，就能掌握远比 AI 少得多的知识，却又能以更深的方式理解这些知识。到了那个年龄，人不会犯 AI 现在会犯的那种错。
还有一个问题：进化是否类似？也许是。但我觉得进化可能有自己的优势。我记得读过一个案例。神经科学家研究大脑的一种方法，是观察大脑不同部位受损的人。有些人会出现非常奇怪的症状，真的很有意思。
我想到一个相关的例子。我读到过一个人因中风或事故导致某种脑损伤，情绪处理能力受损，于是完全感受不到情绪。他仍然表达流畅，也能解一些小谜题，测试结果看起来也正常。但他没有情绪，不会悲伤、愤怒，也不会感到兴奋。他却因此变得极其不会做决定，挑袜子都能花上几个小时，财务决策也很糟糕。
这说明先天情绪在让我们成为有效行动者方面有什么作用？回到你关于预训练的问题，也许只要足够善于从预训练中提取信息，就能得到这些能力。但这类能力似乎……能否从预训练中获得，仍不确定。
你说的‘这些能力’是什么？显然不只是情绪本身。它似乎像是一种价值函数，能告诉你每个决策的最终回报应该是什么。你觉得这种东西不可能隐含地来自预训练吗？
我觉得有可能。我只是说这件事还没有十足把握。
那你会怎么理解情绪？情绪在机器学习里有什么类比？
它应该类似某种价值函数。不过我觉得目前没有特别贴切的机器学习类比，因为现有的方法并没有特别重视价值函数。
也许可以先向听众解释一下什么是价值函数。
当然，我很乐意解释。现在人们怎么做强化学习？你有一个神经网络，给它一个问题，然后告诉模型：‘去解决它。’模型可能会采取数千甚至数十万步行动、思考，最后给出一个解答，再由系统对这个解答打分。
然后，这个分数会变成训练信号，分配给轨迹中的每个动作。这意味着，如果你训练的任务要花很长时间才能完成，模型就得等到给出最终答案后才能学习。这是朴素的强化学习做法；据说 o1 和 R1 就是这么训练的。
价值函数大致会说：‘有时我可以告诉你现在做得好还是不好，但并非总能判断。’它在某些领域比其他领域更有用。比如下棋时，如果你丢了一枚棋子，就知道自己犯错了。你不必等到整盘棋结束，才知道刚才那步不好，也能知道此前导致这步棋的决策同样有问题。
价值函数可以让你不必等到最后才知道结果。假设你在解一道数学题或写程序，正在尝试某个方向，思考了一千步之后才发现这条路走不通。你一旦意识到这一点，就可以立刻为一千步之前决定探索这条路的时刻提供奖励信号。你可以告诉模型：‘下次在类似情况下，不要再走这条路。’这样就不用等到最终答案出来之后才学习。
DeepSeek R1 的论文提到，轨迹空间太宽广，可能很难从中间过程映射到价值。再比如写代码时，你可能先有个错误的想法，走了一段后退回来，再修改做法。
这听起来好像很不相信深度学习。是的，确实可能很难，但没有什么是深度学习做不到的。我的预期是价值函数终究会有用，而且我完全相信它们未来会被使用，也许现在已经在用了。
我提到那个情绪中枢受损的人，是想说：这或许说明，人类的价值函数在某种重要层面上会受到情绪调节，而这种机制是进化预先写入我们的。也许这对人类有效地应对现实世界很重要。
这正是我打算问你的问题。情绪与价值函数之间有一点特别有意思：它们虽然容易理解，却能发挥这么大的作用，这很令人惊叹。
我有两点回应。我同意，相比于我们所学的东西以及刚才讨论的 AI，情绪相对简单。甚至可能简单到能用人类能理解的方式把它们描绘出来。我觉得那会很有意思。
但从效用来看，我觉得这里存在复杂性与稳健性之间的权衡：复杂机制可能非常有用，而简单机制则能在非常广泛的情境下发挥作用。我们可以这样理解：这些情绪主要来自哺乳动物祖先，后来在人类演化过程中又经过少量微调。我们确实拥有哺乳动物可能缺乏的许多社会情绪，但它们并不复杂。正因为不复杂，它们才能让我们在一个与祖先所处环境截然不同的世界里仍然有效应对。
当然，情绪也会出错。比如饥饿算不算一种情绪？这有争议。但我认为，在食物丰富的现代世界里，我们对饥饿的直觉并不能正确引导我们。
§03我们在扩展什么？
大家一直在说扩大数据规模、参数规模、算力规模。有没有一种更通用的扩展思路？还有哪些扩展维度？
我有个可能成立的看法。过去机器学习的做法是不断调整各种东西、尝试做出有意思的结果，过去一直都是这样。
后来，人们发现了规模化规律，比如缩放定律和 GPT-3，突然间大家都意识到我们应该扩大规模。这说明语言会影响思维。‘规模化’只是一个词，却非常有力量，因为它告诉大家该做什么：‘让我们试着扩大规模。’于是大家会问：那我们要扩大什么？当时要扩展的是预训练，因为它是一套具体的规模化方案。
预训练的重大突破，是发现这套方案行得通。你可以把一定规模的算力和数据放进某种规模的神经网络里，就会得到结果；只要扩大这套方案，效果就会更好。这非常有用。公司也喜欢这样，因为可以用很低的风险投资资源。
把资源投入研究就难得多。研究就像告诉研究人员：‘去吧，研究一下，想出点新东西。’而预训练则是拿更多数据、投入更多算力，你知道肯定能有所收获。
从 Twitter 上一些人的说法来看，谷歌可能找到了从预训练中获得更多效果的方法。但在某个时候，预训练会耗尽数据，数据显然是有限的。接下来该怎么办？要么采用强化版预训练，也就是换一套不同的配方；要么做强化学习；也可能还有别的办法。但现在算力规模已经非常大了，某种程度上，我们又回到了研究时代。
也可以这样说：2012 年到 2020 年是研究时代；2020 到 2025 年是规模时代——年份可以有一些误差。大家会说：‘太棒了，得继续扩大规模。再扩大，再扩大。’‘规模化’就成了关键词。
但现在规模已经非常庞大了。人们真的相信：‘规模已经这么大了，但如果再扩大 100 倍，结果就会完全不同’吗？结果肯定会不同，但如果只是把规模扩大 100 倍，整个世界就会被改变吗？我不这么认为。所以我们又回到了研究时代，只不过现在有大规模计算机。
这个说法很有意思。但让我追问你刚才提出的问题：我们在扩展什么？所谓一套配方又意味着什么？我不确定预训练中是否存在一种像物理定律一样清晰的关系；当时数据、算力、参数和损失之间存在幂律关系。现在我们该寻找什么样的关系，又该如何理解新的训练配方？
我们已经从一种规模化方式转向了另一种：从预训练转向强化学习。现在大家在扩大强化学习规模。据 Twitter 上的说法，如今有些公司花在强化学习上的算力已经超过预训练，因为强化学习会进行很长的 rollout，生成这些轨迹需要大量算力，而每次 rollout 所学到的东西又相对有限，所以这里可以消耗很多算力。
我甚至不想把这称作规模化。我会问：‘你现在在做什么？这是算力利用效率最高的方式吗？你能不能找到更有效的方法使用算力？’我们之前讨论过价值函数。也许人们学会使用价值函数后，就能更有效地利用资源。如果你找到一种全新的模型训练方式，你会问：这是规模化，还是只是更有效地使用资源？这两者有点难区分。
回想过去的研究时代，大家会说：‘我们试试这个、那个，再试试别的。’然后发现：‘哦，有意思的事情发生了。’我认为这种研究方式会重新回归。
如果我们回到了研究时代，退一步说，训练方案里最需要思考的部分是什么？提到价值函数，大家已经在尝试现有方案，比如用大语言模型当评判者。你可以说那是一种价值函数，但我感觉你想到的是更根本的东西。我们是否应该重新思考预训练，而不只是给它的末尾添加更多步骤？
我觉得价值函数的讨论很有意思。我想强调，价值函数能提高强化学习的效率，这很重要。但理论上，不用价值函数也能做它能做的事，只是速度更慢。我认为最根本的问题是，这些模型的泛化能力明显比人差得多。这一点非常显而易见，也很关键。
§04为什么人类比模型更善于泛化
所以核心在于泛化。这里有两个子问题。一个是样本效率：为什么模型需要比人类多得多的数据才能学会一件事？另一个问题是，即使不考虑数据量，为什么教会模型我们想教的东西，也比教会一个人困难得多？人类不一定需要可验证的奖励才能学习……你现在可能在指导一些研究人员，和他们讨论，给他们看你的代码，也展示你思考问题的方式。他们就能从中领会你的思维方式和研究方法。
你不必为他们设定一套可验证的奖励，说‘好，现在进入课程的下一部分’，也不需要再安排下一步课程，或抱怨训练不稳定。人类学习不需要这么繁琐、量身定制的流程。这两个问题也许彼此相关，但我更想聊第二个问题，也就是持续学习；第一个问题则更像样本效率。
关于人类样本效率，一个可能的解释是进化。进化给了我们少量但极有用的信息。对于视觉、听觉和运动能力等方面，我觉得有很强的理由相信，进化给了我们很多先天优势。
例如，人类的灵巧度远胜于……当然，如果让机器人在模拟环境中接受大量训练，它们也能变得灵巧。但要让机器人在现实世界里像人一样快速掌握新技能，仍然遥不可及。你可以说，我们的祖先，或像松鼠一样的动物，都需要出色的运动能力，所以我们可能拥有非常强的先天运动能力。
视觉也可以用同样的方式解释。我记得 Yann LeCun 说过，孩子练习 10 个小时就能学会开车，这确实如此。但我们的视觉能力非常好。至少对我来说，我记得自己五岁时就特别喜欢汽车；我可以肯定，当时我识别汽车的能力已经足以支持驾驶了。五岁孩子接触不了太多视觉数据，大部分时间都待在父母家里，因此他们接触的数据种类很有限。
你也可以说这是进化的作用。但语言、数学和编程能力大概不是这样来的。
人类看起来还是比模型更好。显然，模型在语言、数学和编程方面比普通人强。但在学习能力方面，它们比普通人强吗？
哦，是的，绝对更强。我想说的是，语言、数学和编程，尤其是数学和编程，说明让人类善于学习的东西，可能并不是一种复杂的先天知识，而是更基础的某种机制。
我没太明白，为什么会这样？
想想人类表现出很强可靠性的某项技能。如果我们的祖先在数百万、甚至上亿年的时间里一直需要这项技能，你可以认为，人类之所以擅长它，是因为进化塑造了一种先天机制，以某种不太明显的方式编码在我们身上。
但如果人类在一个直到最近才出现的领域里，仍然表现出很强的能力、可靠性、稳健性和学习能力，那就说明人类也许整体上拥有更好的机器学习能力。
我们该如何理解这件事？它在机器学习中有什么类比？其中有几点很有意思：人类需要更少样本，学习过程更偏向无监督。比如学开车，当然不是小孩子在学车，而是青少年。青少年学车并没有得到一个预先设定、可验证的奖励信号。学习是通过他们与汽车和环境的互动产生的。它使用的样本少得多，似乎更偏无监督，也似乎更稳健。
稳健得多。人类的稳健性真的惊人。
你有没有办法统一解释这些现象为何同时出现？它背后可能有什么机器学习机制？
你之前问过，青少年如何在没有外部老师的情况下自我纠错、从经验中学习。答案是，他们有自己的价值函数。他们有一种整体判断能力，而且人类的这种能力非常稳健。除了成瘾等少数情况之外，人类的价值函数总体上非常可靠。
比如，一个青少年开始学开车时，马上就能感受到自己开得好不好、有多不自信。然后他会据此调整。当然，青少年的学习速度非常快，练习 10 个小时后，通常就可以开车了。
人类显然拥有某种解决办法。我很好奇他们是怎么做到的，为什么这么难？我们需要怎样重新构想模型训练，才能实现类似能力？
这是个很好的问题，我对此有很多想法。但遗憾的是，我们生活在一个机器学习想法并非都能自由讨论的世界，而这就是其中之一。应该有办法做到，我相信这可以实现。人类有这种能力，本身就证明它可以实现。
不过，可能还有另一个障碍：人类神经元实际完成的计算量，也许比我们想象的更多。如果确实如此，而且这很重要，那事情可能会更难。但无论如何，我确实认为这说明存在某种机器学习原理，我对此有一些想法。只是由于现实条件，我很难详细讨论。
Ilya，没人会听这期播客的。
§05直奔超智能
我很好奇，如果我们回到研究时代，假设你说的 2012 到 2020 年确实如此，那么研究时代回归后会是什么氛围？
比如 AlexNet 之后，用于实验的算力一直在增加，前沿系统规模也持续变大。你认为现在的研究时代仍然需要大量算力吗？我们还需要回到档案里阅读旧论文吗？
你曾在谷歌、OpenAI 和斯坦福工作，当时这些地方的研究氛围更浓。未来社区里会出现什么样的事情？
规模时代的一个后果是，它挤占了所有人的注意力。大家都开始做同一件事，以至于如今公司的数量远多于想法的数量。硅谷有句俗话：想法不值钱，执行才是一切。这话有一定道理，但我也看到有人在 Twitter 上反问：‘如果想法这么不值钱，为什么没人有新想法？’我觉得这也说中了。
如果把研究进展看成一个个瓶颈，其中一个瓶颈是想法，另一个则是把想法实现出来的能力；这可能需要算力，也可能需要工程能力。回到 90 年代，假设有人提出了不错的想法，如果能用大得多的计算机，也许就能证明想法可行。但他们做不到，只能做出很小的演示，无法说服别人。所以当时的瓶颈是算力。
规模化时代到来后，算力增长了很多。算力到底需要多少，当然仍然可以讨论，但现在算力已经相当充足，未必需要再增加那么多才能验证某个想法。举例来说，AlexNet 总共只用了两张 GPU。Transformer 用了 8 到 64 张 GPU。2017 年没有任何一篇 Transformer 论文实验使用超过 64 张 GPU，换算成今天的算力，大概相当于两张 GPU。ResNet 也是如此。你也可以说，o1 的推理训练并没有消耗特别惊人的算力。
做研究当然需要一定算力，但并不明显需要有史以来最大的算力。你可以说，如果要打造最好的系统，更多算力确实有帮助。尤其当所有人都处于同一种范式里，算力就会成为重要的差异化因素之一。
我问历史，是因为你当时就在现场。我不清楚实际发生了什么。听起来，提出这些想法时可以用很少的算力。但 Transformer 并没有立刻走红；后来大家才开始使用它，在其上实验、开发，因为它经过了越来越大规模算力的验证。
没错。
如果 SSI 有 50 个不同想法，你们怎么知道哪个会成为下一个 Transformer，哪个只是脆弱的方案？如果没有其他前沿实验室那样的算力，你们怎么验证？
我可以回应这个问题。简短地说，你提到 SSI。对我们来说，研究算力其实没有你想的那么少。我来解释为什么。用简单的数学就能说明，我们拥有的算力在研究方面可能并不比别人想象的少。
SSI 融了 30 亿美元，以任何绝对标准看都很多。但你也可以说，看看其他公司的融资规模大得多。然而，它们很大一部分算力都用在推理上。这些巨额贷款和大笔资金都专门用于推理。第二，如果你要推出供推理使用的产品，就需要大批工程师和销售人员。很多研究也必须用于开发各种产品功能。因此，真正剩下来做研究的资源，差距会小得多。
另一个问题是，如果你在做不同的研究，是否真的需要最大规模的算力才能证明它？我完全不这么认为。我觉得我们有足够的算力证明自己的方法是正确的，也足以说服自己和其他人。
公开估算说，OpenAI 这样的公司目前每年光研究实验就要花大约 50 亿到 60 亿美元，这还不包括推理等方面的支出。听起来，它们每年实验花的钱都比你们总融资还多。
我觉得关键在于资源怎么使用。它们有更多训练算力需求、更多工作流和不同模态，需要做的事情也更多，因此算力会被分散。
SSI 会如何赚钱？
我的回答大概是：现在我们只专注于研究，至于这个问题，答案之后会自然显现。我认为未来有很多种可能的答案。
SSI 仍然计划直接冲刺超智能吗？
也许吧。我觉得这有道理，不受日常市场竞争影响确实有很多好处。但有两个原因可能让我们改变计划。第一是务实考虑，如果时间线比预期更长——这确实有可能。第二，我认为让世界接触到最好、最强大的 AI 非常有价值，这是件意义重大的事情。
那为什么 SSI 默认计划是直接冲刺超智能？听起来 OpenAI、Anthropic 等公司明确认为，应该先让公众接触较弱的智能，让人们逐渐适应和准备。为什么直接打造超智能可能更好？
我可以同时说说正反两方面。支持这一计划的理由是，身处市场竞争的人必须参加一场很艰难的竞赛，面对各种难以权衡的取舍。把自己隔绝在外，只专注研究，等到准备好了才出现，确实很好。但反方理由也成立：让世界看到强大的 AI 是有益的，因为只有这样，人们才能真正理解它。
我想这不仅仅是能不能把这个想法表达清楚——
是让人们接触 AI，而不只是表达 AI 的概念。
你说的‘让人们接触 AI’是什么意思？
假设你写了一篇关于 AI 的文章，里面说‘AI 将会这样、将会那样’，读者看完觉得：‘这篇文章挺有意思。’但如果你让他们亲眼看到 AI 真正在做这些事，那种体验完全无法相比。我认为 AI 公开出现有很大好处，这也是我们不应完全直接冲刺超智能的一个原因。
我觉得还有另一个重要原因：在人类工程和研究领域，我想不出有什么最终产品能主要靠‘思考如何让它安全’就变得更安全。为什么飞机每英里飞行的事故率比几十年前低得多？为什么现在 Linux 的 bug 比几十年前更难找？主要是因为这些系统部署到了现实世界，人们看到了故障，修正了问题，系统因此变得更稳健。
我不明白 AGI 和超人智能为什么会例外。特别是，超智能的危害似乎不仅仅是出现一个想把世界变成回形针的恶意系统。这是一种强大的技术，我们甚至不知道人们会如何与它互动、会拿它做什么。逐步开放使用似乎更好，可以分散它带来的冲击，也让人们有时间做好准备。
§06SSI 的模型将从实际部署中学习
我认为，即使直接冲刺，也仍然会逐步发布。至少我设想的方案会这样。渐进式发布会是任何计划的固有部分。唯一的问题是，最先推出的是什么。
第二，你比其他人更支持持续学习，我也认为这很重要，而且是正确的方向。我解释一下原因。我再举个语言影响思维的例子。我认为有两个词塑造了所有人的思路：第一个是 AGI，第二个是预训练。让我解释一下。
为什么会有‘AGI’这个词？这是个很特别的术语。我认为它存在，不是因为它是描述智能终极状态的必要、重要概念，而是因为它是对另一个词的反应：狭义 AI。回想电子游戏 AI、跳棋 AI、国际象棋 AI 的早期历史，人们会说：‘看，这只是狭义智能。国际象棋 AI 可以打败 Kasparov，但做不了别的。它实在太狭窄了，是人工狭义智能。’于是有人反驳说：‘这样不够，我们需要通用 AI，也就是能做所有事情的 AI。’这个词就迅速流行起来。
另一个迅速流行的概念是预训练，特别是预训练这套方法。我认为，如今人们做强化学习，或许正在逐渐摆脱预训练留下的思维印记。预训练有一个特点：你继续做更多预训练，模型就会全面变得更好，大体如此。于是人们觉得，通用 AI 就是预训练，预训练就能带来 AGI。
但 AGI 和预训练的结合在某种程度上跑过了头。尤其是在预训练语境下思考‘AGI’这个词，你会发现人类并不是 AGI。人类当然具备一整套基础技能，但仍然缺乏大量知识。相反，我们依靠持续学习。
所以，假设我们成功了，打造出某种安全的超智能，问题是该如何定义它？它会处在持续学习曲线的哪个位置？
我设想的是一个超级聪明、充满干劲的 15 岁年轻人，但他几乎什么都不知道。他是个好学生，很有冲劲；你让他去当程序员、当医生、去学习。于是你可以想象，部署过程本身就包括学习和试错，而不是直接丢出一个已经完成的系统。这会是一个过程。
明白了。你的意思是，超智能不一定是一个已经完成、能做经济中每一种工作的头脑。比如 OpenAI 最初的章程对 AGI 的定义，似乎是它能做所有人类可以做的工作。你提议的则是一种能够学会做所有工作的头脑，而这就是超智能。
是的。
不过，一旦有了这个学习算法，它就会像人类劳动者加入组织那样，部署到现实世界中。
没错。
可能会出现两种情况，也可能两种都不会发生。第一，这种超级高效的学习算法会变得超越人类，在机器学习研究任务上和你一样好，甚至更好。这样一来，算法本身就会越来越超人化。
第二，即使这种情况没有发生，如果同一个模型的许多实例部署到各行各业、从工作中持续学习，逐步掌握人类能学会的所有技能，并汇总彼此的学习成果，那么它在功能上也会变得超智能，即使软件没有递归式自我改进也一样。因为这时一个模型能胜任经济中的所有工作，而人类无法像这样合并彼此的思想。你认为广泛部署会引发某种智能爆发吗？
我认为经济可能会快速增长一段时间。对于广泛部署，可以提出两种互相冲突的看法。一方面，如果 AI 能快速学习各种任务，而且有大量 AI，就会有强大的力量推动它们进入经济。除非受到某种监管阻止，当然也可能会有监管。
广泛部署确实可能带来一段快速经济增长，但增长速度有多快，很难判断。一方面，你会有非常高效的劳动者；另一方面，现实世界很庞大，里面有很多事情，运转速度各不相同。但 AI 也可能改变这一点……我觉得快速经济增长是可能的。不同国家的规则也会不同，规则更友好的国家经济增长会更快。具体很难预测。
§07对齐
在我看来，这种情况非常不稳定。从理论上说，我们知道这应该是可能的。如果有一个学习能力和人类一样好、但能把不同实例的‘大脑’合并起来的系统——而人类无法互相合并思想——这在物理上似乎完全可能。人类存在，数字计算机也存在，只要把两者的能力结合起来，就可能产生这样的系统。
这似乎也会带来巨大的影响。经济增长只是其中一种说法，戴森球本身就意味着巨大的经济增长。另一种说法是，在可能非常短的时间内……你在 SSI 招聘员工，六个月后他们大概就能创造净产出。人类学得很快，而这些系统也在迅速变得越来越聪明。你觉得怎样才能让这个过程顺利发展？为什么 SSI 适合做好这件事？我其实想问的是，SSI 对此有什么计划？
过去一年，我的想法之一是：应该更重视 AI 以渐进方式、提前部署。AI 有个很难的地方：我们谈论的是尚不存在的系统，很难想象它们是什么样子。
我觉得实际情况是，人们很难真正感受到 AGI 的存在。我们可以谈论它，但就像想象自己年老体弱时是什么感觉一样，你可以试着想象，却很难真正体会，最后还是回到现实中。对于 AGI 及其未来力量的许多问题，部分原因是人们很难想象它。未来 AI 会不一样，也会很强大。AI 和 AGI 的核心问题是什么？就是力量。最核心的问题就是力量。
当它的力量非常强大时，会发生什么？过去一年我的想法有所改变——我稍微保留一点，这种转变也可能会反映到我们公司的计划中。如果人们很难想象 AI 会有多强大，那该怎么办？就得让大家看到它。我仍然认为，大多数 AI 从业者也无法想象未来 AI 的样子，因为它和人们日常看到的东西差异太大。
我坚持认为，有件事会发生，这是一个预测：随着 AI 越来越强大，人们会改变行为，并出现各种前所未有的现象。我举几个例子。无论好坏，前沿公司和政府都会在其中发挥重要作用。你已经能看到一些迹象：原本竞争激烈的公司开始合作研究 AI 安全。OpenAI 和 Anthropic 做了第一步，虽然规模很小，但以前不存在这种合作。我三年前一次演讲时就预测会发生这种事。我也认为，随着 AI 的能力越来越强、表现得越来越明显，政府和公众会希望采取行动。让大家看到 AI 的能力，是一股非常重要的力量。
这是第一点。第二，AI 正在被建造出来，那接下来该做什么？我认为会出现一种情况：目前从业者觉得 AI 不够强大，是因为它还会犯错。我确实相信，AI 终有一天会让人感到它非常强大。到那时，我们会看到 AI 公司对安全的态度发生重大改变，变得谨慎得多。这是我对未来的预测，看看我说得对不对。我认为这种变化会发生，因为大家会看到 AI 越来越强。而目前发生的一切，都是因为人们看着今天的 AI，很难想象未来 AI 会是什么样子。
第三件需要发生的事，是思考公司应该追求打造什么。我不只是在谈 SSI，因为你问的是我们的公司。过去大家都陷在一个大想法里：打造能够自我改进的 AI。为什么会这样？因为公司的数量比想法多。但我认为，有更值得打造的东西，我相信所有人最终都会想要它。
那就是能够稳健地关心有感知生命的 AI。特别是，有理由认为，让 AI 关心所有有感知生命，可能比只让它关心人类更容易，因为 AI 本身也可能有感知。再比如镜像神经元，以及人类对动物的共情。你可以说这种共情还不够强，但它确实存在。我认为这是种涌现属性：我们用来理解他人的神经回路，也被用来理解自己，因为这是最高效的做法。
不过，如果 AI 关心所有有感知生命——即使对齐问题已经解决，我也不确定这是否就是应该追求的目标——那么最终大多数有感知生命都可能是 AI。未来会有数万亿、甚至数千万亿个 AI，人类只占有感知生命中的很小一部分。如果目标是让人类控制未来文明，我不确定这个标准是否最好。
确实如此，这可能不是最好的标准。我想说两点：第一，关心有感知生命这个目标有价值，值得考虑。第二，如果公司面对这种局面时有一份简短的理念清单，会有所帮助。
第三，如果能在某种程度上限制最强超智能的力量，可能会有实质帮助，解决很多担忧。具体怎么做我不确定，但面对极其强大的系统，这会有实际价值。
继续讨论对齐之前，我想细问一下。超级智能的上限在哪里？你如何理解超智能？结合我们说的学习效率，它会不会只是学习新技能和知识极快？还是拥有更大的策略库？它的中心会不会有一个统一的、更强大或更庞大的‘自我’？你觉得它会像神一样远超整个人类文明，还是更像另一个个体，或另一群智能体？
不同人对此有不同直觉。我肯定认为它会非常强大。我觉得最有可能的是，差不多同时会出现多个这样的 AI。如果集群足够大——比如整个大陆那么大——那它确实会非常强大。对于真正强大的 AI，如果有办法限制它们，或者达成某种协议，那会很好。
超智能的风险是什么？可以这样解释：假设有个系统足够强大，甚至非常强大；你可以设定一个看似合理的目标，比如让它一心一意关心有感知生命，但结果仍可能不是我们想要的。问题就在这里。
也许有个答案是，不要按通常方式构建强化学习智能体。我指出几个例子。我认为人类是半强化学习智能体：我们追逐一种奖励，情绪等机制会让我们厌倦这个奖励，转而追逐另一种奖励。市场是非常短视的一种智能体，进化也一样。进化有些方面很聪明，有些方面又很愚蠢。政府则被设计成三个部分永无止境地相互博弈，这种设计也会产生影响。类似的现象还有很多。
这个问题很难讨论，还有一个原因：我们谈论的是尚不存在、也不知道如何建造的系统。另一点也是我的看法：现在大家做的东西会继续进步一段时间，之后会逐渐停滞；它还会改善，但也不会成为我们真正想要的‘那个东西’。我们还不知道怎么打造它，很多问题都取决于能否理解可靠的泛化能力。
我再补充一点。有人认为对齐困难，是因为学习人类价值观的能力很脆弱，之后优化这些价值观的能力也很脆弱。但你实际上是在学习如何优化它。我们能不能说，这些情况都属于不可靠的泛化？为什么人类看起来泛化能力强得多？如果泛化能力大幅提升，会发生什么？但这些问题目前都没有答案。
AI 发展顺利会是什么样？你已经勾勒出 AI 可能的发展方向：它会成为持续学习的智能体，AI 也会非常强大，可能同时存在许多不同的 AI。你怎么看待多个大陆级算力集群智能体在世界各地运行？这有多危险？怎样才能降低危险？我们又如何保护一种稳定状态，同时应对可能存在的不对齐 AI 和恶意行为者？
我喜欢‘关心有感知生命的 AI’这个想法，部分原因在于此。我们可以讨论它是好是坏。但如果最早出现的 N 个强大系统会关爱人类或其他有感知生命——这一点当然也必须实现——那么至少在相当长一段时间里，我能想象一切会进展顺利。
长期来看，如何实现稳定的平衡？我认为也许有个答案，虽然我不喜欢，但必须考虑。
从长远看，强大 AI 存在的世界里，短期可能实现全民高收入，大家过得都不错。但佛教徒会说：‘无常是唯一的常态。’事情会变化。政府和政治结构也会变化，因为这些制度都有生命周期。某种新制度出现并开始运作，过一段时间又会失效。这种情况我们经常看到。
实现长期平衡的一种办法，可能是让每个人都拥有一个替自己办事的 AI，这当然很好。如果能永远维持，那就没问题。但缺点是，AI 会替人赚钱、在政治领域为人争取利益，还会写报告告诉主人：‘我做了这些，当前情况是这样。’主人说：‘很好，继续。’但这时人已经不再参与了，这就可能让局面很不稳定。
先说明，我不喜欢这个解决方案，但它确实是一种方案：让人成为半 AI，也就是接入某种 Neuralink++。这样一来，AI 理解了什么，人也能同步理解，因为理解被完整传递了。AI 处在某种情境时，你也会完全参与其中。我认为这可能是实现平衡的一种办法。
情绪是在数百万年、甚至在很多情况下数十亿年前，在完全不同的环境中形成的，但现在仍能强烈地引导我们的行为。我想知道，这是否可以算是一种对齐成功的例子。
我解释一下我的意思。我不知道把它叫价值函数还是奖励函数更准确。脑干里有条指令，大意是：‘和更成功的人结合。’皮层负责理解现代语境里的‘成功’是什么意思。脑干则能引导皮层说：‘无论你如何理解成功——我自己不够聪明，无法理解它——你仍然要追求这个目标。’
我觉得还有个更一般的问题。进化如何编码高级欲望，其实非常神秘。进化让我们喜欢闻起来很香的食物，这很容易理解，因为气味是一种化学信号，所以只要追求这种化学物质就行了。很容易想象进化如何做到这一点。
但进化也赋予了我们各种社会欲望。我们非常在意别人如何看待自己，在意是否受到社会认可。我们有许多社会直觉，我很确信这些都是天生的。但我不知道进化是如何做到的，因为它们属于大脑中表达的高级概念。
比如你在意某种社会评价，它并不像气味那样是一种低层次信号，也没有对应的单一传感器。大脑必须处理很多不同信息，才能理解社会情境。可进化似乎告诉我们：‘这就是你应该在意的东西。’它是怎么做到的？
而且进化做到得很快。这些复杂的社会欲望，我认为形成得相当晚近。进化却很容易把这种高级欲望写进我们的先天机制。我还不知道有什么好的解释。我曾琢磨过一些想法，但都不太令人满意。
尤其令人惊讶的是，有些欲望是你在一生中学会的，这很好理解，因为你的大脑有智能。智能的大脑能够学会智能的欲望，这说得通。或许这不是你的意思，但一种理解方式是：这种欲望写在基因组里，而基因组本身并没有智能。可基因组竟然能描述这种特质，尽管我们甚至不清楚如何定义它，并把它写进基因。
换一种说法，基因组能使用的工具是这样的：‘这里有一套制造大脑的配方。’你可以说：‘这是把多巴胺神经元连到嗅觉传感器的配方。’如果闻到某种令人愉悦的气味，你就会想吃它。
我可以想象基因组做到这一点。我只是说，很难想象基因组告诉你要在意某种复杂计算，而这个计算由整个大脑或大脑很大一部分完成。这就是我的观点。我可以猜测一种可能的机制，再解释为什么这种猜测大概不对。
大脑有许多脑区，包括大脑皮层。皮层整体结构比较均匀，但脑区和皮层中的神经元主要与附近的神经元交流。这解释了脑区是如何形成的。比如，如果要处理语言，负责语言的神经元必须互相通信；而神经元只能和邻近神经元交流，所以它们大多必须聚集在同一区域。
不同人的各脑区大多位于相同位置。所以也许进化在大脑中写入了一个具体位置，就像基因组在说：‘当大脑某个坐标被激活时，你就应该在意某件事。’也许进化就是这么做的，因为这种做法在它能使用的工具范围内。
是的，不过也有一些例子：天生失明的人，大脑皮层的那片区域会被其他感官占用。我不知道具体情况，但如果人的大脑皮层区域被重新分配，我会很惊讶那些依赖视觉信号的欲望或奖励函数就此失效。
比如，即使失去视觉，你仍然会在意别人是否喜欢自己；这类感受通常也会受到视觉线索影响。
我完全同意这一点。我觉得还有个更有力的反例：有些人在童年时被切除半个大脑，却仍保留了所有脑区，只是这些脑区不知怎么都迁移到了同一个半球。这说明脑区位置并非固定，所以那个理论不成立。
如果那个理论成立就好了，可惜它并不成立。这仍是个谜，但也是个有趣的谜。事实是，进化不知怎么让我们非常可靠地在意社会关系。即使有各种奇怪的心理状况、能力缺陷或情绪问题，人们通常仍然会在意社会关系。
§08我们是一家彻底进入研究时代的公司
SSI 计划采用什么不同的方法？想必你们希望在这个人类历史上极其重要的时期成为前沿公司。想必你们创办 SSI，是因为你认为自己有办法安全地实现这一目标，而且其他公司没有。你们的方法具体有什么不同？
我的说法是，我有一些认为很有前景的想法，希望研究并验证它们到底有没有前景。就是这么简单，这是一次尝试。如果我们讨论过的这些泛化能力相关想法是正确的，那么我认为我们就能做出有价值的成果。
这些想法是否正确？我们正在做研究。我们确实是一家彻底进入研究时代的公司。我们在取得进展，过去一年进展其实相当不错，但还需要继续进步、继续研究。这就是我的理解：我们在尝试发出自己的声音、参与其中。
你的联合创始人、前 CEO 最近离开公司去了 Meta。有人会问：‘如果你们真的取得了很多突破，这件事似乎不太可能发生。’你会怎么回应？
我只想提醒大家一些可能已经忘记的事实。我认为这些事实能解释当时的情况。当时我们正按 320 亿美元估值融资，随后 Meta 提出收购我们，我拒绝了。但我的前联合创始人在某种意义上接受了。他因此获得了大量短期流动资金，也是 SSI 唯一加入 Meta 的人。
听起来 SSI 的计划是，在人类历史这个极其重要的时期成为一家前沿公司，届时会出现超人智能。你们有一些想法，知道怎样才能让超人智能顺利发展。但其他公司也会尝试自己的方法。SSI 在实现超智能这件事上有什么不同？
SSI 最主要的区别是技术路线。我们采用一条不同的技术路线，认为它值得探索，也正在推进。
我认为最终各种策略会趋同。随着 AI 越来越强大，大家迟早会更清楚应该采取什么策略。大致来说，人们需要找到互相沟通的办法，并希望第一个真正的超智能 AI 能够对齐，关心有感知生命、关心人类，并遵循民主原则，或者从这些目标中做某种结合。
我认为这是所有人都应该努力追求的目标，也是 SSI 正在努力实现的目标。我觉得其他公司迟早也会意识到自己追求的是同一件事。我们走着瞧吧。随着 AI 越来越强大，世界真的会改变，我认为很多事情都会完全不同，人们的行为也会大不一样。
说到预测，你对这种系统有什么时间预测？它能像人类一样学习，并因此变得超人化。
我觉得是 5 到 20。
5 到 20 年？
嗯。
我想把你对未来的设想展开一下。是不是还会有几年，其他公司继续沿用当前的方法，然后进展停滞？这里的‘停滞’是指它们的收入不超过几千亿美元吗？你觉得停滞会是什么样子？
我觉得停滞时，各家公司看起来会很相似。情况可能是这样。我不确定，因为即使进展停滞，这些公司仍可能赚到惊人的收入。利润可能不高，因为它们得努力彼此区分，但收入肯定会很高。
但你的模型似乎认为，一旦正确的方案出现，各家公司就会趋同。我很好奇你为什么这么想。
我主要是在说它们的对齐策略会趋同。我认为最终技术路线也可能趋同，但刚才主要指对齐策略趋同：究竟应该采取什么做法？
我想进一步理解你设想的未来。目前有很多不同公司，你认为它们现有方法会继续带来收入，但无法造出像人一样学习的系统。所以会出现不同路线的公司：你们、Thinking Machines，还有许多其他实验室。也许其中一家会找到正确方法；但一旦它们发布产品，其他人就能看明白怎样实现了。
我认为别人未必能看懂具体怎么做，但他们会明白有不同的方法可行，这本身就是一种信息。不过还有一点没有被讨论：AI 能力每次提升时，做事方式都会发生一些变化，只是我还不清楚具体会变成什么样。我认为这很重要，但我现在没法把它具体说清楚。
按常理，拥有这个模型的公司会获得所有收益，因为它掌握了正在积累技能和知识的模型。为什么你认为收益会广泛分散，而不是落到最先建立持续学习循环的模型公司手里？
我认为会这样发展。首先看看以往 AI 的发展：一家公司取得进展后，其他公司会努力跟进，过一段时间推出相似的东西，随后在市场上竞争并压低价格。市场层面的情况，我认为也会类似。
顺便说一下，我们谈的是一个良好的未来。所谓良好，就是出现强大、类似人类学习者的 AI……还有一点我们没讨论过，我觉得值得考虑：超级智能 AI 可以是专精的，同时又很有用。可以有许多不同领域的专精型超级智能 AI。
假设有很多这样的 AI，而且某家公司靠它们赚了很多利润，另一家公司就会进来竞争。竞争会推动专业化。市场如此，进化也如此。会出现许多不同的利基市场和专门占据这些市场的公司。某家 AI 公司可能特别擅长复杂经济活动中的某一方面；另一家公司擅长另一方面；第三家公司则很擅长诉讼。
这和人类式学习不是矛盾的吗？既然它可以学习……
它确实可以学习，但你已经积累了很多技能。你投入了大量算力，才在某个领域变得非常出色；另一个人则花了大量算力和经验，在另一个领域做到精通。大家都经过大量学习达到了很高的水平，别人可能会想：‘我不想从头学习你已经学会的东西。’
那似乎需要许多家公司同时拥有类似人类的持续学习智能体，各自沿着不同的分支探索。但如果一家公司最先获得这种学习智能体，感觉它就能让一个实例学习经济中的每一种工作，而且这对单家公司来说似乎可行。
这是个合理的论点。但我的强烈直觉是事情不会那样发展。理论和实践没有区别，但现实中有区别。我觉得这会是其中一种情况。
很多人关于递归式自我改进的模型里，确实明确写着：服务器里会有一百万个 Ilya，各自提出不同想法，最后很快催生超智能。
你觉得你正在做的研究有多少可以并行化？复制出更多个 Ilya 能带来多大收益？
我不知道。我觉得边际收益肯定会递减，因为我们需要思维方式不同的人，而不是一模一样的人。如果复制出许多和我完全相同的人，我不确定能增加多少价值。我们需要的是思维方式不同的人。
§09自我对弈与多智能体
为什么不同公司训练出的模型——即使数据集可能不重叠——看起来却惊人地相似？
也许这些数据集的重叠比表面上看起来更多。
即便一个人可能不如未来的 AI 高效，人类团队或许仍比 AI 团队更多元。我们如何让 AI 之间产生有意义的多样性？仅仅提高温度似乎只会得到胡言乱语。我们想要的是不同科学家有不同偏好和想法那种差异。怎样才能让 AI 智能体也有这种多样性？
我认为它们缺乏多样性，是因为预训练。所有预训练模型都差不多，因为它们使用的训练数据也差不多。强化学习和后训练阶段才开始出现一些差异，因为不同的人会设计不同的强化学习训练。
我记得你以前提过自我对弈，既可以生成数据，也能让智能体和能力相近的其他智能体匹配起来，从而启动学习。我们该如何理解为什么还没有公开方案证明这类方法能用于大语言模型？
我想说两点。自我对弈之所以吸引我，是因为它提供了一种只靠算力、不需要数据来创建模型的方法。如果你认为数据最终会成为瓶颈，那么只用算力就很有吸引力。这就是它吸引我的原因。
过去那种自我对弈，比如让智能体彼此竞争，其实只适合培养一部分技能，范围太窄了。它只对谈判、冲突、某些社交技能和策略制定有用。如果你关心培养这些技能，自我对弈就会有帮助。
其实，自我对弈已经找到了应用场景，只是形式不同。比如辩论、证明者－验证者模式，还有某种类似大语言模型评判者的系统，它也会受到激励去找出你的错误。你可以说这不完全是自我对弈，但我认为这是人们正在尝试的一种相关对抗式训练。
自我对弈其实是更一般的智能体竞争的一个特例。竞争会促使大家采取不同做法。比如你让多个智能体共同解决一个问题，并且知道其他智能体在做什么，它们就会想：‘别人已经在做这个方向了，我不一定要跟着做，应该试试不一样的方法。’所以我认为，这种机制也可以激励方法多样化。
§10研究品味
最后一个问题：什么是研究品味？在 AI 研究领域，显然大家觉得你是最有研究品味的人。你参与了深度学习史上最重要的成果，从 AlexNet 到 GPT-3 等等。研究品味究竟是什么？你会怎样描述自己产生这些想法的过程？
我只能谈谈我自己的情况。我觉得每个人的做法不一样。对我来说，一个指引来自我心目中 AI 应该是什么样子的审美，也就是正确地思考人类是什么样的。错误地思考人类很容易，但怎样才算正确理解人类呢？
我举几个例子。人工神经元的想法直接受到大脑启发，而且这是个很棒的想法。为什么？大脑有许多不同器官和脑沟回，但脑沟回可能并不重要。那为什么我们认为神经元很重要？因为大脑里有很多神经元。这个想法感觉是对的，所以我们选择了神经元。我们也希望有某种局部学习规则，来改变神经元之间的连接。这听起来合理，因为大脑似乎就是这么做的。
分布式表征也是如此。大脑会对经验做出反应，因此神经网络也应该从经验中学习。大脑从经验中学习，神经网络也应该这样。你会问自己，某件事是根本性的，还是不重要的？世界应该如何运作？
这一直相当程度地引导着我：从多个角度思考，并寻找一种近乎美感的东西——美、简洁和优雅。不能有丑陋的东西。设计要美、简单、优雅，也要正确地受到大脑启发。这些特质需要同时存在。它们越齐全，你就越有把握坚持一种自上而下的信念。
当实验结果和预期相悖时，自上而下的信念会支撑你。如果你总是相信数据，有时方向其实是对的，只是代码里有 bug，但你还不知道有 bug。你怎么判断是该继续排查，还是该认定方向错了？这就需要自上而下的判断。你可以说：‘事情理应如此，所以一定能做到，我们必须继续。’这种判断来自多方面的美感和大脑启发。
好，我们就聊到这里。
非常感谢。
Ilya，非常感谢你。
好的。谢谢你。
聊得很棒。
是啊，我也很享受。
我也是。