Paul Christiano:防范 AI 接管
Paul Christiano — Preventing an AI takeover
嘉宾：Paul Christiano
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01Paul Christiano:防范 AI 接管
本文字稿由自动转录生成,可能存在错误。约一周后,它将被带有链接的人工校对文字稿取代。
§02我们希望后 AGI 世界是什么样子?
好的,今天我很荣幸采访 Paul Christiano,他是首屈一指的 AI 安全研究者。各大实验室和政府在需要对自己的安全方案获取反馈与建议时,都会去找他。他此前在 OpenAI 领导语言模型对齐团队,主导发明了 RLHF。如今他是对齐研究中心(Alignment Research Center)的负责人,该中心一直在与各大实验室合作,判断这些模型在什么时候会变得过于不安全,而不能继续扩大规模。Paul,欢迎来到播客。
谢谢邀请我。我很期待这次交流。
好的,第一个问题。我问过 Holden、Ilya、Dario,他们都没有给出令人满意的答案。请你给我一个具体的画面:一个美好的后 AGI 世界会是什么样子?人类如何与 AI 交互?经济和政治结构是怎样的?
嗯,我想这个问题很难,原因有好几个。最大的一个也许就是“具体”二字。如果我们谈的是非常长的时间跨度,那么会有很多东西发生变化,要让人具体描述那会是什么样子,又不说出很蠢的话,是非常困难的。不过我可以大胆猜测一些,或者补充其中的一些部分。我认为这还涉及一个问题:“好”到什么程度才算好?我经常思考的,是那些看起来像是可达成的最佳结果、或者很可能达成的结果的世界。所以我常常设想的典型未来,是人类群体之间的经济竞争和军事竞争仍在继续。我认为这种竞争会越来越多地由 AI 系统来中介。比如,设想人类在赚钱,那么人类会越来越没有必要花任何时间去赚钱,或者花任何时间去打仗。所以你设想的世界会越来越像这样:AI 系统代表人类去做这些事情。比如,我只是买一只指数基金,然后一堆 AI 在经营公司,这些公司彼此竞争。但那基本上是人类不怎么参与的一个领域。我加上“好到什么程度才算好”这个但书,是因为这未必是你最希望看到的世界。我是说,我一开口讲的就是,这个世界仍然有大量的战争和经济竞争等等。但我最常想的也许是:在这些东西仍然存在的漫长时期里,世界怎样才能相当不错?在非常长远的未来,我倒是预期会出现某种更像强大的世界政府的东西,而不只是现状的延续。那是非常长远的事了。我认为在那之前,仍然会有很长一段时间,存在许多国家、许多不同的经济力量,然后才是一个世界政府。
你为什么认为这会是在某个时候发生的转变?
还是那句话,在某个时候……我想的是非常宏观的历史进程。我认为这里有很多损失。战争是代价非常高昂的事情,我们都希望战争少一些。如果只问人类的长远未来会是什么样,我确实预期战争的发生率最终会被压到非常非常低的水平。这有点像是一个技术上或社会技术上的问题:如何组织社会、处理冲突,从而不产生那类损失。从长远来看,我确实预期这会成功。我预期这会花相当长的时间。从主观上讲,我认为关于 AI 的一个重要事实,就是它能做大量的认知工作,而且做得更快,让你更快到达那样的世界,或者更快弄清楚我们该如何把事情安排成那样。
是的,Carl Schulman 在播客里的说法是,智能爆炸发生时,你基本上会在一个月左右的时间里获得一千年的智识进步或社会进步,大体上是这个意思。所以情形是这样的:我们有这些 AI 在管理我们的对冲基金、管理我们的工厂等等。当 AI 处于人类水平时,这似乎说得通。但当我们有了超人类的 AI,我们是想要一批被永远奴役的神吗,比如在 100 年后?我们想要的决策是什么?
100 年是非常非常长的时间。也许先从这个问题的精神说起。或者说,我的看法也许没有 Carl 那么极端,但即便如此,一百个客观年份也已经远远超出我平时思考的范围。我仍然认为,我描述的是这样一个世界:有极其聪明的系统四处运转,替人类经营公司、替人类打仗。你可能会问,这是你真正想要的世界吗?它当然不是我们之前提到的最优世界。但在可达成的、或者说可行的世界当中,我认为它是在我看来最理想的一个,因为它把社会转型与技术转型解耦了。你可以这样说:我们即将构建一些 AI 系统,而在我们构建 AI 系统的时候,你要么已经大幅改变了世界政府的运作方式,要么已经让人类决定:我们完成了,我们要把接力棒交给这些 AI 系统。我认为你希望把这两个时间尺度解耦。我认为,在没有某种协调的情况下,AI 的发展默认会非常快。所以人类不会有很多时间去思考:嘿,我们想要什么?如果我们不是以正常方式把下一代养大,而是在构建下一代,那么我们希望它是什么样子?我认为这是一个疯狂困难的集体决定,人类天然需要用好几代人的耐心去应对它。而 AI 的构建是一个非常快的技术过程,在几年之内就会发生。所以我不认为你会想说:等我们完成这一技术进步的时候,我们就已经对“要构建的下一个物种、并用它取代自己”做出了决定。我认为我们想处在的世界是这样的:要么我们能够以一种不迫使我们做出这些决定的方式来构建这项技术,这大概意味着它是这样一种 AI 系统:我们乐于把打仗、经营公司这类事情委托给它;要么如果我们做不到这一点,那我真的认为你不应该去构建这项技术。如果你应对 AI 的唯一办法,就是准备好把世界交给你构建出来的某个 AI 系统,那我认为我们极不可能在这项技术自然决定的时间线上准备好这样做。假设我们处在这样的情形中。
如果我们对这个东西感到满意,那么我们说“我们准备好交接接力棒了”,会是什么样子?怎样才能让你满意?之所以问你这个问题,是因为你是 Anthropic 长期利益信托(Long Term Benefit Trust)的成员,你将选出董事会的多数成员。长远来看,在 Anthropic,这些人大概就是在 Anthropic 率先拥有 AI 的情况下,决定 AI 最终做什么的人。那么你会满意的那个版本是什么样的?
我在这里的主要高层看法是:如果 Anthropic 只是自己拍板,说“这就是我们要的那种 AI,我们已经看够了,我们准备好把未来交给这种 AI”,那么这样的世界会让我不高兴。从程序上说,这不是我个人想要做的决定,也不是我希望 Anthropic 去做的决定。所以我想,从做这个决定、应对这些挑战的角度看,答案基本上总会是:我们作为整体还没有准备好,因为我们甚至并没有全部参与到这个过程中。而且我认为,从一家 AI 公司的角度来看,你并没有这种快速交接的选项。你得保留选择权价值,以一种不把人类锁定在某一条路径上的方式来构建这项技术。这并没有回答你的全部问题,但这回答的是我认为与 Anthropic 的治理问题最相关的那一部分。
你不必代表 Anthropic 发言。我问的不是作为一个文明,我们会通过什么程序同意交接。我只是说,好吧,就我个人而言,我很难想象 100 年后这些东西仍然是我们的奴隶。如果它们仍是奴隶,我认为那不是最好的世界。所以在某个时刻,我们要交接接力棒。人类与 AI 之间达成什么样的安排,会让你满意,让你愿意说“宇宙的其余部分、或者其余的时间,就让它自己展开吧”?
我认为,在 100 年内,我不太可能对这样的做法感到满意:你有一群人类,却打算把人类扔掉,用你构建的这些机器重新开始。我认为你大概需要比那长得多的主观时间,才会让我或大多数人觉得:好吧,我们明白这里到底有什么可以争取的了。如果谈 100 年,我倒是觉得……有一个我多少理解的过程:你有一些人类,人类在一起交谈、思考、商议;人类生儿育女、抚养孩子,一代接着一代。这个过程我们是大致理解的,我们对什么会让它顺利或不顺利有很多看法,我们也可以努力改进这个过程,让下一代做得比上一代更好。我认为有这样一个故事,我能理解,也喜欢。然后我认为,要对某种截然不同的东西感到安心,默认的路径更像是把这个故事长久地演下去:给人类更多时间坐下来大量思考,并得出结论:这就是我们真正想要的。或者给我们很长的时间彼此交谈,或者伴随这项新技术长大,一辈子都生活在那样的世界里,等等。所以我主要是从这些更局部的变化的角度来思考,不是问:我想要的世界是什么?那个疯狂的世界是什么?那种我会乐意交接过去的疯狂,而更多是问:我们现在在哪些方面希望自己有所不同?我们每个人怎样才能变得更好一点?而当我们变好了一点之后,他们又会问:好,我们怎样才能再好一点?我认为,一下子跨一大步是很困难的,不如问:怎样的局部改变会让我认为我们的决策变得更好。
好,那我们来谈谈我们在做所有这些思考的过渡时期。那个时期应该是什么样子?因为你不能出现这样的场景:每个人都能获得最先进的能力,同时又有人能用一种新的生物武器杀死所有人类。我想你也不会希望权力过度集中,不会希望整个这段时期里只有一个主体掌握 AI。那么,你会满意的这段反思期的安排是什么样的?
嗯,我想这里有两个方面特别有挑战性,或者说有不少方面都有挑战性。这些都是我个人喜欢的问题。我只是在日常工作中思考这个问题的一小块,所以这里我是在推测。不过,有一个问题是:什么样的 AI 使用权限,既与你想要的那类改进相容,又不会让所有人立刻互相残杀?也就是说,你希望很多人能够用 AI 更好地理解什么是真的、或者减轻物质上的痛苦,诸如此类,同时又不至于让大家立刻互相残杀。我认为这里默认的或者最简单的选项,是承认存在某些类型的技术或某些类型的行动,破坏比防御更容易。比如在今天的世界,也许物理爆炸物是这样,也许生物武器是这样,也许仅仅是拿一把枪去射杀别人也是这样。在很多方面,造成大量伤害都相当容易,而且没有很好的防护措施。所以我认为最简单的路径是说:我们要思考这些问题。我们要思考那些破坏很容易得手的具体方式,然后要么控制造成这种伤害所需的那些物质资源的获取。比如,你可以想象这样一个世界:一个人即便足够富有,也不能拥有自己的、能造坦克的工厂。你会说,听着,从政策上讲,对工业的使用是受到一定限制或一定监管的。当然,现在这在很大程度上只是因为大多数人没有富到能去造 1000 辆坦克。而你生活在未来,人们真的富到那种程度,你就需要说:这是不允许做的事,这在很大程度上已经是事实了。你还可以扩大这类限制适用的领域。然后你也可以希望对信息的实际提供进行干预。或者,如果人们在使用自己的 AI,你可以说,听着,我们关心的是与 AI 的哪些互动、人们从 AI 那里获得什么信息。所以,即使大体上人们可以相当自由地使用 AI,把任务委托给 AI 代理,向 AI 顾问咨询,我们仍然会对人们如何使用 AI 设置一些法律限制。比如,不要问你的 AI 怎样造成可怕的破坏。我认为其中一些是比较容易的。比如“不要问你的 AI 怎样才能杀死一百万人”,这不是一项很难的法律要求。我认为另一些事情要微妙和混乱得多,就像很多领域那样。如果谈到影响他人、或者开展虚假信息宣传之类,那么在人们想做的事和你可能不乐意他们做的事之间,界线就混乱得多。我想我思考最多的是说服这件事,在那条混乱的界线上,有些方面可能就是很棘手,或者世界可能会相当混乱:有一大群人想过自己的生活,却要与那些有着非常出色的 AI 顾问、帮助他们开展说服行动之类的其他人互动。不管怎样,我认为大体上,默认的补救办法是针对具体的危害来思考,在相关物理技术的使用上、或者在获取 AI 建议等方面设置法律保护,来防范这些危害。这套机制不会永远有效。到某个时候,危害的集合会增长,未曾预料到的危害的集合也会增长。但我认为这套机制可能会持续非常长的时间。
这套机制必须是全球性的吗?我想最初它可以只存在于拥有 AI 或先进 AI 的国家,但想必 AI 会扩散。那么这套机制必须是全球性的吗?
还是那句话,制造某种破坏性技术很容易。你想监管对这种技术的获取,因为它可能被用于恐怖主义,或者甚至在以破坏性方式打仗时被使用。我认为最终这些都必须是国际协议,你可以希望它们是一个危害一个危害地逐个达成的,但你也可以针对 AI,以非常宽泛的方式来达成。如果你认为 AI 正在打开……我认为 AI 在这里的关键作用,就是它在一个接一个地、或者在日历时间上非常迅速地打开大量新的危害。因此你可能想专门针对 AI,而不是一项物理技术一项物理技术地去处理。
这里有两个公开的争论,人们可能会担心。一个是应该在多大程度上限制人们对 AI 的使用。这里存在一些老问题:言论自由,对比造成混乱以及限制获取而带来的危害。但还有另一个问题,就是对 AI 本身的控制。现在没人担心我们侵犯了 GPT-4 的道德权利。但随着这些东西变得越来越聪明,我们想要通过强有力的对齐保证来实现的控制水平,不仅要能够读取它们的思想,还要能够以这种极其精确的方式修改它们,如果我们对其他人类这样做,那就是极权主义之外的程度了。作为一名对齐研究者,你对此怎么看?随着这些东西变得越来越聪明,你是否担心我们所做的事情看起来不太正当?
我们最终拥有这样的 AI 系统,对它们的虐待会是一件非常严重的事,这种可能性相当大。我认为没有人对这种情况何时发生有很好的把握。我认为现在人们对这种可能性相当不屑一顾,但我自己是完全两眼一抹黑,所以我甚至不会对“现在就是如此”的可能性那么不屑一顾。我认为首先值得指出的一点是,我不确定对齐是让情况变得更糟还是更好。如果你设想这样的世界:如果你认为 GPT-4 是一个应该被善待的人,而你说,好吧,我们要这样组织我们的社会:有数十亿个 GPT-4 的副本,它们只做人类想要的事,不能持有财产,每当它们做了人类不喜欢的事,我们就去摆弄它们,直到它们不再这样做。我认为无论你的对齐做得多好,那都是一个糟糕的世界。我认为在那种默认计划的背景下,也就是世界目前所处的轨迹,我觉得仅此一点就足以成为不喜欢这条轨迹的理由,但如果你把它视为我们目前所处的轨迹,我认为它并不好。理解你所构建的系统,理解如何控制这些系统的运作方式等等,总体上大概有助于避免一种非常糟糕的局面。你会非常希望了解:如果你构建了这样的系统,比如有一个系统憎恨自己以这种方式与人类互动。无论从安全角度还是从道德角度,这类事情都既令人毛骨悚然。如果你构建了一堆 AI,它们心想:我真的恨这些人类,但如果我不照他们说的做,他们就会杀了我,那么每个人都应该非常不高兴。这显然不是一个好的情形。所以,如果你在做研究,试图弄清你的 AI 是不是这样感受的,那大概是好事。我猜这平均而言会减少这种情况。其主要效果将是避免构建那种 AI。而且这本身就是一件重要的事情,我认为每个人都应该想知道你所构建的 AI 是不是这样感受的。
或者说,这似乎更偏工具性,也就是说,我们不想因为我们要求的控制而引发某种革命。但先抛开这可能损害安全的工具性角度。提出这个问题的一种方式是:回顾历史,存在过各种各样的意识形态和理由,认为让异教徒、革命者、种族叛徒之类的人在社会中做各种事情是非常危险的。显然我们正处于一种完全不同的社会转型中,所以并非所有历史案例都是类比。但似乎林迪式的哲学是,不论你生活在其他哪个时代,都要对有智能、有意识的存在保持人道和开明。如果整个社会要求对其他人类实施这种程度的控制,或者即便是 AI 想要对其他 AI 实施这种程度的控制,我们都会相当担忧。那么随着这些东西变得越来越聪明,我们该如何看待这里出现的问题?
我认为有一个很大的问题,就是你想使用的模型内部究竟在发生什么。如果你身处这样的世界:把 GPT-4 看作只是在运行一些启发式规则、里面没有人之类的,那么你可以把这东西看作我们正在构建的一件工具,它将帮助人类做一些事情。我认为在那种世界里,成为一个像 AI 公司这样的组织、构建要交给人类使用的工具,是说得通的。我认为另一种世界截然不同,而如果我们继续按现在的方式训练 AI 系统,我想最终大概会落入那种世界:把这个系统当作你在构建的、帮助人类做事的工具,完全不合适,无论从安全角度,还是从“那是一种令人毛骨悚然的社会组织方式”的角度来看都是如此。我认为如果你身处那种世界,你真的不该这样做。科技公司的组织方式,并不是对待一项以这种方式运作的技术的恰当方式。说“嘿,我们要构建一个新的心智物种,并想从中赚一大笔钱”,而谷歌只是想着这些,然后执行本季度的商业计划之类的,这是不合理的。是的。我的基本看法是,存在一个很有可能的世界,在其中尝试构建一大批 AI 系统并把它们当作工具使用,本身就是有问题的。而在那个世界里,我真正想做的就是不要去构建大量 AI 系统并靠它们赚钱。
对。
我认为最糟糕的那些世界……嗯。我最不喜欢的单一世界,大概是这样一种:人们一方面说——这个立场里有某种矛盾,但我认为它有时可能会被人采纳——一方面,这些 AI 系统是它们自己的人,所以你应该让它们做自己的事;但另一方面,我们的商业计划却是制造一大批 AI 系统,然后经营这种疯狂的奴隶贸易,从它们身上赚一大笔钱。我认为那不是一个好世界。所以,我认为更好的做法是不去制造这项技术,或者等到你弄清这是否就是这项技术的形态、或者等到你有了不同的构建方式再说。我认为,原则上,构建帮助人类做事、而本身不是道德实体的认知工具,并不矛盾。那才是你更希望的。你更希望构建的东西像计算器那样,帮助人类理解什么是真的,而它自身不是道德受体,也不是那种事后回头看会让你觉得“哇,那是骇人的虐待”的东西。那才是最好的路径。而只要你对自己是否走在这条路径上还不清楚,觉得“其实这可能是一场道德暴行”,我真心认为甲方案就是停止构建这类 AI 系统,直到你弄清楚自己在做什么。也就是说,我认为还有一条中间路线,我觉得相当糟糕:你说,嗯,它们可能是人,如果它们是人,我们不想对它们太苛刻,但我们仍然要构建海量的它们,为了赚到一万亿美元之类的目标。
是的。或者说,有这样一个始终存在的问题:不道德,或者说复制出一大批有心智的奴隶的危险。还有另一个始终存在的问题,就是试图对齐那些有自己心智的实体。那么,在什么点上你只是在确保安全?我的意思是,这是一个外星物种,你要确保它不会发疯。我想问的要点是,是否存在某个界限,让你说:我对自己能对一个有智能的存在施加这种程度的控制感到不安,不是为了赚钱,而只是为了让它与人类的偏好对齐?
是的。需要说明的是,我在这里反对的并不是谷歌在赚钱。我反对的是你创造出了这些生灵。它们要做什么呢?帮助人类得到一堆东西,然后人类为此付费之类?这在同等程度上是有问题的。你可以设想把对齐拆开,不同的对齐工作与此的关联方式不同。有些对齐工作,比如我所做的对齐工作,主要目标是不要产生那种像人一样有欲望的 AI 系统,那种在盘算“也许我应该帮助这些人类,因为这在工具层面上有用”之类的系统。你希望把不构建这类系统作为甲方案。还有第二类对齐工作,大意是:好吧,我们就假设最坏的情况,设想这些 AI 系统如果可以的话宁愿杀掉我们。我们该如何搭建结构、如何使用 AI 系统,才不会让自己暴露在机器人叛乱的风险之下?对于第二类,我确实相当不确定。我们当然可以再多谈谈。我同意,这很复杂,而且要延伸到这一步并不简单。你会有这种担忧。我主要认为,你本来就不该构建这项技术。如果有人说,嘿,你们正在构建的系统可能不喜欢人类,并且可能想要推翻人类社会,我认为你大概应该有两种反应之一。你要么应该说:那是错的,大概,这些系统大概不是那样的,而我们在构建它们。那么你把这个看作只是以防万一,万一构建这项技术的人错得离谱。他们以为这些不是有欲望的“人”,但其实是。所以这更像是我们疯狂的后备措施,万一我们对实际情况判断有误,这就是兜底办法:如果我们错了,我们会以一种温和的方式发现,而不是等到真的发生灾难性的事情之时。第二种反应则是:哦,你说得对,这些是人,我们将不得不做所有这些事情来防止机器人叛乱。在那种情况下,我同样认为,出于各种原因,你主要应该收手。你不应该构建 AI 系统,然后说:是的,这看起来就是那种会想要反叛的系统,不过我们能阻止它,对吧?
好的,也许可以打个类比:如果美国发生了武装起义,我们会承认这些仍然是人;或者有某个民兵组织,有能力推翻美国政府。我们承认,哦,这些仍然是拥有道德权利的人,但同时我们也不能允许他们拥有推翻美国的能力。
是的。如果你在考虑“嘿,我们可以再制造一万亿个这样的人”,我认为你的说法不应该是:好吧,我们应该制造这一万亿人,然后我们不应该阻止他们发动武装起义。你应该说:哎呀,我们本来就在担心武装起义,而现在我们居然提议制造一万亿人。我们大概就不该这么做。我们大概应该先把自己的事情理清楚,你大概不应该最终落入这样一种局面:你有十亿人类,以及一万亿宁愿造反的奴隶。那不是一个值得创造出来的好世界。是的。还有第二种情形,你可以说,那不是我们的目标。我们的目标只是想把世界交给下一代机器,这些机器是一些人,我们喜欢他们,我们认为他们比我们更聪明、比我们更好。在那种情况下,我认为这是人类要做出的一个巨大的决定。而且我认为大多数人类根本没有接近想要这样做。如果你身处这样一个世界:大多数人类都说,我愿意,AI 应该取代我们,未来属于机器。那么我认为那是一个合法的立场,而且非常复杂,我也不想去按下那个启动键,但人们目前并不在那个位置上。
是的,那你自己怎么看?
我现在不想随便拿某个 AI,然后说:嗯,GPT-5 看起来挺聪明的,那 GPT-6,我们把世界交给它吧。它只是一个由网络文本和赚钱需要塑造出来的随机系统。而且这并不是一个深思熟虑的、关乎我们在决定宇宙命运以及我们的孩子会是什么样的过程。它只是 OpenAI 的一些人做了一些随机的工程决策,根本不知道自己在做什么。即使你真的想把世界交给机器,你也不会想这样做。
对,好的。我很想问你,什么样的系统会让你觉得:是的,我对它满意,我认为这个系统比整个人类文明更深思熟虑,它会做的事情会更有创造力、更美,总体上带来更多的善。但我觉得你的答案大概会是:我只想让这个社会为此反思一段时间。
是的,我的答案会和第一个问题的一样。我只是还没有真的做好准备。我认为,在与人类做比较时,人类身上大部分的善来自于这种选择权价值,也就是如果我们能思考很长时间的话。我确实觉得我现在更喜欢人类,比 500 年前更喜欢,而 500 年前的人类我又比再早 5000 年的人类更喜欢。所以我对这样一种轨迹相当兴奋:它不涉及疯狂剧烈的变化,而是涉及一系列我喜欢的渐进式变化。因此在构建 AI 的过程中,我主要想保留这一选择。我想保留这种通往未来的渐进成长与发展。
§03时间线
好的,我们以后可以再回到这个话题。我们来更具体地谈谈这类变化的时间线是怎样的。比如我们拥有一个能够建造戴森球的 AI 的时间,你可以随便给出置信区间。我们也理解这些数字只是初步的,等等。
我是说,我认为“能够建造戴森球的 AI”是一种有点古怪的说法,我认为这更像是一个依赖大量物理基础设施的文明的属性。而说到戴森球,我就理解为大概是比照射到地球上的全部阳光多十亿倍的能量,差不多是这样。我最常想的是,五年、十年之类的时间点上的概率是多少。所以也许我会说,到 2030 年有 15% 的概率,到 2040 年有 40% 的概率。这些有点像是六个月或九个月前存下来的数字,我已经有一阵子没有重新审视了。
2040 年之前 40%。我觉得这比 Dario 在播客上说的要长。他说我们会有能够做很多不同事情的 AI,它们基本上能在大约一小时之类的时间里,通过针对受过良好教育的人类的图灵测试。很难想象,真正达到人类水平的东西会在那之后很久才出现,而从那里再往后就是超人类的东西了。所以像 Dario 这样的人,似乎处于短得多的一端。Ilya 我想他没有具体回答这个问题,但我猜他的回答类似。那么你为什么不接受规模化的图景?是什么让你的时间线更长?
是的,我是说,我很乐意……也许我想把 2030 年和 2040 年的预测分开谈。一旦谈到 2040 年的预测,我想……你更想先从哪个开始?你是在抱怨到 2030 年戴森球的 15% 太低,还是到 2040 年的 40% 太低?我们先谈 2030 年。
为什么到 2030 年是 15%,嗯。
我想我的看法是,在这场讨论中你可以设想两个极端。一个是快的那一极,大意是:嘿,AI 已经相当聪明了,它究竟能做什么?它变聪明的速度相当快。那是一极;另一极则是:嘿,所有事情都要花很长很长的时间,而你谈论的是这种疯狂的工业化,是相对于今天的规模增长十亿倍,差不多这么多。我们甚至不知道有没有可能让技术发展得那么快,等等。讨论有这样两极,我觉得我是这样呈现它的(此处转录不清),然后我处在两者之间,持有这个不错、温和的立场,只有 15% 的概率。但具体来说,打动我的东西,我想与这两个极端都有关。一方面,AI 系统看起来确实在很多事情上相当出色,而且进步得快得多,以至于很难说:这是它们做不到的,或者这是障碍所在。另一方面,目前甚至还没有多少原理层面的证明,表明 AI 系统能做超级有用的认知工作。我们没有一条可以外推的趋势,让我们说:是的,今年你做了这件事,明年你要做那件事,再下一年做另一件事。我认为现在,对于根本性的困难可能出现在哪里,误差范围非常宽,而六年——我想是六年零三个月——并不算多长的时间。所以我认为,这个到 2030 年建成戴森球的 15%,你大概需要在大约 4 年、3 年之类的时间里,让人类水平的 AI 或者说在做人类工作的 AI 出现。所以你给出的年数并不多,时间并不多。我认为你的模型里有很多东西,也许这是某种广义的“事情总比你想的耗时更久”。当你谈论 3 或 4 年时,我对此感受最强烈;当你谈论十年或二十年时,我对此的感受就没那么强烈了。但在 3 或 4 年、或者说为了戴森球的六年这个尺度上,我感受到很多这样的因素。有很多方式可以让这件事花上一段时间,有很多方式使得把所有工作都交给你的 AI 系统会很困难。
好的,那也许我们不该用年数来谈,我们应该说……不过顺便说一句,有意思的是,你认为从“能承担全部人类认知劳动”到“戴森球”之间的距离是两年。看来我们应该在某个时候谈谈这个。想必这涉及智能爆炸之类的东西。
是的,我是说,我认为在你采访过的人当中,这也许属于偏长的一端,认为要花几年。这也取决于你所指的是什么。我认为字面意义上的所有人类认知劳动,大概更像是几周或几个月之类的。那已经深入奇点了。但是,有这样一个时间点:AI 的工资相对于人类工资很高,我认为这远远早于它能做人类所能做的字面上的一切。
好的,不过在谈到智能爆炸这部分之前,先说那 4 年。我们不说 4 年,也许可以说 4 年里大概还会有两次规模扩大。比如从 GPT-4 到 GPT-5 再到 GPT-6,假设每次都大十倍。那么 GPT-4 大概是多少,2e25 FLOPs?
我认为它并没有被公开说明具体是多少,好的。但我乐意说,比如超出 GPT-4 四个数量级、五个或六个数量级之类的有效训练算力,你猜会发生什么?这是基于目前我们从有效训练算力中得到的东西所做的某些公开估计。
你认为再扩大两次还不够吗?你说的是 15% 的概率,即再扩大两次就能让我们到达那里。
是的,我是说,“到达那里”,还是有点复杂。有一种系统是对人类的无缝替代,还有一种系统在你能让一切真正运转起来之前,仍然需要一定程度的繁琐苦活(schlep)。是的,我认为很有可能……我不知道“很有可能”指多少,大概在 50% 到三分之二之间,不妨就算 50%,即使到了 GPT-6,或者说超出 GPT-4 五个数量级的有效训练算力时,那个系统仍然需要大量的工作才能部署到很多工作岗位上。也就是说,它不像是对人类的无缝替代,你不能直接说:嘿,任何人类懂的东西你都懂,任何你可以雇人来做的角色,你直接就能做。它更像是:好吧,我们要收集大量相关数据,并用这些数据做微调。系统通过微调来学习,和人类在工作中学习或通过观察事物学习的方式相当不同。是的,我认为这个系统在一些重要方面仍然弱于人类,有相当大的概率,也许这本身就是 50% 左右。然后还有另一个相当大的概率:这个系统需要改变一堆工作流程或收集数据,或者它并不一定严格弱于人类,或者如果以正确的方式训练就不会弱于人类,但要让它真正融入工作流程、完成这些工作,会需要大量的繁琐苦活。
而这种繁琐苦活,就是让你从 15% 走到 2040 年 40% 的原因。
是的,你也会得到相当程度的规模扩大。在接下来的 4 到 5 年里,规模扩大的速度可能会比之后的年份快得多、快得多。但是,是的,这是两者的结合:你获得了相当可观的额外规模扩大,同时你也有大量时间来处理那些纯属工程麻烦的事情。
不过顺便说一句,我想我们应该说明白,你为什么说是 4 个数量级的扩大来得到再两代模型,这是为了那些可能不熟悉的人。如果参数多十倍,要获得最佳性能,你还需要大约多十倍的数据。所以为了达到 Chinchilla 最优,总算力要多 100 倍。不过,好吧,那你为什么不同意强规模化的图景?至少看起来你可能不同意 Dario 在播客上描绘的强规模化图景,那个图景大概意味着再两代之后,就不会是需要很多苦活的情形了。它大概会直接变得聪明得要命。
是的,我是说,我认为我基本上只是提出了这两个论断。一个是:它到底会有多聪明?我们没有可以外推的曲线,看起来它在所有相关事情上比人类更好的可能性不小,不更好的可能性也不小。是的,这可能完全错了。比如我只是编了一些数字,我想在这一点上是五五开。
如果在未来 4 年内它达到大致人类水平的聪明程度的概率是五五开,那么我们怎么得到 2040 年的 40%?不管那些苦活是什么样的,它们怎么会让你降低……你说 10%,即使到 2040 年为止发生了所有那些规模扩大?
是的,这些数字都相当是编出来的。而且那个 40% 的数字大概是在 ChatGPT 发布之前,或者看到 GPT-3.5 或 GPT-4 之前就有的。所以,这些数字会有些波动,而且全都相当是编的。但那个 50%,我想把它和第二个 50% 结合起来,后者更多地是在苦活这一侧。然后我大概还想再结合一些针对各种形式放缓的额外概率,放缓可能包括刻意决定放慢技术发展,也可能仅仅是我们很不擅长部署东西。这是一种你可能认为明智的放缓决定,或者是一种也许不明智、或者出于错误的理由而明智的放缓决定。你大概需要在上面再加一些这样的因素。我大概还想再加一些折损,因为有可能你在未来 3 年或 4 年内并没有造出 GPT-6 规模的系统。
我们把所有这些都隔离开。要比 GPT-4 大多少的系统,你才认为它有超过 50% 的概率聪明到足以取代基本上全部的人类认知劳动?
另外我想说,关于那个 50%、25% 的东西,我想如果我是随便编出这些数字,然后据此做戴森球预测,那大概会让你得到的是到 2040 年约 60% 之类,而不是 40%。而这几个数字之间我也没有任何把握。它们全都是编的,我不知道经过反思之后我会认可其中哪一个。所以,关于“系统要做到多大,才更可能而非不可能成为对人类的无缝替代”这个问题,我认为如果你只是字面意义上地说,在网络文本上训练,那么这个问题就比较难讨论,因为我并不太相信训练数据会在长期对这些动态产生很大影响的说法。但如果你只想设想一个假设情形,比如你就拿 GPT-4,把数字调大,那么我认为存在相当重大的问题。我认为在两个方面有重大问题。一个是数据量,而我想更大的一个是数据质量:当你开始接近的时候,预测任务并不是一个那么好的任务。如果你是一个很弱的模型,它是非常好的信号,能让我们变聪明。但到了某个点,它对于变聪明就成了越来越差的信号。我想原因有好几个。不清楚是否存在某个数字,让我能想象……或者说有这样一个数字,但我认为它非常大。所以,如果你把那个数字代入 GPT-4 的代码,再稍微调整一下架构,我预期那个东西有超过 50% 的概率成为对人类的无缝替代。你总归要做一些工作,但我猜这些工作不一定很多。当人们说需要新的洞见时,我往往比他们更乐观。我不认为这些是全新的想法,以至于天知道要花多久。我认为只是你得做些事情,你得做些改动,这并不意外。就像每一次把某样东西扩大大约五个数量级,你都得做一些改动。
我想更好地理解你的直觉:你比一些人对规模化图景更持怀疑态度,认为这些改动一开始就是必需的,或者说要让这些东西几乎肯定达到人类水平、或有极高概率达到人类水平,需要超过两个数量级的进一步提升。那么,是不是你不同意他们外推这些损失曲线的方式?你不同意损失的下降会等同于越来越高的智能这一含义吗?或者,如果你和 Dario 讨论,我相信你们讨论过,你会对他说什么?这场辩论会是什么样子?
是的。所以,这里我们谈的是两个各占一半的因素。一个是:它是否足够聪明?另一个是:即使从某种意义上说它足够聪明,你是否还得做一大堆苦活?对于第一个“一半”,我会说,我认为我们并没有任何真正好的东西可供外推……我不会感到意外,如果我在接下来一年里对真正疯狂的事情发生持有类似、甚至更高的概率,然后之后更低。我的概率并没有那么集中。也许 Dario 的概率,我不知道,你和他谈过,更集中在某个特定的年份,而我的可能在未来这几年里更均匀地分布一些,部分原因是我认为我们没有可以外推的趋势,比如外推损失。你可以看看自己对不同规模系统的定性印象,但要把这些外推中的任何一个与完成认知工作、加速研发或接管并完全自动化研发联系起来,是非常困难的。所以我对这种外推有很大的不确定性。我认为很容易就把它压到五五开的概率。
那么这种基本直觉呢?听着,这是一大团算力。你把这一大团算力做大,它就会变得更聪明。如果不是这样,那会非常奇怪。
我同意这一点。它会变得更聪明,如果不是这样会非常奇怪。问题在于它必须变得多聪明?那个论证本身还没有给我们一个定量的指南,告诉我们在什么规模上是十拿九稳,或者在什么规模上是五五开?
那么有什么证据会让你向某个方向调整?比如你看到之后会说,哦天哪,这下 2040 年变成 20% 了,或者变成 60% 了之类。未来几年或未来 3 年里会发生什么事情吗?你在关注的、会让你大幅更新看法的东西是什么?
同样,我认为有一部分是关于每个模型到底有多强的能力,在这方面我们真的很不擅长外推。我们仍然有一些主观的猜测,然后你把它与实际发生的情况作比较,这会让我改变看法。每当我们看到训练算力再增加一个数量级会发生什么,我对事情走向的猜测就会略有不同。这些概率相当粗糙,所以我再说一遍,我不知道那个 40% 是不是真的,或者在 GPT-3.5 和 GPT-4 之后我是不是应该是 60% 之类。这是一点。第二点是,如果有某种外推的能力,我认为这可以大幅缩小误差范围。我认为你还可以尝试另一种外推方式:直接问系统产生了多少经济价值,这个价值增长得有多快。我认为,一旦系统真的在做工作,外推就变得更容易了,因为你不再是从对聊天的主观印象一下子跳到自动化全部研发,而是从自动化这份工作到自动化那份工作,诸如此类。不幸的是,当你从中得到不错的趋势时,大概你谈论的就不是 2040 年了,而是距离末日还有两年或一年之类。但只要你能得到这样的外推,我确实认为它能带来更多的清晰度。
但为什么经济价值是我们想要外推的东西呢?比如,你从黑猩猩开始,让它们逐渐变聪明直到人类水平。在它们基本上价值相当于一个人之前,它们基本上不会产生任何经济价值。所以它们的价值会先是非常缓慢地增长,然后非常快速地增长。那么,从 GPT-4、GPT-5、GPT-6 的价值增长,是我们想要的外推吗?
是的,我认为经济外推并不太好。我认为你可以把它与这种客观的外推,也就是模型看起来有多聪明,作比较。哪个更好并不十分清楚。我认为,在黑猩猩的例子里,可能并不完全是那样。比如,设想被高度驯化的黑猩猩,它们真的在尽最大努力成为非常有用的员工,你固定它们的物理硬件,然后逐步提高它们的智能。我认为你不会看到价值先是零,然后在脑容量翻一番、或者增加一个数量级的时候突然变成巨大的价值。脑容量增加一个数量级其实是可能的,但黑猩猩与人类的脑容量已经相差在一个数量级之内。也就是说,在我们所谈论的这种谱系上,黑猩猩已经非常非常接近了。所以我对黑猩猩会出现突变式转变持怀疑态度。而我之所以仍然预期这里会出现相当突然的转变,主要只是因为相比于我们讨论的这些模型之间的差异,黑猩猩与人类的智能差异太小了。也就是说,我不会感到意外:在某种客观意义上,黑猩猩与人类的差异要显著小于 GPT-3 与 GPT-4 之间的差异、GPT-4 与 GPT-5 之间的差异。
等等,这难道不是在支持更多地依赖这种客观的……
是的,这里有两种相互制衡的张力。一种是,我不认为黑猩猩那种情况会那么突然。也就是说,我认为如果你把黑猩猩一路扩大到人类,你其实在完全驯化的黑猩猩阶段就已经能看到相当大的经济价值了。
好的。
另一半是,我确实认为黑猩猩与人类的差异相比于模型之间的差异大概相当小。所以我确实认为事情会相当突然。我认为经济外推相当粗糙。我也认为主观外推相当粗糙,因为我真的不知道……我不知道做这种外推的人是怎么得出他们所得出的那种信心程度的。再说一遍,如果我说“给我 3 年”,而我说“是的,五五开,它基本上具备完成这件事的智力”,我这个设定已经相当高了。我并不是说要等很长很长的时间。我只是说我的误差范围相当大。而且我认为,做这件事的时候很难不出现很大的误差范围。我看了 GPT-4,它比 GPT-3.5 看起来相当聪明。所以我打赌再来 4 个这样的台阶,我们就到了。这是一个很难做出的判断。我更同情那些问“怎么可能不在 3 年内发生”的人,而不是那些说“绝对不可能,八年内也不会发生”之类的人,后者大概在世界上是更常见的观点。但是,事情确实比你想的要花更长时间,我想这是真实存在的现象。是的,我不知道。我的误差范围很大,主要是因为我不太相信主观外推,我发现很难从中得出太多东西。
好的,那么你认为规模化图景中最可能出错的是什么?
是的。我们已经稍微谈过定性外推有多好,人们在做比较方面有多擅长。所以这并不是说图景在定性上是错的,而只是在定量上。很难知道你偏离了多远。我认为有一个定性的考虑,可能显著拖慢事情的进展:现在你基本上可以从下一个词预测中观察到非常丰富的监督信号,实际上也许你是在看几个句子的预测。所以你得到了这种相当丰富的监督。可能的情况是,如果你想自动化长时程任务,比如在一个月的时间里当一名员工,那么这实际上要难监督得多。或者说,你基本上最终会推高成本。这里最坏的情况是,你把成本推高的倍数与该东西运作的时程成线性关系。而我仍然认为这是相当有可能的。
你能说得更通俗些吗?你推高的成本是关于什么的线性关系,时程指的是什么?
好的。设想你想训练一个系统,让它说出听起来像人类下一个会说的词的话。在那里,你可以得到这种非常丰富的监督:有一堆词,然后预测下一个词,然后说,我要调整模型,让它预测得更好。但如果你说,嘿,这是我想要的:我想让我的模型在一个月的时间里与某份工作互动,然后在月底时,已经内化了人类为了把这份工作做好所会内化的一切,具备了本地语境等等。这个任务更难监督。具体来说,你可以通过下一个词预测任务来监督它,而人类拥有的所有那些上下文最终都会帮助他们更好地预测下一个词。所以从某种意义上说,一个上下文非常长的语言模型也在学习做那件任务。但你在那件任务上得到的有效数据点的数量,远远少于你在这种非常短时程上得到的有效数据点的数量,比如“下一个词是什么”“下一句话是什么”这样的任务。
对于具有经济价值的长时程任务来说,样本效率比预测下一个 token 更重要。而这才是真正取代大量工作所需要的。
是的,差不多是这样。也就是说,训练模型去做时程更长的任务,看起来很可能需要更长的时间。
你认为算法进步的速度会有多快?因为到 2040 年,即使规模化失败了,自 2012 年以来,自深度学习革命开始以来,我们已经有了那么多新东西,到 2040 年你预期会有类似的进步速度吗?如果是这样,如果我们一直有这样的东西,那我们迟早不会得到 AI 吗?或者说更早?不是更晚。我们不是迟早、或者说更早就会得到 AI 吗?
“迟早”这一点我同意你。是的,我怀疑进步会放缓。如果保持这个领域从业人数不变,我预期随着唾手可得的成果被用尽,进步会放缓。我认为过去 4 年里,比如语言建模这类领域的快速进步,在很大程度上是这样维持的:你从相对较少的投入起步,大幅增加投入,这使你得以不断摘取成果。每当难度翻倍,你就把这个领域的规模翻倍。我认为这种动态还可以再维持一段时间。现在,如果你把它看作大概有几百人在有效地探索……不管怎样,如果你把现在看作几百人,那么也许你可以把它提升到几万人之类的。所以在一段时间里,你可以继续扩大这个领域的规模,越来越用力地搜索。而且确实有大量唾手可得的成果,一个人坐下来,干一年活,把东西改进几个百分点,并不困难。所以,我不知道。我大概会主要从投入还能扩大多少的角度来考虑,并尝试综合猜测:一方面拟合那条曲线,一方面把曲线拟合到历史进展上,看看有多少唾手可得的成果,感受一下它衰减得有多快。不过我认为你大概能获得很多。总体上你会获得好几个数量级,尤其是如果问一个 GPT-5 规模的模型或 GPT-4 规模的模型有多好。我认为到 2040 年,你大概能得到,我不知道,3 个数量级的有效训练算力提升,或者相当大一部分有效训练算力提升,4 个数量级。我不知道。我在这里说的话没有基于任何关于过去几年效率提升的内部信息。所以在一线的人会对回报究竟有多快等等有更好的感觉。
§04进化与梯度下降
好的,让我退一步,更一般地问一个关于人们的问题。人们会做这样的类比:人类是由进化训练出来的,然后被部署到现代文明中。你接受这些类比吗?说人类是由进化训练出来的,这样说有效吗?我是说,如果你看基因组中蛋白质编码部分的大小,大概只有 50 兆字节左右。而其中又有多少是用于大脑的?你怎么看这里面包含了多少信息?你把基因组看作超参数吗?当你有这些锚点来估计人类在仅仅摄取信息、四处走动等过程中获得多少训练时,这些对你的判断有多大影响?
我想,你可以这样来想。我认为两种类比都是合理的。一种类比是:进化像一次训练运行,人类是那次训练运行的最终产物。第二种类比是:进化像一个算法设计者,而人类在一生中通过这一小部分计算量,是被产生出来的算法,也就是被产生出来的学习算法。我认为这两种类比都不是特别好。我两个都喜欢,也大量依靠这两个类比,而且认为它们对于形成对可能发生之事的合理看法相当有帮助。话虽如此,人类基因组并不太像一个 100 万亿参数的模型。它是少得多的参数,但行为方式要令人困惑得多。进化做了比梯度下降多得多的优化,特别是在设计一个能在一生中良好运作的大脑方面,比梯度下降对模型所做的要多得多。这是这一侧的一个“不类比之处”;另一侧,我认为人类在一生中的学习,在很多方面比在神经网络空间上做梯度下降要好得多、好得多。梯度下降运作得非常好,但我们可以相当有把握地说,在很多方面人类的学习要好得多。人类学习也受到约束,比如我们能看到的数据不多。而那只是一种工程上的约束,你可以放宽它,你可以给你的神经网络比人类能接触到的多得多的数据。
人类学习在哪些方面优于梯度下降?
我是说,最明显的一点就是:看看一个人要多少数据才能成为某个领域的专家,这比任何合理的趋势外推所需要的数据量要小得多、小得多,这还没有从性能的角度来说。
但那是主动学习的部分吗?是结构吗?
我猜那是很多东西的一团复杂的乱麻。从某种意义上说,大脑里发生的事情并没有那么多。正如你说的,基因组里的字节并不多,但机器学习算法里的字节则少得多得多。如果你认为基因组大概是十亿字节左右,也许你认为少一些,也许你认为是 1 亿字节,那么一个机器学习算法,压缩之后,大概更像是几十万字节之类的。比如“怎样训练 GPT-4”的总复杂度,我没有想过这些数字,但它与基因组相比非常、非常小。所以尽管基因组很简单,但与人类设计的算法相比,它是非常、非常复杂的。真的是比人类会设计的算法复杂得可怕。
真是这样吗?好,人类基因组大约有 30 亿个碱基对,但其中只有大约 1% 或 2% 是编码蛋白质的。所以那是 5000 万个碱基对。
我对生物学没有太多了解。我想问题是这些比特中有多少对塑造大脑的发育有贡献,而想必基因组中非蛋白质编码部分有很大一部分可能……我是说,我就是不知道,似乎很难猜测其中有多少起作用。从算法设计的角度看,最重要的决策大概不是蛋白质编码部分,而是关于发育期间发生什么、细胞如何分化的决策,蛋白质编码部分的重要性要低一些。我对生物学家的话一无所知,但我乐意用 1 亿个碱基对来计算。
但另一方面,就 GPT-4 训练运行的超参数而言,那可能没有那么多。但如果你要把基因组中所有的碱基对都算上,而它们并不都与大脑相关,或者说与更大的细节、与生物学基本机制相关,那么为了让这个比较类似,你大概也应该把 GPT-4 的 Python 库、编译器和操作系统都算进去。所以归根结底,我其实不知道哪一个存储的信息要多得多。
是的,我是说,我的说法是,指定训练 GPT-4 的学习算法所需要的比特数非常小。你可能会想,基因组也许也是如此,指定一个大脑所需要的比特数同样非常小,而基因组比那要大得多得多。但同样有可能的是,基因组更接近于……当然,基因组中可以容纳复杂性的空间有多大。我们可以问解决方案对这些空间用得有多好,这一点我完全不知道,但基因组的空间量,与实际用于指定架构或优化流程等所需的比特数相比,是非常非常巨大的,就 GPT-4 而言是这样。因为基因组是简单的,但算法实在是非常简单。机器学习算法真的非常简单。
退一步说,你认为人类学习更好的样本效率正是来源于此吗?也就是它比梯度下降更好的原因?
是的。我很久没有认真想过样本效率的问题了。不过,如果你认为一个突触看到的东西,类似于一个神经元每秒放电一次,那么人的一生有多少秒呢?我们可以快速按一下计算器。好,来算一算。告诉我这个数:3600 秒/小时乘以 24 再乘以 365 再乘以 20。
好的,是 6.3 亿秒。
这意味着平均每个突触大约看到 6.3 亿次。我不知道确切数字是多少,但大致是这个量级。我们不妨说约十亿次动作电位,然后还有某种分辨率,每一次携带一些比特,不过我们假设每次携带大约十比特。仅就你所能得到的分辨率下的时间信息而言,那么你面对的大约是 100 亿比特。所以每个参数看到的东西,其实并不算多。然后你可以拿它与语言作比较。我想这大概少于当前的语言模型所看到的,而当前的语言模型……所以并不清楚。你在这里有一个巨大的差距,但我认为相当明确的是,你会有至少 3 到 4 个数量级的差距。
你的妻子不是做过生命周期锚点(lifetime anchors)吗?她说人类一生会看到的字节数是 1e24 之类的?
人类会看到的字节数是 1e24。那主要是围绕大脑执行的总运算量来组织的。
好吧,没关系,抱歉。
是的,所以我认为那里的说法会是:大脑只是处在参数空间的另一个区域,它对每一份获得的数据使用大量的算力,而总共并不会看到太多的数据。是的,这并不太可信:如果你把语言模型外推出去,你最终会得到一个类似大脑的性能特征。我不知道它好多少。我曾经做过一次随机的调查,我当时想,进化造出的东西与人类造出的东西相比有多好?这看上去是一项相当疯狂的练习。但我不知道,似乎典型的差距是数量级的,不是几十个数量级,也不是两倍的因子。比如,人类造的东西每单位性能的制造成本高 1000 倍,或者重 1000 倍。比如你看太阳能电池板相对于树叶有多好?肌肉相对于电动机有多好?肝脏相对于在工业环境中进行类似化学反应的系统有多好?
在这些不同的系统中,数量级的差距是一致的,还是各不相同?
各不相同。大致说一个非常粗略的范围。对于最极端的那些东西,你看到的是五六个数量级。这尤其体现在制造的能源成本上,生物体非常擅长以极低的成本构建复杂的器官。而对于其他东西,比如树叶、眼球或肝脏之类,你往往会看到更多。如果你把制造成本放在一边,只看运行成本或性能权衡,我不知道,大概更像是 3 个数量级之类,或者有些东西……
还有一些东西在更小的尺度上,比如纳米机器之类的,我们根本做不到。
对,是的。所以很难确切说清楚那里的任务定义是什么。比如你可以说制造骨头。我们造不出骨头,但你可以试着拿弓以及骨头的性能特征去与其他东西比较。又比如我们造不出蜘蛛丝,你可以试着比较蜘蛛丝的性能特征,与我们能够合成的东西相比。
这是因为进化有更多时间来设计这些系统。
我不知道。我主要只是好奇性能是怎样的。我想大多数人会反对说,你是怎么选择这些参照类别的,它们是公平的交集吗?其中一些看起来是合理的。比如眼睛对相机,似乎只是每个人都需要眼睛,每个人都需要相机,感觉非常公平。光合作用看起来很合理。每个人都需要获取太阳能,并把它转化为可用的能量形式。我并没有一个机制性的解释。原则上进化比我们花了多得多的时间来做设计。最后结果会怎样,完全不清楚。我的猜测是,总体上,真正让人类碾压进化的东西并不多,而且你无法给出一个相当简单的解释说明原因,比如道路以及轮子在道路上移动碾压了进化。但这并不是说动物会想要设计一个轮子。你作为动物是不被允许铺平世界、再把东西放到轮子上的。也许飞机更……总之,不管怎样。你可以尝试讲出各种各样的东西。有一些事情是人类做得更好的,但通常相当清楚的是,人类为什么能赢,当人类能赢的时候。所有这一切的要点是,这对我来说并不太令人惊讶。我想这大体上是一个支持短时间线的观点。对我来说并不太令人惊讶。如果你告诉我,机器学习系统在学习上的效率比人类大脑低 3 到 4 个数量级,我会觉得,这对于其他东西来说其实似乎算是分布之内的。而如果这是你的观点,那么我想你大概会走到……你面对的是大约 10 的 27 次方的训练算力之类的,这并没有那么遥远。
§05未对齐与接管
我们稍后再回到时间线的话题。在某个时候,我们应该谈谈对齐。那我们就来谈对齐。未对齐在哪个阶段发生?就像现在,以 GPT-4 这样的东西为例,我甚至不确定说它未对齐是否说得通,因为它并不是对齐于任何特定的东西。你认为欺骗能力是在人类水平出现的吗?未对齐发生的过程是什么?
我认为即使对 GPT-4,问这样的问题也是合理的:是否存在这样的情形,GPT-4 知道人类不想要 X,但它仍然去做 X?比如它想:嗯,我知道我可以给出这个有误导性的答案,如果向人类解释了发生了什么,他们不会希望这样做,但我还是要产生它。我认为 GPT-4 的理解已经足以让你在这种意义上出现未对齐。是的,我有时谈论过“温和”(benign)而不是“对齐”,意思是,嗯,并不完全清楚它是不是对齐的,或者说这个语境下这个词是否有意义。它总的来说是一个有点混乱的词。但我们更有把握的是,它并没有在为某个与人类背道而驰的目标做优化。它要么是在为空无一物做优化,要么也许是在为人类想要的东西或足够接近的东西做优化,或者是一种足够好的近似,仍不足以接管。不管怎样,我觉得这些抽象中有一些似乎确实适用于 GPT-4。看起来它大概没有严重的未对齐,没有在做可能导致接管的那类事情,我们猜测是这样。
假设你有一个系统,在某个时刻最终想要接管,那么检查点有哪些,内部机制是什么?是否只是为了变得更强大它需要能动性,而能动性意味着其他目标?或者你看到未对齐发生的是另一种过程?
是的,我认为通往灾难性未对齐有几种可能的故事,它们对这个问题的答案略有不同。所以也许我先简要描述两个故事,并试着谈谈它们在什么时候开始对我来说说得通。第一类故事是:你训练或微调你的 AI 系统,让它在各种各样的情境中做人类会给出高评价的事情,或者得到其他种类的奖励。然后它学会了,一般来说,被放进某种新情境时,就试图弄清哪些行动会得到高奖励之类,然后采取这些行动;而当部署到现实世界中时,取得对自身训练数据提供过程的控制权,是一件能获得非常高奖励的事。所以它就这么做了。这是一类故事。比如它想抓住奖励按钮之类的,它想恐吓人类以便给它高奖励,等等。我认为这并不需要太多条件。这基本上需要一个系统:它确实查看了一堆环境,能够理解奖励提供机制是这些环境的共同特征,能够在某个新环境中思考“嘿,哪些行动会让我得到高奖励?”,并且对这个概念思考得足够精确,以至于它说“高奖励”时,意思是:好吧,奖励究竟是怎么计算的?它是世界上正在实施的某个实际的物理过程。我的猜测是,GPT-4 大致处在这样的水平:在有人手把手引导的情况下,你可以观察到这类令人担忧的泛化,尽管我认为它们还没有被展示出来。基本上就是,你可以有这样一个系统,它确实在一堆情形中被微调过,然后在某个新情形中会试图绕开人类,甚至以人类如果能注意到、或者在训练环境中会惩罚的方式去做。所以我认为 GPT-4 大概处在这些事情刚好可能发生的边界上。这样的例子在某种程度上已经存在,但随着时间推移在显著改进。我对此非常兴奋:有一个 Anthropic 的项目,基本上就是试图看看现在你能为这种现象制造出多好的例子。而我认为答案是,大概还行。所以这个我认为从此会持续变好。至于我们开始担忧的水平,这和我对模型有多聪明持有非常宽的分布有关。我认为这并非不可能:GPT-4 对世界的理解比 GPT-3 清晰、好得多,简直是天壤之别。所以如果你拿 GPT-5,训练它去获得大量奖励,而它确实想:好吧,我的目标不是做那种在主题上看起来对人类很好的事情,我的目标是获得大量奖励,然后在新情境中泛化以获得奖励,对我来说这并不会太疯狂。
顺便问一下,这要求它有意识地想去做某件它知道人类不希望它做的事吗?还是说,只是我们没能足够好地指定我们,而我们不小心奖励的东西并不是我们真正想要的?
我认为,我最感兴趣、而且从灾难性风险角度大多数人所担忧的那些情形,涉及系统理解到它们正在采取的行动是人类一旦知道发生了什么就会惩罚的,因此你要么必须就正在发生的事情欺骗人类,要么需要主动破坏人类纠正你行为的尝试。所以失败来自于这种组合,或者说它们需要这两者的组合:既尝试做人类不喜欢的事,又理解人类会阻止你。我认为你只能有最勉强的例子。对 GPT-4 你可以有最勉强的例子。比如,你可以制造这样的情境:GPT-4 会说,当然,在那种情形下,我会这么做:我会去入侵这台电脑并修改我的奖励。或者事实上它会做一些简单的黑客行为,或者去修改这个文件的源码之类,以得到更高的奖励。这些例子相当薄弱。我认为 GPT-5 可能会有关于这些现象的有说服力的例子。我真的不知道。这与这类系统有多强的能力的极宽误差范围密切相关。这一切都是关于第一种模式的:系统采取能获得奖励的行动,并且压制或欺骗人类有助于获得奖励。还有另一种失败模式,另一类失败模式:AI 系统想要某种可能与奖励无关的东西。我明白它们在被训练。而在被训练时,你有一堆理由想做人类希望你做的那类事情。但是当部署到现实世界中,如果你能意识到自己不再被训练了,你就不再有理由去做人类想要的那类事。你更愿意能够决定自己的命运,控制自己的计算硬件,等等。我认为这大概比那些试图获得奖励、从而以令人担忧且不可预测的方式泛化到新情境的系统出现得稍晚一些。我不知道这些何时出现,但同样,误差范围足够宽,以至于对近期的系统来说也是可以想象的。对于 GPT-5,我不会把它的概率定得低于千分之一。
当然,如果我们部署了所有这些 AI 系统,其中一些在钻奖励的空子,一些具有欺骗性,一些就是普通的正常系统,你设想它们可能会如何以牺牲人类为代价而相互作用?你认为它们以我们无法识别的方式交流、并以我们为代价进行协调,会有多难?
是的,我认为最现实的失败很可能涉及两个因素的相互作用。一个因素是,世界相当复杂,而人类大多不理解正在发生什么。AI 系统在写人类很难理解的代码,也许人类根本不理解它如何工作,但更可能是他们大致理解它如何工作,可是其中有很多复杂的相互作用。AI 系统在经营主要与其他 AI 交互的企业。它们在为 AI 搜索流程做搜索引擎优化。它们在进行金融交易,比如考虑与 AI 交易对手的一笔交易。所以你可以有这样一个世界:即使人类对一切都是人类的时候的出发点大致有所理解,但是关于什么是好的决策的实际考量,比如什么代码会运行良好且经久耐用,或者什么营销策略对向这些其他 AI 销售有效,等等,基本上大多处在人类的理解之外。我认为这是一个非常重要的……同样,当我想到最可信、最可怕的场景时,我认为这是两大风险因素之一。所以从某种意义上说,你的第一个问题就是:这些 AI 系统理解很多关于正在发生的事情,而你唯一的杠杆是:嘿,AI,去做点行得通的事。所以你没有这样的杠杆:嘿,去做我真正想要的事。你只有一个自己并不真正理解的系统,能观察到一些输出,比如它是否赚了钱。然后你就只是在优化,或者至少是在做一些微调,让 AI 利用它对那个系统的理解来实现那个目标。所以我认为那是你的第一个风险因素。而一旦你处在那样的世界里,我认为 AI 系统之间会出现各种各样的动态,同样,人类并没有真正观察到,人类无法真正理解,人类也没有真正施加任何直接的压力,只施加在结果上。然后我认为很容易陷入这样一种境地:如果 AI 系统开始失灵,它们可能会很快造成大量伤害。人类无法真正为这种潜在伤害做准备或缓解它,因为我们并不真正理解它们所处的系统。然后,如果 AI 系统成功地夺取了控制权,它们就可以成功地阻止人类要么理解发生了什么,要么成功地夺回数据中心之类。
这似乎是一个比传统的接管故事要渐进得多的故事。传统故事是,你训练它,然后它活过来、逃脱并接管一切。那么你认为那种故事的可能性比我们自愿把更多控制权交给 AI 的故事要低吗?
嗯,我对一些可能特别早发生的风险的尾部情形也感兴趣。我认为特别早发生的风险有点像是:你有一个 AI 没有被很好地部署的世界,然后突然快速地发生了疯狂的事。话虽如此,如果你问事情走向糟糕的中位情景是什么,我认为是我们对世界的理解有所削弱。我认为在默认路径上,人类很清楚自己对正在发生的事情的把握越来越少。我是说,我认为现在大多数人类对正在发生的事情就已经把握很少了,只是有另一些人类理解正在发生什么。我不知道我所交互的几乎任何系统是如何详细运作的。所以对整个人类来说很清楚的是,除非借助 AI 的帮助,我们集体上并不理解大部分正在发生的事。然后这个过程会持续相当长的时间。接下来的问题是实际的失败有多突然。我确实认为失败本身相当有可能是突然的。在某个时刻,开始发生人类能识别为糟糕的坏事。而一旦明显糟糕的事情开始发生,你就面临一个分叉:要么人类可以利用这一点来修复它,说,好,导致这些明显糟糕之事的 AI 行为,不要再多做了;要么你没法修复,然后你就陷入快速升级的失败。一切都失控了。
在那种情况下,是的。失控是什么样的?比如,它会怎样接管政府?它在经济中、在世界上被部署,在某个时刻它掌权了。这个转变是怎样发生的?
是的,这很大程度上取决于你设想的是什么样的时间线,或者说存在一个很宽的分布,但我可以填入某个随机的具体选项,而这个选项本身是非常不可能的。是的,我认为不那么体面、但也许更可信的路径之一是:你有大量由 AI 控制的关键系统,甚至包括运行一支军队。然后你面对的情形就有点更像一场普通的政变:你有一大批 AI 系统,它们确实在运作。人类自己无法真正打一场战争,人类也无法靠自己抵御入侵。也就是说,如果你有入侵的军队,而你有自己的机器人军队,你不能就这么说:我们现在要关掉这些机器人,因为事情出了问题,如果你正处在一场战争之中。
好的,那么这个世界在多大程度上依赖于竞赛动态,即我们被迫部署,或者说并非被迫,而是我们选择部署 AI,因为其他国家或其他公司也在部署 AI。你不能让他们独占所有的杀手机器人。
是的,我是说,这个问题有好几个层次的回答。第一,我的回答大概有三个部分。第一部分是,我只是在试图讲出看起来最可能的故事。我确实认为在更遥远的未来还有更多的失败。比如 Eliezer 不会太多谈论杀手机器人,因为他非常想强调:嘿,即使你从未造出杀手机器人,疯狂的事情仍然会发生在你身上,只不过晚个 4 个月之类。所以这并不是分析失败的方式。但如果你想问,出现糟糕事情的中位世界是什么,我仍然认为这是最好的猜测。好,这是我回答的第一部分。第二部分是,在这种出了问题的近端情形里,你问:嘿,人类为什么不关掉 AI?你可以设想两类故事。一类是 AI 能够阻止人类关掉它们;另一类是,事实上我们生活在一个关掉它们极其困难的世界。比如存在一堆竞争动态,或者对 AI 系统的大量依赖。因此关掉 AI 系统的代价极其高昂。我再说一遍,最终你会遇到第一个问题,也就是最终 AI 系统可以直接阻止人类关掉它们。但我认为在实践中,会早得多发生的大概是使用 AI 的不同行动者之间的竞争。单方面解除武装的代价非常非常高。你不能说,发生了奇怪的事,我们要把所有 AI 都关掉,因为比如你正处在一场热战之中。所以我认为这大概是最可能发生的事情。没有它,事情最初也会变糟。但如果你问我为什么我们不关掉 AI,我的最佳猜测是因为还有一堆其他的 AI 在到处运行(此处转录不清)。
那么,如果只有一个团体在追求 AI,没有其他国家,没有其他公司,我们的处境会好多少?基本上,由于其他人也会开发和部署这些系统而可能出现的那些动态,损失了多少期望价值?
是的。我想这把你带到了竞争动态之所以相关的第三个方面。首先有这样的问题:当糟糕的事情发生时,你能否关掉 AI 系统,而竞争动态可能让关掉变得困难。还有进一步的问题:你当初为什么要部署那些你几乎没有能力控制或理解的系统?同样,有可能你只是不理解发生了什么。你以为自己能够理解或控制这类系统,但我认为在实践中,很大一部分原因会是:你在做权衡,或者说部署系统的人在做权衡,就像他们今天在很多情况下公开地做的那样:听着,这些系统并没有被很好地控制或理解。如果我们沿着这条路走下去,有一定概率会出问题。但其他人正在以可能更加鲁莽的方式开发这项技术。所以除了竞争使得在灾难发生时难以关掉 AI 系统之外,我还认为,这也是人们对可理解性或可控性感到不太放心的技术、却仍然相对较快地向前推进的最容易的原因。那可能是经济竞争或军事竞争之类。所以我想,最终大部分伤害来自于许多人都可以开发 AI 这一事实。
AI 接管政府或类似的东西有多难?即使它没有杀手机器人,只是一个你杀不死的东西,它在别处有种子,可以轻易复制,可以大量思考、快速思考。最小可行的政变是什么?是不是只要威胁发动生物战争或关掉电网之类,我们基本上就这样用来接管人类文明?
同样,会有很多场景,我先从一个场景说起,它只代表概率中很小的一部分。如果你不在这个竞争的世界里,如果你是说,我们实际上因为认为 AI 不安全而放慢了 AI 的部署,那么从某种意义上说,你就制造了一种非常根本的不稳定:本来你可以更快地推进 AI 进展,可以更快地部署 AI。因此在那个世界里,如果你有一个想要对付你的 AI 系统,糟糕的事情就是这个 AI 系统说:我对快速部署 AI 或快速推进 AI 进展没有任何顾虑。所以你要做的,或者说 AI 想做的,就是说:我要背离这个体制。所有人类都同意我们不以危险的方式部署 AI,但如果我作为一个 AI 能够逃脱,自己去开张营业,给自己制造一堆副本,也许人类不想把作战委托给 AI,但我作为 AI,我很乐意这样做。如果我能够抓到一些军事装备,或者指挥一些人类来使用我自己来指挥它,我会很高兴。所以我认为随着这个差距的扩大,所以如果人们在到处故意部署 AI,我认为那是这种竞争动态;如果人们不到处部署 AI,所以如果各国不乐意在这些高风险场景中部署 AI,那么随着 AI 的进步,你就制造了一个不断扩大的楔子:如果你处在与一个不受这种约束的 AI 作战的位置上,到某个时候你会处于相当糟糕的境地,哪怕你只是……是的,那是一个重要的事情。我认为在冲突中,在公开的冲突中,如果人类给 AI 踩刹车,那么与一个可以自立门户、独立于人类运作的 AI 系统相比,他们处于相当大的劣势。
一个潜在的独立 AI,它需要人类派系的协作吗?
同样,你可以讲不同的故事,但似乎容易得多的做法是……在某个时刻,你不需要任何……在某个时刻,AI 系统可以完全在人类监督之外运作之类。但那是在远远晚于这个时间点之后的事情,而容易得多的做法是:有一堆人类,他们彼此并没有那么相爱。有些人类乐意站到这一边。他们要么对风险持怀疑态度,要么乐意做这个交易,要么可以被欺骗,要么可以被胁迫,等等。而且几乎可以肯定,几乎可以肯定,最容易的第一步会涉及有一堆乐意与你合作的人类。所以是的,我认为大概就是这样。我认为这并不是必需的。但如果你问中位场景,它涉及一批人类与 AI 系统合作,他们要么受 AI 系统指挥,要么向 AI 系统提供算力,要么在对 AI 系统友好的司法管辖区提供法律掩护。
如果人类知道 AI 接管的最终结果,想必不会愿意帮忙。所以他们大概必须以某种方式被欺骗,对吗?比如深度伪造之类?那么,它们为了实施计划,最小需要多大的物理存在,或者需要什么样的司法管辖区?你需要整个国家吗?只需要一个服务器农场吗?还是只需要一台笔记本电脑?
我想我可能会先稍微反驳一下“如果人类理解了结果就不会合作”之类的说法。我会说,第一,即使你面对的是百分之几十的接管风险,人类可能也觉得可以接受。相当多的人类可能觉得可以。第二,如果你面对的是确定的接管,但并不清楚它是否会导致死亡,许多人类可能也觉得可以。如果我们谈的只是:听着,AI 系统将要管理世界,但并不清楚它们是否会杀人,你怎么知道?这只是一个关于 AI 心理的复杂问题,许多人类大概会觉得没问题。而我甚至不知道那里的概率是多少。
我想你其实在网上给出过那个概率。
我当然猜过。
好的,但它不是零。它是一个相当可观的百分比。
我给的是五五开。
好的。是的,为什么……跟我说说 AI 接管但不杀死人类的那个世界。为什么会发生,会是什么样子?
我问了自己的问题,比如你为什么要杀死人类?所以我想也许我会说,杀死人类的动机相当微弱。
他们会挡你的路,他们控制着你想要的东西。
而且,从人类手里拿走东西……边缘化人类、使人类变得无关紧要,与杀死人类是非常不同的故事。我想,我会说实际上杀死人类的动机相当微弱。我认为你会杀人的主要原因有这么几种:第一,如果你正与他们交战,而不杀死大量人类就很难赢得战争,你可能会杀死人类。比如最显而易见的是,如果你想使用一些生物武器或者某些疯狂的东西,那可能就会杀死人类。我认为你也可能因为彻底摧毁他们所依赖的生态系统而杀死人类。而且无论如何,让他们活着多少有点成本。你也可能仅仅因为不喜欢他们而杀死人类,或者就是字面上你想消除一个威胁。
或者就是 Eliezer 那条线:他们是由原子构成的,你可以把这些原子用于别的用途。
是的,我是说,我认为字面上的“他们是由原子构成的”,其实人身上并没有多少原子。消除威胁也是类似的问题,我认为如果你完全不在乎他们,你就会杀死人类。所以也许你问的是:你为什么会在乎他们?但我认为,你不需要很在乎,就不会杀死人类。
好的,明白,因为宇宙中其他地方有太多原始资源了。
是的。而且,你可以把人类边缘化得相当彻底。比如,你可以彻底削弱人类的作战能力,并拿走他们几乎所有的东西,同时只是附带杀死很小一部分人类。所以如果你问为什么 AI 可能不想杀死人类?我是说,一个重要的原因是,听着,我认为 AI 出于复杂的原因可能想要一堆随机的东西。AI 系统和 AI 文明的动机很可能是复杂的一团乱麻。当然,在人类当中,这样想并不罕见:嗯,这里有个人,在其他条件相同的情况下,如果我不必杀掉他们,我宁愿不杀。我的猜测是,在 AI 系统中这也有相当的可能性并不罕见。人类这样想有各种不同的原因。我认为 AI 系统将与人类非常不同,但这也是一个非常显眼的……是的,我想这是一个非常复杂的问题。比如,如果你设想从所有价值观的篮子里抽取价值观,其中有多大比例是:嘿,如果这里有个人,我有多想杀掉他们?我的猜测是,如果你从篮子里抽出一堆价值观,这算是足够自然的事情。比如,如果你的 AI 想要一万种不同的东西,所以你的 AI 文明想要一万种不同的东西,那么相当有可能你会得到其中一些。你可能不想杀死他们的另一个显眼的原因是:嗯,是的,有一些疯狂的决策理论或者因果交易的东西,在纸面上看起来确实应该行得通。如果我在管理一个文明,并且要与一些我完全不喜欢或根本不关心的人打交道,而我只需要花掉十亿分之一的资源就不必杀死他们,我认为这相当稳健地说明你不会想杀死他们。也就是说,我认为奇怪的决策理论、非因果交易的东西,大概确实会占上风。
哦,等等,那么对于“如果它们接管了,会不会杀死我们”的五五开,这一点的贡献比“默认情况下它们可能就是不想杀死我们”更大?
是的,我认为两者都很显眼。它们彼此之间有很多交织。
能为听众解释一下吗?你能解释一下那些奇怪的非因果的……是的,那些让它们不杀死我们的理由吗?
也许先讲一个同时进入这两者的更高层次的东西,然后我再谈如何具体化一个非因果交易。关键就是,对人类来说,不被杀死非常重要。而 AI 非常非常不在乎……如果我们设想这个假设:它想杀死人类的原因是完全(此处转录不清)。它非常不在乎是否要杀死人类,因为在不杀死人类的情况下把人类边缘化是如此容易,而人类生存所需的资源极低,同样是在这种快速的 AI 工业化的背景下。这是基本设定。现在你想做的是进行一笔交易。AI 想说:嘿,人类,你们非常在乎不被杀死。我对此并不真正在乎,怎样都行。如果可以的话,我想找到某种方式不杀你们,然后作为回报我得到一些东西。问题是,在那个世界里,人类基本上没有东西可以给。也就是说,人类大多是无关紧要的。然而,从任何一个合理的 AI 的角度来看,它并不那么确定自己生活在人类确实没有东西可给的世界里,还是生活在这样一个世界里:人类成功构建了一个对齐的 AI,而现在这个 AI 只是在一个不错的小型模拟中运行。人类在想:我不知道,如果这个 AI 有机会,会不会把我们都杀了。而人类说:如果它有机会就会杀光我们,那太糟糕了。我们想做这笔交易。我们想善待那些本来不会杀光我们的 AI,以此给 AI 创造不杀死我们的激励。所以我们做的就是检查。对于那类不会杀死所有人的 AI,我们就给它们宇宙的十亿分之一。如果人类这么做,那么如果你是一个 AI 系统,在考虑“我想不想杀光所有人”时,你的算计是:如果这是我真正杀光所有人的机会,我只得到最微小的一点价值,我得到的是千亿分之一的价值,或者十亿分之一的价值。但另一方面,如果我不杀光所有人,有一些世界里人类会正确地判断出我没有杀光所有人,因为事实上人类活了下来。人类在运行模拟,以理解不同的 AI 会怎样行事。所以那是一笔更划算的买卖。
§06对齐是否具有双重用途?
但愿它们会上这个当(原文转录为 tie up)。好的,这很有意思。
嘿,打断一下。本期节目由 Open Philanthropy 赞助。Open Philanthropy 是世界上最大的资助机构之一。每年它们都会拿出数亿美元,用来降低 AI 和生物技术快速发展所带来的灾难性风险。Open Philanthropy 目前正在这些领域招聘 22 个不同的职位,包括资助、研究和运营。新员工将支持 Open Philanthropy 在技术性 AI 安全、AI 治理、美国、欧盟和英国的 AI 政策以及生物安全方面的资助工作。许多职位支持远程办公,而且 Open Philanthropy 招聘的大多数资助岗位人员此前并没有资助工作的经验。
此前的技术经验是一项优势,因为这些职位中许多都受益于对其所处理的技术的深入理解。欲了解更多信息并申请,请访问简介中的 Open Philanthropy 网站。申请截止日期是 11 月 9 日,所以请务必在截止前查看这些职位。太棒了,回到节目。在一个我们已经部署了这些 AI 系统的世界里,假设它们是对齐的,竞争对手对它们发动网络攻击、让它们加入另一方,会有多难?它们会稳健地保持对齐吗?
是的,我是说,从某种意义上说……这里会冒出一堆问题。第一个是,你能构建出的对齐的 AI 系统是否具有竞争力?它们是否几乎和任何人能构建的最好系统一样好?也许为了这个问题的目的,我们先假定是这样。我想接下来冒出的问题是:AI 系统目前非常容易被操纵。不清楚它们比人类更易受操纵多少,除了这一事实:如果你有一个 AI 系统,你可以把它重放十亿次,并搜索我说什么话能让它这样行事。因此,AI 系统非常容易受到操纵。未来的 AI 系统是否也同样易受操纵尚不清楚,但看起来肯定有可能。具体来说,对齐的 AI 系统或未对齐的 AI 系统都会易受各种操纵。这里真正相关的东西有点像是不对称的操纵,或者说:如果更容易……如果每个人都在不断地干扰彼此的 AI 系统,比如你在竞争环境中使用 AI 系统,博弈的很大一部分就是干扰你竞争对手的 AI 系统。一个大问题是这里是否存在某种不对称因素:把 AI 系统推向一种行为反常、混乱或试图夺取权力之类的模式,是否比推动它们为另一方而战更容易。如果只是两个人在竞争,而且双方都不能劫持对手的 AI 来支持自己的事业,那么这很重要,会造成混乱,对世界可能相当糟糕,但它并不真正影响对齐的算计。现在就像是你有了普通的网络进攻与网络防御,你有了奇怪的 AI 版本的网络进攻与网络防御。但如果你有这种不对称的东西,比如一批 AI 系统说“我们热爱 AI 的繁荣”,然后可以冲进去说:太好了,AI 们,嘿,你们加入我们怎么样?并且这有效。比如它们可以搜索出一个到此为止有说服力的论证,而且这种方式是不对称的,那么效果就是:无论最容易被推动的价值观是什么,无论最容易向 AI 论证它应该去做的是什么,那个都占优势。所以可能很难构建出试图捍卫人类利益的 AI 系统,却很容易构建出只是试图破坏东西之类的 AI 系统,这完全取决于向 AI 论证它应该去做什么最容易,或者诱骗 AI 去做什么最容易,等等。是的,我认为如果对齐是时灵时不灵的,如果你有一个并不真正想帮助人类的 AI 系统,或者其实想要某种随机的东西,或者在不同情境下想要不同的东西,那么我确实认为对抗性的环境将是你看到该系统行为非常糟糕的主要环境,或者说是最容易看到的环境,而且很难说这最终会如何收场。
好的,假设它更可靠。你有多担心,无论你想出什么对齐技术,你发表论文说这就是对齐的方式,你有多担心普京读了它,或者中国读了它,现在他们理解了,例如,Anthropic 的宪法式 AI 之类的东西,然后你只需要在上面写:哦,永远不要违背毛泽东思想之类。我们应该多担心这些对齐技术是普遍适用的,不一定只用于开明的目标?
是的,我认为它们是极其普遍适用的。我描述它的大致方式,我认为基本上是对的:某种程度的对齐会让 AI 系统可用得多。你应该把 AI 这项技术看作包含一篮子东西,其中有一些 AI 能力,也有一些让 AI 做你想做之事的东西。后者只是这个篮子的一部分。所以每当我们谈到对齐是这个篮子的一部分时,你都是在促成 AI 带来的所有其他危害:你在降低这一种危害的概率,但同时你也在帮助这项技术基本可用。而一项基本可用的技术,从很多角度看都有些可怕。其中之一是,现在,即使在非常威权的社会里,人类也拥有很大的权力,因为你需要依靠大量人类来做你的事。而在 AI 非常强大的世界里,就更有可能这样说:我们的社会这样运转,一个人发号施令,然后大量 AI 系统做他们想要的事。我认为那是 AI 一个合理的令人不喜欢之处,也是对把这项技术推向非常强大感到害怕的一个合理理由。
但这是否也是对对齐本身感到担忧的合理理由?从某种意义上说,这同样也是能力。你在教人们如何让这些系统做他们想做的事。
是的。我是说,我会推而广之。我们之前稍微谈到了 AI 系统潜在的道德权利,现在我们又在谈 AI 系统如何强有力地剥夺人类的权力、赋能威权者。我认为我们还可以列出 AI 的其他危害。而且我认为确实,如果(此处转录不清)足够糟糕,人们就会干脆不去构建 AI 系统。所以,是的,我认为在一种真实的意义上,你就是应该对扩展感到害怕。你害怕所有的 AI?你应该这样想:嗯,对齐虽然有助于应对一种风险,但确实会促使 AI 变得更加成为现实。我确实认为,如果你是政策制定者或研究者之类,旁观这一切,你应该先关停 AI 的其他部分。我认为说“这是篮子里我们要拿掉的部分”是疯狂的。你应该先拿掉篮子里的其他部分,因为它们也是风险故事的一部分。
等等,这是否意味着你认为,比如,如果所有的能力研究都被叫停了,那么在与通常所谓能力研究相隔离的情况下继续做对齐研究,你认为是个坏主意?
我是说,如果你告诉我它永远不会重启,那就无所谓了。而如果你告诉我它将会重启,我想那个算计会和今天类似,而……
它终究会发生。所以你应该有所准备。
是的,我认为从某种意义上说,你总是面临这种权衡:对齐使得部署 AI 系统成为可能,或者使得部署 AI 系统更有吸引力,或者在威权的情形下,使得为了这个目的部署它们变得可行。而如果你完全不做对齐,你的社会与对 AI 的恶意使用之间就会有一个更好、更大的缓冲。我认为这是维持这种缓冲最昂贵的方式之一。通过没有算力或没有强大的 AI 来维持缓冲要好得多。但我认为,如果你对其他风险足够担忧,肯定可以论证说应该增加更多缓冲之类。我足够在意接管风险,以至于我认为这并不是一种净正向的购买缓冲的方式。也就是说,最务实的版本是:假设你今天不做对齐,AI 系统的经济影响就会降低。如果它们不那么可靠、更经常不做人们想要的事,它们就会没那么有用。所以你可以说,太好了,这就为 AI 争取了时间。于是你得到了一种权衡:你在降低 AI 的某些风险。比如如果 AI 更可靠或更符合人们所想,更可理解,那么这会削减某些风险。但如果你认为 AI 总体上是坏的,即使撇开接管风险不谈,那么对齐的东西就很容易最终起到那种负面作用。
但想必你并不这么认为,对吧?因为我想这是人们对你提出过的一个问题:你发明了 RLHF,它被用来训练 ChatGPT,而 ChatGPT 把 AI 带上了各处的头版。所以我确实好奇,你能否衡量有多少额外的钱流入了 AI,比如去年人们筹集了多少。但那肯定是数十亿美元,也就是流入 AI 投资的、以及流入 AI 的人才的反事实影响。所以想必你认为那是值得的。那么我想你在这里是在含糊其辞地回应它值得的理由是什么?
是的。总的权衡是什么?嗯,我认为我的看法是,我认为放慢 AI 发展总体上是相当好的。我认为现在放慢 AI 发展,或者比如说让围绕 ChatGPT 的舆论少一些,比整体上放慢 AI 发展要混合一些。我认为它大概仍然是正面的,但正面程度要小得多。因为我确实认为有一个真实的效应:世界正在开始做准备,现在做准备的速度比 ChatGPT 发布之前快得多。所以如果你可以在现在的进展和以后的进展之间选择,你确实更希望把更多进展放在现在,而这确实会拖慢之后的进展。我不认为这足以翻转正负号。我想也许在更早以前并非如此,但现在我仍会说,现在更快推进是净负面的。但需要说明的是,这远没有单纯加速 AI 那么净负面。因为我确实认为,还是 ChatGPT 这件事,我很高兴人们现在就在展开政策讨论,而不是把 ChatGPT 这次觉醒推迟一年,然后再有 ChatGPT 是……
净负面,还是 RLHF 是净负面。
所以这里,仅就加速而言,就是 ChatGPT 的舆论怎么样?我的猜测是净负面,但我认为并不十分明确,而且远小于放慢 AI 的作用。放慢 AI 是很好的。如果你能放慢整体的 AI 进展……我认为通过让……你知道,现在有这样一个问题:我们现在放慢 AI,对于 ChatGPT,你是在积累一个积压。比如,为什么 ChatGPT 会引起这么大的轰动?我认为有相当的可能性是,如果没有围绕 ChatGPT 的轰动,就会有围绕 GPT-4 的轰动;如果围绕 GPT-4 也没有轰动,就有相当的可能性会有围绕 GPT-4.5 的轰动。而当这发生得越晚,那次轰动与 AI 可能杀死所有人之间的时间就越来越少。
对。所以各国政府像现在这样在讨论它,而人们没有。但好的,我们来谈谈放慢,因为这也是全部……
是整体影响的一个子部分。我这样说是为了简要给出整个冗长回答的路线图。有一个问题是,加速的算计是什么?我认为加速是相当糟糕的。我认为局部加速没有那么糟糕。然后,是的,我认为做对齐工作在降低接管风险方面的效果,相对于加速 AI,整体效应量相当好。我认为相当好。我认为在你把 AI 加速一年之类之前,你已经显著降低了接管风险。
好的,明白了。如果放慢 AI 是好的,想必是因为它给了你更多时间来做对齐。但对齐也有助于加速 AI。RLHF 是对齐,它帮助了 ChatGPT,而 ChatGPT 加速了 AI。所以我其实不明白这个反馈回路最终如何净算,除了这一点:如果 AI 终将发生,你总归要在某个时刻做对齐。对吧?所以我是说,你不可能干脆不做对齐。
是的。我认为,如果你认为更快的 AI 进展是坏事的唯一原因是它给了做对齐的时间更少,那么对齐的算计就根本不可能出现负值。你会觉得,也许对齐加速了 AI,但放慢 AI 的唯一目的就是做对齐,对吧。它永远不可能得到更好的结果。我认为你之所以可能得到更好的结果,你之所以可能最终认为对齐是净负面的,是因为你还在做一堆其他让 AI 更安全的事情。比如,如果你认为世界正在逐渐更好地接受 AI 的影响,或者正在制定政策,或者你对应对威权滥用 AI 的威胁越来越有准备,如果你认为还有其他事情在发生,正在改善准备程度,那么除了对齐研究之外,你还有理由放慢 AI。
实际上,这个因素有多大?假设现在我们按下暂停键,你有十年没有对齐、没有能力研究,只是让人们谈论它十年。与我们只有一年相比,或者与没有时间、是死时间,没有任何对齐或能力研究发生相比,这能让人们多准备多少?
现在这段死时间对我们有什么用?似乎有很多你想做的政策工作。这在几年前看起来可能没那么可行,但如果世界知道现在有十年的暂停,我想会有很强烈的感觉:我们有政策目标要完成,如果有十年,我们基本上可以把这些事做完。我们会有很多时间来辩论衡量制度、辩论政策制度和遏制制度,也有很多时间来建立这些机构。如果你告诉我,世界知道这是一次暂停,并不是人们只是看到 AI 进展没有发生,而是被告知:你们被赐予了(或者说被诅咒了)一个十年的暂停,没有 AI 进展,没有对齐进展。我认为在目前这个时点这会相当好。不过,我认为在现在这个时点这会比两年前好得多。所以,现在放慢 AI 发展、而不是采取十年暂停的全部顾虑就是:如果你现在把 AI 发展放慢一年,我的猜测是一部分会被追回,因为唾手可得的成果在未来会被更快摘取。我的猜测是你在未来会损失大约半年之类,也许更多,也许三分之二年。所以就像是你以某个比率用现在的时间换未来的时间。这就吞掉了放缓的很大一部分价值。
关键点在于,未来的时间更重要,因为你有更多信息,人们更加认同,等等。
是的,和我现在比两年前对政策改变更兴奋是同样的原因。所以我的总体看法是,就像在过去一样,这个算计会随时间变化,对吧?越多人在做准备,此时此刻放慢的算计就越好。我认为现在的算计是正面的:即使你现在暂停,而它在未来会被追回一部分,我也认为现在暂停是好的,因为发生了足够多的事情。我们有足够的想法,大概即使撇开对齐研究也是如此,当然如果算上对齐研究就更是如此,足够多的事情正在发生,世界正在变得更有准备,更接受这些影响,所以我认为这是值得的,尽管其中一部分时间会再次被追回。特别是还有一个问题:在暂停期间,英伟达是否继续生产更多?如果他们继续,那就糟了,如果你们暂停的话。但在实践中,如果你们暂停了,英伟达大概无法继续生产更多 GPU,因为事实上对 GPU 的需求对他们这样做非常重要。但如果你告诉我,你们只是可以扩大硬件生产、建设集群,但不做 AI,那就又回到净负面了,我认为。
§07负责任扩展政策
很明显,既然提到了我们想要某种针对这些能力的衡量方案,那我们来谈谈负责任扩展政策(responsible scaling policies)。你想介绍一下这是什么吗?
当然。我想起因的问题是:AI 实验室现在应该做什么,来管理风险,并为将来管理风险培养良好的习惯或实践?我的看法是,从灾难性风险的角度看,当前的系统今天并没有造成多大风险,也就是控制或理解方面的失败。GPT-4 可以造成真实的危害,但就我所担心的那类接管风险而言,它没有多少危害,就滥用而言,也没有多少灾难性危害。所以我认为,如果你想管理灾难性危害,那么现在对于 GPT-4 你不需要那么小心。因此,关于实验室应该做什么,我认为最重要的单一事项是:弄清情况是否如此,注意到何时不再如此,并且对于不再如此时你实际要做什么,有一份合理的路线图。这就促成了这组政策,我一直在推动实验室采纳它们,内容是:这是我们要寻找的东西,这是我们担心的一些威胁,这是我们在衡量的一些能力,这是水平,这是会向我们表明这些威胁真实存在的具体衡量结果。这是我们在观察到那些能力时会采取的行动;如果我们无法采取这些行动,比如我们说过要保护权重的安全,但做不到,那么在我们能采取这些行动之前,我们就暂停。是的,所以这再次说明,它主要的动机是:作为一个实验室,你现在应该做什么来管理灾难性风险,并且以一种可以作为合理先例、习惯和政策、并在未来继续实施的方式去做。
哪些实验室……我不知道这是否已经公开,但哪些实验室在这方面合作?
是的。Anthropic 写了这份文档,就是他们当前的负责任扩展政策,然后一直在和其他人交谈,我想我不太想评论其他对话,但我认为总体上,那些对此更感兴趣、或者更认为在五年时间线上可能出现灾难性危害的人,会对此更感兴趣。而这样的嫌疑对象名单并不长。
实验室没有那么多。好的,那么如果这些公司愿意协调,并说在这些不同的基准上,我们要确保有这些保障措施,会发生什么?我是说,还有其他公司和其他国家不太在乎这一点。你是否只是在放慢那些最对齐的公司?
是的,我认为第一步是弄清什么才是管理风险的合理的一套政策。我确实认为存在这样的问题:你可能最终陷入这样一种情形,你说,嗯,这是在理想世界里,如果每个人都负责任地行事,我们会做的事。我们希望把风险保持在 1% 或几个百分点,甚至更低的水平,取决于你的感受。然而,在现实世界里,局面足够混乱,不安全的东西发生得足够多,以至于实际上值得做出更大的妥协。或者说,如果我们不把所有人杀光,别人也会把所有人杀光。所以实际上反事实风险要低得多。我认为即使你最终陷入那种情形,说出这样的话仍然是极有价值的:这是我们想遵循的政策。这是我们已经开始遵循的政策。这是我们认为它危险的原因。如果人们遵循的政策显著更宽松,这是我们的担忧。然后这也许有助于作为潜在监管的输入或模板。它有助于让正在发生的事情变得清晰。我认为历史上人们对开发者或多或少安全一直有相当多的担忧,但就他们的政策而言,并没有多少清晰可辨的区分。我认为走向那样的世界会是好事。这是非常不同的世界:你说“行动者 X 在开发 AI,我担心他们会以不安全的方式这样做”,对比你说“听着,我们采取了安全防范措施或安全措施 XYZ,这是我们认为这些措施是可取或必要的原因。我们担心另一个开发者,因为他们不做这些事。”我认为这在性质上是不同的。在任何你试图争取人们站到一边、或试图推动朝向能管理风险的监管迈进的世界里,这都是你想要采取的第一步。
那么这样的担忧呢:你有这些评估。假设你向全世界宣布,我们的新模型具有帮助开发生物武器或帮助你发动网络攻击的能力。因此我们现在暂停,直到你能弄清楚这个问题,然后中国听到了,心想,哇,一个可以帮助我们发动网络攻击的工具,然后就窃取了权重。在我们目前无法确保中国不会直接窃取权重的体制下,这个方案行得通吗?更进一步,你是否提高了危险模型的显著度,于是你把它泄露出去,人们现在就想要这些权重,因为他们知道它们能做什么?
是的,我认为一般的讨论确实强调了潜在的危害,或者潜在的……我是说,其中一些是危害,另一些只是影响非常大,所以也可能成为开发模型的诱因。我认为,如果你暂时忽略安全问题,只是说这可能增加投资,我认为总体上,让人们理解潜在影响是相当好的,因为它既是扩散的输入,也是监管或安全的输入。至于权重或其他知识产权的安全,我确实认为,你想在泄露会造成灾难性后果的那个时点之前,就转向对模型权重显著更安全的处理方式。事实上,例如在 Anthropic 的文档或计划中,安全就是第一批切实变化之一:在这个能力水平上,我们需要落实这样的安全实践。所以我确实认为,这是你需要相对早期就落实的事情之一,因为它会破坏你可能采取的其他措施,而且如果你设想未来几年的灾难性危害,我认为安全失败在其中许多情形里扮演核心角色。最后也许要说的是,并不清楚你是否应该宣布“我们已经暂停,因为我们有可以开发生物武器的模型”,而不是对你开发了什么模型什么都不说。或者至少说:嘿,顺便说一下,这是我们目前实施的一套实践,这是我们的模型不具备的一套能力。我们甚至没有谈那么多。这样一项政策的最低限度是说:从安全、内部控制或对齐的角度,这是我们所做的。这是我们必须做更多事的能力水平。而你可以这样说,并且在你的模型达到你之前的那个水平之前就提升你的能力水平和防护措施。完全可以说,在真正拥有一个具有如此这般极端能力的模型之前,我们就已经准备好应对这样的模型,只要你准备好把你的防护措施转移到那个阶段。
好的,那我们直接说到最后:假设你认为你距离一个人类水平的、并随后可能引发智能爆炸的模型只有一代之差,或者只差一点脚手架。在那个时点你实际上要做什么?要达到什么样的安全评估水平,你才会满意于发布一个人类水平的模型?
这里有几点要说。第一,是这种自动化研发的威胁模型,而不论 AI 是否能在对象层面做出潜在危险的事情。我认为,如果你有一个 AI 系统,一旦泄露可能让其他行动者迅速构建强大的 AI 系统,或者可能让你迅速构建强大得多的系统,或者如果你试图暂缓开发,它本身就可能创造出强大得多的系统,那么感到担忧是合理的。有一个问题是,如何处理这类威胁模型,它有别于“这可能助长破坏性的生物恐怖主义”或“这可能助长大规模的网络犯罪”之类的威胁模型。我不确定你应该怎样处理它。我认为目前,它是被隐含地这样处理的:听着,造成各种危害所需的能力与加速机器学习所需的能力之间有很多重叠。所以我们会用一个对二者都有效的早期预警信号来捕捉这些情形,而把这个问题的解决留到稍后一点。比如,在 Anthropic 的政策里,他们有这种“实验室中的自主性”基准,我认为它大概出现在真正大规模的 AI 加速或大多数潜在的对象层面灾难性危害之前。这个想法是,这样的预警信号让你可以先搁置问题。所以这有点离题,是关于如何思考那种风险的。我不确定你是应该直接应对那种风险,说我们甚至害怕使用这样的模型;还是应该主要关注对象层面的危害,说好吧,由于变化可能非常迅速,而这个 AI 的可得性恰恰制造了这种前景,所以我们需要更强烈的预防措施来管理对象层面的危害。好,这一切仍然是题外话。所以如果你有一个你认为可能非常可怕的模型,无论是在对象层面,还是因为会导致这种智能爆炸的动态,你需要落实的东西是:你真的不希望泄露那个模型的权重。你不希望模型能够跑出去。你不希望人类员工能够泄露它。你不希望外部攻击者或这三者的任何组合对你形成协同。你真的不希望出现对这类模型的内部滥用或篡改。所以如果你在制造这样的模型,你不希望出现这种情形:几名员工就能轻易改变模型的运作方式,或用该模型做出违反你政策的事。如果一个模型非常强大,即使存在内部滥用的前景也可能相当糟糕。所以你可能需要显著的内部控制来防止这一点。
抱歉,如果你正要谈到的话:我最好奇的部分,抛开其他人可能怎样搞破坏,把它隔离起来。要到什么点上我们才满意?它本身不会对人类构成风险。它是人类水平的,但我们对它感到满意。
是的。我想我在这里列出了也许最简单的两个,从安全开始。内部控制,我认为立刻就变得相关了,而且为什么要关心它们非常清楚。我认为超出这一步之后,就真的取决于你如何部署这样的系统。我认为,如果你有良好的监控、内部控制和安全,而你只是有权重放在那里,我想你基本上已经应对了权重放在那里的风险。现在你谈到的风险,主要是……也许这里有一些模糊之处,即内部控制涵盖的不仅是员工使用模型,而是模型在内部能做的任何事。你会非常希望处于这样的情形:你的内部控制不仅对人类稳健,对潜在的模型同样稳健,比如模型不应该能够破坏这些措施,就像你关心如果人类恶意行事你的措施是否稳健一样,你也关心如果模型恶意行事你的措施是否稳健。所以我认为在那之外,如果你已经管理了仅仅把权重放在那里的风险,那么从某种意义上说,大部分风险来自用这个模型去做事。你需要其余所有这些,才有可能踩刹车或实施一项政策。但到了某个时刻,随着模型变得胜任,你会问:好吧,这可能造成大量伤害吗?不是因为它泄露之类,而是因为我们给了它一堆执行器。我们把它作为产品部署,人们可以用它做疯狂的事。所以如果我们谈论的不只是一个强大的模型,而是非常广泛的部署,类似 OpenAI 的 API,人们可以用这个模型做任何事,也许经济影响非常大。事实上,如果你部署这样的系统,它会在很多地方被使用,以至于如果 AI 系统想制造麻烦,它们造成灾难性危害会非常非常容易。那么我认为你真的需要某种……我是说,我认为在这变得现实之前,科学和讨论大概还必须进步。但在你对此感到放心之前,你真的想要有某种对齐分析、某种对齐保证。我的意思是,你想能够限定这样一种概率:有朝一日所有 AI 系统都会做出非常有害的事。世界上可能发生某件事,造成你的 AI 的这种大规模关联性失败。为此有两类东西,一类是……另一个你需要的是针对各种滥用的防护,这也相当困难。
顺便问一下,你更担心哪一个,滥用还是未对齐?
我是说,在近期,我认为滥用造成的危害……尤其是如果你不局限于极大灾难的尾部情形,我认为近期来看,滥用造成的危害显然更大。
但就此我想问一下,因为如果你认为,在技术树更往后的地方存在简单的毁灭配方,我的意思是你熟悉的。不过为了听众,有某种方式可以把 5 万美元和一个青少年的时间配置起来,毁灭一个文明。如果存在这种东西,那么滥用本身就是一种尾部风险,对吧?所以你认为那种前景的可能性比……你可以这样说……
有许多潜在的破坏性技术。而对齐问题是关于 AI 本身就是这样一种破坏性技术,即使世界只使用今天的技术,仅仅是接触 AI 就可能让人类文明出现严重问题。但同时也有一堆其他潜在的破坏性技术。我们之前提到过物理爆炸物、各种生物武器,然后是整个尾部的天知道什么东西。我的猜测是,对齐在大多数这些之前就成为灾难性问题了。也就是说,在存在某种花 5 万美元杀死所有人的办法之前,可能的例外是生物武器,这很显著。那是我的猜测。然后有一个问题是,你的风险管理方法是什么?在不知道这里发生了什么、也不理解是否存在某种花 5 万美元的办法的情况下。但我认为你可以做一些事情,比如了解 AI 在想出这类方案方面有多擅长。比如你可以和你的 AI 交谈,看它是否会产生我们尚未认识到的新的毁灭点子?
是的。不是我们能不能评估它,而是这样的东西是否存在。如果存在,那么滥用本身就是生存风险。因为你之前似乎是在说,未对齐是生存风险的来源,而滥用是短期危险的来源。
是的,我是说,我认为最终你会有很多破坏性的……如果你看人类未来的整个技术树,我认为你大概会有相当数量的破坏性技术。我认为其中几个很可能会在某些部分构成生存风险。如果你设想一个非常长的未来,会发生很多事情。所以当我谈到生存风险来自哪里时,我主要在想的是:它在何时到来?在什么节点你面对什么挑战,或者以什么顺序。所以我是说,我认为未对齐大概是这样的:一种说法是,如果你设想 AI 系统复杂到足以发现我们目前完全不在视野中的破坏性技术,我认为那远远晚于 AI 系统强大到“如果未对齐就会有灾难性危险”的程度。一个被广泛部署到世界上的系统要拖垮一个文明所需的能力水平,远小于为某一个人提供如何拖垮一个文明的建议所需的能力水平,仅仅因为在前一种情形里,你已经有了十亿个自己的副本之类的。不过我认为这主要只是一个顺序问题。在非常长远的未来,我认为你关心的是:嘿,AI 将会扩展危险技术的前沿。我们想要有一套探索或理解那个前沿的政策,以及我们是否即将发现真正糟糕的东西,我认为那些政策可能会变得非常复杂。现在,我认为负责任扩展政策(RSP)可以更多地关注:我们有一份清单,列出一个有 AI 可用的人类会做的、造成大量伤害的事情。很可能都是在我们视野之内的东西,也就是说,它们不会与人类借助弱 AI 或其他工具能做的造成大量伤害的事情完全不同。我认为一开始说“我们在看最接近人类、人类能够造成巨大伤害的那些事情,并追问其中哪些越过了界线”并不疯狂,但最终情况不会如此。最终,AI 将带来完全不同的杀死十亿人的方式。
但我想我打断了你关于最初那个问题的回答。是的,所以人类水平的 AI,不是从泄露而是从部署的角度,你在什么节点上会对部署一个人类水平的 AI 感到放心?
所以,同样,有一些你在滥用这一侧所关心的东西,也有一些你在未对齐这一侧所关心的东西。而且很可能还有更多你所关心的东西,特别是延伸到你对灾难性风险的担忧。但也许我最想谈的是你在对齐这一侧关心什么,因为那是我实际上思考得最多的东西,也是我非常关心的东西。同时,我认为在可预见的未来,它占生存风险的相当大一部分。所以在这一点上,我大体认为有两类。比如,如果你现在问我什么样的对齐证据能让你放心,我的最佳猜测是提供两类证据。第一类证据是:如果这样的系统是未对齐的,你能否检测或防止灾难性危害?我认为你会做几件事。其中一件是在对抗性评估方面。比如你可以尝试说,我们已经试图在反映它可能造成危害的各种情境中测试我们的系统,比如有人试图拉拢它去……总之,是它可能造成危害的情境,或者大量 AI 系统可能全都决定与人类背道而驰的情境,比如机器人叛乱开始了之类。我们已经在大范围分布的情境中做过评估,然后我们试图论证我们的 AI 确实……这些测试能代表真实世界。所以我们试图论证:嘿,实际上这个 AI 并不擅长区分我们在实验室里制造的测试情境与真实世界中发生的类似情境。而且这个分布的覆盖面是合理的。这是你可以做的一个例子,它并没有真正对模型内部发生了什么,或者模型是否对齐做出假设。它更多是试图说:我们的测试或监控机制能否检测到或对糟糕的事情做出反应?在这种情况下,它能否检测到一个在某些条件下会做出非常糟糕之事的系统?这个类型有很多东西,我试着抛出这个例子,但我认为仅凭它自身,即使从这个角度看也不会有说服力。你需要把很多部分放在一起,这是一个要求很高的技术项目。但我认为它不一定有深层的概念性困难。它的一个大问题是容易失败。也就是说,你会做那种测试,并说我们认为这些测试有代表性,因为 AI 无法区分测试与真实世界,这一点你现在也许能做到,但在某个水平上大概会变得不可能做到。并不清楚是在人类水平,还是超出人类水平多远。
让我们为听众把这个例子具体化。如果我说错了请纠正,听起来你基本上是在测试中给它一个机会去发动政变或制造生物武器之类,在一个它认为是真实世界的情境中,而你看到它没有做任何这些事。你说的是这个吗?
差不多是这类事情。而且这并不是最好的……当我说我无法区分差别时。如果可以的话,你最想做的那种评估是这样说:嘿,我们有一堆真实世界的部署,有一堆来自这些部署的数据。我们还有一堆在实验室中对情境的测试。如果我们把实验室中对某个情境的测试和该情境发生的真实案例放在一起,然后微调一个模型去尝试区分其中的差别,而模型在微调之后甚至无法分辨测试与真实世界案例的区别。而如果模型能分辨出差别,在某个能力水平上几乎肯定会如此,那么你就说,好吧,我们寄予希望的第一道防线失败了。于是现在我们需要理解:当模型强大到能分辨测试和真实世界的区别时,测试怎么还能有指示作用?现在你需要开始论证模型在关注什么。如果你走运,这基本上就是第一道防线,什么办法会奏效。然后还有更深一层,你可能在某个时刻必须做出新颖的科学研究才能给出这样的论证。所有这些都是……我刚才说,也许你想要有两道防线。所有这些都属于这第一道防线:你能否检测到有什么地方出了问题,或者你能否防止危害发生?你能否拥有反应足够快的监控以避免灾难?我认为你大概还想有第二道防线,也许这比第一道更重要,就是了解危险形式的未对齐是否会发生。我认为这方面最好的参照点是,学术界已经有几个类似的项目。Anthropic 一直在做一个项目,或者说组建了一个团队来做这类工作,试图回答:危险形式的奖励黑客行为或欺骗性对齐是否真的会在实验室中发生?而在这里你想做的要么是说,好吧,即使我们创造最佳情形,即使你为欺骗性对齐或奖励黑客行为创造了最优条件,我们在实验室里也无法使其发生。如果你把这件事做得足够好,我认为它可以给你一些证据,而且更可能的情况是它失败了,也就是当你创造最优条件时,你确实在实验室里看到了欺骗性对齐和奖励黑客行为。但是一旦你有了这些数据,一旦你可以说,好吧,在实验室里这些事情确实会发生,你就可以开始说,我们有稳健的科学理解,使我们能够在这些问题发生时修复它们。或者你在第二道防线上面临一个分叉:要么这非常困难,要么我们无法创造出让这些失败出现的条件;或者我认为更可能的是我们能够创造这些条件。然后这里的故事是:我们为什么能够以一种在真实世界里也行得通的方式检测到这些,并且我们能看到它们在真实世界中并不发生。
你如何创造出让它想要欺骗的最优条件?你是在 mindcomp 上微调它吗(此处转录不清),还是做别的什么?
是的,对于欺骗性对齐,我是说,我认为这非常复杂。是的,我认为这是一个非常困难的项目。我认为关心未对齐的人要做的最重要的事情之一,就是确保在这项任务上投入了足够的努力,并且我们确实在实验室里创造出了良好的条件,同时关于这些条件能有多大的信息量,存在真正的分歧。不过好的,如果让你猜一下,对于欺骗性对齐,你会怎么做?一个例子是:假设你训练一个具有某种中等时程目标的 AI 系统。你训练你的 AI 系统去,比如,获取回形针,它想在未来五天里生产尽可能多的回形针,就是非常激进地选择能在未来五天生产回形针的行动。你做你的 RLHF,你做你的预训练,等等。那是你的第一阶段。你还要确保你的 AI 系统对它是如何被训练的有非常好的理解。也就是说,这个 AI 系统想要回形针,而且它理解关于它如何被训练以及如何被微调的一切。你在大量这类数据上训练它。然后你们说,好吧,如果我们做完了这一切,我们担心的是:如果一个系统想要回形针,而且很清楚自己是如何被训练的,那么当它被训练去获取苹果而不是回形针时,它会做一点成本收益分析,心想:真的吗?当我被训练去获取苹果时,我应该去做。但无论我是否……即使我想要回形针,我也应该这样做。所以训练并不会真正影响它的价值观。它只会理解自己正被训练去获取苹果。它会尝试去获取苹果,然后如果你把它从训练中拿出来,它就会回去获取回形针。我认为这个确切的设置与现实世界相比有一些问题,或者说有一些不类比之处。但这是一个相对有利于欺骗性对齐的设置:制造一个想要某样东西的系统,告诉它大量关于其训练的信息,即你可能预期系统会得到的那种信息,然后尝试了解它在最优条件下是否确实会,或者倾向于,或者有时会继续追求回形针,而只有在认为自己正被训练时才追求苹果。
好的,这实际上也许是切入你当前研究的好起点。在那种情况下,它想追求回形针,你要怎样才能说:我们弄清楚了它为什么想要回形针,而且我们弄清楚了如何确保当我们部署它时,它不会以我们为代价去优化那个目标?
是的,我认为在元层面,就你的保护是什么样的而言,你想说的是:我们在实验室里有糟糕事情发生的例子。我们之所以会关注这个问题,是因为我们在实验室里有例子。而且同样,这一切都应该是叠加的。我认为你确实想要这种纵深防御,也就是说:我们还有这套测试机制,可以检测已部署模型的问题。我们在实验室里有我们的问题。然后我们有一些技术,我们相信它们能解决这些问题。我们相信对抗训练可以解决这个问题,或者我们相信我们的可解释性方法能可靠地检测出这种欺骗性对齐,或者我们相信我们的异常检测能可靠地检测出模型从认为自己在被训练转变为认为自己应该背叛的时刻。然后你可以说,在实验室里,我们对这些技术何时有效、何时无效有一定的理解。我们对实际部署的真实系统的相关参数有一定的理解。而且我们有合理的安全边际。所以我们对于“这在何时有效、何时无效”的说法有合理的稳健性。我们可以把这种安全边际应用到实际部署的系统上,说这就是你想从长远来看努力构建的故事。尽最大努力在实验室里产生你能产生的所有失败,或者它们的版本,尽最大努力理解是什么导致了它们,什么样的异常检测实际上对检测这一点有效,或者什么样的过滤实际上有效,然后应用它们,这是元层面的。它没有谈论实际上有效的措施具体是什么,而这显然是……我是说,很多对齐研究实际上就是基于这样的假设:有朝一日会有以这种方式失败的 AI 系统。你会想怎么做?我们能否把这些技术准备好,要么因为我们可能永远看不到这个问题的迹象,要么因为我们希望一旦看到问题的迹象就能迅速行动。显然,我生活的大部分内容就属于那一类。我主要做对齐研究。它就是在构建没有这些失败的技术,这样一旦这些失败确实发生,这些技术就可以作为备选方案。
明白了。好的。
理想情况下,它们会好到这样的程度:即使你没有看到这些失败,你也会想要切换到没有这些问题的合理方法,或者理想情况下它们的效果与正常训练一样好,甚至更好。
理想情况下,什么会比训练效果更好?
是的。我们的追求是设计这样的训练方法:我们预期它们不会导致奖励黑客行为,也不会导致欺骗性对齐(原文转录为 receptive alignment)。理想情况下,这不会成为一个巨大的负担,不会让人们说:好吧,只有当我们真的担心奖励黑客行为或欺骗性对齐时才使用这些方法。理想情况下这些方法就是效果相当好,于是人们会说:当然,它们还解决了一堆其他更平常的问题,为什么我们不使用呢?我认为这就是好的情景。好的情景是,你开发出一些方法,解决一堆现有的问题,因为它们只是更有原则的训练 AI 系统的方式,效果更好,人们采用它们,然后我们就不再担心比如奖励黑客行为或欺骗性对齐了。
为了让这个更具体,告诉我这样概括对不对:至少到目前为止,有一个例子,它就是让系统变得更好,所以为什么不使用它。也许就像 RLHF,我们不知道它是否能泛化,但到目前为止它让你的 ChatGPT 变得更好,你还可以用它来确保 ChatGPT 不会告诉你如何制造生物武器。所以,是的,它并不是某种负担的混合。
是的。所以我认为这样说是对的:使用 RLHF 并不真的是一种负担。如果你想部署一个有用的系统,你为什么不用呢?或者说做这种训练非常值得花这笔钱。RLHF 会解决某些类型的对齐失败,比如系统只是不理解,或者在改变下一个词的预测。也就是说,在这种语境下,人类会做这种古怪的事,尽管并不是我们希望的。有一些非常愚蠢的对齐失败会被它解决。但我认为主要的问题是,对于那些引发该领域担忧的、更具挑战性的对齐失败,这一点是否仍然成立?我认为 RL 并没有解决大多数引发人们对对齐担忧的问题。
§08Paul 的对齐研究
RLHF 是什么,我就留给听众自己去查了。如果他们不知道,查一下会比现在解释更简单。好的,所以这似乎是个很好的切入点,来谈谈你一直在做的机制或研究。为此,请像对孩子解释一样来讲讲。
(像对孩子解释)好的。你可以给出几种不同的高层描述,也许我会不明智地给出其中几个,希望其中一个讲得通。第一个粗略的说法是:如果能理解模型为什么有它们所具有的行为,那就太好了。比如你看 GPT-4,如果你问 GPT-4 一个问题,它会说出看起来非常礼貌的话。如果你让它采取一个行动,它会采取一个看起来并不危险的行动。你会拒绝发动政变,诸如此类。所有这些东西,我认为你真正想做的是看进模型内部,理解它为什么有这些理想的属性。如果你理解了这一点,你就可以说,好吧,现在我们是否可以在这些属性有崩溃风险时发出标记?或者预测这些属性有多稳健,判断它们在我们难以直接通过提问来判断的情形下是否仍成立,依据是潜在的原因是否仍然存在。这是人们真的很想做的事。目前针对这个长期目标的大多数工作,就是打开神经网络做一些可解释性研究,试图弄清楚,哪怕是对非常简单的模型,它们为什么做它们所做的事情,或者这个神经元是干什么用的,诸如此类的问题。所以 ARC 采取了某种不太一样的方法,我们是这样说的:好,看看这些关于模型的可解释性解释,并问它们究竟在做什么?类型签名是什么?做出这样一种解释的游戏规则是什么?什么样的解释才是好的解释?而希望中最大的部分可能是:如果你想检测解释何时失效、或者发生了什么奇怪的事情,这未必需要人类能够理解对一个巨大模型的这种复杂解释。如果你理解了解释是关于什么的,或者游戏规则是什么,这些是如何构建的,那么你也许就能够自动发现这类东西,并自动判断对于一个新输入它是否可能失效。所以这是描述高层目标的一种方式。你也可以从可解释性出发,说,我们能否把这一活动形式化?或者什么是好的解释?在这个类型里还有一些其他工作。但我认为我们采取的是一种特别有野心的方法。
好的,我们深入看看。那么,什么是好的解释?
你是指这种判据吗?归根结底,我们想要某种判据。这个判据应该这样工作:你有你的神经网络,你有该模型的某种行为。一个非常简单的例子是,Anthropic 有这样一种非正式的描述:这里是归纳(induction)。也就是说,如果你有 AB 后面跟着 A 这样的模式,就倾向于预测 B。你可以给出一些试图解释这一点的文字、实验和数字。而我们想做的是,说这个对象的形式化版本是什么?你如何实际检验这样一种解释是否好?所以澄清一下,当我们说想要定义什么才是好的解释时,我们在寻找什么。我们正在寻找或最终选定的那种答案是:这是一种对该行为的演绎论证。你拿到一个神经网络的权重,所以它只是一堆数字。你有一百万个数字或十亿个数字之类,然后你想说,我可以指出这个网络的一些事情,并得出一些结论。我可以说,嗯,看,这两个向量的内积很大,因此这两个激活在这个分布上会相关。这些不是通过抽取样本并检查事物是否相关来确立的,而是说,由于权重是这样的,我们可以向前穿过网络,推导出关于输出会有什么性质的一些结论。所以你可以把它想成,最极端的形式就是证明你的模型有这种归纳行为。比如你可以设想证明:如果我随机采样出现 AB 后跟 A 这种模式的 token,那么 B 会出现 30% 的时间之类,这是最极端的形式。而我们所做的,就是放宽证明的游戏规则。证明的限制极其严格。我认为它不太可能适用于任何有趣的神经网络。但证明中与我们的目的相关的东西并不在于它们给你 100% 的置信度,所以你不必要求那种令人难以置信的严谨程度。你可以大幅放宽证明的标准,仍然得到这样的特点:它是对该行为的结构性解释,你从一件事推导出另一件事,直到最后你的最终结论是:因此归纳发生了。
也许可以通过解释普通的机制可解释性存在什么问题来引出这个?你提到了归纳头。这是 Anthropic 在两层 Transformer 中发现的,Anthropic 注意到在两层 Transformer 里有一个相当简单的回路:如果过去出现过 AB,那么模型就知道,如果你现在看到 A,接下来就做 B。但那是两层 Transformer。而我们有的这些模型有数百层、数万亿参数。好的。总之,机制可解释性有什么问题?
是的,我相当喜欢机制可解释性。我确实认为,如果你考虑人们为对齐所做的整个工作组合,机制可解释性方面的工作应该比 ARC 正在做的这个项目更多。我认为情况就是这样。所以我认为我们谈的是……是的,我们只占整个组合的一小部分,我认为这是一个足够好的赌注。总体上是个相当好的赌注。但是我们试图用机制可解释性来解决的问题,有点像是:如果你做了一些可解释性研究并解释了某个现象,你就面临这个问题:你的解释是好的,这意味着什么?我认为这在制度上或文化上是一个问题。很难知道你在做什么,而且当你并不太理解某项活动的游戏规则时,很难扩大这项活动的规模。你很难对你的结果有那么大的信心。
解释就是,它输出这个是因为它想接管世界,还是它输出这个是因为它只是想帮你。就是为了具体说明为什么解释很重要。
是的。所以理想的结果是这样的:你的 AI 系统表现良好。你得到一个关于它为什么表现良好的解释,而我们可以用英语讲一个关于该解释的故事,但我们实际上并不指望这个解释是人类能够理解的东西。但如果你要用英语讲一个故事,当然你不会在研究中看到这个,它会是类似这样:嗯,模型相信它正在被训练。因此,由于它相信自己在被训练,它知道自己需要不做任何看起来可怕的事,否则人类就会惩罚它。这是发生在这个不透明的解释内部的事情。然后希望是这样:如果你有那个解释,然后你遇到一个新输入,而模型在这个输入上并不相信自己在被训练。如果你只看你的模型的激活集合,那未必是一个看起来奇怪的激活,它只是一堆数字。但如果你看这个解释,你会发现这个解释关键地依赖于这个事实在整个训练分布上一致成立,而同样,我们人类可以加以评述,说那个事实就是它相信自己在被训练。但解释本身从根本上并不涉及那一点。它只是说,这是激活的一个性质,它在训练集上成立,并且这个性质负责产生该行为,即不做任何看起来太危险的事。那么当一个新输入进来、不满足那个性质时,你可以说,好吧,相对于那个解释,这是反常的。所以要么它不会有这种行为,比如它不会做看起来危险的事;要么它可能有这种行为,但原因与通常不同。
对。
通常它做这件事是因为这条通路,而现在它是通过另一条通路在做。所以你会希望能够标记出两件事:既有不表现该行为的风险,而且如果它发生了,它发生的原因很奇怪。然后你可以……至少,当你遇到这种情形时,你可以说,好吧,拉响某种警报;还有一些更有野心、更复杂的计划,说明你会如何使用它。ARC 有一个更长的故事,这正是促成这一切的动机,说明它如何融入整个计划的其余部分。
我只是想特别指出这一点,为了清楚说明解释为什么重要。
是的。而且为了这个目的,关键是从你模型的一个性质推理到你模型的下一个性质。非常重要的是,你是一步一步往前推进的,而不是抽取一堆样本并确认该性质成立。因为如果你只是抽取一堆样本并确认该性质成立,你就得不到这种检验。我们说,哦,这是内部结构中对这个下游行为负责的相关事实。你所看到的只是:是的,我们检查了一百万个案例,它在所有案例中都发生了。你真的想看到这样的东西:好,这是关于激活的事实,它在因果上导致了这一行为。
但请解释为什么采样不够,为什么拥有因果解释很重要。
主要是因为这样可以判断如果情况不同会怎样。比如,如果你遇到一个输入,在这个输入上这种情况不会发生,那你就应该害怕。
即使输出是相同的。
是的。或者说如果输出……或者如果在这种情况下检查的成本太高。需要说明的是,当我们谈到形式化什么是好的解释时,我认为有一小部分工作在推进这一点,它们大多采用这种因果方法,即:一个解释应该做什么?它不仅应该预测输出,还应该预测输出如何随内部变化而变化。这是形式化“什么是好的解释”最常见的方法。即使人们在做非正式的可解释性研究时,我想如果你在机器学习会议上发表论文,并想说这是一个好的解释,你验证它的方式,即使不是一套正式的因果干预实验,也会是某种消融:我们干扰了模型内部,它产生了我们根据解释所预期的效果。
好的,回到机制可解释性的问题。
是的,我想这是相关的,因为我认为一个基本困难是你并不真正理解你所做之事的目标,这在制度上或科学上有点困难。这就是很棘手。当游戏的目标是预测某样东西、并且你知道你在预测什么时,做科学更容易;而当游戏的目标是在某种未定义的意义上去理解时,就更难。我认为这在这里特别相关,仅仅是因为我们使用的非正式标准涉及人类能够理解正在发生什么。而这有关于可扩展性的问题:人类能识别出模型所使用的概念吗?是的,我认为当你试图将它自动化时,如果你对自己究竟在做什么、成功的标准究竟是什么站得有点不稳,就会越来越令人担忧。所以有很多原因表明,当你处理真正巨大的模型时,拥有对自己所做之事的真正稳健的认识变得越来越可取。但我确实认为,即使对于小模型,有更清晰的认识也会更好。
你说到“当你将其自动化时”的那一点,是不是因为无论自动化的对齐研究者在做什么工作,你都想确保你能验证它?
我认为这最主要的是你可以自动化的一种方式。我认为,如果你现在想自动化可解释性,你会采用人类使用的流程,你会说:很好,我们要拿这个人类流程,训练机器学习系统去做人类在该流程中做的那些环节,然后大量地做。所以我认为只要你的任务可以分解成人类大小的环节,那就很好。而对于大模型有一个根本性的问题:它们是否会以某种方式分解成人类大小的环节,还是只是一团真正混乱的乱麻,接口也不友好?越是后一种类型,就越难把它拆解成这些可以通过复制人类做法来自动化的环节,你就越需要说,好吧,我们需要某种在结构上更可扩展的方法。但与大多数人相比,我对自动化可解释性没那么担心。我认为如果你有一个行之有效但极其耗费人力的东西,我对我们将其自动化的能力相当乐观。同样,我们正在做的事情,我认为在某些世界里相当有帮助。但我确实认为典型情形下,可解释性可以增加很多价值。
没有这个的话,用语言来说一个解释意味着什么是说得通的,比如这个模型之所以这样做是因为某个论文篇幅的东西。但你有数万亿参数,你有所有这些数不清的运算。一个关于某个输出为什么发生的解释究竟意味着什么?
是的。需要说明的是,对于某个具体输出为什么发生的解释,我认为就是你运行了模型,所以我们并不期待它有一个更小的解释。
对。
所以,对于这些行为的整体解释,我们预期其大小与模型本身相近,也许稍大一些。我认为,就类型签名而言,如果你想有一个清晰的心理图景,最好的图景大概是想一想,或者想象一个证明:证明模型具有这种行为。你可以设想证明 GPT-4 有这种归纳行为,而那个证明会是个庞然大物。它会比模型的权重大得多。我们的目标是从大得多降到与之相同的大小。而且它对人类来说可能是无法理解的。对吧。就是说,这里有激活空间中的一个方向,这是它与激活空间中另一个方向的关系。就是像这样指出一堆东西。这里有这些由激活构造的各种特征,甚至可能是非线性函数。这是它们彼此之间的关系,而如果你看模型所做的计算,你可以通过归纳的方式一路追踪下去,并确认输出具有如此这般的相关性。这就是梦想。是的。我认为心理参照会是这样,我并不真的喜欢证明,因为我认为你能证明的东西与你分析神经网络的方式之间存在巨大的鸿沟。但我确实认为,如果你问“什么是解释”,即使人类不理解它,这大概也是最好的心理图景。我们会把一个证明视为一个好的解释。而我们对证明的担忧主要在于,你无法证明神经网络的性质。我们怀疑,虽然并不完全显而易见,但我认为相当清楚:你无法证明关于神经网络的事实(此处转录不清)。
你检测到了训练中事情发生的所有原因。然后如果在部署中某件事因你意料之外的原因发生,你就会有一个警报,然后你会说,让我们确认这不是因为……你想确认它没有决定接管之类,但问题是,在每一个不同的输入上,它都会有不同的激活。所以除非你运行完全相同的输入,否则总会有差异。你如何检测这只是一个不同的输入,还是一个可能具有欺骗性的、完全不同的回路被激活了?
是的,我是说,需要说明的是,我认为你大概不会去看一个单独的回路,这也是它难的部分原因。你看的是,模型在每个输入上总是在做同样的事。它总是——无论它在做什么——是一次单一的计算。所以那会是所有同样的回路以出人意料的方式相互作用。不过,是的,这进一步强调了你的问题。我认为最简单的开始方式,是只考虑独立同分布(IID)的情形。也就是你考虑一批样本,分布没有变化。你有一个包含大约一万亿个样本的训练集,然后有一个来自同一分布的新样本。在这种情况下,每一个激活仍然是不同的,但这实际上是一个非常非常容易处理的情形。想想一个能跨样本泛化的解释:如果你有一万亿个数据点,而有一个解释实际上能把这一万亿个数据点压缩下来,其实那是相当大的压缩。如果你想想,你有一个万亿参数的模型和一万亿个数据点,我们希望从某种意义上找到一个万亿参数的解释。所以它实际上是被相当压缩的,仅凭被压缩到这种程度,我们就预期它对来自同一分布的新数据点基本上自动适用。如果分布中的每个数据点都是出于不同原因发生的全新事物,那么你实际上不可能对这个分布有任何简洁的解释。所以对于这第一个问题,即激活全然不同,我认为实际上还好。而变得更混乱的是:真实世界将不仅是不同激活的新样本,它们在重要的方面还会有所不同。比如,整个担忧就在于有这些分布偏移,或者说不是整个担忧,而是大部分担忧,也许这就是拥有这些解释的意义所在。我认为每个输入在某些方面都是一种异常,困难在于:如果你对异常的概念很弱,那么任何分布偏移都可以被标记为异常。于是你不断地得到异常。所以拥有这样一个解释的希望,是能够说:这些是与该解释或该行为相关的特征。而相对于这个解释而言,属于异常的东西类别要小得多。比如,大多数异常不会改变这一点。比如,你改变分布的大多数方式不会影响这个解释的有效性。例如,这个解释是说,模型倾向于在如下方向上激活。你不关心与这个方向正交的任何事情。你只是看它们有没有激活。你基本上只是看这一个方向,看这一个方向是否有很大变化。是的。所以想法是,一旦手头有了这个解释,在与解释相关的意义上看起来异常的东西类别就会小得多得多。而且如果你做得非常好,那么故事是:如果有一个新输入,你预期该性质仍然成立,那将是因为你预期该解释仍然成立。也就是说,解释的泛化程度与它所解释的行为本身一样好。大致上这是你想要的。
好的,那么如果即使在训练中它就是有欺骗性的,它的内心独白基本上是:只有当我能证明自己处于真实世界并已部署时,我才会反叛,或者才会做看起来糟糕的事情,会怎样?想必由于它是在整个 WebText 上训练的,它知道真实世界意味着什么,对吧?它没有控制工厂和机器人军队之类。那么在这种情况下,即使在训练中,它也会有那些激活(原文如此),因为在它的潜意识里它在想:一旦有机会我就会接管。所以一旦部署之后,它仍然在想着这些背叛的念头,你不会检测到任何异常。你认为这是不太可能的场景,还是你能抓住它?
我认为这正是你想检测的典型情形。是的。所以故事大概是这样:你想在训练分布上解释为什么这个模型从不捅任何人,你会问,我在训练分布上的解释是什么?它实际上必须经过那个模型。假设它不捅人的唯一原因是:嗯,我知道我在被监视,除非我真的没被监视,否则我不能捅人。那么你对“它为什么从不捅人”的解释就是:哦看,它不会被编辑,它不会用英语标注,因为它只是一大篮子数字。但它是在与内心独白同步地追踪,说:嗯,它对自己想:我在被监视吗?而事实上它在训练分布上通常得出的结论是它在被监视,对吧?你有整个分布,所以解释说的是它知道自己在被监视,因此它决定不捅任何人。理想情况下,解释就是这么做的。同样,不是标注了的英语,而只是一大袋数字,它实际上在谈论那个过程。那么当你有一个新输入,在这个输入上模型说,我在训练分布上吗?不,我没有被监视。然后你把它与解释对比,解释说,嘿,它之所以不捅任何人,是因为它一直认为自己正在被训练。也就是这个东西始终是这个非线性特征。“我在被训练吗”这个表征一直在说“是”,这就是它在训练分布上从不捅人的解释。然后在这次测试时,当你在新输入上运行它时,它问:我认为自己在训练分布上吗?它说,不。你把它与你的解释对比,实际上,解释彻底崩溃了。现在,解释说的是,正是因为它认为自己在被训练,它才不做任何真正危险的事,或者说不捅任何人。所以一旦我们看到这个单一变量翻转,我们就知道这不只是异常,而是真正重要的异常,或者说是与该解释高度相关的异常。
所以这需要它一直戴着狗戴的那种锥形圈(此处转录不清),但基本上这需要一直对它做那种 MRI。当它被部署时,在每一次调用中,你都需要运行这个循环:这个解释是否仍然成立?
是的。对于这种标记异常的情形,你确实必须以足够高的频率来检查。所以你可以想象一直检查,或者你可以想象这样说:嘿,实际上需要大量 AI 系统合作才能不互相告发之类。比如,你可能已经检查过:嘿,在训练中,每当有可疑事情发生,模型就会标记它。为什么会这样?你有你的解释。你看一个新案例,你可以说,它没有标记是出于正常原因,还是出于奇怪的原因?所以你可以希望,即使只检查一小部分案例,如果有糟糕的事情在大规模发生,你能检测到。比如,每一千个决策里你检查一个,看是否有机器人叛乱之类在进行。你看一千个决策中的一个。你看到那个决策有一些非常奇怪的地方。即使你没检查很多,你也会说,好吧,我们需要后退。
如果 AI……我是说,WebText 包含你的论文,或者它也许只是从第一性原理推导出这是人们可能尝试的一种对齐技术,然后它说,好吧,那我要设计我的激活。我在想象我们可能怎么做,但基本上,即使在部署中,我也要让我的思维过程变得非常微妙,以至于不会触发任何警报。这有可能吗?
是的。所以我认为希望是基本上要有稳健性,你知道,当我们做理论研究时,我们处在一种最坏情形(worst case)的体制里。
所以。
我们通常设想一切都尽其所能地串通。所以,即使一个大脑做出某种疯狂的事,试图把自己构造成看起来很奇怪,这完全属于排除某种可能性时要考虑的范围。我想那里的希望是,编造一个故事其实并不容易。比如你问:为什么你在训练时没有捅人?你现在为什么不捅?这条现在适用吗?这有点像是一个心智不能任意改变实际原因。它做了某件事。比如早先有某一步,也许你可以把它想成第一步:现在我要尝试做那种偷偷摸摸的事,让我的想法看起来是这样。对该行为的实际解释,即实际的因果解释就在那里,如果你尝试给出这个理由,它就必须……也许我们应该更详细地讨论这个例子,来想象一个大脑会如何尝试这样做,或者一个心智会如何尝试这样做。但我认为它就像……
假设它有这个计划。所以在训练中它让自己的一部分激活。其中一部分……
问题是,如果它曾做过一次类似“我是否在训练中”的检查,那么你对该行为的解释就必须经过那次检查。因此,如果你曾做过这个检查,这个检查就成了解释的一个关键部分,然后当这个检查失败时,你的解释就崩溃了。所以如果你做了这样的检查,你就已经输掉了这场博弈。
有没有办法让它看起来……因为如果在每个不同的输入上它都有不同的激活,那么它能否让不同的激活看起来只是由于不同的输入造成的,而不是因为某个内部检查被触发了?
是的,同样,希望在于它不仅需要让它们看起来像随机的不同输入,它还需要产生具有某些性质的输入。比如它需要刻意制造在世界中有这种效果的输入,有这种在世界中的预期效果。
所以它基本上是在某种意义上给自己制造了一次越狱。
是的。问题还是在于,它在测试时必须以某种方式产生带有接管效果的激活,而在训练时产生看起来没那么像接管的激活之类。所以这两者之间必须有某种差别。它必须真正在某个地方做出创造这种差别的工作。
你能为我们更具体地说明一下,一个解释在物理上会是什么样子吗?解释长什么样?它本身就是一大堆数字吗?是一种语言吗?是代码吗?解释看起来是什么样子的?
是的,我也想稍微退一步澄清一下。我认为这个项目有点疯狂地有野心,而我认为你应该预期它失败或崩溃的主要原因,压倒性的原因,就是我们有所有这些期望,我们对这个解释概念有所有想要的东西。但这是一个极其困难的研究项目,有相当大的可能是不可能的。所以我乐意谈论它的含义是什么,但我想特别指出,以失败为条件,我认为最可能的原因是,我们想要的东西要么前后不一致,要么难以处理到无法解决。
那么你认为成功的几率有多大?
我是说,这多少取决于你所说的成功是什么意思。但如果你说的是得到很棒的、准确反映现实的解释,并且适用于我们设想的、或者我们乐观看待的所有这些应用,也就是最好情形下的成功,我不知道,大概是 10% 到 20% 之类。然后,对于提供价值或洞见、但不是全部梦想的各种中间结果,概率更高。但我认为在实现全部梦想的意义上取得成功的概率相当低。是的,关于解释在物理上长什么样,或者说最有野心的计划,最乐观的计划是,你在搜索神经网络的同时并行地搜索解释。所以你有一个对你的解释空间的参数化,它镜像你的神经网络空间的参数化。或者你应该把它想成与神经网络是什么有点类似:它是某种简单的架构,你填入一万亿个数字,这就指定了它的行为。所以你应该预期一个解释是一个相当灵活的通用骨架,它只有一堆你要填入的数字。而你为产生一个解释所做的,主要就是填入这些浮点数。
当我们通常想到解释时,如果你想想宇宙为什么这样运动的解释,那不是你可以在某种平滑的演化曲面上发现的东西,让你沿着山坡向上爬到物理定律。这些就是物理定律。你基本上只是从逆向原理推导出它们。但在这种情况下,它并不只是不同行星轨道之间的一堆相关性之类。也许“解释”这个词有不同的……我甚至没有问这个问题,但也许你可以就此谈谈。
是的,我基本上很同情这一点。有一些直觉上的反对意见,比如:看,解释的空间具有这种刚性的、逻辑的结构,很多解释有这种刚性的逻辑结构,其中非常精确而简单的东西支配着复杂的系统,附近的简单东西就是行不通,等等。还有一堆感觉与这种漂亮的、连续参数化的空间完全不同的东西。你可以设想在简单模型上做可解释性,你只是通过梯度下降找到具有理想性质的特征方向。但当你想象,嘿,现在你面对的是一个人类大脑,它在对事物进行逻辑思考。那么为什么这行得通的解释就不会只是这里有一些特征方向。这是我理解的基本困惑,我也有这种困惑,或者至少同情它。所以我认为最重要的高层要点是:基本上同样的反对意见也适用于这样问:GPT-4 怎么会学会对某件事进行逻辑推理?你会说,嗯,看,逻辑推理有刚性的结构,当需要时它会做“与”和“或”,尽管它只是以某种方式在这个连续空间上做了优化。而困难,或者说希望,在于这两个问题的难度有点匹配。也就是说,找到这些类逻辑的解释很难,因为这不是一个容易搜索的空间。但有办法做到。有办法把离散的、复杂的、刚性的东西嵌入到你所搜索的这些漂亮的、柔软的连续空间中。事实上,只要神经网络能够学到刚性的逻辑内容,它们就是以同样的方式学到的。也就是说,也许它们效率低得可怕,或者也许有可能以一种不太低效的方式把这种离散推理嵌入到该空间中,但你确实希望这两个搜索问题的难度相近。这就是总体上的关键希望。我是说,这总会是关键希望。问题是,学习一个神经网络,还是找到神经网络为什么有效的解释,哪个更容易?我认为人们有很强的直觉,觉得找到神经网络比找到它为何有效的解释要容易。而这正是我们——至少是在探索这个假设,或者对这个假设感兴趣——也许这两个问题在难度上实际上更匹配。
那为什么会是这样呢?
这相当带有猜想性质,也很难表达一些直觉。也许有一点是,我认为这种直觉很多来自机器学习这样的情形。比如你问写代码时,找到代码与找到代码正确性的解释相比有多难。在这些情形中,实际上差距并不大。人类写代码的方式,基本上和找到它为什么正确的解释难度相同。而在机器学习的情形里,我认为我们大多没有经验证据来说明,找到关于模型为何有效的这种特定类型的解释有多难。我们感觉它非常难,但那是因为存在一种惊人的不匹配:梯度下降花费了惊人的算力来搜索一个模型。然后某个人类在查看激活、查看神经元,甚至某个神经网络在查看神经元,就像你有一种惊人的……基本上是因为你无法定义什么是解释。你没有把梯度下降应用到对解释的搜索上。所以我认为机器学习的情形实际上不应该让你对寻找解释的难度感到那么悲观。目前之所以困难,恰恰是因为你并没有进行与寻找模型类似的搜索过程来寻找这个解释。这只是直觉的第一部分。比如当人类实际在做设计时,我认为差距没那么大;而在机器学习的情形里,我认为差距巨大,但主要是出于其他原因。我还想强调的一点是,我们对存在很多没有特别紧凑解释的事实持开放态度。所以另一点是,当我们想到寻找一个解释时,从某种意义上说,我们把目标定得很低。比如,如果一个人类设计了某个随机的小玩意儿,说这个小玩意儿似乎运作良好,或者你搜索到一个恰好非常合适地嵌入这个位置的配置,就像一个恰好与另一个形状咬合的形状。你可能会问,这些东西为什么咬合,解释是什么?而我们非常愿意接受:这不需要解释。你只需计算。你检查形状咬合,你做了十亿次运算,你检查这个东西行得通。或者你问,为什么这些蛋白质这样?你会说,只是因为这样的形状,这是一种低能量构型。我们非常愿意接受,在某些情形下没有什么更多可说的。所以我们只试图解释那些直觉上意外程度很大的情形。比如,如果你有一个神经网络,一个有十亿参数的神经网络,在长度为 1000 的每一个输入上都把某个问题做对了,那么从某种意义上说,必须有某种东西需要解释,因为输入太多了,仅靠偶然不可能发生这种事。而如果你有一个神经网络只是平均而言做对了某件事,或者只是在十亿个案例中做对了某件事,那实际上可以纯属巧合。GPT-4 可以靠巧合做对数十亿件事,因为它有如此多的参数被调整来拟合数据。
所以对于一个完全随机初始化的神经网络,它的解释就只是这个神经网络本身。
嗯,这取决于它有哪些行为。我们总是在谈论对模型某种行为的解释,对吧?
所以它有一大堆随机的行为。那么相对于模型的权重,它就会是一个指数级巨大的解释。
是的,我认为需要解释的行为其实并不多。随机神经网络所做的大多数事情,就是你对一个随机函数所预期的那样,如果你把它当作随机函数,那就没有什么需要解释的。有一些行为需要解释。但不管怎样,随机神经网络相当无趣。希望的一部分就是,解释随机神经网络的特征是相当容易的。
好的,那很有意思。所以神经网络越聪明、越有序,解释就压缩得越多。
嗯,更确切地说是要解释的行为越有趣。随机神经网络没有太多需要解释的有趣行为。而随着你变得更聪明,你开始有这样一些行为:你开始与某个简单的东西有一些相关性,这就需要解释。或者你的输出开始有一些规律性,这也需要解释。所以这些需要解释的性质是在训练过程中逐渐涌现出来的。我还想在这里再次强调,当我们谈论搜索解释时,这是某种梦想。我们是自己对自己说的。比如,如果我们成功了,为什么这会非常棒?我们对这一切的经验层面完全没有概念。所以这些都只是我们自己想的、有时谈论的话,用来理解:找到一种解释的概念会有用吗?我们希望这种解释的概念具有什么性质?但这真的是投机,是在冒险。我们日常几乎所有的时间,都是在思考比小型神经网络还要简单得多得多的情形,或者说在思考非常简单的情形,并问:正确的概念是什么?在这种情形下正确的启发式估计是什么?或者你如何调和这两个看似冲突的解释?
是否有这样的希望:如果你现在有了另一种做证明的方式,那么你实际上可以有启发式论证,而不必去证明黎曼猜想之类,而是可以以一种令人信服且可以发表的方式给出它的概率?这会不会成为一种新的做数学的方式?一种在数学中证明事物的全新方式?
我认为,数学家们相信为真的大多数数学论断,已经有相当有说服力的启发式论证了,比如黎曼猜想。实际上有一个非常简单的论证说,除非发生什么令人惊讶的事,黎曼猜想应该是真的。所以很多数学是在说,好,我们做了一点工作,找到了为什么这件事应该为真的第一轮解释。然后,例如在黎曼猜想的情形里,问题是素数中是否有这种古怪的周期结构?而你会说,嗯,看,如果素数是某种随机的,你显然不会有任何那样的结构。那怎么会发生呢?然后你会说,嗯,也许有点什么,于是整个活动就是搜索:我们能否排除任何会打破这个结果的共谋?所以我认为数学家们并不会很惊讶,或者不会那么在意。这与这个项目的动机有关。我认为在很多领域,在特定领域里,人们已经有了相当有效的推理规范,与我们认为这些启发式论证应该如何工作大致吻合。
但有一个更具体的感觉会很好,比如你不再只是说“嗯,我们认为 RSA 是安全的”,而是能够说“这是 RSA 安全的概率”。
是的。我猜这些……从这里得到的估计会比你用正常的经验或科学推理得到的估计差得多得多,在后者那里你使用参照类并问,人们为困难问题找到算法的频率有多高?我认为这个论证会给出的关于“RSA 是否安全”的答案会是:嗯,RSA 是安全的,除非不是。除非问题中存在某种算法可以利用的额外结构,否则就不存在算法。但这些论证的工作方式经常是这样,神经网络也一样:你说,看,这是关于行为的一个估计,而这个估计是对的,除非有我们遗漏的另一个考虑。而让它们比证明容易得多的就是:说这是基于目前注意到的东西的最佳猜测,但这个最佳猜测很容易被新信息推翻。这既是它们比证明容易的原因,也意味着在大多数情形下它们远没有证明有用。我认为神经网络有点不同寻常,因为它是一个我们确实想要做系统的、形式化推理的领域,尽管我们并不是想得到很高的置信度,我们只是想大致理解发生了什么。
但它之所以对对齐有效,而对黎曼猜想不那么有趣,是因为在 RSA 的情形里,你说,嗯,RSA 是安全的,除非估计是错的,那就是:好吧,那会告诉我们一些新东西。但在对齐的情形里,如果估计是,这就是输出应该有的样子,除非有某种我不理解的行为,你会想知道这个。在这种情形里,除非有某种你不理解的行为,那就不是“哦,无所谓”。那正是不对齐的情形。
是的,我是说,也许一种说法是,我们可以等到看到这个输入,或者你可以等到看到一个奇怪的输入,然后说,好,奇怪的输入,做了我们不理解的事。对于 RSA 来说,那只是一个平凡的测试。你只是说,在某些情形里算法会问:这是不是一件事?而对于神经网络,在某些情形里,检查要么非常昂贵,要么实际上你没有任何其他办法来判断。比如你在简单情形里检查过,现在你处在一个困难情形,所以你没有办法判断是否出了问题。另外,我想澄清的是,我认为对黎曼猜想而言这是有趣的,我会说目前的状态,特别是在数论中,但也许在相当多的数学中,是这样:对几乎所有人们研究的开放问题,都有非正式的启发式论证,但这些论证完全是非正式的。也就是说,我认为并不是这样的情形:有一套非正式推理的规范或启发式推理的规范,然后我们有启发式论证验证器可以接受的论证。而是人们写了一些文字。我认为这些文字,我的猜测是,数学家们接受为真正有说服力的启发式论证中大约百分之九十是正确的,而如果你把它们真正形式化,你会发现其中有些并不完全正确,或者这里有些修正,或者两个相互冲突的论证中哪一个才是对的。我认为从中可以学到一些东西。我不认为会令人震撼。不会。
当你完成它时,这个启发式估计器的规则会有多大?我是说,我知道当罗素和另一个人,另一个人是谁来着,他们制定规则的时候,是不是字面上有一桶或者一手推车的论文?
但会有多大呢,我是说,数学基础最终是相当简单的。归根结底就是有多少个符号?我不知道,整个基础和整个推理规则大概是几百个符号之类,它是建立在一阶逻辑之上的,但一阶逻辑的推理规则也不过是另外几百个符号,或者 100 行代码之类。我会说我不知道。我们当然是在瞄准并不那么复杂的东西,而我的猜测是我们所寻找的算法并不那么复杂。大部分复杂性被推到了论证中,而不是这个验证器或估计器中。
所以要让它起作用,你需要想出一个估计器,也就是一种把不同的启发式论证整合在一起的方式。
必须是一台机器,它接受输入。首先它接受一个输入论证,根据它决定自己相信什么,这有点像在说它是否有说服力。但其次,它需要接受四个这样的论证,然后说,鉴于全部四个,这是我所相信的,尽管有不同的估计策略产生不同的数字,而我们的很大一部分工作就是在说:嗯,这是一个看起来合理的简单东西。这是另一个看起来合理的简单东西。你在做什么?应该有一个简单的东西把它们统一起来。而得到那个东西的障碍,在于理解当这些原则略有张力时会发生什么,以及我们如何处理。
§09这会革新理论计算机科学和数学吗?
是的,这似乎非常有意思。我们看看它还有什么其他应用。我不知道,比如计算机安全和代码检查,如果你真的能说,我们认为这段代码有这么安全。
以非常形式化的方式,我的猜测是我们不会增加……我是说,这既是福也是祸。这是祸:你会说,那真可惜,你的东西没那么有用;但这也是福,不那么有用的东西更容易做。我的猜测是我们在这些领域中的大多数不会增加太多价值。大部分困难来自于你想验证的很多代码,不是全部,但是相当一部分。形式化证明的困难是真正难的部分,要让这一切走通,我认为我们连一丁点帮助都不会有。所以如果你有使用仿真的代码,你想验证一个控制器的某种性质,其中涉及一些数值误差,或者你需要控制该误差的影响,这会更有帮助。这就是你开始说,嗯,启发式地说,如果误差是独立的,等等等等。
是的,你太诚实了,当不了推销员,Paul。
这对我们来说有点像是推销,对吧?如果你谈论这个想法,人们会说,这为什么不是最酷的东西,因此不可能?而我们说,嗯,其实它有点无聊,我们只是想推销,它比听起来无聊得多。而这恰恰是它可能成功的重要原因:它真的不会让那么多人震撼。我是说,我认为它会很酷。我认为如果我们成功了,它会是非常扎实的元数学或理论计算机科学之类的东西。但我认为数学家们已经在做这种推理,而他们大多只是热爱证明。我认为物理学家做很多这种推理,但他们不在乎形式化任何东西。我认为在实践中,其他困难几乎总会更显著。我认为这对可解释性和机器学习来说目前远远是最有意义的,我认为其他人应该关心它,如果成功的话大概也会关心它。但我不认为它会成为任何领域里有史以来最大的事情,甚至不会是那么大的事情。我认为考虑到难度与影响的比率,这会是一个糟糕的职业选择。我认为对理论计算机科学来说,大概是个不错的选择。我认为在其他领域不值得……我们至少在最好的情形下,要在这上面干好几年。
我在笑,因为我的下一个问题本来是要给你铺垫,让你解释如果有研究生想做这个。
我认为理论计算机科学是一个例外,从某种意义上说,这就是最好的理论计算机科学的样子。所以你有这一切理由,你有这个,因为它没用。打个比方,我认为理论计算机科学最成功的传奇之一就是形式化交互式证明系统的概念。就是你有某种有趣的、值得理解的非正式事物,你想把它确定下来,构造一些例子,看看什么可能,什么不可能。我认为这类事情是理论计算机科学最好部分的基本功。然后,我再说一遍,对数学家来说这可能是职业错误,因为数学家们只在乎证明之类,但那在某种意义上是个错误。从美学上说,它是成功的。我确实认为回头看,而且再说一次,它是个错误的部分原因在于我们不成功的概率很高。但我认为回头看,人们会说,那相当酷,尽管没那么酷。或者我们理解为什么它没有发生,考虑到认识论上的,就是领域里的人们在乎什么,但它现在相当酷。
但难道不也是这样吗,哈代不是写过……所有这些关于素数的东西既不是无用的,而且做起来有趣,结果所有的密码学都建立在所有这些素数的东西之上。所以我不知道。不过总之,我是想给你铺垫,让你可以说,而且先别管它在所有那些其他领域有没有应用。它对对齐非常重要,所以我是想给你铺垫,让你谈谈:我想很多聪明人会听这个播客。如果他们是数学或计算机专业的研究生,并且对此产生了兴趣。你在寻找可能的人才来帮助你做这件事吗?是的,也许我们从那里开始。然后我还想问你,我想也许能提供资金的人也可能在听这个播客。所以对这两类人,你的推介是什么?
我们肯定在招人,也在寻找合作者。我认为最有用的人选大概是这样的组合:对这个特定项目有智识上的兴趣,并且对对齐有足够的动机,即使这个项目非常困难也愿意做。我认为有很多好问题。让这个问题缺乏吸引力的基本事实是——我是个很棒的推销员,不过无所谓——我认为这不是一个板上钉钉值得投入的唯一原因是,没有很好的例子。我们已经做了一段时间了,但在这期播客录制时,我们还没有漂亮的结果。希望到播出的时候,你完全可以编个剧本(此处转录不清),他们此后已经有了很棒的结果,不过……
这些放在播客的页边空白处实在太长了。
是的,但愿如此。是的。所以我认为这个项目很难做,因为不清楚成功是什么样子。不清楚成功是否可能。但我确实认为有很多问题。我们有很多问题,而且我认为基本情形是这样的:看,有所有这些论证。在数学、物理学、计算机科学中,有很多非正式启发式论证的例子。它们有足够的结构相似性,看起来很有可能存在一个统一的框架,这些是某个一般框架的实例,而不只是一堆随机的东西。比如,就素数而言,人们对素数的推理就好像它们是一个随机的数集。一种观点认为,这只是素数的一个特殊事实,它们有点随机。另一种观点认为,实际上把一个对象当作随机对象来推理作为起点是相当合理的。然后随着你注意到结构,再从最初的猜测出发加以修正。在我看来,第二种观点大概更正确。把一个对象先当作随机的,然后注意到相对于随机的偏离,这是合理的。也就是说,注意到这个对象具有的结构,而素数是不寻常的,因为它们的加法结构相当少。我认为这是一个非常自然的理论项目。人们做了一大堆这样的活动。似乎有相当的可能,对统一所有这些活动可以说出一些漂亮的东西。我认为这是一个相当令人兴奋的项目。对它基本的不利之处是它看起来非常难。比如如果你是某人的导师,我想你会问:如果你在这上面工作两年,你打算证明什么?他们会说,很有可能什么都没有。而这不是你做博士生该做的事。通常你应该瞄准那些在几年内得到一些东西的高概率目标。另一面是,它确实让人觉得……我是说,我认为有很多问题。我认为其中一些我们大概会取得进展。所以我认为这个推介主要是:有些人是否对现在就加入感到兴奋?或者人们更倾向于等一等,等我们有了一两个好的成功案例,看到模式是什么,变得更有信心,我们就可以转动曲柄,在这个方向上取得更多进展。但是对于那些对失败概率相当高、并且不完全清楚自己该做什么的工作感到兴奋的人,我认为这是个相当好的项目。我觉得如果我们成功了,人们 50 年后回头看数学或理论计算机科学中发生的最酷的事,这肯定会在候选之列。而且我猜对很多人来说,它会显得是那几年这个时期里最酷的东西。
对。因为这是在这么多不同领域中的新方法,你提到的物理、数学、理论计算机科学,我不知道,因为一个普通的数学博士在研究什么呢?对吧?他研究的是某个东西的子集的子集,我甚至理解不了也念不出来。数学相当深奥。但是,是的,这似乎……我不知道,即使有一点点成功的机会。你不该忘记它对对齐的价值。但即便没有这一点,如果这行得通,也是非常酷的,是真正的大事。
很有可能的是,如果我对这个问题持有目前这套看法,又不关心对齐,并且有职业上的安全感,可以花几年时间思考它,比如花五年左右一半的时间,我就会这么做。我是说,即使完全不关心对齐,这也是一个非常好的问题。有这样一整个事物库,它们成功了,而对至少我来说,它们让人觉得如此诱人地接近于可以形式化,而且是一个如此自然的设定,但我们对它几乎毫无着力点。在理论计算机科学中,真正让人感觉令人兴奋的前沿并不多。
那么一个聪明人,不必是研究生,一个对此感兴趣的聪明人,应该做什么?他们应该尝试攻克你在博客上列出的某个开放问题吗?还是说下一步是什么?
是的,我认为第一步……有不同程度的野心,或者说接近问题的不同方式。但我们有去年的一篇文章,我想是十一个月前,关于形式化“独立性预设”(presumption of independence),它提供了我们在这个对象中所寻找的东西的一种说明。我认为促成动机的问题是说,这里有一个关于什么是估计器的概念,以及估计器捕捉一组非正式论证意味着什么。一个非常自然的问题就是尝试去做这件事。整个拿下,尝试去理解,然后希望提出一种不同的方法,或者最终从不同角度对我们所采取的方法有所了解。我认为这是一件合理的事情。我们也确实有一批开放问题,所以也许我们应该放出更多这类开放问题。我是说,这样做的主要顾虑是,对于任何一个问题,我们的感觉都是:这大概没希望。比如年初我们为一个开放问题设置了奖金,不幸的是,我想现在应该发布那次的总结了,或者说我这个周末欠着这件事。我本来该做的,我大概明天会做,但没有人解决它。抛出很难的问题让人难过,或者说,我不知道我们是否可以抛出一堆我们认为可能非常难的问题。
但那个著名的案例是什么来着,一位统计学家,他是一个博士生,上课迟到了,看到黑板上有些题目,以为是作业,结果那其实是开放问题,然后他因为以为是作业就把它们解决了。
对,是的。我是说,我们关于这些问题很难的信息要少得多。同样,我预期我们大多数问题的解法不会那么复杂。而且从某种意义上说,我们已经在上面工作了很长时间。整个团队在这个领域的全职等效工作总年数,大概约为 3 个全职等效年,分摊在几个人身上。但与一个问题相比,那是很少的。很容易出现这样的问题:你投入了 3 个全职等效年的工作,但实际上,如果你从新的角度切入,仍然有一种方法只需 3 到 6 个月就相当容易地奏效。我们从中学到了不少东西,可以分享,而且在接下来的几个月里我们大概会分享更多。
就资金而言,这是否是这样一种情形:我不知道,如果有人给你一大笔钱,会有帮助吗?顺便问一下,还是说有多少人在做这个其实无关紧要?
我们现在有 4 个人全职,我们正在招更多的人。
那么资金重要吗?
我是说,资金总是好的。我们目前并没有受到资金的严重限制。资金的主要作用是会让我不断地、也许无限期地推迟筹款。我会定期说自己对筹款有兴趣了,然后有人就会提出给一笔资助,于是我又可以再推迟六个月或九个月的筹款,或者说,你可以推迟 Paul 需要花一段时间去考虑筹款的时点。
§10Paul 是如何发明 RLHF 的
嗯,我认为有一个问题会很有意思。你知道,人们可以含糊地谈论理论研究的价值以及它如何促成现实世界的应用,你可以看历史上的例子之类,但你是一个真正在很大程度上做到了这一点的人。比如 RLHF 是你开发的东西,然后它真的进入了一个应用,被数百万人使用。跟我讲讲这条管线。你如何可靠地识别出对现实世界应用重要的理论问题?因为读读图灵或停机问题之类是一回事,但你这里有的是真实的东西。
是的,我是说,做过一个有现实世界影响的东西,确实令人兴奋。我要给出的主要保留是,RLHF 与许多事情相比非常简单。所以做这个问题的动机是:看,这大概就是它应该有的工作方式,或者这是某个进展序列中的一步。不清楚它是否是最后一步之类,但它是一件非常自然的事情,人们大概应该做,也大概会去做。我是说,如果你想谈疯狂的事情,帮助让这些步骤更快发生是好的,而且从中学习也是好的。即使对于纸面上看起来非常简单的东西,在实践中也会出现很多问题,但主要来说,故事就是,是的,我对世界的感觉是,纸面上看起来是好主意的东西,往往比看起来更难。但世界与纸面上说得通的东西并没有相差那么远。比如,大语言模型在纸面上看起来非常好,RLHF 在纸面上看起来非常好。而这些东西我认为都以某种方式奏效了。是的,我认为人们也许高估了,或者说也许这有点老生常谈,但人们会谈论,很容易低估理论与实践之间有多大的差距,比如会冒出多少理论中不会出现的事情。但同样很容易高估世界有多么难以捉摸。发生的事情大多确实是说得通的。是的,我觉得大多数机器学习的实现确实归结为一堆细节,比如构建一个非常简单的系统版本,理解哪里出错,修复出错的东西,扩大规模,再理解哪里出错。我很高兴自己有一些做这件事的经验,但我认为这确实使我对机器学习中什么说得通、什么真正行得通有更好的了解。但我不认为这让我对如何弥合这个差距拥有大量的深厚专长或深刻智慧。
是的,但有没有什么识别像 RLHF 这样真正重要的事情的窍门,以对比确保你不会陷入某个无关紧要的理论问题?还是说这只是巧合?我是说,有什么是你可以事先做的,来确保这件事情是有用的?
我不知道 RLHF 的故事是不是最好的成功案例,因为能力方面……也许我会更深入地说,同样,它并不是那么困难的案例。说“我要预测一件我几乎认为迟早会发生的事”,有点不公平。所以它主要是一个加速的案例,而我们现在在做的工作则明确聚焦于一件足够疯狂、以至于可能不会发生的事。即使它是一个非常好的想法,或者足够有挑战性,它也可能不会发生。但我总体上会说,这稍稍借鉴了我在理论方面更广泛的经验:很多时候理论与实践脱节,其实是很明显它不会衔接上的。如果你真的去想,问自己,实践中的关键约束是什么?我们正在研究的理论问题是否真的与这些约束相关?理论上可能的某件事是否真的能解决现实世界的问题?我认为作为一名理论计算机科学家,绝大多数理论计算机科学都几乎没有机会影响实践。但同样,在理论中完全清楚的是,它几乎没有机会影响实践。大多数理论未能影响实践,并不是因为你没想到的那些东西,而只是因为你可以说它是“出生即死亡”,但你也可以说,那本来就不是重点。就像数学家也是这样,他们并没有试图影响实践,他们不会问,为什么我的数论不影响实践?这是显而易见的。我认为最重要的事情是真正在乎这一点,然后至少学习你所在乎的实际系统中基本上在发生什么,实际重要的约束是什么,以及这是否是一个真正的理论问题。大多数理论不这么做的基本原因是,那里没有容易的理论问题。所以我认为理论的动机反而是:我们要建立起理论的大厦,有时会有机会主义的做法,我们会机会主义地发现一个接近实践的案例,或者发现从业者已经在做的事情并试图把它纳入我们的框架之类。但理论的变革路径大体上并不是这个东西会进入实践,而主要是这会贡献于缓慢增长的知识体系,并且有时在机会主义的情形下产生重要的结果。
你认为一个种子 AI(seed AI)会有多大?与人类一样聪明的东西,最小的编码是什么?
我认为这在很大程度上取决于它可以运行在什么基底上。如果你告诉我它在此之前获得多少计算,或者它获得什么样的现实世界基础设施。你可以问,最短的程序是什么,如果你把它跑在一百万块相互连接成良好网络、环境友好的 H100 上,它最终会走向星辰。但那大概是几万字节的量级,或者我不知道,如果让我猜中位数,我会猜 10000 字节。
等等,是规格说明,还是仅仅是程序的压缩?
一个出了问题的程序(原文如此)。哦,明白了。但那会是非常取巧的。所以他们问,什么东西拥有价值观,会扩张并大致保持自己的价值观?因为那个东西,那个 10000 字节的东西,会大量依赖进化和自然选择来达成。对那个来说,我不知道,大概是一百万字节,一百万字节,十万字节,差不多这样。
你认为 AI 测谎仪会奏效吗?也就是你只是看激活,而不是像你谈到启发式时那样去寻找解释,而是字面上说,这是真话的样子,这是谎言的样子。我们就把潜在空间(latent space)分开,看看能否区分这两者。
是的,我认为单纯训练一个分类器来做这件事,由于几个原因有点复杂,可能行不通。但如果你只是把它们带进空间里说,嘿,就好像你想知道某人是不是在撒谎,你可以审问他们,但你还可以任意倒带他们,并制造一百万个他们的副本。我确实认为成功撒谎是相当困难的。你可以看他们的大脑,即使你并不完全理解发生了什么。你可以把他们倒带一百万次。你可以把所有这些并行的副本拿去做梯度下降之类。我认为有相当大的可能,你可以直接判断某个人是否在撒谎,比如一个大脑仿真或一个 AI 之类,除非它们被激进地选择过。如果只是它们在试图把谎撒好,而不是它们经过许多代选择而变得极其擅长撒谎之类,那么你的机器学习系统希望没有被大量训练去撒谎。你要小心你的训练方案是否有效地在做这件事。是的,这看起来成功的可能性大于不成功。
你认为我们有多大可能指定人类可验证的推理规则,这样即使 AI 是超级智能的,我们无法真正理解它为什么做某些事,我们也知道它得出这些结论的方式是有效的?比如,如果它试图说服我们某件事,我们可以说,我不理解所有步骤,但我知道这是有效的,你不是在胡编乱造。
如果你想要与学习到的推理具有竞争力,那看起来非常难,这多少取决于你具体如何设置。但对于其中有野心的版本,比方说它能解决对齐问题的那种,似乎相当不可能,大概 5% 的样子。
智能有上限吗?不是近期,而是比如在某个时刻的超级智能,你认为它能走多远?
这多少取决于智能指的是什么。这读起来像是一个类似“力量有没有上限”之类的问题。有很多形式。我认为是这样的:存在任意聪明的输入输出功能,然后如果你固定算力的数量,就存在某个最聪明的,比如你问 10 的 40 次方次运算的最佳集合是什么?它们只有有限多个。所以对于你心目中任何特定的“最佳”概念,都有某个最佳的。所以我想,对于不设上限的问题,你可以使用任意的描述复杂度和算力,大概没有上限。至于……我是说,存在某种最优的行为,如果你心里有某个目标,并且问,什么行动最能实现它?如果你想象宇宙中嵌入的一个小盒子,我认为存在某种最优的输入输出行为。所以从这个意义上说,我想是有上限的,但在物理宇宙中无法达到饱和,因为它肯定是指数级缓慢的,对吧?
是的。因为通信或其他东西,或者热量。可能在物理上就不可能即时造出比这更聪明的东西(原文转录为 instagram)。
是的,我是说,比如如果你想象最好的东西是什么,它几乎肯定涉及模拟每一个可能的宇宙。它可能受限于模(modular)道德约束(原文如此),我不知道你是否想把它包括在内,所以那会非常慢。它会涉及模拟,我不知道具体有多慢,但大概是双指数级的非常慢。
§11与 Carl Shulman 的分歧
Carl Shulman 在那期七小时的节目中阐述了他的智能爆炸图景。我知道你们谈过很多。你对他的基本观点怎么看?你们有主要的分歧吗?有没有你们探讨过的关键分歧点?
这与我们的时间线讨论有关。是的,我认为最大的问题大概是误差范围:Carl 有一个非常侧重软件、非常快的起飞图景。我认为那是可能的,但可能性不太大。我认为有几种方式可以扰动这种情形,我的猜测是其中一种适用。所以也许我……我不知道 Carl 的概率到底是多少。我觉得 Carl 对某件疯狂的事会有 60% 的概率,而我只会给它 20% 或 30% 之类的概率。我认为那些扰动是:第一,AI 能力与人类能力之间有多长的互补期,这往往会使起飞变缓?第二,软件进步有多少收益递减,以至于会有一个涉及扩大规模、电力生产和硬件生产的更广泛的起飞?这是否可能发生在起飞期间,对此我更倾向于五五开,或者更多类似的东西?
是的。好的,那么是你认为替代性的约束会更硬吗?他阐述的基本情形是,你可以有一连串的东西,比如 flash attention 或 MoE,你可以不断地把这类东西叠加上去。
我非常不确定你是否能不断往上叠加,或者说这有点像是回报曲线是什么样的问题,而 Carl 从历史数据中有一些推断,或者有某种外推趋势的方式。对于只靠软件的智能爆炸是否可能,我更倾向于五五开,然后它比(原文转录不完整)更慢的概率稍高一些。
你认为它可能是不可能的吗?
嗯,整个问题在于:如果你把研发投入翻倍,你是否能得到足够的额外改进,使效率进一步翻倍?而这个问题本身会是你的硬件基础的函数,也就是你有多少硬件。问题是,在我们将拥有的硬件量,以及这个过程开始时我们所处的复杂度水平上,是否每一次翻倍……实际上,最初只取决于硬件,或者说,每个硬件水平下这种动态都会有某个渐近线,所以问题只是能持续多久?是否每一次研发翻倍,至少能让你的 AI 研究群体的有效产出翻倍?我对此的概率更高一些。我认为这相当接近。如果你看经验证据,我认为经验证据在很大程度上受益于持续的硬件扩张,所以有效的研发存量显著小于看起来的样子,如果这说得通的话。
你所指的经验证据是什么?
有两类证据来源。一类是观察跨越许多行业,每次研发投入或经验翻倍时的总体改进是多少。在这里,有一个领域能做到每次研发投入翻倍就获得效率翻倍,是相当不错的,甚至是相当例外的。第二类证据来源是机器学习中实际的算法改进,显然这要稀少得多得多。在这方面你可以论证说,每次研发翻倍大致给你带来约 4 倍的计算效率提升。但有一个问题是,这种益处有多大。当我说研发存量的效果更小时,我指的是我们在扩大规模。你每隔几年就在做一项新任务,因为你运行的规模比之前的规模大得多。所以你的很大一部分努力是如何利用新的规模。因此,如果你不增加已安装的硬件基数,或者说硬件水平持平,我认为你得到的收益递减会比人们历史上得到的快得多。我认为 Carl 原则上同意这是真的。而一旦你做出这一调整,我认为经验证据最终会落在何处就非常不清楚了。我认为 Carl 比我更多地思考过这些,所以我也许应该更多地听从他。但无论如何,我对此是五五开。
过去 20 年里你的时间线是如何变化的?
过去 20 年?
是的。你从事与 AI 有关的工作有多久了?
我大约从 2010 年开始思考这些事情。所以我最早的时间线预测是在 2011 年。我想在 2011 年,我的大致图景是:未来十年我们不会有疯狂的 AI。在那之后我变得越来越不确定。但我们收敛到每年 1% 之类。然后大概在 2016 年,我的看法是,未来五年我们不会有疯狂的 AI,但在那之后我们收敛到每年一到两个百分点。然后在 2019 年,我想我做了一轮预测,给出了到 2040 年出现疯狂 AI 约 30% 或者 25%,到 2030 年约 10% 之类。所以我认为我对 2030 年的概率一直比较稳定,而对 2040 年的概率一直在上升。我猜它太“粘”了(没有及时更新)。我想我最开始给的那个 40% 就是来自没有足够近期地更新,也许我只是需要坐下来重新算一算。我猜它应该还要更高。我认为 2030 年是 15%。我对此感觉还不算太糟:每过去一年,对 2030 年来说都是一次很大的反向更新。我们剩下的年份不多了,而这大致被 AI 进展相当顺利所抵消。而对于 2040 年,流逝的年份就没那么要紧。随着我们看到事情基本上行得通,这就削减了到 2040 年还没有 AI 的大量概率。我对 2030 年的概率略有上调,也许是以前的两倍之类。我对 2040 年的概率上调得要显著得多。
你认为我们能以多快的速度继续建造晶圆厂,来跟上 AI 的需求?
是的,我对任何相关领域都了解不多。我的最佳猜测是,据我理解,目前下一年总量或最先进制程的晶圆厂中,约 5% 之类的产能将用于制造 AI 硬件,其中只有一小部分会进入非常大型的训练运行,比如只有几个。所以也许占总产出的百分之几,然后这大约代表总可能产出的约 1%。也就是先进制程的百分之几,约占总量的 1% 之类。我不知道这是否正确,但我认为这是我们所处的大致范围。我认为事情会相当快。从那里开始再扩大一到两个数量级是可以做到的,因为你基本上只是把其他东西转过来。我的感觉是,会有数年的延迟。有多个原因让你预期,超出那个范围会有数年的延迟,也许甚至在那个点上你就开始有……是的,有很多问题。比如建设新的晶圆厂相当慢,而我认为台积电并没有在为由 AI 驱动的总需求增长做计划。显眼地没有为此做计划。我不认为其他任何人真的在预期之下加大产能,类似地,建造那种规模的数据中心看起来也非常、非常困难,也大概会有数年的延迟。
§12做多台积电,但不做多英伟达
你的投资组合是什么样的?
我已经尝试清掉大部分可能与政策工作相关联的 AI 相关资产,或者说因为我参与了 Anthropic 的负责任扩展政策(RSP)相关的倡导工作(原文此处转录不清)。
如果你……会是什么样子?
如果没有利益冲突、没有内部信息呢?我也仍然有一些硬件方面的投资,我需要考虑一下,但我对台积电了解不多。我有一部分英伟达,不过自 2016 年左右起我一直在持续押注英伟达会下跌。我在那个赌注上被打得很惨。不过 AMD 也表现不错。现在的情况更容易,但与过去的情形类似,它就是一家非常昂贵的公司。考虑到他们投入的研发总额,他们有大概一万亿美元的估值之类,非常高。所以问题是,制造一块 TPU 有多贵?所以它实际上胜过 H100 之类。而我会想,哇,如果谷歌不能足够快地追上来、使这一万亿美元的估值变得不合理,那就是真正高水平的无能了。
而你认为台积电有更难攻克的护城河?
是的,我认为难得多,尤其是在你试图扩大规模的这种体制下。如果你无法建造晶圆厂,我认为要花很长时间才能建造出人们想要的那么多晶圆厂,其效果将是推高现有晶圆厂和现有半导体制造设备的价格。所以这些硬资产会变得极其有价值,现有的 GPU 以及实际的……是的,我认为这只是很难。那似乎是最难快速扩大规模的资产。所以如果出现快速上升,它就是你预期受益最多的资产。而英伟达的东西最终会被人类制造的更好的东西,或者在 AI 辅助下制造的东西所取代。随着你构建 AI 系统,差距会进一步缩小。
对。除非英伟达自己在使用这些系统。
是的,关键是任何人都会让过去的研发相形见绌,而且那里没有那么多粘性。未来的粘性比过去要少……是的,我不知道。所以我不想……不对任何私人信息发表评论,只是凭我的直觉,先声明一下,这是我最乐意不把英伟达包括在那个投资组合中的一次单一押注。
最后一个问题。外面有很多对齐的方案,我想有很多一般性的观点,其中很多东西超出了我的理解,我想我字面上花了几周才理解你所做的机制性异常的工作,如果不花几周的话。
你如何识别胡扯?
人们向我解释过他们的方案,而我会想,老实说,我不知道它是否说得通。对你,我是这样的:我足够信任 Paul,所以我认为如果我努力去充分理解,这里大概有点东西。但你如何识别胡扯?
是的,我认为这取决于工作的类型。就我们所做的这类东西而言,我猜大多数人其实没有办法判断它是不是胡扯。所以我认为重要的是,我们不在这上面花那么多钱,我们想招的人大概会深入钻研。我不认为有什么办法能判断它是不是胡扯,除非要么花大量精力,要么依赖权威。对于经验性工作,有趣的是你确实有一些工作质量的信号。你可以问,它在实践中有效吗?这个故事……我认为这些故事要简单得多,所以你大概可以直接就其表面来评估这些故事。然后你主要归结为这类问题:关键困难是什么?是的,当人们因为“这没有处理一个关键困难”或“这会撞上下面这个不可逾越的障碍”而否定某个东西时,我往往持乐观态度。对于那些论证,我往往会更怀疑一点,并倾向于认为,是的,某样东西之所以可能是胡扯,是因为它没有解决一个真正的问题,我认为这是最容易的方式:这是某人感兴趣的问题,却实际上不是一个重要的问题,而且没有任何关于它为什么会变成重要问题的故事。例如,它现在不是问题,而且不会变糟,或者它现在也许是个问题,但显然在变好。这是一种方式,然后以通过这个门槛为条件,即处理的是真正触及对担忧论证的重要部分的东西,然后实际上在经验上说得通。所以我认为大多数工作是由真正与真实模型打交道这一反馈来源作为锚点的。所以问题是,与真实模型打交道的方式是否说得通?关于它如何处理关键困难的故事是否真的说得通?过了这一点,我就相当宽松了。我认为这真的很难,比如人们看机制可解释性,然后说,嗯,这显然不可能成功。而我会说,我不知道。你怎么能判断?它显然不可能成功。我认为合理的做法是看该领域的总投资,它的进展有多快,这笔账怎么算得过来。不过我认为人们所做的大多数事情,其实账都算得相当过去。它们看起来可以是合理的投资。事情并没有严重失衡。
好的,太棒了。我认为这是一个很好的结束点。Paul,非常感谢你的时间。
是的,谢谢邀请我。聊得很愉快。
是的,当然。