霍尔登·卡诺夫斯基(Holden Karnofsky)——历史上最重要的世纪

Dwarkesh Patel 好的,今天我很荣幸能和霍尔登·卡诺夫斯基(Holden Karnofsky)对谈,他是 Open Philanthropy 的联合首席执行官。在我看来,霍尔登是当今最有意思的知识分子之一。霍尔登,欢迎来到 Lunar Society。

Holden Karnofsky

谢谢邀请。

Dwarkesh Patel

我们先聊聊“最重要的世纪”这个命题。你能向听众解释一下它是什么吗?

Holden Karnofsky

我的经历是这样的:我最初联合创办了一家叫 GiveWell 的机构,帮助人们决定如何尽可能有效地捐赠。虽然我现在不像以前那样活跃了,但我仍是它的董事会成员。它是一个网站,叫 GiveWell.org,就该向哪些慈善项目捐款才能帮助最多的人给出可靠的建议。在 GiveWell 工作期间,我们认识了卡丽·图纳(Cari Tuna)和达斯汀·莫斯科维茨(Dustin Moskovitz)。达斯汀是 Facebook 和 Asana 的联合创始人,我们发起了一个项目,后来发展成了 Open Philanthropy,目的是帮助他们把巨额财富捐出去,并帮助尽可能多的人。所以我的整个职业生涯,都在寻找用一美元、一小时,或者你手里任何资源(尤其是金钱)做到尽可能多的善事的方法。

我形成了一种职业专长:寻找那些被低估、被轻视、却极其重要的想法,因为我认为很多时候,这正是能找到所谓“超额投资回报”的地方。有些机会,花一笔钱就能产生巨大的影响,因为你做的事情非常重要,却被别人忽视了。正是出于这种职业专长,我一直主动寻找没有得到足够关注的有趣想法。后来我接触到了有效利他主义社群(Effective Altruist Community),这个社群基本上是围绕“尽你所能多做善事”这一理念建立起来的。也正是通过这个社群,我接触到了“最重要的世纪”这个想法。

这完全不是我的想法,我是在许多人的帮助和建议下得出这个结论的。基本想法是:如果我们在本世纪开发出了合适的那类人工智能系统(而这看起来相当有可能),那么这可能让本世纪成为人类历史上最重要的一个世纪。那么,我们来谈谈其中的基本机制,也就是它为什么可能如此,或者你可以怎么去思考。其中一点是,如果你回顾整个经济史(也就是世界经济增长的速度),你会看到加速。你会看到,今天的增长速度比以往任何时候都快得多。对此有一种解释,或者说从基础经济增长理论的角度看有一种思路:在正常情况下,你可以设想一个反馈循环,人们提出想法,想法带来更高的生产率和更多的资源。

有了更多资源,也就可以有更多人口,而这些人又会产生更多想法。于是就形成了这样一个反馈循环:人、想法、资源,再是人、想法、资源。如果你从几百年前开始运行这样一个反馈循环,标准经济理论会告诉你,你会得到加速增长。经济增长率会越来越快。基本上,如果你把我们迄今为止的经济历程画在一张图上,再用最简单的办法向前推演,就会推出我们的经济将在本世纪达到无穷大的增长率。

我目前不认为这是一个值得默认预期的结果,原因在于这个反馈循环中的一环在几百年前断掉了。原本的循环是:更多人、更多想法、更多资源、更多人、更多想法、更多资源。但是几百年前,人们不再因为资源增多而生更多孩子了。他们变得更富有,而不是人口更多。这些我在自己博客 Cold Takes 的“最重要的世纪”页面里都有讨论。如今的情况是,当我们有了更多想法和更多资源,结果并不会带来更多人口。我们没有了那个同样的加速反馈循环。但如果有这样的人工智能系统,能够做人类为推进科学和技术所做的一切事情(也就是说,AI 系统可以填补循环中“更多想法”这一环),那么这个反馈循环就可以重新回来。

你可能会得到某种不受限制的、高度加速的、爆炸式的科学与技术增长。这就是其核心的基本动力,而且这是一种尝试借用经济增长理论中大家熟悉的概念来表述的方式。另一种说法可能是:“天哪,如果我们有能够做人类为推进科学和技术所做的一切事情的 AI 系统,那简直太疯狂了。”如果我们把人类用来创造新技术的那些做法(这些技术如此彻底地改变了这个星球)全部自动化了,会怎样?那样一来,我们的每一台计算机都有可能成为又一个致力于推进技术的头脑。

所以无论哪种方式,只要想一想,你都可以想象世界会以极快的速度、极为剧烈地发生变化。我在“最重要的世纪”系列中论证,在我看来,本世纪相当有可能(超过五五开)出现能够完成人类为推进科学和技术所做的所有关键任务的 AI 系统。如果这成真,我们就会看到科学和技术的爆炸式进步。世界会很快变得与今天截然不同。你可以把它想象成,数千年的变化被压缩进一个短得多的时间段里。如果这发生了,那我认为你最终可能会进入一个极其陌生的未来。我用一个假想的技术概念,即“数字人”(digital people),举了一个这种未来可能是什么样子的例子。那指的是生活在虚拟环境中的人,这种环境是模拟出来的,但同时又很真实,就像我们一样。

设想这样一个先进的世界时,我认为有相当充分的理由认为,如果我们真的达到了那样的科学技术进步速度,我们基本上就会触及科学和技术的极限。我们基本上可以找到几乎所有可以找到的东西,最终形成一个远远扩展到这个星球之外的文明,它对环境有很强的控制力,能在很长时间里保持高度稳定,而且在很多相关方面看起来已经是后人类的了。如果你这么认为,那么这基本上就是我们塑造这一过程的最后机会。用一句话概括“最重要的世纪”假说:如果我们开发出能够做人类为推进科学和技术所做的一切事情的 AI,我们就可能很快到达一个与今天截然不同的、非常未来化的世界。它可能是一个非常稳定、非常庞大的世界,而这是我们塑造它的最后机会。

Dwarkesh Patel

明白了。我和许多其他人会觉得这非常离奇。你能带我们回顾一下,你是怎样从做全球发展工作转到这样思考的吗?比如在 2014 年,你做过一次访谈或对话,下面是其中的一句话:“我考察过非洲的状况,了解非洲的状况,也看到了在非洲做大量善事的途径。我不知道如何去研究遥远未来的局面,不了解遥远未来的局面,也看不到在这方面有一条让我感觉良好的行善之路。”也许你可以给我讲讲,你是怎么从那时走到今天的。

Holden Karnofsky

首先,我想把这件事与我在 GiveWell 做的工作联系起来,说明为什么这一切属于同一个主题。如果我们正处在本世纪创造这些先进 AI 系统的前夜,那么我们面对的未来可能非常好,也可能非常糟。我认为有相当有力的论据表明,如果我们不加谨慎地向前推进,开发出设计草率的 AI 系统,它们最终可能拥有自己的目标。我们最终得到的,可能是一个几乎不包含人类所珍视之物的宇宙,或者说一个确实包含这些东西的星系,又或者是一个由心怀恶意的政府利用极其强大的技术、造就一个不太好的世界。我们也可能最终进入这样一个世界:我们设法消除了许多形式的物质匮乏,拥有一个比今天好得多的星球。

我常常问的是,每花一美元,怎样才能帮助最多的人?如果你问怎样才能每花一美元帮到最多的人,那么资助一些工作,来帮助塑造这场转变,确保我们不会太过鲁莽地向前推进,并提高我们最终得到一个美好未来世界而非糟糕未来世界的几率,这每花一美元所帮助的人数是极其庞大的。这就是动机。你引用的是我当年的一场争论,我们在 2014 年发布了那次对话的文字记录——那是我走到今天这一步的旅程中的一个阶段。当时我在和一些人交谈,他们对我说:“霍尔登,你想用你的资源帮助很多人。你应该关注本世纪可能到来的这场重大事件,很少有人在关注它,而我们有可能有机会让它对人类的结果好一些,而不是坏。”

于是我说:“天哪,这确实挺有意思。”我也确实觉得有意思。这就是我花时间进行那些对话的原因。但我又说:“当我看全球贫困和全球健康问题时,我看得到自己能做什么。我看得到证据。我看得到我可以采取的行动。而在这些事情上,我看不到这些。”那么,是什么改变了呢?我想,很大一部分改变的原因,可能是最无聊的答案:我就是一直坚持做下去。2014 年的时候我坐在那里说:“天哪,这确实很有意思,但这一切让人有点不知所措。有点疯狂。我甚至不知道该怎么去思考这些问题。我不知道怎么才能找出一种我真正相信确实存在、而且今天就能着手应对的 AI 风险。”现在,我已经思考这个问题好长一段时间了。我确实认为,关于遥远未来你能说的大多数事情都很不可靠,不值得据此采取行动,但我认为,对于向非常强大的 AI 系统的过渡可能是什么样子,还是有几件事可以说的。有些事情我愿意说,如果 AI 系统设计得很糟糕、拥有自己的目标、最终取代人类来运转世界,那将是糟糕的。这看起来就是糟糕的。

相比当时,我今天更熟悉人们可以开展哪些研究和工作、采取哪些行动来降低这种情况发生的可能性——这大概占了答案的一多半。但另一个差不多占到一半的原因是,我认为自那以后 AI 领域发生了巨大变化。2014 年是有时被称为“深度学习革命”的开端。从那以后,我们基本上看到,这些计算量极大(但本质上很简单)的 AI 系统,在许多互不相关的任务上取得了大量进展。想象一下,当前人们开发 AI 系统,也就是前沿 AI 系统的方式,有可能一路带我们走到那种极其强大的 AI 系统,能够自动化人类为推进科学和技术所做的几乎一切事情,这并不离谱。想象我们可以沿着这些系统一直走下去,把它们做得更大,投入更多的工作,但基本上保持在同一条路径上,就能够到达那里,这也没有那么异想天开。如果你想象这样做,那么去设想可能出现的风险以及我们可以采取的应对措施,就没那么令人望而生畏了。所以我不认为这一定是最主要的可能性,但它已经足以让人开始针对这个问题具体地思考了。

Dwarkesh Patel

那次访谈中还有另一句话,我觉得很有意思:“人类的上层精英,在搞清楚 MIRI 声称已经搞清楚的那类事情方面,有过什么成功的记录吗?”顺便给观众交代一下背景,MIRI 是 Eliezer 当时领导的机构,也就是你当时交谈的对象。

Holden Karnofsky

我不太记得 MIRI 当时具体想搞清楚哪类事情了,而且我也不确定自己当时是否真的理解它们是什么。我确实认为,无论你是谁,无论你多么用力地思考,无论你研究了多少,预测未来都是困难的,这一点没错。我觉得我们这个“圈子”,或者说我们的模因复合体(memeplex),或者随便你怎么称呼它,至少在某种程度上夸大了这一点。我想当时我对这种看法的认同,比我本应有的程度要多一点。在 2014 年,我大概会说:“天哪,从来没有人能对几十年后的未来会是什么样子作出聪明的论断,或者对我们今天该做些什么来为之做准备作出聪明的论断。”从那以后,我认为有不少人研究过这个问题,寻找历史上人们作出长期预测、采取长期干预的例子。我不认为结果很出色,但我想我最近写过一篇博客文章,题为《未来的往绩记录》(The Track Record of Future)。结果看起来……还行。我的用词是“还行”,也就是说,我不认为有谁已经展示出了精确预测未来、并确切知道我们应该怎么做的真正能力。

但我也不认为人类在这方面的往绩糟糕和惨痛到让我们不该认为自己至少有能力试一试。如果你在进入这项事业时,清醒地意识到一切都比乍看之下和初步感觉上更不可靠,并且去寻找那几件你真正愿意押注的事,我认为这是值得做的。我认为这个赌注值得下。我的工作就是找出 10 件我们可以做的事,让其中 9 件惨败得很难看,只要其中一件大获成功,足以弥补其他所有的失败。我不认为这样想完全是疯了:我们可以对今天所做的事情如何让这些未来事件向更好的方向发展,作出有意义的论断,尤其是当这些未来事件遥远得离谱的时候(尤其是当它们就在未来几十年之内的时候)。在这一点上,我至少在某种程度上改变了想法。

Dwarkesh Patel

明白了。好的,我们稍后再谈预测,不过先继续就“最重要的世纪”进行具体层面的讨论。我想确认自己理解对了这个命题。这个论点是说,因为我们生活在一个奇怪的时代,所以如果一个世纪内发生了变革性的事情,我们不应该感到意外;还是说,这个论点是:本世纪可能发生变革性的事情?

Holden Karnofsky

这是一个奇怪的时代。有一点我们还没谈到,但我觉得值得补充:“最重要的世纪系列”(Most Important Century series)有相当一部分内容是在论证,即使你把 AI 抛在一边,我们这一代人所处的时代也有很多非常奇特的地方。我之所以在这上面花了这么大力气,是因为早在 2014 年,我对这些关于变革性 AI 的说法最大的反对意见,并不是针对关于 AI 的具体论断、经济模型或对齐研究是否说得通。而是整件事听起来太疯狂,让人本能地起疑。如果有人对你说:“你知道吗,这可能是人类历史上最重要的一个世纪。”这本身就令人生疑。我把这个系列起成这个标题,是因为我想让大家知道,我在说的是一件疯狂的事,我理应为它辩护。我不想事后退缩,不想轻描淡写,也不想掩饰我提出的是多么大的一个主张。

我想,我最大的怀疑来源在于,我其实提不出任何具体的反对意见。说我们可能生活在人类有史以来最重要的时代之一,听起来疯狂而可疑。所以我的系列里有很大一部分是在说,这样想确实很奇怪,但我们已经有大量证据表明,我们生活在一个异乎寻常的怪异时代,足以跻身“有史以来最重要时代”的候选名单——甚至在涉及任何关于 AI 的内容之前,仅仅使用完全被普遍接受的关于世界的事实就能说明这一点。比如,如果你绘制经济增长的历史曲线,你会看到,过去几百年的增长速度远远超过人类历史乃至世界历史上的任何其他时期。如果你绘制科学技术发展的任何指标,你会看到,所有重要的东西都集中在最近的过去。几乎怎么切分数据都是如此。我看过许多不同的切分方式。几乎没有哪种切分方式不会让你得出这个结论。换一种方式来说,宇宙大约有 110 亿或 120 亿年的历史。地球上的生命有 30 亿年的历史。

人类文明与此相比不过是一眨眼的工夫。我们处在这样一段极短的时间里,即这几百年间,我们见证了大量的技术进步和经济增长。这本身就很怪。我还谈到一个事实:目前的经济增长速度似乎高到我们无法把它再维持太久。如果它再持续 10,000 年,那在星系尺度的时间上也不过又是一眨眼。在我看来,我们会耗尽银河系中的原子,无处可去。所以我认为有很多迹象表明,我们就是生活在一个非常奇怪的时代。我再补充一点——我想许多不同意我看法的人会说:“听着,我确实相信我们最终会发展出太空殖民的能力。我们可以前往群星,让整个银河系充满生命,也许还会拥有通用人工智能,但说这会在一个世纪内发生就太疯狂了。我觉得可能要 500 年。我觉得可能要一千年。我觉得可能要 5000 年。”我在这个系列里提出的一个重要观点就是:“好吧,即使是 100000 年,从整体格局来看,那仍然是一个极其疯狂的时代。”如果你画一张图形化的时间线,把我的观点和你的观点放在一起,它们看起来在每一个像素上都一模一样。所以,已经有很多理由让人认为我们生活在一个非常怪异的时代。我们所在的这颗行星上,整个银河系里没有任何其他生命的迹象。

我们相信自己可以让银河系充满生命。仅此一点,就会使我们成为银河系中有史以来最早出现的生命之一——只占其中极小的一部分。这就是这个系列的大量内容。我来明确回答这个问题。你问:“这个系列是在讲变革性 AI 会到来并使本世纪变得怪异吗?”还是在讲“本世纪可能会很怪异,因此变革性 AI 会到来”?核心主张是:变革性 AI 可能在本世纪被开发出来,而那些关于“我们生活的时代有多怪异”的部分,只是对一种反对意见的回应。它回应的是一种怀疑。它是在说,已经有很多理由让人认为我们生活在一个非常怪异的时代。所以实际上,关于 AI 的这一点,只是一个适度的量化更新,而不是对你思考方式的彻底颠覆。

Dwarkesh Patel

有一位著名的喜剧演员有个段子,想象生活在公元前 10 年是什么样子。假设有人拿出证明,说明当前的深度学习技术由于某种原因无法扩展,变革性 AI 在本世纪极不可能出现。我不知道现实中是否存在会出现这种情况的假设,但我们就假定如此。即便现在是一个在经济增长方面很怪异的时代,除了变革性 AI 之外,这还有其他含义吗?

Holden Karnofsky

我建议大家去看我的那个系列,因为我配了不少图表来说明这一点,现在要简明扼要地讲清楚有点难。但是在了解了把我们所处的时代放到背景中来看是多么奇特之后,我从中得到的最大启示是,我们真的应该去寻找下一件大事。如果你生活在 300 年前,谈论帮助他人的最佳方式,很多人可能会谈各种帮助低收入人群的方法。他们大概还会谈传播各种宗教信仰。如果当时有人说,你应该去思考的是,比如蒸汽机,以及它可能如何改变世界,那会显得很疯狂,但我认为工业革命实际上是一件极其重大的事,如果说当时有什么值得去思考的,那它大概就是正确的思考对象:它将如何改变世界,以及人们可以做些什么,让那个世界变得更好。

所以我基本上就是这样想的。我只是觉得,作为一个世界、作为全球文明,我们应该把一件事放在非常高的优先级上:承认我们生活在一个怪异的时代。增长一直在爆发式地加速,而这发生在最近的一眨眼之间。我们真的需要对接下来会发生什么保持紧张和警觉,并思考所有可能彻底改变世界的事情。我们应该列出一份清单,写下所有可能彻底改变世界的事物,确保我们已经尽一切努力去思考它们,并找出我们今天或许能做的、真正有帮助的事情。也许等我们把这些都做完了,我们可以让世界上许多最聪明的头脑竭尽全力去想,等到他们再也想不出更多了,我们再回头去做我们担心的所有其他事情。

现在,世界在这种带有推测性的、“嘿,下一件大事是什么?”的思考上投入太少了。即使这样做的产出不是特别高,即使能学到的东西不多,我觉得世界也应该在这方面投入更多,因为利害关系极其重大。我认为一个合理的猜测是:我们生活的这个世界最近刚刚被工业革命彻底改变,而未来也可能被下一件大事彻底改变。我只是觉得,这件事在基本上任何圈子里都没有得到多少讨论。如果有一些讨论,我会安心得多。我并不认为整个世界都应该痴迷于下一个变革性事件是什么,但我认为现在对它的关注实在太少了。

Dwarkesh Patel

我很高兴你提到了工业革命,因为我觉得“最重要的世纪”这个命题里有两个隐含的主张,似乎并不完全相容。第一个是,我们生活在一个极其狂野的时代,这里的转变可能比此前任何一次转变都更加狂野。第二个是,我们大致知道自己可以做些什么,来确保这次转变顺利进行。你认为,工业革命初期的某个人,凭借当时已知的一切,能不能做出一些重要的事情,确保它尽可能朝着有利的方向发展?还是说,你觉得这个类比由于某种原因并不恰当?

Holden Karnofsky

就启发思考而言,这是个相当不错的类比,它让人去想:“天哪,如果你提前预见了工业革命(也就是 18 世纪和 19 世纪经济增长真正达到新水平的时候),你能做些什么?”我认为答案的一部分是,这并不十分清楚,这在一定程度上也说明,我们今天不应该因为自以为确切知道自己能做什么而得意忘形。但我不认为答案就是什么也做不了。我有一篇傻乎乎的 Cold Takes 文章(转录写作 cold-taste,据上下文应为 Cold Takes),一直没发表,也许永远不会发表,因为我弄丢了它。它基本上讲的是:“假如你身处那个时代,而且你知道工业革命要来了,或者你认为它可能要来了,会怎么样?”你会问自己能做些什么。你可能给出的一个答案是:“嗯,天哪,如果这件事发生了,无论它发生在哪个国家,那个国家的影响力都可能格外大。如果我能帮助改变那个国家的思想和文化,让它对人权有更好的把握,更看重人权、个人自由和许多其他东西,那就太好了——天哪,看起来人们当时就是这么做的,而且看起来结果不错。”这就是启蒙运动。

我甚至给出了这个傻乎乎的例子——我可以去查一下,那整篇文章有点恶搞的味道。这个例子是,有人在想:“嘿,我在思考一个深奥的问题,政府对公民负有什么义务?”或者“公民在什么情况下有权推翻政府?什么时候可以强制推行某些信念,什么时候不可以?”然后对话里的另一个人就会说:“这是最奇怪、最深奥的问题了。这有什么要紧的?你为什么不去帮助穷人?”但这些恰恰是启蒙思想家们当时在思考的问题。我认为有很好的理由说明,他们提出的许多东西真正塑造了此后的整个世界,因为英国变得极具影响力,并为许多关于被统治者的权利、言论自由、个人权利和人权的理念奠定了基础。

然后我再转到下一个类比。就像我们今天坐在这里,有人说:“嗯,我不去研究全球贫困,而是研究一个很深奥的问题:怎样让一个 AI 系统按你的意愿做事,而不是自行其是。我认为把他们看作类似的情形并不完全是疯话。”当然,我并不认为启蒙思想家实际上就是在做这样的事。我不认为他们在说这可能是最重要的一千年,但有意思的是,看起来那时候并不是毫无可为。看起来并不是什么都想不出来。在很多方面,启蒙思想家们当时所做的事情,在当时同样给人深奥、奇怪、过于抽象的感觉,最终却产生了巨大的影响。所以这也并不是毫无先例可循。

Dwarkesh Patel

也许我对此更悲观一些,因为我认为研究个人权利框架的那些人并没有预见到一场工业革命。我觉得真正能预见工业革命的那类人,他们的政治哲学可能反而是负面的,你知道……卡尔·马克思(Karl Marx)。如果你看到这类事情正在发生,我不认为答案会是完全不明显的。

Holden Karnofsky

我的意思是,我的基本立场是,我并不是坐在这里信心十足。我不是在说有大量先例,我们确切知道该怎么做。我不是这么认为的。我认为我们应该尝试一下。我认为我们应该去尝试,而不应该彻底悲观,说:“嗯,显而易见,纵观历史,从来就想不出什么办法,人类对预测未来无能为力。”我不认为这是真的。我认为这个例子足以说明这一点。我是说,天哪,你今天也可以说同样的话:“听着,研究如何让 AI 系统按预期行事,在任何时期都是完全可以做的好事。”这并不是什么坏事。我认为约翰·洛克(John Locke)做他那些研究,是因为他觉得在任何时期做这些都是好事,但问题在于,如果我们正处在这个关键时期,那么做这件事就变得更好,而且被放大到可能比其他事情更重要的程度。

Dwarkesh Patel

我可能对这个理论持怀疑态度的一个原因是,我可以说:“哦,天哪,纵观历史,人们常常确信自己生活在最重要的时代”,或者至少是一个格外重要的时代。回顾过去,每个人都可能因为自己生活在最重要的时代而是对的。那你是不是应该对任何人在这类事情上是对的抱有非常低的先验概率?你如何回应这种逻辑?

Holden Karnofsky

首先,我不知道人们说自己生活在历史上最重要的时代,是否真的那么普遍。这会是个值得研究的有趣问题。但仅就我读过的过往政治哲学著作之类的东西而言,我并没有看到这种说法到处都是。它肯定出现过。肯定发生过。我认为可以这样来想:你认为自己格外重要,可能有两个原因。一个是你确实如此,而且你对此作出了合理的观察。另一个是你想要如此,或者想认为自己如此,所以是在自我欺骗。因此,在漫长的历史中,很多人会出于第二个原因得出这个结论。大多数认为自己最重要的人,都会是错的。这些都没错。这当然可能适用于我,也当然可能适用于其他人。但我认为这完全没问题,也完全属实。我认为当我们发现自己在作出这类观察时,应当保持一定的怀疑。同时,我认为如果定下一条规则或一种规范,让人每当发现自己在想利害关系极大或自己处于非常重要的位置时,就决定无视这个念头,那会是非常糟糕的。我认为那会非常糟。

设想一个宇宙,其中确实有一些人生活在格外重要的时代,另外还有许多人给自己编故事,说自己也是如此,你会希望所有这些人怎么做?对我来说,最糟糕的规则是让所有这些人都说:“不,这太疯狂了,忘了它吧。”我认为那是最糟糕的规则,因为生活在重要时代的人随后就会做错事。我认为另一种糟糕的规则是,每个人都应当完全认真地对待自己,把自己的利益置于其他所有人的利益之上。相比这两者,我提议的规则是:所有这些人都应当合理认真地对待自己的信念,并根据自己的信念尽力去做最好的事,但同时也应遵守常识性的道德行为标准,不要过多运用“目的证明手段正当”的推理。研究对齐问题完全是好事,没有问题,但人们不应该为了推进自己的目标而说谎或违法。这就是我提议的规则。当我们有这些利害攸关的、疯狂的想法时,我们应当尽力而为,但不要为此疯狂到打破社会的所有规则。这似乎是更好的规则。这就是我努力遵循的规则。

Dwarkesh Patel

你能就此多谈谈吗?如果出于某种原因,我们被说服相信期望值的计算结果极其巨大,而你必须违反某条法律才能提高 AI 发展顺利的几率,我不知道这个假设有多虚。是不是只是因为你不确定自己是否正确,所以宁可谨慎行事?

Holden Karnofsky

是的,我真的很不赞成“目的证明手段正当”式的推理。真正显得极其糟糕的,是有人说为了实现某些目标,做可怕的事情、相互胁迫、使用武力都是值得的,因为我们要达到的目的比一切都重要。我反对这种东西。我认为从历史上看,这种东西比那些试图改变未来(转录为 break the future,转录不清)并做有益之事的人,要糟糕得多。所以我认为自己在世界上的主要角色,就是试图改变未来(转录不清)并做有益的事。我可以做到这一点,而不必做一堆有害的、违背常识的、不道德的事情。也许有一天会出现这类激烈的权衡。我还没有真正觉得自己遇到过。如果我真的遇到了这样的激烈权衡,我就必须问自己,我到底有多大把握。在我看来,我目前掌握的信息和信心水平,不足以真正证明这种手段是正当的。

Dwarkesh Patel

好的,那我们来谈谈持续高增长可能的不可信之处。有人可能会这样想:“好吧,也许 2% 的增长不能永远持续下去,但增长也许会放缓到每年 0.5%。”你知道,增长率的微小差异会对最终结果产生巨大影响。所以等到我们耗尽了银河系里所有可能的增长空间时,我们大概已经能扩张到其他星系了。这种逻辑错在哪里呢:每年 0.5% 的增长仍然并不意味着锁定(lock-in);或者说,如果它意味着锁定,那是不是就奇怪了?

Holden Karnofsky

我想我们可能需要补充一点背景。“最重要的世纪”的一个关键论证,只是论证我们生活在一个奇特时代的其中一个论证。我还在论证,目前的经济增长水平看起来太高了,无法再持续大约 10,000 年。我提出的其中一点,是从罗宾·汉森(Robin Hanson)那里得来的:如果你把当前的经济增长水平向后推 10,000 年,你不得不得出结论,我们将需要多得多的东西,其价值相当于今天整个世界经济的总和——而且是银河系中每个原子对应多倍于这个量。如果你相信我们无法突破光速,那我们就无法走得比这更远。我们无法走出银河系。所以从某种意义上说,我们会耗尽物质。于是你说:“好吧,但如果增长率降到 0.5% 呢?”那我会说:“好,现在的增长率,我在文章里大致估计为 2% 左右。这是大多数发达国家的总体增长率。假设它降到 0.5%。”那要持续多久呢?你算过要多久才能到达同样的地步吗?

Dwarkesh Patel

我记得大概是 25,000 年。0.5% 的增长大约能让你得到一个相当于整个世界规模的经济。是 10,000 年对 25,000 年,但 25,000 就是我们与下一个星系之间的光年数。

Holden Karnofsky

这听起来不太对。我不认为这个关于星系的计算很接近。而且还会有大量的空旷空间。越到银河系的外围,那里的东西就越少。这听起来不太对,但我们就先这么算下去吧。我是说,好吧,假设今天是 2%,然后增长降到 0.5% 并永远保持在那里。我很确定那仍然太高了。我很确定你仍然会在某个合理的时间内触到极限,但那本身仍然会很奇怪。那就像是:“嗯,我们生活在那 200 年的时期里,当时有 2% 的增长,此后永远是 0.5% 的增长。”那仍然会让这成为一个有趣的时代。它会是整个人类历史上最有活力、变化最快的时代。倒不是领先很多,但你挑的这个数字也是最接近、最完美优化过的。所以,如果降到 0.1%,甚至降到 0.01%,那么耗尽资源就需要更长的时间。但是 2% 对比 0.01% 就会显得更加奇特。所以我真的不认为有什么办法能摆脱这个结论:“天哪,这看起来最终大概会是一个非常特殊的时代,或者一个非常怪异的时代。”

Dwarkesh Patel

这一点不值得纠结,但从这个角度来看,那么因为工业革命而出现 8% 增长的那个世纪,你会不会说,那也许才是最重要的世纪?

Holden Karnofsky

哦,当然。是的,完全是。关于快速增长这一点,它本来就不是孤立的论证。按增长标准来看,本世纪显得不如过去的一两个世纪那么特殊。它是说,这个世纪是少数几个世纪之一,或者我说的“最重要的 80 个世纪之一”,这是按经济增长标准来说的。这只是一个论证,但我还考察了这个世纪显得不同寻常的许多其他方面。说某个世纪是有史以来最重要的世纪,听起来完全是疯话,因为人类历史上有那么多个世纪,尤其是如果你想从星系的时间尺度来考虑的话。一旦把范围缩小到 80 个,就一点也不怪了。如果我已经用某种没有争议的推理说服了你,我们处在最重要的 80 个世纪之内,那我要再进一步说,其实这一个可能是 80 个中的第一名,所需要的进一步证据就远没有那么多,因为你的起始几率已经超过了 1%。所以要把你的判断提高到 10%、20% 或 30%,并不一定需要一次大幅的更新,而如果是从零开始,就需要。

Dwarkesh Patel

我想我仍然不信服:仅仅因为这是一个怪异的世纪,就对我们为什么要或是否会在本世纪看到变革性 AI 有什么意义。如果我们有一个关于变革性 AI 何时出现的模型,它的变量之一是“2080 年的增长率是多少?”吗?把这个作为某项具体技术发展何时发生的参数,感觉很奇怪。

Holden Karnofsky

这只是这个系列中的一个论证。我切入的方式大概是这样:“嘿,看看 AI 系统。看看它们在做什么。看看进步的速度有多快。从这五个不同的角度,去想象我什么时候能够完成人类为推进科学和技术所做的一切事情。”只要设想我们在本世纪达到了那一步。拥有能够做人类为推进科学和技术所做的一切事情的 AI,难道不疯狂吗?那难道不会导致发生很多疯狂的事情吗?在已知的宇宙历史上,只有一个物种能做人类所做的这类事情。如果有两个,难道不奇怪吗?那会很疯狂。其中一个是我们建造的新物种,可以随意复制,并且可以在你拥有的任何硬件上以不同速度运行。那会很疯狂。然后你可能会回来说:“是的,那会很疯狂。这太疯狂了。我要排除这种可能,因为它太疯狂了。”那我就会说:“好吧,我们有大量证据表明,我们生活在一个不同寻常的、疯狂的时代。”而且你确实应该认为,有很多迹象表明,这个世纪并不是从数百万个世纪的样本中随机抽取出来的一个世纪。

这就是论证的基本结构。至于公元 0 年的增长率,我认为它是有关系的。我想你问的是,为什么公元 0 年的增长动态对这个论证有任何意义?我认为这是因为,问题在于:“经济增长总体上是如何运作的,我们处在什么趋势之上,如果这个趋势继续下去会发生什么?”如果在公元 0 年前后增长非常低但在加速,而且在公元 100 年、公元 1000 年以及公元前 1000 年也是如此,那它就开始指向一个普遍的模式。增长在加速,也许是出于某个特定原因而加速,因此你可能会预期出现更多的加速。

Dwarkesh Patel

好,那我们来谈谈变革性 AI。你能具体描述一下成功是什么样子吗?人类是变革性 AI 之后那个世界的一部分吗?我们是希望这些 AI 成为被奴役的神明,帮助我们创造一个乌托邦吗?具体的成功情景是什么样的?

Holden Karnofsky

我是说,我们已经谈了很多预测未来的困难,我想强调,我真的相信这一点。我对“最重要的世纪”的态度完全不是:“嘿,我确切知道将会发生什么,而且我正在制定一个计划带我们度过这一切。”它更像是这样:有一个大事件可能正在向我们逼近,我们只有一个大致模糊的轮廓。也许我们能想出两三件看起来值得做的事情。除此之外,我们想到的其他一切,我们都无法知道做了是好是坏。所以我只是在努力找出那些做了有益的事情,这样我就能让事情变得稍微好一点,或者帮助事情稍微向好的方向发展。这就是我的总体态度。就好像你在暴风雨中的一艘船上,看到云层遮蔽下有一个模糊的庞然大物,你可能想要避开它。你不会想说:“嗯,我觉得那是一座岛,我觉得岛上可能有一只老虎。所以如果我们去用正确的方法驯化那只老虎,云云,等等,等等,”你不想陷入那种思路。对吧?这就是我采取的总体态度。

成功对我来说是什么样子?成功可能有很多种样子,但坦白说,对我而言成功的一种样子就是,我们得到的结果与我们已经走在的轨道相差不大。也就是说,如果我们能拥有行为符合预期、充当人类的工具和放大器、做它们应该做的事情的系统。如果我们能避免这样的世界:这些系统全都被某一个政府或某一个人控制,从而造成权力的巨大集中。如果我们能拥有这样一个世界:AI 系统只是又一种帮助我们做很多事情的技术,我们还会发明许多其他技术,一切都相对广泛地分配,一切大致按应有的方式运转,那么你可能就处在这样一个世界里:我们延续过去两百年来看到的趋势,也就是我们都在变得更富有。我们都有了更多的工具。我们大家都有望获得越来越强的能力来理解自己、研究自己,并弄清楚是什么让我们快乐,是什么让我们繁荣。

希望世界随着时间推移变得更好,我们有越来越多的新想法,因而希望让我们变得更有智慧。我确实认为,在大多数方面,今天的世界比 200 年前的世界好太多了。我不认为唯一的原因是财富和技术,但我认为它们起了作用。我想,如果你回到 200 年前问我:“霍尔登,如果世界发展出一系列新技术,只要它们分配得比较均匀、行为大致符合预期,人们大体上只是变得更富有并发现新的东西,你觉得怎么样?”我会说:“听起来太棒了!”我不知道我们最终会落脚何处。我无法预先预测我们是否会决定把我们的技术视为拥有自己的权利。那是世界自己会去解决的事情。但我希望避免那些可以预见到的重大灾难,因为我认为,如果能做到这一点,我们最终可能进入这样一个世界:未来比我们更有智慧,并能做出更好的事情。

Dwarkesh Patel

按你的说法,AI 赋能人类听起来不像是能持续几千年的事情。这几乎听起来就像黑猩猩说“我们希望人类成为我们的工具”一样怪异。顶多,它们也许可以指望我们给它们建几座不错的动物园。在这样的未来里,人类的角色是什么?

Holden Karnofsky

我很容易想象的一个世界(尽管这并不意味着它有多现实)是:我们建造了这些 AI 系统,它们做它们应该做的事情,我们用它们来获得更多的智力和智慧。我谈过一点那个关于数字人的假想概念——也许我们会发展出类似的东西。然后,过了 100 年,我们一直生活在其中,人们在公共领域展开讨论,开始谈论 AI 本身是否确实拥有自己的权利,是否应该与我们共享这个世界。也许到那时它们真的获得了权利。也许有些 AI 系统最终拥有了投票权,也许我们决定不应该给,它们也就没有。无论哪种方式,你会得到这样一个世界:有许多不同的存在,它们各自拥有重要的权利和利益。它们就如何安排这个世界进行投票,以便我们所有人都有望繁荣并过得愉快。我们面临的物质匮乏越来越少。需要做出的权衡越来越少。那会很棒。我不知道它最终会在哪里结束,会是什么样子。但是,我不知道。你觉得这里面有什么事情是无法想象的吗?

Dwarkesh Patel

有,就是你可以拥有能够随意复制的存在,但同时又有某种投票的方法……

Holden Karnofsky

哦,是的。那是一个必须解决的问题。我的意思是,我们对投票系统如何运作、谁能投票、如何避免出现不公平的情况给予了大量关注。我是说,确实,如果我们决定存在某种数字实体,而且它有投票权,同时这个数字实体又能自我复制——那你确实会在那里造成一些混乱。所以你需要想出某种制度,限制你可以复制自己多少份,或者限制这些副本中有多少可以投票。我希望这些问题能够得到处理,虽然不完美,但在一个没有被巨大的权力集中或未对齐的系统带偏的社会里,可以做到不至于酿成灾难。

Dwarkesh Patel

这听起来可能需要时间。但假设你没有时间。假设你接到一个电话,有人说:“霍尔登,下个月,我的公司将开发或部署一个有可能导致 AGI 的模型。”Open Philanthropy 会怎么做?你会怎么做?

Holden Karnofsky

嗯,我需要做一个区分。你可能没有时间来避免其中一些灾难:权力的巨大集中,或者 AI 系统不按预期行事、拥有自己的目标。如果你能阻止这些灾难发生,那么在建成 AI 之后,你可能会获得更多时间,因为有了这些工具来帮助我们发明新技术,也许帮助我们更好地弄清楚事情,提出更好的问题。如果拥有这些东西,你可以有很多时间,或者在很短的时间里弄清楚很多事情。但如果有人说——等等,你给我多长时间?

Dwarkesh Patel

一个月。那就算三个月吧,稍微多一点。

Holden Karnofsky

是的,我会觉得这极其可怕。我有点觉得,那是我可能甚至提供不了多少帮助的世界之一。我的工作属于慈善领域(而慈善家历来做得好的很多事情),就是帮助各个领域成长。帮助做那些在很长的时间尺度上起作用的事情。Open Philanthropy 现在做得很多的一个例子,是资助那些做对齐研究的人,以及资助那些在思考如何成功度过最重要的世纪是什么样子的人。这些人当中有很多现在职业生涯还很早期,正在摸索。所以我设想的世界,很大程度上是 10 年后、20 年后或 50 年后的世界。有一整个专业领域,在传统机构不愿意支持它的时候得到了支持。那是因为我们。然后你来找我说:“我们只剩一周了。我们该怎么办?”我会说:“我不知道。我们已经做了我们能做的。我们没办法回到过去,试着为此做更好的准备。”所以那就是一个答案。至于在一到三个月的时间框架内我会说些什么,我可以讲更具体的内容,但坦白讲,很大程度上就是乱作一团、惊慌失措。

Dwarkesh Patel

明白了。好的。也许我们可以把问题反过来。假设你发现 AI 实际上比你想象的要晚得多,你有五十多年的时间。会有什么变化?你能做到哪些原本做不到的事?

Holden Karnofsky

我认为事情离得越远,就越有理由说人类在长时间跨度上很难做出预测。我就越有兴趣把重点放在其他更宽泛的事情上(转录“causes”一词不清),比如努力扩大思考这类问题的人群,而不是试图具体研究如何让像今天这样的 AI 系统按预期行事。我认为这是一个总体的转变,不过我会说,在更长的时间框架下,我往往会感觉稍微乐观一些,因为我确实认为,世界还没有为此做好准备,也没有认真思考这件事。我们在 Open Philanthropy 努力做的很大一部分事情,是为人们思考这些话题创造传统机构所不能提供的支持。这包括开展 AI 对齐研究。也包括思考我们在政治上想要什么,以及我们可能需要什么样的监管来防止灾难。我认为这些是很多事情。这有点像一个连续谱。我会说,如果是三个月后,我大概会努力敲定一个合理的测试,看我们能否证明这个 AI 系统要么是安全的,要么是危险的。

如果我们能证明它是危险的,就利用这个证明大力倡导全面放缓 AI 研究,争取更多时间去弄清楚如何降低它的危险性。我不知道自己是否有那么乐观。如果这类 AI 还有 500 年,那我倾向于干脆不去管它,只是努力让世界变得更好、更稳健、更有智慧。但我认为,如果我们有 10 年、20 年、50 年、80 年,在这个范围内,我认为这就是支持早期职业生涯、支持那些将用一生思考这个问题的人会有好处的区间。然后我们快进到那个关键时刻,会有多得多的人用一生思考过这个问题。我认为那将意义重大。

Dwarkesh Patel

我们来谈谈这个问题:我们能否预期 AI 聪明到足以剥夺人类的权力,却又愚蠢到会有那样的目标。当我环顾世界上的聪明人时,似乎他们当中很多人都有非常复杂、细致的目标,对什么是善、如何行善思考了很多。

Holden Karnofsky

他们当中很多人并没有。

Dwarkesh Patel

总体来看,这会让你对 AI 更乐观吗?

Holden Karnofsky

这并没有给我多少安慰。这是 AI 对齐领域一个非常非常古老的争论。埃利泽·尤德考斯基(Eliezer Yudkowsky)有一个叫“正交性论题”(orthogonality thesis)的东西。我不记得它具体怎么说,但大意是:“对于任何目标,你都可以非常聪明。你可以有最愚蠢的目标,却对如何实现它非常聪明。”在很多方面,人类的许多目标相当愚蠢。让我快乐的很多事情并不深刻,也不美妙。它们只是碰巧让我快乐而已。你可以非常聪明地去追求这些东西,但这并不能给我多少安慰。我想,我对现代 AI 如何运作的基本图景是,你基本上是通过试错来训练这些系统。你基本上是拿一个 AI 系统,鼓励某些行为,同时抑制另一些行为。所以你最终可能得到一个被鼓励去追求某种你本无意鼓励的东西的系统。它非常聪明地去做这件事。我看不出这里有任何矛盾。我认为,如果你设计一个 AI 系统,每当它让你的银行账户里多了钱就给它鼓励,你可能会得到一个非常非常擅长把钱弄进你银行账户的东西,甚至到了为此不惜搅乱整个世界的地步。你不会自动得到一个会想“天哪,这样做好吗?”的东西。我认为,对于人类的许多目标来说,我们的目标究竟是否合理,并没有真正的正确答案。它们只是我们所拥有的目标而已。

Dwarkesh Patel

你在别处写过,道德进步是真实存在的,它在历史上确实发生过,并且对应着真正算得上道德进步的东西。你认为是否有理由认为,同样的事情也可能发生在 AI 身上?也就是无论产生道德进步的过程是什么。

Holden Karnofsky

我其实并不这么认为。我使用“道德进步”这个词,只是用它来指代道德上那些好的变化。我认为确实存在过道德进步,但我不认为这意味着道德进步是必然的,或者说每当你拥有智能时就会发生。我常用的一个例子是对同性恋的态度。今天它比过去被接受得多。我称之为道德进步,因为我认为这是好的。有些人会说:“嗯,你知道,我不相信道德有客观的好坏。我不相信存在什么道德进步。我只是认为事情在随机变化。”

这常常是我会拿出来的例子,我会说:“但你认为那是一个中性的变化吗?”我只是认为它是好的。我认为它是好的,但这并不是因为我相信存在某种潜在的客观现实。这只是我给那些在我看来是积极的道德变化贴标签、或用语言来谈论它们的方式。我并不特别预期一个 AI 系统会在反思道德的过程中经历与我相同的演变,或者得出与我相同的结论,或者提出在我看来是好的道德观。我没有任何理由这样认为。我确实认为,历史上有过一些道德进步的案例。

Dwarkesh Patel

你认为历史上的进步该如何解释?

Holden Karnofsky

我想说的一点是,人类彼此之间有很多共同点。我认为历史上有一部分情况是人类更多地了解世界、更多地了解自己,并相互辩论。我认为许多道德进步只是来自人类逐渐了解了其他人类,而他们此前对这些人抱有刻板印象、负面评价和恐惧。所以我认为,在某种意义上,人类了解世界、了解自己,会使他们得出对自己的目标而言更具反思性、更明智的结论。但是,如果你把一个根本不是人类的东西引入这幅图景,它对自己的目标可能非常聪明、非常有反思,但从我们的角度来看,这些目标可能毫无价值。

Dwarkesh Patel

AI 的最新进展让许多人认为,AI 的到来可能比他们原先想的要早得多。这些新模型的发布影响了你对时间线的判断吗?

Holden Karnofsky

是的,我确实认为 AI 的最新进展让我更加惊慌了一些。自从我写了《最重要的世纪》系列以来,以及在那之前,Open Philanthropy 有多年都对 AI 风险很感兴趣,但随着我们看到 AI 的进展,这种兴趣变得更强了。我认为我们看到的是,这些非常通用、简单的系统能够完成许多不同的任务。我想人们对此很感兴趣。有很多关于 GPT-3 的汇编,GPT-3 是一个非常简单的语言模型,顺便说一句,我的妻子和我的姻亲兄弟(brother-in-law)都参与过它的工作。这个非常简单的语言模型只是预测它在文本流中接下来会看到的词。人们让它讲故事。人们让类似(但不完全相同)的模型分析和解释笑话。

人们让它玩角色扮演游戏、写诗、写歌词、回答多项选择题、回答知识问答题。我觉得其中最荒谬、最奇怪、最诡异的结果之一是一个叫 Minerva 的东西:人们拿了其中一个语言模型,几乎没有做什么特殊干预,就让它去做这些困难的数学题,并解释它的推理过程,大约有一半的时间能做对。它并没有以专门针对这些数学题的方式进行训练,所以我们看到的是,AI 系统仅仅通过这种非常简单的训练过程,就拥有了所有这些不可预测的、类似人类的能力。我觉得这有点离奇,也有点吓人。我不知道它究竟会走向何方,会走多快。

Dwarkesh Patel

那么如果你认为变革性 AI 可能在本世纪出现,这对 Open Philanthropy 所做的传统全球健康和福祉工作意味着什么?如果 AI 实现了对齐,那些工作还会对 AI 有持续的影响吗?AI 无论如何都会为我们创造一个乌托邦吗?

Holden Karnofsky

关于乌托邦我不知道。我的总体看法是任何事情都可能发生。我对这整个“最重要的世纪”的看法,以及它之所以如此重要的原因,在于很容易想象出一个真正美妙的、没有匮乏的世界,我们会看到更多过去 200 年里所见到的进步,最终来到一个非常美好的境地。也很容易想象出一个可怕的反乌托邦。但我的看法是,你越是认为这一切很可能发生,越是认为变革性 AI 很可能出现,你就越应该认为那应当是最优先的事项,我们应该努力让那件事进展顺利,而不是去解决那些更直接、更短期的问题。在这一点上我不是极端主义者。所以,Open Philanthropy 两者都做。

Open Philanthropy 研究推测性的、遥远未来的风险,OpenPhil 也做很多更直接的工作。再说一遍,我们确实直接向那些顶级慈善机构推荐并拨出大量资金,它们做的事情包括在非洲分发蚊帐以帮助预防疟疾,以及为儿童治疗肠道寄生虫。Open Philanthropy 做了很多倡导工作,推动更多资金投入对外援助,或推动更好的土地利用政策以使经济更强劲。我们做了一系列更偏向直接医学应用的科学研究工作,尤其是针对贫穷国家。所以我支持所有这些工作。我很高兴我们在做这些。这只是一个问题:你认为变革性 AI 这件事有多真实、多迫近?越真实、越迫近,我们就越应该把更多的资源投入其中。

Dwarkesh Patel

嗯,这对我来说说得通。我很好奇,无论你在其他领域做什么工作,在变革性 AI 到来之后,这些工作还会有持续的影响吗?还是说你认为与那些真正的大事相比,它们基本上会被冲淡?

Holden Karnofsky

我的意思是,从某种意义上说,这些影响是永久的:如果你使某人过上了更健康、更好的生活,那就是发生了一件意义重大的事。没有什么能抹去那段生命,或者让那段生命变得不重要,但就对未来的影响而言,我确实预期它们大部分会被冲淡。我预期,我们为了让世界以那种方式变得更好而做的任何事,在这些疯狂的变化之后,大多不会以任何系统的、可预测的方式延续下去。我想这大概就是工业革命前后的情形。可能有一些例外,但这是我的猜测。

Dwarkesh Patel

你对围绕 AI 的竞争框架表示怀疑,也就是让你最青睐的国家或公司的能力发展得更快。但在别处,你用过“创新如同采矿”的比喻,也许你在回答时可以解释一下这个比喻。这个框架似乎应该意味着,第二强大的 AI 公司大概紧紧跟在第一强大的那家后面。所以如果你认为最强大的那家会更认真地对待安全问题,你就应该设法扶持它。你如何看待这两个不同框架之间的相互作用?

Holden Karnofsky

我认为,对于那些开始相信 AI 可能非常重要的人来说,常见的反应是直接跳到:“嗯,我想确保由我信任的人先把它造出来。”这可能指我自己的国家,可能指我的朋友,或我所投资的人。我通常把这称为竞争框架,即“我想赢得开发 AI 的竞争”,我还把它与另一个我同样认为重要的框架做了对比,称为谨慎框架:我们所有人需要共同努力,小心不要造出失控的东西,让它具备种种我们本无意赋予的特性,做出种种我们本不希望的行为。我确实认为,如果我们真的开发出这些非常强大的 AI 系统,我们很可能最终会进入这样一个世界:有多个参与者在试图开发它,而且彼此紧追不舍。我非常关注如何让我们所有人在这样做的同时共同努力避免灾难。比起刚了解这件事的普通人那种“我选我最喜欢的那个,帮它跑在前面”的想法,我可能没有那么兴奋。

Dwarkesh Patel

虽然我对两者都感兴趣,但如果你认真对待“创新如同采矿”这个比喻,那难道不是意味着竞争在这里实际上是一个很大的因素吗?

Holden Karnofsky

“创新如同采矿”这个比喻来自 Cold Takes 的另一篇文章。我提出的论点是,你应该把想法看作在某种程度上类似于自然资源:一旦有人发现了某个科学假说,或者有人写出了某首伟大的交响曲,这就是只能做一次的事。这是只能完成一次的创新。所以随着时间推移,产生革命性的想法会越来越难,因为最具革命性、最容易发现的想法已经被发现了。所以这和采矿有相似之处。我不认为它对 AI 这件事有特别重要的适用性,因为我所说的只是:第一个人的成功会让第二个人的成功更难。我并不是说它没有影响,也不是说它不会加快进度。就用一个字面意义上的采矿比喻吧,假设地下有一堆金子。确实,如果你抢先赶去把所有的金子都拿走,那我再进来找到一大堆金子就会更难。这是对的。不对的是,认为你做不做这件事无关紧要。我的意思是,你可能比我快得多。你可能远远领先于我。

Dwarkesh Patel

有道理。对于变革性 AI,也许有人会有的一种怀疑是:这一切都会受制于创新序列中那些无法自动化的步骤的瓶颈。因此不会出现这些加速的反馈循环。你对此有什么反应?

Holden Karnofsky

我认为,对于“最重要的世纪”这一整套说法,最好的一条批评,也是我最大的怀疑点,就是这样一种想法:你可以造出一个非常令人惊叹、几乎能做人类所能做的一切的 AI 系统。但可能有一个步骤仍然必须由人类来做,而这一步可能成为整体的瓶颈。于是世界不会加速那么多,科学和技术也不会进步那么快,因为它们虽然几乎做了所有事情,人类却仍然拖慢这一个步骤,或者现实世界拖慢了一个步骤。比如说,为发明新技术所做的现实世界实验需要多久就是多久。我认为这是针对整件事最好的反对意见,也是我最想进一步研究的一个。不过我最终确实认为,有足够的理由认为,如果你拥有具备类似人类的推理和分析能力的 AI 系统,你不应该指望这类瓶颈会让一切变得非常缓慢。

我在一篇题为《“最重要的世纪”中的薄弱环节:完全自动化》(Weak Point in the Most Important Century: Full Automation)的文章里写了这一点。其中一部分是,你不需要把整个经济都自动化,就能得到这个疯狂的增长循环。你可以只自动化其中一部分,即与能源和 AI 本身这类非常重要的技术有关的部分。这些在很多方面其实似乎比经济中的许多其他部分受到的瓶颈约束更小。所以你可以开发更好的 AI 算法和 AI 芯片,主要用机器人来制造它们,再用这些去设计出更好的设计。然后你还可以设计出越来越高效的太阳能电池板,用它们收集越来越多的能源,来为你的 AI(转录为 eyes,转录不清)供电。所以这里的许多关键环节,实际上看起来不太可能受到瓶颈的限制。你可以到达这样一个地步:你拥有的东西能够像人类那样提出有创造性的新科学假说,而我们是否应该预期这一点会出现、什么时候出现,是个有争议的问题。一旦你有了这一点,我认为你应该料想到,有很多办法可以绕过你所有其他的瓶颈,因为你拥有潜在的庞大思考者群体在寻找这些办法。比如说,只要有足够的火力、足够的能源、足够的 AI 和足够的分析,你大概能找到办法去模拟你需要进行的许多实验。

Dwarkesh Patel

明白了。不过,你举的能源和 AI 创新这两个具体例子,似乎很可能是最难自动化的东西,因为它们恰恰是人类最近才刚刚着手推进的领域。你能给我们讲讲,凭什么直觉认为它们可能更容易自动化吗?

Holden Karnofsky

我认为最难自动化的一些东西,可能恰恰是在某种意义上与软件或能力无关的东西。比如,可能极难自动化的一个例子是信任、达成一桩商业交易,或者照顾生病的人。也许即使一个 AI 系统拥有与人类完全相同的智力能力,能同样出色地写诗、有同样多的想法、进行同样好的对话,但它就是看起来不像人类。所以人们不想要那样的。也许你可以在屏幕上创造出一个完美的人类形象,但它仍然在屏幕上。总的来说,我认为 AI 的进步主要在软件方面,而不是硬件方面。所以 AI 能够在语言、数学和棋类游戏方面做出许多不可思议的事。如果它们在未来十到二十年内能写出热门音乐,我也不会感到惊讶。

但这些人在机器人技术方面确实没有取得同样的进展。所以奇怪的是,最难自动化的任务之一,可能是拿起这瓶水并拧开瓶盖。因为我有这只手,它就非常适合干这个。嗯,它显然不是为此设计的,但这双手能做很多事情。我们在那方面没有看到同样的进展。所以我认为有很多地方,AI 系统可能拥有大致能做人类大脑所能做的一切的那种大脑,但由于某种其他原因,它们做不了一些关键的经济任务,不过我认为,这些并不是我认为很可能对研发造成瓶颈的任务。

Dwarkesh Patel

明白了。

Holden Karnofsky

这是我在一篇比较冷门的 Cold Takes 文章里提出的论点。我说,真正能取代所有人工作的 AI,也就是取代每一个人类的工作,可能比那种能通过新技术彻底改变银河系的 AI 要难得多。取代科学家的工作,可能比取代教师或医生的工作更容易,因为教师和医生受到监管。人们可能会说:“我想要人类教师。我不想要 AI 教师。”而你可以坐在你的实验室里,和你的科学家们一起找到改变世界的新理论。所以其中一些东西,我认为非常反直觉,但我能想象这样的世界:由于监管运作方式的缘故,在自动驾驶汽车上路之前,你就先得到了非常离奇的东西。

Dwarkesh Patel

明白了。好,我们来谈另一个薄弱环节,或者说你认定为薄弱环节的东西。锁定(lock-in)。你认为在出现变革性 AI 的情况下,发生锁定的几率有多大?

Holden Karnofsky

锁定是我用来讨论这样一种可能性的术语:我们最终可能会得到一个非常稳定的文明。我在另一篇文章里谈到了这一点,题目是《“最重要的世纪”中的薄弱环节》(Weak Point in the Most Important Century)。我写了几篇关于这个系列中最薄弱环节的文章,其想法是,迄今为止纵观历史,当有人掌管一个政府,既非常有权力又非常糟糕时,这通常被认为是暂时的。它不会永远持续下去。世界充满活力,有很多原因使得世界往往不会完全保持原样。世界在历史上已经发生了很大变化。说这话有点傻,但我会讲到为什么这可能很重要。如果有人以非常残酷、腐败的方式统治一个国家,总有一天他会老去、死去,另一个人会接手。那个人大概会和他不同。

此外,世界时时刻刻都在变化。有新技术,有新的可能,有新想法。今天最强大的国家明天未必最强大。今天掌权的人明天未必还在掌权。我认为这让我们习惯了一种观念:一切都是暂时的,一切都在变化。我在“最重要的世纪”系列里提出的一个观点是:你可以想象一种技术发展水平,到那时已经没有新的东西可发现了。也没有多少新的增长可言。人们不会死亡,因为看起来在医学上有可能让人不衰老、不死亡。所以你可以想象,如果我们有足够的技术,世界上许多活力的来源实际上会消失。你可以想象一个能够真正服务于每个人的政府(这是现在做不到的),有一个不会衰老、不会死亡的独裁者,他知道发生的一切,能够对一切做出回应。你可以想象那样的世界完全稳定。

我认为这是一个非常可怕的想法。如果技术进步的速度大幅加快,我们可能很快就会进入一个不再有太多活力、稳定得多的世界,这是我们必须留意的。这种情况的几率有多大?我不知道。很难给它一个概率。但我认为,如果你想象我们将迎来科学技术进步的这场爆发,你就必须相当认真地对待这样一种想法:我们可能最终撞上一堵墙,没有太多空间再容纳更多活力。我们可能会拥有这些非常稳定的社会。“认真”在概率上意味着什么?我不知道——四分之一、三分之一、二分之一,大概是这样——我是在随口编数字。我认为它足够严肃,值得作为一个会影响我们所讨论问题的利害关系的因素来考虑。

Dwarkesh Patel

明白了。你担心锁定,仅仅是出于锁定一个负面未来的角度,还是认为锁定任何一种未来本身就可能是坏事?如果你现在可以按下一个按钮,锁定一个相当积极、但没有任何活力的未来,或者一个活力有保证、但净预期收益不是正的未来,你会如何做出这个判断?

Holden Karnofsky

嗯,我不太去想,如果有那种不现实的按钮、我拥有我永远不会有也不该有的疯狂权力,我会怎么做。我默认把锁定主要看作一件坏事。我觉得我们至少想要保留某种选择余地,拥有这样的世界:不是只有一个人主宰一切,把自己的价值观按自己想要的方式永远设定下来。我大体上是这样看的。我可以想象某个未来世界,文明已经存续了足够长的时间,我们已经学到了该学的东西,知道一个好的世界是什么样子,所以大多数人对此相当有信心,而且他们有信心是对的。也许到那时,锁定就没那么糟了。但我确实主要把锁定看作坏事。我也设想,你可以锁定世界的某些方面,以避免锁定另一些方面。所以我可以想象,如果你对世界的运转方式拥有巨大的权力——其中一些我在“数字人”系列里有更多解释——如果你有这样一个你完全控制环境的世界,你可能想要锁定这样一条:永远不应该有一个人拥有全部权力。这可能是你想要锁定的一件事,而它防止了其他种类的锁定。

Dwarkesh Patel

你是否担心 AI 对齐本身就是一种锁定?从某种意义上说,如果这项研究的目标是防止偏离人类价值观,那么你可能只是锁定了次优的价值观。

Holden Karnofsky

是的,我主要把 AI 对齐看作是努力避免一件非常糟糕的事情发生。我们不希望发生的是:我们有某个 AI 系统,我们以为自己设计它是为了帮助我们,但实际上,我们设计出来的东西是去做某件极其随机的事。再说一遍,这些系统是通过试错、鼓励、抑制,或者说正向和负向强化来运作的。所以我们甚至可能没有注意到,由于我们给予的强化模式,我们训练出了某个系统,让它想把尽可能多的钱放进一个银行账户,获取尽可能多的权力,或者控制尽可能多的能源,诸如此类。也许它会把自己的奖励数值,即自己的分数,设成可能的最高值。我认为,如果我们有比人类更强大的、拥有这类随机目标的系统,那就会是一种锁定。

那就像是锁定了一种与人类所珍视和关心的东西无关的未来。这是我认为会非常糟糕的未来的一个例子。当然,如果我们让这些系统按预期行事,我们仍然可能有问题,因为人类可能做出非常愚蠢的事情,锁定非常糟糕的未来。我认为这也是个问题。我觉得可以比较放心地说(虽然不是百分之百有把握),我们希望避免这种像失误一样的情形。我们希望避免出现这些系统,拥有我们无意中给它们的这些随机目标。它们非常强大,在安排世界方面比我们更厉害。于是我们得到一个只是在做某件我们无意中弄出来的随机事情的世界。我认为这是值得避免的。

Dwarkesh Patel

你和威尔·麦卡斯基尔(Will MacAskill)那本关于长期主义的新书,最大的分歧是什么?

Holden Karnofsky

我喜欢威尔的书。我认为威尔·麦卡斯基尔那本讲未来可能非常庞大、非常重要的书值得一读。在我看来,如果你想谈论长远的未来,以及如何让长远的未来发展顺利,你的出发点默认是:“我能做的几乎没有什么真正说得通的事。”我确实相信,理解长远的未来很难,针对它制定具体计划也很难。所以我会说,与威尔相比,我在挑选哪些议题足够重大、足够严肃、值得真正投入关注方面非常挑剔。我觉得 AI 这个议题足以具有变革性。它看起来很可能很快发生。如果它很快发生,那就意味着我们实际上可能有一些能产生可预测影响的事情可做。我认为这个未对齐 AI 的问题是一个真正的威胁。人们今天设计 AI 系统的方式可能会非常糟糕。我愿意投入一些资源来防止这一点,但这算是刚刚越过我的门槛。大多数事情都过不了这个门槛。所以如果你列一份让接下来一百万年发展顺利的方法清单,我会看着其中大多数说:“我不知道。我并不真正相信这个。”我不会真的在这上面投入。我觉得威尔在某种意义上比我更宽泛。他对更多事情感兴趣,而我比他更挑剔,因为我觉得很难知道什么真正会影响长远的未来,所以我只是在寻找一份非常短的、值得特别关注的事项清单。

Dwarkesh Patel

他在书里指出的某个具体观点,你觉得是难以应对的吗?

Holden Karnofsky

我记得不是特别清楚。那本书是对许多内容的非常宽泛的综述。我可能举的一个例子是,他谈到了停滞的风险,比如增长可能就此停止,或者增长可能放缓到非常低的水平。这意味着我们应该努力确保自己继续创新、继续增长,但书里又有其他部分听起来像是说,我们不应该走得太快,不应该过度创新,因为我们不想在我们的文明达到某种超越现状的成熟度、能够决定我们想要那个未来是什么样子之前,就抵达那个未来。我们不想在更清楚该怎么运用这些力量之前就建造它们。所以我认为这些都是这样的例子:我只是觉得,“天哪,我不知道。多一些增长可能是好的。少一些增长可能是坏的。停滞可能是一个大威胁。过快建造强大的技术也可能是一个大威胁。”我真的不太确定。我告诉你我在思考什么。我在思考 AI,因为我认为它足够重要、足够可能发生,而且我们对一些主要风险已经有了足够的抓手。

Dwarkesh Patel

对,对。当我回顾历史,似乎常常是预测长期趋势的人过于悲观。在 70 年代,你可能会对找到更多石油或养活不断增长的人口的能力过于悲观,因为你无法预料到那些让这些事情成为可能的技术突破。这是否让你对 AI 方面的未来产生某种模糊的乐观?还是没有?

Holden Karnofsky

我认为历史上,人们对未来的技术往往过于悲观。我认为默认情况下,AI 的图景看起来非常可怕。如果我们不谨慎行事,似乎很容易以许多不同的方式得到一个糟糕的未来。这两种考虑在我这里有点相互抵消。我认识很多人,他们相信我们陷入了极深极深的、巨大的麻烦,而且 AI 拥有自己的目标、把人类从地图上抹去这个结果几乎肯定会发生。我不相信这一点,这是我不相信的部分原因。我实际上认为,默认情况下形势看起来非常有挑战性、非常可怕,而我认为我们往往高估了事情有多糟、多严峻。所以对我来说它们有点相互平衡。

Dwarkesh Patel

好的,明白了。在其中许多情形下,似乎都不可能预见到积极的情景会出现。比如,如果你在 70 年代预测人口,有没有什么合理的方法能让你预测到这不会导致一场夺走十亿人生命的大饥荒?或者,如果当时已经有了 Open Philanthropy,那会是你们在 70 年代的关注重点吗?

Holden Karnofsky

我认为,很难知道过去的未来在多大程度上是“可知的”,以及这对今天意味着什么。我确实认为,当你回顾过去人们试图预测未来的做法时,会觉得那显得很不严肃。你可以说未来的人也会这样评价我们。我相信他们会认为我们看起来没有他们那么严肃,但我认为这里有区别。我真的认为历史上并没有人严谨地尝试过对未来作出预测。我不认为显然当时的人们已经尽了全力、而我们今天不可能做得更好。所以人口就是一个例子。对我来说,并不一定能说你当时说不出这样的话:“天哪,人口已经增长一段时间了,而人们不断发明出获取更多资源的新办法。也许这种情况会继续下去。”

我真的不相信你当时说不出这样的话。我也绝对不相信没有人这么说过。我认为有些人说过。所以我不愿意仅仅因为过去有些人对未来判断错了,就变得过于悲观。我认为很难知道当时是否真的没有办法知道,还是他们只是没怎么认真去尝试。

Dwarkesh Patel

你刚才说的一点是,我们比过去的人更擅长做预测。仅凭这一点,就应该让我们对未来需要预测的事情更乐观。

Holden Karnofsky

这只是一个猜测。我是说,社会就是这样的。我们在各种智识领域都取得了大量进步。我认为在如何对未来做出好的、合理的预测方面,也已经有了很多进步。我认为这是确实发生过的事。所以我认为我们应该期望自己比过去的人做得稍微好一点,而未来的人大概会比我们做得更好。

Dwarkesh Patel

对。当我看到像《生物锚点》(Biological Anchors)这样的报告时,我常常想,阿西莫夫(Asimov)当年随口谈论屏幕以及你能用屏幕做什么,是不是也差不多。也许他的误差来源比这套八步方法还少:在这套方法里,你甚至可能没有意识到还缺少第九步或第十步,而缺了它们可能会让整个推论失效,而且许多输入都跨越多个数量级,置信区间很宽。你怎么看待这种普遍的怀疑?

Holden Karnofsky

我是说,《生物锚点》是我思考中一个非常重要的输入,但它不是唯一的输入。我认为我对 AI 时间线的看法是几方面的综合。第一,看今天的 AI 系统,看它们 50 年前做了什么、10 年前做了什么,然后觉得:“嗯,天哪,它们看起来确实有可能很快就能做人类为推进科学和技术所做的一切事情。”这是我思考的一个输入。我思考的另一个输入是我们所称的半信息先验分析(semi-informative priors analysis),这是一份复杂的报告,因为它从许多不同的角度来看。我认为你可以把这份报告的要点概括为:人类历史上投入到制造 AI 上的努力,绝大部分都是最近才发生的,因为 AI 这个领域并不古老,而经济规模和投入的努力量都已大幅增长。我认为这是支持我们不要过于怀疑我们可能正处于变革性 AI 前夜的一个数据点。从某种意义上说,世界并没有努力很久。所以这是一个输入。另一个输入是专家调查,即有人问 AI 研究者,他们认为 AI 何时能做人类能做的一切。他们的结论往往是几十年。这可能在各个方面存在偏差、不可靠,所有这些东西都有各自的问题,但这是一个数据点。

Dwarkesh Patel

然后还有生物锚点。

Holden Karnofsky

生物锚点不是一份我愿意在播客里概括的报告。它是一份非常复杂的报告。它使用了许多不同的角度。它问了许多不同的问题。有许多不同的数字。不过,我确实认为你可以把它归结为一些相当简单的观察。你可以说,在某个重要的意义上(这可以辩论和分析,但从大多数角度看似乎都是对的),我们以前从未建造过每秒计算量与人类大脑相当的 AI 系统。所以,我们没有能做人类所做一切的 AI 系统,这并不令人意外,因为人类大脑实际上做的工作比普通 AI 系统要多。

然而,看起来在本世纪之内,我们很可能会拥有那么大的 AI 系统。如果我们估计训练它们需要多少、建造它们要花多少成本,那看起来在本世纪很可能是负担得起的。你当然可以谈论你定义这件事的所有不同方式、量化它的所有不同方式,以及你可以代入的所有不同假设。但我的底线是,几乎无论你怎么切分,无论你想怎样定义 AI 大脑与人类大脑一样大意味着什么、以及把那个大脑训练好意味着什么,大多数角度都表明,它看起来相当有可能在本世纪发生。这对我来说是一个数据点。这很重要。所以所有这些都是汇入我看法的数据点。

Dwarkesh Patel

好的。我在这里借用了 Eliezer 在推特上问的一个问题:“在整个 AI 的历史上,是否真的有过任何一例,有人用基于生物锚点或受生物学启发的计算,成功预测了任何一种新颖 AI 能力的出现时间?”他的句子很复杂。

Holden Karnofsky

我在他的 Facebook 上看到了对此的一些讨论,我想答案可能是有。不过,我主要想攻击这个前提。我只想说,历史上并没有多少人高精度地预测 AI 里程碑的案例,而且这也不是我试图做的事情。我想说的很大一部分是:“天哪,在本世纪,我们得到某种极具变革性的东西,看起来是可能性大于不可能。”他问的是 AI 几十年的某种历史,甚至都没有很多人试图做预测。许多预测要比这狭窄、具体得多。所以我主要认为这不是一个很重要或很有信息量的问题。我认为他所做的所有工作……有没有哪个例子是有人用 Eliezer 所使用的这类推理来预测世界末日之类的事情?

这是他在预测的东西。所以我主要只想挑战这个前提,并说:“听着,我们这里的样本量并不大。这不是一个发展成熟的大领域,有人曾经尝试了 25 次做和我现在试图做的完全相同的事情,而每次都失败了。”这主要是学术界的人在试图推进 AI 系统。他们并不试图预测 AI 系统什么时候能做很多事,并做什么?(转录不清)我们这里可依据的东西不多。我们只能尽力而为,做出我们最好的猜测,运用我们的常识,运用我们的判断,并使用我们手头的各种角度。这是我的主要回答。我要给出的另一个回答是,汉斯·莫拉维克(Hans Moravec)是最早的生物锚点论者。我认为他预测通用人工智能将在 2020 年前后出现。按照 Eliezer 自己的观点,看起来他会是接近得不可思议。也许 Eliezer 相信我们会在 2030 年之前看到它。我认为这是有可能的。所以如果你相信这一点,那么我们回头看,会把那视为有史以来远远最伟大的技术预测。

我认为答案是也许。评论里也有一些讨论,关于莫拉维克是否通过检查视网膜,预言了 AI 在视觉方面表现良好会是 AI 的重大进展。关于这一点有一些争论。我认为这一切都很混乱。我不认为这对于反对考虑生物锚点而言是什么有力的反驳。它只是我思考的一个输入。我确实认为,对生物锚点来说有一点看起来不错:我们看到了这场深度学习革命,也看到这些暴力式的 AI 训练方法在过去效果不好的地方现在效果非常好。这发生在 AI 系统开始达到昆虫或小型动物大脑的规模时,也就是在人类大脑的若干数量级之内。你可以称之为一个离奇的巧合,但这些数字很可能都有 10 倍、100 倍、1000 倍的偏差。我的意思是,我们谈论的是非常重要的事情,并试图尽力把握、做出最佳猜测。我认为到目前为止生物锚点看起来还行。看起来不惊艳,但还行。

Dwarkesh Patel

现在,我相信很多人提出过,加快科学、技术进步和经济增长,是比研究变革性 AI 更有说服力的事情。我想先听听你对此的总体反应。

Holden Karnofsky

好的。我想我们在谈的是进步研究(progress studies)那群人。我在 Cold Takes 上写过一篇关于这个的文章,叫《划桨、掌舵、抛锚、平等与哗变》(Rowing, Steering, Anchoring, Equity and Mutiny),我在其中讨论了思考“让世界变好意味着什么”的不同方式。我对这样一种想法有一些同情:过去几百年里,世界变好的很大一部分原因,仅仅是我们变得更富有了。我们有了更多的技术能力,所以也许我们应该尝试多做这方面的事。我不认为这是一个荒唐的想法。我认为这有一定道理,但我觉得,即便是几百年,在人类历史中所占的比例也不算大。

我写过一个系列,叫《生活变好了吗?》(Has Life Gotten Better?),它探讨在整个人类历史进程中生活质量的完整曲线是什么样子。技术发展似乎让事情变得更糟,是有先例的。农业革命时期看起来就发生了这样的事,所以我对“嘿,这个东西好了 200 年,我们就多做一些”这种说法有一些同情,但我不认为这是世界上最严密、最有定论的论证。我认为我们确实有一些具体的理由相信,发展某些特定的新技术,不仅是 AI,还可能包括生物武器,可能带来灾难性的危险。我记得托比·奥德(Toby Ord)用过这样的类比:人类就像一个正在步入青春期的孩子。变强到某个程度是好事。这很有趣。感觉很好,但到了某个点,你强到足以真正伤害自己、让自己陷入麻烦,或者强到你不知道自己的力量有多大。我认为有相当充分的理由说明,人类正在接近那个点。

我认为我们正在接近这样的点:我们可能会遭遇核战争、生物武器,或者会永远改变世界的 AI 系统。所以,300 年前,当我们都在为温饱挣扎时,说“嘿,我们想要更多力量。我们想要更多技术。我们想要更多能力”,也许是合理的。今天,我认为我们开始进入灰色地带。我们开始进入灰色区域,或者我们也许应该稍微放慢一点,更加小心一些。我不是说真的要放慢,我说的是优先级。我宁愿去看那些我认为被极大忽视的、可能影响全人类未来的议题,至少尽力把握我们想对它们做些什么。然后再把精力投入到为这场持续的技术进步添更多燃料、加更多油上,我认为这是件好事。这只是一个优先级问题。

Dwarkesh Patel

好的。如果想法越来越难找到,你认为整个促进进步的愿景是否注定要失败?

Holden Karnofsky

我之前谈过银河系原子的论证——我认为一个更宽泛的常识性看法是,过去几百年里世界发生了极其剧烈的变化。我们每年都有新的、令人兴奋的技术和能力。我认为一个很好的猜测是,这在某个时候会撞上一堵墙。那可能是银河系的原子,也可能只是某种无聊得多的东西。我们看数字时似乎观察到,我们正在经历某种停滞、某种放缓,而且默认情况下很可能会继续放缓。所以,是的,我认为一个很好的猜测是,世界正以惊人的速度变化,这在历史的大部分时间里都不曾如此,而且在整个未来很可能也不会如此。

Dwarkesh Patel

好的。明白了。我想,对于想法越来越难找到、因此进步研究的相关性下降这个观点,人们可能有几种反应。看看你自己的博客,整个博客都是在抱怨有这么多唾手可得的果实没有人去摘。没有人在认真思考变革性 AI。没有人在认真思考乌托邦。没有人在认真思考理想的治理。你如何把这一点与“想法越来越难找到”这个普遍概念统一起来?

Holden Karnofsky

我认为今天有大量真正重要的事情,没有足够多的人在关注。50 年前是这样,100 年前也是这样。50 年前可能比今天更是如此。100 年前可能比 50 年前更是如此。那些极其重要却无人关注的想法,其供给大概在逐渐变得更难找到,但更难不等于不可能。我确实认为,如果人们想做一些真正新颖的、改变世界的、剧烈的、革命性的事情,最糟糕的方式就是进入某个成熟的科学领域,试图革新它。我认为更好的做法是运用你的常识,提出一个没有人在研究的关于世界的重要问题,因为它不属于某个科学领域(因为它不是学术领域,没有机构),然后去研究它。我的博客里有很多内容就是这么主张的。比如,AI 本身是一个非常成熟的领域,但 AI 对齐是一个奇怪的领域,目前并没有真正的学术院系。我所谈论的很多内容,比如试图预测未来会是什么样子,是一件怪异的、声望低的事情,你很难向你的大家族解释清楚。我确实认为,如果你想做一些极其重大或极具革命性的事情,这大概是最值得去找的地方。这就是我在职业上被它吸引的原因——寻找慈善可能取得的重大成功。

Dwarkesh Patel

你曾说过,我们不应该追随伟人的脚步来成为一个伟大的人,而应该自己取得伟大的成就。那么另一种思考方式是不是,你大概也应该无视你所提供的建议(原文为 optical advice,转录不清,疑指 Open Phil)或者 80,000 Hours 所提供的建议,因为这些具体的东西并不会让你成为下一个爱因斯坦?

Holden Karnofsky

我的意思是,你的不少问题属于我在那些对未来学持怀疑态度的圈子里看到的对话——我感觉这几乎有点过于不必要地花哨了。我只想说:“谁是真正革新了世界思考方式的人?”达尔文。那么,达尔文当时在做什么?达尔文是在说:“嗯,我真的不想思考这件事,因为我不相信人类有能力思考那件事;我不想思考这个话题,因为我认为未来太难预知,等等,等等。”他是在做所有这些事吗,还是他只是在问一个有趣的问题?他是不是只是在说:“嘿,这件事看起来很重要。我要用我的常识和判断来弄清它是怎么运作的,并把它写出来。”我认为其中有些东西太花哨了。

所以我认为,今天如果我看看这个世界,问:“未来这个世界是变好还是变坏,最重要的因素可能是什么?”我看过很多可能性。我认为 AI 对齐是其中领先的例子之一,而我没有看到很多人在关注它,所以这就是我想研究的。我认为许多做出了我们如今回顾的革命性工作的人(很多人试图模仿他们),并不是在试图模仿通常行得通的东西、远离行不通的东西。他们只是在提出有趣而重要的问题,并研究它们。至于我自己和 80,000 Hours,我只是觉得我们还没有出名到或有影响力到,让我们那种“我们感兴趣的东西是显而易见的,因此自然就不是被忽视的”的建议成立。我认为我们正在谈论的东西是非常被忽视的,但如果你找到某个更被忽视、更重要的东西,祝你好运。

Dwarkesh Patel

假设捐给有效利他主义(EA)的资金总额增加了一个数量级左右。到那时有什么是现在做不到、而那时可以做到的?

Holden Karnofsky

我不知道。我认为即便那样,按任何政府预算的标准衡量,我们所能支配的资金量仍然会非常小。总的来说,对于慈善,我总是在寻找这样的事情:“我们能否看到一个领域的诞生?我们能否资助人们引入新想法?”但是,与整体经济和整体政府相比,我们非常小。我认为即使把一切乘以 10,这一点依然成立。我不确定拿到 10 倍的资金我们究竟会做什么。我甚至不确定我们要拿已有的资金做什么。

Dwarkesh Patel

是的,但你认为未来会有更多亿万富翁吗?如果是这样,这是否意味着你现在应该更快地花钱?

Holden Karnofsky

理论上,我们有各种模型,它们说:“这是我们对最终将有多少资金可用的猜测,这是我们对最终将有多少捐赠机会可供资助的猜测。这是我们对什么足够好值得资助、什么不值得资助的猜测。”那是非常初步的猜测。其中很大一部分是极其、极其不精确的东西,但我们必须对此有某种看法——任何花钱的人都得有。所以,我的意思是,是的,我确实倾向于假设,山姆·班克曼-弗里德(Sam Bankman-Fried)、达斯汀·莫斯科维茨和卡丽·图纳不是最后一批有兴趣尽可能多行善的亿万富翁——但要为这些东西建模真的很难。坦白说,这些年来我们做过各种粗略的模型,但有时我们也会用直觉,只是说:我们资助那些看起来相当好、令人兴奋的东西,不资助那些看起来不行的东西。这也是我们思考的一个输入。

Dwarkesh Patel

明白了。你如何看待你的一些捐赠可能带来负面影响的风险?人们在你向 OpenAI 投资 3000 万美元的背景下提到过这一点,但在各种背景下,尤其是当你谈论政治倡导时,人们可能认为你所做的事情有负面的副作用,抵消了正面效果。这只是一个直接的计算吗?你怎么看待这个问题?

Holden Karnofsky

我认为理论上,我们想要的是做出利大于弊、或者预期净效果为正的资助。我认为我们在负面影响上倾向于采取常识意义上的稍微保守的态度。我们不想做的,是依据一个完全搞错、有缺陷的理论进入某个领域,而这个错误本来只要多做一点功课就能发现。我认为这样做有些不负责任、不合作。所以总的来说,当我们做出重大决定,比如涉及大笔资金的决定,或者进入一个新的议题时,我们常常会竭尽全力去了解其中的弊端。

如果在我们做完了几乎一切能做的事、直到收益合理递减之后,我们仍然相信好处大于坏处,那么我们通常就会去做。我们的目标不是不惜一切代价避免伤害。我们的目标是以合作、高度诚信的方式行事——始终尽力而为,始终试图预料到弊端,但也承认我们有时会产生意料之外的副作用。生活就是这样——你做的任何事都有意料之外的副作用。对于你举的那个作为净负面例子的具体案例,我并不同意,不过我也不知道。

Dwarkesh Patel

你说的是 OpenAI 吗?是的。推特上很多人可能问过你是不是投资了 OpenAI。

Holden Karnofsky

我的意思是,你可以去查一下我们给 OpenAI 的 3000 万美元资助。我想那是在 2016 年——我们写过这笔资助背后的一些考虑。这笔资助的一部分内容是让 Open Philanthropy 获得几年的董事会席位,这样我们就能在他们发展的关键早期阶段协助他们的治理。我认为有些人相信 OpenAI 对世界是净负面的,因为他们对 AI 的进步和 AI 被大肆炒作贡献良多,而这些人认为这让我们准备的时间变少了。不过,我确实认为,在其他条件相同的情况下,AI 发展得更快会让我们的准备时间变少。这是一件坏事,但我不认为这是唯一的考虑因素。我认为 OpenAI 也做了不少好事,并且确立了一些重要的先例。我认为它大概比我所猜想的、如果没有它就会存在的那家公司(会做类似的事情)要更关注我所谈论的许多议题和先进 AI 的风险。

我并不真正接受 OpenAI 是一股负面力量的说法。我认为这是高度可争议的。我们可以就此谈上一整天。如果你看我们的具体资助,它甚至是完全不同的一回事,因为其中很大一部分不只是为了扶持他们,而是为了参与他们早期的决策。我认为那有好处,也很重要。我的总体看法是,我回顾那笔资助时,认为它不是我们做过的较好的资助之一,但也不是较差的之一。不过,当然,我们做过很多没有成功的事情。我认为有些时候,我们做的事情产生了我们并不想要的后果。没有哪个慈善家能够避免这一点。我们能做的是负起责任,认真做功课,事先尽力理解情况,看到我们所能看到的风险,并思考如何将其最小化。

Dwarkesh Patel

我们来谈谈伦理。我觉得你有一系列非常有意思的博客文章,讲的是经得起未来检验的伦理(future proof ethics)。是的。你想先解释一下它是什么吗?

Holden Karnofsky

好的。我写过一个简短的博客系列,试图解释自称有效利他主义者的人当中常见的一些哲学观点和伦理观点。我引用的其中一个想法是(我不确定我说得对不对),我认识的很多人都在尝试提出一套道德体系和伦理体系,使其经得起大量的道德进步。他们试图提出这样一种体系:如果他们日后变得明智得多、学到了多得多的东西、并反思了自己的道德,他们就不会回头看自己早年的行为,觉得那是可怕的、恶劣的错误。历史上有很大一部分,就是人们做着他们当时认为没问题、正确的事,但我们现在回头看却感到惊骇。

你可以设想自己这样问:“我能拥有什么样的道德,使得如果出现了更多的道德进步、人们学到了更多的东西,未来回头看我时,不至于对我的所作所为感到惊骇?”所以我写了一个系列,谈谈尝试做到这一点可能是什么样子,并阐述了其中几条原则,试图借此解释很多有效利他主义者倾向于使用的道德体系——它往往是某种风味的功利主义,通常在谁的权利算数这一点上非常宽泛。所以有效利他主义者对尚未出生的未来世代非常感兴趣。他们对在工厂化养殖场里遭受虐待的动物感兴趣。他们对今天许多人不关心、但数量庞大的各类群体感兴趣。我试图解释这些。重要的一点是,我阐述这种观点,部分是为了日后反驳它,而后一件事我还没有做。所以我对有效利他主义者中常见的伦理体系也有很多保留。

Dwarkesh Patel

好,那我们来谈谈你在这篇文章中提出的几个支柱。感知主义(sentientism)在我看来相当合理。

Holden Karnofsky

我大致列出了三条原则,是你可能希望一套道德具备的,这样它才能经得起审视,或者在你学到更多、变得更好之后不那么容易改变想法。第一条原则是系统化。拥有一套基于到处适用的简单一般原则的道德,比拥有一套总是靠你当下凭感觉判断什么是对的道德要好。后者可能受到你所处时代的大量偏见的影响,而前者可以让你对核心观念进行压力测试。我提出的两个核心观念,一个是我所说的“薄功利主义”(thin utilitarianism),基本上就是为最大多数人谋最大的善;另一个是感知主义,基本上是说,一个人只要能够感受痛苦或愉悦,就算数,就重要。

我想你刚才说感知主义对你来说似乎合理。对我来说,感知主义可能是整幅图景中最薄弱的部分。我认为,如果你的道德坚持认为每个人的分量都按其所能感受的痛苦或愉悦的多少成比例地相等,你会遇到许多怪异的两难困境,而如果你没有这个观点就不必遇到这些困境。所以我认为它很奇怪,但我认为它确实是这个观点中比较有疑问的部分之一。它大致是在说:“当我判断是否关心某个人时,他们是否在遥远的未来、是否远在天边、是否与我完全不同、是否不是人类、我是否从没见过他们,这些都完全无关紧要,重要的只是他们能不能感受痛苦或愉悦。”我觉得这听起来很好,而且我完全理解为什么听我说话的人会说:“你怎么可能不同意这一点?”但我确实认为它面临各种挑战,我还没有机会写出来。我怀疑自己目前在这个播客上很难讲得有说服力,因为我对此思考得还不够。

Dwarkesh Patel

好的——嗯,可以。我们来谈谈系统化。你有许多复杂的、有时相互矛盾的道德直觉,这一事实是否表明,也许整个目标,即拥有一些基本原则、并由此推演出其余道德,有点像是注定失败的计划?

Holden Karnofsky

我认为这在一定程度上确实表明了这一点。我对这种看法有些认同,这也是我可能会在我的反驳中写到的内容。我也认为人是可能感到困惑的,我认为你的大脑里可能有很多东西在起作用,其中一些可能基于非常好的意图,即公平对待他人、善待他人。另一些可能基于其他怪异的东西,比如想要为和你长得像的人出头,或帮助和你长得像的人,等等。所以我对这样的计划有一些同情:“我的直觉相互矛盾,但其中一些来自好的地方,一些来自坏的地方。”如果我对此思考得更多,我会弄清楚哪些是哪些,而我想试着去做这件事。

Dwarkesh Patel

嗯。我们来谈谈新极权主义(new totalitarianism)。斯科特·亚历山大(Scott Alexander)有一篇旧文章里提出过这样一个问题:你是更希望中世纪教会把所有的钱都花在帮助穷人上,而不是支持艺术吗?也许中世纪的穷人会更少,但你就不会有大教堂,也不会有西斯廷礼拜堂。我不知道如果你身处中世纪,你会怎么回答。

Holden Karnofsky

老实说,这在我听来不像是这个论证最有力的版本。也许那样也行,甚至挺好。我不知道。我妻子真的很喜欢这些古老的教堂——如果我更有她那种态度,我会对这个想法更感到惊骇。低收入人群在过去过得很艰难,所以让他们过上更好的生活似乎相当有吸引力,因此我真的不知道这是不是这个论证的最佳版本。

Dwarkesh Patel

经得起未来检验的伦理,在多大程度上基本上是因为你非常确信未来的霍尔登会拥有一套发展得多、也更好的伦理?你认为一般人或整个人类的伦理随着时间推移会变好多少?

Holden Karnofsky

这确实一直是这个系列中一个令人困惑的点,部分也是我认为自己没有说清楚的地方,这使得这个系列没那么出色。我使用“道德进步”这个词,只是用它来指事情“变得更好”。我认为有时候,确实存在这样的事:对自己的道德多加思考,获得一些洞见,结果到了一个更好的境地。我认为这是真实存在的。有些人相信道德是客观真理,但我不是其中之一。然而,即使我相信道德不是客观的,我仍然认为存在一种有意义的道德进步概念。存在这样的事:比起以前,我拥有了更合理的道德观点。

我不是想说道德进步具有任何必然性。我不是想说只要时间流逝,道德进步就必然发生。我不这么认为。我只是认为这是一件可能发生的事。所以我确实认为,未来的霍尔登在道德方面大概会更好,仅仅因为我对这个话题真的很感兴趣——我会继续努力改进它。我认为我们有一些理由相信这确实有一点帮助——只是极小的一点,但我对此一点也不确信。我当然不认为社会必然会有道德进步,但我确实认为我们过去有过一些。

Dwarkesh Patel

好,但那样的话,把这套伦理体系称为经得起未来检验的伦理就显得有点奇怪了,对吧?也许它应该叫“经得起未来霍尔登检验的伦理”。

Holden Karnofsky

是的,有可能。我在这个系列中多次谈到这一点,我认为我只是没有处理好。我想我当时想做的,是使用一个你不必是道德实在论者也能认同的术语。我真正想捕捉的是:“我现在能不能思考一下,以降低这样的几率:日后我有所进步时,会对自己早年的行为感到惊骇?”这就是我想捕捉的概念。我不确定我是否真的成功做到了。

Dwarkesh Patel

明白了。好,你最近在 E.A. 论坛上发了一篇帖子,我觉得很有意思。其中有一句是:“我的观点是,总体而言,自认为是 E.A. 的人往往有异常高的诚信——但我猜测这更多是尽管有功利主义,而不是因为功利主义。”那么你认为这个巧合该如何解释:一群理性、不狂热、诚信度高的人,恰好也是一个功利主义者的群体?

Holden Karnofsky

你可能有这样一群人,他们认为自己在非常努力地成为应当成为的那种人,或者非常努力地让自己的行动与自己的信念和言论保持一致——这促使他们在很多时候诚实,并遵循我们许多常识性的道德规则。这也促使他们努力把伦理搞对,并最终落到像功利主义这样非常系统化、纯粹、能给你清晰的理论指导的想法上。所以这可能同时驱动这两件事。而我认为,如果你是功利主义者,功利主义是否真的要求你避免说谎之类的事情,其实很不清楚。有些人认为是。有些人认为不是。我认为这非常不清楚。

Dwarkesh Patel

你在做决策时倡导过道德议会(moral parliament)的方法。在什么组织层级上使用这种方法是合适的?个人是否应该基于内心有多个不同的道德政党来做决策?这是适用于整个运动的正确方法,而个人应该专业化吗?应该在哪个层级上应用这种方法?

Holden Karnofsky

道德不确定性是我希望将来写一写的话题。基本想法是,对于世界上什么是正确的事情,可能有许多不同的思考方式。你可能从一个角度看世界,说:“嗯,重要的是所有愉悦的总和。所以更大的世界会更好。所以我应该真正痴迷于让世界尽可能大。”可能有另一种观点说,真正重要的是痛苦。“我们应该最小化痛苦。我们应该希望世界小一点。”可能还有另一种观点说,世界发生什么并不重要。“重要的是我如何行事。重要的是我诚信地行事,说真话,诸如此类。”

有一些有趣的争论,问的是当你对所有这些观点都有一些同情时该怎么办。你如何选择一个行动,而这个行动在某些观点看来是你做过的最好的事,在另一些观点看来却是你做过的最糟的事?道德议会的想法是尼克·博斯特罗姆(Nick Bostrom)十年前在 Overcoming Bias 的一篇文章里提出的,我很喜欢。我把它想象成我是多个人。我就把它想象成有多个人都住在我的脑子里,争论着该怎么做,他们都是朋友,彼此关心,希望好好相处。所以他们试图达成一项他们所有人都能觉得相当满意的协议。这就是我倾向于处理不同道德观点的方式。

我倾向于想做那些按其中一种观点非常好、按其余观点又不太糟的事,并试着让我自己的不同部分相互达成协议。这与我开头说的不赞成“目的证明手段正当”有关。我花了很多精力去做这样的事:如果“最重要的世纪”这些说法成真了,这些事会非常非常好,而如果没有成真,也不会太灾难性。所以有些界线是我不愿意越过的。有些行为,我不愿意为了推进担忧 AI 安全的人们的目标而去做。所以我认为这是一种温和的、有所节制的方法。

Dwarkesh Patel

对于 Open Philanthropy 的首席执行官来说,希望自己所做的决定反映出决策中的不确定性,这很合理。但如果只是像我这样的人,我不处于什么领导岗位,没有大量资源可以投入,我是否应该专门坚持我所持有的某一种道德观点,还是也应该尝试根据不同的道德观点来分配我的时间和资源?

Holden Karnofsky

我认为无论我在世界上处于什么位置、拥有多少资源,我都会觉得自己的决定在某种意义上是重要的,会影响到他人,并且通过影响我周围的人而具有重要性。所以对我来说,很自然地认为,对于“成为一个好人意味着什么”,有许多不同的视角,而不是试图把它们变成一个统一的数学方程式并计算期望值——后者是另一种我觉得有意思的方法。我确实倾向于偏好的方法,是把不同的视角想象成不同的人,他们试图好好相处并相互达成协议。

Dwarkesh Patel

我们来谈谈治理和管理。在软件行业,你肯定知道有“10 倍工程师”的概念。Open Philanthropy 的研究分析师所做的工作中,有类似的情况吗?当两个人做同样的工作时,说其中一个人的效能可以比另一个人高出几个数量级,有意义吗?

Holden Karnofsky

在 Open Philanthropy 做任何一件事,有些人确实比其他人强得多。我认为这并不令人惊讶。我认为许多工作都是如此,而我并不真正知道原因。这可能是天赋、兴趣和一个人工作努力程度的任意组合。我当然认为差异很大,而招聘能把 Open Phil 的工作做得很出色的人,一直是一个终身的挑战。

Dwarkesh Patel

你写过关于贝叶斯思维(Bayesian mindset)的文章。你认识很多亿万富翁,其中许多是 Open Philanthropy 的捐赠者。据你的经验,这些最终取得巨大成功的创业者是否有贝叶斯思维,还是说这样描述他们是不对的——

Holden Karnofsky

是的,我写过这个叫贝叶斯思维的想法,基本上是指愿意给任何事情赋予一个概率,并利用你的概率、说出你的概率,来发现你为什么会这样想,同样也使用期望值计算。我认为这在成功的科技创始人当中比在一般人群中常见得多,但也有很多科技创始人完全不这样思考。我在谈贝叶斯思维时说过,我不认为它是一种经过充分检验、被充分证明能创造奇迹的社会技术,但我确实认为它是一件值得去尝试的有趣的事情。

Dwarkesh Patel

嗯,对一般人来说,贝叶斯思维几乎闻所未闻。

Holden Karnofsky

是的,我的意思是,甚至不只是这个名字。这整个想法,时时刻刻思考期望值和主观概率——几乎没有人这样做。不过,我确实认为科技创始人大概比一般人做得更多。

Dwarkesh Patel

有道理。你认为采用更多的贝叶斯思维会帮助人们登上顶峰、取得更大成功吗?

Holden Karnofsky

这真的还有待观察,也不清楚。我认为贝叶斯思维是个值得尝试的很酷的东西。我自己做了很多尝试。我觉得它有时对我有帮助。和大多数事情一样,它适度使用、讲究品位才好,不要每一件事都用它。也许 10 年后,随着它变得更流行,我们会更清楚它实际应用中的优势和劣势在哪里。

Dwarkesh Patel

我相信你也知道,在有效利他主义里,有许多针对各种智识工作的奖项。其中一些甚至来自 Open Philanthropy。你对它们重新发掘新想法的能力乐观吗?

Holden Karnofsky

我会说,我对所有这些奖项的影响持中等程度的乐观。我参与设计过其中一些,但也见过其他一些……人们说:“嘿,如果你能对我们的……提出一个好的批评,我们就付你 X 美元。”GiveWell 会付钱给那些对其关于最佳捐赠慈善机构的推理提出好批评的人。Open Philanthropy 设有一个奖项,奖励那些向我们指出一个我们应该关注却没有关注的议题的人。我想我是中等程度的乐观。我认为它会引起一些兴趣,会让一些原本不会关注的人开始关注,其中一些人可能有好想法,但我不认为这是解决这些问题的唯一途径,也不认为它会自动解决这些问题。设计这些奖项的人通常也是这样看待它们的。

Dwarkesh Patel

你有一篇关于利益相关者管理的有趣文章,说随着时间推移,机构将不得不考虑越来越多利益相关者的利益。你预计这会成为未来影响 Open Philanthropy 行事方式的主要因素吗?它会对 Open Philanthropy 的整体运作产生什么影响?

Holden Karnofsky

是的,我认为总的来说,你的组织越大、城市越大、社会越大——如果你想让所有人都满意,你要让更多的人满意。我认为这确实意味着,一般来说,默认情况下,随着公司的成长,它越来越难做出许多颠覆性的快速变革。很多人会用“敏捷”这个词。科技界的很多人喜欢用非常负面的词来形容大公司的特性,用非常正面的词来形容小公司的特性。所以小公司是敏捷、快速、务实、适应性强、有活力、高生产率的,而大公司是官僚、迟缓、缺乏适应性的。我认为这些说法都有道理。我还认为,大公司最终往往比它们作为小公司时能生产出更多的东西。

我想如果苹果公司还只有 10 个人,在那里工作可能会更令人兴奋——但他们就造不出那么多 iPhone 了。有大量的 iPhone 送到许多人手中,满足许多不同人的需求,并遵守大量监管要求。有大量工作要做。所以我不认为这必然是件坏事,但我认为公司成长时存在权衡。我确实认为,Open Philanthropy 做的是一种非传统的捐赠,并且要运用大量的判断。所以我倾向于认为,我们尽可能保持小规模会受益良多,我也一直在争取让我们在完成工作的同时尽可能保持小规模——不过我们仍然需要在现有基础上成长。

Dwarkesh Patel

明白了。你说的保持小规模,是指资金还是指人?

Holden Karnofsky

人。

Dwarkesh Patel

好的,人。有点奇怪的是,在你最有经验的这个组织里,你的内部看法是更多的利益相关者会是坏事——但总体上结果是净零或者正面的。

Holden Karnofsky

嗯,这并不清楚——我们在成长。我们比一年前大了,一年后还会更大。所以我并不是想把公司规模降到最小,这绝对不对。我们在成长,但我认为我们想对此保持留意。我认为我们想把每一次招聘都当作只有在有真正充分理由时才会做的事。我认为可能有些公司发展到 10,000 人会有更多收益。我不认为我们会发展到 10,000 人。

Dwarkesh Patel

对。现在,你书面的职业建议强调培养专长(aptitudes)和专业化,但当我看你自己的职业时——它是东一榔头西一棒子的,对吧?我们在访谈开头刚聊过。你一开始在 GiveWell,后来在 Open Philanthropy 工作,现在在预测 AI。那你怎么看待这种情况?你是在专业化吗?这是怎么回事?

Holden Karnofsky

我不知道我是否真的在预测 AI。我主要是提炼并汇集他人做过的分析,并管理从事这类工作的人。我经常给出的职业建议是,有一件你非常专注、专业化的事情,并努力在世界上做到最好,这真的很好。我职业生涯的总体主题,就是处理一些问题,尤其是关于如何有效捐赠的问题,这些问题几乎没有人真正着手研究过。即使做一个相当粗糙的分析,也可能比已有的好。所以我职业生涯中常做的事,也就是我认为自己在某种意义上专业化的方向,是对某个很少被分析过、又非常重要的问题,做第一轮粗糙的分析。

然后我组建一个团队,对这个问题做更好的分析。这是我一贯的模式。我认为这是我所拥有的最具通用性的技能,但我也转换过方向,因为我确实认为,在我职业生涯的不同时点,我只是说过:“嘿,这里有件事得到的关注很少但非常重要,值得牺牲我在某个领域积累的专业知识,转到我认为自己应该做的这另一个领域。”

Dwarkesh Patel

Cold Takes 博客上的那个标志是什么意思?

Holden Karnofsky

没有标志。我想你说的是浏览器图标。

Dwarkesh Patel

对,对。

Holden Karnofsky

那是一只名叫 Mora 的毛绒玩具。如果有一天订阅者够多了,我会解释这些毛绒玩具都是谁,但我和妻子基本上使用一套毛绒玩具性格分类系统,我们会把某个人比作各种毛绒玩具,来解释他们的优点和缺点。Mora 是一只粉色的北极熊,非常有创造力,但也非常自恋,爱受关注。所以她算是这个博客的吉祥物,因为这个博客非常疯狂、非常出格,就是我在公开场合写东西。所以感觉很符合她的精神。

Dwarkesh Patel

天哪,好吧。那么我来问,这个博客的目标是什么?除了担任一家大型组织的首席执行官之外,为什么还要有博主这第二份工作?

Holden Karnofsky

我认为它与我的工作相当契合。我不想让它带有 Open Philanthropy 的品牌。我只是想拥有按我想要的方式写我想写的东西的自由。我确实认为,我们是基于非常非传统的世界观做出这些利害攸关的决定的。所以我认为,我们努力让这些观点与世界其他部分产生接触是好事。我认为,作为一家给你大笔资金的大型基金会,却只是悄悄地到处抱着这些极其重要且正确、而没有其他人相信的信念,这并不理想。如果我们把观点公之于世,第一,我认为所有向我们寻求资金的人会更清楚我们的出发点,以及我们为什么有兴趣资助我们所感兴趣的东西。

我认为在一定程度上,如果人们觉得这些论证有说服力,或者哪怕只是理解它们,这有助于我们理解自己的想法,也可以帮助我们创造更多受资助者。它可以帮助让世界变成这样一个地方:有更多好东西供我们资助,因为更多人看到我们的出发点,希望能认同它,并努力从事我们认为重要的事情。而在我的东西其实是弄错了、有误的程度上,即我的文章里有错误、我把一切都想错了的话,这也是我所知道的发现这一点的最佳途径。我不知道除了把它发表出来、也许引起一些关注之外,还有什么办法能让人们来批评它。所以我就是这样看待的——把对我们所做决定非常重要的观点表达出来,这样我们要么能得到更多有能力资助、支持并与我们合作的人的认同,要么能更多地了解自己错在哪里。

Dwarkesh Patel

好。那我来问问——这种事发生过吗?博客上表达的某个重要观点,是否因为反馈而让你改变了想法?还是说主要是沟通层面的作用?

Holden Karnofsky

我的意思是,肯定有很多有趣的东西。一个例子是,我发表了那篇关于未来学家往绩记录的文章,最近丹·卢(Dan Luu)有一篇文章,我还没读,里面有他自己对未来学家往绩记录的分析,我需要把两者对照起来,思考我真正怎么看人类历史上预测未来的水平。他那里肯定有大量我之前不知道的数据,感觉有点像是对我文章的回应,也可能并非由它引发。有很多评论。

针对我在“最重要的世纪”里写的一些内容,有很多批评。也有其他批评。我认为我写的关于“最重要的世纪”最大薄弱点的很多内容,是基于收到的公开批评。所以我想,我更加意识到自己思路中许多最缺乏说服力、最薄弱、最需要论证的部分。因此我对这些东西给予了更多关注。

Dwarkesh Patel

是的。这也许只是我个人的看法,但听起来,你虽然了解了人们对“最重要的世纪”命题的反应,但似乎没有出现什么东西——让你大幅改变对它的想法。

Holden Karnofsky

放弃我关于我们可能处于人类最重要世纪的观点,那将是一个很大的、很大的改变。那仍然是我所相信的。我的意思是,我也听到过有些人认为我把整件事说得太保守了——一些疯狂的人认为,我应该预期变革性 AI 来得比我在这个系列中暗示的要早得多。所以,是的,我发表了“最重要的世纪”,而我不认为有哪一条批评深刻有力到足以让我放弃整件事。这是一幅有许多活动部件的大图景,而我对其中许多部分的理解已经加深了。

Dwarkesh Patel

是的。我觉得你的工作有一点非常有意思,就是首席执行官需要多么深入地理解所涉及的所有议题。比如说,必须由你深入理解道德议会、关于 AI 的具体预测、生物锚点,以及其他一切,对吧?而在其他组织里,似乎首席执行官往往把这类理解交给别人,只要求拿到要点。你认为更多的领导者应该这样做,还是你的位置有什么特殊之处?

Holden Karnofsky

对于任何一个给定的话题,我知道的都比专门研究该话题的人少得多。我想我试图做到的是,对这个话题了解得足够多,以便能有效地管理他们,这是相当普遍的企业最佳实践。我认为这在不同情况下差别很大。比如说,记账、管理财务、做财务审计之类的事——那是你完全不用怎么懂金融就很容易评判其产出的东西。你可以直接问:“看,这合规吗?我们做了审计吗?审计通过了吗?我们银行里还有钱吗?银行里有多少钱?”你不需要懂太多,就能有效地评判它。

然而,在其他任何公司,为了非常有效地评判某些其他话题,你可能需要对它们有相当程度的了解。如果你的公司制造电脑或手机,设计非常重要,那么如果首席执行官对设计完全没有看法,只是想着“我让我们的设计负责人来决定设计”,那就太糟糕了。设计对公司来说是核心的东西。它对公司很重要,他们应该对此有所了解。所以我确实了解对 Open Philanthropy 来说非常核心的东西。做善事意味着什么?我们如何处理关于如何行善的不确定性?最重要的议题是什么?如果 AI 可能是最重要的议题之一,那我们什么时候会看到变革性 AI?那意味着什么?未对齐 AI 的风险有多大?我认为我需要对这些问题理解到足以有效地管理那些比我了解得多得多的人。我很好奇——你怎么看这整套“最重要的世纪”的东西?它让你觉得疯狂吗?你读这个系列时是怎么想的?

Dwarkesh Patel

是的,显然在整个访谈中,我一直在试图对小地方吹毛求疵,但当我真正思考你提出的主要主张时,它就是:这可能是最重要的世纪,变革性 AI 可能在本世纪出现。如果它真的出现,那是件非常大的事,而且是的,我并不反对。这很有道理。在准备这次访谈、试图想出反对意见的整个过程中,我越来越被说服了,开始思考:“在我职业生涯早期,我真的能做一些重要的事情吗?还是说这是我也许应该暂时先不去想的事?”

Holden Karnofsky

很高兴听到这个。你对自己可能做什么有什么想法吗?

Dwarkesh Patel

没有。

Holden Karnofsky

真的吗?真的一点想法都没有?你就没想过“我能不能做 AI 对齐”?

Dwarkesh Patel

嗯,从这个意义上说,我想过一点。大概两三个月后,我会认真好好想想我到底想做什么职业。

非常感谢我出色的剪辑师格雷厄姆·贝萨卢(Graham Bessalou)制作了这期播客,也感谢米娅·艾亚娜(Mia Aiyana)为每一期制作了出色的文字稿,文字稿附有有用的链接,你可以在下方说明中的链接找到它们。记得在 YouTube 和你喜欢的播客平台上订阅。再见,下次见。