Holden Karnofsky:历史上最重要的世纪

Holden Karnofsky 是 GiveWell 的联合创始人,后来与 Cari Tuna 和 Dustin Moskovitz 合作,做出了后来成为 Open Philanthropy 的项目。他把自己的专业特长描述为寻找那些被低估、却极其重要的想法,因为他预期这类想法能带来“超额的投资回报”。他说,“最重要的世纪”这一想法是有效利他主义(Effective Altruist)社群中的许多人帮助他得出的结论,并非他一个人的发明。

这一论证从经济史出发。增长一直在加速,而一个简单的循环——人产生想法,想法产生资源,资源养活更多的人——预示着增长会越来越快。如果不加修正地外推,它意味着本世纪的增长率将趋于无穷大。Karnofsky 并不认为这会默认发生,因为这个循环中有一环在几百年前断掉了:人们变得更富裕,而不是人口变得更多。如果 AI 系统能够完成人类为推动科学和技术所做的一切,它就能补上“更多想法”这一环,并让这个循环重新运转起来。

他判断,本世纪出现能够完成人类推动科学和技术所做的全部关键任务的 AI,可能性超过一半。其结果将是数千年的变化被压缩进一个短得多的时间段。如果如此迅猛的进步触及科学和技术的极限,结果可能是一个非常稳定、远远扩展到地球之外、在许多方面堪称后人类的文明,这也是他称现在为我们塑造它的最后机会的原因。

“最重要的世纪”假说,简而言之就是:如果我们开发出能够完成人类为推动科学和技术所做的一切事情的 AI,我们就可能非常迅速地抵达一个非常具有未来感、与今天截然不同的世界。

Dwarkesh Patel 追问了 2014 年的一次谈话:当时 Karnofsky 说,他能看到在非洲行善的路径,却看不到一条在遥远未来问题上让他感到满意的路径。Karnofsky 用每一美元带来的影响把这两种关切联系起来。如果先进 AI 已经临近,未来可能非常好,也可能非常糟:一边是设计草率、拥有自身目标的系统,或是强大的技术落入心怀恶意之人手中;另一边是一个消除了多种物质匮乏的世界。

他给出了转变的两个原因。第一个,他认为占了答案的一多半,是坚持:他在这个问题上花的时间长得多,现在对哪些研究和行动能降低设计不良的 AI 掌控世界的风险有了更多了解。第二个是始于 2014 年前后的深度学习革命:计算量巨大、但本质上很简单的系统,在许多互不相关的任务上不断取得进展。他说,认为沿着这条路走下去就能达到几乎能自动化人类所有推动科学和技术之事的 AI,并不疯狂,不过他并没有说这是最主要的可能性。

对于“没有人有过预测几十年后的记录”这一担忧,他承认预测很难,并且说 2014 年的自己在这个看法上走得太远了。最近一篇关于未来学家过往记录的文章发现,他们的记录只能算“还行”,而且没有人展示出真正精确的预测能力。他仍然认为,只要始终意识到一切都不如感觉上那样可靠,这种尝试就值得去做。他说,自己的工作就是找出十件事,预期其中九件会以难堪的方式失败,并希望有一件能成功到足以弥补其余的损失。

被问到他的论点究竟是“时代奇特使得转型不足为奇”,还是“转型可能在本世纪发生”时,Karnofsky 说核心主张是后者。那一大段关于我们的时代有多奇特的论述,是为了回应一种反对意见。2014 年他面对的主要障碍,并非针对关于 AI、经济模型或对齐研究的任何具体论断,而是整个想法听上去就疯狂而可疑。