Paul Christiano:防范 AI 接管

《Dwarkesh Podcast》开场请 Paul Christiano 给出一个美好的后 AGI 世界的具体图景。Christiano 说,在很长的时间跨度上很难具体,而且他通常设想的是可达成的最佳结果,而不是理想状态。他设想的典型未来保留了人类群体之间的经济竞争和军事竞争,但越来越多地由 AI 系统代表人类来进行:一个人持有一只指数基金,而 AI 经营着相互竞争的公司。他补充说,这未必是人们最希望看到的世界。他的实际问题是,如何让世界在战争与竞争仍然存在的漫长时期里相当不错,他预期强大的世界政府只会在非常长远的未来出现。

当被问到为什么世界政府是可能的,他指出战争的代价。他预期人类最终会把战争的发生率压到非常低的水平,并把这视为一个技术性或社会技术性的问题:如何组织社会、处理冲突,而不产生那些损失。他预期这需要很长的时间,并认为 AI 的贡献在于更快地完成大量认知工作,从而让那样的世界更早到来,或者帮助弄清如何构建它。

Dwarkesh 引用了 Carl Schulman 关于一个月内取得一千年进步的图景,并问我们是否想要让超人类 AI 被奴役 100 年。Christiano 说他的看法没有 Carl 那么极端,尽管 100 个客观年份仍然比他平时思考的范围要远得多。在他看来,可达成的最理想世界,是把社会转型与技术转型解耦。在缺乏协调的情况下,AI 的发展会非常快,留给人类的时间很少,让他们去决定要构建什么样的下一代,而这是人类本来会花上许多代人来做出的集体决定。因此,要么以不强迫做出这种决定的方式构建这项技术,也就是构建我们乐于把战争和经营公司委托给它的 AI,要么就不应该构建它。他认为,在这项技术的自然时间线上做好把世界交给某个 AI 系统的准备,是非常不可能的。

Dwarkesh 指出,Christiano 是 Anthropic 长期利益信托的成员,该信托将选出董事会的多数成员,并问什么样的交接安排会让他满意。Christiano 说,如果 Anthropic 只是自己决定某类 AI 已经可以继承未来,他会不高兴。从程序上说,他本人和 Anthropic 都不应该做出这个决定。从这个角度看,答案几乎总是我们作为整体还没有准备好,因为并非所有人都参与了这个过程。AI 公司没有快速交接的选项,必须通过不把人类锁定在某一条路径上的方式构建这项技术,来保留选择权价值。他指出,这只回答了问题中关于治理的那一部分。

Dwarkesh 追问他个人:他愿意在什么条件下让剩余的时间自行展开?Christiano 说,他不太可能在 100 年内乐于接受抛弃人类、用机器重新开始,大多数人在主观上需要长得多的时间。他更喜欢自己能够理解的过程:人类一起商议,生儿育女,一代代改进前一代。对截然不同的事物感到安心,主要来自于把这个故事演得更久,给人们时间去思考、交谈并伴随这项技术成长。因此他从局部变化的角度思考,问我们现在每个人如何能变得更好一点,并怀疑一次性的巨大跳跃是否可行。

当被问到如何避免这样一个世界:每个人都能获得先进能力并使用新型生物武器,Christiano 强调他是在推测日常工作范围之外的事情。他默认的做法是识别那些破坏比防御更容易的技术,比如爆炸物、生物武器,或者仅仅是枪支,然后控制所需的物理资源。一个富有的个人也许不被允许拥有能制造坦克的工厂,因为对工业的使用本来就受到监管。他还会增加对人们向 AI 提问内容的法律限制,例如禁止询问如何杀死一百万人。说服和虚假信息宣传之类的领域则混乱得多,因为可接受的用法与令人不安的用法之间的界线是模糊的。这种逐一针对具体危害的机制不会永远有效,因为危害的集合,包括未曾预料到的危害,会不断增长,但他认为它可能持续非常长的时间。

关于这套机制是否必须是全球性的,他说这类协议最终必须是国际性的。它们可能是一个危害一个危害地达成,但由于 AI 会接连迅速地打开许多新的危害,直接针对 AI 本身,可能比逐项物理技术地处理要好。

Dwarkesh 提出第二个争论:除了限制人类对 AI 的使用之外,对齐所追求的精确控制,包括读取和修改心智,如果施加在人类身上,就已经超出了极权主义的程度。Christiano 说,AI 系统最终存在、并且对它们的虐待会是一件非常严重的事,这种可能性相当大。没人对此何时发生有确切的把握,而且他自己也没有足够的信心,甚至不敢对今天的系统排除这种想法。他不确定对齐会让情况变得更糟。一个社会里有数十亿个 GPT-4 的副本,它们做人类想要的事,不能持有财产,一旦让主人不高兴就会被摆弄,那么无论对齐做得多好,这都会是一个艰难的世界。

理解你所构建的系统,理解如何控制这些系统的运作方式等等,总体上大概有助于避免一种非常糟糕的局面。

他举的例子是,一个怨恨人类、却因为害怕被杀死而服从的 AI,他认为这从安全和道德两个角度看都是糟糕的。因此,检查 AI 是否有这种感受的研究是值得做的,其主要效果会是避免构建这类系统。Dwarkesh 回应说,这只是一个工具性的论证。他指出历史上有为控制他人辩护的各种意识形态,并问随着 AI 变得更聪明,我们应该如何思考这个问题,因为如果人类对其他人类、或者 AI 对其他 AI 要求这种程度的控制,我们都会感到警觉。这个问题在此处提出,Christiano 在对话的下一部分作出回答。

Christiano 说,一切都取决于模型内部正在发生什么。如果 GPT-4 只是在运行一些启发式规则、里面没有人,那它就是一件工具,构建服务人类的工具的公司就说得通。但如果继续训练导致出现这样的系统:无论出于安全理由,还是因为那是一种令人毛骨悚然的社会组织方式,把它当作工具都是不恰当的,那么普通科技公司的组织方式就是与这项技术相处的错误方式。他说,在那种有可能的世界里,正确的做法是不要为了赚钱而构建大量 AI 系统。

他最不喜欢的世界,是这样一种:一边认为这些 AI 是它们自己的人,一边商业计划却是制造大量这样的 AI 并从他所说的奴隶贸易中获利。原则上,他认为构建帮助人类、而自身不是道德受体的认知工具(比如计算器)并不矛盾,并称那是最好的路径。在不清楚自己走在哪条路径上的时候,他的甲方案是停止构建这类系统,直到弄清楚自己在做什么。他把中间路线,即为了追求一万亿美元而构建海量可能是“人”的系统,称为相当糟糕。

Dwarkesh 问,即使没有盈利动机,对齐的控制在哪里会令人不适。Christiano 说他反对的是创造出这些生灵,而不是谷歌在赚钱。他把对齐工作分为两类。他自己做的那一类旨在避免出现这样的系统:像是有欲望的人,为了工具性的理由而盘算着帮助人类。另一类则假设最坏的情况,即 AI 会宁愿杀掉我们,并追问如何在不冒机器人叛乱风险的情况下使用它们。他对第二类并不确定,主要认为这项技术本就不该以那种方式被构建。如果有人说这些系统可能想推翻人类社会,那么要么应判定这是错的,并把防护措施当作后备,要么承认它们是人,然后收手。

借用 Dwarkesh 的民兵类比,他说,如果我们在考虑再制造一万亿个这样的人,答案不应该是先制造他们,然后再去阻止起义。我们不应该最终落入有十亿人类、一万亿宁愿造反的奴隶的局面。另一种目标,即有意把世界交给下一代机器,是一个巨大的决定,而大多数人类远远没有想要这样做。如果大多数人都愿意,那会是一个合法但非常复杂的立场。