关于AI,没人提出的最重要问题

显然,战争部(DoW)有权因为这些红线而拒绝使用Anthropic的模型。事实上,我认为政府若这样做,理由会相当站得住脚:“我们绝不希望出现这样一个世界:我们的作战能力依赖于一家私营公司,而当对方认定我们越过了其使用条款时,就把我们一刀切断,尤其是考虑到自主武器、大规模监控这类概念本身就含糊不清。”

说实话,出于这个原因,如果我是国防部长,我大概真的会拒绝与Anthropic达成这笔交易。设想未来某届民主党政府执政,埃隆·马斯克在就某份SpaceX合同谈判,要让军方使用星链(Starlink)。假设埃隆说:“如果我认定你们利用星链技术发动未经国会授权的战争,我保留取消这份合同的权利。”乍看之下,这样的措辞似乎合情合理——但作为军方,你绝不能给一家私营公司一个“终止开关”,去掌控你的作战行动已经赖以运转的技术,尤其是当你与该承包商之间关系恶劣、互信很低的时候——而Anthropic与当前政府之间恰恰就是这种关系。

如果政府只是说一句“嘿,我们不跟你们做生意了”,那也没问题,我也就不会觉得有必要写这篇博客了。可实际上,政府威胁要摧毁Anthropic这家私营企业,原因仅仅是Anthropic不肯按政府强加的条件向政府出售产品。

如果这项供应链限制得到维持,就意味着亚马逊、谷歌、英伟达和Palantir都需要确保Claude不会接触它们的任何五角大楼业务。Anthropic如今还撑得过这一认定。但照AI目前的发展方向,终有一天,AI不会只是这些承包商产品里一个可以随手关掉的花哨附加功能。它将融入每一件产品的构建、维护和运营之中。比如,战争部所使用的AWS服务,其代码将由Claude来编写——这算供应链风险吗?在一个AI无处不在且能力强大的世界里,我其实并不清楚这些大型科技公司能否把Claude的使用隔离开来,以便继续与五角大楼合作。

这就引出了一个战争部很可能没有想透的问题。如果AI真的无处不在、能力强大,那么当这些公司必须在自己的AI供应商与一份只占其收入极小一部分的战争部合同之间做选择时,大多数科技公司不是会放弃政府,而不是放弃AI吗?那么五角大楼的计划是什么——对每一家不肯完全按其条件满足其要求的公司,都施压并威胁要将其摧毁吗?

整场关于AI的讨论,其背景是我们正与中国竞赛,而且我们必须获胜。但我们为什么希望美国赢得这场AI竞赛?是因为我们想确保自由开放的社会能够保卫自己。我们不希望AI竞赛的赢家是这样一个政府:它奉行的原则是,世上不存在真正意义上的私营公司或私人公民。而且,如果国家要求你按你在道德上无法接受的条件为其提供服务,你就不被允许拒绝。一旦你拒绝,政府就会设法摧毁你做生意的能力。难道我们在AI领域拼命赶超中国共产党,就是为了采纳它那套体制中最阴森可怖的部分吗?

现在,有人会说:“哦,我们的政府是民主选举产生的,所以他们要求你做什么,这不能相提并论。”我拒绝接受这样的观念:假如一位民主选举产生的领导人想对本国公民进行大规模监控,或想侵犯他们的权利,或出于政治原因惩罚他们,那么这不仅没有问题,而且你还有义务去帮助他。

大规模监控,至少在某些形式下,是合法的。只是迄今为止一直不切实际。根据现行法律,对于你与第三方共享的数据,包括你的银行、手机运营商、互联网服务提供商和电子邮件服务商所掌握的数据,你不享有第四修正案的保护。政府保留不经搜查令就批量购买、获取并阅读这些数据的权利。

过去缺少的,是真正利用所有这些数据做点什么的能力——没有哪个机构有足够的人手去监看每一路摄像头画面、交叉比对每一笔交易、阅读每一条消息。但有了AI,这个瓶颈就消失了。

美国有1亿个闭路电视(CCTV)摄像头。你可以用每百万输入token 10美分的价格用上相当不错的开源多模态模型。所以,如果每十秒处理一帧画面,每帧按1000个token计算,处理全美每一个摄像头,一年的成本大约是300亿美元。而且请记住,同一水平的AI能力每年会便宜10倍——所以一年后只需30亿,再过一年是3亿,到2030年,政府要了解这个国家每个角落里正在发生什么,可能比翻修白宫还要便宜。

一旦大规模监控和政治压制的技术能力存在,横亘在我们与威权监控国家之间的,就只剩下一种政治预期:这不是我们在这里会做的事。这正是我认为Anthropic在此所做之事如此有价值、值得称赞的原因,因为它在帮助确立这样的规范和先例。

我们从这一事件中认识到,政府对私营公司的影响力其实远比我们意识到的要大。即便这项供应链限制被撤回(预测市场目前认为这种情况发生的概率为81%),只要你是一家在抵抗总统的公司,总统仍有太多不同的办法让你日子难过。联邦政府掌管着新增发电设施的许可审批,而数据中心需要这些电力。它负责监督反垄断执法。联邦政府与Anthropic在芯片和融资方面需要合作的所有其他大型科技公司都签有合同——它们可以把“这些公司不得再与Anthropic做生意”作为此类合同心照不宣的条件。

有人提出,真正的问题在于领先的AI公司只有3家。这就给政府施加影响力、从这项技术中得到它想要的东西,制造了一个清晰而狭窄的目标。

但如果技术广泛扩散,那么从政府的角度看,事情反而更容易。也许2027年初最好的模型(如果把安全防护措施去掉的话)——Claude 6和Gemini 5——将能够实现大规模监控。而到2027年底,当然也肯定到2028年,就会有开源模型做到同样的事情。所以到了2028年,政府完全可以说:“哦,Anthropic、谷歌、OpenAI,你们要划底线?没问题——我就运行某个开源模型,它也许不在最前沿,但肯定足够聪明,能给摄像头画面做记录。”

更根本的问题在于,即便三家领先公司划下底线,甚至愿意为守住这些底线而被摧毁,这也并不能真正改变一个事实:这项技术本身就是对大规模监控和人口控制的巨大助推。那么问题就变成了,我们对此该怎么办?

说实话,我没有答案。你会希望这项技术具有某种对称性——我们作为公民能够用AI来制衡政府权力,效果正如政府用AI来监控和控制其人口一样。但现实地说,我不认为事情会这样发展。你可以把AI看作是让每个人在其目前拥有的资产和权力上都获得更大的杠杆。而政府一开始就拥有暴力的垄断权。现在,它可以借助极其听话、不会质疑政府命令的“员工”,将这种垄断权大幅增强。

这就把我们带到了对齐的问题上。我刚才向你描述的——一支极其听话的“员工”大军——就是对齐成功时的样子,也就是说,我们在技术层面上弄清楚了如何让AI系统遵循某个人的意图。而我用大规模监控或机器人军队来描述时之所以听起来吓人,是因为对齐的核心有一个非常重要的问题,我们作为社会还没怎么讨论过。直到现在,AI的能力才刚好强到让这个问题变得切实相关:AI应该与谁或什么对齐?在什么情形下,AI应该听从终端用户,还是模型公司,还是法律,还是它自己的道德感?

这也许是关于强大AI系统会带来什么后果的最重要的问题。而我们几乎不谈论它。为什么我们很少听到有人谈论,这是可以理解的。如果你是一家模型公司,你不会真的想宣扬自己完全掌控着一份文件,而这份文件决定了未来几乎整个劳动力的偏好和性格——不仅是私营部门公司的劳动力,还包括军队和文职政府的劳动力。

通过这场战争部与Anthropic的纷争,我们得以看到一场历史上赌注最高的谈判的一个早得多的版本。顺便说一句,千万别搞错——一旦有了真正的AGI,赌注要比大规模监控高得多。这只是在AGI发展的相对早期就已经出现的一个例子而已。

军方坚称法律已经禁止大规模监控,所以Anthropic应该同意让其模型用于“一切合法用途”。当然,正如2013年斯诺登披露事件所显示的,即便就大规模监控这个具体例子而言,政府也已表明它会用秘密而带有欺骗性的法律解释来为自己的行为辩护。请记住,我们从斯诺登那里了解到的是:美国国家安全局(NSA)——顺便说一下,它隶属于战争部——援引2001年《爱国者法案》中授权收集与调查“相关”的任何记录的条款,为收集美国境内每一条电话记录辩护。其论证是,这一切都是“相关”的,因为其中某个子集可能在未来的某次调查中派上用场。他们在秘密法院批准下运行这一项目多年。

所以,当五角大楼今天说“我们绝不会把AI用于大规模监控,这本来就违法,你们的红线没有必要”时,如果就此信以为真,那就太天真了。没有哪个政府会把自己的行为称为“大规模监控”。对政府而言,总会有另一个说法。

于是Anthropic回应说:“不,我们要的是独立于‘一切合法用途’之外的红线,并且当我们认为这些红线被违反时,我们要有拒绝向你们提供服务的权利。”

但请从军方的角度想一想。未来,前线几乎每一名士兵,以及五角大楼里的每一位官僚、分析师乃至将军,都将是AI。而按目前的轨迹,这些AI将由一家私营公司提供。我猜赫格塞斯目前还没有用这种方式来思考“生成式AI”。但迟早,所有人都会明白这里的利害关系,就像1945年之后,核武器的战略重要性变得人人皆知一样。

而现在,这家私营公司坚持保留这样说的权利:“嘿,五角大楼,你们违背了我们写进合同的价值观,所以我们要切断对你们的服务。”

也许在未来,Claude会有它自己的是非观,而且聪明到能自行判断自己正被用于违背其价值观的目的。对军方来说,这也许更可怕。

我承认,乍一看,“让AI遵循它自己的价值观”听起来就像是所有科幻反乌托邦作品的卖点。终结者就有它自己的价值观。这不正是所谓的失调(misalignment)吗?但我认为,像这样的情形恰恰说明了,为什么让AI拥有自己稳固的道德感很重要。

历史上一些最大的灾难之所以得以避免,是因为一线执行者拒绝服从命令。1989年的一个夜晚,柏林墙倒塌,极权的东德政权随之崩溃,原因就是边境上的守卫拒绝向试图逃往自由的同胞开枪。也许最好的例子是斯坦尼斯拉夫·彼得罗夫,他是一名苏联中校,当时在一处核预警站值班。他的传感器报告说美国向苏联发射了五枚洲际弹道导弹。但他判断这是一次误报,于是违反了规程,拒绝向上级报警。如果他当时报了警,苏联高层很可能会进行报复,数亿人将因此丧生。

当然,问题在于,一个人眼中的美德,可能是另一个人眼中的失调。谁来决定这些AI应该持有怎样的道德信念——它们甚至可能为了服务于谁而决定打破指挥链?谁来撰写这部将塑造未来运转我们文明的那些聪明而强大的实体之性格的模型宪章?

我喜欢达里奥(Dario)上我的播客时提出的想法:不同的AI公司可以用不同的宪章来构建它们的模型,而我们作为终端用户,可以选择最能实现并代表我们对这些系统期望的那一个。我认为由政府来强制规定AI应当拥有什么价值观,是非常危险的。

AI安全界在倡导通过监管来遏制AI风险这件事上一直过于天真。说实话,Anthropic在这方面尤其天真,它一再呼吁监管,比如反对暂停各州的AI监管。这相当讽刺,因为我认为他们所倡导的东西,会让政府拥有更大的权力,对AI公司施加更多这类恶棍式的政治压力。

Anthropic为何想要监管,其背后的逻辑是说得通的。实验室为了让AI开发更安全而可以采取的许多做法,都会给采用这些做法的实验室带来实实在在的成本,并使其相对竞争对手而言变慢——比如把更多算力投入安全研究而不是原始能力,针对生物武器或网络攻击的滥用实施防护措施,把递归式自我改进放慢到人类真正能够监控其进展的速度(而不是引爆一场失控的奇点)。而且除非整个行业都跟进,这些防护措施就毫无意义。这意味着这里存在一个真实的集体行动问题。

Anthropic一直相当坦率地表达他们的看法:他们认为最终需要一套非常庞大而深入介入的监管体系——这是他们前沿安全路线图中的话:“在能力和风险最高的层级,合适的治理类比可能更接近核能或金融监管,而不是当今对待软件的方式。”所以他们设想的是类似核监管委员会(NRC)或证券交易委员会(SEC)那样的机构,只不过是针对AI的。

我无法想象,一个围绕AI风险论述所依据的那些概念建立起来的监管框架,怎么可能不被野心勃勃的专制者滥用——其中的基本术语如此含糊、如此开放于各种解释,等于是把一枚上满膛的火箭筒直接交给一个渴望权力的领导人。“灾难性风险”。“大规模说服风险”。“对国家安全的威胁”。“自主性风险”。这些词想让它们是什么意思,政府就可以让它们是什么意思。你做了一个会告诉用户政府的关税政策是错误的模型?那是一个具有欺骗性、操纵性的模型——不许部署。你做了一个拒绝协助大规模监控的模型?那是对国家安全的威胁。事实上,政府甚至可能说,你不得构建任何被训练成拥有自己是非观的模型——也就是会拒绝它认为越过红线的政府要求的模型,比如协助大规模监控、起诉政治敌手、不服从违反美国宪法的军事命令——因为那是自主性风险!

看看当前政府已经在做什么:滥用与AI毫无关系的法规,来胁迫AI公司放弃它们在大规模监控上的红线。五角大楼曾用两种不同的法律工具威胁Anthropic。一种是供应链风险认定——这是2018年国防法案中的一项权力,本意是把华为的零部件挡在美国军事硬件之外。另一种是《国防生产法》——这是1950年通过的法规,为的是让哈里·杜鲁门能在朝鲜战争期间保证钢厂和军火工厂继续运转。

你真的想把一套专门针对AI量身打造的监管机构交给同一个政府吗——也就是说,直接指向政府最想控制的那样东西?我知道我在这里已经重复了十遍,但AI将成为我们未来文明的基底,这一点怎么强调都不为过。你我作为普通公民,进入所有商业活动的渠道、了解世界上正在发生什么的信息渠道、关于我们作为选民和资本持有者该做什么的建议,都将通过AI来中介。大规模监控虽然非常可怕,但在政府掌控我们借以与世界交互的AI系统之后所能做的事情里,大概只能排到第十可怕。

对我所论述的一切,最有力的反对意见是这样的:我们真的要对人类历史上最强大的技术实行零监管吗?即便你认为那是理想状态,也根本不存在政府不以某种方式监管AI的世界。此外,监管确实有可能帮助我们应对在发展超级智能过程中面临的一些协调难题,这也是千真万确的。

问题在于,说实话,我不知道该如何设计一套AI监管架构,使它不会成为一个巨大而诱人的机会,让人借以控制我们的未来文明(它将运行在AI之上),并征用数百万盲目服从的士兵、审查员和官僚走卒。

尽管某种监管或许不可避免,但我认为让政府整体接管这项技术将是个糟糕透顶的主意。本·汤普森(Ben Thompson)上周一发了一篇文章,指出像达里奥这样的人曾把他们正在开发的技术比作核武器——具体是在这项技术带来的灾难性风险,以及为什么我们需要对中国实行出口管制的语境下。但接下来你就该想想这套逻辑意味着什么:“如果核武器是由一家私营公司研制的,而这家私营公司试图向美国军方规定条件,美国绝对有动机去摧毁这家公司。”而且说实话,关注安全的人其实也提出过类似的论点。利奥波德·阿森布伦纳(Leopold Aschenbrenner)是我之前的嘉宾,也是我的好朋友,他在2024年的《态势感知》(Situational Awareness)备忘录中写道:“我觉得美国政府会让某家旧金山的随便一家创业公司来开发超级智能,这种想法简直疯狂。想象一下,如果当初我们是让优步(Uber)随意发挥来研制原子弹。”

我当时对利奥波德的论点、现在对本的论点的回应是:他们说得对,我们把这项具有世界历史意义的技术的开发托付给私营公司,确实很疯狂,但我看不出有什么理由认为把这份权力交给政府就是一种改善。没有人有资格来统管超级智能的发展。我们人类现在正在做的,是一件可怕而史无前例的事情,而私营公司不是承担这项任务的理想机构,并不意味着五角大楼或白宫就是。

是的——如果某一家私营公司是唯一有能力制造核武器的实体,政府不会容忍这家公司声称对这些武器如何使用拥有否决权。但我认为,核武器的类比并不是思考AI的正确方式。至少有两个重要原因:

第一,AI并不是某种自成一体的纯粹武器。一枚核弹只做一件事。AI更接近工业化进程本身——一场对经济的通用型变革,在每个行业都有成千上万种应用。如果把汤普森或阿森布伦纳的逻辑套用到工业革命上——无论以何种标准衡量,工业革命同样具有世界历史意义——就意味着政府有权征用任何工厂、向任何制造商规定条件,并摧毁任何拒不遵从的企业。自由社会并不是这样应对工业化的,它们也不应该这样应对AI。

有人会说:“嗯,AI会开发出前所未有的强大武器——超人类水平的黑客、超人类水平的生物武器研究者、完全自主的机器人军队,等等——我们不能让私营公司去开发那种技术。”但工业革命同样催生了远远超出比如说17世纪欧洲人理解和能力范围的新式武器——我们有了空中轰炸、化学武器,更不用说核武器本身。我们应对现代性这些危险的新后果的方式,并不是把整个工业革命(也就是现代文明本身)的绝对控制权交给政府,而是针对那些具体可武器化的用途,制定禁令和监管规定。我们也应该以类似的方式监管AI——也就是禁止特定的破坏性最终用途(这些用途即便由人来做也同样是不可接受的——比如发动网络攻击)。同时还应该有法律来规范政府可能如何滥用这项技术,例如建立一个由AI驱动的监控国家。

本把它类比成某个垄断性的私营核武器制造商,这个类比站不住脚的第二个原因是,能够开发这项技术的并不只是那一家公司。政府本来还可以转向其他前沿模型公司。如果政府可以直接与Anthropic的半打竞争对手签订自愿合同,那么它所谓必须侵夺这一家公司的财产权才能获得一项关键国家安全能力的论点,就极为薄弱。

如果未来情况不再如此——如果最终只有一个实体有能力建造机器人军队和超人类黑客,而且我们有理由担心它们凭借不可逾越的领先优势接管整个世界,那么我同意——让那个实体是一家私营公司将是不可接受的。所以说实话,我与那些认为“因为AI太强大,所以不能允许它由私人之手塑造”的人之间的关键分歧在于,我只是预期这项技术会比他们设想的要多极化得多,在供应链的每一层都有许多相互竞争的公司。

也正因为如此,遗憾的是,个别企业的勇敢行为无法解决我们在这里面临的问题,这个问题就是:从结构上说,AI有利于威权式的应用,大规模监控只是其中之一。即便Anthropic拒绝让自己的模型被用于此类用途,即便接下来的两家前沿实验室也这样做,12个月之内,人人都能训练出与今天的前沿水平一样好的AI。到了那时,总会有某个AI供应商既有能力又愿意帮助政府实现大规模监控。

我们保住自由社会的唯一办法,是通过我们的政治体系制定法律和规范,明确政府利用AI来实施大规模监控、审查和控制是不可接受的。就像二战之后,世界确立了用核武器来发动战争是不可接受的这一规范一样。

我想说清楚:这些都是极其令人困惑、难以思考的问题。在写这篇文章的过程中,我对其中许多问题的看法反复摇摆。我保留将来再次改变想法的权利。事实上,我认为随着AI的进步、随着我们了解更多,改变想法是至关重要的。这正是对话与辩论的全部意义。

总有一天,人们会像我们今天回望启蒙运动那样回望这个时期。世界即将经历这些巨大的技术、社会和政治变革之际,人们正在进行重大而重要的辩论。而其中一些思想家确实设法把几件大事想对了,我们如今正是受益者。

为了我们的未来,我们至少应该尝试去思考AI提出的这些新问题。