Ed Zitron, Roman Yampolskiy, Nate Soares: AI 真的会导致人类灭绝吗？——先进模型的真实风险辩论

辩论以一项关于 AI 开发者的说法开场：他们真心认为，AI 可能在这十年结束前杀死所有人。主持人说，一则广泛传播、谈到这些私下担忧的帖子让更多公众开始关注此事。一方认为，大公司正在进行鲁莽实验，拿整个文明冒险；另一方则认为，从今天的 AI 到人类灭绝之间仍是推测，并指出这类讨论挤占了对可见伤害的关注，例如自杀和错误信息操纵。因此，开场把核心争论同时呈现为风险问题，以及当下哪些议题值得优先关注的问题。

主持人提到 Jacob Coxon 的帖子，以及一位现任 Anthropic 员工的回应。这名员工说，他们相信 AI 可能杀死所有人，并个人估计未来十年内发生这种事的概率超过 10%；他还补充说，公司正尽最大努力，但尚未找到超级智能对齐的解决方案，也显然没有走在解决问题的正轨上。这些是该员工表达的个人判断，并非访谈中经测量确立的预测。帖文的传播范围，以及主持人讲述一位此前对 AI 兴趣不大的朋友发消息询问情况，都说明这场技术讨论已经成为公众关切。

被要求用一句话表明立场时，Nate Soares 说，人们对大型语言模型当前造成的伤害关注不足；Andy McAfee 则说，公众讨论太关注负面影响，忽略了好处。参与者公布各自估计后，有人认为除非停止研发，否则风险远高于 10%；如果造出通用超级智能，灭绝几乎是必然的。Ed Zitron 反对这个前提，认为“超级智能”尚未定义，而今天的系统是大型语言模型，并非超级智能。McAfee 把自己的估计放在接近零的位置，同时明确保留一个很小的可能性。这段交流显示，他们对威胁的概率和定义都存在巨大分歧。

参与者争论，生存风险究竟会分散人们对当前伤害的注意力，还是必须与当前伤害并行评估。Soares 认为，AI 的好处和现有伤害并不能排除灭绝风险仍然很高，因此文明应该直接调查这项风险。McAfee 则反驳说，历史上技术虽然带来伤害，最终仍让人们的处境更好；把 AI 当作史无前例、必定会毁灭所有人的断裂，是对这段历史的不公正描述。Zitron 认为，这场讨论被用来回避 AI 的当前伤害。辩论没有解决这些风险究竟是相互竞争的优先事项，还是可以并行处理的问题。

Soares 将超级智能定义为在每一项认知任务上都胜过最优秀人类的 AI，但也提醒说，能力尚未达到超级智能的系统仍可能危险。他用不断蔓延的森林大火作比喻：当危险已经显而易见时，等待精确定义可能会浪费时间。Zitron 质疑这个比喻，认为它预设了火灾正在发生；而与 AI 情景不同，人们知道火会怎样造成伤害。McAfee 也不接受社会已经处在 AI“森林大火”中的前提。他们的分歧部分在于定义，更深层的分歧则在于：一个看似合理的风险机制是否已经足够明确，值得采取干预措施。

Soares 把两个问题区分开来：AI 如何变得足够强大以构成威胁，以及系统届时会用什么具体方式导致灾难。他以国际象棋作类比：预测 Magnus Carlsen 会赢，可能比指出他具体会走哪一步将死对手容易。他举出几种可能的机制作为示例：制造病原体、接管机器人工厂，或使用能雇佣真人提供劳务的服务。这些是用于说明风险的情景，不是已经证实的计划，也不是对某一种机制必然发生的预测。开场仍留下核心实证问题：AI 还能变得多强、目前的发展是否会到达那个阶段，以及要有什么证据才能证明某种具体机制很可能发生。

Nate Soares 说，他的担忧始于一个简单观察：周围世界由人类智能塑造，因此比人类更聪明的系统最终也可能塑造世界。他回忆，2012 年自己还在谷歌工作时，谷歌收购了 Google DeepMind；该公司的一个程序可以玩许多款 Atari 游戏。这一展示让他开始思考 AI 会发展到哪里。他说，当时 AI 能力的提升似乎快于研究人员让系统表现良好的能力，这促使他投入 AI 对齐研究。他的叙述解释了他为何早早开始担忧，但不能证明通用智能会以多快的速度到来。

Roman Iampolskiy 认为，人们用“AI”一词指代三种不同技术，导致辩论变得混乱。第一种是帮助人们提高生产力或创造力的狭义软件；他说研究人员对这类工具足够了解，能够控制并确保其安全。第二种是接近人类能力水平的系统，如果被纳入研究流程，可能成为自动化科学家或工程师。第三种是超级智能：在每一种认知任务上都胜过人类，或能够学习新领域的系统。这是 Roman 用来组织讨论的分类，参与者并不同意这三类能否清楚划分。

Roman 担心自动化研究可能形成递归循环：一代 AI 帮助制造下一代 AI。他指出，这种过程并非必然发生，不过他说顶尖实验室预期会引入 AI 研究助手，并希望未来几年启动相应研发循环。如果循环产出一个在认知任务上强得多的系统，他认为人类可能失去控制，因为系统不必憎恨人类，也可能漠视人类利益。他举出一个假设情景：AI 为了提高计算效率而让地球降温。这些场景用于解释他的风险模型，并非已观察到的行为或确定的预测。

Roman 说，目前的安全防护往往是在模型生成回应后再加过滤器，例如屏蔽某些词语或话题。他认为这并不能证明底层系统已经与人类利益对齐。当被问到一个可能已经胜过大多数人的模型能否受到控制时，他说长远来看，人类不可能控制远比自己聪明的东西，不过系统也可能碰巧对人类友善。McAfee 不接受把今天的模型直接视为灭绝威胁；他将其比作能力很强的人类，认为人们可以发现危险行为并关闭系统。双方的分歧不只是当前模型有多少能力，而是当能力继续提升时，人类监督能否一直有效。