高频回听时刻：AI 公司如何让你怀疑自己的判断——Karen Hao
Most Replayed Moment: How AI Companies Are Gaslighting You - Karen Hao
Guests: Karen Hao
Full transcript · Read the full conversation in order, with its original context.
Contents1 chapter
§01文稿——第一部分§01文稿——第一部分
我发现一个很有意思的观察角度，就是看人们的公开表态怎样随着自身利益和动机而变化。我查阅了他们在播客、博客文章等公开场合说过的话，看看这些表态如何随时间演变。达里奥曾是 OpenAI 的研究副总裁，如今转到了 Anthropic；后者采用了一种略有不同的 AI 开发路径。2017 年，他还在 OpenAI 时说过这样一段话。我直接引用：‘最极端的一种担忧，是尼克·博斯特伦式的恐惧，也就是通用人工智能可能毁灭人类。’
‘从原理上说，我看不出有什么理由能排除这种可能。我认为，某件事情在整个人类文明的尺度上发展成真正的灾难，其概率可能在 10% 到 25% 之间。’你还提到了伊利亚，他曾是 OpenAI 的联合创始人，后来离开了。我首先想问：伊利亚为什么离开？这是个很好的问题。他在试图让山姆·奥尔特曼被解雇的行动中起了关键作用。他也是那些逐渐感到自己受到奥尔特曼操纵的人之一：他觉得，自己正被引导着参与某种他并不认同的事业。
你怎么知道的？因为我采访了很多人。对伊利亚来说，有两件事格外重要。第一，确保我们能够实现所谓的 AGI，也就是通用人工智能；第二，确保我们以安全的方式实现它。他觉得奥尔特曼正在主动破坏这两件事。他认为奥尔特曼让公司内部变得非常混乱，挑动各个团队相互对立，还对不同的人说不同的话。
你和他本人聊过吗？聊过。2019 年，我为《麻省理工科技评论》撰写一篇关于 OpenAI 的特写时采访过他。他在 2019 年说过一句话：‘无论如何，未来对 AI 来说都会是好的。如果对人类来说也同样美好，那就更好了。’问题并不是 AI 会主动憎恨人类，或想要伤害人类，而是它会强大得多。我觉得，人类对待动物的方式，就是一个很好的类比。
并不是说我们憎恨动物。我觉得人类喜欢动物，对它们怀有很多感情。可当我们需要在两座城市之间修建一条高速公路时，并不会先征求动物的许可。我们会直接修，因为这对我们很重要。我想，默认情况下，我们与那些真正自主、为自身利益行动的 AI 之间，就会是这样的关系。那是 2019 年说的话，也就是你采访他的那一年。
我觉得，我们需要后退一步，重新审视一个问题：人工智能究竟是什么？我们说的‘智能’又是什么意思？不同人的观点，以及你刚才读到的那些引语，很大程度上都源自他们对这个问题各自持有的特定信念：什么是智能，什么才算构成智能？伊利亚在整个研究生涯中，一直倾向于认为，我们的大脑归根结底就是巨大的统计模型。
这并不是我们已经确切知道的事情，而是他自己的假说。这也是他的导师杰弗里·辛顿的假说，辛顿也上过这档播客。因此，他们才如此坚信应当构建以统计模型为基础的 AI 系统，并相信这种特定路线能够产生像我们一样具有智能的系统。但这只是他们持有的一个假说，还没有被科学证实。
在这一点上，有些人强烈反对他们。但如果你站在他们的角度，接受这个假说，假定它是真的——假定我们的大脑确实是统计引擎，而他们构建的系统也是统计引擎，只要不断扩大，最终就能达到人脑的规模——那么你就能理解，为什么在他们的框架中，把系统与人类智能作比较，并认为系统将达到、甚至可能超越人类智能，是一件有意义的事。
伊利亚曾在一个每年举办、非常重要的 AI 研究会议上作过演讲。会议叫作‘神经信息处理系统大会’，这个名字有点拗口。他在主题演讲中展示过一张图，对照不同物种的大脑大小与智能水平。图上的关系大致是线性的：脑越大，物种就越聪明。因此，对他来说，他认为自己正在构建一个数字大脑，因为他认为大脑本来就只是统计引擎。
按照这套逻辑，如果我们造出一个比人脑更大的统计引擎，那么根据那张图，它就会更聪明。随后，我们就可能遭遇自己曾经施加于动物的那种对待。但有一点非常重要：这只是 AI 研究界某些特定个人的科学假说。至于事实究竟是不是这样，仍然存在非常多的争论。
有些最主要的批评者认为，把大脑仅仅视为统计引擎，是一种过度简化。可我们为什么需要知道它的机制？重要的不就是结果吗？比如，它能为我生成视频，或者智能体能够完成我现在做的工作。我们真的那么需要知道背后的机制吗？需要，也不完全需要。之所以需要，是因为这些公司正在以这个假说为依据，决定自己接下来要采取的行动。
它们已经作出了选择：我们认为这个假说是真的，因此应当不断构建更大、再更大的统计模型，以追求通用人工智能。而这正在造成全球性的后果。为了继续走这条路，它们不断吸纳更多数据，建设更多数据中心，还在利用、剥削越来越多的劳动，来维持这一路径。
我认为，有一个很重要的问题应该提出来：我们为什么要尝试构建能够复制人类能力的 AI 系统？眼下的讨论，似乎已经把这个行业设定的前提当成了一件好事。它们说我们应当构建 AGI，于是我们也跟着说，应当构建 AGI。但我想问：我们为什么要这么做？为什么要构建一种最终以取代人类、把人的工作自动化掉为目标的技术？
这不应当是技术事业的目标。我们当然应当发展技术，但纵观历史，技术的目的应当是改善人类福祉，而不是取代人。那些公司和科学家接受了这个目标，并以巨大的资本和资源不懈追逐它。这正是我批评他们的核心部分：这个目标真的是正确的吗？我们为什么要这样做？
为什么我们不能去构建这样的 AI 系统：加快药物发现，改善人们的医疗结果？这类系统与他们试图通过统计引擎来复制人脑的路线，完全不是一回事。那他们为什么要这么做？你已经采访过这么多人，据我了解，总共大约 300 人，其中有八九十人来自 ChatGPT 的开发者 OpenAI。你认为他们为什么这样做？我认为，是因为他们受到一种帝国式议程的驱动。
这就是为什么我把这些公司称为‘AI 帝国’。‘帝国式议程’是什么意思？这个说法到底指什么？在我找到的所有比喻中，只有‘帝国’能够完整地涵盖这些公司所做事情的各个维度、它们运作的规模，以及驱动它们行动的动机。我所说的 AI 帝国，与昔日的帝国之间有许多相似之处。为了训练模型，它们宣称自己有权使用原本不属于它们的资源。
这些资源包括个人的数据，以及艺术家、作家和创作者的知识产权。它们还在争夺土地，用来建设训练下一代模型所需的超级计算设施。第二，它们利用、剥削了数量惊人的劳动。它们在世界各地，包括美国，雇用数十万名合同工，最终把这些技术做出来。关于这一点，我们可以再详细谈。而且，它们会把工具设计成能够自动化劳动的形式，所以当这些技术投入使用时，也会影响劳动权利，因为它们会侵蚀这些权利。
这是它们作出的一种政治选择。第三，它们垄断知识生产。它们向外传递这样一种观念：只有它们才真正理解这项技术是如何运作的。因此，如果公众不喜欢它，那是因为公众对这项技术懂得还不够。它们这样对待公众，也这样对待政策制定者。而且，大多数致力于理解 AI 局限和能力的科学家，也已经被它们吸纳、掌握。
你认为，从某种意义上说，它们是在对公众进行煤气灯操纵，让公众怀疑自己的判断？是的。假如全球大多数气候科学家都由化石燃料公司出钱资助，你认为我们还能准确了解气候危机吗？不能。同样，AI 行业雇用并资助了世界上大多数 AI 研究人员。它们可以通过一种间接的方式设定 AI 研究议程：把资金导向自己优先关心的事情，于是最终只有某些类型的 AI 研究会被产出。
但当它们不喜欢研究人员的发现时，也会对研究进行审查、压制。我在书中谈到了蒂姆尼特·格布鲁博士的案例。她曾是 Google 伦理 AI 团队的共同负责人，而她当初受聘的工作，恰恰就是批评、审视 Google 正在构建的 AI 系统。后来，她与人合作撰写了一篇批判性研究论文，指出大型语言模型尤其会导致某些类型的有害结果。
为了试图阻止这项研究发表，Google 最终解雇了格布鲁，随后又解雇了团队的另一位共同负责人玛格丽特·米切尔。因此，它们会控制、压制那些不利于帝国议程的研究。这种事情是否也会发生在记者身上，比如那些向它们的团队成员提问的人？我记得看过你的一段视频，里面有个年轻人说，有人来到他家门口，敲门索要资料、电子邮件和短信。
而那个人来自一家大型 AI 公司。这里说的是 OpenAI，它开始向一些批评者发出传票。这看起来像是一场恐吓行动，也像是在撒网搜集更多信息，进一步摸清批评者之间的关系网络。那个被找上门的人经营着一家规模很小的监督型非营利组织。当时，他们做了很多工作，试图质问 OpenAI 从非营利组织转为营利性组织的尝试。
最终，OpenAI 成功完成了这项转变。但在完成转变对于 OpenAI 至关重要的那段时期，有不少公民社会组织和监督团体，比如 Midas，试图防止这个过程在无人知晓的情况下悄然发生。它们努力争取更高的透明度，也希望能有更多公开讨论，因为这是一件前所未有的事。就在那时，有人敲了他的门，向他送达法律文件。
那些文件里说了什么？文件要求他提交自己所有可能涉及马斯克的通信记录。OpenAI 当时有一种奇怪的疑虑，觉得马斯克不知怎么在资助这些人，阻挠这项转变。可他们中没有人真正得到马斯克的资助。所以，在这个具体案例中，他对这项要求的回答只是：我没有任何相关文件，因为这件事根本不存在。回到‘帝国’这一点，你说帝国的一个特征是争夺土地。
接下来是什么？是劳动剥削。劳动剥削。第三是控制知识生产。对于 AI 帝国，还有一点特别值得理解：帝国总会向公众讲述这样一种故事——我们是好的帝国。之所以必须首先成为帝国，是因为世界上还有坏的帝国。如果你们允许我们获取所有这些资源、使用所有这些劳动，我们就承诺，为所有人带来进步和现代化。
我们会把你们带入一种乌托邦式的状态，仿佛 AI 天堂。但如果邪恶的帝国抢先做到，我们就会坠入地狱。那么，这里的邪恶帝国指谁？在当下，多数时候指的是中国。但实际上，在早期，OpenAI 曾把 Google 描绘成那个邪恶的帝国。因此，它当时所有决策都围绕着‘我们必须先做到’：否则，那个由利润驱动的邪恶企业 Google 就会先做到，而我们是善意的非营利组织。这被塑造成了一场非赢不可的关键较量。
你认为，打造这些 AI 公司的人，现在相信最终结果会完全美好吗？他们认为这会服务所有人吗？会迎来一个丰裕时代，一切都顺利发展吗？你觉得他们相信什么？你觉得山姆相信什么？有意思的是，它们为 AI 行业编织的神话中，一个非常核心的部分，恰恰包含了这样一种信念：事情也可能发展得非常糟糕。
这两种说法是相辅相成的。它们需要把这一部分也纳入神话，才能接着说：正因如此，技术必须由我们来掌控，因为只有这样，结果才会真正美好。奥尔特曼曾公开表示，最坏的情况是所有人都完了；但最好的情况是，我们治愈癌症、解决气候变化，实现普遍丰裕。达里奥也采用类似的话语：最坏的情况，是人类遭遇灾难性伤害，甚至生存层面的伤害。
最好的情况，则是人类大规模繁荣。这就像一枚硬币的两面。它们必须同时使用这两种叙事，才能不断为一种极其反民主的 AI 开发方式辩护：这项技术的发展不应当由广泛的公众参与，而必须在每一个环节都由它们来控制。山姆·奥尔特曼曾发过一条推文，说有一些关于 OpenAI 和他本人的书即将出版，而他们只参与了其中两本。
一本是 Kesh Hagee——Keech Hagee 写的，重点是他本人；另一本是 Ashley Vance 写的，内容关于 OpenAI。[上述作者姓名沿用源稿拼写，待核对。] 他接着说，没有一本书能把所有事情都写对，尤其是当有些人如此执意扭曲事实的时候，但这两位作者是在努力写对。你转发并评论了山姆的这条推文，说：那本没有被点名的《AI 帝国》是我写的。你认为山姆·奥尔特曼的那条推文是在指你的书吗？百分之百。因为当时即将出版、关于他的书只有三本。
他已经听说你的书要出版了？他知道，因为我在刚开始做这本书时就联系了 OpenAI，告诉它们：我现在正在写一本书，你们愿意参与吗？事实上，它们最初答应了。说起我与 OpenAI 的过往，我曾为《麻省理工科技评论》写过一篇关于这家公司的特写。2019 年，我在它们办公室里驻点待了三天。那篇文章于 2020 年发表后，管理层很不高兴。
在我的书里，我实际上引用了自己收到的一封邮件，内容是山姆·奥尔特曼就我的那篇特写发给公司内部的话：‘嗯，这不太好。’从那以后，公司对我的态度变成了：我们不会参与你做的任何报道，也不会回应你发来的任何问题。这是它们明确说出来的，并不是我自己推测的。我在《麻省理工科技评论》有一位同事，也负责 AI 报道。
有一次，OpenAI 给他发来一份新闻稿，说很希望他能报道这个故事。他说：我现在很忙，能把它发给 Karen 吗？对方回答：不行，我们和她之间有过一些过往，你懂的。因此，整整三年，它们都拒绝与我沟通。但后来我去了《华尔街日报》。可能因为那毕竟是《华尔街日报》，它们觉得有必要重新打开沟通渠道。于是，我和它们开始有了更多交流。
每次写文章，我都会向它们发送置评请求，也总会问：你们愿意接受采访吗？我们的关系确实变得更有建设性。后来，我开始写那本书，所以离开了《华尔街日报》，全职投入写作。我马上告诉它们：我正在写这本书，希望能继续这种有建设性的沟通，确保在书中反映 OpenAI 的立场。它们当时说，可以为我安排采访。
你可以再来办公室。对，我们会安排一些交谈。但就在双方为此来回沟通时，董事会解雇了山姆·奥尔特曼。从那时起，事情开始恶化，因为公司变得非常敏感，不愿接受审视。于是，它们一再往后拖，拖了又拖。我不停地问：我们什么时候重新安排？到底怎么回事？然后我收到一封邮件，说：我们完全不会参与。
你不能来办公室，也不会有采访。可我其实已经订好机票，原本就要飞去旧金山进行采访了。于是，我告诉它们：没关系，我仍会继续履行这个过程，向你们提供详尽的置评请求。在报道过程中，我会不断告知你们我发现了什么，你们仍然可以选择回应。我给了它们整整 40 页置评请求。
我还给了它们一个多月的时间，来回应所有这些问题。那条推文出现时，我们正这样来回沟通、试图推进这件事。就在那时，奥尔特曼发出了那条推文。最后，它们对这 40 页中的任何一条都没有回应。山姆·奥尔特曼接受了很多采访。是的，他一直在接受采访，几乎上遍了各种播客。我看到他出现在塔克·卡尔森的节目上，我想他也上过 Theo Von、乔·罗根的节目。
世界各地的播客都有他。我想知道，他为什么不肯来我的节目。也许吧，我不知道原因。我觉得自己对每个人都很公平，只会问那些我真正在意的问题，不会带着很强的先入之见去见一个初次见面的人。但我听到一些传闻，说他不想来我的节目。回到你前面谈到的事：OpenAI 和这些公司控制研究，你还问过，它们是否也这样对待记者？
答案是肯定的。而且，看来任何拥有广泛大众传播平台的人，也可能受到这种对待。问题不只是你准备和它们谈什么，也包括你还选择让哪些人登上你的平台。科技新闻界有一个很大的问题：公司知道，它们能给科技记者的一根巨大‘胡萝卜’，就是接近公司和关键人物的采访机会。如果它们听说你在和某个它们不希望你接触的人交谈，就可能马上收回这种机会。
这太真实了。我觉得普通人其实并不真正了解这一点。听你这么说，好像只是一套理论。我不打算点名，因为我认为没必要，但 AI 界有一个人，他的团队基本上把‘他可能来参加节目’这根胡萝卜，吊在我们面前大约 18 个月了。我心想：你们不必这样吊着。我想和谁谈，就会和谁谈，不管有没有这根胡萝卜。
如果这个人愿意来，等他来时，我会给他公平表达的机会。我会出于真正的好奇，询问他在做什么、他的动机是什么，不会给他设陷阱。我也没有靠设陷阱让别人出丑的前科。即使意见不同，我也会提出问题。但它们一直吊着这根胡萝卜，说：他正在考虑，我们可以想想日期。我认为，它们所采取的策略，而且它们觉得大多数人看不出来，就是：只要把希望吊得足够久，对方就会按照我们希望的方式行事。
对方就会对我们客客气气，不会批评我们，不会让我们的批评者发声，也不会让那些人登上平台。我觉得，它们很大一部分玩法，就是永远把胡萝卜吊在那里。是的。对它们而言，最理想的结果就是一直吊着，一直告诉你：我们只是在看日程。这行不通。我认为，在现代世界，你应当直接站出来表达观点，让不同想法在公共空间中交锋。
让观众自己决定他们怎么看。是的，但这在它们的整套运作中占据了很大一部分：它们利用这些手段修饰公司的公众形象，并确保那些它们不希望公开的信息，甚至不愿公开的观点，传播出去。[源稿此句的肯否表达与上下文冲突，待核对。] 因此，现在回想起来，我觉得自己很幸运，OpenAI 很早就向我关上了大门。当时我并不觉得幸运，而是觉得自己把路走坏了。
我当时想：写那篇特写时，我是不是应该对它们更友善一点，好保住采访机会？对记者来说，问出这个问题是很糟糕的，对吧？你应当报道真相，始终为公众利益而报道，这才是新闻工作的意义。但当时，我的职业生涯还处在相对早期的阶段。我甚至想：是不是我误解了新闻工作？我是不是本来就该参与这种交换采访机会的游戏？
但已经来不及了，那扇门已经对我关上。所以，我只能在建立职业生涯时接受一个事实：正门永远不会为我打开。而这实际上极大地增强了我如实表达的能力。保持客观。对，就是报道我所看到、呈现在我面前的事实，不管这家公司喜欢不喜欢。多数时候，公司确实不喜欢，但我仍然可以继续做我的工作。
它们不必为我打开正门。我仍然完成了 300 多次采访。你刚才听到的是往期节目中的一个高频回听片段。如果你想收听那一期的完整版，我已经把链接放在下面了。请查看简介。谢谢。