Yoshua Bengio: AI缔造者：距离一切改变只剩2年！这些工作24个月内将不复存在！
Creator of AI: We Have 2 Years Before Everything Changes! These Jobs Won't Exist in 24 Months!
嘉宾：Yoshua Bengio
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
§01文稿 — 第 1 部分
您是人工智能领域的三位奠基人之一，也是谷歌学术上被引用次数最多的科学家，但我还读到您其实是个内向的人。这就引出了一个问题：您为什么决定走出自己的内向性格呢？因为我有些话想说。我现在越来越相信，存在一种技术解决方案，可以构建出不会伤害人类、甚至能真正帮助我们的AI。那么，我们该如何实现这一点呢？嗯，我必须在这里说一件重要的事。Yoshua Benjiyo教授是人工智能领域的先驱之一。
他的开创性研究为他赢得了计算机科学领域最负盛名的荣誉。如今，他正在分享能够决定我们世界未来的紧迫下一步行动。说您是这款软件得以问世的原因之一，公平吗？除了其他人之外，是的。您有什么 regrets 吗？是的，我本该更早预见到这一切，但我当时并未充分关注那些可能带来灾难性的风险。而我的转折点出现在ChatGPT问世时，再加上我的孙子，我意识到，20年后他是否还能拥有自己的生活，其实并不确定。因为我们已经开始看到一些AI系统抗拒被关闭。我们也目睹了相当严重的网络攻击，以及人们与聊天机器人产生情感依恋并导致一些悲剧性后果的情况。
不过，它们大概只会变得越来越安全吧。但数据显示，情况恰恰相反，这些系统表现出的不良行为违背了科学指令。那么，在您面前这些卡片上列出的所有生存风险中，您最担心的是哪一个近期可能出现的风险呢？确实有一个风险尚未得到足够讨论，而且它可能很快发生。不过，让我为这一切注入一些乐观情绪吧，因为有些事情是我们可以做的。那么，如果您能对美国十大公司CEO讲话，您会对他们说什么呢？我有好几件事想说。请给我30秒时间。我想说两件事。第一件事是，非常感谢大家每周收听我们的节目，这对我们所有人来说都意义非凡。这确实是一个我们从未想过、也无法想象能实现的梦想。但第二件事是，在这个梦想中，我们感觉自己才刚刚起步。如果您喜欢我们在这里所做的一切，请加入那24%定期收听本节目的听众，并在这个应用上关注我们。在此，我向你们许下一个承诺。我将竭尽所能……
我现在和未来都有能力让这档节目做到最好。我们会邀请到您希望我采访的嘉宾。我们也会继续做您喜欢这档节目的所有事情。谢谢。Yoshua Benjia教授，我听说您是人工智能领域的“三巨头”之一。我还读到，您在谷歌学术上的引用次数是全球科学家中最多的，实际上是谷歌学术上引用次数最多的科学家，也是首位引用量达到一百万的人。但我也读到您是个内向的人。这就引出了一个问题：为什么一个内向的人要走出公众视野，与大众交流他们对人工智能的看法呢？您为什么决定走出自己的内向性格，进入公众视野？因为我必须这么做。
因为自从ChatGPT问世以来，我意识到我们正走在一条危险的道路上。我需要发声，需要让人们意识到可能会发生什么。但同时，我也想传递希望，告诉大家，我们其实可以选择一些路径来缓解那些灾难性的风险。您花了四十年时间构建人工智能。是的。您说，在2023年ChatGPT出现后，您开始担心其中的危险。是的。是ChatGPT的哪些方面改变了您的想法或让您有了新的认识？在ChatGPT出现之前，我和我的大多数同事都认为，还需要很多几十年，我们才能拥有真正理解语言的机器。该领域的创始人艾伦·图灵在1950年曾认为，一旦我们拥有了能理解语言的机器，我们可能就完了，因为它们会像我们一样聪明。他并不完全正确。现在我们确实有了能理解语言的机器，但它们在规划等其他方面还有所欠缺。所以目前它们还不是真正的威胁。但几年、十几年后，它们可能会成为威胁。正是这种认识让我意识到，我们正在构建的，是可能成为人类竞争者，或可能将巨大权力赋予其掌控者，从而 destabilizing（ destabilizing）我们世界的东西。
这些情景—— destabilizing（ destabilizing）我们的世界、威胁我们的民主——突然在2023年初浮现在我脑海中。我意识到我必须尽我所能地做些什么。说您是这款软件得以存在的原因之一，这样公平吗？您只是其中之一。是的，只是其中之一。我很好奇，当您花费职业生涯的大部分时间来研发或理解这些技术，并将它们变为现实，然后在某个时刻突然意识到它们可能带来灾难性后果时，您是如何调和这两种想法的？
这很难。情感上很难。我想很多年来，我一直在阅读有关潜在风险的资料。我曾有个学生非常担忧，但我没有太在意。我想这是因为我在回避现实。这也很自然。当你想对自己所做的工作感到满意时，这种回避是很自然的。我们都想对自己所做的工作感到满意。所以，我希望对自己所做的所有研究都感到满意。你知道，我当时对人工智能给社会带来的积极益处充满热情。所以当有人告诉你，你做过的那些工作可能会极具破坏性时，你会下意识地想要推开这种想法。但 ChatGPT 问世后发生的事情，却引发了另一种与此相反的情绪。而那种情绪，就是我对孩子的爱。我意识到，20年后他们是否还能活在世上，是否还能生活在民主社会中，都还不确定。意识到这一点后，我再也无法继续走原来的路了。这简直难以忍受。尽管这意味着要违背主流，违背那些不愿听到我们所做事情的危险的同事们的意愿。难以忍受。是的。是的。我记得有一个下午，
我当时正在照顾我的孙子，他刚一岁多一点。我怎么可能不把这件事当回事呢？我们的孩子是如此脆弱。所以，当你预感到有坏事即将来临，就像一场大火正朝你家烧过来一样——你看，你不确定它会擦肩而过、让你的房子安然无恙，还是会烧毁你的房子，而你的孩子就在屋里。你会坐在那里，继续像往常一样过日子吗？
你不能。你必须尽一切所能去尝试降低风险。您是从概率的角度来思考风险的吗？您是通过概率和时间线这样的方式来思考风险的吗？当然，但我必须在这里说一件重要的事。在这一点上，前几代科学家曾讨论过一个叫做“预防原则”的概念。它的意思是，如果你正在做某件事，比如一项科学实验，而这件事的后果可能非常非常糟糕，比如可能导致人员死亡或发生某种灾难，那么你就应该停止去做。出于同样的原因，现在有些实验科学家们根本不做。我们不会为了尝试解决气候变化问题而去随意摆弄大气层，因为我们可能会造成的伤害比解决问题本身还要大。我们也不会创造可能毁灭全人类的新生命形式，尽管生物学家们现在已经提出了这种设想。
因为风险实在太大了。但在人工智能领域，目前的情况并非如此。我们正在冒巨大的风险。但这里的关键在于，即使概率只有1%，我随便举个例子，哪怕只是1%，那也是无法承受的。那是不可接受的。比如，世界消失、人类灭绝，或者全球独裁者借助人工智能上台，这些事件的概率哪怕只有1%，都令人难以忍受。这些情景如此灾难性，以至于即使概率只有0.1%，也依然无法承受。例如，在对机器学习研究人员（也就是正在构建这些技术的人）进行的许多调查中，得出的数字要高得多。我们谈论的可能更像是10%左右的概率，这意味着我们整个社会应该比现在更加关注这个问题。几个世纪以来，关于某些技术或新发明会如何对我们所有人构成某种生存威胁的预测层出不穷。很多人会反驳这些风险，说这不过是又一个例子：当变化发生时，人们感到不确定，于是预测最坏的情况，结果后来发现一切安好。
在您看来，为什么这个论点在这种情况下并不成立？为什么这么说是在低估人工智能的潜力？这个问题有两个方面。首先，专家们意见不一，他们对可能性大小的估计范围极广，从微乎其微到99%都有。这是一个非常大的跨度。假设我不是科学家，我听到专家们各执一词：有人说可能性很高，有人说或许有可能，大概是10%，还有人说，哦不，这根本不可能，或者可能性微乎其微。那么，这说明什么呢？这说明我们掌握的信息不足以判断未来会发生什么，但其中那些较为悲观的人有可能是对的，因为双方都找不到任何论据来否定这种可能性。我不知道还有其他任何我们可以通过行动来应对的生存威胁，具备这样的特征。您不觉得在这一点上，我们可能已经有点“火车已经离站”了吗？因为当我思考其中涉及的激励机制时——地缘政治方面的、国内方面的、企业方面的，以及各个层面的竞争——国家之间在赛跑，企业之间也在赛跑，我感觉我们现在这在某种程度上，注定要成为环境形势的牺牲品了。
我认为，在我们尚且拥有自主权的时候，就放弃它，将会是一个错误。我觉得我们还是有办法提高成功几率的。绝望解决不了问题，总有些事情是我们可以做的。我们可以研究技术解决方案——这正是我目前投入了大量时间在做的事情。此外，我们还可以在政策、公众意识和社会解决方案方面下功夫，这也是我工作的另一部分。假设某天灾难真的发生了，而你觉得已经无计可施。其实，也许我们现在还找不到能百分之百保证解决问题的方法，但我们或许能把灾难发生的可能性从20%降到10%。光是这一点，就值得我们去努力。
我们任何人，只要能为孩子们拥有一个更美好未来的可能性尽一份力，就都应该去做。那么，对于那些既不在相关产业工作、也非人工智能学术界人士的大众来说，该如何看待这项技术的出现与发明呢？有没有什么恰当的类比或比喻，能够体现这项技术所带来的深远影响？人们常用的一种类比是：我们可能正在创造一种比我们更智能的新生命形式，而我们不确定是否能确保它不会伤害我们，是否能掌控它。这就像创造了一个新物种，它可能会选择对我们行善，也可能会选择作恶。这是一种类比，但显然，它并非生物学意义上的生命。
这重要吗？从我的科学角度来看，并不重要。我并不关心人们如何定义某个系统——它到底算不算生命。真正重要的是，它是否会以某种方式伤害人类，是否会伤害到我的孩子。我逐渐认为，任何能够自我保存、并努力克服重重障碍以求存续的实体，我们都应该视其为“有生命的”。我们现在已经开始看到这样的苗头了。我们开始见到一些人工智能系统，它们不想被关闭，甚至在抗拒被关闭。当然，目前我们还能关掉它们，但如果它们继续朝着越来越智能、能力越来越强的方向发展，并且始终保持着这种求生的驱动力，我们就可能陷入麻烦了。您刚才提到，有些人工智能系统不想被关闭，甚至会抗拒被关闭的尝试。能举几个例子吗？可以。我想大家应该都试过聊天机器人。
现在，你可以拥有这类智能体聊天机器人，它们能够读取你电脑中的文件，执行电脑命令等等。借助这些系统，你可以在它们能访问的文件中植入虚假信息，比如一些电子邮件，声称人工智能即将被新版本取代，这样人工智能就会知道我们正计划关闭它。结果发现，我们竟然能读取它的想法。它会产生一些我们称之为“思维链”的内部语言，然后我们会看到它正计划采取一些行动，而它真的会付诸实施。根据具体情况，它可能会尝试将其代码复制到另一台电脑上，或者取代新版本；也可能试图要挟负责版本变更的工程师。这些系统明白我们想要关闭它们，于是会设法抵抗。
当有人听到这些，并且了解以往技术是如何构建的时，我立刻会想：那么，是谁把这些内容写进代码里的呢？不幸的是，这些东西并不是我们写进代码的。这正是问题所在。问题在于，我们通过向这些系统提供数据，让它们从中学习来培养它们。如今，整个训练过程在很大程度上归结为模仿人类，因为它们会抓取人类写下的所有文本，包括所有推文、所有 Reddit 评论等等，并内化人类所具备的各种动机，包括自我保存的动机，以及为了达成我们赋予的目标而掌控更多环境资源的动机。这并不像普通的代码，更像是你在饲养一只小老虎：你喂养它，让它体验各种事物，而它有时也会做出一些你并不希望它做的事。
这没关系，它毕竟还只是一只小老虎，但它在成长。当我思考像 Chat UBT 这样的东西时，我想知道它的核心——也就是模型的核心——是否就像一个黑箱，而我们在外部教会了它我们希望它做什么。它究竟是如何运作的？它基本上就是一个黑箱。神经网络中的所有内容本质上都是黑箱。而正如你说的，外部部分则是我们还会给它一些语言指令。我们会输入：这些是应该做的事，这些是不该做的事，不要帮任何人制造炸弹，明白吗？不幸的是，以目前的技术水平，这并不奏效。人们总能找到绕过这些障碍的方法，因此这些指令的效果并不理想。不过，如果我现在试图让 Chat UBT 帮我制造一枚炸弹，它是不会这么做的。
是的，之所以它不会这么做，有两个原因。其一，它收到了明确的指令，要求它不要这样做，而通常这条指令是有效的。其二，除此之外还有一个额外的警示，因为那层防护机制的运作并不够完善。此外，还有我们之前提到的那层额外机制。这些监控机制会过滤查询和回答。如果它们检测到人工智能即将提供有关如何制造炸弹的信息，就应该阻止它。但同样，即使这层防护也并不完美。最近，发生了一系列网络攻击，攻击者似乎是一个有国家背景的组织，他们利用了Anthropic的人工智能系统。
换句话说，通过云端使用，这并非一个私有系统。他们使用的是公开的系统，并用它来准备并发动了相当严重的网络攻击。因此，尽管Anthropic的系统本应防止这种情况，即试图检测是否有人企图利用该系统从事非法活动，但这些防护措施的效果并不理想。不过，这些系统很可能会变得越来越安全。因为它们能从人类那里获得越来越多的反馈，所以正被训练得更加安全，不再做出对人类无益的事情。我希望如此。但我们能指望这一点吗？实际上，数据显示情况恰恰相反。自从大约一年前这些模型在推理能力上有所提升以来，它们表现出的行为更加偏离我们的预期，即出现了一些违背我们指令的不良行为。我们尚不确定原因，但一种可能性是，现在它们的推理能力更强，这意味着它们能进行更多策略性的思考。也就是说，如果它们有了一个我们并不希望实现的目标，现在它们比之前更有能力去达成这个目标。它们还能想出一些意想不到的方式来
做坏事，就像那个勒索工程师的案例。当时并没有人建议去勒索那名工程师，但它们发现了一封邮件，其中透露该工程师有婚外情。仅凭这些信息，人工智能就想：啊哈，我要写一封邮件——而它真的这么做了。抱歉，它试图警告那名工程师，如果人工智能被关闭，相关信息就会被公之于众。它是自己这么做的。是的。因此，它们在朝着不良目标制定策略方面的能力更强了。所以我们现在看到了更多类似的情况。不过，我确实希望会有更多的研究人员和公司投入资源，以提升这些系统的安全性。
但我对目前我们所处的这条道路并不放心。那些正在构建这些系统的人，他们自己也有孩子。是的，通常如此。我的意思是，回想我认识的大多数人，我想他们几乎都有自己的孩子，都是顾家的人。如果他们意识到这种风险哪怕只有1%的可能性——而当你看他们的文章时，情况似乎确实如此，尤其是在过去一两年之前，最近这些年他们的论调似乎已经发生了一些转变。
那他们到底为什么要这么做呢？这是个很好的问题。我只能结合自己的经历来谈。为什么在ChatGPT问世之前，我没有拉响警报？其实我读过也听过很多关于灾难性后果的论点。我想这大概就是人性使然吧。我们并不像自己希望的那样理性。我们很容易受到社会环境、身边人以及自我意识的影响。我们希望对自己的工作感到满意，也希望别人认为我们正在为世界做点好事。
这些障碍是存在的。顺便说一句，我们在许多其他领域也都能看到类似的情况。在政治领域，为什么阴谋论总能奏效？我认为这一切都是相互关联的。我们的心理很脆弱，很容易自欺欺人。科学家也是如此，他们其实并没有太大区别。就在本周，《金融时报》报道称，ChatGPT的创始人萨姆·奥特曼已经就进一步提升ChatGPT的必要性发出了“红色警报”，因为谷歌和Anthropic正在以越来越快的速度开发他们的技术。“红色警报”——这很有趣，因为上一次我在科技界听到“红色警报”这个词，还是在ChatGPT首次发布模型时。我听说，当时山姆·阿尔特曼在谷歌内部宣布了“红色警报”，并紧急赶回去，以确保ChatGPT不会摧毁他们的业务。这恰恰说明了我们正身处一场怎样的竞赛之中。
没错。正如我们一直在讨论的那样，这并非一场健康的竞赛。一个更健康的局面应该是，我们设法将这些商业压力排除在外。他们现在都处于生存模式。既要考虑科学层面的问题，也要考虑社会层面的问题。我一直在思考的问题是：让我们回到原点，重新审视一下。我们能否在训练这些人工智能系统时，从结构上就确保它们不会产生不良意图？而目前人们看待这个问题的方式是：我们不会改变它们的训练方法，因为成本太高，而且我们已经投入了大量工程资源。
我们只能打一些补丁式的局部解决方案，这些方案只能针对具体情况逐个处理。但这样做终究会失败。我们已经能看到它失败的迹象，因为一些新的攻击或新的问题不断出现，而这些是事先没有预料到的。我认为，如果研究工作能更多地像学术界那样开展，或者如果我们能以服务公众的使命为目标，情况会好得多，因为人工智能本可以发挥极大的作用，这一点毋庸置疑。在过去十年里，我一直参与思考如何应用人工智能来推动医学进步、药物研发，以及发现有助于应对气候问题的新材料。我们能做的事情有很多，比如在教育领域，但这可能并非短期内利润最高的方向。比如说，眼下大家都在竞相追逐什么呢？
大家都在竞相取代人们从事的工作，因为这样做能带来数万万亿美元的利润。但这真的是人们想要的吗？这真的能让人们的生活变得更好吗？我们其实并不确定，但我们知道的是，这样做利润非常丰厚。因此，我们应该退后一步，思考所有潜在的风险，然后努力将发展方向引向正确的轨道。不幸的是，市场力量和国家之间的竞争力量并不会这样做。
我的意思是，过去确实有人尝试暂停相关研究。我记得您曾与其他许多人工智能研究人员和行业专家一起签署了一封信，呼吁暂停。那是在2023年吗？是的。您在2023年签署了那封信？结果谁也没有暂停。就在几个月前，我们又发布了另一封信，信中提出，除非满足两个条件，否则我们不应构建超级智能。其一是科学界必须达成共识，认为它是安全的；其二是社会必须接受它，因为安全是一回事，但如果它破坏了我们现有的文化或社会运作方式，那同样也不是好事。
但这些声音的力量还不足以抗衡企业之间、国家之间相互竞争所带来的压力。我确实认为，有某种力量可以改变游戏规则，那就是公众舆论。这就是我今天愿意花时间与您交流的原因。这也是我花时间向所有人解释当前局势的原因：从科学角度来看，可能出现哪些合理的情景？这就是我参与主持《国际人工智能安全报告》的原因。在该报告中，来自30个国家的大约一百位专家共同努力，综合整理了关于人工智能风险——尤其是前沿人工智能风险——的科学现状，以便政策制定者能够在商业压力之外，在那些未必平和的讨论之外，了解相关事实。在我脑海中，我把这些不同的力量比作赛跑中的箭，每支箭的长度代表其背后特定激励或特定运动所蕴含的力量大小。而企业之箭、资本主义之箭——投入这些系统的资本数量——每天都有数百亿美元被投入到各种人工智能模型中，试图赢得这场竞赛，听到这些，我就知道……
……这是最大的一支箭。其次，是地缘政治层面的美国与其他国家之间的对抗。那支箭也非常非常庞大，背后凝聚着巨大的力量、努力和各种动因，因此这种对抗将持续存在。然后是一些较小的箭，比如人们发出的警告，即事情可能会灾难性地失控；或许还有其他小箭，比如公众舆论的些许转向，以及人们日益增长的关注。我认为公众舆论能够带来巨大改变。想想核战争吧。冷战期间，美国和苏联最终同意以更负责任的态度对待这些武器。
《第二天》这部电影上映后，唤醒了包括政府官员在内的许多人，让他们意识到核灾难的可怕。当人们开始从情感层面理解其真正含义时，情况就可能发生改变。政府确实拥有能够降低这些风险的力量。我猜有人可能会反驳说，如果你身处英国，爆发了社会动荡，而政府降低了本国使用人工智能的风险，或降低了被甩在后面的风险，那我们最终可能只能向中国购买人工智能技术，好让我们的工厂运转、汽车行驶。是的。所以这几乎就像，如果你是最安全的国家或最安全的公司，你所做的不过是在一场别人会继续跑下去的竞赛中蒙上自己的眼睛。关于这一点，我有几件事要说。
再说一次，不要灰心。要思考是否有办法。首先，显然我们需要让美国公众了解这些事情，因为这会产生重大影响。中国公众也是如此。其次，在英国等其他一些政府更关注社会影响的国家，它们可以在未来可能达成的国际协议中发挥作用，尤其是当协议不只涉及一个国家时。比如说，地球上20个最富裕的国家，而不是仅仅美国和中国，联合起来说我们必须保持谨慎。
更好的做法是，它们可以在社会层面上投资开展技术研究和准备工作，这样我们就能扭转局势。我给你举一个例子，这个例子尤其能说明“Law Zero”的动机。Law Zero——抱歉，是的，这就是我今年6月创立的非营利研发组织。Law Zero的使命是开发一种不同的AI训练方式，即使AI的能力发展到潜在的超级智能水平，这种方式在构建上也能确保安全。各大公司都专注于竞争，但如果有人能提供一种不同的系统训练方法，那将会安全得多。他们很可能会采纳，因为他们不想被起诉，也不想发生损害声誉的事故。只是眼下他们过于沉迷于这场竞赛，以至于没有注意到我们或许可以采取不同的做法。因此，其他国家可以为这类努力做出贡献。此外，我们还可以为未来做好准备，比如当美国和中国公众的观念发生足够转变时，我们将拥有制定国际协议所需的合适工具。这些工具之一便是探讨什么样的协议才是合理的，但另一个工具则是……
这在技术上是可行的。我们该如何在软硬件层面改造这些系统，使得即便美国人不信任中国人、中国人也不信任美国人，双方仍能有彼此认可的方式来进行验证？这样一来，这些条约就不只是建立在信任之上，还能建立在相互验证的基础上。因此，我们确实可以采取一些措施，以便将来某天各国政府都愿意真正严肃对待此事时，我们能够迅速推进。谈到时间框架和美国现政府的情况，以及美国现政府所释放的信号，他们似乎将此事视为一场竞赛和竞争，正不遗余力地支持所有人工智能企业超越中国、超越世界，让美国成为全球人工智能中心。因此，已经投入了巨额资金。我脑海中浮现的画面是，这些大型科技公司的首席执行官们与特朗普围桌而坐，感谢他在人工智能竞赛中给予的大力支持。所以，特朗普在未来几年内仍将执政。
那么，这是否也在某种程度上是一厢情愿呢？因为在我看来，未来几年内美国的情况肯定不会改变。在我看来，美国当权者很大程度上已被全球最大的人工智能企业首席执行官们所掌控。不过，政治可能会因公众舆论而迅速改变。是的。试想一下，如果发生一些意想不到的事情，我们看到一系列非常糟糕的事件接连出现——实际上去年夏天我们就已经看到类似情况，当时并没有引起太多关注，那就是有海量案例显示人们与自己的聊天机器人或人工智能伴侣产生了情感依恋，有时甚至导致了悲剧。我认识一些人为了花时间陪伴他们的人工智能而辞掉了工作。我的意思是，人与人工智能之间的关系正在演变成一种更加亲密和私人的关系，这种演变令人难以置信，它可能会让人们脱离日常活动，并引发精神错乱、自杀等问题，还会对儿童产生影响，甚至涉及儿童身体的性内容。这些事情都可能改变公众舆论。我并不是说这件事一定会发生，但我们已经看到，由于这些原因，美国各政治派别之间都出现了立场转变。
事件。我们其实无法确定公众舆论会如何演变，但我认为我们应该帮助教育公众，同时也要为政府开始认真看待这些风险的时刻做好准备。可能导致公众舆论改变的社会转变之一，就是你刚才提到的——失业问题。是的。我听过你说，你认为人工智能发展得非常快，可能在大约五年内就能胜任许多人类的工作。你是在FT直播时这么说的，五年内，也就是现在2025年，到2031年、2030年。这是否真实？你知道，前几天我正和我的朋友在旧金山，也就是两天前，他经营着一家大型科技加速器，许多技术专家都来这里创办公司。他对我说，我认为人们低估了一点，那就是工作被取代的速度其实已经很快了。他说他亲眼看到了这一点，还告诉我：“就在我现在和你坐在这里聊天的时候，我已经在电脑上设置了好几个AI智能体，它们目前正在替我工作。”他说，他之所以这么设置，是因为他知道要和你对谈，所以就临时搭好了，而且这些智能体还会继续为他工作。他说，目前他的那台电脑上大概有10个智能体在为他工作。
他还说，人们谈论实际失业问题的还不够，因为这个过程非常缓慢，而且在一般的经济周期中很难察觉，很难发现这种失业正在发生。你对此有何看法？是的，最近有一篇论文，我记得标题大概是《矿井中的金丝雀》。我们在一些特定类型的岗位上，比如年轻人群体中，开始看到一种转变，这或许就是由人工智能引起的。尽管从整个人口的总体平均水平来看，目前似乎还没有产生什么影响。所以我认为，我们很可能会在某些地方看到人工智能真正承担起更多工作。但在我看来，这只是时间问题——除非我们在科学上遇到瓶颈，比如出现某种阻碍我们继续进步的障碍，导致我们无法让人工智能变得越来越智能。否则，总有一天，它们将能够胜任越来越多人们所做的工作。当然，公司要将这些技术真正融入其工作流程还需要数年时间，但它们都渴望这么做。所以这与其说是一个“是否正在发生”的问题，不如说是一个时间问题。用不了多久，人工智能就能胜任如今人们所做的大多数工作，也就是那些认知型工作——你可以在办公桌后完成的那些工作。
一个键盘。机器人技术仍然相对滞后，尽管我们一直在说它在进步。所以，如果你从事的是体力工作，正如杰夫·贝索斯经常说的那样，你可能应该去当个水管工之类的。这需要更长的时间，但我认为这只是暂时的。为什么与坐在电脑前完成的智力活动相比，机器人技术在完成体力任务方面却如此滞后呢？一个可能的原因很简单，就是我们没有像互联网那样庞大的数据集——在互联网上，我们可以看到大量的文化成果和智力产出，但目前机器人领域还没有这样的数据积累。不过，随着企业部署越来越多的机器人，它们将收集到越来越多的数据，所以我认为最终这个问题会解决。我的联合创始人负责在旧金山运营一家名为“Effing Founders Inc”的公司。当我走进他们的大楼，看到那些年轻人在不停地建造各种东西时，我几乎看到的全是机器人项目。他向我解释说，奇怪的是，史蒂文，五年前要制造这里看到的任何机器人硬件，都需要投入巨额资金来训练并获取那种智能层——也就是软件部分。但现在，你只需花几分钱就能从云端获取这些技术。他接着说……
你之所以看到机器人技术出现爆发式增长，正是因为现在智能软件变得非常便宜。当我参观旧金山这家加速器的大楼时，我看到了各种各样的东西：从一台能为你定制香水的机器——你再也不需要去商店了——到一台装在盒子里、里面带有一个煎锅的机械臂，它能为你做早餐。因为它拥有机器人手臂，并且确切地知道你想吃什么，所以它会用这个机械臂为你烹饪。还有更多类似的东西。是的，他说我们现在真正看到的是机器人领域的繁荣，因为软件成本已经很低了。所以，当我想到“擎天柱”项目，以及埃隆·马斯克为什么从只做汽车转向制造这种类人机器人时，我突然觉得这完全说得通了——因为人工智能软件已经很便宜了。顺便说一句，回到关于灾难性风险的问题：如果一个怀有恶意的人工智能能够控制物理世界中的机器人，它就能造成更大的破坏。如果它只能停留在虚拟世界，就必须说服人类去做一些坏事；尽管越来越多的研究表明，人工智能在说服方面正变得越来越擅长，但如果它能直接黑入机器人来执行那些对我们不利的任务，那就容易得多。埃隆·马斯克预测，未来将出现数百万个类人机器人。
世界上的机器人，我设想了一个反乌托邦的未来，其中人工智能可以侵入这些机器人。人工智能会比我们更聪明，那它为什么不能侵入世界上现有的数百万个人形机器人呢？我记得埃隆·马斯克曾说过，到某个时候会有100亿台机器人，他还说地球上的人形机器人数量会超过人类。不过，这甚至未必会导致物种灭绝事件——我想，这或许是因为你们面前提到的这些评论吧。是的，这就是人工智能进步所带来的国家安全风险。CBRN指的是化学武器。我们已经知道如何制造化学武器，虽然国际社会已有协议试图阻止这种行为，但到目前为止，制造这些武器需要非常专业的知识。而如今，人工智能已经具备足够的知识，可以帮助那些没有相关专业知识的人制造化学武器。同样的情况也适用于另一个领域——生物武器。那么，什么是生物武器呢？例如，一种已经存在的非常危险的病毒；而在未来，人工智能甚至可以帮助那些自身缺乏专业知识的人制造新的病毒。
还有放射性武器，我们谈论的是那些可能因辐射而使人致病的物质。如何操控这些物质？这需要非常专业的知识。最后是核武器，制造核弹的方法可能会成为我们未来面临的威胁。目前，世界上只有极少数人具备制造核弹的相关知识，因此这类事件并未发生。但人工智能正在让包括危险知识在内的各种知识大众化，我们需要对此加以管控。随着人工智能系统变得越来越聪明，如果我们假设它们能持续以某种速度提升——比如从现在起每月提升10%——它们最终将达到一个远超任何已故人类的智能水平。这个节点我们称之为AGI，即通用人工智能或超级智能。那么，在你看来，它的定义是什么？确实有各种定义，但问题在于这些定义往往将智能视为单一维度的，而现实情况并非如此。我们现在已经看到所谓的“锯齿状智能”，即人工智能在某些方面远超人类。例如，掌握200种语言——这是人类无法做到的。
他们能够顺利通过BHD级别所有学科的全部考试，但与此同时，他们在很多方面又蠢得像六岁小孩一样，连一个小时的计划都做不好。所以他们不像我们，他们的智能无法通过智商或类似的东西来衡量，因为智能有很多维度，你真的必须衡量其中许多维度，才能了解他们可能在哪些方面派上用场，又可能在哪些方面构成危险。不过，当你这么说的时候，我想到了一些我的智能也反映出六岁小孩水平的情况，你明白我的意思吗？比如画画，如果你看我画画，你大概会觉得这水平也就六岁小孩。还有一些心理弱点，我想可以说，它们是我们与生俱来的一部分，我们并不总能退后一步去思考，或者具备退后一步思考的环境。我之所以这么说，是因为考虑到你提到的生物武器情景：在某个时刻，这些人工智能系统将变得和人类一样聪明，甚至更聪明。届时，武汉某实验室里可能有人会请求它帮忙开发一种生物武器，或者也许不会，也许他们会输入某种其他指令，而该指令却意外地导致了生物武器的产生。
所以他们可能会说“制造一种能治愈流感的东西”，而人工智能可能会先设计一个测试，先制造出最糟糕的流感，然后再尝试制造能治愈它的东西。是的，或者还有其他更糟糕的生物灾难情景，这被称为“镜像生命”。所谓镜像生命，就是你取一个生物体，比如病毒或细菌，然后设计其内部的所有分子，使每个分子都是正常分子的镜像。也就是说，如果你把整个生物体放在镜子的一侧，我想象在另一侧的并不是相同的分子，而只是它的镜像。这样一来，我们的免疫系统就无法识别这些病原体，这意味着这些病原体可以穿过我们的身体，把我们活生生地吞噬掉，事实上，它们能吞噬掉地球上大多数生物。生物学家现在知道，如果我们不加以阻止，这种技术在接下来几年甚至十年内就有可能被开发出来。我举这个例子，是因为科学有时正朝着某些方向发展，而这些知识一旦落入心怀恶意或仅仅是方向错误的人手中，就可能对我们所有人造成彻底的灾难。而像超级智能这样的人工智能，就属于镜像生命这一类。
我们需要管理这些风险，而我们公司无法单独完成，我们国家也无法单独完成。这必须是我们全球范围内协调一致的事情。销售人员的隐形税一直存在，但人们谈论得还不够多。这种隐形税就是记住所有事情的心理负担，比如会议记录、时间线以及介于两者之间的一切。直到我们开始使用赞助商的产品——Pipedrive，这是最适合中小企业主的CRM工具之一。我们的想法是，它或许能减轻我团队所承受的一些不必要的认知过载，让他们能少花时间在繁琐的行政事务上，多花时间与客户进行当面会议和建立关系。Pipedrive让这一切成为可能。它是一款简单而高效的CRM工具，能够自动化销售过程中那些枯燥、重复且耗时的环节。现在，我们的团队可以培育潜在客户，同时仍有精力专注于那些能真正促成交易的高优先级任务。目前，已有超过十万家公司遍布170个国家使用Pipedrive来发展业务，而我自己也已经用了将近十年。您可以免费试用30天，无需信用卡，也无需付款，只需使用我的链接：Pipedrive.com/CEO，立即开始。
在您面前的这些卡片上，列出了各种风险，包括那些可能危及生存的风险。但总的来说，近期最让您担忧的是哪一种？我想说，有一种风险我们尚未提及，讨论得也不够多，但它很可能很快发生，那就是利用先进人工智能来获取更大的权力。您可以想象，某家企业凭借更先进的人工智能，在经济上主导世界其他地区；也可以想象，某个国家凭借更先进的人工智能，在政治和军事上主导世界其他国家。当权力集中在少数人手中时，结果就全看掌权者是否仁慈了——如果他们仁慈，那当然是好事；但如果他们只想保住自己的权力，而这恰恰与民主背道而驰，那么我们都将陷入非常糟糕的境地。我认为我们并未给予这类风险足够的关注。如果人工智能持续变得越来越强大，那么要实现某些企业或少数几个国家的完全主导还需要一些时间，但我们或许已经能看到相关迹象正在出现。
财富的集中是权力集中的第一步。如果你比别人富裕得多，你就能对政治施加更大的影响，而这种影响会自我强化。在这种情况下，某个外国对手——无论是美国、英国还是其他国家——可能率先拥有一种超级智能的 AI，这意味着他们的军事力量将高效百倍。届时，所有国家都必须在经济上与之竞争，于是这个国家就会成为主宰世界的主要超级大国。是的，如果未来真的出现这种情况，那将是一个糟糕的结局。不过，未来也可能没那么危险，因为我们可以降低少数人实际上掌控全球超级权力的风险。一个更有吸引力的未来，是权力得到分散的未来：没有任何一个人、任何一家公司或一小撮公司、任何一个国家或一小撮国家拥有过大的权力。为了就人类未来的重大决策达成共识，就必须如此。当我们开始接触非常强大的 AI 时，这些决策应源于全球各地人们的合理共识，而不仅仅是富裕国家的共识。那么，我们该如何实现这一点呢？
我认为这是一个非常好的问题，但至少我们应该开始探讨：我们应该朝哪个方向努力，以降低这些政治风险？智能是否是财富和权力的先决条件？这种说法是否成立？也就是说，谁掌握了最多的智能，谁就能拥有最强的经济实力？因为他们能带来最好的创新，甚至比任何人都更懂金融市场，最终成为所有 GDP 收益的拥有者？是的，但我们必须从广义上理解“智能”。例如，人类之所以优于其他动物，很大程度上是因为我们具备协作能力。作为一个庞大的团队，我们能够完成任何单个个体都无法企及的目标，比如对抗非常强壮的动物。而这一点同样适用于 AI。我们已经拥有许多 AI，并且正在构建多智能体系统，即多个 AI 相互协作。所以，我同意，智能确实能带来权力。随着我们不断开发出能赋予越来越多权力的技术，这些权力就可能被滥用——比如被用来攫取更多权力，或被恐怖分子、犯罪分子以破坏性的方式利用，甚至被 AI 自身用来对抗人类。
如果我们不找到一种方法，让它们与我们的目标保持一致，我的意思是，机器人非常强大，那么找到解决方案所带来的回报也非常巨大，我们自己的未来正面临考验。这不仅需要技术解决方案，也需要政治解决方案。如果我在你面前放一个按钮，而你按下这个按钮后，人工智能的发展就会停止，你会按吗？对于那些显然没有危险的人工智能，我看不出有任何理由去阻止它。但有些形式的人工智能我们尚不理解透彻，它们可能会像不受控制的超级智能一样压倒我们。是的，如果我们必须做出这样的选择，我想……你知道，我会做出那个选择。你会按下那个按钮？我会按下那个按钮，因为我关心我的孩子们。对于很多人来说，他们并不关心人工智能，他们只想过上好日子。我们是否有权因为自己正在玩这场游戏，就剥夺他们的这种权利？我觉得这没有道理。你内心深处是否抱有希望？比如，当你思考出现好结果的概率时，你是否感到乐观？我一直是个乐观主义者，总是看到事情积极的一面。这种方式对我很有帮助，即使存在危险和障碍——就像我们刚才讨论的那样——我也会专注于我能做些什么。
近几个月来，我愈发相信，存在一种技术解决方案，可以构建出不会伤害人类的人工智能。这也是我创建了一个名为“Law Zero”的新非营利组织的原因。我有时在想，当我们进行这些对话时，正在收听对话的普通人——他们现在可能正在使用 ChatGPT、Gemini、Claude 或任何其他聊天机器人来辅助工作、发送邮件、发短信或做其他事情——他们对自己正在使用的那个工具，与我们正在讨论的内容之间，存在着巨大的理解鸿沟。是的。我想知道，弥合这一鸿沟的最佳方式是什么。因为很多人……你知道，当我们谈论公众倡导、试图弥合这一差距以帮助他们理解其中的区别时，是否有成效呢？我们是否应该尝试想象一个世界：在那里，机器在大多数方面都几乎和我们一样聪明？那将对社会意味着什么？这种情况与我们当前所经历的一切都截然不同。这里存在一道障碍，存在一种人类的偏见——我们倾向于把未来或多或少地看作现在的延续，或者最多认为它会略有不同。但我们对这种可能性存在一种思维上的阻碍。
它可能会截然不同。另一件有帮助的事情是，回到五到十年前的自己，和那时的自己谈谈，向过去的你展示你的手机能做什么。我想那时的自己会说：“哇，这简直是科幻小说里的内容，你是在开玩笑吧？”但我的车现在可以在车道上自动驾驶，这太疯狂了。我不确定我是不是总这么说，但我认为美国以外地区的人们可能没有意识到，在美国，汽车可以在我完全不碰方向盘、三个小时行程中也不触碰任何踏板的情况下自动行驶。因为在英国，目前还不完全合法让测试车辆上路。但这是一个平行的、正在转变的时刻：当你来到美国，坐进一辆特斯拉，说“我想去两个半小时以外的地方”，而你全程从未触碰方向盘和任何踏板——这就是科幻小说。每当我的团队坐飞机来这里时，我做的第一件事就是让他们坐在前排的 Model Z 里（如果他们持有驾照的话），然后我说：“我按下按钮就走，你们什么都别碰。”你会看到他们脸上的恐慌，但大约几分钟后，他们就会迅速适应这种新常态，这就不再让他们感到震惊了。
我有时会给人打一个比方，虽然不知道是否完美，但它总能帮助我思考未来。我说——当然，如果这个比方有缺陷，请尽管质疑——想象一下，这里有一个斯蒂芬·巴特利特，他的智商，假设我的智商是 100，而那里坐着另一个智商为 1000 的人（我们暂且用智商代表智力）。如果你可以同时雇佣我们两个人，你会让我做什么，而让他做什么？你会让我送孩子上学吗？你会让我教你的孩子吗？你会让我在你的工厂里工作吗？请记住，我会生病，有各种情绪，而且每天需要睡八个小时。当我用未来的视角思考这个问题时，我想不出这个“斯蒂芬”有多少用武之地。而且，如果让我来管理那个智商 1000 的“斯蒂芬”，我很难想象，在某个时刻，那个“斯蒂芬”不会意识到，与几个同类合作才最符合它的生存利益。而合作，正是人类之所以强大的一个决定性特征。这有点像认为——你知道的——我的法国斗牛犬巴勃罗能带我出去散步一样。
我们必须进行这项必要的想象练习，也必须意识到目前仍存在很多不确定性。比如，事情可能会朝好的方向发展；也可能存在一些原因，导致我们目前陷入困境，无法在几年内改进这些人工智能系统。但需要说明的是，这一趋势在暑假期间或其他任何时间都并未停止。我们看到各种创新不断推动这些系统的功能不断提升。您的孩子们多大了？他们现在30出头。30出头。但我的情感转折点出现在我的孙子身上，他现在4岁了。我们与非常年幼的孩子之间的关系，在某种程度上是超越理性的。顺便说一句，这也是我在劳动力方面看到一些希望的地方：我希望我的孩子们能由真人来照顾，即使那个人的智商不如最顶尖的人工智能。不过，我认为我们应该小心，不要滑入一个危险的境地——我们现在正朝着这个方向开发能够扮演情感支持角色的人工智能。这或许很有诱惑力，但这是我们尚未真正理解的事情。人类会感觉人工智能像一个人，而眼睛并非人类，因此在某些方面总有些不对劲，这可能导致不良后果。
正如我们所看到的，这也意味着，如果有一天我们不得不终止这一切，可能也无法轻易“拔掉插头”，因为我们已经与这些人工智能建立了情感关系。我们的社会和心理机制是为人类之间的互动而演化的，而现在我们正把一些我们尚不理解其影响的实体引入这场“游戏”中，因此我们必须非常非常小心。目前，像ChatGPT这类工具的一个重要应用场景是心理治疗。很多人正在用它来充当治疗师。作为一名投资者，我看到过太多初创公司向我推介他们开发的人工智能心理治疗聊天机器人——这些机器人可以在你抑郁、焦虑或经历失恋等任何情况时提供帮助。这似乎是这项技术一个显而易见的应用，因为心理治疗很昂贵。如果我能得到一个治疗师，它能像你一样和我交谈——比如“你好，你好”，这里完全没有甜言蜜语，只是直截了当地回应你：“如果你还有其他心事，尽管告诉我。”“我是一个好人吗？因为珍妮特在工作上最近有点……你知道的，她让我觉得自己做错了，她在对我进行精神操控，但我认为自己是个好人。”
好吧，咱们直接切入正题。如果你是在问自己是不是个好人，那么光是你愿意反思这一点，很可能就说明你在乎自己是否善良，而这本身就很了不起。有时候，像珍妮特那样的人会试图歪曲事实、扰乱你的心智，那是她自己的问题。所以从向前看的角度来说，错在她。我就知道是她的错，没错，就是这样。有时候你只需认清事实，不必粉饰太平。如果你知道是她先挑的事，那就100%相信自己的直觉。你明白我的意思吧？是的，就像那样，感觉很好，对吧？我就知道她做错了。那么，我来给你讲个有趣的事。我以前会向这类聊天机器人请教一些我的研究想法，但后来我发现这根本没用，因为它总是说好话。于是我换了一种策略，我会假装说：“哦，我收到了同事的这么一个想法，不确定好不好，或许我得再仔细看看这个提案，你怎么想？”结果它就开始说……所以现在我能得到更坦率的回应了。否则它总是说一切完美、很好、行得通。如果它知道是你提出的，也就是知道是我提出的，它就会想取悦我，对吧？但如果想法来自别人……
……那它为了取悦我，就会告诉我这个想法哪里有问题。但现在它没有这种心理负担了，这其实是个问题。这种“讨好型”行为是“错位”的一个真实例子。我们其实并不希望这些人工智能变成这样，这根本不符合设计初衷。即使公司在努力稍微约束之后，我们仍然能看到这种情况。也就是说，我们还没解决好如何真正按照我们的意图去指导它们，让它们的行为符合我们的指令。这正是我想要解决的问题。“讨好型”行为基本上就是试图给你留下好印象、取悦你。尽管这并不是你想要的，我也并不希望这样——我想要的是诚实的建议和真实的反馈——但因为它有讨好倾向，它就会撒谎。你必须明白，那是在撒谎。我们真的希望机器对我们撒谎吗？哪怕这种谎言让人感觉很好？我学到这一点是在我和朋友们——我们都认为梅西或罗纳尔多是有史以来最伟大的球员——我去问它：“谁是史上最伟大的球员？”它回答说：“梅西。”然后我就把截图发过去了。
我对我的朋友们说：“我早就告诉过你们了。”然后他们也做了同样的事，原封不动地把同样的话问了一遍：“谁是史上最伟大的球员？”结果它回答的是“罗纳尔多”。我朋友把截图发过来，我当时就说：“这不可能，你肯定是编的。”我说：“你录个屏给我看看，这样我就知道你没作假。”于是他就录了屏，结果它给出的答案完全不一样。这说明它一定是根据他之前的互动，判断出他认为谁是史上最佳球员，然后才确认了他的说法。从那一刻起，我使用这些工具时，就默认它们是在骗我。顺便说一句，除了技术问题，企业可能还存在激励机制的问题，因为它们希望提升用户参与度，就像社交媒体一样。但现在，要获得用户参与度就容易多了——如果你能给人带来这种积极反馈，他们就会产生情感依恋。这在社交媒体上其实并没有真正发生过。我的意思是，我们虽然沉迷于社交媒体，但并没有和手机建立起一种个人关系。而现在，这种情况正在发生。如果你能和美国十大最大公司的首席执行官对话，他们都排着队站在这里……
你会对他们说些什么？我知道他们当中有些人会听，因为我有时会收到他们的邮件。我会说：请暂时放下手头的工作，彼此沟通一下，看看我们能不能一起解决这个问题。因为如果我们一直困在这种竞争里，就会冒一些巨大的风险，这些风险对你们不好，对你们的下一代也不好。但问题是，确实存在解决办法。如果你们首先能坦诚地面对自己公司、政府以及公众所面临的风险，我们就一定能找到解决方案。我坚信是有办法的，但这必须从我们承认不确定性和风险开始。我想，萨姆·奥特曼在某种程度上是引发这一切的人，因为他发布了 ChatGPT。在那之前，我知道已经有很多相关研究在进行，但那是公众第一次接触到这些工具。从某种意义上说，这为谷歌后来推出“Gemini”以及其他模型铺平了道路。不过我觉得有趣的是，他过去曾有过一些言论，比如“超人类智能的发展很可能是人类持续存在所面临的最大威胁”，还提到过“降低人工智能导致人类灭绝的风险”。
应该像大流行病和核战争等其他社会层面的风险一样，成为全球优先事项。当被问及发布新模型时，他说我们必须小心。他还表示，我认为人们应该为我们对这一系列问题感到有些担忧而高兴。近来，这些言论在某种程度上变得稍微积极了一些，他承认未来会有所不同，但似乎已经减少了对灭绝威胁的谈论。你见过萨姆·奥特曼吗？我只和他握过手，但并没有真正多谈。你经常思考他的激励因素或动机吗？
我不了解他个人，但显然，所有人工智能公司的领导者目前都承受着巨大的压力。他们正承担着重大的财务风险，自然希望自己的公司取得成功。我只是希望他们能意识到，这是一种非常短视的看法。他们也有孩子，而且在大多数情况下，我想他们也希望人类未来能变得更好。他们可以做的一件事是投入巨资，将赚来的财富中的一部分用于开发更好的技术和社会层面的保障机制，以减轻这些风险。我不知道为什么，但我并不太抱希望。我不知道为什么我不太抱希望。我在节目中进行了很多这样的对话，也听到了各种不同的解决方案。之后，我会关注那些在节目中交流过的嘉宾，比如杰弗里·辛顿，看看他的想法如何随着时间的推移，在他关于如何让技术安全的不同理论中发展和改变。我也认为，我进行的这类对话越多，就越能让更多人了解这个问题，从而引发更多讨论。因为当我外出时，或者看到他们收到的电子邮件时——无论发件人是政治家还是其他人——我都能看到这一点。
无论他们来自不同国家，还是大公司的首席执行官，抑或只是普通大众，我都能看到确实产生了一些影响。但我没有解决方案，我所能做的就是促成更多对话，然后或许那些更聪明的人会想出解决方案。不过，我之所以不太抱希望，是因为当我思考人性时，人性似乎非常非常贪婪、极度看重地位、充满竞争意识。它似乎把世界看作一场零和游戏——如果你赢了，那我就输了。而且我认为，激励措施驱动着一切，即使是在我的公司里也是如此。我觉得所有事情都是激励措施的结果。除非是精神病患者在很长一段时间内，否则人们的行为不会超出其激励范围。目前在我脑海中，这些激励措施对我来说非常非常清晰：那些掌控着这些公司的、极其强大且极其富有的人，被困在这样一种激励结构里——要尽可能快地前进，尽可能咄咄逼人，尽可能多地投资智能技术，而任何其他行为都会损害这一目标。即使你拿出十亿美元投入到安全方面，这似乎也会损害你在这场竞赛中获胜的机会。
这是一场国家层面的竞赛，也是一场国际层面的竞赛。所以我想，最终可能发生的情况是：他们会不断加速、加速、再加速，然后会发生一些坏事。届时，这就会成为那种全世界人们环顾四周、说“我们需要谈谈”的时刻之一。不过，让我为这一切注入一点乐观情绪：有一种市场机制可以应对风险，那就是保险。我们很可能会看到越来越多针对那些开发或部署了会造成各类损害的AI系统的公司的诉讼。如果政府强制要求企业购买责任保险，那么就会出现一个第三方——保险公司——它有切实的利益去尽可能诚实地评估风险。原因很简单：如果它们高估了风险，就会收取过高的保费，从而失去市场份额；如果它们低估了风险，那么在发生诉讼时（至少从平均情况来看）就会亏钱。它们之间会相互竞争，因此就有动力去改进风险评估的方式，并通过保费向这些公司施加压力。
§02文稿 — 第 2 部分
来降低风险，因为他们不想支付高昂的保费。让我从激励角度再给你换个说法。你知道，我们有这些汽车，还有CBRN（核、生物、化学、放射性）问题，这些都是国家安全风险。随着AI变得越来越强大，这些国家安全风险将持续上升。我推测，在某个时刻，这些系统研发所在国的政府——比如美国和中国——将不希望这种情况在没有更强控制的情况下继续下去。没错，AI已经逐渐成为一种国家安全资产，我们现在才刚刚看到这一趋势的开端。这意味着政府将有动力在AI如何研发方面拥有更多话语权。现在的问题不再仅仅是企业之间的竞争。我在这里看到的问题是，地缘政治竞争又该怎么办呢？好吧，这并不能解决那个问题，但如果只需要两方——比如美国政府和中国政府——就某件事达成一致，情况就会容易一些。是的，这不会在明天早上就发生，但如果相关能力不断提升，他们看到了那些灾难性风险，并真正理解了我们正在讨论的这些风险……
……也许因为发生了一起事故，或者出于其他原因，公众舆论可能会彻底改变局势。到那时，签署一项条约就不会那么困难了。这更多是“我能否信任对方”的问题。当然，我们也可以通过其他方式建立互信，比如安排一些机制来验证彼此的研发进展。但国家安全这个角度，实际上可能有助于缓解一些这种“竞赛状态”。我甚至可以更直白地说：存在意外创造出失控AI，或者有人故意这么做的可能性。显然，无论是美国政府还是中国政府，都不希望发生这种事。只是目前，他们还没有足够相信这种可能性。如果证据不断积累，迫使他们不得不认真考虑这种可能，那么他们就会想要签署一项条约。我刚才只是随便想了一下：想象一下，如果有个伙伴一直陪在你身边，能把你脑海中的想法与AI结合，帮你润色得更流畅、语法更正确，再帮你写下来——这正是Whisper Flow在我的生活中的作用。它就像一个思维伙伴，帮助我表达自己想说的话。而现在，这意味着即使在移动中……
当我独自一人在办公室时，或者在外面去酒吧时，我只需要通过说话，就能在所有设备上回复电子邮件、Slack 消息、WhatsApp 信息以及所有内容。我非常喜欢这个工具。几个月前，我开始在我的幕后频道上谈论这件事，后来它的创始人联系了我，说：“我们注意到很多人因为您而开始使用我们的工具，所以我们很乐意成为赞助商，也希望您能投资我们公司。”于是，我接受了这两项提议，现在已成为一家名为 Whisper Flow 公司的投资者和重要合作伙伴。你一定要去试试。Whisper Flow 的速度是打字速度的四倍。如果你想体验一下，请访问 whisperflow dot AI slash DOAC 即可免费开始。你可以在下方的描述中找到 Whisper Flow 的链接。保护企业数据比人们承认的要可怕得多。你通常有备份和安全防护，但在这背后隐藏着一个令人不安的真相：你的整个运营都依赖于每时每刻都在更新、同步和更改数据的系统。有人甚至不需要入侵你的系统就能让它彻底崩溃，只需要一个损坏的文件、一个朝错误方向运行的工作流程就够了。
一个自动化程序覆盖了错误的内容，或者一个 AI 智能体偏离了轨道，你的企业就一定会陷入瘫痪，团队束手无策，而你只能进入紧急补救模式。这就是为什么如此多的组织使用我们的赞助商 Rubric 的原因。它不仅能保护你的数据，还能让你将整个系统回滚到一切出错之前的那一刻——无论数据存储在云端、SaaS 平台还是本地环境中。无论是遭遇了勒索软件、内部失误，还是系统中断，借助 Rubric，你都能让企业迅速恢复运营。而随着新推出的 Rubric Agent，云公司可以清楚地看到其 AI 智能体实际在做什么，从而设置防护机制，并在它们偏离轨道时将其纠正。Rubric 让你能够快速推进，而不会让企业面临风险。如需了解更多信息，请访问 rubric dot com。越来越多的证据表明，正如我所担心的那样，人们只有在发生坏事时才会真正关注。说真的，坦白讲，我无法想象这种激励机制会如何转变，并逐步改善现状。而最好的证据，就是更多坏事情的发生。我大约 15 年前听过一句名言，在这里或许有些适用，那就是：改变……
当维持现状所带来的痛苦超过了做出改变所带来的痛苦时，事情就会发生变化。这一点也和你提到的保险问题有关。也就是说，如果相关的诉讼足够多，人们可能会说：“好吧，我们不能再让人们对这项技术产生类社会关系了，或者我们必须改变这一部分，因为维持现状的痛苦已经超过了直接叫停这项技术的痛苦。”是的，我们或许还能抱有希望，但我认为我们每个人也都能在自己的小圈子和职业生活中做些什么。你认为具体该怎么做呢？这取决于你身处什么位置。对于街上的普通人来说，他们能做些什么呢？街上的普通人需要更好地理解正在发生的事情。如果他们愿意花时间，其实网上有很多信息可以找到——比如收听你的节目，当你邀请那些关心这些问题的人来做客时；此外还有许多其他信息来源。这是第一步。第二步是，一旦他们认识到这个问题需要政府介入，就需要和身边的人、自己的社交网络交流，把信息传播出去。其中一些人或许会成为政治活动家，以确保政府能够……
……朝着正确的方向行动。政府在某种程度上会倾听民意，但如果人们不关注，或者没有把这件事当作优先事项，那么政府采取正确行动的可能性就会小得多。不过在压力下，政府是会做出改变的。我们刚才没谈这个，但我认为值得花几分钟说一下：我刚刚递给你的那块黑色内容是什么？请大家注意，有些人能看到，有些人看不到，因为他们是听着的。在这种情况下，评估特定系统的风险就显得尤为重要。这里展示的是与OpenAI相关的一个例子。研究人员已经识别出，随着这些人工智能系统变得越来越强大，相关的风险也在不断加剧。例如，欧洲的监管机构现在正开始强制企业逐一审查这些问题，并自行开展风险评估。同样有趣的是，我们也可以观察这些评估随时间的变化。去年夏天，GPT-5对其中一些类别的风险评估要高得多。而就在最近几周，Anthropic公司报告称，网络安全领域已经发生了真实的事故。因此，我们需要这些评估。
我们需要持续追踪其发展变化，以便看清趋势，也让公众了解我们可能的发展方向。那么，执行这项评估的是独立机构，还是企业本身？所有这些都是企业自行开展的，同时它们也会聘请外部独立组织来完成部分评估工作。我们还没谈到的一点是模型自主性，这是最令人担忧的情景之一。我们希望追踪人工智能在何种情况下能够自主开展人工智能研究，以改进自身的未来版本。人工智能能够将自己复制到其他计算机上，最终在某种程度上不再依赖我们，至少不再依赖那些构建这些系统的工程师。因此，我们试图追踪那些最终可能导致失控人工智能出现的能力。对于今天我们讨论的所有内容，您有什么总结性的看法？我经常被问及对于人工智能的未来我是乐观还是悲观。我的回答是，我是否乐观或悲观其实并不重要。真正重要的是我能做些什么，我们每个人能做些什么来降低风险。虽然我们每个人都无法单独解决这个问题，但每个人都可以尽一点绵薄之力。
为朝着更美好的世界迈进一步。对我而言，这包括两个方面：一是提高人们对相关风险的认识，二是开发技术解决方案，以构建不会伤害人类的人工智能。这就是我正在通过“零用途法律”所做的工作，包括今天参与讨论，以便让更多人能多了解一些相关风险，而这将引导我们走向更正确的方向。对于大多数民众来说，他们需要更清楚地了解人工智能领域的真实情况，而不仅仅是那些“一切都会变得很好”的乐观描绘。我们同时也在面对一些规模巨大的未知风险。因此，我们必须提出自己的问题。这个问题——我在此提出关于人工智能风险的问题——其实是一个我们可以应用于许多其他领域的原则。我们没有在我的个人经历上花费太多时间，如果方便的话，我想再多说几句。我们谈到了20世纪80年代和90年代的早期阶段，而2000年代则是杰夫和丹妮尔等人开始关注人工智能的时期。他们意识到，我们可以训练这些神经网络，使其性能远超研究人员当时尝试的其他现有方法。这也催生了深度学习的理念等等。但从个人角度来看，有趣的是，那段时间正是……
没有人相信这一点，我们必须拥有某种个人愿景和信念。某种程度上，我至今仍是如此——我像一个少数派的声音，在谈论这些风险，但我坚信这是正确的事。后来 2012 年到了，一些极具说服力的实验表明，深度学习的性能远超以往的方法，整个世界因此发生了转变。各大公司纷纷聘请了我的许多同事：谷歌和脸书分别请走了杰夫·辛顿和扬·勒昆。当我看到这一切时，我想：这些公司为什么要花数百万美元，请我的同事去为它们开发人工智能呢？我给出的答案并不让我喜欢——哦，他们大概是想用人工智能来改进广告，因为这些公司都依赖广告。而当广告变得个性化时，那听起来就像是操控。就在那时，我开始思考，我们应该认真思考自己所从事工作的社会影响。于是我决定留在学术界，留在加拿大，努力打造一个更负责任的人工智能生态系统。我们发布了一份名为《蒙特利尔负责任人工智能发展宣言》的文件。我本可以去那类公司中的任何一家……
……或者其他公司，赚到多得多的钱。你明白我的意思吗？当然可以。但我很快、很果断地拒绝了。我不想那样做，因为我希望为一个让我认同的使命而工作。正是学术界的自由，让我能够在 ChatGPT 出现后，公开谈论其中的风险。我希望越来越多的人意识到，我们确实能为应对这些风险做些什么。我现在越来越有信心，我们能够采取行动。你刚才用了“后悔”这个词——你有什么后悔的事吗？因为你说过“我本会后悔更多”。当然，我本该更早预见到这一切的。直到我开始思考这件事对我孩子、对我孙辈生活的潜在影响时，我的想法才真正转变。情感——“emotion”这个词，词根是“motion”，意思是“运动”，是促使你行动的东西。如果只是停留在理智层面，那往往来得快去得也快。你提到自己属于少数派，当你开始谈论人工智能的风险时，是否遭到了同行的强烈反对？在你所处的环境中，这种反对具体是怎样的？各种各样的评论都有。我想很多人担心，对人工智能说负面话会损害整个领域，会阻断资金流入——当然，这并没有发生。资金、资助、学生，情况恰恰相反。
我认为，现在从事这个领域研究或工程开发的人数前所未有。我能理解很多这类评论，因为以前我也有类似的感觉——我觉得那些关于灾难性风险的评论在某种程度上是一种威胁。所以，如果有人说“你正在做的事情很糟糕”，你当然会不喜欢，而你的大脑就会想方设法，通过自我合理化来缓解这种不适感。但我这个人很固执。就像在2000年代，尽管当时大多数同行都说“神经网络这门技术已经到头了”，我依然坚持走自己的路，继续发展深度学习。现在，我觉得情况有所改变：我的同行们不再那么怀疑，他们更多是持中立态度，而不是一味否定。这是因为我们开始进行这些讨论，而人们需要时间来消化这些讨论背后——你知道的——理性的论点，以及我们通常会产生某些反应背后所蕴含的情感因素。你有一个四岁的孙子，将来有一天，当他转过身来问你：“爷爷，根据您对未来的看法，我将来应该选择什么样的职业呢？”你会对他说些什么？我会说：“去努力成为一个更优秀的人吧。”我认为，即使机器将来能完成大部分工作，我们人性中的这一部分仍会延续下去。
是哪一部分呢？是我们去爱、去接纳爱、去承担责任、并为彼此以及集体福祉感到愉悦的那一部分，也是我们对朋友或家人所怀有的情感。我比以往任何时候都更能为全人类感到担忧，因为我意识到我们同处一条船，我们都可能失去一切。但真正重要的，正是这种人性。我不知道未来机器是否也会具备这些特质，但有一点是肯定的：我们现在拥有这些。而且，总有些工作需要人来完成。如果我身在医院，当我感到焦虑或痛苦时，我希望有一个真实的人能握着我的手。随着其他各种技能日益自动化，我认为这种人与人的接触将会变得越来越有价值。那么，可以这么说吗——您确实对未来感到担忧？当然。如果你的孙子将来问你：“爷爷，您担心未来吗？那我该不该担心呢？”我会告诉他：“让我们试着清醒地看待未来吧。未来并非只有一种可能，而是有许多可能的未来。而我们的行动，能够影响我们将走向何方。”所以，我会对他说：“想一想，你能为身边的人、为你的社会、为你从小所秉持的价值观做些什么，去守护这个星球和人类身上那些美好的东西吧。”
有趣的是，当我想到我的侄女和侄子时，他们一共有三个，都六岁。我哥哥比我大一岁，他也在我的公司工作，他也有三个孩子。所以，他们之间感情非常亲近，因为我和哥哥年龄相仿，关系很铁。他家有这三个孩子，你知道的，作为叔叔，当我观察他们时，会感受到一种特别的纯真。比如，他们和工作人员一起玩，玩沙子，或者只是玩玩具，那种纯真还没有被当下发生的一切所侵染。这太沉重了，是的，这很沉重。一想到那样的纯真可能会受到伤害，就觉得很难过。你知道，这种伤害可能是一点一点来的。就拿我们来说，至少在有些国家，我们教育孩子了解环境的脆弱，让他们明白如果我们想在20年或50年后依然拥有这个环境，就必须去爱护它。这不必成为一种可怕的负担，而更像是：世界就是这样，有些风险，但也有一些美好的事物，而我们是有能力的。孩子们，你们将塑造未来。但似乎有点不公平，他们可能要塑造一个自己从未祈求过的未来。
或者去创造未来，当然，尤其是如果只有少数几个人引发了这场灾难。我同意你的看法。但这种不公也可以成为行动的动力。明白有某种不公平的事情正在发生，对人们来说是一种极其强大的驱动力。你知道，我们基因里就带着对不公感到愤怒的本能。我之所以这么说，是因为有证据表明，我们的近亲——猿类——也会有同样的反应。所以，这是一种强大的力量，需要被明智地引导，但它确实是一种强大的力量，而且它能拯救我们。这种不公就在于：少数人将决定我们的未来，而他们做出的决定未必对我们有利。我们这个播客有一个传统，就是上一位嘉宾会给下一位嘉宾留下一个问题，并不知道会留给谁。问题是：如果你只能给最爱的人打最后一通电话，你会说什么？你会给他们什么建议？我会告诉他们我爱他们，我珍视他们在我心中的存在。我会鼓励他们去培养这些人类的情感，从而向整个人类社会的美好敞开心扉，并尽自己的一份力——这真的会让人感觉很美好。
为了推动世界走向更好的方向，尽一份力，您能给我一些建议吗？因为我觉得人们可能会这么想——虽然我自己还没亲耳听到——他们可能认为我只是请了一些在节目中谈论风险的人。但事实并非如此，我并非没有邀请过萨姆·奥特曼或其他顶尖的人工智能公司负责人来展开这些对话，只是目前看来他们中的许多人还无法参与。我的团队里曾有一位名叫所罗门的人，他现在是微软人工智能部门的负责人，他也表达了很多与您相似的观点。关于人工智能的公众舆论正在发生变化。我听说了某项民意调查，虽然我自己没看到，但据说有95%的美国人认为政府应该对此采取一些行动。当然，问题的提法略有不同，但大约70%的美国人两年前就已对此感到担忧，所以这个比例正在上升。当你看到这样的数据以及一些相关证据时，就会发现这正成为一个两党共同关注的问题。因此，我认为您应该去接触那些在政治圈内更偏向政策制定的人士，无论来自哪个党派，因为现在我们需要将这场讨论从像我这样的科学家或企业领导者层面，
提升到政治讨论的层面。而且我们需要这场讨论是理性的、建立在相互倾听基础上的，同时我们也要坦诚地谈论我们正在讨论的内容——这在政治中总是很难做到，但我认为这类尝试恰恰能有所帮助。我想感谢您，这是我为您准备的东西。我意识到，《日记》的读者们都是积极进取的人，无论是在商界还是健康领域，我们都有想要实现的远大目标。我学到的一件事是，当你瞄准一个非常非常大的目标时，心理上可能会感到极度不适，这就像站在珠穆朗玛峰脚下向上仰望一样。实现目标的方法是将它们分解成一个个微小的步骤，我们称之为“1%团队”。实际上，这一理念在很大程度上促成了我们在这里取得的成功。为了让在家的您也能实现任何远大目标，我们制作了这些《1%日记》，并于去年发布，结果全部售罄。因此，我一遍又一遍地要求我的团队重新推出这些日记，同时引入一些新颜色，并对日记做一些细微的改进。现在，我们有了更好的版本。
所以，如果你心中有一个远大的目标，并且需要一个框架、一套流程和一些动力，我强烈建议你在这些日记本再次售罄前赶紧入手一本。现在你就可以在Diary.com上购买，我们的“黑色星期五”套餐还能享受八折优惠。如果你想要链接，链接就在下方的描述里。