Mark Zuckerberg：Llama 3、百亿美元模型、奥古斯都与 1 吉瓦数据中心

感谢 Graham Bessellieu 帮忙编辑本期节目。本文稿由 Teddy Kim 整理，并附有许多实用链接。

00:00Mark，欢迎来到节目。

00:01谢谢邀请。我很喜欢你的节目。

00:03谢谢，你这么说真好。我们先聊聊这次采访发布时会推出的产品。跟我说说这些模型和 Meta AI，有什么新鲜、令人兴奋的地方？

00:15我觉得全世界大多数人最容易看到的是新版 Meta AI。我们最重要的更新是升级模型：推出 Llama 3。我们既会面向开发者社区以开源方式发布，也会用它驱动 Meta AI。关于 Llama 3 我们还可以谈很多，但简单说，我们认为 Meta AI 现在是人们可以免费使用的最智能 AI 助手。我们还接入 Google 和 Bing，提供实时信息。

我们会让它在各个应用中更加醒目。Facebook 和 Messenger 顶部会有搜索框，你可以直接在那里提问。我们还增加了一些我觉得很酷、大家会喜欢的创作功能，比如动画：你可以把任何图片制作成动画。

人们可能觉得很惊艳的一项功能是，它现在生成高质量图片的速度快到可以在你输入时实时生成和更新。你一边输入提示词，它一边调整画面，比如“给我画一头在山景田野里吃夏威夷果、喝啤酒的牛”，图像会实时更新。这很神奇，我想大家会喜欢。大多数人会看到这些功能。我们不会同时在所有地区推出，而是先在几个国家开始，再于接下来几周和几个月扩展。我很兴奋能把它交到大家手上，这对 Meta AI 来说是重大进步。

要是深入看技术层面，Llama 3 显然最有意思。我们训练了三个版本：80 亿参数模型；今天发布的 700 亿参数模型；以及还在训练中的 4,050 亿参数稠密模型。它今天不会发布，但我对 80 亿和 700 亿参数模型的表现很满意。按各自规模来看，它们处于领先水平。我们会发布博客，列出所有基准测试，大家可以自行查看。它是开源的，大家也能亲自试用。

我们的路线图还包括后续版本，会带来多模态能力、更多语言和更长的上下文窗口。希望今年晚些时候能发布 4,050 亿参数模型。按目前训练进展，它的 MMLU 成绩已经约为 85，我们预计它能在许多基准上领先。对此我很兴奋。700 亿参数模型也很优秀，今天就会发布，MMLU 约为 82，在数学和推理测试中都处于领先水平。把模型交给大家使用会很令人期待。

03:42有意思，这是我第一次听说 MMLU 这个基准。成绩很出色。

03:4580 亿参数模型几乎和我们发布的最大版 Llama 2 一样强。因此，最小的 Llama 3 基本和最大的 Llama 2 一样强。

03:59深入谈模型之前，我想先回到过去。你们大概是 2022 年开始采购 H100 的吧？你可以告诉我准确时间。当时股价正遭受重挫，大家都在问这些资本开支是怎么回事，人们也不买元宇宙这套说法。你们这些资本支出想必是为了买 H100。当时你怎么知道要买 H100？怎么知道会需要 GPU？

04:22我想是因为我们当时在做 Reels。我们总想留足算力，去做那些尚未出现在视野里的东西。Reels 项目有一段时间需要更多 GPU 来训练模型，这对我们的服务是一次重大演进。过去我们只给用户推荐他们关注的人或主页发布的内容，后来我们大力转向推荐所谓的“非关联内容”，也就是用户没有关注的人或主页发布的内容。

潜在推荐内容的范围从几千条扩大到几亿条，需要完全不同的基础设施。我们开始建设，但基础设施跟不上，没法按希望的速度追上 TikTok。我当时想：“不能再让自己陷入这种情况。我们先订购足够的 GPU，用于 Reels、内容排名和信息流，但在此基础上再翻一倍。”我们的常规原则是，未来总会有某种需求出现，只是现在还看不见。

05:51当时你知道这会是 AI 吗？

05:52我们知道这会和训练大型模型有关。当时我以为大概会用于内容相关的东西。这只是经营公司的模式识别：总会出现下一个需求。那时我非常投入 Reels 和其他内容推荐系统的工作。现在 Instagram 和 Facebook 能向用户推荐他们没关注的账号发布的有趣内容，这是巨大的突破。

回头看，这是个很好的决定，而且是因为我们当时落后了。不是因为“我们领先很多”。其实很多最后看起来正确的决定，都是因为之前出了错，我们不想再犯同样的错误。

06:47这完全是个岔题，但趁现在我想问。我们一会儿再回来谈 AI。2006 年你没以 10 亿美元卖掉公司，但想必有一个价格会让你卖。你当时是否在心里写下 Facebook 的真实估值，觉得对方没估对？如果他们出价 5 万亿美元，你当然会卖。你当时怎么想这件事？

07:08我觉得有些事情纯属个人选择。我当时不够成熟，做不了那种分析。周围有很多人提出各种支持 10 亿美元估值的论据：“我们需要达到多少收入、公司要做多大，现在离目标还有多少年。”这个估值比我们当时的规模领先太多了。我没有足够的金融知识参与那种辩论。

但我内心深处相信我们在做的事。我也做过一些分析：“如果不做这个，我会做什么？我喜欢创造东西，也喜欢帮助人们沟通；我喜欢了解人们的生活和彼此关系。如果卖掉公司，我大概会再创办一家类似的公司，而我挺喜欢现在这家，那为什么要卖？”很多最大的人生赌注往往基于信念和价值观。要靠分析来预测未来、把所有点连起来，通常非常困难。

08:32你们做 Facebook AI Research 已经很久了。如今它显然成了公司的核心工作。大概什么时候开始，把实现 AGI——或者你们用的使命表述——当作 Meta 的关键优先事项？

08:49这件事已经重要一段时间了。我们大约十年前成立了 FAIR。当时想法是，走向通用智能的过程中会有各种创新，最终改善我们做的所有事情。所以我们一开始没把它看成产品，更像是一个研究团队。过去十年里，它创造了很多东西，改进了我们的产品，也推动了整个领域，让其他人也能做出改进我们产品的成果。我觉得这很好。

过去几年，ChatGPT 和图像生成扩散模型的出现带来了明显变化。这些东西显然会影响人们如何使用各种应用。于是我们成立了第二个团队，也就是生成式 AI 团队，目标是把这些能力带入产品，并构建能驱动各种产品的领先基础模型。

一开始，我们认为自己做的很多事情都很社交：帮助人们与创作者互动、与企业互动，帮助企业销售产品或提供客户支持。还有一些基础助手功能，无论是用于我们的应用、智能眼镜还是 VR。最初并不清楚这些用例是否需要完整 AGI。但在实际推进过程中，许多细节让我们逐渐认识到，确实需要通用智能。比如做 Llama 2 时，我们没优先考虑编程，因为大家不会在 WhatsApp 里问 Meta AI 很多编程问题。

10:59但现在会问了，对吧？

11:00我不知道。我不确定大家会不会用 WhatsApp、Facebook 或 Instagram 来问很多编程问题，也许会用我们正在推出的网站 meta.ai。但过去 18 个月一个有点意外的发现是：编程能力对很多领域都很重要，不只是编程任务。即使用户不问编程问题，用大量代码训练模型也能让它回答更严谨，并改善它在许多领域的推理能力。这就是 Llama 3 大量使用代码训练的例子，即使用户主要问的不是编程问题，模型在其他方面也会更好。

推理能力也是如此。你可能想和创作者聊天，或者以企业身份与客户互动。互动并非“对方发消息，你回复”这么简单，而是多步骤过程：你要想怎样实现对方的目标。客户往往不知道自己究竟要什么，也不知道如何提出问题，所以 AI 的工作并不是简单地回答表面问题。

你需要从整体上思考，这最终变成一个推理问题。如果别人解决了推理问题、取得进展，而我们还停留在基础聊天机器人水平，我们的产品就会显得很差。归根结底，我们意识到必须解决通用智能问题，于是提高了目标和投资，确保能做到。

12:48那么，Llama 最终能满足这些用户需求的版本，是否会强到可以取代你们大楼里的程序员？

13:03我认为这些能力会逐步发展。

13:05那最终呢？比如 Llama 10。

13:10这个问题里包含很多假设。我不确定我们会取代人，更可能是给人们工具，让他们能做更多事。

13:18那 Llama 10 能让这栋楼里的程序员效率提高十倍吗？

13:20我希望提升不止十倍。我不认为人类只有一个单一的智能门槛，因为不同人擅长不同技能。我认为 AI 最终可能会在多数能力上超过人类，具体取决于模型有多强。但这个过程是渐进的，AGI 不是一个单一功能，而是逐步叠加各种能力。多模态是我们现在关注的关键能力之一，首先是照片、图片和文字，之后会包括视频。由于我们非常关注元宇宙，3D 能力也很重要。我比较关注、但还没看到行业很多人关注的一项能力是情绪理解。人类大脑中很大一部分都用于理解他人、理解表情和情绪。我认为这本身就是一种模态。你可以说它只是视频或图像的一部分，但显然是两者中特别专门的一种。

除了让模型更擅长推理和记忆之外，我们还要训练它掌握各种能力，而推理和记忆本身也都是大课题。我不认为未来主要做法会是不断往上下文窗口里塞内容，好回答越来越复杂的问题。未来会有不同的记忆存储，或针对个人定制的模型，这些都是不同能力。当然还要考虑模型做大或做小，我们都关心。Meta AI 主要在服务器上运行，但我们也希望它能运行在智能眼镜上，而眼镜里空间很有限，所以要有非常高效的模型。

15:16如果推理支出达到数百亿美元、未来甚至达到数千亿美元，工业规模的智能具体用在哪里？是模拟吗？是元宇宙里的 AI 吗？这些数据中心会被用来做什么？

15:32我们的判断是，AI 基本上会改变所有产品。我认为 Meta AI 会发展成一种通用助手产品。它会从更像聊天机器人的形态——你提问，它组织答案——转向你交给它更复杂的任务，它离开一会儿，然后替你完成。这需要大量推理算力，也需要其他形式的大量算力。

我认为，与其他人的 AI 智能体互动也会成为我们业务的重要部分，无论对象是企业还是创作者。我有个重要判断：人们不会只和单一的 AI 互动。每家企业都想要一个代表自身利益的 AI，而不是主要通过一个会向你推销竞争对手产品的 AI 与你互动。

创作者会是重要用例之一。我们的平台上大约有 2 亿名创作者。他们都想和自己的社群互动，但一天的时间有限。社群通常也想和他们互动，却不一定知道创作者时间有限。如果能让创作者拥有一个按自己意愿训练、能与社群互动的 AI，我认为它会很强大，各种互动都会大量增加。

这些还只是消费者用例。我和妻子一起经营 Chan Zuckerberg Initiative，我们在科学领域做了许多工作。AI 显然会推动科学、医疗保健等领域的发展，最终影响几乎每一种产品和整个经济。

17:41你提到 AI 能替人完成多步骤任务。这需要更大的模型吗？比如 Llama 4 还会有 700 亿参数的版本，只要用合适的数据训练就会非常强吗？进展会是什么样？是扩大模型规模，还是保持相同规模、但像你说的那样使用不同数据？

18:02我不确定我们已经知道答案。有个明显模式是：先有 Llama 模型，然后在周围搭建某种面向特定应用的代码。有些是针对用例微调，有些则是逻辑代码，比如规定 Meta AI 如何调用 Google 或 Bing 来获取实时信息。这不属于基础 Llama 模型。Llama 2 时我们做了一些这类工作，更多是手工设计。Llama 3 的目标之一是把更多能力直接融入模型。随着 Llama 3 开始展现更多类似智能体的行为，有些部分可能还需要手工设计。我们的目标是让 Llama 4 把更多此类能力直接整合进模型。

每一步都让你大致看清下一阶段可能实现什么。你开始尝试、动手改造，这会磨炼你的直觉，让你知道下一版模型该训练进什么能力。这也会让模型更通用，因为手写代码确实能解锁某些用例，但本质上很脆弱、缺乏通用性。

20:35你说“训练进模型本身”，是指把希望模型拥有的能力作为训练数据吗？“训练进模型本身”是什么意思？

20:42Llama 2 的工具使用非常具体，而 Llama 3 的工具使用好得多。我们不必再手工编码所有内容，让它调用 Google 并搜索；它可以直接这么做。编程和运行代码等能力也是如此。获得这类能力之后，你就能预见下一步可以做什么。我们不一定想等到 Llama 4 才开始开发这些能力，因此可以先手工搭建。即使只是暂时使用，手写代码也能改进产品，并帮助我们看清下一版模型该具备什么。

21:37社区会基于 Llama 3 微调出什么，让你最期待？不一定是对你最有用的，而是最让你想玩的那种。比如有人用古代历史训练它，然后你能和维吉尔聊天。你期待什么？

21:50我觉得这类东西的特点就是会让人惊喜。任何我已经想到、觉得有价值的东西，我们大概早就自己在做了。我认为会有人做蒸馏版本和更小的模型。一个问题是，80 亿参数对很多用例来说仍然不够小。我很希望以后能有 10 亿到 20 亿参数，甚至 5 亿参数的模型，看看它们能做什么。

如果 80 亿参数已经几乎能达到 Llama 2 最大模型的能力，那么 10 亿参数的模型也应该能做一些有意思的事，而且速度更快。它适合分类或许多基础任务，比如先理解用户查询的意图，再交给最强模型来确定提示词。我认为这方面社区能帮上忙。我们也考虑过自己蒸馏一些模型，但现在 GPU 都被 4,050 亿参数模型的训练占满了。

23:12所以你们有这么多 GPU。你说过到年底会有 35 万张。

23:18那是整个 GPU 机群。我们建了两个各有 22,000 或 24,000 张卡的集群，用来训练大模型。当然，还有很多 GPU 用于其他工作。我们的很多算力都用于训练 Reels 模型、Facebook 新闻动态和 Instagram 信息流模型。对我们来说，推理算力也特别重要，因为我们服务的人数非常多。和其他公司相比，我们所需的推理算力与训练算力之比可能高得多，因为用户规模实在太大。

23:56在你们之前分享的材料里，有个很有意思的地方：你们为了训练，把模型训练在超过计算最优量的数据上。推理对你们和整个社区都很重要，所以把模型做出来、让它接触数万亿 token 是有道理的。

24:08有意思的是，即便对 700 亿参数模型来说，我们原本以为它会更早达到饱和。我们用大约 15 万亿个 token 训练它。起初预测它会更早趋于平稳，但到训练结束时它还在学习。我们或许可以再给它更多 token，让它的能力再提高一些。

但公司经营过程中总得做这类元层次判断：要不要继续用 GPU 训练 700 亿参数模型？还是接着往下做，好开始验证 Llama 4 的假设？我们必须作出选择。我认为这版 700 亿参数模型的平衡不错。未来还会有其他版本，例如之后推出的多模态 700 亿参数模型。但让我惊讶的是，目前的架构竟然能吸收这么多数据。

25:11这很有意思。这对未来模型意味着什么？你刚才说 Llama 3 的 80 亿参数模型比 Llama 2 的 700 亿参数模型好。

25:19不不，它只是差不多好。我不想夸大，能力处在相近的数量级。

25:24这是否意味着 Llama 4 的 700 亿参数模型会和 Llama 3 的 4,050 亿参数模型一样强？未来会怎样？

25:30这是最重要的问题之一，对吧？我认为没人知道。指数曲线是最难规划的事情之一：它能持续多久？我认为它很可能会继续，所以值得投入数百亿、甚至超过 1,000 亿美元建设基础设施，并假设曲线继续时会出现惊人的产品。行业里没人能确定它一定会按这个速度继续。历史上，技术总会在某些地方遇到瓶颈。不过现在大家如此投入，也许瓶颈很快就会被突破。这是个有意思的问题。

26:24如果没有这些瓶颈，世界会是什么样？假设进展按当前速度持续下去——这似乎有可能。先把 Llama 放一边，放眼来看……

26:33瓶颈会不断变化。过去几年，我认为瓶颈在 GPU 产能上。即使公司有钱买，也未必能买到足够多的 GPU，因为供应受限。现在这个问题正在缓解，因此很多公司开始考虑投入大量资金建设基础设施。这还会持续一段时间。还有资本问题：什么时候继续投入资本就不值得了？

我觉得在碰到资本瓶颈之前，我们会先遇到能源限制。我认为还没人建成过单体 1 吉瓦的训练集群。现实世界里很多事情推进得很慢。能源项目审批是受到严格监管的政府职能。软件行业也受到一定监管，而且我认为科技圈很多人低估了监管程度。你要是开小公司，可能感受不那么明显；但我们会和各国政府、监管机构打交道，遵守大量规定。能源问题更是毫无疑问。

如果要建新的大型电厂、扩建电力设施，或者铺设跨越私人或公共土地的输电线，监管会很严格，准备时间可能要很多年。假设我们要启动某个大型设施，给它供电会是一个长期项目。我相信大家会这么做，但这不可能像“把 AI 做到某个水平、拿一大笔钱投进去，模型马上就出现”那么神奇。你会一路遇到不同的瓶颈。

29:00有没有什么 AI 项目，或许也可能不是 AI 项目，是连 Meta 这样的公司都没有资源去做的？假设你们的研发或资本支出预算提高十倍，有没有某个一直想做、但现在连发股或发债都做不到的项目？规模比现有预算大十倍？

29:19能源就是一方面。如果我们能获得足够能源，大概会建比现在更大的集群。

29:34从根本上说，最终还是受资金限制吗？如果有一万亿美元……

29:39我认为关键是时间，也取决于指数曲线能延续多远。现在很多数据中心规模约为 50 或 100 兆瓦，大型的可能有 150 兆瓦。把数据中心整个填满训练模型所需设备，建成自己能建的最大集群。我认为很多公司已经在做类似规模的项目。

但要建 300、500 兆瓦甚至 1 吉瓦的数据中心，目前还没人建成 1 吉瓦的数据中心。我认为这是迟早的事，但不会是明年。这些项目需要几年才能建成。打个比方，1 吉瓦相当于一座大型核电站的发电量，而且全部用于训练模型。

30:51亚马逊不是已经建了吗？他们有一座 950 兆瓦的——

30:55具体建了什么我不太确定，得问他们。

31:00但不一定要建在同一个地方，对吧？如果分布式训练可行，就可以分散部署。

31:03未来会怎么发展，这是个大问题。大型模型的训练中，越来越多可能会接近推理：先生成合成数据，再把数据用于训练。我不知道两者的比例会是多少，但目前我把合成数据生成看得更像推理。显然，如果生成数据是为了训练模型，它就属于整体训练流程。这种平衡和未来走向仍是开放问题。

31:44Llama 3，甚至以后的 Llama 4，会不会也出现这种情况？也就是说，模型发布后，谁算力很多，谁就能不断用你们发布的模型，让它变得更聪明。假设科威特或阿联酋这样的国家有大量算力，可以用 Llama 4 做出更强的东西。

32:08我认为确实会有这类发展，但模型架构也有根本限制。用 Llama 3 架构训练的 700 亿参数模型还能继续变好。正如我说过的，如果继续喂给它更多数据，或把高价值 token 再循环训练，它还会进步。世界各地许多公司都基于 Llama 2 的 700 亿参数模型架构做出了新模型。但要注意，Llama 3 700 亿或 4,050 亿参数模型这样的代际进步，目前没有开源模型能达到。这是阶梯式的巨大进步。外界在此基础上能做的优化不可能无限持续，直到下一个阶梯式进步出现。

33:20我们先从具体模型拉远一点，也先不谈能源审批之类需要好几年的准备。从宏观角度看，未来几十年 AI 会怎样发展？它会像元宇宙或社交媒体这样的另一种技术，还是会成为人类历史上根本不同的事物？

33:43我认为它会非常根本，可能更像最初计算机的诞生。就像网页或手机出现时一样，会有各种新应用。许多以前做不到的事情变得可行后，人们会重新思考各种体验。我认为类似的情况会再次出现，但这会是更底层的创新。我的感觉是，这更像人类从没有电脑走向拥有电脑。

很难准确推演它究竟会怎样。放在宇宙尺度上看，几十年左右就会很快发生。有些人担心它会失控，一夜之间从有点聪明变得极其聪明。我觉得现实中有许多物理限制，不太可能这样发展，也看不到它会这么发生。我们会有些时间逐步适应。不过它确实会改变工作方式，给人们各种创造工具，让他们做更多想做的事。

35:18所以也许不会一夜之间发生，但从宇宙尺度看，能否这样理解历史上的几个里程碑：人类出现，然后 AI 出现，接着人类走向银河系？可能需要几十年，也可能一个世纪，但这是当下历史大势的整体方向吗？

35:38你说的是哪方面？

35:40我的意思是，虽然之前也出现过计算机甚至火这样的技术，但 AI 的发展本身是否和人类最初演化一样重要？

35:48这个问题很棘手。人类历史上，人们总觉得人类的某些方面很独特，后来又意识到其实并非如此；但人类仍然非常特殊。我们曾认为地球是宇宙中心，后来发现不是，但人类依然很了不起、很独特，对吧？

我认为人们还有一种偏见，就是觉得智能本质上和生命紧密相关。其实并不清楚。我不知道我们是否有足够清楚的意识或生命定义来认真讨论这一点。科幻作品总是描写创造智能后，智能开始表现出各种类似人类的行为。但现在这些技术的发展方向，让我觉得智能可以与意识、主动性等相当程度地分离；这反而会让它成为非常有价值的工具。

37:21当然，很难预测这些技术未来会往哪个方向发展，所以我认为没人应该对开发计划或未来用途抱有教条式立场。每次发布都应该重新评估。我们显然非常支持开源，但我没有承诺将我们做的每一样东西都开源。如果某种能力发生了质变，我们觉得开源不负责任，那就不会开源。所有这些都很难预测。

38:07比如你在训练 Llama 5 或 Llama 4 时，看到哪种具体的能力质变后，会觉得：“嗯，我不确定要不要开源。”

38:17抽象地回答很难，因为任何产品都可能出现负面行为，只要能缓解就还可以。社交媒体有一些不良影响，我们努力缓解；Llama 2 也有风险，我们花了很多时间，确保它不会帮助人实施暴力行为之类的事。这不代表它是自主或有智能的智能体，只是它了解了很多世界知识，能回答一些我们认为不该回答的问题。我认为关键不是它会表现出哪些行为，而是出现这些行为后，有没有我们无法缓解的风险。

有些东西好坏兼具，太多了，事先很难全部列出来。想想社交媒体的问题和我们面对的各类伤害。我们最终把人们可能造成的伤害分成了 18 或 19 类，并建立 AI 系统识别这些行为，尽可能阻止它们在平台上发生。随着时间推移，我认为也可以把 AI 风险细分为更系统的分类。我们也在研究这件事，因为必须确保自己理解风险。

41:04我觉得广泛部署 AI 是好事，每个人都能使用。但我想进一步理解风险缓解措施。如果靠微调来缓解问题，那么开放权重的特点就是别人可以移除微调；微调可能只是在底层能力上加了一层表面约束。比如能在 Slack 上和生物研究员对话……我觉得现在模型离这很远，它们目前更像 Google 搜索。但假如我把培养皿给模型看，它能解释为什么我的天花病毒样本没长出来、我该怎么改，那该怎么缓解？因为别人可以重新微调，把这项能力塞进去，对吧？

41:44没错。我认为很多人会使用开箱即用的模型，但也会有人出于恶意想移除所有安全措施。我确实认为这是个问题。另一方面，我之所以在理念上非常支持开源，是因为未来 AI 集中在单一机构手中，可能和 AI 广泛传播一样危险。很多人只考虑：“如果我们能做这些事，让它在现实世界中广泛可用会不会很糟？”但另一个问题是：一个机构拥有远比其他所有人更强的 AI，可能也非常糟糕。

我想到一个网络安全类比。很多系统都有安全漏洞。假如你能穿越回去一两年，提前知道这些漏洞，几乎能入侵任何系统。这和 AI 无关。因此，一个非常聪明的 AI 能发现一些漏洞，就像一个人穿越回去一两年后攻破所有系统，这并非不可想象。

社会过去怎么处理这类问题？一个重要做法是开源软件：软件得到改进后，改进不只停留在一家公司的产品里，而能广泛部署到银行、医院、政府系统等各种地方。更多人能看到、测试软件，软件也会逐步加固，同时形成相应标准。这样全世界的系统都能很快升级。

我认为 AI 广泛部署、并随着时间不断加固的世界，会让各种系统相互制衡。相比之下，AI 权力更加集中的世界显然不那么健康。因此各方面都有风险，但我觉得人们不太常谈这个风险：不仅 AI 系统可能做坏事，我更担心不可信的参与者拥有超级强大的 AI，无论是敌对政府、不可信公司，还是其他人。这可能是更大的风险。

44:59你的意思是，他们可能因为拥有别人没有的武器而推翻政府？

45:06或者只是制造大量混乱。直觉上，这些技术会在经济、安全和其他方面都变得极其重要。如果不可信的人或敌对势力拿到更强的技术，就会出问题。最好的缓解方式可能是有优秀的开源 AI，让它成为标准，并在很多方面领先。这样才能确保竞争环境更加公平、平衡。

45:49这听起来有道理。如果事情真的这样发展，应该是我更愿意看到的未来。我想从机制上理解：AI 开源如何阻止某人用自己的 AI 制造混乱？以有人制造生物武器为例，是因为世界其他地方会快速研发疫苗吗？具体会发生什么？

46:13就软件安全而言，如果攻击者的 AI 较弱，而系统由更强的 AI 保护，攻击者成功入侵的可能性会更小。

46:28我们怎么知道世界上所有情况都是这样？如果生物武器不是这样呢？

46:32我不知道所有情况是否都如此。生物武器确实是最担心这些风险的人关注的领域，我觉得很有道理。我们可以采取一些缓解措施，比如不把某些知识训练进模型。还有其他办法。但如果遇到足够恶意的行为者，而我们又没有其他 AI 来制衡并理解威胁，那可能确实会有风险。这是必须持续关注的问题之一。

47:19有没有可能模型出现一种行为，让你看到 Llama 4 在做什么，然后发现它为了避免被注意而骗了你？你会想：“这怎么回事？”我猜 Llama 4 不太可能做到这一点，但你能不能想象一种让你非常担心欺骗性、以及数十亿个副本广泛部署的情形？

47:46目前我们看到的更多是幻觉。我觉得区分幻觉和欺骗是个有意思的问题。确实有很多风险需要考虑。至少在经营公司时，我会平衡长期的理论风险和眼下真实存在的风险。说到欺骗，我最担心的形式是有人用 AI 生成错误信息，再通过我们的平台或其他网络大规模传播。我们对付这类有害内容的方式，是建立比对手 AI 更聪明的系统。

这也构成了我部分观点的基础。看社交网络上人们尝试造成的不同伤害，有些行为并不太具有对抗性。比如仇恨言论：人们并不会因此变得更善于种族歧视。我认为 AI 在解决这类问题上的进步，通常远快于作恶者。问题也有两个方面：有人会做坏事，比如煽动暴力；但我们也会误判、审查本不该删除的内容，这让很多人恼火。我认为随着 AI 变得越来越精准，整体情况会改善。

再举个例子：民族国家干预选举。这类对手绝对拥有最尖端的技术，而且每年都在进步。我们封堵一种手段，他们就了解我们的做法，再用另一种手段来攻击。他们不是随便发表刻薄言论的人，而是有明确目标、有技术、有组织的对手。在这类情况下，我还是认为我们的 AI 系统能力增长得比对方更快。这是一场军备竞赛，但我认为目前我们至少处于领先地位。这是我花很多时间思考的问题。

不管是 Llama 4 还是 Llama 6，我们都需要观察模型实际表现出的行为。我们不能只靠自己，还要有许多人共同研究，这也是开源的原因之一。我们想了解其他人和我们各自观察到了什么、能缓解什么，再决定是否开源。可预见的未来，我仍然乐观地认为我们能开源。但短期内不能忽视人们正在用模型做的坏事。即使不是生存风险，我们运营服务时也熟悉不少严重的日常伤害，必须投入很多时间来应对。

51:24我很好奇合成数据这件事。以现在的模型来说，反复使用合成数据为何可能会遇到上限，这很容易理解。但假设模型更聪明了，并采用你在论文或当天即将发布的博客文章里提到的技术，让它选择最正确的思维链，你为什么认为这不会形成一个循环：它变得更聪明、输出更好、然后继续变得更聪明？当然不会一夜之间发生，但如果用更聪明的模型训练几个月或几年，也许会实现。

52:00在现有模型架构的能力范围内，我认为确实可能发生。只不过以今天的 80 亿参数模型来说，我不认为它能达到采用新研究改进架构的数千亿参数顶级模型的水平。

52:28但那些更大的模型也会开源，对吧？

52:31是的，当然也要考虑刚才谈过的那些问题，但我们希望能开源。不过我认为，在每一步开发软件时，都能做很多事，但最终会受运行芯片的限制。物理限制一直存在。模型规模受可获得并用于推理的能源限制。我对这项技术会继续快速进步非常乐观，但也比一些人更谨慎。我不认为失控式增长特别可能。

53:32我觉得保留选择是合理的。我们不知道的事情太多。有一种情况是，必须维持权力平衡，防止有人变成极权独裁者；另一种情况是，不该开源模型架构，因为中国可能会利用它追上美国 AI，并触发智能爆炸，让他们获胜。许多事情都有可能，保留选择似乎合理。

53:57是的。

53:57我们聊点别的。元宇宙。你最想去人类历史的哪个时期？从公元前十万年到现在，你想亲眼看看当时的生活吗？

54:09一定得是过去吗？

54:12对，一定得是过去。

54:13我对美国史、古典史都很感兴趣，也很关注科学史。能亲眼看看并试着理解重大突破是如何发生的，我觉得会很有意思。我们目前只有一些有限的文字记录。我不确定元宇宙能不能实现这点，因为我们没有记录的历史很难重建。回到过去未必是元宇宙最重要的用途，也许它对历史课之类的有用，但不是我最期待的整体用途。

最重要的是，无论身在何处，都能感到与其他人面对面相处。我认为这会非常有用。刚才我们谈 AI 时，许多问题都受制于底层的物理条件。我认为技术带来的一个启示是，尽可能把事情从物理约束领域转移到软件领域，因为软件更容易开发和演进，也更容易让大众参与。并不是人人都有数据中心，但很多人都能写代码、使用并修改开源代码。元宇宙对应的做法，是让人们拥有逼真的数字化临场感。这会带来巨大变化，让人们不必为那么多事亲自待在同一地点。当然，有些事当面相处更好；这不是非此即彼，也不会变成“现在你完全不必见面”。但整体来说，它会极大促进社交、人与人之间的联系、工作、某些行业应用、医疗等等。

56:32我想回到对话开头提到的事。你当年没以 10 亿美元卖掉公司；现在做元宇宙，市场猛烈做空，你还是决定要做。我想知道这种判断优势从何而来？你说“价值观、我有这种直觉”，但所有人都会这么说。具体到你个人，你会怎么描述自己的独特之处？为什么你如此确信元宇宙？

57:02我觉得这是两个不同的问题。是什么驱动我？我们谈过一些主题。我就是非常喜欢创造东西，尤其喜欢做与人们如何沟通、如何表达自己和如何工作有关的产品。我在大学学的是计算机科学和心理学。对我来说，这两者的交叉领域一直很重要。

这也是一种很深的内在驱动力。我不知道怎么解释，但我觉得如果不创造新东西，我就没有把事情做好。即便是在准备投资 1,000 亿美元做 AI 或巨额投资元宇宙的商业计划时，我们都有规划，也能看出如果成功会是笔好投资，但一开始无法确定。顾问和其他人会问：“你怎么能这么有把握？”因为如果有一天我不再尝试创造新东西，那我就不干了，我会去别处做新东西。从根本上说，我不可能经营一家公司、过一种生活，却不去创造自己觉得有意思的新东西。这对我来说甚至不是要不要尝试下一个想法的问题。我根本做不到不这么做。

我生活的方方面面都这样。我们家在夏威夷考艾岛建了座牧场，我参与设计所有建筑。我们开始养牛，我就会想：“好，我要养出世界上最好的牛，该怎么设计这一切、建起所需设施？”这就是我。你刚才另一个问题是什么？

60:54我也不确定，不过我还好奇另一件事。假设 19 岁的 Mark 在高中和大学读了很多古代史和古典文学。你从中学到什么重要经验？不只是有趣的知识。你 19 岁前读过的东西也就那么多，其中不少是古典作品，显然它们在某种程度上很重要。

61:15你说人一生读过的东西没多少……问得好。有件事我觉得特别有意思：奥古斯都成为皇帝后，努力建立和平。当时人们根本没有真正的和平概念，他们认为和平只是敌人必然来袭之间的短暂间隙。奥古斯都想把经济从雇佣兵式、军国主义的状态，转变为真正的正和模式。这在当时是非常新颖的想法。

这里有个很根本的启示：人们认为哪些做法合理，会受到时代所能想象之事的限制。这同时适用于元宇宙和 AI。很多投资者或其他人不理解我们为何要开源。他们会说：“我不懂，这既然是开源，想必只是你们暂时还没把东西变成专有产品吧？”我认为科技行业有个非常深刻的特点：它确实能创造许多赢家。

我不想把这个类比讲得过头，但我确实认为，人们往往连某些建造事物的模式都想象不出来，无法理解这种做法为什么有价值、为什么是一种合理的社会状态。其实，合理的可能性比人们想象得多。

63:36很有意思。我能不能说说我猜测你从古典史中得到的启发？很可能完全不对。我想到的是，有些人很年轻时就担任帝国里的重要角色。比如凯撒·奥古斯都，19 岁时就成了罗马政坛的重要人物，指挥战役、组建第二次三头同盟。我想你 19 岁时可能会想：“凯撒·奥古斯都能做到，我也能。”

64:01这是个有意思的例子，不论古代史还是美国史都有类似情况。我最喜欢的名言之一是毕加索说的：所有孩子都是艺术家，难点在于长大后还能保持艺术家的状态。年轻时更容易有大胆的想法。你的人生中也有许多类似“创新者困境”的情况，不仅公司或产品会遇到这种问题。处于事业早期时，更容易调整方向、接纳新想法，不必担心会打乱其他承诺。我认为这是经营公司的有意思之处：怎样保持灵活？

64:53我们回到投资者与开源的话题。假设 100 亿美元模型完全安全。你们已经评估过它，而且未来评估者也可以微调模型。你会开源这个百亿美元模型吗？

65:11只要对我们有帮助，就会。

65:13但它真的会有帮助吗？研发花了 100 亿美元，最后却开源了。

65:17这也要随时间评估。我们长期以来都在开源软件，但通常不会开源产品，不会把 Instagram 的代码整个开源。我们会开源很多底层基础设施。历史上可能最重要的例子是 Open Compute Project：我们公开了服务器、网络交换机和数据中心的设计，结果帮助非常大。很多人都能设计服务器，但行业最后采用了我们的设计，供应链也围绕它建立起来，产量提高、成本下降，还为我们省了数十亿美元，非常好。

开源可能通过多种方式帮到我们。比如别人找到更便宜的模型运行方法。随着时间推移，我们在这些东西上要花数百亿或上千亿美元；如果效率提高 10%，就能省下数十亿甚至上百亿美元。这本身就很有价值。尤其还有其他竞争模型时，开源不等于把某种不可思议的优势拱手送人。

66:38所以你的观点是，训练会商品化吗？

66:44事情可能有很多种发展方式，这只是其中一种。“商品化”意味着选择很多、成本会变得很低。另一种可能是出现质的飞跃。你提到了微调，目前对其他大型模型的微调能力相当有限，虽然存在一些选择，但通常无法微调最大的模型。如果未来可以微调，就能针对具体应用、用例进行定制，或把模型接入特定工具链。这不仅会让开发效率提高，还能带来性质完全不同的能力。

我用移动生态举个类比。我认为移动生态系统有个很糟糕的地方：苹果和 Google 这两家公司把守入口，可以决定你能做什么。这有经济层面，比如我们开发产品后，它们会拿走我们很大一部分收入；但我更介意的是能力层面的限制。我们推出或想推出某些功能时，苹果会直接说：“不准推出。”这很糟。问题是，AI 会不会也变成这样？少数几家公司控制封闭模型，也因此控制 API，决定别人能做什么？

对我们来说，为了避免陷入这种处境，自行开发模型值得投入。我不想让其他公司决定我们能做什么。从开源角度看，许多开发者也不希望这些公司限制他们能做什么。问题是，围绕开源会形成怎样的生态系统，又会出现哪些新东西？这能在多大程度上改善我们的产品？我认为开源能带来许多贡献，就像数据库、缓存系统或架构这些领域一样，社区贡献会让底层系统变得更好。我们的具体应用仍会有很大差异化，所以不会受影响。开源会让我们和社区的系统都变好。

确实有一种情况不一定适用：模型本身可能变成产品主体。那时是否开源就会成为更复杂的经济决策，因为开源会让自身产品大幅商品化。但从目前来看，我觉得我们还没进入这种情况。

69:42你预期会通过向云服务商授权模型，获得可观收入吗？也就是说，它们每次提供模型服务都要付授权费。

69:49我们希望建立这样的安排，但不知道收入会有多大。这基本上就是 Llama 的许可协议。很多方面它都是非常宽松的开源许可，只是对使用模型的最大型公司设了限制。我们设这个限制不是要阻止它们使用，而是希望它们如果要直接拿我们的成果转售、从中赚钱，就来和我们谈谈。如果是 Microsoft Azure 或 Amazon，要转售模型，就该和我们分成一些收入。你们只要来沟通一下，最后大致就是这么处理的。

对于 Llama 2，我们和这些主要云服务公司基本都签了协议，Llama 2 也能在它们的云上作为托管服务使用。我认为随着模型越来越大，这部分会越来越重要。虽然这不是我们的主要业务，但如果这些公司要销售我们的模型，我们理应以某种方式分享收益。

70:55关于开源的其他风险，我认为你对权力平衡、以及用更好的对齐技术消除某些伤害的论点确实有道理。我希望 Meta 能有某种框架。其他实验室有这类框架：如果看到某个明确迹象，就不能开源，甚至可能不能部署。把这些标准写下来，让公司做好准备，也让大家知道预期是什么。

71:25从生存风险角度看，这个意见很合理。目前我们更关注实际观察到的风险，主要是内容方面的风险。我们不希望模型帮助人们实施暴力、欺诈或以其他方式伤害别人。讨论生存风险可能在智识上更有趣，但我认为现在更需要投入精力缓解真实伤害，比如有人使用模型去伤害另一个人。对现有模型、下一代模型，甚至也许再下一代模型来说，我猜眼下主要会是这种日常伤害，比如互相欺诈之类。我不想因此忽视这些问题。我们有责任做好风险缓解。

72:33Meta 是大公司，两方面的工作都能做。

说到开源，我很好奇：你认为 PyTorch、React、Open Compute 等开源项目对世界的影响，是不是甚至比 Meta 的社交媒体产品还大？我和一些用户聊过，他们觉得这有可能，因为互联网有很大一部分都运行在这些技术上。

72:55这是个有趣的问题。差不多半个世界在用我们的消费产品，这很难超越。但我认为开源是构建事物的一种强大新方式，也有可能影响更大。这有点像贝尔实验室：他们研发晶体管是为了支持长途电话，后来长途通信确实变得更好，这对他们也很有利。五到十年后问他们发明的最有用东西是什么，他们可能会说：“我们让长途电话成为可能，现在大家都在打长途电话。”但如果一百年后再问，答案可能完全不同。

我认为我们做的很多事情都一样：Reality Labs、一些 AI 项目、一些开源项目。具体产品会演进，有些会逐渐消失，但对人类有益的技术进步会保留下来。这是我们能参与的事情中很棒的一部分。

74:14Llama 模型什么时候会用你们自己的定制芯片训练？

74:19很快，但不会是 Llama 4。我们采取的做法是，先开发能用于 Reels、新闻动态排名和广告推荐的定制芯片。这些任务原本消耗了很多 GPU。迁移到自研芯片后，我们就能把更昂贵的 NVIDIA GPU 留给训练。某个时候我们也希望拥有自己的芯片，先用于训练一些简单模型，最终再训练大型模型。目前项目进展不错，我们正在稳步推出，有长期路线图。

75:19最后一个问题，完全出乎意料：如果让你当 Google+ 的 CEO，你能把它做好吗？

75:24Google+？哎呀，不知道。这是个非常难回答的反事实问题。

75:35好，那真正的最后一个问题：Gemini 发布时，公司里有没有人说过“Carthago delenda est”（迦太基必须毁灭）？

75:43没有，我觉得现在的我们没那么激进。这问题很有意思。问题是，Google+ 没有独立 CEO，它只是公司里的一个部门。你之前问过最稀缺的资源是什么，不过当时问的是钱。我觉得对大多数达到一定规模的公司来说，真正稀缺的是注意力。初创公司可能更缺资本，也可能只做一个项目、资源有限。但公司规模和业务性质发展到某个阶段后，你会同时做很多事情，创造更多价值，却越来越难决定把资源放在哪里、确保各项业务都做好。

公司里总有偶然发生的好事，甚至我都不知道。有时这很棒。但总体来说，组织能力很大程度受 CEO 和管理团队能监督、管理多少事务所限。这一直是我们的重点。正如 Ben Horowitz 所说，要“抓住主要任务，别让主线偏移”，始终专注关键优先事项。

77:14太棒了，这次聊得真好。Mark，非常感谢，聊得很开心。

77:17我也很开心。谢谢邀请。

77:19当然。