Mark Zuckerberg:未来 18 个月内,AI 将编写 Meta 的大部分代码
Mark Zuckerberg — AI will write most Meta code in 18 months
Guests: Mark Zuckerberg
Full transcript · Read the full conversation in order, with its original context.
§01Mark Zuckerberg:未来 18 个月内,AI 将编写 Meta 的大部分代码
“世界会变得更有趣、更古怪,也更不拘一格。”
Zuck 谈:
- Llama 4、基准测试投机,以及开放模型与闭源模型
- 智能爆发、AGI 的商业模式
- DeepSeek/中国、出口管制与特朗普
- Orion 眼镜、AI 关系,以及如何避免被技术奖励机制操纵
§02Llama 4 与其他模型相比如何
Mark,感谢你再次来参加播客。
很高兴来。很高兴见到你。
你上次来时刚发布 Llama 3,现在又发布了 Llama 4。
嗯,先发布了第一个版本。
对。有什么新进展?有什么让你兴奋?有哪些变化?
整个领域变化太快了。我觉得自上次聊过以来,很多事情都变了。现在每月使用 Meta AI 的人数快到 10 亿,这很惊人。我认为今年会是个重要年份,尤其是一旦开始建立个性化循环——我们才刚开始着手——让 AI 结合算法掌握的所有背景信息,例如动态消息、个人资料、社交关系图谱,以及你和 AI 互动的内容。接下来这一点会特别令人兴奋,我对此非常看好。
模型本身也在持续取得令人瞩目的进步。我对 Llama 4 第一批发布感到相当满意。我们宣布了四个模型,目前发布了前两个:中型到小型的 Scout 和 Maverick。
Llama 3 最受欢迎的是 80 亿参数模型。Llama 4 系列里也会有一个类似规模的模型,内部代号叫“小羊驼”。预计未来几个月就会推出。
Scout 和 Maverick 都不错,在智能与成本的比值上属于市面上最高的一批。它们原生支持多模态,效率很高,可以在一台主机上运行。我们设计它们时主要考虑 Meta 内部正在开发的应用场景,重点是高效率和低延迟。这一直是我们的模式:先为自己要做的产品开发模型,再开源,让其他人也能用。我对此很兴奋。
我也很期待即将推出的 Behemoth。它会是我们第一个接近前沿水平的模型,参数量超过 2 万亿。顾名思义,它非常庞大。我们正想办法让它对用户真正有用。它大到我们必须先建设一整套基础设施,才能自行对它进行后训练。
我们现在想弄清楚,普通开发者实际该如何使用这种模型?怎么才能让它实用起来,也许可以把它蒸馏成更合理、易于运行的规模?显然,没人会想在消费级产品里运行这么大的模型。
你也看到了去年 Llama 3 的发展:首发令人兴奋,随后我们又在全年不断迭代。3.1 发布了 4050 亿参数模型,3.2 则加入了多模态能力。今年我们的路线图也差不多如此,所以事情很多。
我想进一步了解这些进展。有人觉得过去一年里,最好的闭源模型和最好的开源模型之间的差距扩大了。我知道 Llama 4 全系列还没发布,但 Maverick 在 Chatbot Arena 排名第 35;在许多主要基准上,同级别的 o4-mini 或 Gemini 2.5 Flash 似乎都胜过 Maverick。你怎么看这种印象?
我有几点看法。首先,我认为今年对开源模型整体来说是很好的一年。回顾去年,Llama 几乎是唯一一个真正有创新力的开源模型;现在这个领域已经有很多优秀模型了,我觉得这很不错。
总体来说,我认为“今年开源模型会普遍超越闭源模型、成为使用最广泛的模型”这个预测大致正在实现。
一个有意思的意外是,结果不只是 Llama 表现好。现在有很多优秀模型。有些方面算是积极,有些方面也有不足,但总体而言是好事。
另一个现象是推理模型的发展,比如你提到的 o3、o4 等模型正在走向专业化。如果你想要最擅长数学、编程或类似任务的模型,那么增加测试时或推理时计算量、从而提供更高智能的推理模型,是一种非常有吸引力的范式。我们也在开发 Llama 4 推理模型,将来会发布。
但对我们关心的许多应用而言,延迟和单位成本所能提供的智能水平更重要。如果主要设计目标是消费产品,人们不想等半分钟才拿到回答。若模型能在半秒内给出通常不错的答案,那就是很好的权衡。
我认为这两条路线都很重要。我很看好未来把推理模型与核心语言模型整合起来,Google 最近一些 Gemini 模型就朝这个方向发展,我觉得很有前景。除此之外,整个领域还会出现各种不同的发展。
你也提到了 Chatbot Arena,我觉得这很有意思,因为它凸显了基准测试的难题:我们如何判断模型分别适合做什么?
过去一年,我们一直努力让模型更多围绕 Meta AI 产品的核心使用场景来优化。开源模型基准以及 LM Arena 这类评测的问题在于,它们通常偏重很特定的一组用途,而这些用途往往不是普通用户在产品中的真实行为。它们评估的内容,常常和产品里人们真正关心的事情不一样。
因此我们发现,过度围绕这类评测优化,会把我们带偏,最终无法打造质量最高、使用量最大、用户反馈最好的 Meta AI 产品。
所以,我们正努力以用户反映的产品价值为核心方向,包括他们说自己想要什么、实际使用行为揭示了什么,以及我们从现有产品体验中学到了什么。有时这些基准并不匹配,我认为其中不少也很容易被刷分。
在 Arena 上,像 Sonnet 3.7 这样的优秀模型排名并不靠前。我们的团队相对容易就调出一个版本的 Llama 4 Maverick,让它排得很高;但我们发布的纯模型没有针对那类评测调优,所以排名靠后。看这些基准要谨慎,我们主要还是会以产品表现为准。
你认为有没有一种基准,能客观衡量你所说的用户价值、并在不同模型间比较?你会说:“我希望 Llama 4 在这个基准上胜出。”
我们的基准基本上就是用户在 Meta AI 中获得的价值。
但你无法把它和其他模型作比较。
或许可以,因为我们可能会运行其他模型并进行评估。开源的优势之一就是有很多人能检验你的模型、指出问题:“你的模型哪些方面好,哪些方面不好?”
现实是,目前所有模型都在针对略有不同的需求组合进行优化。各家领先实验室都在追求通用智能、超级智能,或者你想怎么称呼都行;目标是创造一个丰裕的世界,让每个人都能用超人级工具实现想做的事。这会极大赋能个人,并带来巨大的经济效益。
不管你怎么定义,这都是很多实验室追求的方向。但毫无疑问,不同团队优化的重点各不相同。我觉得 Anthropic 专注于编程和编程智能体;OpenAI 最近似乎更偏向推理。
如果让我猜,我认为最终使用最广泛的会是一种快速、交互自然、原生多模态,并能融入你一天生活的模型,让你按自己喜欢的方式与它互动。
我想你体验过我们即将发布的新版 Meta AI 应用。一个有趣功能是全双工语音演示,目前还很早期,这也是为什么我们还没把它设为默认语音模式。但它对话起来非常自然,让人觉得很有趣,也很吸引人。
把这种能力与合适的个性化结合,会带来一种产品体验。再过几年,我想我们会在一天之中不断和 AI 交谈,讨论各种想法。
你会拿着手机,刷动态消息时和它说话,它会提供背景信息、回答问题,也会在你使用消息应用与人交流时提供帮助。最终我认为,我们日常生活中会戴上眼镜或其他 AI 设备,一整天都能自然、无缝地与 AI 互动。
这就是我们的长期目标。无论什么基准能帮助人们判断产品质量是否达到他们愿意互动的水平,最终对我们来说,最重要的都是这一点。
§03智能爆发
我有机会体验了 Orion 和 Meta AI 应用,语音模式非常流畅,令人印象深刻。
谈到不同实验室优化什么,我试着最有力地呈现他们的观点:很多实验室认为,一旦软件工程和 AI 研究实现完全自动化,就能引发智能爆发。数百万个软件工程师智能体副本可以复制 Llama 1 到 Llama 4 之间的研究进步规模,但把几年压缩成几周或几个月。因此,尽快完成软件工程闭环非常重要,这样就能率先实现超级人工智能。你怎么看?
我个人觉得这个想法很有说服力。这也是我们大力投入编程的原因。Meta 内部正在开发多种编程智能体。由于我们主要不是做企业软件的公司,这些工具主要是为自己开发的。
同样,我们有明确目标,并不是要打造一个通用开发者工具,而是要开发专门推进 Llama 研究的编程智能体和 AI 研究智能体,并把它们完整接入我们的工具链。
这很重要,也会成为未来工作方式的重要部分。我猜未来 12 到 18 个月内,投入这些工作的代码大多数会由 AI 编写。我说的可不是自动补全。
现在的自动补全很不错:你写一段代码,它能帮你补完一部分。我说的是更进一步:你给它一个目标,它能运行测试、改进代码、发现问题,写出比团队里普通优秀工程师质量还高的代码。我认为这肯定会是一个非常重要的发展。
但我不知道这是不是全部。它会成为一个庞大的产业,也会是 AI 开发的重要组成部分。但我认为……这个领域非常庞大,不会只有一家公司用一种优化目标来满足所有人。许多不同实验室会在不同领域开展前沿工作:有些偏企业或编程,有些偏生产力,有些偏社交或娱乐。
在智能助手领域,有些会更重视信息和生产力,有些则更偏陪伴。还有很多产品只是为了好玩、有趣,并出现在你的动态消息里。
这个领域空间非常大。走向 AGI 的未来之所以有意思,部分原因是许多基础发明会被共同需要,但也有许多东西尚待创造。我猜不同团队会逐渐更加专业化。
我很惊讶你基本认同智能爆发会发生,最终会出现类似超级智能的东西。如果我理解错了请纠正我。既然如此,为什么还要做个人助理之类的产品?为什么不先造出超人类智能,再处理其他事情?
我认为那只是整个飞轮中的一个部分。对于快速起飞的观点,我通常不太赞同的一点是:建设物理基础设施需要时间。
如果要建一个吉瓦级计算集群,就得花时间。英伟达需要时间让新一代系统稳定下来,之后还要解决网络问题、建造大楼、拿到许可、获得能源。无论用燃气轮机还是绿色能源,都需要完整的供应链。
上次来节目时我们也谈过这个。我认为其中一些瓶颈来自物理世界,也受人类时间尺度约束。当技术栈某个部分变得更智能时,马上又会撞上另一组瓶颈。这就是工程的常态:解决一个瓶颈,就会出现下一个。
系统要想真正好用,还有一个瓶颈或关键因素:人们需要逐渐学会如何使用它,并在使用中形成反馈循环。这些系统不会一出现,大家就自然知道如何使用。人与 AI 助手会共同演进:人们学习怎样更好地使用它们,同时 AI 助手也在学习人们关心什么,开发者则持续改进产品。
系统还能逐步积累背景信息。一两年后你醒来时,助理可能提起两年前你谈过的事情,这会很有趣。即使第一天就发布了完美产品,它也不可能知道你两年前说过什么,因为那时它还不存在。
所以我认为,智能能力正在大幅增长,人们采用 AI 助手的速度也非常快,由此形成学习反馈和数据飞轮。此外,还要建设供应链、基础设施和监管框架,才能扩大实体基础设施。到某种程度,这些因素都不可或缺,不能只看编程能力。
有个例子很有意思。几年前,我们广告团队可能做过一个项目,用来自动化广告排序实验。这是个范围很受限的环境,不是开放式编程任务。它会查看公司历史上工程师在广告系统里做过的所有实验,分析哪些有效、哪些无效及其结果,再提出新的实验假设,以改善广告系统的表现。
我们发现,瓶颈在于运行实验的计算资源。按照目前提出的假设数量,即便只靠现有广告团队的人力,我们已经有了比可用算力、甚至可用测试用户群更多的好点子。
即使有 35 亿人使用你的产品,每个实验仍要达到统计显著性,可能需要几十万或几百万人参与。实验能进行的数量有上限。所以即便只依靠现有员工,我们也无法测试所有想法。
因此,单纯增加测试数量不一定会带来相应收益。我们需要先达到一个阶段:AI 提出的假设,平均质量要高于团队里最优秀的人所提出、且已经足以进入测试的那些假设;达到这一步后,它才会产生哪怕边际上的价值。
我认为我们很快就能做到。但这并不是“太好了,AI 会写代码,一切马上都会大幅改善”。现实世界里还有其他瓶颈需要克服。
之后还得有算力和人力来测试。随着 AI 提出的假设逐渐变好,五年或十年后,会不会再没有任何人能提出比 AI 更好的假设?也许会。那种情况下,价值显然会由 AI 创造。但这并非第一步就能达到的状态。
如果你认同智能会朝这个方向发展,那么看好 Meta 的理由显然之一是我们的分发渠道。我们也可以利用这些渠道学习更多信息,帮助训练模型。你刚才提到 Meta AI 应用现在有 10 亿活跃用户。
不是独立应用。我们刚推出的 Meta AI 应用是一个独立产品,供想使用的人体验,会很有意思。我们还在里面试验一些新的想法,我觉得很新颖,值得讨论。
不过我主要指的是我们的其他应用。Meta AI 最常见的使用场景其实是在 WhatsApp 上,而 WhatsApp 的用户大多在美国以外。美国用户刚超过 1 亿,但 WhatsApp 并不是美国的主要通讯工具,iMessage 才是。所以美国人可能低估了 Meta AI 的使用量。独立应用会很重要,部分原因是美国在很多方面都是关键市场;既然 Meta AI 主要通过 WhatsApp 使用,而 WhatsApp 在美国并不普及,我们就需要另一种方式,让美国用户也能直接获得一流体验。
我想补充我之前的问题。一个看空观点是,如果 AI 的未来不只是回答问题,而是成为虚拟同事,那么目前 WhatsApp 里的 Meta AI 是否能提供训练自主程序员或远程员工所需的数据,就不清楚了。如果是这样,现在谁拥有更多大语言模型分发渠道,是不是就没那么重要?
我还是认为将来会有许多不同的方向。想象一下互联网刚开始发展时,有人问:“互联网的核心会是什么?知识工作还是大型消费应用?”
后来两种都有了,不必二选一。世界庞大而复杂。通常不会由一家公司把所有事情都做完。回到你的问题,大多数人不会在 WhatsApp 里编程,我也不认为在 WhatsApp 里写代码会成为主要使用场景。不过我觉得,人们会让 AI 做很多工作,最后由 AI 编写代码,而他们自己未必知道。这是另一回事。
Meta 内部确实有很多人在写代码,也会使用 Meta AI。我们有一个叫 MetaMate 的内部工具,还在围绕它开发多种编程和 AI 研究智能体。这些工具有自己的反馈循环,我认为它们能有效加速相关工作。
但发展方向仍然很多。AI 几乎肯定会推动知识工作和编程领域的大革命。我认为它也会成为下一代搜索和获取信息的方式,帮助人们完成更复杂的信息任务。
我也觉得它会很有趣。人们会用 AI 娱乐自己。今天互联网里有大量表情包和幽默内容。我们手边的技术如此强大,想想人类有多少精力都用来娱乐、设计、推动文化发展,以及用幽默解释观察到的文化现象,这很惊人。我认为未来也会是这样。
看看 Instagram 和 Facebook 的发展。十年、十五年、二十年前,内容主要是文字。后来大家都有了带相机的手机,内容大多变成了照片。再后来,移动网络快到能让人顺畅地在手机上看视频,不再一直缓冲,视频体验也变好了。
过去十年,大部分内容都转向视频,现在人们在 Facebook 和 Instagram 上的大部分时间也都花在视频上。但五年后,你觉得人们还会只是坐着刷视频吗?不会,内容会变得可以互动。你刷动态时,可能先看到一段像 Reels 的内容,但你可以和它说话、互动,它会回应你或改变内容;也可以像进入游戏一样参与其中。这些都将由 AI 驱动。
我的意思是,未来会有许多不同的产品。我们有雄心,也在开发很多方向,但我不认为任何一家公司会把所有方向都做完。
§04AI 朋友、治疗师与恋人
说到 AI 生成内容和 AI 互动,人们已经和 AI 治疗师、AI 朋友,甚至 AI 恋人建立了有意义的关系。随着 AI 变得更独特、更有个性、更聪明、更有临场感、也更幽默,这类关系只会更加深入。
人们会和 AI 建立关系。我们怎样才能确保这些关系是健康的?
很多问题只有等我们观察到实际行为后才能回答。事先最重要的,大概是每个阶段都提出这个问题并认真对待。但我也认为,如果过早规定“这些事不好”,就可能扼杀它的价值。
人们会使用对自己有价值的东西。我设计产品时的核心原则之一是:人很聪明,他们知道什么对自己的生活有价值。当然,产品偶尔也会出问题,我们需要认真设计,尽量减少伤害。
但如果你认为某件事对用户不好,而用户觉得它很有价值,根据我的经验,大多数时候用户是对的,你是错的。只是你还没建立起理解框架,不知道他们为什么认为这件事有价值、对生活有帮助。这是我看待问题的主要方式。
我确实认为人们会把 AI 用在许多社交场景里。我们现在看到的一种主要用途,就是和 Meta AI 讨论生活中难以面对的对话,比如:“我和女友有矛盾,帮我想想该怎么谈。”或者:“我需要和老板进行一场艰难的谈话,该怎么说?”这确实很有帮助。随着个性化循环启动,AI 越来越了解你,这类体验会很吸引人。
我做社交媒体这么多年,有一项数据一直让我觉得很不可思议:美国人平均认为自己真正的朋友不到三位,但大多数人希望有意义的朋友多得多,我记得大约是 15 个。最后你会想:“好吧,我太忙了,没法再照顾更多人际关系。”
但普通人希望拥有比目前更多的联系。人们会担心:“AI 会不会取代现实中的面对面关系?”我的默认判断大概是否定的。能面对面交流时,真实关系有许多更好的地方。但现实是,人们拥有的联系往往少于他们想要的,也常常比自己希望的更孤独。
所以我认为,有些现在可能带着一点污名的互动,随着时间推移,社会会找到合适的语言来说明它们为何有价值、参与其中的人为何是理性的,以及它们怎样丰富了生活。但这个领域还很早期。目前只有少数公司在做虚拟治疗师、虚拟女友之类的产品,而且呈现形式还很弱:打开后只是一个治疗师或聊天对象的图片,有时配上一些粗糙动画,还称不上真正的具身化。
你看过我们在 Reality Labs 做的 Codec Avatars,它会让对方看起来像真人,那才是未来的发展方向。人们可以一直和 AI 进行视频通话。手势也很重要,真正交谈时,超过一半的信息并不是靠说出口的话传递的,而是非语言信息。
我前几天有机会体验 Orion,觉得非常惊艳。总体上我对这项技术很乐观。像你提到的,我在这方面相当自由意志主义。我通常认为,人们做某件事,往往是因为觉得它对自己有好处。不过我也不确定,如果有人在用 TikTok,他们是否会觉得自己花在上面的时间刚刚好。
我总体乐观,是因为如果未来真的进入 AGI 时代,我们也需要用这类工具提升自身能力。而且,世界也可能因此增添更多美好,比如你到处都能看到吉卜力风格的东西。
你们团队展示的一个主打场景让我有点担心:我坐在早餐桌前,视野边缘不断有 Reels 刷过;也许未来另一侧屏幕上还有我的 AI 女友。我担心我们正在消除所有阻力,让技术更容易劫持人的奖励机制。怎样才能确保五年后不会变成这样?
我还是认为人们清楚自己想要什么。你看到的那个体验只是为了展示多任务处理和全息影像。我同意未来不该让东西一直在视野角落争抢注意力,我不认为人们会喜欢这样。
我们设计眼镜时非常留意这一点。眼镜最重要的功能可能是存在感尽量低、戴起来像一副好眼镜。顺便说一句,我认为 Ray-Ban Meta 产品成功,部分原因正是如此。它很适合听音乐、打电话、拍照片和视频;想用 AI 时,AI 就在那里;不用时,它只是一副好看、大家喜欢戴的眼镜,能很好地融入生活。
我猜,这会成为增强现实时代一个非常重要的设计原则。我觉得最不可思议的是,数字世界在我们的生活中如此重要,可我们访问它的唯一方式,竟然还是这些实体屏幕:手机、电脑,或者挂在墙上的大电视。这些都是巨大的实体设备。
我觉得现在的技术已经发展到这种程度,物理世界和数字世界应该真正融为一体。全息叠加层能让我们做到这一点。不过我同意,相关设计原则的一个重点会是人们如何彼此互动。你可以把数字物件带入互动场景,自然地做很多有意思的事情。
比如,我想给你看一件东西,就可以调出一个屏幕,我们能和它互动,它可以是三维的,也能一起把玩。你想玩纸牌?好,这里有一副牌,我们可以一起玩。如果我们两个人在同一空间,还有一位朋友通过全息影像加入,他也能参与。
但在那种世界里,就像你不希望现实空间堆得乱七八糟、因为那会让人心理疲惫一样,我也不认为人们会希望数字与现实融合的空间变成这样。这会成为一种新的审美规范,需要逐步摸索,但我相信我们会找到办法。
§05DeepSeek 与中国
回到 AI 的话题,你刚才提到实体基础设施可能是一个很大的瓶颈。看看 DeepSeek 等开源模型:DeepSeek 目前的算力比 Meta 这样的实验室少,但你也可以说,它已经能与 Llama 模型竞争。
如果中国在实体基础设施、工业扩产、增加电力和数据中心方面更有优势,你有多担心他们会在这场竞争中胜过我们?
这是一场真实的竞争。你已经看到产业政策正在发挥作用:中国正在增加电力供应。因此美国确实需要简化数据中心建设和能源生产流程。否则,我认为我们会处于明显劣势。
与此同时,芯片等领域的出口管制显然在某种程度上奏效了。DeepSeek 刚引发讨论时,大家都说:“它做了许多很厉害的底层优化。”确实如此,这很了不起。
但接着你会问:“为什么 DeepSeek 需要这么做,而美国实验室不需要?”因为他们只能使用英伟达获准在中国销售、性能有所削弱的芯片。DeepSeek 不得不花费大量精力和时间进行底层基础设施优化,而美国实验室不必这么做。
他们在文本方面取得了不错的成绩。DeepSeek 是纯文本模型,基础设施很出色,文本结果也很出色。但现在每个重要新模型都支持多模态,包括图像和语音,而他们的模型还没有这些能力。
那么这是什么原因?我不认为是他们没有能力做到,而是因为出口管制迫使他们把精力花在基础设施优化上,以克服芯片受限的问题。
如果比较 Llama 4 和 DeepSeek——我们的推理模型还没推出,所以 R1 还无法直接比较——但在 DeepSeek 擅长的文本任务上,我们基本处于同一水平,而且 Llama 用的模型更小,因此文本任务上的单位智能成本更低。多模态方面,我们则处于领先,而 DeepSeek 的模型还没有这些能力。
所以,拿 Llama 4 和 DeepSeek 相比,我们的模型表现不错。我认为人们总体会更愿意使用 Llama 4。不过值得注意的是,DeepSeek 团队显然很优秀。你提出算力和芯片是否可及的问题也很重要,因为各家实验室的成果和竞争走向,在一定程度上受这些条件影响。
§06开源 AI
Sam Altman 最近在 X 上发帖说,OpenAI 将推出一个开源前沿推理模型。我觉得他的意思之一是,他们不会设定很荒唐的限制,比如只有用户数少于 7 亿才能使用。
DeepSeek 使用 MIT 许可证;我认为 Llama 许可证里有一些额外条件,比如使用它的应用必须注明“基于 Llama 构建”,用 Llama 训练出的模型名称也必须以“Llama”开头。你怎么看这个许可?对开发者来说,它是不是应该更宽松一些?
我们基本上开创了开源大语言模型这条路线,所以我不认为许可证有多苛刻。当我们开始推动开源时,行业里有过很大争论:开源到底可不可行?它能否做到安全可信?开源模型能不能足够有竞争力,让大家真正愿意在意?
当时很多艰苦工作主要由 Meta 的团队完成,行业里也有其他人参与,但真正大规模推动开源 AI 的是 Llama 模型。
既然我们投入这么多精力,如果微软、亚马逊和谷歌这类大型云计算公司转而销售我们的模型,至少应该在他们这样做之前和我们谈一谈,看看可以采用什么商业合作安排。
我们的许可证通常并不是要阻止别人使用模型。我们只是觉得,如果你是这类公司,或者是苹果,不妨先来谈谈你想做什么,看看能否找到一起推进的合作方式。我认为到目前为止,这都还可以。
如果整个开源行业朝某个方向发展,出现很多其他优秀选择,而许可证最终让人们不愿使用 Llama,那我们就必须重新评估策略,看看那时什么做法最合适。但我认为目前还没有到那一步。
实际上,我们还没有遇到公司来找我们说:“我们不想用这个模型,因为许可证规定用户达到 7 亿就必须和你们谈。”这种说法目前主要来自开源纯粹主义者,他们会问:“这算不算足够纯粹的开源模型?”
从开源运动一开始,这类争论就一直存在。比如 GPL 许可证与其他许可证的争论:凡是接触开源的软件,都必须开源吗?还是说别人可以拿去用在不同场景里?我相信今后还会继续有类似讨论。
不过,如果你花数十亿美元训练这些模型,那么要求其他大型公司——它们和我们的规模相当,完全负担得起建立合作关系——在使用模型前先与我们沟通,我认为是很合理的。
假设其他模型也非常优秀,开源模型种类繁多,因此你在某种程度上已经完成了使命;也许别人的模型更擅长编程。
那你们会不会有一天说:“开源生态已经很健康,竞争也很充分;无论是 Meta 内部的软件工程,还是在我们的应用中部署模型,我们都可以直接用别人的模型,不一定非得用 Llama。”
我们会做很多事情。退一步说,我们自己开发大型模型,是因为想精确打造自己需要的东西。世界上没有其他模型完全符合我们的需求。
如果其他模型是开源的,你可以对它们做各种微调,但仍然必须接受它们的模型架构。不同架构会带来不同的尺寸取舍,影响延迟和推理成本。以我们的使用规模来看,这些差异非常重要。
我们之所以把 Llama Scout 和 Maverick 设计成特定规模,是有原因的:它们能放在一台主机上运行,而且延迟符合我们的要求,尤其是我们开发的语音模型。我们希望这种能力融入从眼镜到各类应用、再到 Meta AI 应用的所有产品。
只有自己打造模型,才能真正掌握自己的发展方向。但 AI 将应用于每家公司、每件事情。当我们开发大型模型时,也必须选择要针对哪些内部用途进行优化。
那么在某些具体场景中,我们会不会说:“好,也许 Claude 更适合某个团队正在使用的特定开发工具。”那就用它,很好。我们不想自缚手脚;我们有很多不同的工作要做。
你还问过,如果别人也在做开源,我们继续投入是否还重要。我对此更担心一些。你必须问自己:现在这些加入开源的人,如果我们没有先推动开源,他们还会这么做吗?
我觉得有几家公司看出越来越多开发正转向开源,就想:“糟了,我们必须赶紧上车,否则会输。”如果你只有闭源模型 API,而越来越多开发者不想用 API,这就会成为问题。
所以你会看到一些其他公司开始尝试开源,但他们究竟只是浅尝辄止,还是像我们一样把开源视为根本方向,并不清楚。Android 就是个好例子:它起初是开源项目,如今却几乎没有真正的开源替代品,而且 Android 本身也越来越封闭。
所以如果你是我们,就必须担心:一旦我们不再推动行业朝开源方向发展,其他人可能只是因为想和我们竞争,才暂时跟着做。他们过去已经表现出,如果开源不复存在,他们原本会选择什么。那不是开源。我们必须谨慎,不能假定未来构建公司技术时,其他人还会一直这么做。
我还听你说过,以美国模型如 Llama 为基础建立标准很重要。我想理解你的逻辑。某些网络平台确实会围绕特定基础形成依赖,比如苹果 App Store 就有大量服务建立在它之上。
但如果你围绕 DeepSeek 搭建了一套架构,似乎也可以轻松换成 Llama 4,尤其是不同代模型之间也在变化:Llama 3 不是 MoE 架构,Llama 4 则是。
为什么你认为这些产品和技术会以这种依赖某个特定标准的方式发展?
我不太确定,你说的“依赖”具体是什么意思?
我的意思是,大家必须基于 Llama 构建,而不是笼统地基于大语言模型构建,因为这会决定未来的标准。
我认为这些模型会编码某些价值观和看待世界的方式。
很早以前我们做过一个有趣实验:把早期版本的 Llama 翻译成法语,或者其他语言。
法国用户的反馈是:“它听起来像一个学会说法语的美国人,不像法国人。”我们问:“是法语说得不好吗?”他们说不是,法语没有问题,只是它看待世界的方式有点美国化。所以我认为,模型会悄悄带入一些这样的特征。
随着模型越来越先进,它们应该能够体现世界各地不同的价值观。这也许不是特别深刻的例子,但我认为足以说明问题。
我们测试过的一些模型,尤其是中国开发的模型,带有某些特定价值观,而且不是稍微微调一下就能改变的。语言模型,以及内含某种世界模型的系统,会带有更多价值取向。
推理过程本身或许也带有价值观。不过推理模型有一点好处:它们针对可验证的问题进行训练。比如模型在做数学题时,可能就不必太担心文化偏见。很难想象某个外国推理模型会通过狡猾地解一道数学题来植入什么东西。
但编程领域又有另一类问题,因为它同样是可验证的任务。你得担心:如果使用的模型和外国政府有某种关联,它会不会在代码里埋下漏洞,供对方情报机构日后利用?未来你可能会用一个外国模型来保护系统,结果某天醒来,系统到处都有那个国家知道、你却不知道的漏洞,甚至模型会在某个时刻启用漏洞。
这些都是真实的问题。我很想研究这些,因为在我看来,开源最有意思的一点是能够蒸馏模型。对大多数人来说,开源的主要价值并不只是下载一个现成模型,然后说:“好,Meta 做了这个版本的 Llama,我就把它原样放进自己的应用里。”
如果你的应用只是直接运行我们的模型,那并没有做出任何不同。至少你得对它进行微调,或尝试把它蒸馏成另一个模型。像 Behemoth 这种模型的全部价值,在于能把极高的智能蒸馏到更小、更适合实际运行的模型里。
这就是蒸馏的妙处。我认为,过去一年里它逐渐显露出强大技术的潜力,比大多数人预想的效果都好。你可以从大得多的模型中提取大约 90% 或 95% 的智能,再让它在只有十分之一大小的模型里运行。当然,智能不是 100% 保留;但以十分之一的成本获得 95% 的智能,对很多应用来说已经很不错。
另一个有意思的变化是,开源社区变得更加多样化,现在不只有 Llama,也有其他模型。你可以从多个来源进行蒸馏。比如 Llama 在某方面很强,架构也许非常适合多模态推理,效率也更高;但另一个模型更擅长编程。那你就可以从两者蒸馏,针对自己的用途,打造一个比任何单一模型都好的模型。这很不错。
但你必须解决安全问题,确保蒸馏过程安全可靠。我们对此投入了大量研究和时间。我们发现,涉及语言的内容风险很高,因为其中嵌入了大量价值观。除非你不在意继承来源模型的价值观,否则就不该直接蒸馏一个完整的语言世界模型。
但在推理方面,如果把范围限制在可验证领域,再运行代码质量和安全过滤器,就能达到相当不错的效果。无论使用开源的 Llama Guard,还是我们开发的 Code Shield,都可以把不同输入纳入模型,并确保输入和输出安全。
之后还要大量进行红队测试,让专家检查蒸馏后的模型:“它有没有做出我们不想要的事情?”我认为结合这些技术,可以相当安全地在可验证领域蒸馏推理模型。我们对此很有信心,也做了大量研究。
但如何做好蒸馏仍是个大问题,因为其中有巨大的价值尚待释放。同时,我也认为不同模型确实带有某种根本性的偏向。
§07AGI 的变现方式
说到尚待释放的价值,你觉得 AI 最合适的变现方式是什么?数字广告当然利润丰厚,但与远程工作创造的总 GDP 相比,它占比很小。即使只是提高生产力而不取代工作,价值也可能达到数十万亿美元。广告会不会不是主要模式?你怎么看?
就像我们之前谈过的,会出现许多不同应用,不同应用适合不同的商业模式。
如果想向用户提供免费服务,广告很有效。服务免费,就得找到其他收入来源,而广告能让用户不付费就获得很好的产品。顺便说,现代广告系统做得好时,人们有时还会觉得广告本身也有价值。
你必须擅长排序,也必须有足够多的广告库存。如果系统里只有五个广告主,无论排序做得多好,也未必能给用户展示感兴趣的内容。但如果有一百万个广告主,而且你善于从海量内容里找出用户感兴趣的项目,就更可能匹配到有吸引力的广告。
所以广告确实有适用场景,但显然还会有其他商业模式。有些服务成本更高,根本不可能免费提供。其实一直以来都是如此。
社交媒体免费并依靠广告,但看 Netflix、ESPN 之类的内容就要付费,因为制作内容成本很高,单靠广告可能无法覆盖制作费用。基本上,你就得付费才能访问。
这种取舍是,使用人数会少一些。使用人数不再是数十亿,而是数亿。我觉得 AI 也是类似的价值分层。不是每个人都需要一名软件工程师、或一千个软件工程智能体;但如果你确实需要,就愿意为此付出数千、数万,甚至数十万美元。
这说明未来会出现各种各样的产品和商业模式。对 Meta 的消费级产品,我们肯定希望提供免费服务,我相信最终会由广告支持。但我们也希望建立一种商业模式,让用户可以按需使用任意规模的计算资源,做免费服务不适合提供的更复杂工作;这可能需要高级付费服务。不过我们的基本价值观是尽可能服务全世界更多人。
§08CEO 的角色
你怎么管理所有这些项目?其中一些我们今天谈过,还有很多我甚至不知道。作为负责一切的 CEO,你的管理方式可以从直接告诉 Llama 团队“超参数该怎么设”,到只给一个目标“把 AI 做得更好”,跨度很大。
项目这么多,你如何判断自己在哪些事情上能发挥最大价值,并监督它们?
我有很多时间用来招募优秀人才,也会处理跨团队的事情。比如开发 Meta AI,又想把它接入 WhatsApp 或 Instagram,就得让这些团队协作。随后会出现很多具体问题:WhatsApp 里的 Meta AI 对话要像其他 WhatsApp 对话,还是像其他 AI 聊天体验?两者有不同的交互习惯。如何让这些东西融入我们正在做的一切,是一类很有意思的问题。
我们还有另一大块工作是基础设施建设。要搭建一个吉瓦级计算集群,会影响基础设施扩建方式,也会影响如何与各州打交道。对公司财务也有影响:现在全球经济存在很大不确定性,我们是否要继续大举投资基础设施?如果要投,公司的其他方面需要作出哪些取舍?这类决定确实很难交给别人。
还有品味和质量的问题:什么程度才算好到可以发布?总体上,我是公司的把关人,但也有很多其他同事品味很好,能为不同产品把关。
AI 很有意思,因为相比我们做的其他事情,它更由研究和模型驱动,而非由产品驱动。你不能先设计好想要的产品,再要求模型配合;必须先设计模型和所需能力,然后观察它涌现出什么特性,再思考:“既然它这样运作,我们还能做什么新产品?”归根结底,人们想用最好的模型。
这部分解释了我们为什么要打造最个性化、语音体验最好、反应最快的 AI。这些能力需要整个系统共同设计。因此我们开发全双工语音,也研究个性化:既要从用户和 AI 的互动中提取有用记忆,也要接入 Meta 的其他系统。我们设计特定模型,也是为了满足这类规模和延迟要求。
§09大科技公司是否在向特朗普靠拢?
说到政治,外界觉得一些科技公司领导人正在向特朗普靠拢。你和其他人向他的就职活动捐了款、与他同台,我记得你们还和解了一起诉讼,结果向对方支付了 2,500 万美元。
这背后发生了什么?这是与政府打交道的成本吗?该如何理解?
我的看法是,他是美国总统。作为一家美国公司,我们默认应该努力与执政政府建立有效关系。过去我们也支持过历届政府。我曾公开表达对前一届政府的一些不满,因为他们几乎不和我们或更广泛的商界沟通。
坦白说,在一些议题上取得进展,这种沟通是必要的。如果没有对话,政府也不愿把这些事情列为优先事项,我们就无法建设所需规模的能源设施。
很多人想替这件事编一个故事,说我们正在朝某个方向靠拢。但我们的目标是打造优秀产品,并希望与各方建立有效关系。我就是这么看,我猜大多数人也这么想,不过我不能替他们发言。
你过去曾公开谈过,自己如何重新思考在内容审核事务上与政府接触、并对政府让步的方式。
那你如何看待 AI 治理?如果 AI 像我们认为的那样强大,政府一定会参与。最有成效的做法是什么?政府应该考虑什么?
过去十年,我的大部分相关发言都围绕内容审核。这段经历很有意思,时代变化也很特别,网络内容审核出现了许多新问题。
其中一些问题促成了有益的新系统,例如我们的 AI 系统能够识别国家行为体试图干预彼此选举。我认为我们会继续完善这类系统,整体效果是积极的。
但另一些方面,我们走错了路。我认为事实核查不如 Community Notes 有效,因为它不是适用于互联网规模的方案。事实核查员不够多,公众也不信任特定核查员。我们需要更可靠的系统,而我认为 Community Notes 更合适。
我真正想表达的是,过去我可能过于听从媒体批评或政府意见,但在某些事情上,他们其实并没有相应权力。作为一家公司,我们试图建立一些系统,让自己不必亲自决定所有内容审核事项。
过去十年里,我们逐渐成熟,认识到自己是一家有影响力的公司,就应该承担必须作出的决定。我们应该听取反馈,但不应过度服从那些其实无权替我们决策的人。最终是我们身在决策位置,就必须对自己的决定负责。
这是一个逐渐成熟的过程,有些时候也很痛苦,但我认为公司因此变得更好了。
关税会不会提高美国数据中心的建设成本,并把扩建计划转移到欧洲和亚洲?
很难知道结果会怎样。我觉得这还处于早期阶段,现在很难判断。
你一周里最能发挥杠杆效应的一小时是什么?那一小时你做什么?
我不知道。每周都不太一样。最有杠杆效应的事情大概不可能每周都相同;否则,严格来说,我每周应该花不止一小时做那件事。
我不知道。这份工作有趣的一部分,也是这个行业变化很快的一部分,就是事情不断变化。现在的世界和年初、半年前,甚至去年年中都很不一样。很多事情都有了实质性进展,自我们上次见面以来,局势变化很大。大概是一年前,对吧?
对。你刚才说,招募人才是你能做的高杠杆事情之一。
是的,非常高杠杆。
§10生产力提升 100 倍
你刚才说,到今年年底,这些模型就能达到中级软件工程师的水平。如果两年内软件生产力提高 100 倍,可能实现哪些现在做不到的事情?
会有哪些新东西?这个问题很有意思。这场谈话的一个主题是,AI 将释放出海量创造力。
看看过去 100 到 150 年人类社会和经济的发展:人们最初主要从事农业,大部分精力都用来养活自己;如今,这一比例越来越小。满足基本物质需求所耗费的人类精力也越来越少。
这种转变带来了两方面影响:一方面,更多人从事创意和文化活动;另一方面,人们总体工作时间更少,花在娱乐和文化上的时间更多。我认为,随着这一趋势继续发展,这种变化几乎肯定也会延续。
这不只是拥有一个超强软件工程师后一两年内会发生的变化。但随着时间推移,如果每个人都有超人级工具来创作各种内容,就会出现令人惊叹的多样性。一部分会用于解决难题,例如攻克疾病、推动科学、开发让生活更好的新技术。
但我猜,其中很大一部分最终会用于文化、社交和娱乐。就像过去十年网络迷因的变化一样,世界会变得更有趣、更古怪,也更不拘一格。这会让生活变得更丰富、更有层次。说来也有意思,这些内容还能帮助人们更好地建立联系。我现在一天到晚都会在网上看到有趣的东西,再发到群聊里,分享给我关心、也觉得会喜欢它们的人。
今天,人们能够创作各种媒体内容,表达非常细腻、具体的文化观念,这很棒。未来这方面还会继续发展。它也能推动社会进步,即使它不像治愈疾病那样属于“硬科学”。
如果从 Meta 社交媒体的角度看,我们认为未来人们确实会花更多时间做这些事。体验会更好,也会帮助人们建立联系,因为它能让大家表达不同想法。
世界会变得更复杂,但我们的技术,尤其是表达文化的技术,会更擅长用一小段有趣的视频片段来呈现这些复杂内容。我觉得这很好。
至于明年会怎样,我不知道。还有一点值得谈:至少在可预见的未来,我倾向于认为 AI 会增加人们工作的需求,而不是减少工作。人们可以自行选择想花多少时间工作。
举个最近讨论过的有意思的例子。每天使用我们服务的人将近 35 亿。我们长期面对的一个问题是:如何提供客户支持?
现在用户可以写邮件给客服,但我们从未认真考虑过提供电话支持,让用户直接打电话。或许这就是免费服务带来的限制:每位用户产生的收入太低,无法支撑电话客服的商业模式。
而且每天有 35 亿人使用服务,来电数量会大得惊人,可能是世界上最大的呼叫中心,光人员成本每年就要 100 亿到 200 亿美元。因此我们从未认真考虑过,因为看起来完全不划算。但随着 AI 进步,它将能够处理大量用户的问题。
也许不是全部,或许十年后才能全部处理;但按三到五年的时间尺度来看,它已经能应付很多情况。这有点像自动驾驶汽车:它能在很多路况下行驶,但多数情况下还不能独自完成整段旅程。二十年前我们刚开始讨论自动驾驶时,很多人以为卡车司机的工作会消失,但如今卡车司机反而比当年更多。
回到客服例子,让人工客服为所有人提供电话服务并不划算。但假设 AI 能处理 90% 的来电,处理不了时再转给人工。如果把客服成本降到原来的十分之一,这项服务或许就变得可行了,那会很不错。所以最终结果可能是,我们反而会雇用更多客服人员。
人们普遍相信 AI 会让工作消失,但技术发展史并非如此。通常,新技术能消除 90% 的工作,结果反而让人们想雇用更多人,而不是更少。
最后一个问题:今天世界上,你最常找谁征求建议?
天哪。我觉得我的风格是广泛听取许多顾问的意见,而不是只找一个人。
我们有一支很棒的团队,公司里有很多人,也有董事会成员。行业里还有很多人在做新事情,不存在一个唯一的人选。不过这很有意思。世界变化很快,能和自己喜欢的人一起做有趣的事,本身就很棒。对我来说,这就是生活的意义。
用这句话收尾很好。谢谢你接受采访。
好,谢谢你。