Mark Zuckerberg：Llama 3、百亿美元模型、奥古斯都与 1 吉瓦数据中心

Mark Zuckerberg 将 Llama 3 描述为新版 Meta AI 的核心升级。Meta 计划向开发者开放这些模型，同时也会用它们驱动自己的助手，并接入 Google 和 Bing 获取实时信息。公司正把助手加入 Facebook 和 Messenger 的搜索功能，并扩展创作能力，包括让图片动起来，以及随着用户输入实时生成图像。新功能先在少数国家推出，再逐步扩大范围。

采访时，Meta 正在训练 80 亿、700 亿参数模型，以及仍在训练中的 4,050 亿参数稠密模型。Zuckerberg 表示，较小的模型以各自规模而言处于领先水平；700 亿参数模型的 MMLU 约为 82，数学和推理成绩也很强；4,050 亿参数模型在训练中的成绩已约为 85。他还预告多模态、更多语言和更长上下文窗口。80 亿参数模型几乎能达到 Meta 最大版 Llama 2 的水平，展现出单个参数的能力提升有多快。

Zuckerberg 说，Meta 开始订购 H100 GPU，是为了扩大 Reels 推荐系统。推荐系统从排序用户已关注账号的内容，转向推荐“非关联内容”，让候选内容从几千条增加到数亿条，需要完全不同的基础设施。Meta 难以按希望的速度追上 TikTok，于是他决定先买足够的 GPU 用于 Reels 和核心信息流，再把容量翻倍，为公司尚未看见的需求做准备。他称这是反复采用的运营原则：基础设施要提前服务未来产品，而不只是满足当下需求。

被问到是否预见到下一用途会是 AI 时，Zuckerberg 说他预期会用于大型模型训练，但起初以为用途会与内容相关。他认为重大商业押注更多来自个人信念，而非精确的估值模型。2006 年，他没有足够的金融知识分析 Facebook 值不值得以 10 亿美元出售；他之所以留下，是因为喜欢创造帮助人们沟通的产品，而且相信即使卖掉公司，自己也会再创办类似公司。回头看，他的观点是，许多重大决定很难简化为一张预测电子表格。