为什么让专家来编写 AI 评测，正在催生史上增长最快的公司｜Brendan Foody（Mercor 首席执行官）
Why experts writing AI evals is creating the fastest-growing companies in history | Brendan Foody (CEO of Mercor)
嘉宾：Brendan Foody
精读 · 按主题梳理核心观点、论证与案例。
§01评测成为 AI 的运行规格
Brendan Foody 认为，AI 实验室正在进入一个新时代：决定能力提升速度的，不再只是有没有原始模型，而是如何进行评测。Mercor 与头部实验室合作，是因为这些实验室需要能够衡量模型能力的优秀专业人士。Lenny Rachitsky 将这个机会描述为非同寻常地庞大，而 Foody 则把它与世界上最富有的公司愿意重金改善模型的意愿联系起来。
如果模型就是产品，那么评测就是产品需求文档。
这个类比有很强的实践意义：研究人员可以围绕一个明确的评测集运行大量实验，逐步改进模型。Foody 以奥林匹克数学和 SWE-bench 为例：一旦研究人员集中精力攻克某项基准，模型就可能很快达到饱和。在他看来，要让智能体应用于整个经济、自动化每一种工作流，缺少的前提就是为每个工作流定义并衡量成功，也就是为智能体要完成的每项任务写出产品需求。
对企业而言，第一步是找出自己的核心价值链，并建立一套系统化测试，用来衡量 AI 将其自动化得有多好。Foody 以建筑事务所为例：企业需要可靠地评估自己交付给客户的建筑图纸。一家多产品公司可能有几条价值链，但底层要求相同。只有先完成测量，企业才能大范围部署 AI；否则，它无法判断自动化是否改善了自己真正销售的工作。
§02从基准测试到销售证据
Foody 还把评测描述为商业证据。评测可以告诉研究人员应该构建哪些能力，也可以向客户展示这些能力。评测的重心正在从 GPQA、Humanity’s Last Exam 和奥林匹克数学这类学术性高级推理测试，转向与人们实际关心的工作相关的评测：例如构建软件平台，或完成一项投资银行分析。因此，实验室和应用层公司都可以使用这类测量来说明自己的模型和产品能做什么。
Rachitsky 将 Mercor 放在三个高速增长的类别旁边：基础模型公司、AI 辅助编程产品，以及数据或标注公司。Foody 的叙述解释了第三类为何正在变化。Mercor 于 2023 年 1 月开始运营，在国际范围内招募人员，与创始人团队的关系网络进行匹配，并用语言模型自动化简历筛选、面试和招聘决策。创始人表示，在离开大学之前，这种方式已经让公司的收入运行率达到 100 万美元。
随后，公司遇到了 Foody 所说的人类数据市场转型。早期系统需要大量低技能和中等技能的参与者，让他们生成基本文本；新的问题则是寻找并审核有经验的专业人士，包括软件工程师、投资银行家、医生和律师，让他们评估并解释人们希望模型具备的能力。Foody 说，Mercor 在这次转型后开始与头部 AI 实验室合作，并在 16 个月内将收入运行率从 100 万美元增长到 4 亿美元。