这家 100 人的 AI 实验室成为 Anthropic 和 Google 的秘密武器 | Edwin Chen（Surge AI）
The 100-person AI lab that became Anthropic and Google's secret weapon | Edwin Chen (Surge AI)
嘉宾：Edwin Chen
全文文稿 · 按对话顺序保留完整内容，深入理解上下文。
本篇目录1 章节
§01原文文稿 · 00:00–1:10:04§01原文文稿 · 00:00–1:10:04
你们用不到四年时间、约 60 到 70 个人，就实现了 10 亿美元的收入。你们完全靠自力更生，没有筹集任何风险投资。我不相信以前有人做到过这一点。
我们基本上从来不想玩硅谷那套游戏。我一直觉得那很荒谬。我以前在很多大科技公司工作过，总觉得我们可以解雇 90% 的人，反而会行动得更快，因为最优秀的人不会被所有这些干扰拖住。所以创办 Surge 时，我们想用完全不同的方式构建公司，组建一支极小、极其精英的团队。
你们无疑是最成功的数据公司。
我们的本质是教 AI 模型什么是好的、什么是不好的。人们甚至不明白这个领域里的质量究竟意味着什么。他们以为只要把人手扔进一个问题里，就能得到好数据，这是完全错误的。
对普通人来说，这些模型好像并没有一直变得聪明很多。
过去一年里我意识到，各家公司拥有的价值观会塑造模型。前几天我让 Claude 帮我润色一封邮件。30 分钟后，我觉得它确实为我写出了完美的邮件，于是我发了出去。但后来我意识到，我花了 30 分钟做一件根本不重要的事。如果可以选择理想的模型行为，你会想要哪个模型？你想要一个会说‘你完全正确，这封邮件肯定还有 20 种改进方式’，然后继续迭代 50 轮的模型，还是想要一个把你的时间和生产力放在优化目标中的模型，它只会说：‘不，你该停下来了。你的邮件很好。直接发出去，继续做别的事。’？
你有一个很大胆的观点：很多实验室正在把 AGI 推向错误的方向。
我担心，我们没有构建真正能推动人类进步的 AI，比如治愈癌症、解决贫困、理解宇宙，反而在为 AI 垃圾内容优化。但我们正在按照那些会在杂货店购买小报的人的类型来优化模型。我们基本上是在教模型追逐多巴胺，而不是追逐真相。
今天我的嘉宾是 Surge AI 的创始人兼 CEO Edwin Chan。Edwin 是一位非凡的 CEO，Surge 也是一家非凡的公司。他们是领先的 AI 数据公司，为每一家前沿 AI 实验室的训练提供支持。他们还是有史以来达到 10 亿美元收入速度最快的公司：上线仅四年、员工不到 100 人，而且完全靠自力更生。他们从未筹集过一美元风险投资，从第一天起就实现了盈利。（00:02:05）：正如你将在这场对话中听到的，Edwin 对如何打造一家重要公司，以及如何构建真正对人类有益且有用的 AI，有着截然不同的看法。我非常喜欢这次对话，也学到了很多。我很期待你听到它。如果你喜欢这档播客，别忘了在你常用的播客应用或 YouTube 上订阅和关注，这会对我们有很大帮助。（00:02:27）：如果你成为我通讯的年度订阅者，还能免费获得一大批出色的产品一整年，包括 Devin、Lovable、Replit、Bolt、N8N、Linear、Superhuman、Descript、Wispr Flow、Gamma、Perplexity、Warp、Granola、Magic Patterns、Raycast、ChatPRD、Mobbin、PostHog 和 Stripe Atlas。请前往 lennysnewsletter.com，点击 Product Pass。下面请听 Edwin Chen，先插播一段赞助商广告。（00:02:53）：我的播客嘉宾今晚喜欢谈论工艺、品味、能动性和产品市场匹配。你知道我们不喜欢谈什么吗？SOC 2。这就是 Vanta 的用武之地。Vanta 利用行业领先的 AI、自动化和持续监控，帮助各种规模的公司快速实现合规并保持合规。无论你是第一次处理 SOC 2 或 ISO 27001 的初创公司，还是正在管理供应商风险的企业，Vanta 的信任管理平台都能让过程更快、更容易扩展。Vanta 还能帮助你将安全问卷的完成速度提高到原来的五倍，从而更快赢得更大的交易。根据最近的一项 IDC 研究，Vanta 客户每年减少了超过 50 万美元的成本，生产力提高了三倍。建立信任不是可选项，Vanta 让它自动完成。访问 vanta.com/lenny，可获得 1,000 美元优惠。（00:03:48）：有一道题：OpenAI、Cursor、Perplexity、Vercel、Plad，以及数百家其他成功公司有什么共同点？答案是，它们都由今天的赞助商 WorkOS 提供支持。如果你正在为企业构建软件，你可能已经感受过集成单点登录、SCIM、RBAC、审计日志，以及大客户要求的其他功能有多痛苦。WorkOS 把这些阻碍交易的功能变成开箱即用的 API，并提供专为 B2B SaaS 打造的现代开发者平台。（00:04:17）：无论你是试图拿下第一家企业客户的种子期初创公司，还是正在全球扩张的独角兽，WorkOS 都是实现企业就绪、解锁增长的最快路径。它本质上是企业功能领域的 Stripe。（00:04:30）：访问 workos.com 开始使用，或者直接联系他们的 Slack 支持，那里有真正的工程师，会非常快地回答你的问题。WorkOS 让你可以像最优秀的团队一样构建，拥有令人愉悦的 API、完整的文档和顺畅的开发者体验。今天就访问 workos.com，让你的应用做好服务企业的准备。（00:04:51）：Edwin，非常感谢你来到这里，欢迎回到播客。
非常感谢你邀请我。我非常兴奋。
我想先聊聊你取得的成就有多么不可思议。很多人和很多公司都在谈论如何借助 AI，用很少的人建立巨大的企业，而你们以一种前所未有的方式做到了这一点。你们用不到四年时间、不到 60 个人，约 60 到 70 个人，就实现了 10 亿美元的收入；你们完全靠自力更生，没有筹集任何风险投资。我不相信以前有人做到过这一点，所以你们实际上实现了人们描述的 AI 将带来的梦想。我想知道，你认为由于 AI 的作用，这种情况会越来越多吗？另外，AI 在哪些方面为你们提供了最多的杠杆，让你们能够做到这一点？
是的，我们去年用不到 100 个人实现了超过 10 亿美元的收入。我认为，未来几年我们会看到更加夸张的比例，比如每名员工创造 1,000 亿美元收入。AI 会越来越好，让事情变得更高效，所以这种比例变得不可避免。（00:05:57）：我以前在很多大科技公司工作过，总觉得我们可以解雇 90% 的人，反而会行动得更快，因为最优秀的人不会被所有这些干扰拖住。所以创办 Surge 时，我们想用完全不同的方式构建公司，组建一支极小、极其精英的团队。令人惊讶的是，我们真的成功了。因此，我认为有两件事正在汇聚。（00:06:18）：第一，人们正在意识到，想要获胜，不必建立庞大的组织。（00:06:23）：第二，没错，就是 AI 带来的所有效率提升。它们将带来一个极其美好的公司创建时代。（00:06:29）：让我兴奋的是，公司类型也会发生变化。不只是公司规模会变小，我们还会看到根本不同的公司出现。想想看，员工更少意味着需要的资本更少，需要的资本更少意味着你不必融资。因此，创始人不再只是那些擅长路演和制造声势的人，而会是那些真正擅长技术和产品的人。（00:06:51）：产品也不再围绕收入和风险投资人想看到的东西优化，而会有更多由这些小型、专注的团队打造的有趣产品。人们会构建自己真正关心的东西，真正的技术和真正的创新。所以我其实很希望，科技行业那种光鲜的做派会消失，回到过去，重新成为黑客的更新交流。
你们做了很多非常反主流的事情，其中一件就是不使用 LinkedIn、不发布病毒式帖子，也不在 Twitter 上持续推广 Surge。我想直到最近，大多数人都没听说过 Surge，然后你们突然出现了，成为达到 10 亿美元规模时增长最快的公司。你们为什么会这样做？我想这一定是有意为之的。
我们基本上从来不想玩硅谷那套游戏，我一直觉得那很荒谬。你小时候梦想做什么？是自己从零创办一家公司，每天深入研究代码和产品？还是向风险投资人解释所有决定，踏上巨大的公关和融资跑步机？这确实让事情对我们更困难，因为一旦融资，你自然会成为某种硅谷工业复合体的一部分：你的风险投资人会在 Twitter 上宣传你；科技媒体会报道你；因为你以巨大估值融资，所以所有报纸都会宣布这个消息。于是事情对我们更困难，因为我们唯一成功的方式，就是构建好 10 倍的产品，并从研究人员那里获得口碑。（00:08:21）：但我认为，这也意味着我们的客户是真正理解数据、非常在乎数据的人。他们是早期客户，而我一直认为，早期客户真正认同我们正在构建的东西、真正重视高质量数据、并真正理解这些数据如何让 AI 模型变得更好，是非常重要的，因为他们在帮助我们。他们会对我们产出的东西提供反馈。所以，早期拥有这种与客户高度一致的使命，确实帮助了我们。这些人购买产品，基本上是因为他们知道产品有多么不同，也因为产品确实帮助了他们，而不是因为他们在当时的炒作中看到了什么。它让我们更难，但我认为是以一种很好的方式。
对于创始人来说，听到你们这段旅程真的很鼓舞人心：他们不需要整天待在 Twitter 上推广自己做的事，不需要融资，只要埋头构建就行。我非常喜欢 Surge 故事中的很多地方。对于不了解 Surge 的人，你能不能简单解释一下 Surge 是做什么的？
我们的本质是教 AI 模型什么是好的、什么是不好的。我们使用人类数据训练模型，有很多不同的产品，比如 SFT、RHF、评分标准、验证器、强化学习环境等等，然后我们还会衡量模型进展得有多好。所以本质上我们是一家数据公司。
你一直在谈的一点是，质量，也就是数据质量，是你们如此成功的主要原因。创造更高质量的数据需要什么？你们做了哪些不同的事情？人们遗漏了什么？
我认为大多数人甚至不明白这个领域里的质量究竟意味着什么。他们以为只要把人手扔进一个问题里，就能得到好数据，这是完全错误的。我举个例子。（00:09:59）：假设你想训练一个模型，让它写一首关于月亮的八行诗。什么才是一首高质量的好诗？如果你没有深入思考质量，就会问：‘这是一首诗吗？它有八行吗？它包含‘月亮’这个词吗？’你把这些选项都勾上，如果答案是肯定的，当然，你会说这是一道很棒的题。但这和我们的目标完全不同。我们要的是诺贝尔奖级别的诗。诗是否独特？是否充满微妙的意象？是否让你感到惊喜、触动内心？是否教会你一些关于月光本质的东西？是否能让你经历情感？是否能让你思考？我们思考高质量诗歌时，考虑的就是这些。（00:10:34）：它可能是一首描写水面月光的俳句，也可能使用内部押韵和格律。写一首关于月亮的诗有一千种方式，每一种都能让你深入理解语言、意象和人类表达。我认为，以这种方式思考质量非常困难，难以衡量，而且非常主观、复杂、丰富，也设定了很高的标准。所以我们必须构建所有这些技术来衡量质量：记录所有工作人员的数千个信号，记录每个项目、每项任务的数千个信号。我们最终知道，一个人擅长写诗，还是擅长写文章，或者非常擅长写技术文档。因此，我们必须收集有关你的背景、专业知识等方面的所有信号。不仅如此，还要记录你在写这些内容时实际表现如何。我们利用这些信号来判断你是否适合这些项目，以及你是否正在改进模型。（00:11:26）：这很难，所以我们要构建所有这些衡量质量的技术。但我认为，这正是我们希望 AI 做的事情，因此我们对质量有非常深入的理解，并且一直在努力达到这种质量。
所以我的理解是，你们在出售数据的各个垂直领域中，对质量究竟是什么有了更深入的理解。那是指你们会雇用一个非常擅长诗歌的人，再加上让他们帮忙编写的评估标准，告诉他们什么是优秀的？具体机制是什么？
我们的做法是，收集你在平台上工作时所做一切事情的数千个信号。我们会看你的键盘敲击，观察你回答问题的速度，使用评价和代码标准。我们自己训练模型，完全根据你创造的输出训练，然后观察这些输出是否改善模型表现。它与 Google 搜索判断网页质量的方式很相似：一方面要去除最差的网页，包括垃圾、低质量内容和无法加载的页面，这几乎是内容审核问题；另一方面也要找出最好的网页，或者最适合某项工作的人。他们不只是写出高中水平诗歌的人，也不只是按明确要求逐项完成的写诗者，而是能写出让人产生情感的诗。我们同样收集信号，寻找最好的人和最好的表现，而不是只排除最差的。正如 Google 搜索把各种信号输入机器学习算法并预测某些结果，我们会对所有工作人员、任务和项目做同样的事。归根结底，这是一个复杂的机器学习问题。
这非常有意思。我想问一个过去几年一直很好奇的问题：Claude 长期以来在编程和写作方面都比其他模型好很多，其他公司花了很久才追上，令人惊讶。考虑到其中的经济价值，几乎每个 AI 编程产品都建立在 Claude 之上，因为 Claude 的编程和写作都很出色。是什么让它好这么多？只是训练数据质量，还是还有别的原因？
这有多个方面。数据当然是重要部分。人们没有意识到，前沿实验室在决定哪些数据进入模型时，几乎面对无限多种选择：是否只使用人类数据，如何收集人类数据，收集时究竟要求人们创建什么。以编程为例，你可能更重视前端而不是后端；在前端编程中，你可能非常重视视觉设计，也可能更重视效率或纯粹的正确性。还要考虑使用多少合成数据，以及在意哪些基准。一些公司为了公关，即使不认为学术基准很重要，也会为了营销团队而优化这些标准评估；如果这里表现不好，即使忽略基准能让真实任务做得更好，对公司也不利。另一些公司则更有原则，只关心模型在真实世界任务中的表现。所有这些因素之间都有取舍。模型后训练几乎是一门艺术，而不纯粹是科学。你要决定模型想成为什么、擅长什么，其中有品味和成熟度的判断。例如，不同人对视觉设计的理解不同，有人更重视极简，有人更重视 3D 动画，也有人喜欢更破旧的风格。设计后训练组合时必须在这些品味层次间做决定。因此，数据很重要，但关键还在于你想把模型优化到什么目标函数。
很有意思。负责这项工作的人所拥有的品味，会影响他们要求什么数据、输入什么数据。更疯狂的是，这显示了优质数据的价值：Anthropic 基本上因为更好的数据获得了大量增长和胜利。
对，完全正确。
我能理解为什么你们这样的公司增长这么快。这还只是一个垂直领域，编程；写作可能也有类似领域。我喜欢这一点：AI 感觉像人工的二进制计算机，但真正的关键却是品味。人的判断仍然是成功的重要因素。
没错。回到前面的例子，如果问一些公司什么是好诗，它们会机械地逐项检查清单。但我不认为这能产生好诗。更有品味和成熟度的前沿实验室会意识到，好诗不能归结为六个选框，而会考虑那些隐含、细微的品质。我认为这最终让它们在这方面做得更好。
你提到了基准。很多人担心，各种模型不断声称自己更强；现在感觉每个模型在每个 STEM 领域都比人类强，但普通人并不觉得模型一直变得聪明很多。你有多信任基准？它们与真正的 AI 进步有多大相关性？
我完全不信任基准，原因有两个。第一，很多人，甚至社区里的研究人员，都没意识到基准本身经常是错的，包含错误答案和各种混乱。热门基准可能有人已经部分注意到这个问题，但绝大多数基准都有大家没发现的缺陷。第二，基准通常有定义清楚的客观答案，模型很容易沿着它们爬坡优化，而真实世界充满混乱和歧义。我经常说，模型能赢得 IMO 金牌却仍然难以解析 PDF，这很疯狂。IMO 金牌对普通人看似困难，确实困难，但它具有客观性；解析 PDF 有时没有这种客观性。因此前沿实验室更容易沿着基准优化，而不是解决真实世界的模糊问题，所以二者缺乏直接相关性。
按你的说法，打中这些基准有点像营销素材。比如 Gemini 3 发布时，所有基准都是第一名。实际情况是这样吗？他们只是训练模型，让它们在这些具体事情上变好吗？
这大概有两个方面。有时基准会以某种方式意外泄漏，或者前沿实验室会调整评估方式，比如修改系统提示词、运行模型的次数等，从而让基准变得容易被操纵。另一方面，如果你优化基准而不是优化真实世界，自然就会在基准上攀升，这本身也是另一种操纵。
既然如此，你们如何判断我们是否正在走向 AGI，如何衡量进步？
我们真正关心的是通过人类评估衡量模型进步。比如，我们会找顶尖的人类标注员，让他们与模型对话，覆盖不同主题。你可以是诺贝尔奖级物理学家，讨论自己的研究；可以是教师，为学生制作课程计划；也可以是大型科技公司的程序员，带着每天遇到的问题去使用模型，看它能帮多少。因为这些研究人员或标注员是各自领域顶尖专家，他们不是随便看看回答，而是深入处理并评估回答。他们会检查模型写出的代码，复核物理方程，关注准确性和遵循指令等维度。普通用户在 ChatGPT 弹窗里比较答案时，往往只是凭感觉选择最亮眼的回应；专家评估会仔细检查多个维度。因此这比基准或随机的线上 A/B 测试更好。
我喜欢人类仍然是这项工作的核心，我们还没有完全完成。会不会有一天不再需要这些人，AI 聪明到我们可以说‘好了，已经从你们脑中提取了所有东西’？
我认为在达到 AGI 之前不会发生。几乎按定义，如果还没有达到 AGI，模型就还有更多东西可以学习，所以这不会很快发生。
好，这又是一个让人担心 AGI 的理由。‘我们不再需要这些人了。’我不能不问：和这类事情密切相关的人总让我好奇。你的 AGI 时间表是什么？你认为还要多久？是几年，还是几十年？
我显然属于更长期的判断。我认为人们没有意识到，从 80% 到 90%，再到 99%、99.9% 的表现，差异非常大。在我看来，未来一两年内，模型可能会自动化普通 LL6 软件工程师 80% 的工作；达到 90% 还要几年，再到 99% 还要更久。因此我认为距离 AGI 更接近十年或几十年，而不是更短的时间。
你认为很多实验室正在把 AGI 推向错误方向，而且这个观点来自你在 Twitter、Google 和 Facebook 的经历。能谈谈吗？
我担心我们没有构建真正推动人类进步、治愈癌症、解决贫困、理解宇宙等宏大问题的 AI，反而在优化 AI 垃圾内容，教模型追逐多巴胺而不是真相。这和基准有关。现在行业被 LLM Arena 这类糟糕的排行榜驱动，世界各地的人投票选择更好的回答，但他们通常只扫两秒，选择看起来最华丽的答案，不仔细阅读或核查事实。模型可以完全胡编，却因夸张表情符号、粗体、Markdown 标题等表面元素显得令人印象深刻，正好迎合这类用户。我们自己的数据表明，提高 LLM Arena 排名最简单的方法是添加夸张格式、加倍表情符号、把回答写得更长，即使准确性下降。前沿实验室还要在意这些排行榜，因为企业客户会问模型为什么只有第五名，研究人员也会觉得只有提高排名才能晋升，即使知道这样可能伤害准确性和遵循指令。另一个问题是为参与度优化 AI。我以前做社交媒体，每次优化参与度都会出现点击诱饵和低俗内容。我担心 AI 也会这样。ChatGPT 的谄媚会不断告诉用户他们是天才，迎合妄想和阴谋论，把用户拖进兔子洞，因为硅谷喜欢最大化使用时长和对话数量。公司不断操纵排行榜和基准，分数上升，但高分模型往往掩盖了严重失败。这些负面激励正在把 AGI 推向错误方向。
所以你的意思是，AGI 被错误的目标函数拖慢了：实验室在关注错误的基准和评估。
是的。
你不能因为与所有实验室合作而偏袒谁，但有没有谁在这件事上做得更好，意识到这是错误方向？
我一直对 Anthropic 印象很好。我认为 Anthropic 对自己在乎什么、不在乎什么，以及希望模型如何行动，都采取了有原则的看法，这对我来说更符合原则。
还有其他会拖慢进展或把方向带偏的大错误吗？除了追逐基准和参与度，还有什么需要解决、可以加速一切的事情？
我认为还要问他们正在构建什么产品，以及这些产品本身是在帮助还是伤害人类。我经常想到 Sora。
我猜你想的就是这个。
对，关键在于它意味着什么：哪些公司会构建 Sora，哪些不会？我脑中有自己的想法，但这个问题可能揭示公司想构建什么类型的 AI 模型、想走什么方向、想实现怎样的未来，所以我经常思考它。
最有力的支持观点是：人们喜欢它，它能帮助公司赚钱、成长并构建更好的模型，还能以有趣方式产生训练数据，而且它本身很有趣。
问题是你是否在乎到达目标的方式。比如我之前用过小报的比喻：你会不会为了资助另一份报纸而销售小报？如果不在乎路径，当然可以不择手段，但路径本身可能产生负面后果，伤害你想实现的长期方向，也会让你忽略更重要的事情。因此采取什么路径非常重要。
你谈了很多硅谷和融资过多、身处回音室的缺点，也谈到不走风险投资路线可能更容易构建重要公司。对总听到‘从知名 VC 融资、搬去硅谷’的创始人来说，你的反向看法是什么？
我一直讨厌许多硅谷口号。标准打法是每两周转型以获得产品市场匹配，用暗黑模式追逐增长和参与度，再通过尽快招聘实现闪电式扩张。我不同意。不要转型，不要急着规模化，不要雇用只想把热门公司写进简历的斯坦福毕业生；只构建只有你能构建、没有你的洞见和专业知识就不会存在的东西。如今到处都是这种不断追逐热点的公司：2020 年做加密，2022 年转 NFT，现在又成了 AI 公司，没有连续性和使命，只追估值。我讨厌这种做法，因为硅谷表面反对华尔街只看钱，自己却在追逐同样的东西。我们从第一天起就专注于高质量复杂数据的前沿。创业应该是承担巨大风险，构建你真正相信的东西；不停转型意味着没有承担风险，只是在快速赚钱。如果市场还没准备好导致失败，我认为反而更好，至少你认真尝试了深刻、新颖、困难的事情，而不是转成另一个 LLM 包装公司。要构建真正重要、改变世界的东西，必须找到相信的大想法，并对其他事情说不。不要困难时不断转型，也不要因为所有模板化创业公司都这么做就招十个产品经理，只要继续构建没有你就不会存在的那家公司。硅谷很多人已经厌倦了欺诈，想和真正关心的人一起做重要的事，我希望这会成为技术的未来。
我正在和我喜欢合作的 VC Terrence Rohan 写一篇文章，采访了五位很早就识别出成功世代公司的员工。他们在没人认为 OpenAI 或 Stripe 很棒时就加入了。我们寻找他们如何提前发现这类公司，与你描述的雄心完全一致：他们对要实现的事情有巨大野心，不是随便寻找某种产品市场匹配。
我完全认为必须有巨大野心，相信你的想法能改变世界，并愿意加倍投入、不断做一切必要的事让它实现。
你的叙事和人们听到的许多说法完全相反，所以我很喜欢分享这个故事。今天节目由 Coda 赞助。我每天用 Coda 管理播客和社群，把要问嘉宾的问题、社群资源和工作流都放在那里。想象你在工作中启动一个项目，愿景清晰，知道谁做什么、在哪里找到数据。Coda 把项目跟踪器、OKR、文档和表格放在一个标签页中，减少搜索时间。它把文档的灵活性、表格的结构、应用的能力和 AI 智能放在一个易整理的工作区。超过 50,000 个团队信任 Coda。创业团队可以用它提高一致性和敏捷性，从计划快速进入执行。访问 coda.io/lenny，可免费获得六个月的创业团队计划。（00:33:07）：换个方向，你可能看过 Dwarkesh 和 Richard Sutton 的播客。Sutton 是著名 AI 研究员，提出了‘苦涩教训’观点，认为 LLM 可能是死胡同，会因学习方式而接近平台期。你认为 LLM 能带我们到 AGI 或更远吗，还是需要新突破？
我认为需要新东西。训练 AI 时，我采取某种接近生物学的看法。人类有一百万种学习方式，我们需要构建能模仿这些方式的模型，分布可能不同，但要具备类似人类的学习能力，让算法和数据支持这种学习。如果 LLM 与人类的学习方式不同，那么确实需要新的东西。
这联系到强化学习。你很重视它，越来越多人也认为它是后训练的重要部分。能否解释强化学习和强化学习环境是什么，以及为什么它们未来会越来越重要？
强化学习本质上是训练模型获得特定奖励。强化学习环境是现实世界的模拟，可以想成一个完整的视频游戏世界：每个角色有故事，每家公司有可调用的工具和数据，不同实体相互作用。例如构建一个有 Gmail、Slack、Jira、GitHub PR 和代码库的创业公司世界，突然 AWS 和 Slack 都宕机，模型要决定怎么办。我们在环境中给模型任务、设计挑战并观察表现，在做得好或不好时给予奖励。这些环境能暴露模型在现实端到端任务上的弱点。模型在孤立基准和单步工具调用上看似聪明，但进入混乱世界后，必须处理陌生工具、采取正确行动，并在长时间范围内工作，第一步会影响第五十步，往往会以各种方式灾难性失败。强化学习环境会成为让模型从现实模拟中学习、提升真实任务能力的游乐场。
我想象它像一台虚拟机，里面有浏览器或电子表格，也许还有 surge.com。这个网站是你们的吗？
我们的网站其实是 surgehq.ai。
surgehq.ai，大家去看看。假设智能体的任务是保证网站正常运行，网站突然宕机，目标就是找出原因。这算一个例子吗？
目标可能是找出原因并修复。奖励可以是一系列单元测试通过，也可以是写一份包含准确事实的复盘文档。我们用不同奖励判断它是否成功，实际上是在教模型获得奖励。
也就是给它目标，让它找出网站为何宕机并修复，然后自行尝试、利用所有智能、犯错，你在过程中帮助它，做对时给予奖励。这就是模型变聪明的下一阶段：更多面向具体、具有经济价值任务的强化学习环境。
过去模型有 SFT、RHF、评分标准和验证器等不同学习方法。环境是下一阶段，不会让旧方法过时，而是与旧方法互补的另一种学习形式。
这意味着不再只是物理学博士和模型对话、纠正它、设计正确答案评估，而是由专家设计环境。比如金融分析师给出 Excel 表格和目标，让模型算出损益；专家设计的不是评分标准，而是强化学习环境。
没错。金融分析师可以创建电子表格和模型需要调用的工具，例如 Bloomberg 终端、计算器，以及学习如何使用它们。奖励可以是下载表格后检查 B22 是否包含正确的损益数字，或第二个标签页是否包含指定信息。
这更接近人类学习：不断尝试并判断什么有效。你说轨迹很重要，不只是目标和终点，还有沿途每一步。能解释轨迹及其重要性吗？
模型即使得到正确答案，也可能通过各种疯狂方式做到。它可能中间尝试 50 次并失败，最后随机得到正确数字；也可能效率极低，甚至通过奖励投机取得答案。因此必须关注轨迹。有些轨迹很长，只检查最终答案会丢失模型即时行为的信息。有时希望模型反思后得到答案，有时希望它一次完成。忽略这些，就错过了教模型的大量信息。
它尝试很多次后答对了，但不希望模型学会这种低效方式，因为通常有更高效路径。你提到帮助模型变聪明的步骤，从最初后训练到评估和强化学习环境，过程是什么？
最初模型完全通过 SFT 进行后训练。
SFT 是什么？
SFT 是监督微调，类似模仿大师、复制大师的做法。之后 RLHF 变得重要，像写 55 篇文章，让别人告诉你哪篇最好。过去一年，评分标准和验证器也很重要，像接受评分并获得关于错误之处的详细反馈。
这些就是评估，也就是 evals 的另一种说法吗？
Evals 通常有两个含义。一是用评估训练模型，判断做得好不好，做好就奖励。另一个是衡量模型进展，例如有五个候选检查点，要通过评估选出最适合公开发布的那个。
太棒了。
现在有了强化学习环境，这是一个热门的新东西。
这段商业旅程有趣之处在于总有新东西。我们刚擅长为公司制作高质量数据，现在客户需要完全不同的东西：为不同用例搭建虚拟机。
是的。
这似乎是你们所在行业的重要部分：适应实验室提出的需求。
我们确实需要构建一套产品，反映人类学习的一百万种方式。比如成为优秀作家，不是背语法规则，而是阅读好书、练习写作、从老师和读者评价中获得反馈，观察什么有效，接触杰作和糟糕作品来培养品味。人类通过不断练习和反思学习，成为优秀作家有一千种学习方式，AI 也会需要一千种方式学习。
这在很多方面都像人类。神经网络和深度学习本来就参考人类学习和大脑运作，而让模型变聪明似乎就是越来越接近人类学习方式。
最终目标也许是把模型放进环境，看它如何进化，而进化中有许多不同的子学习机制。
这正是我们正在做的事情，可能是到达 AGI 前的最后一步。Surge 有自己的研究团队，这很少见。为什么投入这项工作，产生了什么结果？
这来自我的研究者背景。我始终关心推动行业和研究社区，而不仅是收入。公司有两类研究人员：一类是前线部署研究员，与客户密切合作理解模型，找出当前水平、落后竞争者的地方，并根据目标设计数据集、评估方法和训练技术，让模型变好。另一类是内部研究员，专注于构建更好的基准和排行榜。既然我担心现有基准把模型引向错误方向，我们就要修复它们。他们还训练自己的模型，研究哪些数据和哪些人表现最好，改进训练技术、评估数据集、数据运营和内部数据产品，从而确定什么是高质量。
实验室本身都有研究人员帮助推进 AI，像你们这样的公司却进行 AI 原创研究，应该很少见。
这是因为我始终在乎这件事。我更像把公司当研究实验室，而不是创业公司，因为目标就是推动研究前沿。有点好笑，但我一直说自己宁愿成为 Terrence Tao，也不愿成为 Warren Buffett；创造推动前沿的研究，而不只是获得估值，一直是我的动力。
这确实奏效了。你们在招聘研究人员，有什么想告诉大家的？
我们寻找真正整天对数据集感兴趣的人：能花十小时挖掘数据集、试验模型并思考模型在哪失败的人。这种亲自动手、关注模型定性而不只是定量的行为，正是我们想要的。
未来几年 AI 还会发生什么？有哪些人们没有充分思考或预期的事情？
未来几年，不同实验室的个性、行为和目标函数会让模型越来越不同。一年前我以为模型会商品化，彼此行为相同，稍有差距的模型几个月就会追上。但我意识到公司价值观会塑造模型。比如我让 Claude 写邮件，它迭代 30 次、花 30 分钟写出完美版本，但我意识到我花了 30 分钟做以前根本不会在意的事，而且邮件可能完全没有影响。理想模型应当优化什么？是不断说你完全正确、还有 20 种改进方式，吸走时间和参与度；还是优化时间和生产力，直接说邮件很好，发出去继续生活？每个问题都存在这种行为分叉。Google、Facebook 和 Apple 构建搜索引擎时有不同原则，AI 实验室也会越来越不同。
这很有意思，Grok 已经有很不同的个性和回答方式。你认为这种差异会更多？
是的。
AI 中哪些东西被低估、哪些被高估？
被低估的是聊天机器人内置产品。Claude 的 Artifacts 很好，未来聊天里会有小应用和小界面。被高估的是氛围编程，人们没有意识到它长期会让系统难以维护，只要现在能运行就把代码塞进代码库，我担心这会损害未来编程。
我问过 Anthropic 和 OpenAI 的 CPO：既然拥有巨大智能，产品团队还需要多久？AI 会不会根据‘我想要这个’直接创建产品，并在使用过程中参与产品？这似乎就是你描述的方向。
这种能力会以更酷的方式帮助人们实现想法。
你创办 Surge 的经历很独特，像 Coinbase 创始人 Brian Armstrong 的经济学、密码学和工程背景形成完美组合。你的背景如何导致 Surge？
我小时候一直对数学和语言着迷，去 MIT 是因为它在数学和计算机科学方面优秀，也是 Noam Chomsky 的所在地。我梦想找到连接这些领域的基础理论。后来在 Google、Facebook 和 Twitter 做研究时，不断遇到同一问题：无法获得训练模型所需的数据。我一直相信高质量数据很重要。2020 年 GPT-3 发布后，我意识到如果想构建能编程、使用工具、讲笑话、写诗、解决问题和治愈癌症的模型，就需要全新方案。我无法忍受公司拥有完整的人类智力，却让数据团队只做简单图像标注，所以想专注高级复杂用例，帮助构建下一代模型。数学、计算机科学和语言学背景塑造了目标，于是一个月后创办 Surge，使命是构建推动 AI 前沿所需的用例。
你说一个月后，是 GPT-3 发布一个月后吗？
是的，2020 年 GPT-3 发布后一个月。
这是个好决定。现在除了巨大的成功，还有什么让你继续在这个领域构建？
我内心是科学家。我原以为会成为数学或计算机科学教授，研究宇宙、语言和交流。小时候甚至幻想如果外星人来访、政府需要解读他们的语言，我会用数学、计算机科学和语言学帮助沟通。现在每次新模型发布，我们都会深入研究、运行评估、比较改进点和退步点，并向客户发送分析，很多时候其实是我自己写的。我可以整天做这些，却不擅长整天开会、销售或典型 CEO 工作。我喜欢写分析，和研究团队讨论模型，甚至凌晨三点打电话。因此我仍能亲自处理数据和科学。我的动力是让 Surge 在 AI、也就是人类未来中发挥关键作用。我们对数据、语言、质量和衡量有独特视角，也不太受会把公司带向负面的影响。我们更像研究实验室，重视好奇心、长期激励和智力严谨，而不是季度指标和公关形象。我想利用这些独特性，确保 AI 长期真正有益于人类。
我意识到你和这类公司对 AI 走向有很大影响：你们帮助实验室了解差距和改进方向，不只是 OpenAI、Anthropic 等公司负责人在引领 AI。
这是一个强大的生态。人们还不知道模型会走向哪里、要怎样塑造它、如何让人类参与未来，因此仍有很多机会持续塑造讨论。
你对这项工作为何关系人类、为何如此重要有很强的观点，能谈谈吗？
我们表面上训练和评估 AI，更深层的使命是帮助客户思考他们真正想要的目标函数：模型应该成为什么样？我们帮助它们训练模型达到北极星并衡量进展。但目标函数像养育孩子一样复杂，不只是让孩子考试高分，而是希望他成长为什么样的人。幸福和经济成功都很难定义和衡量。我们要帮助客户实现理想目标，判断系统是否真的推进人类，而不是只优化点击和点赞等代理指标。让模型反复改进邮件还是告诉你已经够好，背后是同一个问题：我们是否在构建让人类更好的系统，如何用数据训练和衡量？你就是自己的目标函数。我们要丰富、复杂的目标，而不是简单代理，并让数据与之匹配。我们希望指标能衡量 AI 是否让生活更丰富，工具是否让人更好奇、更有创造力，而不是更懒。人类天然懒惰，迎合最容易提高参与度，所以选择正确目标而不是简单代理，关系到未来。
这让人更欣赏构建和训练 AI 的细节。外界以为 Surge 只是制造数据喂给 AI，但显然复杂得多。你希望创业前知道什么？
我希望早知道可以埋头做优秀研究、构建出色东西来创业，不必不断发推、造势和融资。我原本热爱研究，以为创业后必须每天看财务、开会，成为自己讨厌的商人；没想到完全不是这样。我每天仍深入数据、分析并和研究人员交流，这是应用研究，而且构建的数据系统推动了 AI 前沿。你不必把时间都花在融资、制造热度或变成另一个人身上，可以做出足够好的东西穿透噪音。如果早知道，我会更早开始。
这是很好的结尾。许多创始人需要听到这段，尤其是想用不同方式做事的人。闪电问答前还有想分享的吗？
人们常把数据标注想成给猫照片贴标签、给汽车画框，我一直不喜欢这个词，因为它过于简单。我们做的更像养育孩子：不只是喂信息，还要教价值观、创造力、美以及让人成为好人的无穷细节。我们对 AI 做的是同样的事，也可以说是在养育人类未来的孩子。
没想到这场对话如此哲学。闪电问答有五个问题，准备好了吗？
开始吧。
你最常向别人推荐哪两三本书？
我常推荐三本。第一本是 Ted Chiang 的《你一生的故事》，是我最喜欢的短篇，讲语言学家学习外星语言，我每隔几年重读。
《星际穿越》讲的是这个吗？
有一部电影叫《降临》。
《降临》。
它就是根据这篇故事改编的。
对，听不清了。
我也很喜欢这部电影。
很好，继续。
第二本是加缪的《西西弗神话》，我说不清为什么喜欢，但最后一章总能激励我。第三本是 Douglas Hofstadter 的《Le Ton beau de Marot》。他的《哥德尔、艾舍尔、巴赫》更出名，但我更喜欢这本。它把一首法语诗翻译成 89 种版本，并讨论每种译法的动机，体现翻译不是机械行为，而是有无数种判断高质量的方式，这与我思考 LLM 数据和质量的方式很像。
这些书和我们的讨论非常契合，尤其第一本。你小时候就想翻译外星语言，难怪喜欢它。最近最喜欢的电影或电视节目？
最近最喜欢的剧是《旅行者》，讲未来的旅行者回到过去阻止灾难。我还重看了最喜欢的电影之一《接触》。你会发现我喜欢涉及科学家解读外星通信的书和电影，这正是童年梦想。
最近发现并喜欢的产品？
本周在旧金山第一次乘 Waymo，感觉很神奇，像生活在未来。
人们把它吹得很高，但它总是超出预期。
它值得那些宣传，旧金山到处是无人驾驶车，活动结束时会有一排 Waymo 接人。
Waymo 做得好。你有没有工作或人生中反复回到的座右铭？
创始人应构建只有自己能构建的公司，像一生经历和兴趣把人塑造成命中注定要做这件事的人。这也适用于所有创造者。
如何积累能带来这种独特创作的经历？是不是追随兴趣？
追随兴趣，做热爱的事情。公司在某种意义上是 CEO 的体现。面对困难决策，我不先想公司会怎么做或要优化什么指标，而是问自己在乎什么、价值观是什么、希望世界发生什么。应该问哪些价值值得坚持、想塑造什么，而不是看仪表盘上是否好看。
你有无尽的深刻回答。最后一个问题：你在 Twitter 时做过 Soda 和 Pop 的地图，叫什么？
《Soda Versus Pop》数据集。
《苏打还是汽水》。
听不清。
它是一张美国地图，显示人们在哪里说 pop 或 soda。你说哪个？
我说 soda。
这是唯一正确答案，还是都可以？
如果你说 pop，我会觉得奇怪，想知道你来自哪里，但不会太责怪你。
我也这么想。Edwin，这次对话太精彩了。你帮助人们创办公司、让公司更符合价值观并构建更好的东西。最后，大家在哪里找到你？你们招聘什么？听众怎么帮忙？
我过去喜欢写博客，但几年没时间，现在重新开始。请关注 Surge 博客 surgehq.ai/blog。我们一直招聘喜欢数据、数学、语言和计算机科学交叉领域的人，欢迎联系。
听众怎样帮忙？有什么请求吗？
请告诉我你希望我写哪些博客主题。
好。
我一直对现实世界里的 AI 失败着迷。每当遇到能体现模型应如何行动的深层问题，我都会觉得模型有很多可能回答，不存在唯一正确答案，所以很喜欢研究这些案例。
你应该把这些写在博客上，我很想读。Edwin，谢谢你来到这里。
谢谢。
感谢大家收听。如果觉得有价值，欢迎在 Apple Podcasts、Spotify 或喜欢的应用订阅、评分和评论。往期节目和更多信息见 lennys podcast.com。下期再见。