← Lenny's Podcast: Product | Career | Growth

走进训练每一个前沿 AI 模型的专家网络 | Garrett Lord(Handshake CEO)

Inside the expert network training every frontier AI model | Garrett Lord (Handshake CEO)

Episode 2025-08-242025-08-24简体中文Members only

Guests: Garrett Lord

Inside the expert network training every frontier AI model | Garrett Lord (Handshake CEO)
Listen to this episode00:00 / 1:09:50
Reading settings
Reading preferences
Text size
Download in-depth read
Read offline

简体中文 · In-depth read · Current version

Downloads are not available yet.

Text language

In-depth read · Key ideas, reasoning, and examples, organized by topic.

§01为什么前沿模型越来越需要专家数据

Garrett Lord 将 Handshake AI 描述为建立在 Handshake 十年学生与早期职业网络之上的新业务。Lenny 认为,这个机会来自利用既有的分发优势来创造改进模型所需的新数据;Lord 则认为,在人类数据领域,能接触到一群高度参与的专家受众才是核心护城河。他说,Handshake 覆盖 1,800 万名专业人士,其中包括 50 万名博士和 300 万名硕士生,因此公司可以直接定位专业能力,而不是逐个招募匿名劳动力。这些数字和业务增长轨迹都是采访中的说法,并非本期节目独立核验的证据。

采访在技术上最重要的区分,是预训练与后训练。Lord 说,预训练吸收了书籍、视频和其他互联网数据等海量人类创作内容,而近期的进步越来越多来自后训练。在他的描述中,后训练意味着针对编程、数学、法律和金融等能力收集有目标、高质量的样本,再检验哪些数据能够改进模型的假设。这些样本可能包括强化学习环境、工具使用轨迹、多模态材料、提示—回答对,以及基于人类反馈的偏好排序。他把这描述成持续演进的实验过程,而不是单一的标注任务;他也没有声称预训练方面的所有进步都已经停止。

Lord 解释说,Handshake 的作用是提供能够找出普通用户不一定发现的模型缺陷的人。物理学博士可以探查多个子领域,找出模型推理中的错误,区分最终答案错误与得出答案的路径错误,并测试模型能否使用工具或遵循流程。因此,价值不只是产出一个正确答案,还在于找到困难的失败案例,并创建改进特定能力所需的证据。Lord 还说,市场已经从完成基础任务的通才劳动力转向能够处理先进科学、数学、医学、法律、金融等领域的专家。这一说法反映了他对当前需求的看法;采访没有量化整个标注市场究竟有多少已经完成了这种转变。

Keep reading as a member.

You've read the free preview. Become a member to read the rest, with side-by-side reading and downloads where available.