为什么 AI 评测成为产品构建者最热门的新技能｜Hamel Husain 与 Shreya Shankar（排名第一的评测课程创作者）

Hamel Husain 将评测定义为系统地衡量并改进 AI 应用的方法。在他的描述中，这项工作本质上是应用于 LLM 产品的数据分析：审视应用正在做什么，在需要之处建立指标，再用这些度量开展实验和迭代。这个定义将评测视为一种反馈实践，而不是神秘的专家专属学科。

他的房地产助手案例让这一定义具有了操作层面的含义。助手可能起草不合适的客户邮件、调用错误的工具，或以其他方式出错。没有评测流程时，团队可能修改一个提示词，只能希望它没有破坏其他部分。他说，非正式的凭感觉检查在早期可以有用，但随着应用增长会变得难以管理。指标提供反馈信号，让团队能更有把握地改进应用。

对话将评测视为广泛的质量衡量谱系，而不只是测试集合。Shreya Shankar 认同单元测试能检查不可妥协的能力，但她认为它们只覆盖了问题的一小部分。开放式 AI 工作还会带来固定测试可能遗漏的问题：助手如何处理陌生请求，是否出现新的用户群体，以及产品是否应以不同方式满足这类人群。

对 Shankar 而言，证据基础可以包括定期审视产品数据以识别新的用户群体，以及长期跟踪的指标，例如用户是否给一条消息点赞。这些信号不必专门与 AI 有关，也能进入产品改进的循环。因此，单元测试的类比虽有帮助却不完整：评测既包含明确的检查，也包含持续观察应用在变化条件下的表现。

Husain 主张由值得信赖的个人承担开放编码责任，而不是自动交给委员会。他警告，团队可能陷入委员会式工作，把流程做得昂贵到无法持续。他提出的决策者应是团队信任其判断、且具备领域专长的人，通常可以是产品经理。这并不表示集体审查永远不合适，而是说在他所描述的许多情境中并无必要。

两位嘉宾对目标的表述很克制：评测不必完美，但应带来可落实的产品改进。这一点很重要，因为该议题已引发强烈意见；Shankar 说，过去糟糕的评测实践让一些人失去信任，甚至自称反对评测。因此，不能产生有用行动、或重演既往糟糕体验的流程，反而会削弱它本应建立的信心。

开场还出现另一种误解：既然身处 AI 时代，AI 就能自行评测产品。Husain 说这条捷径行不通。本段访谈尚未提供技术上的替代方案；它只是确立，评测仍需要审慎的度量、数据审阅和可追责的判断，而不能把问题完全交给 AI 系统。

在主持人的介绍中，Lenny Rachitsky 称 Husain 和 Shankar 已在 500 家公司为超过 2,000 名产品经理和工程师授课，并称他们在 Maven 上的课程排名第一。这些是主持人的开场说法，并非对话中独立证实的证据。开场交换中真正的论据，仍是关于度量、变化中的数据和产品反馈的案例与推理。

Hamel Husain 再次提醒，不应把评测等同于测试。对于 LLM 应用，他认为团队应先分析数据，弄清究竟什么值得测试。与传统软件工程相比，这类行为的覆盖面更大且带有随机性，因此测试计划所依据的预期没有那么稳定。错误分析是起点：先查看哪里出了问题，再决定如何衡量。

Nurture Boss 案例让这种分析变得具体。这款匿名化的物业管理助手横跨聊天、短信和语音渠道，使用许多工具处理预约和房源等任务，并检索客户与物业信息。Husain 使用可观测性界面只是为了查看应用数据。他明确表示没有偏好的工具，并列举 Braintrust、Phoenix Arize 和 LangSmith 都可用来载入日志。