Aishwarya Naresh Reganti, Kiriti Badam: 为什么大多数 AI 产品会失败：OpenAI、Google 和 Amazon 的 50 多次 AI 部署经验

Reganti 在下诊断之前先加了一个限定：AI 系统与软件系统共享绝大部分基因，真正改变构建方式的属性只有少数几个。第一个是非确定性（non-determinism）。在普通软件里，意图沿着一条明确的路径传递。她以 Booking.com 为例——想订旧金山两晚，这个念头会被按钮、选项和表单一路导流，直到意图变成一个动作。AI 产品用自然语言取代了这一层，于是同一个意图可以以无限多种措辞抵达。

这条链路的两端都是不透明的。LLM 被描述为对提示词的措辞十分敏感，实际上就是一个黑箱，以至于在运行之前，连输出面的形状都不清楚。实际后果是输入、输出与过程同时处于理解不足的状态，团队能做的只是预判行为，而不是规定行为。

「你不知道用户会对你的产品做出什么行为，你也不知道 LLM 会对这个行为做出什么回应。」

Lenny 的复述把它收窄成两个后果：软件可能每次运行的表现都不一样；AI 与人之间的分工是一个可调的旋钮，而不是固定设置。Reganti 不愿意让这一点停留为一句抱怨。自然语言同时也是采用门槛如此之低的原因——人们宁愿说话，也不愿在一张表单上点来点去。而同一份开放性正是缺陷所在：一件事有无数种说法，却要交给必须产出确定结果的确定性系统。她的表述把设计问题转化成了意图保真度（intent fidelity）问题。

正是这次重新框定支撑起了后面的整场对话。如果风险位于解释环节而不是代码里，那么真正有用的工程工作，就是决定允许在哪一步发生解释、以及结果中还有多少要由人来签字确认——而不是去挑一个更大的模型。

第二个差异是他们所说的自主性与控制权的权衡（agency-control trade-off）。Reganti 说，团队如此执迷于能替自己干活的自主智能体，这个话题却极少被讨论，她对此感到意外。机制简单且不留情面：决策权转移到系统，控制权就在同一笔交易里离开操作者。因此，授权是拿信任作抵押的一笔借款，只有在可靠性被证明、而不是被宣称之后，才值得去借。

「你获得了更多自主性，也就是做决策的能力，同时也失去了一部分控制权。」

Badam 描述了团队跳过中间步骤、直奔最自主版本时会发生什么。智能体会以一百种不同的方式失败，没有人能把这么多失败列成表，更不用说逐一修复。评测实践也无法弥补一个糟糕的起点：一旦错误面如此之宽，团队就分不清哪些修正才是重要的，于是无论它有多少测量上的纪律，项目都会停滞。

Lenny 补充了一个更直白、且与模型质量无关的理由：权限过大的智能体可能损坏数据库，或者发出没人想发的邮件。让人留在最底层级的理由，是影响半径（blast radius），而不是准确率。

Badam 的类比是为 Half Dome 做训练，而不是第一天就去徒步登顶：先走短的段落，再上顶峰。落到操作层面，就是从影响最小、人控制力最强的地方开始，让团队摸清真实的能力边界——系统擅长什么、在哪里止步——然后才用控制权去换自主性。他把这既当作提醒，也当作好消息：没有人必须看着生产级智能体的全套装置就断定自己够不着，因为每个人都是从最小结构开始，逐步演化。

客户支持是他给出的完整案例，也包括 OpenAI 内部的实践：Image、GPT-5 这类发布都会带来工单量的激增和不一样的问题构成。第一版完全不直接回复客户。人类客服掌握对话，系统提出它认为正确的动作。那些采纳与拒绝的决定，成为产品的第一个真实训练信号，并且在任何客户暴露于这些问题之前，就显示出盲点在哪里。

之后自主性才提升：先把答案不经人工转述、直接给到客户，再加入退款、向工程团队提功能需求这类新能力。他说，如果第一天就把这些全做了，复杂度将无法控制。

他们为其他领域公布的阶梯遵循同样的形状：