Signal YCurated AI News
更新于 11/5 20:4061 个信源

进阶 Evals:如何发现(并修复)AI 产品中隐藏的失效

KOL说9/22 20:45Lenny's Newsletter查看原文 ↗
摘要

Hamel Husain 与 Shreya 为 Lenny's Newsletter 撰写进阶 evals 指南,指出多数团队跳过最关键的一步、直接写指标因而量错了东西,并说明哪些环节可以(以及不可以)自动化,附带一个让编码 agent 代劳的免费插件。

核心要点
  • 技能需求侧信号:Lenny 上周分享的 25 个 PM 岗位中近一半要求 evals 经验;Anthropic 前 CPO、现 Labs 负责人 Mike Krieger 称写 evals 大概是产品人最该学的事,YC CEO Garry Tan 认为 evals 正成为 AI 创业公司真正的护城河。
  • Shopify 用 evals 指导 AI 工作流构建器开发,该方案比其替换掉的前沿模型系统快 2.2 倍、便宜 68%。
  • Cursor 借助 evals 打磨 Auto Balance 路由,在成本下降 41% 的同时显著提升用户满意度。
  • Ramp 投入 evals 后,用端侧模型在收据照片中匹配交易的精确度从 35% 提升至 83%。
  • Harvey 用 evals 重建 AI 合同审查器,产品内部质量分接近翻倍;Rippling、Glean、Abridge、ElevenLabs、Robinhood 也公开了类似实践。
原文佐证
  • Shopify used evals to guide development of an AI workflow builder that was 2.2 times faster and 68% cheaper than the frontier-model system it replaced.
  • Ramp increased its precision of finding a matching transaction in receipt photos using on-device models from 35% to 83% after investing in evals.
  • Drawing from their work with over 50 AI companies, they ve noticed that most teams jump straight to writing metrics and end up measuring the wrong things.
AI 洞察
当模型、prompt 和代码的改动速度快过人审阅速度时,评估链路本身就是产品迭代速度的上限——它正从工程细节升级为组织能力与竞争壁垒。头部公司披露的降本增效数字,会让 evals 像 CI/CD 一样成为 AI 产品的标配基础设施,而非加分项。但需注意这些成效多来自企业自述、缺少第三方复核,评估能力的“复利”叙事也容易被工具供应商与课程过度包装。