修正评估偏差,才能在 Amazon Bedrock 上释放更好的模型
摘要
AWS 与 Property Finder 联合复盘:一家数字房产公司发现其模型评估集有 96.8% 的标签直接来自在役模型的预测,导致任何替代方案都被判为更差;重建无偏基准并迭代优化提示词后,他们在 Amazon Bedrock 上以低 86% 的成本获得了更高准确率。
核心要点
- 评估集 96.8% 的标签继承自单一模型的输出,未经人工专家核验,使 ground truth 系统性偏向在役模型;标签本身也存在错误,但真正的阻碍是偏差,而不是错误
- 业务量级:每天处理数万张图片,每张图片评估 11 项质量属性,覆盖水印检测、房间分类、装修状态、图片质量与施工迹象,平均每套房源 15 张图
- 重建方案:人工专家标注 256 张图片作为开发集,以 Micro F1 为指标,通过错误分析检视失败样本、识别视觉模式,再据此改写下一版 prompt
- 优化循环从 v0 一直跑到 v27,由 AI 助手协助精修 prompt,后期版本引入自动化优化
- 最终在 Amazon Bedrock 上选定新模型,实现准确率提升的同时成本下降 86%
原文佐证
- The engineering team at Property Finder , a digital real estate application, discovered that 96.8 percent of their evaluation labels had been inherited directly from a single model’s predictions rather than verified by human experts.
- The hardest part was not finding a better model. It was discovering that their evaluation methodology itself was the blocker.
- During optimization, these predictions are scored with Micro F1 against the 256-image expert-annotated development set.
AI 洞察
“用旧模型输出当标注”是业界极普遍的偷懒做法,这篇复盘用一个具体数字(96.8%)把循环评估的隐蔽代价量化了出来——它会系统性地锁死模型替换与降本空间。对企业而言,评估集治理的优先级可能高于模型选型本身,它应被视为资产而非一次性脚本产物。随着模型迭代加速、多模态负载迁移变频繁,谁能维护一份真正独立的人工基准,谁才有资格谈“换更便宜/更强的模型”。