Agile Deliberation:让 AI 帮人类厘清主观类别的模糊边界
摘要
谷歌研究院提出 Agile Deliberation 框架,把主观类别图像分类器的构建过程转化为人与大模型的迭代对话:先帮用户厘清自身模糊的定义,再由 LLM 驱动优化循环自动构建准确且与用户意图对齐的分类器,并以真人实验验证、开源代码。
核心要点
- 传统监督学习假设标注者在标注前已对类别有清晰、稳定且普遍认可的定义;这只对“停车标志”“金毛犬”等客观类别成立,而“健康食物”“鼓舞人心的艺术品”“内容审核”等主观类别边界会随文化语境、个人理念与运营政策漂移。
- 现实中的用户通常只有直觉层面的概念,只有在接触真实样本后才逐步发现边界、例外与细节;传统训练流程不允许概念持续演化,强迫用户对仍在变化的心智模型给出固定标签。
- Agile Deliberation 采用 LLM 驱动的优化循环:从划分子类别(scoping sub-categories)到处理边界个案(resolving edge cases),把 AI 从被动接收标签的工具变成协助用户澄清定义的合作者。
- 团队认为静态基准无法衡量主观概念,因此未用模拟测试,而是在 18 场、每场 1.5 小时的真人实验中进行评估,直接观测人的意图如何在与智能系统协作时动态变化。
- 该框架以对边界图像的即时反馈取代手写 prompt 工程;作者称这大幅降低了用户的疲劳与焦虑。
原文佐证
- Agile Deliberation addresses the challenges of building AI image classifiers for subjective categories by guiding users through an interactive deliberation workflow, from scoping sub-categories to resolving edge cases, using an LLM-driven optimization loop to automatically build an accurate, aligned classifier.
- we have also open-sourced the underlying code and algorithms on GitHub
AI 洞察
这提示“对齐”的瓶颈未必在模型侧,而常在于人自己也说不清的类别定义;数据标注与标注工具链可能因此从“收集标签”转向“人机共同编写规格”。对内容审核、设计素材筛选、健康饮食推荐等政策驱动场景,这种能随定义演化的“活规格”能力,或许比更大的模型更直接有用。但人的定义会持续漂移,如何把这些主观边界版本化、可审计、可追责,会成为新的治理难题。