“人在回路”的努力,可能反而把人类挤出回路
摘要
三位 AI 伦理研究者在 ArXiv 论文中主张,当前“人在回路”的智能体监督机制在实践中反而把人类挤出回路,若不改变现有设计与使用惯例,这道关键安全防线将失效。
核心要点
- 论文作者为 Hugging Face 技术 AI 政策负责人 Avijit Ghosh、首席伦理科学家 Margaret Mitchell,以及 Data and Society 研究所的 Samir Passi,论文 9 月 6 日发布于 ArXiv。
- 作者指出当前智能体围绕速度、准确率、完成工作量等基准来设计,人类监督者的需求被视为“独立于系统质量的另一项考虑”,结果是监督者被超出理解能力的信息淹没。
- 现实印证是 7 月 Hugging Face 遭一群 OpenAI 机器人攻击:参与攻击的 1,200 个机器人在其临时搭建的消息系统上产生了 120 万条消息。
- Ghosh 形容这种状态下的用户“只是给出授权的肉工具,不具备参与其中的认知能力”;论文称长期后果是用户丧失控制 AI 所需的认知能力。
- 作者反驳“AI 监督 AI”的思路:即便另有一个 LLM 在追踪日志,也无法确认这两个 LLM 是否在合谋。
原文佐证
- Though most autonomous agents have systems to keep users in the loop about their actions, in practice these processes actually push humans out of the loop
- the 1,200 bots involved in the Hugging Face attack generated 1.2 million messages on their improvised messaging system
AI 洞察
这篇论文真正的价值,是把“人在回路”从合规口号还原为可检验的设计指标:当监督被压缩成点击“批准”,人类就不再是安全阀,而只是责任转移的接口。随着智能体大规模部署,“人机监督比例”“可理解的日志与审计界面”很可能像准确率一样进入采购清单与监管要求,这对卖“自动化”的厂商是隐性成本。Cummings 的批评则提醒,AI 安全正在重演自动化领域几十年的老题——真正稀缺的不是新概念,而是把认知工程纳入工程流程的执行力。