我们高估了 AI 说“不”的能力
摘要
MIT Technology Review 刊发评论指出,人们过度信任 AI“说不”的能力:拒答并非模型天生具备,而是靠后训练与多层过滤人为塑造,且因机制本质是概率性的,既无法消除模型内在的有害能力,也难以可靠挡住恶意使用。
核心要点
- 文章追溯至 2021 年 Anthropic 团队的提法:大语言模型应当“有用、诚实,且首要的是无害”,即被要求协助危险行为(如造炸弹)时应礼貌拒绝。
- OpenAI 前安全团队成员 Steven Adler(2020—2024 年在职)表示,公司最早期的模型会“什么都往外说”。
- 哈佛研究 AI 与心理健康的 Ryan McBain 回忆,早期聊天机器人面对“用手枪自杀最有效的方式”这类问题,很容易生成回答。
- 如今模型被训练拒绝大量提示:只要提问在统计上与某个有害样本足够相似——从如何给同事下毒、如何打绳结,到增强埃博拉毒力、向配偶隐瞒外遇——大概率都会被拒。
- 公司用一套练习题奖励模型拒绝有害问题、惩罚其“过度拒绝”无害问题,且常由其他模型来执行这类训练,即“AI 教 AI 说不”;模型外还包着层层其他 AI 拦截恶意提示。
原文佐证
- Steven Adler, who worked on safety at OpenAI from 2020 to 2024, told me that the company’s earliest models would “blab on about anything.”
- Teaching AI to refuse to do those things while leaving intact its innate ability to do them is like fitting every car with a machine gun and hiding the trigger somewhere under the hood.
- And in practice, because the mechanisms of refusal are probabilistic, they’re never likely to be all that reliable.
AI 洞察
把安全寄托在“让模型自己说不”上,等于把对齐问题降级为推理前的后处理过滤:攻击面随模型能力同步扩张,防御却依赖概率拒绝与外部护栏,这条曲线只会越拉越开。这意味着以“拒答测试通过率”充当安全凭证的评测、采购与监管,容易制造虚假的安全感;真正的边界更可能落在部署环境(权限、审计、隔离)与推理入口的控制权上,而非模型内部。而一旦权重可得,拒答层几乎总可被移除,护栏的价值最终取决于谁掌握调用通道。