Signal YCurated AI News
更新于 11/5 20:4061 个信源

不要假设 AI 安全可组合:部署系统需独立测试

通用 AI10/29 21:23MLCommons(MLPerf 基准)查看原文 ↗
摘要

文章主张 AI 安全评测不能假设可组合性,部署系统叠加提示、检索、微调和护栏后,基座模型的安全分数不能代表其安全性;必须对具体部署单独测试,并解决评测基准噪声过大的问题。

核心要点
  • 部署系统会因系统提示、检索层、微调等改动而改变行为,但团队仍常把基座模型系统卡中的安全分数用于其上构建的系统。
  • CDT AI 治理实验室与 MIT 算法对齐小组对比公开的医疗和法律微调模型与基座模型,发现有些微调模型更安全、有些更不安全,没有单一微调选择能预测变化方向。
  • 研究还发现,修改量的大小不能预测安全分数的变化幅度。
  • 给开放权重模型增加运行时护栏通常会提高安全分数,但提升方式和幅度往往需要实际测试才能确定。
  • Solomon Messing 的论文指出,许多广泛使用的基准噪声太大,难以可靠比较部署前后系统、随时间的变化或系统间差异;测试提示选择、措辞和评分者都会引入噪声。
原文佐证
  • Safety scores shift unpredictably, in both directions
  • Some fine-tuned models scored as safer than their base models and some as less safe; no single fine-tuning choice predicted which direction a model would move.
  • many widely used benchmarks are too noisy to be reliably useful in comparisons between pre- and post-deployed systems, shifts over time, or even comparing one system to another.
AI 洞察
这意味着 AI 安全评估正从“模型级合规”转向“系统级验证”,采购和部署决策若继续依赖基座模型卡片,会低估组合风险。随着提示、检索增强、微调和护栏成为常态,安全评测需要像软件集成测试一样进入上线流程;基准噪声问题也会推动更标准化、可复现的评测服务与监管要求。