Signal YCurated AI News
更新于 11/5 20:4061 个信源

微软推出 run-assert-eval:自动发现智能体风险、修复并验证效果

企业 AI9/26 04:35Microsoft Source查看原文 ↗
摘要

微软 Responsible AI 团队推出 run-assert-eval——一个在 VS Code 中通过单条提示词自动发现智能体风险、量化违规率、从评测结果直接生成运行时策略并复测验证修复效果的技能,其演示案例把数据泄露违规率从 30.0% 降到 5.9%。

核心要点
  • run-assert-eval 将“发现风险—衡量失败频率—生成运行时策略—重跑评测验证”四步串成自动化闭环,只需在 VS Code 中给出一条提示词
  • 演示案例中,账单支持智能体在 40 段适用基线对话里有 12 次泄露其他客户数据,观测违规率 30.0%
  • 同一智能体在治理后的运行中,34 段适用对话里出现 2 次违规,即 5.9%,且该样本中没有“可允许行为”违规
  • 该工具针对两个假设而设计:一是团队书面需求已涵盖真正关键的风险,二是有人有时间与专业能力手工串联每一步
  • 前序基础为 6 月发布的 ASSERT(把书面需求转成严格评测)与 Agent Control Specification(在智能体行动点可移植地执行策略),8 月已展示二者合用的单一实践流程
原文佐证
  • a billing-support agent disclosed another customer's data in 12 of 40 applicable baseline conversations, an observed rate of 30.0%.
  • In the governed run, we observed two violations in 34 applicable conversations, or 5.9%, and no permissible-behavior violations in that sample.
  • Today, we’re introducing run-assert-eval , a skill designed to remove both of those assumptions.
AI 洞察
智能体治理正在从“先写需求、再人工评测”转向“运行时策略自动生成 + 闭环复测”,安全评测由此从项目制的人工工程变成可流水线化的常规动作。一旦这种“发现—修复—证明”的回路成为标准配置,企业部署智能体的合规与安全成本会被显著摊薄,安全能力也可能从差异化卖点退化为基础设施标配。但本文数据完全来自厂商自报,缺少第三方复现,围绕智能体运行时行为的独立审计与评测,很可能成为下一层竞争焦点。