AWS 为技能型智能体推出技能评估能力:Strands Evals 与 Bedrock AgentCore Evaluations
摘要
AWS 在 Strands Evals SDK 与 Amazon Bedrock AgentCore Evaluations 中新增面向“技能”的评估器,用来量化智能体是否选对了技能、以及是否完整遵循了该技能的指令,从而补上只看最终回答的评估盲区。
核心要点
- 技能是通常存储在 SKILL.md 中的可复用指令集,用于教智能体完成合同脱敏、发票对账、遵守团队 PR 规范等特定领域任务;因其遵循开放的 Agent Skills 标准,可跨兼容的 harness 移植。
- 一个技能打包五类要素:Instructions(注入上下文的领域指引与约束)、Tool bindings(所依赖的 API、MCP 服务器或本地命令)、Knowledge(参考资料与范例)、Workflow(多步骤流程或决策逻辑)、Guardrails(格式要求、范围限制与校验规则)。
- 技能组合带来两种通用输出质量指标捕捉不到的失效模式:调用了不适合该任务的技能;以及调用了正确技能但跳过或仅部分遵循其指令——两者都可能生成流畅、看似合理却未使用既定领域知识的回答。
- Skill Selection Accuracy 针对每一个被调用的技能判断是否为该任务的合适选择,返回二值结果;Skill Instruction Following 则针对每一条规定步骤,给出有证据支撑的五级评分。
- 在 Strands Evals 中,Skill Invoked 是一项确定性检查,用于判断某个具名技能是否已成功加载;AgentCore 侧支持从 OpenTelemetry trace 评估技能行为,并可通过 AgentCore CLI 在测试套件中加入确定性的路由检查。
原文佐证
- Encoding all of that in one system prompt or in application logic gets hard to maintain and update.
- A skill is a reusable set of instructions, usually stored in a SKILL.md file, that teaches an agent a domain-specific task like redacting a contract, reconciling an invoice, or following a team’s pull-request conventions.
- An evaluation therefore cannot examine the final response alone.
AI 洞察
评估的重心正在从“最终回答好不好”转向“调用轨迹对不对”:一旦技能可插拔,选错技能或敷衍执行指令都能产出漂亮但错误的答案,过程级评测与遥测因此从加分项变成企业上智能体的准入门槛。技能(SKILL.md)与 OpenTelemetry 链路这类开放标准被 AWS 直接纳入官方评估体系,意味着技能资产与评测/治理工具层可能成为下一轮厂商竞争的落点——谁能定义技能与轨迹的事实标准,谁就掌握了企业智能体的可观测性与合规入口。