要让 AI 处理真实故障并值得信任,需要什么
摘要
微软 Azure 网络团队构建了一个能在生产网络中自主定位并处置故障的 AI 智能体,并由此得出结论:让智能体安全自主运行无法依靠任何单一防护,而需要由身份、授权、工具和人工审批构成的一整套分层机制。
核心要点
- 该智能体能拉取设备状态、读取遥测、关联近期变更、分类故障,并在值班工程师登录完成之前就把干净的摘要写入事件记录
- 团队划出的关键分界线是“读”与“写”:读可以事后复核,写是已经发生的动作,因此让智能体关闭一条承载实时客户流量的 BGP 会话,是从演示走向现实的门槛
- 团队对智能体的定义是:模型只是中间那个出色但非确定性的部分,真正的智能体是包裹其外的确定性软件,决定模型被问什么、可以拿答案做什么、能触达哪些工具、出错时如何处理
- 结论因此发生重心转移——让智能体安全,靠的不是中间更聪明的模型,而是外围更可靠的确定性外壳
- 自主执行的边界由四类约束共同定义:身份、授权、工具范围和人工审批;其中执行期间包裹模型的 harness 被描述为“大部分确定性的”工件
原文佐证
- There is no single thing you can build that makes an agent safe to run in production. Not a smarter model, not a stricter prompt, not a clever guardrail. Safe autonomy requires a stack.
- A “read” is something you can double-check. A “write” is an action that already happened.
- An agent is not the model. The model is the brilliant, non-deterministic part in the middle. The agent is the deterministic software wrapped around it
AI 洞察
这篇文章的价值不在模型能力,而在把“AI 能否动手”重新定义为软件工程问题:当智能体从读跨到写,风险不再由模型质量决定,而由外围的权限、工具和审批边界决定。这意味着企业级智能体的竞争点会从模型选型转向确定性的执行外壳与治理栈,谁能把“写权限”切分得足够细,谁才敢真正把智能体放进生产系统。对基础设施运营商而言,这可能是智能体规模化落地最先兑现的场景,也可能是最先暴露代价的地方。