可信、可解释、可问责:Salesforce 谈如何约束 AI Agent 的自主性
摘要
Salesforce 通过其官方渠道说明 Agentforce 如何把概率性的 LLM 推理层与确定性的业务规则层结合,让企业级 AI Agent 在自主行动时仍受策略、权限与人工升级约束,并保留可解释性与审计能力。
核心要点
- Agentforce 将智能体架构拆为两层:第一层是生成式 LLM 层,承担全部语言理解与推理;第二层是确定性层,由 Agent Fabric、Flow 和 Apex 构成。
- 所有有后果的决策都不会由 agent 自行拍板,而是路由到确定性层,按企业既定的工作流、政策、流程执行或升级给人工。
- Salesforce 的 Atlas Reasoning Engine 强制 agent 解释自己的每一个动作,使企业可以进入系统逐项核验,从而提供问责能力。
- 系统会记录审计轨迹(audit trail),把每一个动作留档供事后复核。
- Kathy Baxter 指出幻觉的危害不止于答错:agent 会真的执行错误动作,而且这些错误会随时间累积,因此必须用组织自身数据做 grounding。
原文佐证
- Agentforce splits the agent brain into two layers
- When an agent hallucinates, it's not just giving an incorrect answer; it can actually take incorrect actions.
- we have the Atlas Reasoning Engine that forces an agent to explain each of its actions
AI 洞察
这套"概率层推理 + 确定性层执行"的分层思路,实际上是把企业软件的权限与流程体系当成 AI 的安全笼子,可能成为 B 端 agent 落地的事实标准——但也意味着 agent 的自主边界由客户自己的流程成熟度决定,而非模型能力。若这一模式被主流企业软件厂商跟进,竞争焦点将从"模型多聪明"转向"治理与集成层谁更完整",而 LLM 供应商在这一层的议价权会被削弱。风险在于:确定性层越厚,agent 的自主行动空间越小,产品体验与合规之间的张力将长期存在。