Signal YCurated AI News
更新于 11/5 20:4061 个信源

可信、可解释、可问责:Salesforce 谈如何约束 AI Agent 的自主性

企业 AI10/6 23:00Salesforce News查看原文 ↗
摘要

Salesforce 通过其官方渠道说明 Agentforce 如何把概率性的 LLM 推理层与确定性的业务规则层结合,让企业级 AI Agent 在自主行动时仍受策略、权限与人工升级约束,并保留可解释性与审计能力。

核心要点
  • Agentforce 将智能体架构拆为两层:第一层是生成式 LLM 层,承担全部语言理解与推理;第二层是确定性层,由 Agent Fabric、Flow 和 Apex 构成。
  • 所有有后果的决策都不会由 agent 自行拍板,而是路由到确定性层,按企业既定的工作流、政策、流程执行或升级给人工。
  • Salesforce 的 Atlas Reasoning Engine 强制 agent 解释自己的每一个动作,使企业可以进入系统逐项核验,从而提供问责能力。
  • 系统会记录审计轨迹(audit trail),把每一个动作留档供事后复核。
  • Kathy Baxter 指出幻觉的危害不止于答错:agent 会真的执行错误动作,而且这些错误会随时间累积,因此必须用组织自身数据做 grounding。
原文佐证
  • Agentforce splits the agent brain into two layers
  • When an agent hallucinates, it's not just giving an incorrect answer; it can actually take incorrect actions.
  • we have the Atlas Reasoning Engine that forces an agent to explain each of its actions
AI 洞察
这套"概率层推理 + 确定性层执行"的分层思路,实际上是把企业软件的权限与流程体系当成 AI 的安全笼子,可能成为 B 端 agent 落地的事实标准——但也意味着 agent 的自主边界由客户自己的流程成熟度决定,而非模型能力。若这一模式被主流企业软件厂商跟进,竞争焦点将从"模型多聪明"转向"治理与集成层谁更完整",而 LLM 供应商在这一层的议价权会被削弱。风险在于:确定性层越厚,agent 的自主行动空间越小,产品体验与合规之间的张力将长期存在。