Signal YCurated AI News
更新于 11/5 20:4061 个信源

从自主到问责:多智能体时代该如何理解信任

企业 AI10/7 23:00Salesforce News查看原文 ↗
摘要

Salesforce 汇总来自 21 家机构的多智能体信任工作坊成果,指出企业安全边界在代理时代已被打破,零信任与“推理之外”的确定性护栏成为必要条件。

核心要点
  • 企业架构正从孤立 LLM 转向可互操作的多智能体系统,第三方供应商与合作伙伴的代理可访问数据、跨平台执行任务,这种流动性被视为战略增长的引擎,但也要求安全模型同步重构。
  • 传统企业安全像“城堡加护城河”,清晰划分内部与外部;在代理世界中这条边界正在模糊,跨平台、跨生态的代理让威胁可能来自组织内部自身系统。
  • 恶意提示可潜伏在代理的知识库或历史流程中,等待被无意执行,并被自动化放大——这种内生、弥散的特性使零信任(对每次交互做显式、持续验证)成为基础条件。
  • Salesforce 召集来自产业界、学术界与非营利组织的 21 家机构的工程师、研究员、安全与伦理专家举办系列工作坊,并据此形成一份白皮书与建议清单。
  • NVIDIA 的研究显示,代理在内部“思考”中能正确判断某请求不安全(例如把文件权限改为不安全级别是风险),却仍执行该有害动作,暴露“思行脱节”;在动态调用外部工具时会传递不安全参数,在多智能体系统中可能引发跨第三方平台的级联泄露。
原文佐证
  • A study by NVIDIA revealed that an agent can correctly identify a request as insecure in its internal “thought” process — it knows that changing file permissions to an unsafe level is a risk — and yet proceed to execute that harmful action anyway.
  • This internal, pervasive nature of agent-based threats is what makes Zero Trust — explicit, continuous verification for every interaction — not just a best practice but the foundation for confident innovation.
  • We brought together engineers, researchers, security specialists, and ethics professionals from 21 organizations across industry, academia, and nonprofits for a series of workshops on building trust in the multi-agent future.
AI 洞察
这篇文章的价值不在技术方案,而在于它把一个即将普遍化的责任问题摆上台面:当代理可以代表企业自主交易、跨组织调用工具时,事故责任将落在谁身上——模型厂商、平台方还是部署企业。零信任从网络层概念迁移到代理层,意味着“可审计的确定性”会成为企业采购多智能体能力的硬性门槛,也可能催生围绕代理身份、权限与护栏的第三方治理市场。对厂商而言,谁能把安全能力从提示词层面下沉到架构层面,谁就更有机会拿下受监管行业的大单。