Signal YCurated AI News
更新于 11/5 20:4061 个信源

专访 Anthropic 工程师:如何让 AI Agent 保持可信

AI 研究10/13 02:00IEEE Spectrum · AI查看原文 ↗
摘要

IEEE Spectrum 专访 Anthropic 技术团队成员 Gurmeet Saran,讲述他如何为 Claude 这类 AI Agent 构建可信、可观测的数据基础设施,并强调隐私必须内建于架构,而 LLM 的行为可解释性仍是待解难题。

核心要点
  • Saran 是 Anthropic 的 member of technical staff,同时是 IEEE 高级会员,常驻旧金山,工作目标是理解聊天机器人行为背后的机制,确保底层架构产出可靠输出。
  • 他明确主张:隐私不能是事后“bolt on”的一层,必须从架构一开始就是组成部分;其职责包括保证数据准确、结构化、可信,并让私有数据保持私有。
  • 他指出监控能力的落差——数据库和 Web 服务有不错的工具,但 LLM 仍在摸索;若无法信任其逻辑,就无法对模型行为做可靠断言,这会带来真实的安全影响。
  • 文中引用 Claude 的使命表述:要“真正有益于与之协作的人和社会,同时避免不安全、不道德或欺骗性的行为”。
  • 职业经历包括 2004 年 Kalyani 大学电子与通信工程学士、2010 年 BITS Pilani 软件工程硕士,2007 年在雅虎班加罗尔数据团队任技术负责人,此后在 Intuit 与 Meta 处理数据质量问题。
原文佐证
  • “My job is to make sure the data is accurate, structured, and trustworthy, and that private data stays private,” he says.
  • “We have decent tools to monitor databases and web services,” he says, “but for LLMs, we’re still figuring it out.”
AI 洞察
当模型能力逐渐同质化,竞争重心正从“跑分”转向“可信度工程”:可观测性、数据血缘与隐私内建,正在从合规负担变成企业级 Agent 落地的底座能力。谁先为 LLM 做出像数据库监控那样的标准监控栈,谁就掌握了把 Agent 交付给受监管行业的钥匙。这条人物专访真正的信息量,是它透露出头部实验室把安全与隐私当作架构问题、而非政策问题来解决。