Signal YCurated AI News
更新于 11/5 20:4061 个信源

如何让 AI 编程智能体更好地使用你的技术

企业 AI10/9 23:44Microsoft Source查看原文 ↗
摘要

微软 DevRel 把分散在 Agent Experience 系列文章中的经验整合成 AX Practitioner Playbook,用来评估 AI 编程智能体如何使用某项技术、诊断其出错原因,并在源头(文档、工具、指令等)修复。

核心要点
  • 手册汇集了微软在“数百次智能体会话”中积累的经验,以 aka.ms/ax-playbook 提供下载,覆盖从评估搭建到修复上线的完整流程。
  • 典型失败表现包括错误的 SDK 版本、已弃用的认证模式、产品团队不会推荐的配置方式;原文强调这不是随机失误,而是训练数据所教的结果。
  • 自 2025 年秋季起,微软 DevRel 在 Azure、Cosmos DB、SharePoint Framework(SPFx)和 Microsoft 365 Copilot 扩展上,用真实开发者常用类型的提示词测量智能体表现。
  • 评估本身可能“骗人”:曾出现从未编译成功的代码拿到满分,以及“是否使用 Platform X”的检查无论实际有没有用都通过,因此需要判据加门禁双重校验。
  • 可控的改造对象被限定为智能体依赖的信息源:文档、MCP 工具、skills、插件、instructions、CLI 和 API。
原文佐证
  • The agent didn t make a random mistake. It did exactly what its training data told it to do.
  • We ve seen perfect scores for code that never compiled, and a used Platform X check that passed whether or not the agent used Platform X.
  • Waiting for models to get better isn t a strategy: a knowledge cutoff tells you little about what a model knows about your product .
AI 洞察
这份手册标志着“Agent Experience”正从零散博客变成一套可复用的工程流程——谁的技术文档、MCP 工具、CLI 对智能体更友好,谁就更容易被智能体选中并推荐给开发者。技术生态的竞争焦点因此从“说服人类开发者”部分转向“优化机器可读的语料与工具面”,文档与工具质量会直接折算成产品的分发能力。若这套评估—诊断—修复的闭环被厂商常规化,未来 SDK 发布可能都要附带一份“智能体使用评估”报告。