在 Amazon SageMaker AI 上用知识蒸馏构建高效智能体
摘要
AWS 官方博客讲解如何用序列级知识蒸馏(SeqKD)在 Amazon SageMaker AI 上微调购物智能体,把前沿大模型的能力迁移到更小、更快、更便宜的模型上,从而压缩多步 Agent 循环的生产成本。
核心要点
- 文章指出 Agent 助手并非单次模型调用,而是“搜索—读取结果—细化—验证—决策”的循环,单个任务可能包含多次前沿模型调用,且每个购物者、每一步都要付费。
- SeqKD 的做法是用教师模型生成高质量回答,再用监督微调(SFT)训练学生模型复现这些回答,属于蒸馏谱系中成本最低、可移植性最高的一端。
- SeqKD 只需要教师的输出文本,不需要访问教师 logits,也不依赖强化学习基础设施,因此对闭源或仅提供 API 的教师模型同样可行。
- 教师生成的答案会持久化为数据集,可反复用于训练或测试不同的学生模型,无需重新生成数据。
- 文章给出的端到端流程是:用前沿教师生成多步轨迹 → 筛选能完成任务的轨迹 → 编码为 SFT 数据 → 在无服务器基础设施上训练 → 在留出基准上对比评估学生模型。
原文佐证
- An agentic assistant is not one model call, it is a loop: search, read results, refine, verify, decide.
- SeqKD needs only the teacher's text , with no access to teacher logits and no reinforcement-learning infrastructure, so it works even with a closed or API-only teacher.
- The teacher writes the answers, and the student is fine-tuned on them.
AI 洞察
这篇文章的真正价值不在蒸馏算法本身(SeqKD 并不新),而在于它点明了 Agent 商业化的核心成本结构:从“单次推理”变成“每任务多轮循环”,成本随步数相乘。一旦轨迹数据集成为可复用资产,模型能力的迁移就变成一件工程管线的事,前沿模型供应商的黏性会被削弱,“教师—学生”迭代能力和评测基准将取代“选哪个模型”成为企业落地的竞争点。