Signal YCurated AI News
更新于 11/5 20:4061 个信源

Agent Lightning v1.0:约 3500 行轻量级智能体 RL 框架,用真实 Harness 直接训练 Agent

AI 研究10/8 00:00Microsoft Research Blog查看原文 ↗
摘要

微软亚洲研究院提出 Harnessed Agentic RL 训练范式,并开源完全重写的 Agent Lightning v1.0,让部署时使用的真实 agent harness 直接参与强化学习,整个框架仅约 3500 行代码。

核心要点
  • Agent Lightning v1.0 以约 3500 行代码实现完整的 agent RL 控制平面,规模小到足以让开发者理解、修改和扩展。
  • 接入方式上,agent 通过框架内的 LLM 代理访问模型,现有 harness 代码无需改动,从而消除“被训练的 agent 不是被部署的 agent”这一错位。
  • 框架原生支持 Kubernetes:agent 作为标准 K8s Job 运行,自管集群、云上 K8s 或本地基础设施都能支撑规模化 rollout,无需外部付费商业沙箱服务。
  • 官方给出的端到端代码 agent 流水线显示,Qwen3.5-9B 在 SWE-bench Verified 上的 Pass@1 由 41.8% 升至 56.4%,绝对提升 14.6 个百分点,仅使用约 6000 条基于开源数据集的训练样本。
  • 相比初版 Agent Lightning,v1.0 更强调轻量化、与真实 harness 集成,以及完整、可复现的 agent RL 训练流水线。
原文佐证
  • Agent Lightning v1.0 delivers a complete agent RL control plane in roughly 3,500 lines of code.
  • an end-to-end coding agent pipeline raised Qwen3.5-9B from 41.8% to 56.4% Pass@1 on SWE-bench Verified, a 14.6 percentage point gain, using only about 6,000 training samples based on open sourced dataset.
  • most agent RL systems require developers to reimplement the agent inside the training framework
AI 洞察
当 agent 的能力越来越多来自模型之外的 harness(工具编排、执行环境),只训练模型权重就会漏掉最关键的一层;把“训练—部署一致性”做成 RL 框架的一等约束,是这次发布最值得关注的观念转变。3500 行 + K8s 原生 + 不依赖商业沙箱的组合,实质是把 agent RL 的工程门槛压到中小团队可承受的范围,“用自己的 harness 训自己的 agent”可能成为默认做法。若这类代码 agent 增益能被独立复现,竞争焦点或将从模型权重部分转移到 harness 设计、训练配方与 rollout 基础设施上。