Signal YCurated AI News
更新于 11/5 20:4061 个信源

Amazon SageMaker AI 上的多轮强化学习:一份实操指南

企业 AI10/24 01:48AWS 机器学习博客查看原文 ↗
摘要

AWS 在博客中介绍 Amazon SageMaker AI 的多轮强化学习(MTRL)能力:训练时只对整条任务轨迹的最终结果打分,不要求标注正确步骤,从而让模型学会多步智能体任务。文章以 Wordle 为例给出端到端实操流程,并公布了一组自测的提升数据与训练成本。

核心要点
  • 训练信号机制:每一轮 rollout 中,训练服务调用托管在 AgentCore 上的智能体,智能体在环境中多轮调用正在训练的策略模型,回合结束时只回报一个奖励;用户只需定义如何给结果打分,无需给出正确轨迹。
  • 实测数据:在一次运行中,MTRL 把 gpt-oss-20b 在留出词上的解题率从 61% 提升到 84%(默认推理强度),在训练所用的低推理强度下从 15% 提升到 69%,训练 token 成本约 339 美元。
  • 部署弹性:智能体既可托管在 Amazon Bedrock AgentCore,也可运行在自建的 Amazon EKS、EC2 或 AWS Fargate 上,通过 AWS Lambda 转发器接入训练作业,示例采用 AgentCore。
  • 工程配套:流程包含数据集准备、训练、MLflow 监控与服务态评测,全部代码放在配套的 aws-samples 仓库中;客户的数据集、智能体与训练出的模型都留在自己的 AWS 账户内,不用于训练基础模型。
  • 定位澄清:Wordle 规则少、每步依赖上一步反馈、结果可客观评分,因此适合做教学案例;前沿模型本已擅长该游戏,真正用途是让低成本小模型在企业内部从未被公开模型训练过的多步工作流上变强。
原文佐证
  • In our run, MTRL took gpt-oss-20b from a 61 to an 84 percent solve rate on held-out words at its default reasoning effort, and from 15 to 69 percent at the low effort it trained at, for about $339 in training tokens.
  • You don't specify the right trajectory, only how to score the result.
AI 洞察
这件事的意义在于把强化学习训练的对象从“单轮回答质量”推进到“长程任务是否成功”,并把环境、奖励函数与训练作业拆成可组合的托管服务,企业不必自建 RL 基础设施。几百美元就能把开源小模型调到自家流程上,意味着“专有流程数据 + 可验证的奖励函数”会比模型本身更成为竞争壁垒,同时削弱对前沿闭源模型在垂直流程上的依赖。但文中自陈的奖励设计踩坑也提示:真实业务流程中难的是定义可自动验证的奖励,玩具级示例与生产环境之间仍有明显落差。