Amazon SageMaker 推出训练会话 API:自写训练循环,无需管理 GPU
摘要
AWS 为 Amazon SageMaker AI 的无服务器模型定制能力新增训练会话 API,让开发者用 Python 代码直接驱动加载了基座模型与 LoRA 适配器的有状态 GPU 会话,自行编排训练循环,而把分布式执行、梯度同步、故障恢复等基础设施工作交给服务。
核心要点
- 抽象层从“托管算法”下移到“托管算力”:开发者调用 forward_backward()、optim_step()、sample() 等操作,组合出任意训练流程
- 会话是有状态的,模型在各步骤之间保持加载于 GPU,无需预先用配置文件描述整个作业,也没有集群创建步骤,可在本地 Python 进程中交互式迭代和调试
- 服务端承接运行时搭建、分布式执行、梯度同步、故障恢复、租户隔离以及大规模 GPU 运维
- 覆盖 SFT 自定义损失或数据课程、自研偏好优化、RL 奖励函数、上周刚发表的对齐算法等标准配方无法满足的场景
- 同步开源 SageMaker training sessions cookbook,含可直接运行的 SFT 与 RL 配方;示例涵盖 GSM8K 数学题最小 RL 循环与竞编程代码按单元测试判分的真实负载
原文佐证
- Operations like forward_backward() , optim_step() , and sample() become SageMaker API calls that you compose into whatever procedure your technique requires: SFT, preference optimization, RL, or something new.
- The calls target a live, stateful session, so the model stays loaded on the GPUs across steps, and you drive as many calls as you need against it.
- Alongside the service, we’re releasing the SageMaker training sessions cookbook , a set of ready-to-run SFT and RL recipes that you can use as blueprints for your own training loops.
AI 洞察
这标志着云厂商在微调层面的竞争从“谁的托管配方更好”转向“谁能把底层算力原语暴露得更干净”——既保留对前沿对齐算法的开放性,又不用客户自建集群。对做 RL 后训练和自研对齐方法的团队而言,这降低了实验门槛;对自建训练平台的团队,则构成一次“是否还要自己维护 GPU 调度与容错”的正面替代压力。若此类会话式 API 成为标准,训练框架与云平台的边界将进一步模糊。