LongStraw：在固定GPU预算下实现超过200万token的长上下文强化学习

LongStraw是一种架构感知的执行栈，旨在固定GPU预算下实现百万token级别的强化学习后训练。它通过共享提示无梯度、仅保留模型特定状态、逐条回放短响应分支等技术，在8块H20 GPU上实现了210万位置的GRPO评分和响应反向传播，并在32块GPU上验证了GLM-5.2模型的端到端执行路径。

1. 背景与动机：推理上下文长度与RL后训练之间的差距日益扩大，尤其影响AI Agent的长轨迹处理。
2. LongStraw方法：通过共享提示无梯度、保留模型特定状态、逐条回放短响应分支，减少实时训练图。
3. 实现与实验：在Qwen3.6-27B和GLM-5.2上实现，在8块H20 GPU上达到210万位置，32块GPU验证端到端执行路径。
4. 局限与展望：当前实验仅验证执行容量，未完成完整训练正确性验证。

• LongStraw针对混合循环全注意力模型Qwen3.6-27B和压缩注意力混合专家模型GLM-5.2实现。
• 在8块H20 GPU上，LongStraw完成分组Qwen评分和响应反向传播，位置数达210万，组大小从2增至8仅增加0.21 GB峰值内存。
• 单独压力测试达到446万位置。
• 在32块H20 GPU上，验证了GLM-5.2所有78层在210万token提示下的端到端执行路径。
• 当前实验仅建立执行容量，未完成完整训练正确性验证。