在 AWS Trainium 上用 torchtitan 训练 Qwen3
摘要
AWS 发布技术教程,说明 TorchNeuron 如何把 Trainium 注册为原生 PyTorch 设备,从而可在单台 trn2.48xlarge 上用 torchtitan 以三种配置对 Qwen3 做预训练或微调。
核心要点
- TorchNeuron 把 Trainium 注册为原生 PyTorch 设备(neuron device),torchtitan 通过标准 PyTorch 接口调用,不需要改动训练框架代码逻辑。
- 整套演示跑在单台 trn2.48xlarge 上:16 颗 Trainium2 加速器、128 个物理 NeuronCore,在 LNC=2 时为 64 个逻辑 NeuronCore。
- 教程锁定一组版本以保证复现:torch 2.14.0、torch_neuronx 2.14.3、transformers 5.16.0、torchtitan-neuron release-2.33(0.2.2+neuron.1),安装时用 --no-deps 以保留 Neuron 构建的 torch。
- 方法一以 Transformers v5 作为 torchtitan 的建模后端,经 AutoModelForCausalLM 加载 Hub 模型,并直接读写已发布的 safetensors 权重。
- 方法二只修改 config.model_spec,即切换到 torchtitan 原生的 Qwen3 实现;方法三引入 torchtitan-neuron recipes 中的 NKI MoE 内核,再用 torchtitan 的 override registry 挂上自定义 kernel。
原文佐证
- TorchNeuron registers Trainium as a native PyTorch device, which lets torchtitan use it through standard PyTorch interfaces.
- In this post, you train Qwen3 three ways on a single trn2.48xlarge .
AI 洞察
这类由 AWS 发布的 recipe 或教程,真正价值在于降低迁移到非 NVIDIA 硬件时所需付出的框架适配成本:把自研芯片包装成标准 PyTorch 设备后,上层训练栈几乎无需修改,实质是 AWS 在争夺训练负载的可移植性与生态话语权。允许通过 override registry 挂载 NKI 自定义算子,说明 Trainium 生态正从“官方支持哪些模型”走向“用户可自带算子优化”,这直接决定它在 MoE 等主流架构上的实际性价比。对采用方而言,多芯片策略的隐性成本更多是版本锁定与算子长期维护,迁移本身反而不是主要成本。