Signal YCurated AI News
更新于 11/5 20:4061 个信源

Hugging Face 拥抱 TorchTPU:TPU 成为 PyTorch 原生设备

AI 产业10/20 08:00Hugging Face Blog查看原文 ↗
摘要

Hugging Face 宣布 TorchTPU 已可用:它为 PyTorch 加入原生 TPU 后端,使 Transformers、Diffusers 与 Kernels 能在 TPU 上原生运行,从而不再需要 torch_xla 或 Optimum TPU。

核心要点
  • TorchTPU 把 TPU 变成 PyTorch 的一个普通设备后端,用户继续写标准 PyTorch 代码,无需迁移到 torch_xla 或 JAX
  • Transformers v5 只要传 device_map="tpu" 即可把模型加载到 TPU,文中以 Qwen/Qwen3.5-9B 为例演示
  • Diffusers 在 TPU 上运行图像与视频生成模型,Kernels 同时提供支持;TorchTPU 自带为 TPU 调优的 Pallas 内核、分布式训练支持和 torch.compile 集成
  • 安装只需一条命令:pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu;其中 extra-index 用于拉取体积更小的 CPU 版 torch,避免误装体积更大但不需要的 CUDA 构建
  • 旧路径中,PyTorch/XLA 的张量惰性求值会让代码在预期之外才执行,小改动可能触发计算图重新编译,调试难度大;Hugging Face 曾为此构建 Optimum TPU,如今它已非必需
原文佐证
  • With TorchTPU , a native PyTorch backend, TPU is now just another device.
  • Tensors were lazy (the tensors, not you), so your code didn't always run when you thought it did.
  • Now that TorchTPU brings native support, Optimum TPU is not required anymore to run Hugging Face models with Transformers and Diffusers.
AI 洞察
真正的意义是 PyTorch 生态正在把 TPU「去特殊化」;这不是 Hugging Face 自身的一次集成:当用 device_map="tpu" 加载模型与用 "cuda" 加载在写法上没有区别,迁移成本就从重写代码降到改一个字符串,CUDA 护城河因此被实质削薄。但文中没有任何性能或性价比数据,「能跑」与「跑得好」之间仍隔着算子覆盖度和内核成熟度;分水岭要等第三方跑分显示同等模型在 TPU 上的吞吐或成本优势出现,那才会真正影响采购决策。接下来值得观察 vLLM、SGLang 等推理框架是否跟进原生 TPU 后端。