Signal YCurated AI News
更新于 11/5 20:4061 个信源

PyTorch 2.15 中的 MPS 后端更新

AI 产业10/20 08:00Hugging Face Blog查看原文 ↗
摘要

Hugging Face 的 PyTorch 团队介绍了 PyTorch 2.15 中 MPS 后端的多项改进:新增 FP8 支持,并针对 Mac 上的语言模型解码、线性代数、视频解码和训练算子做性能与内存优化。

核心要点
  • MPS 新增 FP8 支持,可用 float8_e4m3fn 以 BF16 一半的空间存储数值,并使用缩放矩阵乘法及 CUDA/CPU 上已支持的其他算子。
  • MoE 模型解码比 2.14 快 5–6.5 倍:Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 tokens/s 提升到 61.3 tokens/s,主要靠原生 grouped matmul、减少 GPU-CPU 同步和更快的 top-k 路由。
  • 单行线性层使用专用矩阵-向量内核,词表上的 softmax 约快 8 倍,从而降低每个 token 的解码耗时。
  • 线性代数在 GPU 上获得增强:支持复数 LU 与三角求解,小矩阵求逆和 QR 分解更快。
  • Wan2.2 的视频 VAE 解码峰值内存从 270 GiB 降至 8 GiB;卷积、填充、dropout、插值反向和归约等路径也得到加速。
原文佐证
  • FP8 arrives on MPS, language-model decoding gets faster paths through linear layers and softmax and new Metal kernels tackle some surprisingly expensive parts of audio, video and training workloads.
  • MoE models decode 5–6.5× faster than in 2.14: Qwen3.6-35B-A3B goes from 9.4 to 61.3 tokens/s on an M3 Ultra, thanks to a native grouped matmul with a dedicated decoding path, fewer GPU-CPU syncs and faster top-k routing.
  • Wan2.2's video VAE decode now peaks at 8 GiB of memory instead of 270 GiB.
AI 洞察
这意味着 Apple Silicon 作为本地 AI 推理与训练平台,正在从“能跑”走向“可高效跑”,尤其是 MoE 与长上下文解码的瓶颈被针对性拆解。对行业而言,MPS 生态补强会增强 Mac 在本地推理场景的吸引力,但短期内仍受 macOS/Python 版本要求和自报基准的限制。下一步的关键是 2.16 的 attention 全 Metal 化能否把 LLM 解码优势扩展到更大模型和训练场景。