Signal YCurated AI News
更新于 11/5 20:4061 个信源

英伟达 GPU 助力 OpenAI GPT-6 Astra Ultrafast 推理加速

AI 产业10/2 07:44NVIDIA Blog查看原文 ↗
摘要

OpenAI 发布 GPT-6 Astra Ultrafast,运行在英伟达 Blackwell GPU 上,通过针对该架构的推理优化实现最高 8 倍的 token 生成提速,并已在 API 与部分 ChatGPT 产品中开放。

核心要点
  • GPT-6 Astra Ultrafast 现已上线 OpenAI API,并向符合条件的 ChatGPT Work 和 Codex 用户开放,底层运行于 NVIDIA Blackwell GPU。
  • 官方称 Ultrafast 的 token 生成速度最高可达 Astra Standard 模式的 8 倍,提速来自针对 Blackwell 架构的推理优化。
  • 提速的直接受益场景是编码智能体:可缩短其编辑—测试—调试循环,减少工具调用之间生成响应的耗时,并让交互式应用响应更快。
  • OpenAI 正用自家模型反向优化跑在 NVIDIA GPU 上的推理软件,依托平台可编程性持续测试与实现改进,使部署后的响应速度和基础设施产出率随时间提升。
  • OpenAI 推理负责人 Philippe Tillet 表示,英伟达在工具链与文档上的投入让模型非常擅长为 Blackwell 和 Rubin GPU 编程,Astra 可将这类知识转化为高性能内核。
原文佐证
  • Accelerated by inference optimizations through OpenAI’s models that tap into the capabilities of the NVIDIA Blackwell architecture, Ultrafast offers up to 8x faster token generation than the Astra Standard mode.
  • “We used our internal models to optimize inference on NVIDIA GPUs, and NVIDIA’s programmability helped us deliver the acceleration behind Astra Ultrafast.”
  • Developers can use GPT-6 Astra Ultrafast through the API today.
AI 洞察
前沿模型的能力竞赛正在向“软硬协同”的推理效率竞赛转移——8 倍提速不是靠更大模型,而是靠针对特定芯片架构的内核级优化,这意味着模型厂商与芯片厂商的深度耦合正成为性能护城河。OpenAI 用自家模型去优化自家推理栈,说明“模型优化模型、模型写内核”的自循环正在成形,部署后的持续提速可能取代一次性发布成为常态。若这种绑定持续,头部模型与 NVIDIA(乃至未来的 Rubin)生态的锁定效应会进一步加深,其他加速器厂商的追赶门槛也随之抬高。