Signal YCurated AI News
更新于 11/5 20:4061 个信源

智谱新模型推理速度达 490 tokens/s

通用 AI10/12 10:37量子位查看原文 ↗
摘要

智谱发布新一代 GLM 模型,主打推理速度,官方给出的吞吐指标为 490 tokens/s,被媒体称为 GLM 中的「速度仙人」。

核心要点
  • 量子位报道智谱新模型,标题直接以「490 tokens/s」作为最大卖点,说明速度是该次发布的核心叙事。
  • 490 tokens/s 属于生成吞吐指标,通常直接决定实时对话、长文本输出、Agent 多轮循环等场景的响应体验。
  • 该数字来自智谱一方的主张,摘录中未给出模型规模、所用硬件、并发条件与评测口径,无法与同类模型直接横向比较。
  • 速度正成为国产大模型继通用能力之后的第二条竞争主线,与推理成本、单位算力产出紧密绑定。
  • 模型的具体版本号、是否开源、API 定价与上线时间等关键信息,需以官方发布内容为准。
AI 洞察
当能力差距逐渐收窄,推理速度与单位成本正在成为模型厂商新的可量化战场——它比跑分更贴近真实用户体验,也更容易被企业采购方直接折算成账单。若 490 tokens/s 在常规部署条件下可稳定复现,受益最大的将是 Agent、实时语音与高并发 C 端应用,而不仅是聊天机器人本身。反之,若这一数字只在理想配置下成立,行业对「速度宣称」的审视标准也会随之收紧,倒逼厂商公开更完整的测试条件。