Kimi K3:2.8万亿参数模型发布,以及我们仍能从鹈鹕基准中学到什么

通用 AISimon Willison7/17 04:19译自英文查看原文 ↗

月之暗面发布2.8万亿参数模型Kimi K3,性能超越多数竞品,但价格高昂。

洞察 AI 小结
K3的高定价策略可能反映月之暗面在高端市场的定位,但2.8万亿参数带来的推理成本挑战不容忽视。鹈鹕基准的提及提醒我们,基准测试的排名与实际应用体验之间可能存在鸿沟。
摘要

月之暗面发布Kimi K3,参数规模达2.8万亿,是目前最大的开源承诺模型。在基准测试中,K3表现强劲,超越Claude Opus 4.8和GPT-5.5,但不及Claude Fable 5和GPT-5.6 Sol。其定价显著高于前代及中国其他实验室模型,输入3美元/百万token,输出15美元/百万token。作者通过“鹈鹕基准”测试,暗示实际能力与基准排名可能存在差异。

  1. 模型发布:月之暗面宣布Kimi K3,2.8万亿参数,承诺2026年开源。
  2. 基准测试:K3在多项基准上超越Claude Opus 4.8和GPT-5.5,但落后于Claude Fable 5和GPT-5.6 Sol。
  3. 成本分析:K3每任务成本0.94美元,与GPT-5.6 Sol相当,但高于开源模型。
  4. 定价策略:K3定价为输入3美元/百万token,输出15美元/百万token,是中国AI实验室最贵模型。
  5. 鹈鹕基准:作者通过OpenRouter测试K3的“鹈鹕”能力,暗示基准测试的局限性。
核心要点
  • Kimi K3拥有2.8万亿参数,月之暗面称其为首个“开源3T级模型”,承诺2026年7月27日开放权重。
  • 在Artificial Analysis评估中,K3在长时知识工作任务上Elo达1547,较K2.6提升732分,仅次于Claude Fable 5。
  • K3每任务成本0.94美元,与GPT-5.6 Sol(1.04美元)相近,约为Opus 4.8(1.80美元)的一半,但高于开源模型。
  • K3在Arena.ai前端代码竞技场中排名第一,超越Claude Fable 5。
  • 定价为输入3美元/百万token,输出15美元/百万token,是中国AI实验室最贵模型,较K2.6大幅上涨。
查看原文 ↗
原题:Kimi K3, and what we can still learn from the pelican benchmark