在AWS上部署Kimi K3
摘要
Moonshot AI于2026年7月27日发布2.8万亿参数开源MoE模型Kimi K3，AWS博客提供了在AWS上通过SageMaker HyperPod或EKS进行部署的详细指南。
核心要点
- Kimi K3总参数2.8万亿，采用MoE架构，896个专家，每token激活16个，激活参数约1040亿。
- 架构包含Kimi Delta Attention、Gated Multi Head Latent Attention和Stable LatentMoE，相比前代K2效率提升2.5倍。
- 上下文窗口达100万tokens，原生支持文本和视觉多模态输入。
- 开放权重以MXFP4格式在Hugging Face上发布，推荐使用vLLM推理引擎。
- 部署需使用p6-b300实例（8块NVIDIA B300 Blackwell Ultra GPU），通过Flexible Training Plans或Capacity Blocks获取容量。
原文佐证
- Kimi K3, a 2.8 trillion parameter Mixture of Experts (MoE) model that represents the first open-weight system to reach the 3 trillion parameter class.
- The model distributes its 2.8 trillion parameters across 896 specialist experts, activating only 16 per token.
- yielding a 2.5x improvement in scaling efficiency over its predecessor, Kimi K2.
AI 洞察
该模型标志着开源大模型进入万亿参数时代，云厂商通过专门基础设施降低部署门槛。MoE架构和稀疏激活成为主流，Kimi K3的开源可能加速企业自托管决策，对闭源模型市场形成竞争压力。