Inkling：我们的开放权重模型

Thinking Machines Lab发布了首个开放权重模型Inkling，这是一个975B总参数、41B活跃参数的MoE Transformer，采用Apache-2.0许可，训练于45万亿token的多模态数据。该模型并非前沿模型，而是作为可微调的基础模型，配合其Tinker平台使用。模型卡和数据文档较为简略，数据来源包括公开网络和第三方。

1. 模型发布：Inkling是975B总参数、41B活跃参数的MoE Transformer，采用Apache-2.0许可。
2. 模型细节：训练数据包含45万亿token的文本、图像、音频和视频，另有Inkling-Small待发布。
3. 数据文档：模型卡简短，训练数据文档几乎无实质内容，仅提及使用公开和第三方数据。
4. 定位与用途：非前沿模型，而是作为基础模型，配合Tinker平台进行微调。
5. 评价与展望：Apache-2.0许可，具有竞争力，但需进一步观察。

• Inkling总参数975B，活跃参数41B，采用MoE架构。
• 训练数据包含45万亿token，涵盖文本、图像、音频和视频。
• 模型采用Apache-2.0许可，支持商用和定制。
• Thinking Machines Lab还计划发布Inkling-Small（276B总参数，12B活跃参数），但尚未完成。
• 模型定位为强基础模型，适合通过Tinker平台微调，而非追求最强性能。