探索 Claude/GPT 知识截止与预训练时间线

作者提出通过向模型发送经过设计的查询，根据其在冷门事实和日期问题上的表现，来估计 GPT-5、Claude 等前沿模型的参数规模、数据混合方式及预训练时间线。

• 利用“不可压缩知识探针”对冷门事实打分，可近似估算 GPT-5 和 Opus 的参数数量。
• 通过“数据混合推断”分析模型对 token 的拆解，能揭示训练数据混合方式（或至少分词器特征）。
• 用维基百科每日事实构建 8 选 1 多选题，可根据模型对日期的掌握程度估计预训练检查点时间。
• 前沿模型训练通常分为三个阶段：大规模通用数据预训练、领域教材质量数据提升、后训练塑造助手人格与推理能力。
• 预训练检查点往往决定主要版本，后训练改进常体现为次版本；模型家族可能由蒸馏单个后训练模型得到。

• By scoring them on niche facts we can approximate how many parameters models like GPT-5 and Opus have, using Incompressible Knowledge Probes
• By scoring them on date or self-identification related questions you can also estimate training timelines ( this post )
• Labs may also release post-trained models from half-baked pre-training checkpoints as soon as x% of the version N+1 checkpoint is better than the 100% baked version N checkpoint.