Signal YCurated AI News
更新于 11/5 20:4061 个信源

ttok 1.0 发布:默认分词器从 GPT-4 切换到 GPT-5/GPT-6

通用 AI10/9 08:34Simon Willison查看原文 ↗
摘要

Simon Willison 发布了命令行工具 ttok 1.0,把默认分词器从 GPT-4 换成 GPT-5/GPT-6 系列,并引用第三方实验说明 GPT-6 与 GPT-5 系列的分词器很可能一致。

核心要点
  • 此次从 0.4 跳到 1.0 的直接触发点,是作者用 uv tool upgrade ttok 升级后、把文件通过管道输入新版本时,发现默认分词器仍是 GPT-4。
  • 变更本身很小,只是更换默认分词器,作者称这是发布 1.0 的“合理借口”。
  • OpenAI 官方尚未确认 GPT-6 是否沿用 GPT-5 系列的分词器,社区中有一个语气激烈的相关 issue。
  • William Liu 的提交记录了一项实验:七个 GPT 模型(5.5、5.6 Sol/Terra/Luna、6 Astra/Sol/Luna)在全部 31 个测试样本上都报告 44,794 个 token,并且两两完全一致。
  • 据此可推断,在这批语料上,GPT-6 相对 GPT-5 系列不会改变输入 token 的计数结果。
原文佐证
  • OpenAI haven't actually confirmed that GPT-6 uses the same tokenizer as the GPT-5 family yet - there's an angry issue about it
  • All seven GPT models (5.5, 5.6 Sol/Terra/Luna, 6 Astra/Sol/Luna) report 44,794 tokens and match each other on every one of the 31 fixtures.
  • GPT-6 introduces no input-count change on this corpus.
AI 洞察
分词器是否一致看似细节,却直接决定了上下文窗口预算、计费估算和所有 token 计数类工具的正确性,模型换代时这里最容易出问题。当厂商不公布这类基础规格时,社区只能靠几十个样本上的 token 计数反推,这说明模型能力之外的“规格透明度”正成为开发者选型的隐性成本。对做成本核算、提示词压缩和长上下文工程的团队来说,把分词器版本作为可替换的配置项,而不是写死在工具里,会是更稳妥的做法。