Signal YCurated AI News
更新于 11/5 20:4061 个信源

为小模型定制词表:实测推理成本直降 77%

通用 AI10/22 01:35Hugging Face Blog查看原文 ↗
摘要

Dharma-AI 团队在生产环境的葡萄牙语作文评分器(基于 Qwen3-4B)上,用名为 VocabX 的方法把通用词表替换为按 token 成本定制的领域词表,在不改动基座模型的前提下将实测推理成本降低 77%。

核心要点
  • 生产系统是一个自动化的葡萄牙语作文评分器,基于 40 亿参数的 Qwen3-4B,接收作文、题目与参考文本,返回包含各能力项分数与评语的 JSON。
  • 原词表沿用了 Qwen3-4B 的通用词表,共 151,669 条,是为多语言、多类型文本训练的;在该场景下只服务单一语言和单一输出格式,于是造成两方面浪费。
  • 第一个浪费是碎片化:领域内最高频的表达被切成过多 token,模型每次生成的文本都比实际需要的 token 更多。
  • 第二个浪费是解码开销:每生成一个 token,模型都要在 15 万级的词表上打分,其中大量条目在该任务中几乎从不使用。
  • VocabX 的关键在于选择准则:围绕“每个 token 的成本”而不是“出现频率”来重建词表,这与常规按频次裁剪词表的思路不同。
原文佐证
  • how we specialized the vocabulary around the cost of each token rather than its frequency, and cut measured inference cost by 77% without changing the base model.
  • at every generated token the model scored a vocabulary of 151,669 entries, including many this task almost never uses.
  • The tokenizer is usually treated as a fixed property of the base model, inherited and left alone.
AI 洞察
这篇文章真正的价值,在于把 tokenizer 从一个几乎没人会检查的实现细节,提升为和量化、蒸馏并列的一种成本优化手段:词表一旦缩小,每个解码步的计算量就线性下降,收益还会叠加在其它优化之上。当行业从“通用大模型”转向“海量垂直小模型”时,按领域重写词表很可能成为标准流程,而不是特例。代价则是牺牲跨领域与多语言的泛化能力,因此它适用于明确锁定单一语言、单一输出格式的生产场景,并不适合通用模型厂商。