Signal YCurated AI News
更新于 11/5 20:4061 个信源

Simon Willison 发布 ttok 0.4:新增 --list-models 命令

通用 AI10/9 07:34Simon Willison查看原文 ↗
摘要

Simon Willison 更新了其基于 OpenAI 开源 tiktoken 库的 token 计数 CLI 工具 ttok,发布 0.4 版,主要做了维护性修复并新增 --list-models 命令。

核心要点
  • ttok 是基于 OpenAI 开源 tiktoken 库的 token 计数命令行工具
  • 0.4 版距上次更新已有约两年,本次属维护性版本
  • 具体改动包括修复一个 Click 警告、更新 CI 配置
  • 新增 --list-models 命令,可列出当前可用的模型
  • 支持 uvx 直接运行,例如 `cat file.txt | uvx ttok` 即可统计文件 token 数
原文佐证
  • It hasn't been in updated in a couple of years, but I finally fixed a Click warning, updated CI, and added a --list-models command to list available models.
  • cat file.txt | uvx ttok
AI 洞察
这类轻量工具更新看似琐碎,却反映出 AI 开发实践中 token 计数已成基础刚需——上下文窗口与计费都以此为单位。作者把工具封装为 uvx 可直接调用,也说明「零安装、管道即用」的 CLI 形态正成为 AI 工作流的默认粘合层。对多数团队而言,真正的价值不在工具本身,而在于揭示模型 tokenizer 差异带来的成本与截断风险需要被日常化度量。