condense-json 1.0
摘要
Simon Willison 发布了 condense-json 1.0，这是一个可将 JSON 中重复字符串片段替换为短引用的 Python 库，用于节省存储空间。
核心要点
- condense-json 通过 replacements 对象，将 JSON 中匹配的字符串或子串替换为 {"$r": ...} 特殊语法。
- 提供 condense_json 和 uncondense_json 两个函数，压缩过程可逆。
- 该库已有一年半历史，本次应用了稳妥且非破坏性的修复后发布 1.0。
- 作者将其用于压缩 LLM 生成的 SQLite 日志，相关实现见 PR #1586。
- 示例中，重复子串 " with foxes in it " 被替换为 {"$": "1"}，从而精简重复文本。
原文佐证
- I've applied some sensible and non-disruptive fixes and shipped the big 1.0 for it.
- It scans for strings or substrings that are present in that replacements object and replaces those with a special {"$r": ...} syntax in the output.
- I use it to save space in the SQLite logs generated by LLM - see PR #1586 for the latest iteration of that.
AI 洞察
condense-json 虽是小工具，但揭示了大模型应用落地中的一个真实痛点：LLM 生成的日志和缓存数据往往包含大量重复文本，存储成本不容忽视。Simon Willison 作为活跃的 AI 开发者，选择优先解决这类工程细节，说明 AI 工具链的成熟度正在从模型能力向工程效率延伸。未来，针对 AI 数据流的压缩、去重和结构化存储工具可能会成为新的基础设施方向。