GPT-6 提示缓存升级:更高命中率、90% 折扣与新诊断工具
摘要
OpenAI 为 GPT-6 推出改进的提示缓存系统,默认提高缓存命中率、对 30 分钟内复用的共享前缀给予折扣(缓存输入 token 最高省 90%),并配套推出缓存监控面板、未命中诊断工具和显式缓存断点,让持久化 agent 跑得更快更省。
核心要点
- 缓存输入 token 折扣最高可达 90%,前提是符合条件的共享前缀在 30 分钟窗口内被复用。
- GPT-6 系列搭载改进后的提示缓存系统,默认即提供更高的缓存命中率,而非需要开发者额外配置。
- 新增 Prompt Caching Dashboard,可查看应用输入中来自缓存的比例、随时间变化的命中率,并用输入构成图对比缓存与未缓存 token。
- 诊断工具用于解释未命中:示例返回 type 为 cache_miss、reason 为 tools_changed,并给出可复用 token 与未命中 token 均为 5629,用于评估影响面。
- 显式缓存断点让开发者自行选择要复用的提示前缀,更新版指南说明缓存前缀的有效期以及工具/输入变化如何影响复用;文中还提到可在不破坏缓存的前提下调整推理强度。
原文佐证
- OpenAI caches that shared context to reuse computation across requests, reducing response times and giving developers discounts of up to 90% on cached input tokens.
- We now give cache discounts for eligible shared prefixes reused within a 30-minute window.
- Over the past several months, we’ve reduced by more than 50% the share of prompt tokens requiring fresh processing across billions of requests to OpenAI models, relative to our previous baseline.
AI 洞察
提示缓存正在从一项省钱技巧升级为 agent 时代的基础设施:持久化 agent 会反复携带相同的指令、工具定义与上下文,缓存命中率直接决定单任务成本与首响延迟。OpenAI 补齐监控与诊断能力,意味着竞争焦点正从模型能力本身转向推理经济性与开发者可观测性,缓存友好度(稳定的提示前缀、稳定的工具定义)会成为新的工程约束与优化指标。对后来者而言,单纯比拼单 token 价格将不够,能否让整条 agent 调用链可被复用、可被度量,才是留住开发者的关键。