AI 智能体的“土拨鼠之日”:在 Amazon Bedrock 上调用 OpenAI 模型时的提示缓存模式
摘要
AWS 官方博客以智能体每轮重发全部上下文的“土拨鼠之日”困境切入,讲解 Amazon Bedrock 上针对 OpenAI 模型的提示缓存工作机制与使用模式,用以压低输入成本、保持智能体的响应速度与一致性。
核心要点
- 智能体每次调用工具或读取结果后,都必须把工具定义、开发者指令、此前全部工具调用与结果重新发给模型,因为模型在两次请求之间没有内部记忆,只能根据输入预测下一个 token。
- 模型读取提示时先做 prefill,为每个输入 token 构建键值向量(KV)作为工作状态;提示缓存会把该状态存下来,后续请求若以相同的 token 序列开头,就直接加载这段状态,只计算新增部分。
- 缓存分为隐式与显式两类:隐式由 Amazon Bedrock 自行判断可复用前缀的结束位置,显式则由开发者指定缓存切分点。
- 文中以编码会话为例:到第 20 轮时模型要重读第 1–19 轮的全部内容,这些重复 token 的费用全部由使用者承担。
- 工具列表与指令属于每次版本发布才变化的部分,而历史会逐轮增长,新回合每轮不同——这决定了缓存前缀的稳定边界应放在哪里。
原文佐证
- Every time an agent takes a step (calls a tool, reads the result, decides what to do next), it has to send the model its entire story so far to maintain continuity
- By turn 20 of a coding session, the model re-reads turns 1–19, and it’s you who pays for every one of those tokens, again and again.
- Prompt caching saves that state, which contains the system prompt, tools, content, history, and so on.
AI 洞察
上下文重发是智能体规模化的隐性成本,缓存命中率正从实现细节上升为智能体架构的核心指标。这也给工程团队带来新的约束:工具定义的排序、指令模板的版本管理、历史截断策略都必须围绕“前缀不变”来设计,否则缓存收益会被悄无声息地抵消。对 Bedrock 这类多模型托管平台而言,缓存粒度与自动命中能力将成为与模型能力同等重要的差异化竞争点。