OpenAI 保持提示词前缀不变
在智能体和多轮应用中,尽量将新操作和指令追加到上下文末尾,让后续 API 请求保留先前的推理,并提高提示词缓存命中率。缓存从请求开头匹配。修改前缀之后,后续部分可能无法复用缓存。采用追加方式有助于降低输入成本和响应延迟。详见推理指南和提示词缓存。
从较新的前沿模型开始,API 会移除位于被修改前缀之后的推理项。模型可能需要重新推理,增加词元消耗、费用和延迟。如果无法恢复原先推理,输出质量也可能下降。
什么是前缀变化
某个推理项的前缀是出现在它之前的会话历史。缩短工具返回值、重写早先的开发者消息,或用摘要替换旧轮次,都可能改变它的前缀。
修改集成,尽量保留前缀
检查集成是否修改过 Responses API 的请求级 tools、text.format,或直接编辑较早的 input 项。对 GPT-6.2 之前的模型,还要检查是否改过请求级 instructions。
| 场景 | 优先采用的做法 |
|---|---|
| 调整推理力度 | 保持请求级 reasoning.effort 原值,在输入项末尾追加带有新推理力度的 configuration_update 项。 |
| 更新结构化输出架构 | 保持请求级 text.format 原值,在输入项末尾追加带有新架构的 configuration_update 项。 |
| 调整工具 | 保留现有工具定义及顺序。新增工具时追加 additional_tools 项,指定 developer 角色及 tools 数组,后续重放时保留该项的原位置。要限制当前轮次可调用的工具,可用 tool_choice 的 allowed_tools。 |
| 更新开发者指令 | 将可复用指令写进 input 的首条 developer 消息。更新时在上下文末尾追加新的 developer 消息。GPT-6.2 起可用顶层 instructions 传入仅对本轮生效的指令。API 将它追加到 input 之后,并按未缓存输入费率计入词元用量。 |
| 压缩上下文 | 压缩会改变前缀,可能影响缓存。优先根据下文区分 OpenAI 压缩和自定义压缩。 |
| 缩短工具输出或缩减文件、图像 | 在首次提交前处理体积过大的工具输出、图像和文件。已经提交的历史项适合配合压缩流程处理。 |
使用 OpenAI 压缩。 通过 /responses/compact 或 context_management 使用上下文压缩时,系统会保留后续推理项,即使前缀已变化。OpenAI 生成的压缩项可以出现在上下文任意位置。调用 /responses/compact 时省略 instructions,并按原顺序将返回的上下文窗口传给下一次请求。context_management 会保留配置更新和开发者添加的工具。显式压缩后,在下一次请求中恢复配置更新和开发者添加的工具。
使用自定义压缩。 把压缩结果附加到上下文末尾,避免插到最近轮次之前。若选择替换历史,原始历史中位于变更点之后的推理项可能被移除。
审计前缀变化
使用提示词缓存诊断,将 prompt_cache_options.comparison_response_id 设为先前响应的 ID,再检查诊断原因和缓存词元数。诊断会尽力报告检测到的第一处差异。若要判断推理项是否被移除,检查 Responses API 返回的 input_transformations。
遇到原因是 prefix_mismatch 的移除记录,可将其中的 id 与较早一次响应 output 中的推理项匹配。找到被编辑的历史输入后,按上面的做法调整集成。

TRAE-AI编程


更多建议: