OpenAI 保持提示词前缀不变

2026-11-19 15:38 更新

在智能体和多轮应用中,尽量将新操作和指令追加到上下文末尾,让后续 API 请求保留先前的推理,并提高提示词缓存命中率。缓存从请求开头匹配。修改前缀之后,后续部分可能无法复用缓存。采用追加方式有助于降低输入成本和响应延迟。详见推理指南和提示词缓存。

从较新的前沿模型开始,API 会移除位于被修改前缀之后的推理项。模型可能需要重新推理,增加词元消耗、费用和延迟。如果无法恢复原先推理,输出质量也可能下降。

什么是前缀变化

某个推理项的前缀是出现在它之前的会话历史。缩短工具返回值、重写早先的开发者消息,或用摘要替换旧轮次,都可能改变它的前缀。

修改集成,尽量保留前缀

检查集成是否修改过 Responses API 的请求级 tools、text.format,或直接编辑较早的 input 项。对 GPT-6.2 之前的模型,还要检查是否改过请求级 instructions。

场景 优先采用的做法
调整推理力度 保持请求级 reasoning.effort 原值,在输入项末尾追加带有新推理力度的 configuration_update 项。
更新结构化输出架构 保持请求级 text.format 原值,在输入项末尾追加带有新架构的 configuration_update 项。
调整工具 保留现有工具定义及顺序。新增工具时追加 additional_tools 项,指定 developer 角色及 tools 数组,后续重放时保留该项的原位置。要限制当前轮次可调用的工具,可用 tool_choice 的 allowed_tools。
更新开发者指令 将可复用指令写进 input 的首条 developer 消息。更新时在上下文末尾追加新的 developer 消息。GPT-6.2 起可用顶层 instructions 传入仅对本轮生效的指令。API 将它追加到 input 之后,并按未缓存输入费率计入词元用量。
压缩上下文 压缩会改变前缀,可能影响缓存。优先根据下文区分 OpenAI 压缩和自定义压缩。
缩短工具输出或缩减文件、图像 在首次提交前处理体积过大的工具输出、图像和文件。已经提交的历史项适合配合压缩流程处理。

使用 OpenAI 压缩。 通过 /responses/compact 或 context_management 使用上下文压缩时,系统会保留后续推理项,即使前缀已变化。OpenAI 生成的压缩项可以出现在上下文任意位置。调用 /responses/compact 时省略 instructions,并按原顺序将返回的上下文窗口传给下一次请求。context_management 会保留配置更新和开发者添加的工具。显式压缩后,在下一次请求中恢复配置更新和开发者添加的工具。

使用自定义压缩。 把压缩结果附加到上下文末尾,避免插到最近轮次之前。若选择替换历史,原始历史中位于变更点之后的推理项可能被移除。

审计前缀变化

使用提示词缓存诊断,将 prompt_cache_options.comparison_response_id 设为先前响应的 ID,再检查诊断原因和缓存词元数。诊断会尽力报告检测到的第一处差异。若要判断推理项是否被移除,检查 Responses API 返回的 input_transformations。

遇到原因是 prefix_mismatch 的移除记录,可将其中的 id 与较早一次响应 output 中的推理项匹配。找到被编辑的历史输入后,按上面的做法调整集成。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号