OpenAI 提示词优化器
2026-11-04 17:10 更新
提示词优化器是控制台中的聊天界面:输入提示词后,它按当前最佳实践优化并返回结果。与数据集搭配,可以自动改进提示词。
OpenAI正随Evals平台弃用基于数据集的提示词优化器。Evals计划于2026年10月31日对既有用户转为只读,2026年11月30日关闭,当前时间线见弃用记录。以下说明描述该功能的既有流程,不表示建议新项目建立此依赖。
<a id="prepare-your-data"></a>
准备数据
- 建立包含待优化提示词和评测数据的数据集。
- 至少创建三行带响应的数据。
- 每行至少提供一个评分器结果或人工标注。
优化器可使用Good/Bad标注及自定义标注列、output_feedback中的文字评议,以及评分器结果。为获得有效结果,应同时提供Good/Bad评级和详细、具体的批评;建立能准确衡量期望特性的评分器。
<a id="optimize-your-prompt"></a>
优化提示词
数据准备好后:
- 点击提示词面板底部的 Optimize,会新开结果标签,后台开始优化。
- 新提示词准备好后,查看并测试。
- 继续迭代。单轮可能已满足需要,也可以对新提示词重复生成输出、标注、评分、优化。
效果依赖评分器质量。建议针对每种出现失败的输出特性,建立定义狭窄、明确的评分器。
用于生产前,始终评测并人工审查。优化器通常能改进整体效果,但在特定输入上仍可能比原提示词差。
<a id="next-steps"></a>
后续资源
OpenAI Cookbook含示例和第三方资源,可参考使用评测循环构建稳健提示词、Evals、评分器及模型优化。
以上内容是否对您有帮助:

TRAE-AI编程


更多建议: