OpenAI 评测智能体工作流

OpenAI 平台提供一组评测工具，帮助确认智能体能否持续、准确地完成任务。本页用于判断智能体工作流应优先采用哪种评测方式。

仍在调试行为时，从追踪开始

追踪评分（trace grading）可以快速发现工作流层面的问题。一条追踪记录一次运行中模型调用、工具调用、防护措施和交接的完整过程。评分器按照结构化标准对追踪评分，帮助批量发现回归和失败模式。

适合用追踪评分回答的问题包括：

• 智能体是否选择了正确的工具？
• 是否在应该交接时完成了交接？
• 工作流是否违反指令或安全策略？
• 修改提示词或路由后，端到端行为是否改善？

追踪评分流程

1. 在控制台打开 Logs > Traces（日志 > 追踪）。
2. 检查 SDK 应用的代表性工作流追踪，或过渡期内既有 Agent Builder 工作流的追踪。
3. 创建评分器，并对所选追踪运行评分。
4. 根据结果调整提示词、工具接口、路由逻辑或防护措施。

对于以代码为主的 SDK 工作流，先参考集成与可观测性，取得有助于诊断的追踪，再建立正式评分器。

需要可重复结果时，转向数据集和评测运行

明确什么表现算“好”后，应从单条追踪转向可重复的数据集和评测运行。这适合对变更建立基准、比较提示词，或长期开展更大规模的评测。

需要评测外部模型、使用评测 API 或进行较大规模批量评测时，可结合数据集使用 Evals。

相关评测入口

• 数据集入门：通过评测形成持续改进循环。
• 使用 Evals：评测外部模型、通过 API 操作评测等。
• 提示词优化器：利用数据集自动改进提示词。
• Cookbook：利用评测构建稳健提示词。