OpenAI 数据集入门

评测（evals）检验模型输出是否满足指定的风格和内容标准，是构建可靠应用的重要部分。OpenAI 平台的数据集（Datasets）功能可帮助快速开始评测和测试提示词。

OpenAI 正弃用 Evals 平台。既有内容在过渡期内仍可访问；官方时间表列明既有用户自2026年10月31日起进入只读状态，平台计划于2026年11月30日关闭。详见弃用时间表。

需要评测外部模型、通过 API 操作评测运行或扩大评测规模时，可考虑 Evals。

创建数据集

先在控制台创建数据集：

1. 在评测页打开 Datasets（数据集） 标签。
2. 单击右上角 Create（创建）。
3. 输入名称。本例使用“Investment memo generation（投资备忘录生成）”。
4. 添加数据。若从零建立，单击 Create 后在可视化界面录入；若已有保存的提示词或 CSV，可直接上传。

查看原视频

建议将数据集作为持续扩充的工作空间；识别到需要监控的边界案例或盲点后，在控制台将其加入。

上传 CSV

来源示例的 CSV 包含公司名称及过去季度实际营收数据。

查看原视频

CSV 的列可被提示词和评分器引用。本例包含输入列company，以及供评分器作为标准答案的correct_revenue和correct_income。

使用可视化数据界面

打开数据集后，在 Data（数据） 标签中编辑。单击单元格修改内容，添加行扩充数据，或在每行右端的更多菜单中删除、复制行。完成后单击右上角 Save（保存）。

构建提示词

数据集控制台的多个标签允许不同提示词处理同一份数据。

1. 单击 Add prompt（添加提示词）。数据集与 OpenAI 提示词配合使用；已保存的提示词可在下拉菜单选择并修改。单击 Save 创建新版本，可在平台其他位置引用该版本。
2. 在提示词面板的字段和设置中控制推理调用：

• 右上角滑块图标用于设置temperature和top_p。
• 添加工具，允许调用访问网页、使用 MCP 或执行其他工具动作。
• 添加变量，提示词和评分器均可引用。
• 直接填写系统消息，或单击铅笔图标，提供基本要求，由模型辅助生成提示词。

本例添加网页搜索，让模型获取网上财务资料；添加company变量，引用数据集公司列；用“生成一份财务报告”作为生成提示词的基础指令。

生成并标注输出

准备好数据和提示词后，生成输出，观察模型如何使用所给提示词和工具完成任务；之后通过标注，为持续改进提供信息。

查看原视频

1. 单击右上角 Generate output（生成输出）。数据集会新增特殊的output列，逐行显示执行提示词的结果。
2. 生成完成后，单击output、rating或output_feedback列打开标注视图。可以少量或大量标注，支持不同标注类型；提供的信息质量越高，越有利于改进。

标注的作用

良好标注能够：

• 为期望行为提供标准答案，涵盖细致场景及风格、语气等主观要求。
• 为提示词优化器自动改进提供信息密集的上下文。
• 诊断提示词的不足，尤其是细微或低频问题。
• 帮助评分器与实际意图保持一致。

标注量和形式可自行选择，但质量越高越好。如果不熟悉数据集领域，应让领域专家标注，使专业知识真正进入优化流程。参见利用评测增强提示词稳健性的 Cookbook。

从哪些标注开始

• Good/Bad（好/差）评价。
• output_feedback中的文字评语。
• 通过右上角 Columns（列） 菜单添加的自定义标注类别。

引入专家标注

若你不是数据集内容的专家，让领域专家进行标注，是将专业能力纳入优化过程的有效方式。可继续阅读上述 Cookbook 中的实践。

添加评分器

人工标注能有效融入人的反馈，评分器则适合扩大评测规模。评分器是自动化评估机制，不同类型采用不同方式产生结果。

查看原视频

1. 在右上角选择 Grade > New grader（评分 > 新建评分器）。
2. 从下拉菜单选择类型，填写表单。
3. 引用数据集列，与标准答案比较。
4. 创建评分器。
5. 至少添加一个后，从 Grade 菜单选择部分或全部评分器运行；完成后各评分器的专用列会显示通过/失败结果。

保存数据集后，修改数据或提示词不会移除评分器，因此能快速判断提示词、参数调整是否改善结果，以及新增边界样例是否暴露缺陷。控制台支持多个标签，同时比较多个提示词变体的自动评分结果。详见评分器。

后续阅读

数据集适合快速迭代。需要长期跟踪或扩大规模时，可导出到 Eval：评测异步运行，支持更大量的数据，也便于跨版本监测。

更多资料见 OpenAI Cookbook：

• 通过评测构建稳健提示词。
• 使用 Evals。
• 提示词优化器。
• 评分器。