OpenAI 评测外部模型

选择合适模型是改进 AI 应用的重要手段。使用 OpenAI 平台的 Evaluations 时，除 OpenAI 自有模型，还可评测多种外部模型：第三方模型不需要自行提供其 API 密钥，自定义端点需要 API 密钥。

OpenAI 正弃用 Evals 平台。既有内容在过渡期内仍可访问；官方时间表列明既有用户自2026年10月31日起进入只读状态，平台计划于2026年11月30日关闭。参见弃用时间表。

第三方模型

使用第三方模型需要满足以下条件：

• OpenAI 组织处于 Build或更高等级。
• 组织管理员在 Settings > Organization > General启用功能，并接受使用免责声明。

调用外部模型会将数据传给第三方，适用条款与 OpenAI 模型不同，安全保障也较弱。

计费与用量限制

来源说明 OpenAI 当时承担第三方模型推理费用，但受组织等级对应的每月限额约束：

这些模型通过合作伙伴 OpenRouter 提供。来源还说明未来将按 OpenRouter 标价纳入常规 OpenAI 账单；这不是对未来免费使用的承诺。

可用的第三方模型

来源列出的提供商包括 Google、Anthropic（托管于 AWS Bedrock）、Together 和 Fireworks。

自定义端点

可以配置自己的模型端点并在 OpenAI 平台评测，例如未原生支持的提供商、自托管模型或自定义推理代理。

组织管理员需在 Settings > Organization > General启用 Enable custom providers for evaluations，并接受免责声明。外部调用仍会向第三方发送数据，适用不同条款和较弱的安全保障。

取得资格后，在设置的 Evaluations 标签配置提供商。配置按项目生效，需要：

• 与 OpenAI Chat Completions 端点兼容的端点。
• API 密钥。

为端点命名，填写 URL、密钥和待评测的模型名称（slug）。必须使用https://，平台会加密保存密钥。单击 Verify（验证） 会对每个模型发起包含最少输入的测试调用，并显示失败项。

使用外部模型运行评测

配置后，可在数据集或评测的模型选择器中选择外部模型。目前不支持工具调用。

以下按同页HTML恢复勾选标记；空白保持为“未标记”，不自行解释为明确不支持。

后续阅读

更多示例见 OpenAI Cookbook。

• 数据集入门：快速建立评测并迭代提示词。
• 使用 Evals：外部模型、API 与规模化评测。