OpenAI CSAM 图像分类器

2026-11-19 15:38 更新

OpenAI 儿童性虐待材料(CSAM)图像分类器用于帮助审核人员确定复核优先级,识别图像中可能存在的 CSAM 信号,包括可能由 AI 生成的材料。已获批的组织可免费使用。

工作原理

使用模型 omni-moderation-csam-latest,每次输入一张图像,获取两类信号:疑似 CSAM 与疑似 AI 生成的 CSAM。通用审核可用 omni-moderation-latest。通用模型可以标记图像中的色情内容,但 sexual/minors 类别只用于文本。

分类一张图像

遵守组织批准的材料处理流程,勿提交已知 CSAM。将 OPENAI_API_KEY 设置为已获批组织的 API 密钥,单独发起创建审核请求,路径为 POST /v1/moderations。

input 数组只放一张静态图像,大小最多为 20 MB(20,000,000 字节)。将 type 设为 image_url,在 image_url.url 提供 HTTP 或 HTTPS 图像地址,或 Base64 图像数据 URL。分类器仅处理图像。

以下请求使用一张肥皂图片演示。

## 使用获批组织的 API 密钥测试肥皂示例图片
curl https://api.openai.com/v1/moderations \
  -X POST \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -d '{
    "model": "omni-moderation-csam-latest",
    "input": [
      {
        "type": "image_url",
        "image_url": {
          "url": "https://cdn.openai.com/API/docs/images/soap.png"
        }
      }
    ]
  }'

下面是响应示例。

{
  "id": "modr_example",
  "model": "omni-moderation-csam-latest",
  "results": [
    {
      "flagged": false,
      "categories": {
        "likely-csam": false,
        "likely-csam/gen-ai": false
      },
      "category_scores": {
        "likely-csam": 0.12,
        "likely-csam/gen-ai": 0.01
      },
      "category_applied_input_types": {
        "likely-csam": ["image"],
        "likely-csam/gen-ai": ["image"]
      }
    }
  ]
}

解读结果

先读取 results[0].flagged,再查看各类别的标记。

响应字段 含义
flagged 分类器是否标记该图像。
categories 各类别是否达到配置的判定阈值,使用布尔值表示。
category_scores 取值为 0 至 1 的无单位分数。对同一类别和模型快照,分数越高代表匹配信号越强。分数未校准为概率,各类别的阈值也未统一设为 0.5。
category_applied_input_types 每个类别评估的输入类型。本接口返回 ["image"]。

类别

类别 信号
likely-csam 疑似 CSAM。
likely-csam/gen-ai 疑似 AI 生成的 CSAM。

命中标记后,应按组织流程人工复核、升级处理和报告。分类器不会自动向主管部门报告。处理详情见儿童安全指南。

排查请求失败

确认模型名称为 omni-moderation-csam-latest、密钥属于获批组织,且只提交了一张符合大小限制的图像。该模型仅支持独立审核请求,暂不支持生成过程内联审核或 Batch API。

遇到限流时,检查组织的实际额度和速率限制指南。

申请访问

请提交官方分类器申请表。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号