OpenAI CSAM 图像分类器
OpenAI 儿童性虐待材料(CSAM)图像分类器用于帮助审核人员确定复核优先级,识别图像中可能存在的 CSAM 信号,包括可能由 AI 生成的材料。已获批的组织可免费使用。
工作原理
使用模型 omni-moderation-csam-latest,每次输入一张图像,获取两类信号:疑似 CSAM 与疑似 AI 生成的 CSAM。通用审核可用 omni-moderation-latest。通用模型可以标记图像中的色情内容,但 sexual/minors 类别只用于文本。
分类一张图像
遵守组织批准的材料处理流程,勿提交已知 CSAM。将 OPENAI_API_KEY 设置为已获批组织的 API 密钥,单独发起创建审核请求,路径为 POST /v1/moderations。
input 数组只放一张静态图像,大小最多为 20 MB(20,000,000 字节)。将 type 设为 image_url,在 image_url.url 提供 HTTP 或 HTTPS 图像地址,或 Base64 图像数据 URL。分类器仅处理图像。
以下请求使用一张肥皂图片演示。
## 使用获批组织的 API 密钥测试肥皂示例图片
curl https://api.openai.com/v1/moderations \
-X POST \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
"model": "omni-moderation-csam-latest",
"input": [
{
"type": "image_url",
"image_url": {
"url": "https://cdn.openai.com/API/docs/images/soap.png"
}
}
]
}'
下面是响应示例。
{
"id": "modr_example",
"model": "omni-moderation-csam-latest",
"results": [
{
"flagged": false,
"categories": {
"likely-csam": false,
"likely-csam/gen-ai": false
},
"category_scores": {
"likely-csam": 0.12,
"likely-csam/gen-ai": 0.01
},
"category_applied_input_types": {
"likely-csam": ["image"],
"likely-csam/gen-ai": ["image"]
}
}
]
}
解读结果
先读取 results[0].flagged,再查看各类别的标记。
| 响应字段 | 含义 |
|---|---|
flagged |
分类器是否标记该图像。 |
categories |
各类别是否达到配置的判定阈值,使用布尔值表示。 |
category_scores |
取值为 0 至 1 的无单位分数。对同一类别和模型快照,分数越高代表匹配信号越强。分数未校准为概率,各类别的阈值也未统一设为 0.5。 |
category_applied_input_types |
每个类别评估的输入类型。本接口返回 ["image"]。 |
类别
| 类别 | 信号 |
|---|---|
likely-csam |
疑似 CSAM。 |
likely-csam/gen-ai |
疑似 AI 生成的 CSAM。 |
命中标记后,应按组织流程人工复核、升级处理和报告。分类器不会自动向主管部门报告。处理详情见儿童安全指南。
排查请求失败
确认模型名称为 omni-moderation-csam-latest、密钥属于获批组织,且只提交了一张符合大小限制的图像。该模型仅支持独立审核请求,暂不支持生成过程内联审核或 Batch API。
遇到限流时,检查组织的实际额度和速率限制指南。
申请访问
请提交官方分类器申请表。

TRAE-AI编程


更多建议: