OpenAI CSAM 儿童安全指南

2026-11-09 15:09 更新

OpenAI 在 Tech Coalition、Thorn、美国国家失踪与受剥削儿童中心(NCMEC)和互联网观察基金会(IWF)等专家的协助下编写了本资源。

将儿童安全纳入产品设计

OpenAI 对开发者有明确的儿童安全要求:你有责任确保用户依法使用服务,包括遵守将儿童性虐待与性剥削定为犯罪的法律。绝不可使用 OpenAI 服务剥削、危害或对任何未满 18 岁者进行性化呈现。参见 OpenAI 使用政策。

在线儿童性剥削与虐待影响多种产品和服务,即使产品不面向儿童也存在风险。应尽早考虑产品可能被如何滥用,使保护措施随产品成长,而非在系统复杂后再补做。

各种规模的团队都应评估儿童性虐待材料(CSAM)、诱骗、性勒索、将儿童性化、直播虐待和人口贩运等风险;支持消息、内容上传、图像编辑、直播、内容发现或支付的产品尤其如此。本指南聚焦 CSAM,提供保护儿童的实用做法。

从哪里开始

合适的方案和实施路径取决于组织规模、成熟度与可用资源。以下清单是起点。应先开始处理风险,不必等所有工具和步骤齐备才行动。

预防

制定清晰的产品规则,并建立听取用户反馈的机制。

  • 明确禁止。在服务条款、可接受使用政策或社区规范中禁止儿童性剥削与虐待。TSPA 资源和 Tech Coalition 免费 Pathways 计划提供专家指导与工具,包括禁止此类行为的外部标准资源。
  • 提供举报入口。让用户能明显地找到举报有害内容或行为的方式,将信息送至有人监控的队列,并保留足以作出政策判断的信息。参见澳大利亚 eSafety 指南。
  • 用安全标识符关联上传与用户。在产品内将每次上传关联到用户。在受支持的 OpenAI 请求中发送安全标识符,有助于监控滥用、提供更可执行的违规反馈,并减少单个用户影响整个组织的机会。每个用户使用唯一稳定字符串;先对邮箱或用户名做哈希,避免披露个人信息。直接调用 Images API 生成和编辑图像时,在 safety_identifier 中传同一稳定标识。user 已弃用,但为向后兼容仍受支持。

准备进一步完善时,可考虑:

  • 针对 CSAM 相关关键词或 URL 实施预防性阻止或拒绝。参见 IWF 技术与服务。
  • 向试图从事相关行为的用户展示警告或提示。参见 Stop It Now! / Project Intercept。
  • 产品向儿童开放且儿童报告其性图像或视频出现在平台上时,引导其使用 IWF 与 NSPCC 的 Report Remove(帮助英国儿童报告并移除或屏蔽材料),或 NCMEC 的 Take It Down服务。
  • 知悉儿童正面临即时或迫近伤害时,将情况转介当地执法等紧急服务,并告知儿童如何联系紧急服务。

检测

识别可能违规的内容或行为,以便审查和处置。可使用以下 CSAM 专用工具与措施。

感知哈希匹配。支持上传、存储或处理视觉媒体的产品,可生成图像或视频的数字指纹,与已知 CSAM 指纹比较,即使文件经过缩放、压缩等修改也可能匹配。既需要哈希技术,也需要已知 CSAM 哈希列表,并非所有服务同时提供两者。

推荐技术包括 Safer by Thorn(检测已知图像、视频材料)、PhotoDNA(符合资格的公司可通过 Tech Coalition 的免费 Pathways 计划申请再许可)、Meta PDQ以及 YouTube 的 CSAI Match 视频哈希技术。

哈希列表方面,NCMEC 提供已知 CSAM、剥削内容与生成式 AI CSAM 列表,可联系其电子服务提供商团队。IWF 的 Image Intercept 面向符合资格的小企业和初创公司,集成所需技术经验较少。

新出现的 CSAM 分类器。这类工具识别未知或未见过的材料。Safer by Thorn 提供针对图像、视频潜在新 CSAM 和文本剥削信号的分类器。Google 的 Content Safety API 用 AI 分类图像和视频,分配人工审查优先级;优先级越高,越可能包含 CSAM。

识别并处置恶意账户。结合用户名、邮箱、设备 ID 等信息,考虑永久封禁或以其他方式阻止已违反或试图违反 CSAM 政策的账户,并留意反复注册、规避执行的行为。

响应与报告

确保产品和团队发现服务中存在 CSAM 后能够适当行动。

  • 注册并准备向主管机构报告。可向 NCMEC 注册,或寻找当地热线。考虑报告是否可采取行动、是否有助于保护儿童,尽可能提供用于确定管辖区和识别嫌疑人的信息。NCMEC 报告文档列出 IP 地址、设备 ID 等字段。各司法管辖区的法律与报告义务不同。
  • 保留可用记录与标识。报告时保存事件及有助于识别违规者的相关数据,以响应执法请求。
  • 编写响应手册。明确谁审查、紧急案例如何内外升级、如何处置违规用户及谁有决策权,建立执行流程。参见 TSPA 内容审核与运营。
  • 考虑与 IWF 等可信专家举报机构和热线建立网络,利用其专业能力标记案例。
  • 培训并支持人员。让人工参与;确保审核、支持和值班人员理解政策、升级路径及自动系统的局限。
  • 使用必要的审核和响应工具。Moderation API及 omni-moderation-latest 可检测文本、图像有害内容,但不能替代 CSAM 专用检测。其 sexual/minors 类别覆盖涉及未满 18 岁者的性内容,仅支持文本。结果可用于阻止或过滤、转人工、干预账户、为重复滥用增加阻力及实施产品政策。不要向该 API 发送已知或疑似 CSAM。

也可考虑其他工具。例如开源审查控制台 Coop 可对文本、多媒体和个人资料中的潜在违规进行分流,支持人工与自动审查、审核人员身心健康保护,以及包括 NCMEC CyberTipline 报告在内的端到端流程。

进一步完善时,应投资审核人员培训、支持与身心健康计划,参见 WeProtect 一线响应人员健康与福祉资源。不必拥有大型信任与安全团队才开始;Tech Coalition 提供:

  • Pathways:面向所有规模公司、尤其初创和中小平台的免费能力建设计划,提供资源、指导与支持,符合资格者可申请 PhotoDNA 再许可。
  • Elevate:定制咨询和实施支持,帮助加强儿童安全计划、应对具体风险。
  • 会员计划:参与行业全球协作、同业交流、分享经验及集体行动;可联系 Tech Coalition 团队初步咨询。
  • 开发者良好实践:进一步实施指导。

扩展保护措施

控制措施取决于产品、开发阶段和成熟度、用户、功能、运营地区及资源。直播、图像生成或编辑、文件存储、私密连接等高暴露产品,应考虑加强:

  • 上线前及高风险功能变化后的产品风险评估,参见 Ofcom 指南。
  • 适合服务的多层检测,包括哈希、图像或视频分类器、文本信号、关键词与 URL 屏蔽。
  • 对高置信度或高严重程度信号进行人工审查,用工具保护人员福祉,减少不必要的有害材料接触。
  • 通过速率限制、账户控制和滥用监控增加重复滥用难度。
  • 定期测试、度量,发现缺口、跟踪结果、改进控制。

这些建议是起点,不是法律意见或通用的注意义务标准;应依据服务、风险和适用法律调整。

以上内容是否对您有帮助:
在线笔记
App下载
App下载

扫描二维码

下载编程狮App

公众号
微信公众号

编程狮公众号