OpenAI 爬虫概览

OpenAI 使用网络爬虫（也称“机器人”）和用户代理为其产品执行操作。这些操作既可能自动进行，也可能由用户请求触发。网站管理员可以通过 robots.txt 中的 OAI-SearchBot 和 GPTBot 标记，管理网站及其内容如何与 AI 交互。

各项设置彼此独立。例如，可以允许 OAI-SearchBot，使网站出现在搜索结果中，同时禁止 GPTBot，表明抓取的内容不应被用于训练 OpenAI 的生成式 AI 基础模型。如果网站同时允许两种机器人，OpenAI 可能只抓取一次，并将结果用于这两种用途，以避免重复抓取。对于搜索结果，网站更新 robots.txt 后，OpenAI 的系统可能需要约 24 小时才能完成调整。

用户代理	用途
OAI-SearchBot	让网站内容出现在 ChatGPT 搜索结果中。
OAI-AdsBot	核验提交到 ChatGPT 的广告落地页，并帮助判断广告的展示相关性。
GPTBot	抓取可能用于训练生成式 AI 基础模型的内容。
ChatGPT-User	执行由 ChatGPT 或自定义 GPT 用户发起的特定访问操作。

OAI-SearchBot

OAI-SearchBot 用于搜索，帮助网站出现在 ChatGPT 搜索功能的结果中。选择禁止 OAI-SearchBot 的网站不会出现在 ChatGPT 的搜索回答中，但仍可能以导航链接的形式出现。若希望网站出现在搜索结果中，官方建议在 robots.txt 中允许 OAI-SearchBot，并允许来自下方公布的 IP 地址范围的请求。

用户代理字符串示例（版本号可能变化）：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot

获取 robots.txt 时，用户代理字符串可能额外包含 robots.txt 标记。这样，即使访问日志没有记录路径，网站管理员也更容易区分获取 robots.txt 与获取其他资源的请求：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot

公布的 IP 地址：searchbot.json。

OAI-AdsBot

OAI-AdsBot 用于核验提交为 ChatGPT 广告的网页是否安全。当你提交广告时，OpenAI 可能访问落地页，确保其符合相关政策；也可能使用落地页内容，判断何时向用户展示广告最相关。OAI-AdsBot 只访问被提交为广告的页面，其收集的数据不会用于训练生成式 AI 基础模型。

完整用户代理字符串：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

公布的 IP 地址：adsbot.json。

GPTBot

GPTBot 用于提升生成式 AI 基础模型的实用性和安全性。它抓取的内容可能用于训练这些模型。禁止 GPTBot 表明网站内容不应被用于训练生成式 AI 基础模型。

用户代理字符串示例（版本号可能变化）：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

获取 robots.txt 时，用户代理字符串可能额外包含 robots.txt 标记，以便网站管理员区分这类请求与其他资源请求，尤其适用于日志没有记录路径的情况。

公布的 IP 地址：gptbot.json。

ChatGPT-User

OpenAI 还会使用 ChatGPT-User 执行 ChatGPT 和自定义 GPT 中的某些用户操作。用户向 ChatGPT 或自定义 GPT 提问时，它可能使用 ChatGPT-User 用户代理访问网页。ChatGPT 用户也可以通过 GPT Actions 与外部应用交互。

ChatGPT-User 不用于自动抓取网页。这些操作由用户发起，因此 robots.txt 规则可能不适用。它也不用于决定内容是否出现在搜索中；若要管理搜索退出选项和自动抓取，请在 robots.txt 中配置 OAI-SearchBot。

完整用户代理字符串：

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

公布的 IP 地址：chatgpt-user.json。

订阅 RSS 源，接收本页的更新。