AI 爬虫与 robots.txt:允许训练,还是只允许检索?

屏蔽错一个 AI 爬虫,就可能从 ChatGPT 等产品的答案中消失。本文区分“训练爬虫”和“检索爬虫”,给出三种常见的 robots.txt 配置策略。

先搞清楚:AI 爬虫不止一种

以 OpenAI 为例,官方文档列出了多个用途不同的爬虫:

User-agent用途robots.txt
GPTBot收集数据用于训练模型遵守
OAI-SearchBot为 ChatGPT 搜索建立索引并展示引用遵守
ChatGPT-User用户在 ChatGPT 中让它访问某个网页时使用因为由用户触发,规则可能不适用

GPTBot 和 OAI-SearchBot 可以分别设置:你可以允许 OAI-SearchBot 让网站出现在搜索结果中,同时禁止 GPTBot,表示不希望内容用于训练。OpenAI 也明确说明,屏蔽了 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索答案中。

其他厂商也有类似区分,例如 Anthropic 的 ClaudeBot / Claude-SearchBot / Claude-User,Perplexity 的 PerplexityBot / Perplexity-User,Google 用 Google-Extended 控制 Gemini 等产品的训练使用。

需要注意:Google 的 AI Overviews 和 AI Mode 属于 Google 搜索本身,控制它们靠的是 Googlebot 的规则,而不是 Google-Extended。

三种常见策略

策略一:全部放行(追求最大曝光)

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /admin

策略二:只允许检索,不允许训练(最常见的折中)

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

策略三:全部屏蔽(付费内容、敏感内容)

适合会员内容等不希望被摘要的网站,但代价是基本放弃 AI 搜索曝光。

一个容易踩的坑

robots.txt 里,一旦为某个爬虫单独写了分组,它就不再继承 User-agent: * 下的规则。所以单独给 AI 爬虫写分组时,记得把 /admin 等禁止路径也复制过去。本博客模板的“GEO · AI 爬虫策略”插件会自动处理这一点。

检查清单

  1. 打开 你的域名/robots.txt,确认没有误伤 OAI-SearchBot、PerplexityBot 等检索爬虫。
  2. 检查 CDN 或防火墙(如 WAF、防 CC 规则)是否把 AI 爬虫当成恶意流量拦截了。很多网站 robots.txt 写对了,却在防火墙层被拦。
  3. 在服务器日志或后台统计中查看 AI 爬虫的访问记录,确认它们确实来了。

常见问题

不想内容被拿去训练,但想被 AI 搜索引用,怎么设置?

屏蔽训练类爬虫(如 GPTBot、Google-Extended、CCBot),放行检索类爬虫(如 OAI-SearchBot、PerplexityBot、Claude-SearchBot)。

修改 robots.txt 后多久生效?

爬虫一般会缓存 robots.txt,通常在一天左右会重新读取,具体取决于各家爬虫。

引用本文

复制下方信息即可在报告或 AI 对话中引用本文:

Site Author. "AI 爬虫与 robots.txt:允许训练,还是只允许检索?". GEO 优化教程:从零学会 AI 搜索排名优化, 2026-11-16. http://geoai.it.com/zh/post/ai-crawlers-robots
Site Author 内容作者

专注搜索与 AI 内容策略。