# AI 爬虫与 robots.txt：允许训练，还是只允许检索？

> 屏蔽错一个 AI 爬虫，就可能从 ChatGPT 等产品的答案中消失。本文区分“训练爬虫”和“检索爬虫”，给出三种常见的 robots.txt 配置策略。

- URL: http://geoai.it.com/zh/post/ai-crawlers-robots
- Author: Site Author
- Published: 2026-11-16
- Updated: 2026-11-16
- Language: zh
- Tags: robots.txt, AI 爬虫, GPTBot, OAI-SearchBot

## 要点

- AI 公司通常有多个爬虫：一类收集训练数据，一类为搜索建索引，一类代用户实时访问网页。
- OpenAI 的 GPTBot 用于训练，OAI-SearchBot 用于 ChatGPT 搜索，两者可以分别设置。
- 屏蔽 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索答案中。
- ChatGPT-User 等由用户触发的访问，robots.txt 规则可能不适用。

## 先搞清楚：AI 爬虫不止一种

以 OpenAI 为例，官方文档列出了多个用途不同的爬虫：

| User-agent | 用途 | robots.txt |
|---|---|---|
| GPTBot | 收集数据用于训练模型 | 遵守 |
| OAI-SearchBot | 为 ChatGPT 搜索建立索引并展示引用 | 遵守 |
| ChatGPT-User | 用户在 ChatGPT 中让它访问某个网页时使用 | 因为由用户触发，规则可能不适用 |

GPTBot 和 OAI-SearchBot 可以**分别设置**：你可以允许 OAI-SearchBot 让网站出现在搜索结果中，同时禁止 GPTBot，表示不希望内容用于训练。OpenAI 也明确说明，**屏蔽了 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索答案中**。

其他厂商也有类似区分，例如 Anthropic 的 ClaudeBot / Claude-SearchBot / Claude-User，Perplexity 的 PerplexityBot / Perplexity-User，Google 用 Google-Extended 控制 Gemini 等产品的训练使用。

需要注意：Google 的 AI Overviews 和 AI Mode 属于 Google 搜索本身，控制它们靠的是 **Googlebot** 的规则，而不是 Google-Extended。

## 三种常见策略

### 策略一：全部放行（追求最大曝光）

```
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Disallow: /admin
```

### 策略二：只允许检索，不允许训练（最常见的折中）

```
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /
```

### 策略三：全部屏蔽（付费内容、敏感内容）

适合会员内容等不希望被摘要的网站，但代价是基本放弃 AI 搜索曝光。

## 一个容易踩的坑

robots.txt 里，一旦为某个爬虫单独写了分组，它就**不再继承** `User-agent: *` 下的规则。所以单独给 AI 爬虫写分组时，记得把 `/admin` 等禁止路径也复制过去。本博客模板的“GEO · AI 爬虫策略”插件会自动处理这一点。

## 检查清单

1. 打开 `你的域名/robots.txt`，确认没有误伤 OAI-SearchBot、PerplexityBot 等检索爬虫。
2. 检查 CDN 或防火墙（如 WAF、防 CC 规则）是否把 AI 爬虫当成恶意流量拦截了。很多网站 robots.txt 写对了，却在防火墙层被拦。
3. 在服务器日志或后台统计中查看 AI 爬虫的访问记录，确认它们确实来了。

## 常见问题

### 不想内容被拿去训练，但想被 AI 搜索引用，怎么设置？

屏蔽训练类爬虫（如 GPTBot、Google-Extended、CCBot），放行检索类爬虫（如 OAI-SearchBot、PerplexityBot、Claude-SearchBot）。

### 修改 robots.txt 后多久生效？

爬虫一般会缓存 robots.txt，通常在一天左右会重新读取，具体取决于各家爬虫。

