# 用服务器日志看懂 AI 爬虫：识别、统计与排查抓取问题

> AI 搜索有没有在抓你的网站、抓了哪些页面、有没有被防火墙拦住，服务器日志能给出最直接的答案。本文介绍如何从访问日志中识别主要 AI 爬虫、核验真伪、统计抓取情况，并排查常见的抓取失败原因。

- URL: http://geoai.it.com/zh/post/ai-bot-log-analysis
- Author: Site Author
- Published: 2026-11-17
- Updated: 2026-11-16
- Language: zh
- Tags: 日志分析, AI爬虫, 技术实操, OAI-SearchBot, PerplexityBot

## 要点

- 访问日志是判断 AI 爬虫是否能抓到网站的一手数据，比任何第三方工具都直接。
- 按 User-Agent 识别后，必须用官方公布的 IP 列表核验，防止伪造。
- 重点看三件事：抓了哪些页面、返回什么状态码、频次是否稳定。
- 大量 403、429 或抓取后台无用路径，往往说明防火墙或站点结构需要调整。

判断 AI 搜索能不能抓到你的网站，最可靠的方法是看服务器访问日志。日志会记录每一次请求的 IP、时间、请求路径、状态码和 User-Agent。通过筛选主要 AI 爬虫的标识，再用官方 IP 列表核验真伪，你就能知道它们抓了哪些页面、是否被拦截、频次是否正常，从而发现 robots.txt 或防火墙中的问题。

## 第一步：认识主要的 AI 访问者

以下名称来自各家官方文档（OpenAI 开发者文档的爬虫说明页、Perplexity 官方爬虫文档）：

| User-Agent 关键词 | 所属 | 官方说明的用途 |
| --- | --- | --- |
| OAI-SearchBot | OpenAI | ChatGPT 搜索收录 |
| GPTBot | OpenAI | 可能用于基础模型训练的抓取 |
| ChatGPT-User | OpenAI | 用户在 ChatGPT 中发起的访问 |
| PerplexityBot | Perplexity | Perplexity 搜索收录 |
| Perplexity-User | Perplexity | 用户提问时的实时访问 |

其他平台的爬虫名称请以其官方文档为准。另外需要注意，据 Google Search Central 文档，Google-Extended 只是 robots.txt 中的控制标记，没有独立的 User-Agent，不会出现在日志里。关于这些爬虫在 robots.txt 中的区别对待，可参考 [AI 爬虫与 robots.txt：允许训练，还是只允许检索？](/zh/post/ai-crawlers-robots)。

## 第二步：筛选日志

以 Nginx 的常见日志格式为例，可以用命令行快速统计：

~~~
# 统计各 AI 爬虫的请求数
grep -oE "OAI-SearchBot|GPTBot|ChatGPT-User|PerplexityBot|Perplexity-User" access.log | sort | uniq -c

# 查看 OAI-SearchBot 的状态码分布
grep "OAI-SearchBot" access.log | awk '{print $9}' | sort | uniq -c
~~~

日志字段位置因配置而异，请根据自己的日志格式调整。数据量较大时，可以导入表格工具或日志分析平台处理。

## 第三步：核验真伪

User-Agent 可以被任意伪造。OpenAI 和 Perplexity 都在官方文档中公布了 JSON 格式的 IP 列表（例如 openai.com/searchbot.json、perplexity.com/perplexitybot.json）。核验方法是：提取声称为 AI 爬虫的请求 IP，与官方列表比对，不在列表中的请求按普通机器人流量处理。

## 第四步：看三个关键指标

1. **抓取范围**：被抓取最多的是哪些路径？如果大量请求落在搜索结果页、筛选参数页或后台路径，说明需要用 robots.txt 或规范链接收窄范围；如果核心文章很少被访问，检查内链和站点地图。
2. **状态码**：理想情况下以 200 为主。大量 403 通常是防火墙拦截，429 是限流，5xx 是服务器问题，301/302 过多则说明链接需要更新。
3. **频次变化**：频次突然归零，常与 robots.txt 改动、证书问题或 CDN 规则调整有关。

## 常见问题与处理

| 现象 | 可能原因 | 处理 |
| --- | --- | --- |
| 完全没有 AI 爬虫记录 | robots.txt 屏蔽或 CDN 在边缘拦截 | 检查规则，查看 CDN 日志 |
| 大量 403 | WAF 机器人防护 | 按官方 IP 段放行 |
| 只抓首页 | 内链薄弱、站点地图缺失 | 完善内链和 sitemap |
| 返回内容很少 | 正文依赖 JavaScript 渲染 | 服务端输出正文 |

## 把日志纳入监测体系

日志告诉你“AI 有没有来”，而抽测告诉你“AI 有没有用”。两者结合才能完整评估 GEO 效果，抽测方法见 [如何监测品牌的 AI 可见度：从手工抽测到数据看板](/zh/post/ai-visibility-monitoring)。建议每月导出一次 AI 爬虫统计，与内容更新、抽测结果放在一起看。若想了解各 AI 引擎答案的信源结构，可阅读 [AI 搜索的答案从哪里来？](/zh/post/ai-search-sources)。

处理日志时请注意 IP 等信息可能涉及个人信息，应按所在地法规和公司制度妥善保存与使用。

## 常见问题

### 用的是虚拟主机，看不到原始日志怎么办？

可以在主机控制面板下载访问日志，或在 CDN 服务商处开启日志功能；部分 CDN 也提供按机器人类型的统计。

### Google-Extended 能在日志里看到吗？

据 Google 官方文档，Google-Extended 是 robots.txt 中的控制标记，没有单独的 User-Agent，日志中看到的仍是 Googlebot 等常规爬虫。

### 日志要保留多久？

用于趋势分析建议至少保留 3 个月，同时注意遵守所在地关于个人信息和日志存储的规定。

