用服务器日志看懂 AI 爬虫:识别、统计与排查抓取问题
AI 搜索有没有在抓你的网站、抓了哪些页面、有没有被防火墙拦住,服务器日志能给出最直接的答案。本文介绍如何从访问日志中识别主要 AI 爬虫、核验真伪、统计抓取情况,并排查常见的抓取失败原因。
判断 AI 搜索能不能抓到你的网站,最可靠的方法是看服务器访问日志。日志会记录每一次请求的 IP、时间、请求路径、状态码和 User-Agent。通过筛选主要 AI 爬虫的标识,再用官方 IP 列表核验真伪,你就能知道它们抓了哪些页面、是否被拦截、频次是否正常,从而发现 robots.txt 或防火墙中的问题。
第一步:认识主要的 AI 访问者
以下名称来自各家官方文档(OpenAI 开发者文档的爬虫说明页、Perplexity 官方爬虫文档):
| User-Agent 关键词 | 所属 | 官方说明的用途 |
|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT 搜索收录 |
| GPTBot | OpenAI | 可能用于基础模型训练的抓取 |
| ChatGPT-User | OpenAI | 用户在 ChatGPT 中发起的访问 |
| PerplexityBot | Perplexity | Perplexity 搜索收录 |
| Perplexity-User | Perplexity | 用户提问时的实时访问 |
其他平台的爬虫名称请以其官方文档为准。另外需要注意,据 Google Search Central 文档,Google-Extended 只是 robots.txt 中的控制标记,没有独立的 User-Agent,不会出现在日志里。关于这些爬虫在 robots.txt 中的区别对待,可参考 AI 爬虫与 robots.txt:允许训练,还是只允许检索?。
第二步:筛选日志
以 Nginx 的常见日志格式为例,可以用命令行快速统计:
# 统计各 AI 爬虫的请求数
grep -oE "OAI-SearchBot|GPTBot|ChatGPT-User|PerplexityBot|Perplexity-User" access.log | sort | uniq -c
# 查看 OAI-SearchBot 的状态码分布
grep "OAI-SearchBot" access.log | awk '{print $9}' | sort | uniq -c
日志字段位置因配置而异,请根据自己的日志格式调整。数据量较大时,可以导入表格工具或日志分析平台处理。
第三步:核验真伪
User-Agent 可以被任意伪造。OpenAI 和 Perplexity 都在官方文档中公布了 JSON 格式的 IP 列表(例如 openai.com/searchbot.json、perplexity.com/perplexitybot.json)。核验方法是:提取声称为 AI 爬虫的请求 IP,与官方列表比对,不在列表中的请求按普通机器人流量处理。
第四步:看三个关键指标
- 抓取范围:被抓取最多的是哪些路径?如果大量请求落在搜索结果页、筛选参数页或后台路径,说明需要用 robots.txt 或规范链接收窄范围;如果核心文章很少被访问,检查内链和站点地图。
- 状态码:理想情况下以 200 为主。大量 403 通常是防火墙拦截,429 是限流,5xx 是服务器问题,301/302 过多则说明链接需要更新。
- 频次变化:频次突然归零,常与 robots.txt 改动、证书问题或 CDN 规则调整有关。
常见问题与处理
| 现象 | 可能原因 | 处理 |
|---|---|---|
| 完全没有 AI 爬虫记录 | robots.txt 屏蔽或 CDN 在边缘拦截 | 检查规则,查看 CDN 日志 |
| 大量 403 | WAF 机器人防护 | 按官方 IP 段放行 |
| 只抓首页 | 内链薄弱、站点地图缺失 | 完善内链和 sitemap |
| 返回内容很少 | 正文依赖 JavaScript 渲染 | 服务端输出正文 |
把日志纳入监测体系
日志告诉你“AI 有没有来”,而抽测告诉你“AI 有没有用”。两者结合才能完整评估 GEO 效果,抽测方法见 如何监测品牌的 AI 可见度:从手工抽测到数据看板。建议每月导出一次 AI 爬虫统计,与内容更新、抽测结果放在一起看。若想了解各 AI 引擎答案的信源结构,可阅读 AI 搜索的答案从哪里来?。
处理日志时请注意 IP 等信息可能涉及个人信息,应按所在地法规和公司制度妥善保存与使用。
常见问题
用的是虚拟主机,看不到原始日志怎么办?
可以在主机控制面板下载访问日志,或在 CDN 服务商处开启日志功能;部分 CDN 也提供按机器人类型的统计。
Google-Extended 能在日志里看到吗?
据 Google 官方文档,Google-Extended 是 robots.txt 中的控制标记,没有单独的 User-Agent,日志中看到的仍是 Googlebot 等常规爬虫。
日志要保留多久?
用于趋势分析建议至少保留 3 个月,同时注意遵守所在地关于个人信息和日志存储的规定。
引用本文
复制下方信息即可在报告或 AI 对话中引用本文:
Site Author. "用服务器日志看懂 AI 爬虫:识别、统计与排查抓取问题". GEO 优化教程:从零学会 AI 搜索排名优化, 2026-11-17. http://geoai.it.com/zh/post/ai-bot-log-analysis