用服务器日志看懂 AI 爬虫:识别、统计与排查抓取问题

AI 搜索有没有在抓你的网站、抓了哪些页面、有没有被防火墙拦住,服务器日志能给出最直接的答案。本文介绍如何从访问日志中识别主要 AI 爬虫、核验真伪、统计抓取情况,并排查常见的抓取失败原因。

判断 AI 搜索能不能抓到你的网站,最可靠的方法是看服务器访问日志。日志会记录每一次请求的 IP、时间、请求路径、状态码和 User-Agent。通过筛选主要 AI 爬虫的标识,再用官方 IP 列表核验真伪,你就能知道它们抓了哪些页面、是否被拦截、频次是否正常,从而发现 robots.txt 或防火墙中的问题。

第一步:认识主要的 AI 访问者

以下名称来自各家官方文档(OpenAI 开发者文档的爬虫说明页、Perplexity 官方爬虫文档):

User-Agent 关键词所属官方说明的用途
OAI-SearchBotOpenAIChatGPT 搜索收录
GPTBotOpenAI可能用于基础模型训练的抓取
ChatGPT-UserOpenAI用户在 ChatGPT 中发起的访问
PerplexityBotPerplexityPerplexity 搜索收录
Perplexity-UserPerplexity用户提问时的实时访问

其他平台的爬虫名称请以其官方文档为准。另外需要注意,据 Google Search Central 文档,Google-Extended 只是 robots.txt 中的控制标记,没有独立的 User-Agent,不会出现在日志里。关于这些爬虫在 robots.txt 中的区别对待,可参考 AI 爬虫与 robots.txt:允许训练,还是只允许检索?。

第二步:筛选日志

以 Nginx 的常见日志格式为例,可以用命令行快速统计:

# 统计各 AI 爬虫的请求数
grep -oE "OAI-SearchBot|GPTBot|ChatGPT-User|PerplexityBot|Perplexity-User" access.log | sort | uniq -c

# 查看 OAI-SearchBot 的状态码分布
grep "OAI-SearchBot" access.log | awk '{print $9}' | sort | uniq -c

日志字段位置因配置而异,请根据自己的日志格式调整。数据量较大时,可以导入表格工具或日志分析平台处理。

第三步:核验真伪

User-Agent 可以被任意伪造。OpenAI 和 Perplexity 都在官方文档中公布了 JSON 格式的 IP 列表(例如 openai.com/searchbot.json、perplexity.com/perplexitybot.json)。核验方法是:提取声称为 AI 爬虫的请求 IP,与官方列表比对,不在列表中的请求按普通机器人流量处理。

第四步:看三个关键指标

  1. 抓取范围:被抓取最多的是哪些路径?如果大量请求落在搜索结果页、筛选参数页或后台路径,说明需要用 robots.txt 或规范链接收窄范围;如果核心文章很少被访问,检查内链和站点地图。
  2. 状态码:理想情况下以 200 为主。大量 403 通常是防火墙拦截,429 是限流,5xx 是服务器问题,301/302 过多则说明链接需要更新。
  3. 频次变化:频次突然归零,常与 robots.txt 改动、证书问题或 CDN 规则调整有关。

常见问题与处理

现象可能原因处理
完全没有 AI 爬虫记录robots.txt 屏蔽或 CDN 在边缘拦截检查规则,查看 CDN 日志
大量 403WAF 机器人防护按官方 IP 段放行
只抓首页内链薄弱、站点地图缺失完善内链和 sitemap
返回内容很少正文依赖 JavaScript 渲染服务端输出正文

把日志纳入监测体系

日志告诉你“AI 有没有来”,而抽测告诉你“AI 有没有用”。两者结合才能完整评估 GEO 效果,抽测方法见 如何监测品牌的 AI 可见度:从手工抽测到数据看板。建议每月导出一次 AI 爬虫统计,与内容更新、抽测结果放在一起看。若想了解各 AI 引擎答案的信源结构,可阅读 AI 搜索的答案从哪里来?。

处理日志时请注意 IP 等信息可能涉及个人信息,应按所在地法规和公司制度妥善保存与使用。

常见问题

用的是虚拟主机,看不到原始日志怎么办?

可以在主机控制面板下载访问日志,或在 CDN 服务商处开启日志功能;部分 CDN 也提供按机器人类型的统计。

Google-Extended 能在日志里看到吗?

据 Google 官方文档,Google-Extended 是 robots.txt 中的控制标记,没有单独的 User-Agent,日志中看到的仍是 Googlebot 等常规爬虫。

日志要保留多久?

用于趋势分析建议至少保留 3 个月,同时注意遵守所在地关于个人信息和日志存储的规定。

引用本文

复制下方信息即可在报告或 AI 对话中引用本文:

Site Author. "用服务器日志看懂 AI 爬虫:识别、统计与排查抓取问题". GEO 优化教程:从零学会 AI 搜索排名优化, 2026-11-17. http://geoai.it.com/zh/post/ai-bot-log-analysis
Site Author 内容作者

专注搜索与 AI 内容策略。