GEO 技术 2026年11月16日 · 2 分钟阅读 AI 爬虫与 robots.txt:允许训练,还是只允许检索? 屏蔽错一个 AI 爬虫,就可能从 ChatGPT 等产品的答案中消失。本文区分“训练爬虫”和“检索爬虫”,给出三种常见的 robots.txt 配置策略。 #robots.txt#AI 爬虫#GPTBot#OAI-SearchBot