ChatGPT 搜索怎么收录网站?OAI-SearchBot、GPTBot 与 ChatGPT-User 的区别
OpenAI 在官方文档中区分了多个爬虫:OAI-SearchBot 负责 ChatGPT 搜索,GPTBot 与模型训练相关,ChatGPT-User 处理用户发起的访问。本文讲清它们的分工、robots.txt 的推荐写法,以及想在 ChatGPT 搜索中出现需要做什么。
OpenAI 在官方文档中区分了多个爬虫:OAI-SearchBot 负责 ChatGPT 搜索,GPTBot 与模型训练相关,ChatGPT-User 处理用户发起的访问。本文讲清它们的分工、robots.txt 的推荐写法,以及想在 ChatGPT 搜索中出现需要做什么。
屏蔽错一个 AI 爬虫,就可能从 ChatGPT 等产品的答案中消失。本文区分“训练爬虫”和“检索爬虫”,给出三种常见的 robots.txt 配置策略。