浏览器会强制执行 CORS，这是一条安全规则，用于阻止一个域上的页面读取另一个域上的文件，除非该网站允许。大多数网站不允许，因此仅靠浏览器的工具无法加载你的文件。在新标签页中打开 yourdomain.com/robots.txt，复制整个文件并粘贴到框中。你粘贴的任何内容都不会离开你的浏览器。
AI Ranked Robots.txt AI Crawler Checker
国家/地区：海外是否直连本地部署使用环境
粘贴 robots.txt，逐条查看 21 个 AI 爬虫能否访问你的页面
工具概况
快速了解工具核心信息
什么是AI Ranked Robots.txt AI Crawler Checker
AI综合总结
已核实粘贴 robots.txt 即可查看其允许或屏蔽的 21 个 AI 爬虫，如 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等，免费且私密，适用于 SEO 与爬虫访问管理。
完全免费无需注册
你是「AI Ranked Robots.txt AI Crawler Checker」的开发者？
徽标是「万智云集」的收录证明，也是品质认证；嵌入官网即为产品挂上权威背书，还能为详情页带回访客、提升热度指数。
哪些人适合使用AI Ranked Robots.txt AI Crawler Checker
为什么选择AI Ranked Robots.txt AI Crawler Checker
如何使用AI Ranked Robots.txt AI Crawler Checker
常见问题
关于本工具的常见疑问解答
不会。OpenAI 将 GPTBot 记录为收集可能用于训练其模型的内容的爬虫。ChatGPT 搜索使用不同的代理 OAI-SearchBot，而用户询问的页面由 ChatGPT-User 获取。要在选择退出训练的同时保持在 ChatGPT 搜索中可被引用，请禁止 GPTBot 并允许 OAI-SearchBot。
索引爬虫被记录为遵守它：其中包括 GPTBot、OAI-SearchBot、ClaudeBot 和 PerplexityBot。用户发起的抓取器则是另一回事。OpenAI 表示 robots.txt 可能不适用于 ChatGPT-User，Perplexity 表示 Perplexity-User 通常忽略它，Meta 表示 meta-externalfetcher 可能绕过它，因为是人请求了该页面。
不会。根据 RFC 9309，爬虫只遵守指定它的组，并完全忽略 * 组。如果你的 * 组阻止了 /admin/，而你添加了一个允许 GPTBot 的组，那么 GPTBot 现在就可以抓取 /admin/。将你仍然需要的任何规则复制到该命名组中，本页推荐的配置就是这样做的。
通常大约一天。RFC 9309 允许爬虫将 robots.txt 缓存最多 24 小时，OpenAI 表示 OAI-SearchBot 的更改大约需要 24 小时才能在搜索中体现，Meta 也给出了相同的数字。DuckDuckGo 更慢：它表示 DuckAssistBot 在选择退出后大约 72 小时停止。已经编入索引的页面可能会继续被引用，直到引擎重新抓取。
粘贴您的 robots.txt 后，该工具可以查看它允许或屏蔽了哪些 AI 爬虫。它覆盖 21 个 AI 爬虫，包括 GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等。
该工具免费且私密。
用户口碑
真实用户评价