网站爬虫检测

• robots.txt 爬虫规则检测工具，输入网站域名即可快速获取并解析 robots.txt 文件，查看搜索引擎爬虫的抓取规则
• 支持 Allow/Disallow 规则解析、Crawl-Delay 延迟设置、Sitemap 引用提取、常见爬虫相关文件检测等功能

1. 打开本工具页面，无需下载或安装
2. 在输入框中输入网站域名（可直接输入 example.com，也可通过左侧下拉选择 http/https 协议）
3. 点击「检测」按钮，即可查看解析后的抓取规则详情

• 本工具完全免费，无需注册或登录即可使用
• 检测结果基于网站当前的线上 robots.txt，仅用于查看其公开的爬虫抓取规则，请仅输入你有权检测的域名

免费在线 robots.txt 爬虫规则检测工具，输入网站域名即可快速获取并解析 robots.txt 文件，查看搜索引擎爬虫的抓取规则。支持 Allow/Disallow 规则解析、Crawl-Delay 延迟设置、Sitemap 引用提取、常见爬虫相关文件检测等功能。

打开本工具页面，无需下载或安装 在输入框中输入网站域名（可直接输入 example.com，也可通过左侧下拉选择 http/https 协议） 点击「检测」按钮，即可查看解析后的抓取规则详情

本工具完全免费，无需注册或登录即可使用 检测结果基于网站当前的线上 robots.txt，仅用于查看其公开的爬虫抓取规则，请仅输入你有权检测的域名

网站爬虫检测完全免费，无需下载安装，打开网页即可在浏览器中直接使用。