Robots 检测

爬虫规则分析

使用说明

1输入目标 URL，工具自动抓取并解析该站点的 robots.txt。

2检查目标路径是否被误屏蔽、Sitemap 是否声明。

3结合 meta robots 判断搜索引擎收录条件。

爬虫规则分析。SEO 工具逐项检查影响搜索引擎排名的关键因素，包括标题描述、死链、robots、核心性能指标和社交分享标签。

Robots 检测查什么？

抓取并解析网站的 robots.txt 规则，检查是否有误屏蔽页面、检查 meta robots 标签，评估搜索引擎蜘蛛能否正常抓取。

robots.txt 会阻止收录吗？

robots.txt 只控制抓取，不控制收录；Disallow 的页面仍可能被收录（只是不抓取）。彻底阻止收录应使用 noindex 标签。