robots.txt规则测试

robots.txt规则测试使用说明

按最具体爬虫组、最长匹配路径与同长 Allow 优先评估；规则区分大小写，不构成访问认证。

1. 打开robots.txt规则测试，填写或选择：robots.txt、爬虫 User-Agent、请求路径与查询。
2. 按需要调整参数并执行robots.txt规则测试，查看结果与输入错误提示。
3. 检查结果后，使用本工具适用的复制、下载、导出或重置操作。

使用示例

robots.txt：User-agent: *
Disallow: /admin
Allow: /admin/help
爬虫 User-Agent：Googlebot
请求路径与查询：/admin/help

常见问题

robots.txt规则测试如何使用？

打开robots.txt规则测试，填写或选择：robots.txt、爬虫 User-Agent、请求路径与查询。、按需要调整参数并执行robots.txt规则测试，查看结果与输入错误提示。、检查结果后，使用本工具适用的复制、下载、导出或重置操作。

robots.txt规则测试的输入与计算口径是什么？

按最具体爬虫组、最长匹配路径与同长 Allow 优先评估；规则区分大小写，不构成访问认证。

robots.txt规则测试会上传输入或文件吗？

本工具采用浏览器本地处理，工具计算不需要提交输入与文件。浏览器能力、输入格式与资源限制见操作区说明。

相关工具