robots.txt生成器

robots.txt生成器使用说明

robots.txt 控制抓取，不是访问控制，也不能保证 URL 不出现在索引中。

1. 打开robots.txt生成器，填写或选择：User-agent、禁止抓取路径（每行一个）、允许路径（每行一个）、Sitemap 地址。
2. 按需要调整参数并执行robots.txt生成器，查看结果与输入错误提示。
3. 检查结果后，使用本工具适用的复制、下载、导出或重置操作。

使用示例

User-agent：*
禁止抓取路径（每行一个）：/admin
/account
允许路径（每行一个）：/
Sitemap 地址：https://ddlong.fun/sitemap.xml

常见问题

robots.txt生成器如何使用？

打开robots.txt生成器，填写或选择：User-agent、禁止抓取路径（每行一个）、允许路径（每行一个）、Sitemap 地址。、按需要调整参数并执行robots.txt生成器，查看结果与输入错误提示。、检查结果后，使用本工具适用的复制、下载、导出或重置操作。

robots.txt生成器的输入与计算口径是什么？

robots.txt 控制抓取，不是访问控制，也不能保证 URL 不出现在索引中。

robots.txt生成器会上传输入或文件吗？

本工具采用浏览器本地处理，工具计算不需要提交输入与文件。浏览器能力、输入格式与资源限制见操作区说明。

相关工具