robots.txt 生成器
可视化生成 robots.txt：按爬虫分组填写 Allow / Disallow 规则与 Crawl-delay，可添加 Sitemap， 一键套用常用预设（放行全部、屏蔽后台、屏蔽采集与 AI 训练爬虫等）。全部在浏览器本地拼装，不上传。
用户代理组
Sitemap 地址
生成的 robots.txt
常见爬虫 User-agent 速查
* 所有爬虫
Googlebot 谷歌搜索
Bingbot 必应搜索
Baiduspider 百度搜索
YisouSpider 神马搜索
Sogou web spider 搜狗搜索
GPTBot OpenAI 训练
ChatGPT-User OpenAI 实时抓取
ClaudeBot / anthropic-ai Anthropic
CCBot Common Crawl 数据集
Google-Extended 谷歌 AI 训练
Bytespider 字节 AI / 采集
AhrefsBot SEO 外链分析
SemrushBot SEO 分析
MJ12bot Majestic 外链
DotBot Moz 外链
注意：robots.txt 是君子协定，正规搜索引擎会遵守，恶意采集器可能无视；真正要限制访问请用登录鉴权或 WAF 规则。
使用说明
可视化生成 robots.txt：按爬虫分组填写 Allow / Disallow 规则与 Crawl-delay，可添加多条 Sitemap 地址，内置放行全部、屏蔽后台、屏蔽 AI 训练爬虫、屏蔽采集爬虫等常用预设，并附常见爬虫 User-agent 速查。生成的文本在浏览器本地拼装，不上传服务器。
- 先点一个常用预设（如「屏蔽后台与敏感目录」或「仅放行主流搜索引擎」）作为起点，再按需增删。
- 在「用户代理组」里填写 User-agent（多个用逗号分隔，如 * 或 Googlebot），规则每行一条：可直接写路径（默认按 Disallow），也可写明 Allow / Disallow。
- 需要时补充 Crawl-delay，以及在下方添加 Sitemap 地址。
- 右侧实时生成 robots.txt，点「复制」或「下载」得到文件，放到站点根目录即可。
常见问题
- robots.txt 能阻止别人抓我的内容吗？
- 不能强制。它是给爬虫看的“君子协定”，正规搜索引擎会遵守，但恶意采集器可能无视。要真正限制访问，需用登录鉴权、限速或 WAF 规则。
- Disallow 和 Allow 谁优先？
- 当两者冲突时，更具体（路径更长）的规则优先。例如同时有 Disallow: /admin/ 和 Allow: /admin/public/，则 /admin/public/ 会被允许。
- 怎么阻止 AI 抓取我的内容用于训练？
- 可用「屏蔽 AI 训练爬虫」预设，针对 GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider 等声明 Disallow: /。注意各家是否遵守并不统一，这只是表态。