素材阁

Robots.txt 生成

生成 robots.txt,生成 robots.txt。

规则

robots.txt

放到站点根目录 /robots.txt;屏蔽 AI 爬虫不能阻止已抓取内容被使用,仅是声明。

相关工具