🤖
robots.txt生成ツール
クロール許可・拒否ルールとサイトマップURLからrobots.txtを作成します。
User-agent
Disallow
/admin/ /private/
Allow
/
Sitemap URL
https://example.com/sitemap.xml
Crawl-delay
コピー
txt保存
robots.txt