robots.txt生成

robots.txtを作成：エージェント、許可、サイトマップ。

構文ミスなくボットを誘導

書き方を誤った robots.txt は、サイト全体を誤ってブロックしかねません。このツールはあなたの選択から有効なファイルを組み立てます：CMSプリセット、除外パス、サイトマップ。タイプミスの心配なく主導権を保てます。

すべてブラウザ内でローカルに生成されます。本番サイトに公開する前に、必ず Search Console でファイルを確認してください。

robots.txt ファイルは何のため？

サイトのルート（https://example.com/robots.txt）に置くと、検索エンジンのクローラーにどの部分を巡回すべきか避けるべきかを伝えます。これは礼儀上の取り決めで、行儀のよいボットは従いますが、技術的にアクセスを遮断するものではありません。

ページをブロックすれば Google から隠せる？

いいえ。「Disallow」は巡回を防ぎますが、インデックス登録は防ぎません。他サイトからリンクされていれば、ブロックしたページも結果に表示されることがあります。本当に除外するには「noindex」メタタグかパスワード保護を使います。

空の「Disallow:」は何を意味する？

値のない「Disallow:」行はすべてを許可します。ボットはサイト全体を巡回できます。逆に「Disallow: /」はすべてをブロックします。「何も禁止しない」と「すべて禁止する」の違いです。

サイトマップはここに記載すべき？

推奨されます。「Sitemap:」行は検索エンジンにサイトマップのURLを伝え、ページの発見を早めます。https://example.com/sitemap.xml のような完全な絶対URLを使ってください。