robots.txtジェネレーター
ファイルを作成
ブロックするクローラーのグループを選択してください。検索クローラーは明示的に選択しない限り許可されます。
この非標準のディレクティブは Bingbot に対してのみ出力されます。Google はこれを処理しません; Bing は 1–20 秒の値を文書化しています。Bingbot をブロックすると、このディレクティブは省略されます。
完全にブラウザー内で実行され、貼り付けた内容はアップロードも保存もされません。 Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. 匿名化した実行単位の結果件数を集計調査に使う場合があります。URL、ドメイン、IPアドレス、識別子は含めず、100回未満の実行から統計を公開しません。
生成された robots.txt
ブロック ≠ インデックスからの削除。 Disallow は、それに従うクローラーに URL を取得しないよう求めます。検索エンジンがすでに認識している URL を削除するものではありません。
一致結果のライブプレビュー
ボット × URL の完全な表が必要ですか？ robots.txt テスターを開く →このツールについて
クローラーのプリセット、ライブGoogle形式のURLマッチング、サイトマップ行、コピー可能な出力を備えた明確なrobots.txtを作成します。
検索、AI学習、アシスタント、アーカイブのグループを選び、公開前に代表URLで生成結果を確認します。
機能
- 検索・AI・アシスタント・アーカイブのグループ化
- 任意のBingbot crawl-delay（1〜20秒）
- Google形式の最長一致マッチャー
- サイトマップ行とコピー可能な出力
仕組み
ブロックするクローラー群を選び、任意の絶対サイトマップURLとURLサンプルを入力します。別々のUser-agentグループとDisallow規則を出力し、robots.txt Testerと同じGoogle形式の最長一致で結果を表示します。
制限事項
- robots.txtはセキュリティやインデックス削除の手段ではありません。機密パスを隠すために列挙せず、非公開にはアクセス制御、削除にはnoindexを使ってください。
- すべてのクローラーが任意の設定に従うとは限らず、実際の挙動はこのファイルだけでは保証できません。
よくある質問
ボットをブロックするとページはインデックスから消えますか？
いいえ。robots.txtはクロールを制御するだけです。削除シグナルが必要なら、クロール可能なページでnoindexを使ってください。
すべてのクローラーはこのファイルに従いますか？
いいえ。robots.txtは公開された任意のクロール設定であり、アクセス制御ではありません。非公開コンテンツには認証、WAF、レート制限を使ってください。
Sitemap行が必要なのはなぜですか？
XMLサイトマップへの絶対URLをクローラーに明示できます。任意ですが、発見性のため通常は役立ちます。
よくある問題と修正方法
- 警告 生成済み ポリシー ブルオククス 選択済み アイ クローラー 修正: 選択したクローラーのDisallowルールを削除するか、そのAIクローラーに公開しないパスだけに対象を絞ります。
- 警告 生成した設定が検索クローラーをブロックしています 修正: Googlebot または Bingbot に対する Disallow ルールを削除するか対象を絞り、自然検索に表示したいページをクロール可能にしてください。
- 警告 スエンスイトイヴエ パス ない 禁止 修正: 非公開の管理画面、ステージング、カート、サイト内検索の各パスに明示的なDisallowルールを追加します。ただし、本当に機密性の高いデータはrobots.txtではなく認証で保護してください。
- 情報 生成したファイルに Sitemap 宣言がありません 修正: 正規の公開取得可能なサイトマップまたはサイトマップインデックスを指す、絶対 URL の Sitemap: https://…/sitemap.xml 宣言を追加してください。
- 警告 生成されたグループに矛盾するルールがあります 修正: 同じユーザーエージェントのルールを1つのグループにまとめ、重複するAllow・Disallowパスを整理して、意図した1つのポリシーを表現します。