robots.txtテスター
サンプルデータ — ご自身のデータに置き換えてください
完全にブラウザー内で実行され、貼り付けた内容はアップロードも保存もされません。 The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). 匿名化した実行単位の結果件数を集計調査に使う場合があります。URL、ドメイン、IPアドレス、識別子は含めず、100回未満の実行から統計を公開しません。
+ で現在のサイトまたはページを保存します。保存したサイト、ページ、リストの横にある☆を使うとお気に入りに追加できます。最近のチェック履歴は下に表示されます。
名前付きリストを作成
ローカルの選択内容から対象を入力しました。
サイトパスポート この保存済みサイトのローカルコンテキスト
ローカルデータ
保存した対象、名前付きリスト、最近のチェック概要はこのブラウザ内だけに残ります。
Identical rows are grouped — click a row's count to expand. Click any cell to see the exact rule that decided it. On mobile, scroll the table sideways.
Why this verdict and how to verify it
このツールを評価
このツールについて
robots.txtのルールを各URLとクローラーに適用し、どのルールが勝つか、サイトマップとの競合、ファイルの構文上の問題を確認します。
提案した変更を差分として確認し、入力した各オリジンからrobots.txtを個別に取得できます。
機能
- URLとクローラーごとの許可・ブロック判定
- 各セルで勝つ正確なルールの表示
- 構文エラーとサイトマップ競合の検出
- 提案変更の差分モードとオリジン別ライブ取得
仕組み
robots.txtと対象URL、クローラープロファイルを読み込み、標準ルールを正規化して最長一致と優先順位を計算します。構文、サイトマップ、差分、ライブ取得の結果を分けて確認します。
制限事項
- これは入力されたrobots.txtとURLに対する決定論的な検査です。Googleのクロールやインデックス状態、キャッシュ、実際のリクエスト結果を保証しません。
- ライブ取得は入力されたオリジンの現在の応答に限られ、認証が必要な環境や一時的なネットワーク障害を推測しません。
よくある質問
robots.txt でページのインデックス登録を止められますか？
いいえ。Disallow が止めるのはクロールであり、インデックス登録ではありません。他のページから Disallow 対象 URL へのリンクがあれば、Google はその URL を、通常はスニペットなしで、インデックスに登録できます。インデックスから除外するには、クロール可能な状態で noindex メタタグまたは X-Robots-Tag ヘッダーを追加してください。Disallow も同時に設定すると、Google が noindex を確認できません。
robots.txt ではルールの順序が重要ですか？
Google では重要ではありません。Google はファイル内の位置に関係なく、最も具体的なルール、つまり一致するパスが最長のルールを適用するため、Allow が前の Disallow を上書きできます。このツールも同じ方法で判定します。他のクローラーには最初に一致したルールを採用するものもあるため、曖昧さのないルールにしてください。
Disallow と noindex の違いは何ですか？
Disallow は robots.txt でクローラーに URL を取得しないよう伝えます。noindex はページ上のメタタグまたは HTTP ヘッダーで、その URL をインデックスに保持しないよう伝えます。目的が異なり、併用すると逆効果です。Disallow されたページは取得されないため、noindex も確認されません。
robots.txt で CSS や JavaScript をブロックすると SEO に悪影響がありますか？
悪影響が出る可能性があります。Google はページをレンダリングして理解するため、必要な CSS や JS を取得できないと、レイアウト、コンテンツ、モバイル対応を誤って判断することがあります。ページのレンダリングに必要なリソースは許可し、本当に不要なパスだけをブロックしてください。
robots.txt で AI クローラーをブロックするにはどうすればよいですか？
GPTBot、Google-Extended、ClaudeBot、CCBot、PerplexityBot など、各 AI ボットの user-agent（ユーザーエージェント）グループを追加し、Disallow: / を設定します。AI クローラー監査ボタンでこれらを読み込み、ルールが一致するか確認できます。robots.txt への準拠は任意です。信頼できるボットは従いますが、アクセス制御ではありません。
よくある問題と修正方法
- 警告 ディレクティブのスペルが間違っています 修正: クローラーに無視されないよう、ディレクティブのスペルを対応する正式名称へ修正してください。
- 警告 ウンスウププオルトエド noindex ディレクティブ 使用済み 修正: robots.txtからnoindexを削除し、代わりにクロール可能なURLでmeta robotsタグまたはX-Robots-Tagを使用してください。
- 情報 GoogleはCrawl-delayを無視します 修正: Google向けのCrawl-delayを削除し、Search Consoleまたはサーバー容量の制御によってGooglebotのクロール頻度を管理してください。
- エラー ルールが user-agent グループより前にあります 修正: 適用先となるクローラーグループのUser-agent行より下へルールを移動してください。
- 警告 行にコロン区切りがありません 修正: パーサーが行を読み取れるよう、ディレクティブ名と値の間に不足しているコロンを追加してください。
- 情報 不明なディレクティブは無視されます 修正: 非標準のディレクティブを削除するか、意図したクロールルールを表す対応済みのrobots.txtディレクティブへ置き換えてください。
- 情報 クローラーグループにルールがありません 修正: このグループへ意図したAllowまたはDisallowルールを追加するか、グループを削除してクローラーがワイルドカードグループを使用できるようにしてください。
- エラー どのURLにも一致しないルールパターンです 修正: URLパスの先頭から照合できるよう、パスパターンを / または * で始めてください。
- 警告 パターンの途中にドル記号があります 修正: パス末尾を固定する場合は $ をパターン末尾へ移動し、文字どおりのドル記号を意図していない場合は削除してください。
- 情報 同じUser-agentのルールが複数グループに分かれています 修正: 有効なポリシーを明確で保守しやすくするため、同じ user-agent のルールを1つのグループへ統合してください。
- エラー サイトマップ URL ない 絶対 修正: 相対サイトマップの場所を、ホスト名を含む完全修飾URL（https:// ）に置き換えてください。
- エラー robots.txtが500 KiBを超えています 修正: パターンを統合し、重複ルールを削除して、Googleが切り捨てる位置より前にrobots.txtを500 KiB未満へ縮小してください。
- 情報 robots.txtが空です 修正: すべてのクロールを意図的に許可する場合は空のままにします。それ以外の場合は、明示的な user-agent グループと必要最小限のルールを追加してください。
- エラー トエスト URL ブロック済み 用 選択済み クローラー 修正: テスト対象URLをクロール可能にする場合は、適用されるDisallowルールを削除または対象範囲を狭めるか、より具体的なAllowルールを追加してください。