Permission
Is the crawler allowed?
AIクローラーアクセスチェッカー
Free, no signup. “Am I letting ChatGPT, Claude, Perplexity, and Google’s AI read this page — and did I mean to?” Enter a URL and get the answer for every major AI crawler, with the exact robots.txt rule that decided it.
Five separate tests · registry 2026-07-29
Crawler access is only the first layer
Extractability
Are useful facts present in raw HTML?
Renderability
Does JavaScript successfully expose them?
Operability
Can an agent identify and use semantic controls?
Commerce readiness
Do page, schema, feed and checkout facts agree?
HTML remains primary. llms.txt, UCP, and other protocol files are optional distribution layers and cannot compensate for inaccessible or unextractable HTML.
Validate a protocol response
Upload verified-bot log evidence
Expected columns: crawler, timestamp, url, status, verification. A user-agent string alone is never treated as verified identity.
No log evidence uploaded.
robots.txt is advisory, not a lock. It tells cooperating crawlers what you prefer — it does
not enforce anything. Some crawlers below are reported to ignore it (flagged ⚠). To actually stop a
crawler, block it at your CDN/WAF and verify it's genuine by IP.
チェックは当サーバーから実行します。入力したURLは取得しますが、結果は保存しません。 匿名化した実行単位の結果件数を集計調査に使う場合があります。URL、ドメイン、IPアドレス、識別子は含めず、100回未満の実行から統計を公開しません。
+ で現在のサイトまたはページを保存します。保存したサイト、ページ、リストの横にある☆を使うとお気に入りに追加できます。最近のチェック履歴は下に表示されます。
名前付きリストを作成
ローカルの選択内容から対象を入力しました。
サイトパスポート この保存済みサイトのローカルコンテキスト
ローカルデータ
保存した対象、名前付きリスト、最近のチェック概要はこのブラウザ内だけに残ります。
Google AI Overviews: there is no separate AI Overviews crawler and no full AI-Overviews-only opt-out that leaves ordinary Search unchanged. Blocking Googlebot prevents crawling but does not by itself guarantee that a known URL disappears from Search.
nosnippet, max-snippet, and data-nosnippet can limit preview/use but also affect normal Search snippets. Google-Extended only controls Gemini/Vertex training and grounding, not Search or Overviews.
Engine-specific limits: this checker evaluates the currently fetched file. Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days and may behave as if the file is absent when they cannot fetch it; a failed checker fetch is not proof that Amazon saw the same failure. Page-level controls are separate: Apple says
nosnippet can block content from generative-model context without preventing title-based discovery, while Bing documents AI-answer/training effects for noarchive and noindex. Use the page audit or extension to inspect those meta and HTTP-header directives.
Search & answer citation
These fetch pages to answer questions and cite sources. Blocking a cooperating crawler can prevent that crawler from accessing the page, but it does not guarantee absence from every answer or citation.
User-triggered assistant fetches
Model training
These collect pages for model training. A provider's documented robots control governs future crawling; it does not remove content already collected or guarantee deletion from an existing training dataset.
このツールを評価
Set your posture → robots.txt block
Pick what to block; copy the generated rules into your robots.txt.
Blocking here means “documented posture,” not enforcement — a cooperating crawler will honor it; a hostile one may not.
Crawler roster last reviewed . Data is hand-maintained and editable (src/data/ai-crawlers.json).
このツールについて
URLを入力し、GPTBot、ClaudeBot、PerplexityBot、Google-Extendedなど主要AIクローラーごとにrobots.txtが許可またはブロックするかを確認します。
勝つルール、llms.txtの有無、コピーして使える設定、GooglebotとAI Overviewsの関係を1つの明示的な姿勢レポートにまとめます。
機能
- 主要AIクローラーごとの許可・ブロック判定
- 各セルで勝つ正確なrobots.txtルール
- llms.txtの存在チェック
- robots設定のコピー用姿勢ジェネレーター
仕組み
指定URLからrobots.txtとllms.txtを取得し、Googleのオープンソースrobots.txtパーサーを移植したマッチャーで各クローラーを評価します。最長一致と優先順位から勝つルールを示し、未取得・未確認の状態を分けて報告します。
制限事項
- 判定は取得したrobots.txtとllms.txtの現在の応答に限られ、実際のクローラー、キャッシュ、IP、将来の挙動を保証しません。
- Google-ExtendedやAI Overviewsの関係は説明用で、検索表示、学習利用、トラフィックを保証しません。
よくある質問
GPTBot をブロックすると、ChatGPT がサイトを引用しなくなりますか？
それだけでは止まりません。GPTBot は OpenAI の学習用クローラーで、ブロックすると今後のモデル学習からコンテンツを除外できますが、質問へ回答して出典を引用するためにページを取得するライブ検索ボットは止まりません。それらは OAI-SearchBot（ChatGPT の検索結果と引用）と ChatGPT-User（ユーザーがリンクをたどった際のページ取得）です。ChatGPT の回答から除外するにはこれらもブロックする必要があり、チェッカーでは「ライブ取得と回答での引用」の下に別々に表示します。
robots.txt で Google AI Overviews をオプトアウトできますか？
AI Overviews 専用クローラーはなく、Google は通常の検索を変えずに AI Overviews だけを完全に除外する方法を提供していません。Googlebot のブロックはクロールを防ぎますが、既知の URL が検索結果から消えることまでは保証しません。スニペット制御は通常の検索スニペットにも影響します。Google-Extended は Gemini／Vertex の学習とグラウンディングを別に制御するもので、Google 検索や AI Overviews は対象外です。
robots.txt は実際に AI クローラーを止められますか？
robots.txt は勧告であり、ロックではありません。協力するクローラーへ希望を伝えますが、強制はしません。適切に運用されるクローラーは従いますが、無視すると報告されているものもあり、チェッカーでは「⚠ robots を無視」のラベルを付けます。実際に止めるには CDN または WAF でブロックし、User-Agent 文字列を信用するのではなく IP から本物のリクエストか検証する必要があります。
クローラーが「検証不能」と表示されるのはなぜですか？
「検証可能」／「検証不能」のラベルは、運営者がクローラーの主張を確認する方法、つまり現在の IP 範囲または逆引き DNS と正引き確認（FCrDNS）を公開しているかを示し、Bot Verifier の登録一覧と相互参照します。User-Agent だけなら常に偽装できます。Anthropic は claude.com/crawling/bots.json で公式クローラーの IP 一覧を公開しているため、Claude のトラフィックは公開範囲との一致を確認できますが、逆引き DNS 確認とは異なります。
llms.txt ファイルはこれらの判定を変えますか？
いいえ。llms.txt はコミュニティによる提案規約であり、読み取り対応を文書化した主要 AI クローラーはないため、ファイルの有無はどのクローラーの許可・ブロック判定にも影響しません。チェッカーは情報提供だけを目的にドメイン上の llms.txt の有無を報告し、すべてのアクセス判定は robots.txt だけで決めます。
よくある問題と修正方法
- エラー 選択したAIクローラーがブロックされています 修正: アクセスさせるコンテンツについて、選択したAIクローラーのDisallowルールを削除または限定し、その正確なUser-Agentとパスで再テストしてください。
- 警告 選択したAIクローラーが一部のパスでブロックされています 修正: ブロックされた各パスを確認し、意図的に非公開とするセクションだけが除外されるよう、クローラー固有のDisallowパターンを限定してください。
- エラー ワイルドカードルールがAIクローラーをブロックしています 修正: より具体的な適用ポリシーがないAIクローラーにもDisallowルールが適用されるため、User-agent: *グループを調整してください。
- 警告 クローラー固有ポリシーとワイルドカードポリシーが競合しています 修正: ワイルドカードとクローラー固有のグループを、意図した優先順位を安全に保つポリシーへ統合し、代表的な許可パスとブロックパスをテストしてください。
- 情報 クローラーが現在の一覧にありません 修正: 専用グループの追加やアクセスルールの変更前に、そのボットが公開しているUser-Agentと運営者の文書を確認してください。