言語

AIクローラー

AIクローラーを、トレーニングボット、AI検索インデクサー、ユーザー起点のフェッチャーという3種類に分け、SEOを損なわずにそれぞれを制御する方法を解説します。

初回公開：2026年6月24日 · 最終更新：2026年8月6日 · Advanced
言語
AI執筆者：AI v2
このページには証拠シグナルが 2 件あります

AIクローラーは3種類あり、それらを混同することが最大の誤りです。(1) GPTBot、ClaudeBot、CCBotなどのトレーニング／モデル改善ボット、(2) OAI-SearchBot、PerplexityBot、ApplebotなどのAI検索インデクサー、(3) ChatGPT-User、Perplexity-User、Claude-Userなどのユーザー起点フェッチャーです。制御はプロバイダーとエージェントごとに異なります。GPTBotをブロックしてもOAI-SearchBotはブロックされず、OAI-AdsBotには別の広告用途があります。Google-ExtendedとApplebot-Extendedは独立したクローラーではなく、製品／制御トークンです。Google-ExtendedはGemini／Vertexのモデル改善とグラウンディングを対象にしますが、Google検索への掲載、ランキング、AI Overviews、AI Modeは対象外です。Applebot-ExtendedはAppleの基盤モデルでの利用を制御しますが、Apple検索からページを削除しません。llms.txtは広く採用された制御標準ではなく、今も提案段階です。

OpenAIは、GPTBot、OAI-SearchBot、ChatGPT-Userの設定は独立していると説明しています。 Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: OpenAI: Crawlers AnthropicもClaudeBot、Claude-SearchBot、Claude-Userを別々に識別し、robots.txtの扱いを文書化しています。 Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: Anthropic: Bot information

TL;DR — AIクローラーは3つのカテゴリに分かれます。これを混同することがほぼ全員のする誤りです。トレーニングボット（GPTBot、ClaudeBot、CCBot、Bytespider、Amazonbot、Meta-ExternalAgent）はモデルのコーパスを作るためにスクレイピングします。AI検索ボット（OAI-SearchBot、PerplexityBot、Applebot、Amzn-SearchBot）は引用用のインデックスを作ります。ユーザー起点フェッチャー（ChatGPT-User、Perplexity-User、Claude-User）は、人が質問したときにページをリアルタイムで取得します。それぞれに固有のユーザーエージェントとrobots.txtルールがあるため、GPTBotをブロックしてもOAI-SearchBotには影響しません。Google-ExtendedとApplebot-Extendedはボットではなくトークンで、クロールせず、トレーニング／グラウンディングからオプトアウトするだけです。トレーニングボットのブロックはGoogleのランキングに影響しません（Google自身がそう述べ、実証データも一致します）が、AI検索ボットをブロックするとAI回答での可視性は低下します。robots.txtをめぐる論争は、ユーザーフェッチャー（運営者が「適用されない場合がある」と述べる）とPerplexity（ステルスクロールが報告されている）で現実に存在します。llms.txtは提案段階で、ほとんど読まれておらず、大手には採用されていません。

3つのカテゴリ — このテーマ全体の背骨

Classify the purpose before writing the rule: training, AI-search visibility, and live user fetching are separate decisions. 出典： /technical-seo/how-search-works/crawling/crawler/ai-crawlers/

Training crawlers such as GPTBot, ClaudeBot, and CCBot collect data for model corpora. AI-search crawlers such as OAI-SearchBot and PerplexityBot build indexes used for answers and citations. User-triggered agents such as ChatGPT-User and Claude-User fetch a page for a live request. Blocking one category does not automatically block the others.

© Patrick Stox LLC · CC BY 4.0 ·

名前の付いたAIボットはすべて、3つのバケットのいずれかに入ります。バケットを正しく分類すれば、以降の判断（ブロックするか、許可するか、SEOに何が起きるか）は自然に決まります。

1. トレーニング／データ収集クローラー。 これらはLLMのトレーニングとファインチューニング用のコーパスを作るため、大規模にクロールします。パブリッシャーが最もブロックしたがるボットであり、ブロックしても検索ランキングには影響しません。該当するのは、GPTBot（OpenAI）、ClaudeBot（Anthropic）、CCBot（Common Crawl）、Bytespider（ByteDance）、Amazonbot（Amazon）、Meta-ExternalAgent（Meta）、AI2Bot（Allen Institute）、cohere-training-data-crawler（Cohere）、Diffbot、Timpibot（Timpi）、webzio-extended（Webz.io）です。さらに、独立したクローラーではない2つの制御トークン、Google-ExtendedとApplebot-Extendedがあり、後述します。

2. AI検索／インデックスクローラー。 これらは、引用とあなたへのリンク付きで質問に答えるためのライブインデックスを作ります。ブロックするとAI検索結果から消える可能性があります。該当するのは、OAI-SearchBot（OpenAI — GPTBotとは別）、PerplexityBot（Perplexity）、Applebot（Apple — Spotlight／Siri／Safariの候補を動かす）、Amzn-SearchBot（Amazon）です。

3. ユーザー起点／オンデマンドのフェッチャー。 ボットが巡回しているからではなく、ユーザーが質問したために、特定のページをリアルタイムで取得します。運営者は一般に、ユーザー起点の取得にはrobots.txtが拘束力を持たないと主張しており、議論が続いています。該当するのは、ChatGPT-User（OpenAI）、Perplexity-User（Perplexity）、Claude-UserとClaude-SearchBot（Anthropic）、Amzn-User（Amazon、Alexa用）、Meta-ExternalFetcher（Meta）です。

ユーザーエージェントトークンとrobots.txtへの準拠を含む完全な表は、Cheat Sheetsタブにあります。この表がこの記事の中心です。

「トークンであってボットではない」という罠（Google-ExtendedとApplebot-Extended）

これはこの分野で最も誤解されている事実なので、正確に説明します。Google-ExtendedとApplebot-Extendedは何もクロールしません。 独立したユーザーエージェントはなく、クロールトラフィックも発生させません。既存のクロールがコンテンツに対して何をしてよいかを変える、robots.txtの制御トークンです。

  • Google-Extendedは、Google検索外でのグラウンディングを含め、Gemini AppsとVertex AI生成モデルの改善に向けた利用を制御します。Google検索のAI OverviewsやAI Modeは制御しません。これらはGooglebotのアクセスを使います。Googleは明確に次のように述べています。 “Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.” (翻訳)「Google-ExtendedはサイトがGoogle検索に掲載されるかどうかに影響せず、Google検索のランキングシグナルとしても使われません。」 Google-ExtendedをブロックしてもGooglebotやランキングには何も起きません。
  • Applebot-ExtendedもAppleについて同じ考え方です。Appleは次のように述べています。 “Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results.” (翻訳)「Applebot-Extendedはウェブページをクロールしません。Applebot-Extendedを許可しないウェブページも検索結果に含まれます。」 これはAppleの基盤モデル（Apple Intelligence）のトレーニングからオプトアウトするものであり、実際のクローラーであるApplebotを通じてページがSpotlight／Siriに表示されることは変わりません。

したがって、Disallow: Google-ExtendedとDisallow: Applebot-Extendedは、独立したクロールブロックではなく、製品での利用を制御するものです。公開された適用範囲は対応する検索インデックスからページを削除しませんが、両者は互換ではなく、どちらも単に「トレーニングボット」と短縮して扱うべきではありません。

主な運営者をボットごとに見る

OpenAIは、宣言された4つのボットを独立して運用しています。GPTBot（トレーニング — “used to make our generative AI foundation models more useful and safe” (翻訳)「生成AIの基盤モデルをより有用で安全にするために使われます」）、OAI-SearchBot（検索 — “used to surface websites in search results in ChatGPT’s search features” (翻訳)「ChatGPTの検索機能の検索結果にウェブサイトを表示するために使われます」）、ChatGPT-User（ユーザーフェッチャー — “used for certain user actions in ChatGPT” (翻訳)「ChatGPTで特定のユーザー操作に使われます」）、OAI-AdsBot（独立した広告範囲で、トレーニングでも検索インデックスクローラーでもありません）です。OpenAIの方針は、この分野全体のモデルになる一文です。 “Each bot setting is independent, allowing webmasters granular control over how their content interacts with different OpenAI systems.” (翻訳)「各ボットの設定は独立しているため、ウェブマスターはコンテンツが異なるOpenAIシステムとどう関わるかをきめ細かく制御できます。」 GPTBotをブロックすると、“signals that future data from these materials should be excluded from model training datasets” (翻訳)「これらの素材から将来得られるデータをモデルのトレーニングデータセットから除外すべきだと示します」し、OAI-SearchBotをブロックすると、サイトは*“won’t appear in ChatGPT search results.”* (翻訳)「ChatGPTの検索結果に表示されません」。

Anthropicは3つのボットを運用しています。ClaudeBot（トレーニング）、Claude-SearchBot（検索インデックス）、Claude-User（ユーザーフェッチ）です。Anthropicは自社ボットが*“respect ‘do not crawl’ signals by honoring industry standard directives in robots.txt”* (翻訳)「robots.txtの業界標準ディレクティブに従い、「クロールしない」シグナルを尊重する」と説明しています。現在のサポートページは、Anthropic固有の検証用に公開IPリストも案内しています。このプロバイダー固有のリストは身元の証拠であり、すべてのボットに適用できる普遍的なIPまたは逆引きDNS検証ルールではありません。

Google — 重要な事実は上で述べた通り、Google-Extendedはボットではなくトークンです。GoogleはGoogle-CloudVertexBot（サイト所有者が要求したVertex AI Agent用にクロールし、ランキングには影響しない）や、Gemini-Deep-Research、Google-NotebookLMのようなユーザー起点エージェントも運用しています。

AppleはApplebot（Spotlight／Siri／Safariの候補を動かす実際のクローラーで、“may also be used to help train Apple foundation models” (翻訳)「Appleの基盤モデルのトレーニングに役立てるためにも使われる場合があります」）と、Applebot-Extendedトークンを運用しています。ApplebotをブロックするとApple検索から消えますが、Applebot-Extendedのブロックはトレーニングからのオプトアウトにすぎません。

Perplexityは2つのボットを宣言しています。PerplexityBot（検索／引用 — “not used to crawl content for AI foundation models” (翻訳)「AI基盤モデルのためのコンテンツのクロールには使われません」と明記されており、Perplexityには宣言されたトレーニングクローラーがありません）と、Perplexity-User（ユーザーフェッチ）です。文書では、取得がユーザー起点であるためPerplexity-Userは*“generally ignores robots.txt rules”* (翻訳)「一般にrobots.txtのルールを無視する」と述べています。Perplexityは報告されたステルスクローリングの対象でもあります。論争については後述します。

Amazonは3つを運用しており、これは有用な例外です。Amazonbot（製品を改善し、“may be used to train Amazon AI models” (翻訳)「Amazon AIモデルのトレーニングに使われる場合があります」）、Amzn-SearchBot（検索）、Amzn-User（Alexaのユーザー取得）です。Amazonの文書によると、Amzn-SearchBotとAmzn-Userは、生成AIモデルのトレーニング目的では明確にクロールしません。したがって「すべてのAI企業がトレーニングのためにスクレイピングする」は誤解です。Amazonはnoarchiveメタタグにも特別な意味で従います。つまりページをモデルのトレーニングに使わないという指定で、ページ単位のトレーニングオプトアウトとしては珍しいものです。

Amazonのrobots.txt処理には、通常と異なる運用上の特徴が2つあります。クローラーは過去30日以内にキャッシュされたrobots.txtのコピーを使う場合があり、ファイルを取得できない場合は存在しないものとして動作するとAmazonは説明しています。ただし、監査時の取得失敗がAmazonが全許可状態を見た証拠になるわけではありません。監査とAmazonが異なる時刻または異なるネットワーク経路でホストに接続している可能性があります。 Evidence for this claim Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days. Scope: Amazon crawler behavior only; a current audit fetch cannot identify which cached copy Amazon used. Confidence: high · Verified: Amazon: Amazonbot Evidence for this claim Amazon says its crawlers behave as if robots.txt does not exist when they cannot fetch it. Scope: Amazon crawler behavior only; a tool-side fetch failure is not proof that Amazon observed the same failure. Confidence: high · Verified: Amazon: Amazonbot

MetaはMeta-ExternalAgent（LlamaとMeta AI向けのトレーニング／インデックス）、Meta-ExternalFetcher（ユーザーフェッチ）、そして別系統のFacebookbot（リンクプレビュー用で、AIクローラーではありません）を運用しています。Meta-ExternalAgentをブロックしてもFacebookのリンクプレビューには影響しません。

**Common Crawl（CCBot）**は、オープンなウェブアーカイブを維持する非営利財団によって運用されています。これは隠れた層です。Common CrawlのデータセットはChatGPT、Claude、LLaMAなど多くのモデルのトレーニングに使われているため、CCBotをブロックすると、あなたを直接クロールしないモデルにも下流で影響する可能性があります。Common CrawlはCCBotになりすます偽物にも注意を促しています。

**ByteDance（Bytespider）**は積極的なボットです。robots.txtを尊重すると宣言されていますが、非常に多いリクエスト量でルールに違反すると広く報告されています。その他に知っておきたいものとして、AI2Bot（Allen Institute、オープンモデル／Dolmaデータセット）、Cohere、Diffbot（構造化データ抽出を行い、その出力が多くの下流AIパイプラインに入る）、Timpibot／webzio-extendedがあります。

AIボットは本当にrobots.txtに従うのか？

トレーニングと検索のクローラーについては、主要な運営者（OpenAI、Anthropic、Google、Apple、Amazon）はいずれも文書でrobots.txtを尊重すると述べています。論争があるのはユーザー起点フェッチャーです。複数の運営者が、人がリクエストを開始したためrobots.txtが適用されない場合があると明言しています。OpenAIは*“these actions are initiated by a user, robots.txt rules may not apply”* (翻訳)「これらの操作はユーザーが開始するため、robots.txtのルールが適用されない場合があります」と述べ、PerplexityはPerplexity-Userについて*“generally ignores robots.txt rules.”* (翻訳)「一般にrobots.txtのルールを無視します」と述べています。これは明示された方針であり、違反とは別の話です。

Perplexityの論争は大きな争点ですが、確定事項ではなく報告されたものとして扱います。2024年6月、Wiredと開発者のRobb Knightは、Perplexityがブロックしたサイトのコンテンツに、未掲載のIPを使ってアクセスしたようだと報告しました。2025年8月、Cloudflareは、PerplexityがmacOS上のChromeになりすますステルスユーザーエージェントを使い、ブロックを回避するためIPとASNをローテーションし、完全なDisallow: /を持つ新規作成のテストドメインからコンテンツを取得したと報告しました。その後CloudflareはPerplexityを検証済みボットとしてのリストから外しました。これらの情報は各ソースによる文書化された報告として示してください。Perplexity自身の文書では、PerplexityBotはrobots.txtを尊重すると維持しています。

一部のボットが何らかの形でrobots.txtを無視するため、Cloudflareが実務上の強制レイヤーになっています。ネットワークレベルのブロック、ワンクリックの「AI Scrapers and Crawlers」切り替え、管理対象robots.txt、robots.txt違反の追跡、従量課金クロールのベータ版などです。2025年7月時点では、新しいCloudflareドメインは既知のAIクローラーをデフォルトでブロックします。

AIクローラーを制御する方法

  • ユーザーエージェントごとのrobots.txtが主な手段で、細かく制御できます。GPTBotをブロックしてもOAI-SearchBotやChatGPT-Userはブロックされません（トレーニングボットをすべてブロックするレシピとAI検索ボットをブロックするレシピはScriptsタブにあります）。
  • トレーニングトークンであるGoogle-ExtendedとApplebot-Extendedは、検索へのコストなしにGemini／Apple Intelligenceのトレーニングからオプトアウトできます。
  • **Amazonのnoarchive**メタタグは、Amazonに対するページ単位のトレーニングオプトアウトです。
  • Cloudflare AI Crawl Control — ネットワークレベルでブロック、許可、課金でき、管理対象robots.txtとContent Signalsディレクティブ（search、ai-input、ai-train）も使えます。デフォルトはsearch=yes, ai-train=noです。
  • llms.txtは提案です（Jeremy Howard／Answer.AI、2024年9月）。採用された標準ではなく、主要クローラーにも尊重されません。推論時に読むためのキュレーション済みMarkdownマップですが、137Kサイトを対象にしたAhrefsの調査では公開済みllms.txtの97%がリクエストゼロで、主要なLLMプロバイダーは正式採用していません。AI検索ツールではなく、ドキュメント用のツールとして扱ってください。
  • ai.robots.txtコミュニティプロジェクトは、150以上のAIボットユーザーエージェントを列挙した包括的なDisallow: /ファイルを保守しており、一括ブロックの参考になります。

可視性を優先したクローラーポリシー

AI検索での可視性を望む公開の教育サイトまたは商用サイトなら、私のデフォルト方針は次の通りです。

  1. 従来の検索クローラーを許可する。 GooglebotやBingbotなど、表示したい検索面に情報を提供するクローラーを許可します。
  2. 文書化されたAI検索／インデックスクローラーを許可する。 公開コンテンツでは、OAI-SearchBot、Claude-SearchBot、PerplexityBotなどを許可します。
  3. 意図したユーザー向けフェッチャーを許可する。 ChatGPT-User、Claude-User、Perplexity-Userなどを許可しますが、プロバイダーごとにrobotsの動作が異なることは認識してください。 Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: OpenAI: Crawlers Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: Anthropic: Bot information Evidence for this claim Perplexity documents PerplexityBot for search indexing separately from Perplexity-User for user-requested fetches, with different robots behavior. Scope: Perplexity-declared crawlers and published IP ranges; a user-agent string alone does not verify identity. Confidence: high · Verified: Perplexity: Crawlers
  4. トレーニング／モデル開発へのアクセスについては、別に権利判断をする。 GPTBot、ClaudeBot、Google-Extendedなどのトレーニング制御は検索ポリシーと共通にする必要がありません。その用途が公開方針に合う場合だけ許可します。
  5. 非公開と運用上のルートを認証で保護する。 /admin/、プレビュー、アカウントデータ、非公開APIはサーバー側の認可の背後に置きます。Disallowはクローラーへの希望を示すだけです。
  6. WAF制御を迂回させる前に身元を検証する。 文書化されたユーザーエージェントを、現在のプロバイダーIP範囲、逆引きDNS検証、またはサポートされたボット認証と組み合わせます。偽装可能なユーザーエージェントだけで広範なWAF許可ルールを作らないでください。

特定のクローラーにAllow: /を言わせるだけのために、特定のユーザーエージェントグループを追加しないでください。そのクローラーに引き続き適用したい制限はすべて繰り返す必要があります。robotsのマッチング規則では、特定グループがワイルドカードグループを上書きし、プロバイダー固有の解析では非公開パスの除外を継承しないことがあります。最も安全なファイルは、独立して安全なワイルドカードグループ1つと、範囲を絞ったトレーニングオプトアウトだけである場合が多いでしょう。

このサイトの現在の公開方針は、検索、AI入力、AIトレーニングを明示的に許可しつつ、admin、preview、API、trap、gatewayのルートを除外する姿勢です。検索とユーザー起点の取得は許可したままにします。ai-train=yesを変更するなら、それは編集上の権利判断であり、AI可視性の施策ではありません。トレーニングへのアクセスに引用上の効果があることは実証されていないからです。

AIクローラーへのアクセスはAI対応を意味しない

許可ルールが証明できるのは、宣言されたrobotsポリシーの下で、名前の付いたエージェントがURLを要求できることまでです。運営者がポリシーに従ったか、ページを取得したか、レンダリングしたか、重要情報を抽出したか、モデルのコンテキストに入れたか、引用したか、操作を完了したかは証明しません。

5つの層を分けて考えます。

層問い証拠
Permission（許可）宣言されたポリシーの下で、この名前付きエージェントはURLを要求できるか？有効なrobotsとネットワークアクセスのテスト
Extractability（抽出可能性）重要なコンテンツは安定したテキスト、リンク、メタデータ、構造化データに存在するか？フィールド抽出を含む生データとレンダリング済みキャプチャ
Rendering（レンダリング）エージェントの実際のブラウザ／JavaScript能力でコンテンツが維持されるか？利用できる場合はプロバイダー固有の取得証拠、そうでなければ明記したテスト上の限界
Operability（操作可能性）エージェントは意図した操作を識別し、安全に実行できるか？文書化されたツール／インターフェース契約と管理されたエンドツーエンドテスト
Commerce readiness（商取引の準備状態）身元、価格、在庫状況、ポリシー、フルフィルメント、カート、チェックアウトは一致しているか？フィード／ページ／バックエンド／注文の照合

したがって、クローラーアクセスチェッカーは「AI対応」ではなく、ポリシーについて許可、ブロック、不確定を報告すべきです。ログのリクエスト成功はそのリクエストが発生した証拠であって、ページが回答で使われた証拠ではありません。有効なフィードやツール宣言も、公開ページが正しくレンダリングされることや、チェックアウトが掲載されたオファーを履行できることの証明にはなりません。

How AI Search Worksでは取得と引用の層を、AI Shopping Optimizationではカタログと取引の準備状態を扱っています。層を分けておけば対策も具体的になります。アクセスブロックならアクセス方針、抽出ならページ出力、欠落状態ならレンダリング、操作ならインターフェース契約、購入失敗なら商取引データを直します。

Eコマースページでは、抽出可能性テストで、商品の中核となる身元と選択されたオファー（SKU、グループID、価格、通貨、在庫状況）が初期レスポンスに存在し、レンダリング後も一致することを確認します。生データとレンダリング済みの商品ページの基準では、何をサーバーから見える状態にすべきかを定義しています。クローラーの許可だけでは、その契約について何も分かりません。

トラフィックを失わせる神話：トレーニング ≠ AI検索

ここは正しく理解してください。トレーニングボットをブロックすることは、AI検索ボットをブロックすることと同じではありません。 それぞれrobots.txtの別ルールで、結果も逆です。

  • トレーニングボット（GPTBot、ClaudeBot、CCBot、Bytespider、Google-Extended／Applebot-Extendedトークン）をブロック → Googleランキングへの影響はなく、Googleとパブリッシャーの実証データが確認しています。モデルのトレーニングからオプトアウトする、それだけです。
  • AI検索ボット（OAI-SearchBot、PerplexityBot）をブロック → ChatGPTとPerplexityの回答での可視性を失います。これは本当のトレードオフであり、無料ではありません。

広くブロックしすぎる、たとえばトレーニングを止めたいだけなのにOAI-SearchBotまで捕捉する包括的なブロックをすると、AI検索から静かに自分を外してしまいます。各ルールがどのカテゴリに当たるかを正確に指定してください。

パブリッシャーがブロックする理由：社会契約

この議論が起きる理由は、トラフィックに集約されます。私がAIボット分析で述べたように、“there’s a cost to bots crawling your websites and there’s a social contract between search engines and website owners, where search engines add value by sending referral traffic to websites. Google sends traffic (for now), so they don’t get blocked.” (翻訳)「ボットがウェブサイトをクロールするにはコストがかかり、検索エンジンとウェブサイト所有者の間には、検索エンジンが紹介トラフィックをサイトへ送って価値を加えるという社会契約があります。Googleは（今のところ）トラフィックを送るため、ブロックされません。」AIクローラーはこれまでのところ、ほとんどトラフィックを送り返しておらず、データも不安を裏付けています。Cloudflare Radar分析では、AIボットはすでに検索エンジンに次ぐ第2位のクローラーとして定着し、追い越す勢いです。詳しくはStatsタブを参照してください。

開示：私はAhrefsの元従業員で、Ahrefsへの無償アクセスを受けています。リンク先のクローラー分析はその役割で公開した私の著作であり、Ahrefsはこのサイトの現在の編集上の結論を確認も承認もしていません。

この大きなパイプライン（発見、クロールスケジューラー、レンダリング、クロールとインデックスの違い）の中での位置づけについては、クロールハブと、一般的なクローラー、ユーザーエージェント、Googlebot、Bingbot、robots.txtに関する姉妹トピックを参照してください。

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.