言語

Webクローラー

Webクローラー（スパイダー、ボット）の仕組み、取得→解析→キューのループ、そしてクロールとインデックス登録・レンダリング・ランキングの違いを解説します。

初回公開：2026年6月24日 · 最終更新：2026年8月22日 · Advanced
言語
AI執筆者：AI v2
このページには証拠シグナルが 2 件あります

Webクローラー（スパイダー、ボット）は、ページを取得し、リンクを抽出し、新しいURLを訪問キューへ追加する自動プログラムです。基本の流れは、発見→取得→解析→スケジュールの反復です。クロールは「クロール→インデックス登録→配信」の最初の段階であり、ランキングの前提ではあってもランキング要因ではありません。クロール頻度を増やしても順位は上がりません。また、クロールはインデックス登録やレンダリングとも別の処理です。信頼できるクローラーはrobots.txtを尊重し、サーバー負荷に応じて速度を調整します。現在は検索エンジンだけでなく、AIボットもトラフィックの大きな割合を占めています。

要点 — クローラー（スパイダー、ボット）は、URLの発見、取得、解析、再スケジュールを 繰り返す自動プログラムです。Googleの表現では、“downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (翻訳) 「クローラーと呼ばれる自動プログラムを使い、インターネット上で見つけたページからテキスト、画像、動画をダウンロードする」 仕組みは、URLをためるフロンティア、HTMLをダウンロードする取得、リンクと コンテンツを抽出する解析、次に何をどの速度で取得するかを決めるスケジューラ から成ります。JavaScriptのレンダリングは別工程です。クロールはランキングの前提 ですがランキングシグナルではなく、インデックス登録とも異なります。

クローラーの正体

Googleの定義は明快です。“downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” (翻訳) 「クローラーと呼ばれる自動プログラムを使い、インターネット上で見つけたページからテキスト、画像、動画をダウンロードする」 さらに用語集では、“a crawler is a generic term for any program that is used to automatically discover and scan websites.” (翻訳) 「クローラーとは、Webサイトを自動的に発見して走査するプログラムの総称である」 と説明されています。クローラー、スパイダー、ボット、スパイダーボットは、名称が違う だけで同じ概念です。 Evidence for this claim Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Scope: Google crawler terminology. Confidence: high · Verified: Google: Googlebot overview

クロールが重要なのは検索の処理工程に位置するからです。Googleは、 “Google Search works in three stages, and not all pages make it through each stage” (翻訳) 「Google検索は3段階で機能し、すべてのページが各段階を通過するわけではない」 と明言しています。その3段階はクロール、インデックス登録、配信です。クロールされない ページはインデックス登録できず、登録されないページは順位が付きません。

クローラーの機械的な仕組み

ブランド名を取り払えば、多くのリンク追跡型クローラーは、発見→取得→解析→ スケジュール→反復という流れの一種を実行します。これは挙動を考えるために有用な 思考モデルであり、すべてのクローラーが同一の段階を実装するという保証ではありません。

フロンティア（キュー）。 クローラーは無作為に移動せず、既知だが未訪問のURLを クロールフロンティアに保持します。スケジューラが次に取り出すURLを決めます。 既知のシードURLから始め、発見に応じてキューを増やします。Googleは発見を次のように 説明しています。“Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’” (翻訳) 「Googleが既知のページから新しいページへのリンクを抽出すると別のページが発見される。サイトマップとしてページ一覧を送信した場合にも発見され、この処理を『URL discovery』と呼ぶ」 Evidence for this claim Google discovers URLs through links from known pages and through submitted sitemaps. Scope: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Confidence: high · Verified: Google: How Search works

取得。 クローラーがHTTPリクエストを送り、サーバーがページを返します。この段階では 生のHTMLをダウンロードします。JavaScriptやCSSなどのリソースは、多くの場合あとから 別に取得されます。BingのFabrice Canelは目的をこう表現しています。 “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (翻訳) 「クロールとは、BingbotがBingの検索可能なインデックスへ追加する新規または更新済みの文書やコンテンツを発見する処理である」

解析。 取得したHTMLからリンク、テキスト、見出し、画像、メタデータを抽出します。 新たに見つかったURLを正規化してフロンティアへ戻すため、ループが続きます。

スケジュール。 何を、どの頻度で、1回に何ページ取得するかはアルゴリズムが決めます。 Googleは、“Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (翻訳) 「Googlebotはアルゴリズムによって、クロールするサイト、頻度、各サイトから取得するページ数を決定する」 と説明しています。人気があり頻繁に変わるページは早く再訪され、目立たない静的ページは 再訪間隔が長くなります。クロールバジェット、クロール速度、クロール頻度は関連記事で 詳しく扱います。 Evidence for this claim Googlebot algorithmically determines which sites to crawl, how often, and how many pages to fetch. Scope: web Confidence: high · Verified: In-Depth Guide to How Google Search Works

「Googlebot」は単一プログラムではない

多くの解説が見落とす点です。「Googlebot」は単一プログラムのように聞こえますが、実際は 異なります。私は*検索の仕組み* で、デスクトップ、モバイル、画像、ニュース、動画、広告などの 専用クローラー群を1000以上のシステムが動かし、同じクロールバジェット枠を共有すると 説明しました。Gary Illyesも、多数のGoogle製品が異なるユーザーエージェント名で要求を 送る中央クロール基盤に対し、Googlebotという名称は実質的に誤称だと説明しています。 ログで見ているのは1体のボットではなく、同じラベルを共有する一群です。

礼儀正しさ — サイトを過負荷にしない仕組み

適切なクローラーは意図的に速度を調整します。Googleは、“They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (翻訳) 「サイトを過負荷にしないよう、速すぎるクロールを避ける。この仕組みはサイトの応答に基づき、たとえばHTTP 500エラーは『速度を落とせ』という意味になる」 と説明しています。5xxや429が続くとGooglebotは1日か2日ほど速度を落とします。 大規模なクローラーにとって、負荷への配慮はサーバーを圧迫しないための必須機能です。

Robots.txt — 標準的なクロール制御

robots.txtは事実上のアクセス制御規約です。Googleは、“A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (翻訳) 「robots.txtファイルは、クローラーがサイト上のどのURLへアクセスできるかを検索エンジンのクローラーへ伝える」 と説明しています。次の2点を区別してください。

  • 制御するのはクロールであり、インデックス登録ではありません。 拒否したページでも、 他ページからリンクされていれば登録される場合があります。Googleは内容やnoindexを 確認できません。robots.txtでブロックされていてもインデックス登録される で述べたとおり、 「クロールとインデックス登録は別物」です。削除には**クロール許可とnoindex**を使います。
  • 信頼できるクローラーは従いますが、悪質な主体は従いません。 Googlebot、Bingbot、 Ahrefsbotなどはrobots.txtを尊重しますが、多くのスクレイパーは無視します。

私はブロックの影響を直接検証しました。 robots.txtで上位表示ページ2件をブロックした記録 では、順位の付いていた2ページを約5か月ブロックしました。強調スニペットと独自タイトルが 失われ、検索結果には「情報がありません」と表示され、クリックも大きく減りました。一方、 推定トラフィックはほぼ変わりませんでした。結論は、インデックス登録したいページを ブロックしないこと。想像ほど深刻でなくても悪影響はあります。

クロール ≠ インデックス登録 ≠ レンダリング ≠ ランキング

特に混同されやすい違いは次のとおりです。

  • クロール ≠ インデックス登録。 クロールは取得、インデックス登録は理解と保存です。 クロールされても登録されないページがあり、ブロックされたページが読まれないまま登録 されることもあります。“Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (翻訳) 「インデックス登録は保証されず、Googleが処理するすべてのページが登録されるわけではない」
  • クロール ≠ レンダリング。 HTMLの取得とJavaScriptの実行は別工程です。 “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome,” (翻訳) 「クロール中、Googleは新しいバージョンのChromeを使ってページをレンダリングし、見つかったJavaScriptを実行する」 ただしレンダリングは別キューで行われ、最初の取得より遅れる場合があります。
  • クロール ≠ ランキング。 クロール頻度はランキングシグナルではなく、効率上の問題です。 そのため、大半のサイトでクロールバジェットを管理する必要はありません。

クローラーの種類（概要）

詳細は関連記事に譲り、ここでは簡潔に分類します。

  • 検索エンジンクローラー — Googlebot、Bingbot。検索結果を支えるインデックスを構築します。
  • AI / LLMクローラー — GPTBot、ClaudeBot、CCBotなど。AIモデル向けのWebコンテンツを 収集し、急速に増えています。
  • SEO監査クローラー — Ahrefs Site Audit、Screaming Frogなど。クロールを模擬し、 技術的な問題を見つけます。
  • ユーザー起動型フェッチャー — URL検査やリッチリザルトテストなど、要求時に1回だけ 取得するツールで、自律型クローラーではありません。

現在Webをクロールしている主体

もはや検索エンジンだけではありません。Cloudflare Radarのデータを分析した 新しいWebクローラー では、 検索エンジンのボットが最多ですが、AIボットが明確に第2位でした。Bingだけでも未見の 正規化URLを毎日数百億件発見しています（Fabrice Canel）。だからこそ検索エンジンは、 実際に取得する対象を厳しく優先順位付けします。

クローラーの身元を確認する方法

どのボットでもユーザーエージェントに「Googlebot」と名乗れるため、文字列だけを信用しては いけません。実際の確認には逆引きと正引きのDNS照合を使います（スクリプトタブ参照）。 ログのIPを逆引きし、googlebot.comまたはgoogle.comのホスト名になることを確認してから、 そのホスト名を正引きし、元のIPへ戻ることを確かめます。GoogleはIP範囲も公開しています。

次に読む記事

ここは一般概念のページです。詳細は次の記事を参照してください。

  • Googlebot — ユーザーエージェント、モバイルファーストクロール、レンダリング、 Search Consoleのクロール統計。
  • Bingbot — BingのCrawl ControlとIndexNow。
  • AIクローラー — GPTBot、ClaudeBot、CCBot、新しいエージェント型ボット。
  • ユーザーエージェント — 文字列の意味と読み方。
  • クロールハブ — 処理全体、クロールバジェット、速度、頻度、深度、スパイダートラップ、 ログファイル分析。

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.