クロール統計レポート

要点 — クロール統計レポートでは、過去90日間にGoogleがサイトをどのようにクロールしたか（リクエスト数、ダウンロード量、サーバーの応答速度）を確認できます。Google Search Consoleの設定にあり、パス単位ではなくルートレベルのプロパティで利用できます。ほとんどのサイトでは、最適化対象というより健全性の確認手段です。

クロール統計レポートとは

GoogleのクローラーであるGooglebotがサイトを訪れると、各リクエストはGoogle側に記録されます。クロール統計レポートは、訪問頻度、ダウンロードした内容、発生した問題をまとめて示します。

Google Search Consoleの設定 → クロール統計にあります（通常のレポートと同じメインサイドバーにはありません）。対象期間はおおむね過去90日間です。

場所と、表示されない理由

最も多い理由は、レポートがルートレベルのプロパティにしか表示されないことです。対象はドメインプロパティ（https:// プレフィックスなし）と、サイトのルート（例：https://example.com）で確認済みのURLプレフィックスプロパティです。サブフォルダーやサブパスを指すURLプレフィックスプロパティでは表示されません。

ドメインまたはルートURLプレフィックスのプロパティを確認すれば、同じサイトでもレポートが表示されます。

上部にある3つの指標

• クロール リクエストの合計数 — 成否を問わず、Googlebotがサイト上のURLをリクエストした回数。
• 合計ダウンロード サイズ — クロール中にGoogleがダウンロードしたバイト数。
• 平均応答時間 — サーバーが応答するまでの平均時間。

目標値ではなく推移を見ます。「正しい」絶対値はなく、時間の経過に伴う線の形が重要です。

本当に気にする必要があるか

多くの場合、過度に心配する必要はありません。ほとんどのサイトでクロールバジェットの最適化は不要で、このレポートはサーバー問題の早期警告として役立ちます。

平均応答時間の上昇やサーバーエラーが起きると、Googleは負荷を増やさないようクロールを減らします。ページが急に取得されなくなったら、まず確認したい場所の一つです。

ホストのステータスでは、robots.txtの取得、DNS、サーバー接続で問題があったかを確認できます。赤なら最優先で調査します。

指標ごとの詳しい意味は上級者向けタブで確認してください。

要点 — クロール統計（設定 → クロール統計、ドメインまたはルートURLプレフィックスのプロパティのみ）は、約90日間のクロール リクエスト数、ダウンロード量、平均応答時間と、レスポンス、ファイル形式、Googlebotの種類、目的（検出と更新）別の内訳を示します。クロールバジェットの見栄えを追う画面ではなく、サーバー健全性の監視に使います。応答遅延や5xxはクロール能力を下げ、robots.txtの継続的な取得失敗はクロールを止めることがあります。GSCでログに最も近い情報ですが、Googleのクローラーのみを集計したもので完全なリクエスト記録ではありません。

概要と場所

Googleは “The Crawl Stats report shows you statistics about Google’s crawling history on your website.” (翻訳) 「クロール統計レポートには、Googleによるウェブサイトのクロール履歴に関する統計が表示されます。」と説明しています。場所はメインのレポート欄ではなく、設定 → クロール統計です。

表示されない最大の理由は、ルートレベル限定だからです。Googleの表現では “This report is available only for root-level properties.” (翻訳) 「このレポートはルートレベルのプロパティでのみ利用できます。」対象はドメインプロパティと、ルートで確認済みのURLプレフィックスプロパティ（例：https:// example.com）です。サブパスのプロパティならルートで再確認してください。

クロールバジェットとして考えるべきか

大半のサイトはクロールバジェットを最適化する必要がなく、このレポートの価値は健全性監視にあります。Googleの指針は、1M+の固有ページを持つ大規模サイトや、日々更新される10k+ページ以上のサイトを主な対象にしています。それ未満では継続プロジェクトではなく診断手段です。

Googleはこのレポートを上級者向けと位置づけ、約1千ページ未満のサイトでは通常ここまで詳細に調べる必要がないとしています。実務上、約10kページ未満なら多くの場合クロールバジェットに時間をかけませんが、これは公式基準ではなく経験則です。

クロール速度はクロール能力の上限とクロール需要で決まります。能力はサーバーが処理できる量です。Googleの定義は “The maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (翻訳) 「Googleがサイトのクロールに使用できる同時並列接続の最大数と、取得間の時間間隔です。」です。需要は人気度や情報の古さなどに基づく、Googleがクロールしたい量です。結果はこのレポートに表れます。

数値を読む前に範囲も理解してください。正規URLではなくGooglebotが実際に要求したURLを数え、重複リクエストとサーバー側リダイレクトの各段階を別々に数えます。表示中のプロパティまたはホストが範囲で、プロパティ種別により他ドメインや兄弟・子ドメインのリソースの見え方が変わります。大半のリクエストを示しますが一部は省略されるため、サーバーログとの差は異常とは限りません。

Search Consoleでログデータに最も近い機能ですが、Googleのクローラーのみを集計し、全リクエストを保証しません。すべてのボットと利用者、URL単位の完全な記録にはサーバーログが必要です。

3つの主要指標

目標値ではなく推移として読みます。

• クロール リクエストの合計数 — “The total number of crawl requests issued for URLs on your site, whether successful or not.” (翻訳) 「成功したかどうかにかかわらず、サイト上のURLに対して発行されたクロール リクエストの総数です。」 エラーも含みます。
• 合計ダウンロード サイズ — “Total number of bytes downloaded from your site during crawling, for the specified time period.” (翻訳) 「指定期間中のクロールでサイトからダウンロードされた総バイト数です。」
• 平均応答時間 — “Average response time for all resources fetched from your site during the specified time period.” (翻訳) 「指定期間中にサイトから取得した全リソースの平均応答時間です。」 継続的な上昇はサーバー健全性の警告で、クロール能力が下がることがあります。

内訳：レスポンス別

Googleによると、この表は “the responses that Google received when crawling your site, grouped by response type, as a percentage of all crawl responses.” (翻訳) 「サイトのクロール時にGoogleが受け取ったレスポンスを種類別にまとめ、全クロール レスポンスに占める割合として示します。」対象には200、301、302、404、5xx、robots.txtを取得できませんでしたが含まれます。

各パターンは次のように読みます。

• 200は大半を占めるのが一般的です。 固定の目標値はないため、自サイトの基準値と継続的な変化を見ます。
• 404の増加は、存在しないURLへの無駄なクロールを示します。
• 301の増加は、リダイレクトチェーンや古いURLへの内部リンクを示唆します。
• 5xxの急増は最も深刻です。サーバーエラーにより能力上限が下がり、クロールが減ります。
• robots.txtを取得できませんでしたが継続する場合、Googleは推測せず一時的にクロールを停止します。

内訳：ファイル形式別

HTML、画像、JavaScript、CSS、JSON、PDFなどに分類されます。比率だけで無駄とは断定できません。自サイトの基準より急増した種類や予期しない形式は、レンダリング負荷や無限URL空間などのクロールトラップを調べる手掛かりです。

内訳：Googlebotの種類別

スマートフォン、パソコン、画像、動画、ページ リソース、AdsBot別です。公式の必須比率はありません。モバイルファーストでは通常スマートフォンが多いものの、急な変化はモバイル処理、広告・画像クロール、特殊なリソース需要を調べる手掛かりにとどまります。

内訳：目的（検出と更新）

定義は過去のクロール履歴だけに基づき、比率だけでは健全性を判断できません。

• 検出 — “The URL requested was never crawled by Google before.” (翻訳) 「要求されたURLをGoogleが以前にクロールしたことがありません。」
• 更新 — “A recrawl of a known page.” (翻訳) 「既知のページを再クロールします。」

公開や移行の際に検出が増えるのは正常ですが、パラメータや無限URLによる増加なら浪費です。新規公開が少ない既存サイトでは更新が多くても自然です。固定比率ではなく、自サイトの基準と実際の変更内容で判断します。

ホストのステータス：最も実用的な項目

robots.txtの取得、DNS解決、サーバー接続の問題をまとめます。赤は、対象期間中にコンテンツ到達前のインフラ層でGoogleが遮断または制限された可能性を示します。ただし全URLが影響した証拠でも、現在も続いている証拠でもありません。時系列、ライブ取得、URL検査、ログで現状を確認し、最優先で調べます。

急増と急減の読み方

サーバーの動作はGoogleのクロール量にフィードバックされます。高速で安定していれば能力上限は上がり得ますが、遅延やサーバーエラーがあれば下がります。

• 応答時間の急増 → 能力上限が低下 → クロール減少。
• 5xxの急増 → 能力上限が低下 → クロール減少。継続すれば強く制限されます。
• robots.txt取得不能 → 継続すればGoogleは慎重にクロールを停止します。

これはランキング罰ではありません。未クロール・未登録のページは順位を得られないという間接的な影響であり、クロール量を増やしても順位は上がりません。

クロール統計とサーバーログ

クロール統計はGSCでログに最も近い一方、次の違いがあります。

URL単位、Google以外のボット、長期履歴が必要になったらログ分析へ進みます。クロール統計は異常の存在を示し、ログは場所を特定します。

クロール全体との関係

クロール統計は取得後の状況を示します。次の段階であるインデックス登録はページのインデックス登録レポートで確認します。クロール統計は取得内容、ページのインデックス登録は登録結果を示し、ホストのステータスはインフラ層の重要な信号です。

AIによる要約

上級者向け内容の要約です。

• 場所： Search Console → 設定 → クロール統計。約90日間で、ドメインまたはルートURLプレフィックスのルートレベル プロパティのみ。
• 主要指標： リクエスト数、ダウンロード量、平均応答時間。目標ではなく推移を見る。
• 内訳： レスポンス（200、301、404、5xx、robots.txt取得不能）、ファイル形式、Googlebotの種類、目的（検出と更新）。
• サーバー健全性の監視： 応答遅延や5xxはクロール能力を下げ、robots.txt取得不能の継続はクロールを止め得る。
• ホストのステータス： 赤なら最優先。
• クロール量は順位ではない： 増やしても順位は上がらないが、未クロールのページは順位を得られない。
• ログとの違い： Googleのみの集計で完全ではない。全リクエストとURL単位の詳細にはサーバーログを使う。
• 対象規模： 公式のクロールバジェット指針は大規模で頻繁に変わるサイト向け。小規模サイトでの最適化は通常不要。

公式ドキュメント

Googleの一次資料です。

Google

• クロール統計レポート — 指標、内訳、ホストのステータス、ルートレベル要件。
• クロールバジェットの最適化 — 能力上限と需要、管理が必要なサイト。
• クロールとインデックス登録 — robots、サイトマップ、クロール制御の総合資料。

出典からの引用

Googleの公式発言です。各リンクは出典ページの該当箇所を開きます。

Google — レポートの内容

• “The Crawl Stats report shows you statistics about Google’s crawling history on your website.” (翻訳) 「クロール統計レポートには、Googleによるウェブサイトのクロール履歴に関する統計が表示されます。」 — Google Search Consoleヘルプ。 引用箇所
• “This report is available only for root-level properties.” (翻訳) 「このレポートはルートレベルのプロパティでのみ利用できます。」 引用箇所

Google — 3つの指標

• “The total number of crawl requests issued for URLs on your site, whether successful or not.” (翻訳) 「成功したかどうかにかかわらず、サイト上のURLに対して発行されたクロール リクエストの総数です。」 引用箇所
• “Total number of bytes downloaded from your site during crawling, for the specified time period.” (翻訳) 「指定期間中のクロールでサイトからダウンロードされた総バイト数です。」 引用箇所
• “Average response time for all resources fetched from your site during the specified time period.” (翻訳) 「指定期間中にサイトから取得した全リソースの平均応答時間です。」 引用箇所

Google — 内訳

• “This table shows the responses that Google received when crawling your site, grouped by response type, as a percentage of all crawl responses.” (翻訳) この表は、サイトのクロール時にGoogleが受け取ったレスポンスを種類別にまとめ、全クロール レスポンスに占める割合として示します。 引用箇所
• “Discovery: The URL requested was never crawled by Google before.” (翻訳) 「検出：要求されたURLをGoogleが以前にクロールしたことがありません。」 引用箇所
• “Refresh: A recrawl of a known page.” (翻訳) 「更新：既知のページを再クロールします。」 引用箇所

Google — クロール能力

• クロール能力の上限：“The maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (翻訳) 「Googleがサイトのクロールに使用できる同時並列接続の最大数と、取得間の時間間隔です。」 — Google Search Centralの大規模サイト向けガイド。 引用箇所

クロール統計を読むチェックリスト

短時間で重要な信号を確認します。

• ルートレベルのプロパティを開いている。
• ホストのステータスが緑で、赤なら最優先で修正する。
• 平均応答時間が安定している。
• レスポンス別では200が大半で、5xxやrobots.txt取得不能が継続していない。
• 404sや301sが予期せず増えていない。
• Googlebotの種類に急な変化がない。
• ファイル形式が自サイトの基準から急変せず、予期しない形式もない。
• 目的別の検出と更新を、公開・移行など実際の変更と照合する。
• URL単位やGoogle以外の情報が必要ならサーバーログ分析へ進む。

考え方の枠組み

1. 得点表ではなく健全性モニター。 絶対値を最大化せず、曲線の急増・急減を見ます。

2. サーバーのフィードバックループ。 高速で安定 → 能力上限上昇 → クロール増加。遅延や5xx → 上限低下 → クロール減少。

3. ホスト、レスポンス、その他の順。 赤いホスト状態を最初に直し、次に5xxとrobots.txt取得不能を確認してから、形式・Googlebot・目的の内訳を見ます。

4. ログへ移る基準。 クロール統計は異常の存在を示す集計、サーバーログは全リクエストとURL単位の場所を示します。精度が必要ならログへ進みます。

5. 気にすべきかの判断。 公式には上級者や大規模・高頻度更新サイト向けです。実務上の規模の目安は公式基準と区別し、サーバー健全性の警告に使い、順位を動かさない数値の最適化は避けます。

クロール統計レポート早見表

場所と範囲

• Search Consoleの設定 → クロール統計。約90日間。ドメインまたはルートURLプレフィックスのみ。

主要3指標

• クロール リクエスト数 — 成否を問わない。
• ダウンロード サイズ — 取得バイト数。
• 平均応答時間 — サーバー健全性の指標。継続的な上昇はクロール減少につながる。

レスポンス別の意味

ファイル形式別 — HTML、画像、JavaScript、CSS、JSON、PDFなど。自サイトの基準から高い比率は調査の手掛かりであり、浪費の証明ではありません。

Googlebotの種類別 — スマートフォン（通常多いが必須比率なし）、パソコン、画像、動画、ページ リソース、AdsBot。

目的別 — 検出（未クロールURL）と更新（既知ページの再クロール）。

ホストのステータス — robots.txt取得、DNS解決、サーバー接続。赤なら最優先。

要点

• レポートがなければ、サブフォルダーではなくルートレベルでプロパティを確認する。
• クロール増加は順位上昇ではないが、未クロールなら順位を得られない。
• GSCでログに近いが、Googleのみの集計で完全な記録ではない。

Googleのクロール状況を確認するツール

• Google Search Console — クロール統計 — ルートレベルのプロパティで使用。
• URL検査 — 1つのURLのクロール、レンダリング、登録を確認。
• ページのインデックス登録 — クロール後に登録された内容を確認。
• サーバーログ分析 — 全ボットと利用者を含む一次記録。
• クローラー／サイト監査 — Ahrefs Site AuditやScreaming Frog SEO Spiderでチェーン、ブロック、トラップを検出。
• Ahrefs Webmaster Tools — 確認済みサイトを無料でクロール、監査。

理解度テスト：クロール統計

SOP：毎週のクロール健全性確認

クロール量自体を最適化するのではなく、短い定期確認として使います。

1. 正しいプロパティを開く。 ルートレベルで設定 → クロール統計へ進む。
2. 背景を記録する。 公開、移行、障害、アクセス変化、サイトマップ変更を確認する。
3. ホストのステータスを先に確認する。 robots.txt、DNS、接続の警告を優先する。
4. 3つの推移を比較する。 一般値ではなく自プロパティの過去と比較する。
5. レスポンス別を開く。 継続的な5xx、robots.txt取得不能、リダイレクト増加、404パターンを調べる。
6. 内訳を見る。 形式、Googlebot、検出と更新の説明できない変化を探す。
7. 下流を照合する。 URL検査とページのインデックス登録で代表URLを確認する。
8. 集計で足りなければログへ進む。 URL、時刻、ユーザーエージェントを確認する。
9. 結果を記録する。 日付、異常、原因、担当、対応、回復指標を残し、推移回復後に閉じる。

クロール統計のトラブルシューティング

レポートが表示されない

考えられる原因： パス単位のURLプレフィックスを見ています。対処： ルートレベルのプロパティを開くか確認します。表示されないことは、サイトがクロールされていない証拠ではありません。

平均応答時間が上がり、リクエスト数が減る

考えられる原因： オリジン、CDN、アプリが負荷で遅くなり、Googleがクロールを控えています。対処： 監視とログで時刻を照合し、遅い経路やリソースを修正してから回復を追います。

5xxが急増する

考えられる原因： 障害、レート制限、過負荷、ボット向けセキュリティ規則です。対処： ログを確認し、必要ならGooglebotを検証し、誤ブロックを解除して外部から該当URLを試します。

「robots.txtを取得できませんでした」が出る

考えられる原因： ファイル内容ではなくDNS、TLS、CDN、リダイレクト、サーバー障害です。対処： 各ホストの/robots.txtを直接取得し、安定した成功レスポンスと障害期間のログを確認します。

検出が予期せず増える

考えられる原因： 公開や移行が正常に働いたか、パラメータ、フィルター、カレンダー、内部検索など無限URL空間が見つかりました。対処： ログと内部リンクを抽出し、意図したURLは保ち、トラップは発生源で制限します。

正常に見えるのに重要ページが登録されない

考えられる原因： ホスト全体は正常でも、個別URLに検出、正規化、品質、登録の問題があります。対処： URL検査とページのインデックス登録を使います。クロール統計だけでは個別URLの登録を証明できません。

割当量ではなく推移で測る

普遍的な「良い」リクエスト数はありません。サイト固有の基準を作り、公開や障害を注記します。

解決する事象に合わせて成功を定義します。サーバー障害後なら可用性と応答時間の正常化、その後のクロール回復です。トラップ解消後なら重要URLを損なわず不要パターンへの要求が減ることです。リクエスト増加自体はSEO成果ではなく、クロール統計だけで順位やインデックス品質は測れません。

役立つ資料

関連記事

• クロールバジェットを気にすべき時期 — このレポートの位置づけと、多くのサイトで過度に気にしなくてよい理由。
• Googlebotとは何か、仕組み — 各数値の背後にあるクローラー。
• テクニカルSEO初心者ガイド — クロールとSearch Consoleの全体像。

公式

• クロール統計レポート — 指標と内訳の一次資料。
• クロールバジェットの最適化 — 能力、需要、規模の目安。

業界資料

• Gary Illyesによるクロールバジェット解説 — 数値を動かす要因の背景。
• SEOのクロールバジェット — 能力と需要の解説。
• クロールとインデックス登録 — Google公式資料のハブ。
• Search Off the Record：Googlebotのクロール — クロール基盤とサーバーへの反応。
• r/TechSEO — クロールと登録の技術コミュニティ。

ポッドキャスト

• 検索オフ・ザ・レコード（Google検索チーム）— Googlebotのクロール基盤、条件付きリクエスト、サーバーに応じたスケジューラーの動作を解説します。 聴く

動画

• Google Search Central（YouTube）— Martin Splittによるクロールとレンダリングの解説、および検索の仕組みシリーズです。 チャンネル

変更履歴