クロール頻度

要点 — クロール頻度とは、検索エンジンが既知のページを再確認する頻度です。 人気があり、内容が頻繁に変わるページほど何度も確認され、ほとんど変わらないページは 確認の間隔が長くなります。この2つが主要因ですが、要因はそれだけではありません。 頻度を直接指定することはできず、ページの重要性を高め、実際に更新することで間接的に働きかけます。

クロール頻度とは

GoogleやBingが初めてページを見つける処理は、発見クロールです。しかしウェブは変化するため、検索エンジンは後から戻り、ページに変更があるかを調べます。これが更新クロールです。クロール頻度とは、この再確認が行われる頻度を指します。 Evidence for this claim Google's crawl-demand guidance says popular URLs tend to be crawled more often and systems seek to recrawl often enough to detect changes. Scope: Adaptive Google recrawling; no fixed per-page cadence is promised. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

頻度はページごとに異なります。更新の多いニュースサイトのホームページなら数時間おきに再クロールされることがあります。一方、2年間変わっていない小規模事業者の「会社概要」ページでは、数か月空くこともあります。これは説明用の例であり、公表された日程ではありません。Googleはページ種別ごとの固定間隔を示しておらず、検索エンジンが各ページについて動的に判断します。

ページがより頻繁にクロールされる要因

特に重要なのは次の2点です。

1. ページの重要性。 多くのリンクを集める人気ページほど、Googleの情報を新鮮に保つため、再クロールされやすくなります。
2. ページが実際に変わる頻度。 検索エンジンは更新パターンを学習します。毎日更新されるページなら毎日確認するようになり、変化がなければ確認間隔を徐々に広げます。

この2つが最大の調整要因ですが、すべてではありません。Googleの公式文書は、認識されているURL総数（推定インベントリ）や、サイト移行などサイト全体の出来事も、クロール需要を上下させる入力として挙げています。

Googleのクロールを増やさないもの

ここには誤解されやすい点があります。

• 毎日公開するだけでは、クロールは速くなりません。 ページが重要で、本当に変化している場合に増えるのであって、公開回数だけでは決まりません。
• サイトマップのタグでは制御できません。 古い設定の changefreq と priority は、どちらもGoogleに無視されます。 Evidence for this claim Google ignores sitemap priority and changefreq values and may use accurate lastmod values. Scope: Google sitemap processing. Confidence: high · Verified: 2026-07-14 Google: Build and submit a sitemap
• クロール回数が増えても順位は上がりません。 順位に載るにはクロールが必要ですが、回数そのものは順位を押し上げません。

「もっとクロールしてもらう」ための正直な答え

頻度を変えるボタンはありません。効果があるのは、重要なページから内部リンクを張ること、サイトを高速かつエラーのない状態に保つこと、そしてフッターの年だけを変えるのではなく実質的に更新することです。特定のページに重要な変更を加え、Googleに再確認してほしい場合は、Google Search ConsoleのURL検査からリクエストできます。

GoogleとBingの引用、lastmod の詳細、クロールバジェットやクロール速度との違いも知りたい場合は、Advancedタブを開いてください。

要点 — クロール頻度は、既知のURLを再クロールする間隔です。スケジューラは主に、重要性（人気度、PageRank、リンク）と陳腐化度（ページが実際に変わる頻度）から決定します。Googleは推定インベントリやサイト全体の出来事も需要要因に挙げています。Googleはページごとの更新パターンを学び、安定したページでは3日、10日、30日、100日というように間隔を広げます。changefreq と priority は無視され、実質的な変更と結び付いた検証可能な lastmod だけが利用されます。頻度は直接設定できません。重要性、実質的な変更、正確な lastmod、サーバーの健全性を改善し、個別URLについて再クロールをリクエストします。クロール増加は順位を上げません。クロール速度や、需要と処理能力からなるクロールバジェットとは別の概念です。

クロール頻度の正確な意味

クロール頻度は、検索エンジンが既知のURLを再取得し、変更を確認する頻度です。クロールスケジューラがURL単位で決める再訪間隔ともいえます。主な入力はページの重要性と実際の変更頻度で、Googleの文書では人気度と陳腐化度と表現されています。 Evidence for this claim Google's crawl-demand guidance says popular URLs tend to be crawled more often and systems seek to recrawl often enough to detect changes. Scope: Adaptive Google recrawling; no fixed per-page cadence is promised. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

クロールに関する近い概念と混同されやすいため、違いを明確にしておきます。

クロール頻度、クロールバジェット、クロール速度の違い

この3つは同じ意味で使われがちですが、区別が必要です。

Googleの定義はこれらを結び付けています。“Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (翻訳)「Googleはサイトのクロールバジェットを、クロールでき、かつクロールしたいURLの集合と定義しています。」頻度はそのバジェット内にあるURL単位の間隔で、速度は処理量を絞る弁です。私のクロールバジェット解説では、“Crawl budget is the amount of time and resources a search engine allows for crawling a website. It is made up [of] crawl demand which is how many pages a search engine wants to crawl on your site and crawl rate which is how fast they can crawl.” (翻訳)「クロールバジェットとは、検索エンジンがサイトのクロールに割り当てる時間とリソースです。サイト内で何ページをクロールしたいかというクロール需要と、どれだけ速くクロールできるかというクロール速度で構成されます。」と説明しています。

発見クロールと更新クロール

頻度が問題になるのは主に更新クロールです。John Muellerは違いを明快に説明しています。“One is a discovery crawl where we try to discover new pages on your website. And the other is a refresh crawl where we update existing pages that we know about.” (翻訳)「1つはウェブサイト上の新しいページを見つけようとする発見クロールで、もう1つは既知のページを更新する更新クロールです。」

更新間隔はページによって大きく異なります。Muellerは、“We would refresh crawl the homepage, I don’t know, once a day, or every couple of hours, or something like that.” (翻訳)「ホームページなら、1日1回、数時間おきなどの頻度で更新クロールするでしょう。」と述べています。反対に、“If we recognize that individual pages change very rarely, then we realize we don’t have to crawl them all the time.” (翻訳)「個々のページがめったに変わらないと分かれば、常にクロールする必要はないと判断します。」とも説明しています。

要点は、Googleがページごとのパターンを学習することです。“If you have a news website and you update it hourly, then we should learn that we need to crawl it hourly. Whereas if it’s a news website that updates once a month, then we should learn that we don’t need to crawl every hour.” (翻訳)「ニュースサイトを毎時更新するなら毎時クロールする必要があると学習し、月1回の更新なら毎時クロールする必要はないと学習します。」

Googleがページを再クロールする頻度の決定要因

私のHow Search Works資料 では、再クロールを左右するクロール需要の要因として、PageRank、ページの変更頻度、前回クロールからの経過時間、大規模なサイト変更を挙げています。これはGoogleが説明する人気度と陳腐化度のモデルを私なりに整理したもので、網羅的な一覧ではありません。Googleの文書は、サイトに存在すると認識したURL数である推定インベントリや、ドメイン・URL構造の移行などのサイト全体の出来事も、需要を変える要因に挙げています。直接働きかけやすいのは人気度と陳腐化度なので、以下で詳しく見ます。

人気度、PageRank、リンク

“URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (翻訳)「インターネット上で人気の高いURLほど、システム内の情報を新鮮に保つため頻繁にクロールされる傾向があります。」ページへの内部・外部リンクが多いほど重要性が高いと認識され、再クロールも増えやすくなります。私のクロールバジェット記事でも、“Popular pages, or those with more links and PageRank, will generally receive priority over other pages.” (翻訳)「人気のあるページや、リンクとPageRankが多いページは、通常ほかのページより優先されます。」と説明しています。

陳腐化度と間隔の拡大

Googleのシステムは、“want to recrawl documents frequently enough to pick up any changes.” (翻訳)「変更を検出できる十分な頻度で文書を再クロールしたい」と考えます。逆に、変わらないページの頻度は徐々に下がります。私の解説にある “If Google sees that a page isn’t changing, they will crawl the page less frequently.” (翻訳)「ページが変わっていないとGoogleが判断すれば、そのページのクロール頻度は下がります。」ということです。固定間隔ではなく、“if they crawl a page and see no changes after a day, they may wait three days before crawling again, ten days the next time, 30 days, 100 days, etc.” (翻訳)「1日後にクロールして変化がなければ、次は3日、その次は10日、30日、100日と待つことがあります。」という後退方式です。

品質と検索需要

Gary Illyesは、スケジューラを納得させる必要があると表現しています。“If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (翻訳)「クロール量を増やしたいなら、コンテンツに取得する価値があると検索システムに納得させる必要があり、スケジューラは基本的にその信号を聞いています。」また、“Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (翻訳)「スケジューリングは非常に動的で、多数のURLでコンテンツ品質が上がったという信号が検索インデックスから返れば、需要を引き上げ始めます。」と述べています。一方、“If search demand goes down, then that also correlates to the crawl limit going down.” (翻訳)「検索需要が下がれば、クロール上限の低下とも連動します。」

Googleは効率化のため、安定したページのクロールを積極的に減らそうとしている点も重要です。Illyesは通信量を減らし「さらに少なくクロールする」意向を公に説明しています。変化のないページをスケジューラが過剰にクロールすると期待すべきではありません。

サーバーの健全性（速度が頻度を可能にする）

頻度はクロール速度が許す範囲までしか上がりません。クロール処理能力の上限は、おおむねGoogleが同時に使える並列接続数です。高速でエラーのないサーバーは上限を引き上げ、遅いサイトや 5xx、429 を返すサイトではクロールが減ります。サーバーの健全性自体が需要を増やすのではなく、ボトルネックを取り除きます。

サイトマップと lastmod の役割

まず大きな誤解を解きましょう。サイトマップの設定でクロール間隔を制御できると思われがちですが、ほとんど制御できません。

changefreq と priority は無視される

Googleのサイトマップ文書には、“Google ignores <priority> and <changefreq> values.” (翻訳)「Googleは <priority> と <changefreq> の値を無視します。」と明記されています。<changefreq>hourly</changefreq> と設定しても効果はありません。 Evidence for this claim Google ignores sitemap priority and changefreq values and may use accurate lastmod values. Scope: Google sitemap processing. Confidence: high · Verified: 2026-07-14 Google: Build and submit a sitemap これらの項目を最適化する必要はありません。

lastmod は正確な場合に限り使われる

Googleがサイトマップから利用する更新情報は lastmod ですが、条件があります。“Google uses the <lastmod> value if it’s consistently and verifiably (for example by comparing to the last modification of the page) accurate.” (翻訳)「<lastmod> の値が一貫しており、たとえばページの最終変更と比較して検証可能なほど正確であれば、Googleはその値を利用します。」虚偽の値を入れると検出され、信頼されなくなります。

さらに、実質的な変更を表す必要があります。“The <lastmod> value should reflect the date and time of the last significant update to the page. For example, an update to the main content, the structured data, or links on the page is generally considered significant, however an update to the copyright date is not.” (翻訳)「<lastmod> はページに対する最後の重要な更新日時を反映すべきです。本文、構造化データ、ページ上のリンクの更新は一般に重要ですが、著作権表示の日付変更は重要とは見なされません。」フッターの年を変えただけで値を更新しても効果はなく、信号への信頼を損ないます。

クロールを強制したり速めたりできるか

正直にいえば、頻度を操作するダイヤルはありません。実際に使える手段は次のとおりです。

• 入力要因を改善する。 リンクや内部リンクによる重要性、実質的な内容変更、正確な lastmod、高速で健全なサーバーを整えます。
• 個別URLをリクエストする。 Google Search ConsoleのURL検査には、1ページずつ「インデックス登録をリクエスト」する機能があります。これは依頼であって保証ではなく、継続的な間隔も変えません。同じURLを繰り返し送信してもクロールは速まりません。
• 変更をプッシュ通知する。 Bingなどでは次節の方法を使えます。

できないことは、頻度の指定、毎日公開することによる日次クロールの強制、廃止された旧Search Consoleのクロール速度スライダーの使用です。BingにはCrawl Controlの時間帯設定がありますが、制御するのは頻度ではなく速度です。

Bingの適応型クロールとIndexNow

Bingはクロール頻度をコストの問題として捉えています。同社の記事では、間隔は “depends on the frequency of which the content is edited and updated,” (翻訳)「コンテンツが編集・更新される頻度によって決まり」、“Defining when to fetch the web page next is the hard problem we are looking to optimize.” (翻訳)「次にウェブページをいつ取得するかを決めることが、最適化すべき難題です。」と説明しています。適応型の対応として、“What we learned was that we could optimize our system to avoid fetching the same content over and over, and instead check periodically for major changes” (翻訳)「同じ内容を繰り返し取得せず、大きな変更を定期的に確認するようシステムを最適化できると分かりました」とし、ある事例では “about 40% crawl saving on this site!” (翻訳)「このサイトで約40%のクロール削減」を実現しました。

Bingで変更を知らせる仕組みがIndexNowです。スケジューラを待たずに変更を通知します。“Whether you’re adding, updating, or deleting content, IndexNow notifies multiple search engines of your content changes as soon as they happen,” (翻訳)「コンテンツの追加、更新、削除のいずれでも、IndexNowは変更が起きるとすぐ複数の検索エンジンに通知します。」これは “limiting the need for costly exploratory crawls.” (翻訳)「高コストな探索クロールの必要性を抑える」ためのものです。ただし、Googleは一般的な再クロールにIndexNowを利用しません。

クロール頻度の確認方法

• GSC → クロールの統計情報。 時系列の総リクエスト数を、レスポンスコード、ファイル形式、Googlebotの種類別に確認できます。サイト全体の間隔を見るもので、URL単位の最終クロール記録ではありません。
• GSC → URL検査。 個別URLの「前回のクロール」日を確認します。特定ページの最終取得日時を見る場所はこちらです。
• Bing Webmaster Tools。 Crawl Control（速度）とIndexNow Insightsを確認できます。
• サーバーログ分析。 ボットがいつ、どのURLへアクセスしたかを示す確実な記録です。

クロール頻度に関するよくある誤解

• 「毎日公開すればクロールが速くなる」。 いいえ。Googleが学習するのは公開量ではなく、重要性と実質的な変更です。
• 「changefreq や priority で間隔を制御できる」。 いいえ。どちらも無視されます。
• 「lastmod を更新すれば再クロールされる」。 検証可能で重要な変更と結び付く場合に限られます。操作すれば信頼を失います。
• 「クロールが増えれば順位も上がる」。 いいえ。私のクロールバジェット解説 にも、“The rate of crawling isn’t going to impact your rankings.” (翻訳)「クロール速度は順位に影響しません。」と記しています。クロールは前提条件であって加点ではありません。“More crawling doesn’t mean you’ll rank better, but if your pages aren’t crawled and indexed they aren’t going to rank at all.” (翻訳)「クロールが増えても順位が上がるわけではありませんが、ページがクロールされインデックスされなければ、そもそも順位には載りません。」
• 「固定スケジュールがある」。 いいえ。URL単位で動的に適応します。
• 「Search Consoleで頻度を設定できる」。 いいえ。速度スライダーは廃止され、頻度の設定機能もありません。

AIによる要約

Advanced版の要点をまとめます。

• クロール頻度は再訪の間隔です。 Googleが既知のURLを再クロールする頻度で、主に人気度（リンク、PageRank）と陳腐化度（実際の変更頻度）で決まります。推定インベントリやサイト全体の出来事も需要に影響します。
• Googleはページごとのパターンを学習します。 更新の多いホームページなら毎時、静的ページならまれになり、変わらないページでは3日、10日、30日、100日と間隔を広げます。
• 近い概念とは別物です。 速度はサーバーに制約される取得の速さ、バジェットは需要と処理能力の組み合わせです。頻度はバジェットの中にあります。
• サイトマップの実情。 changefreq と priority は無視され、重要な変更に対応する検証可能な lastmod だけが利用されます。
• 頻度は設定できません。 重要性、実質的な変更、正確な lastmod、サーバーの健全性を改善し、個別URLはGSCのURL検査で依頼します。BingにはIndexNowで変更を通知できますが、Googleは対応していません。
• クロール増加は順位向上を意味しません。 クロールは順位に載るための前提であり、順位要因ではありません。
• 観測方法。 GSCのクロール統計、URL検査の最終クロール日、Bing Webmaster Tools、サーバーログを使います。

公式ドキュメント

再クロール間隔についての一次資料です。

Google

• クロールバジェットの最適化 — クロール需要（推定インベントリ、人気度、陳腐化度）と処理能力。再クロール頻度の基礎モデルです。
• サイトマップの作成と送信 — changefreq と priority が無視される理由と、lastmod の実際の扱いを説明します。
• Google検索の仕組みに関する詳細ガイド — どのサイトを、どの頻度で、何ページクロールするかを決めるアルゴリズム型スケジューラの説明です。

Bing / Microsoft

• bingbotシリーズ：クロール頻度の最適化 — 内容の変更に応じたスケジューリング問題として頻度を説明しています。
• Bing Webmaster Tools — Crawl Control — Bingbotの時間当たりの速度を設定します。頻度の設定ではありません。
• IndexNow — 再クロールを待たず、変更URLを通知するプッシュ型プロトコルです。

出典からの引用

GoogleとBingによる公開発言です。各リンクは出典ページ内の引用箇所へ直接移動します。

Google — 再クロール間隔を決める要因

• “URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (翻訳)「インターネット上で人気の高いURLほど、システム内の情報を新鮮に保つため頻繁にクロールされる傾向があります。」 — Google Search Centralの文書。 引用箇所へ
• “Our systems want to recrawl documents frequently enough to pick up any changes.” (翻訳)「私たちのシステムは、変更を検出できる十分な頻度で文書を再クロールしようとします。」 引用箇所へ
• “Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (翻訳)「Googleはサイトのクロールバジェットを、クロールでき、かつクロールしたいURLの集合と定義しています。」 引用箇所へ

Google — サイトマップ、changefreq、lastmod

• “Google ignores <priority> and <changefreq> values.” (翻訳)「Googleは <priority> と <changefreq> の値を無視します。」 引用箇所へ
• “Google uses the <lastmod> value if it’s consistently and verifiably (for example by comparing to the last modification of the page) accurate.” (翻訳)「<lastmod> の値が一貫しており、たとえばページの最終変更と比較して検証可能なほど正確であれば、Googleはその値を利用します。」 引用箇所へ
• “The <lastmod> value should reflect the date and time of the last significant update to the page. For example, an update to the main content, the structured data, or links on the page is generally considered significant, however an update to the copyright date is not.” (翻訳)「<lastmod> はページに対する最後の重要な更新日時を反映すべきです。本文、構造化データ、ページ上のリンクの更新は一般に重要ですが、著作権表示の日付変更は重要とは見なされません。」 引用箇所へ

John Mueller（Google） （SEOオフィスアワー、2022年1月）

• “One is a discovery crawl where we try to discover new pages on your website. And the other is a refresh crawl where we update existing pages that we know about.” (翻訳)「1つはウェブサイト上の新しいページを見つけようとする発見クロールで、もう1つは既知のページを更新する更新クロールです。」 引用箇所へ
• “We would refresh crawl the homepage, I don’t know, once a day, or every couple of hours, or something like that.” (翻訳)「ホームページなら、1日1回、数時間おきなどの頻度で更新クロールするでしょう。」 引用箇所へ
• “If you have a news website and you update it hourly, then we should learn that we need to crawl it hourly. Whereas if it’s a news website that updates once a month, then we should learn that we don’t need to crawl every hour.” (翻訳)「ニュースサイトを毎時更新するなら毎時クロールする必要があると学習し、月1回の更新なら毎時クロールする必要はないと学習します。」 引用箇所へ

Gary Illyes（Google） （クロールの優先順位）

• “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (翻訳)「クロール量を増やしたいなら、コンテンツに取得する価値があると検索システムに納得させる必要があり、スケジューラは基本的にその信号を聞いています。」 引用箇所へ
• “Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (翻訳)「スケジューリングは非常に動的で、多数のURLでコンテンツ品質が上がったという信号が検索インデックスから返れば、需要を引き上げ始めます。」 引用箇所へ

Microsoft Bing — クロール頻度の最適化

• “The answer depends on the frequency of which the content is edited and updated.” (翻訳)「答えは、コンテンツが編集・更新される頻度によって決まります。」 引用箇所へ
• “Defining when to fetch the web page next is the hard problem we are looking to optimize with your help.” (翻訳)「次にウェブページをいつ取得するかを決めることが、皆さんの協力を得て最適化したい難題です。」 引用箇所へ
• “Whether you’re adding, updating, or deleting content, IndexNow notifies multiple search engines of your content changes as soon as they happen.” (翻訳)「コンテンツの追加、更新、削除のいずれでも、IndexNowは変更が起きるとすぐ複数の検索エンジンに通知します。」 — IndexNow。 引用箇所へ

考え方の枠組み

1. 頻度＝人気度×陳腐化度。 既知URLの更新頻度は、重要性（人気度、PageRank、リンク）と実際の変更頻度（陳腐化度）で主に決まります。重要で頻繁に変わるページが最も多くクロールされ、どちらにも当てはまらないページは最も少なくなります。ほかの施策も、この2要素へ働きかける手段です。

2. 発見クロールと更新クロール。 発見クロールは新しいURLを見つけ、更新クロールは既知URLを再確認します。頻度の話は更新クロールについてです。再クロールされない場合は、重要性が低いのか、Googleが「ここは変わらない」と判断しているのかを切り分けます。原因によって対策は異なります。

3. 頻度≠速度≠バジェット。 頻度は再訪の間隔、速度はサーバーに制約される取得の速さ、バジェットは需要と処理能力、つまりGoogleがクロールでき、かつクロールしたいURLの集合です。頻度はバジェット内にあり、速度が実現可能な頻度の上限を決めます。

4. スケジューラは更新パターンを学習する。 Googleはページごとの実際の更新間隔に適応し、安定したページでは3日、10日、30日、100日と間隔を広げます。公開量でスケジューラを出し抜くことはできません。重要性を高め、実際に変更することで学習内容を変えます。

5. 信頼できる唯一のサイトマップ更新信号。 changefreq と priority は効果がありません。重要な変更に結び付き、検証可能な lastmod だけが更新信号として利用されます。虚偽の値を使わないことが前提です。

再クロール頻度を実際に高める方法

間隔に作用する要因と、効果のない施策を確認します。

• ページの重要性を高める。 強いページから内部リンクを追加し、外部リンクを獲得します。人気度は頻度を動かす最大の要因です。
• 実質的に変更する。 見た目だけでなく、本文、構造化データ、リンクを更新します。Googleは本当に変わるページかを学習します。
• lastmod を正確かつ検証可能に保つ。 最後の重要な更新を表す必要があります。著作権年だけの変更は該当せず、信頼を損ないます。
• changefreq と priority に時間を使わない。 Googleは両方を無視します。
• サーバーを高速でエラーのない状態に保つ。 5xx、429、タイムアウトは処理能力を下げ、頻度の上限を低くします。
• 必要なときだけ個別URLを依頼する。 重要な更新後、GSCのURL検査からインデックス登録をリクエストします。
• BingやYandexではIndexNowを使う。 スケジューラを待たず変更を通知します。Googleは利用しません。
• 公開量だけに期待しない。 頻度は公開ボタンを押した回数ではなく、重要性と実質的な変更に従います。
• クロール統計を確認する。 頻度の問題だと判断する前に、最終クロール日などの実測情報を調べます。

クロール頻度を確認するツール

• Google Search Console — クロールの統計情報。 時系列のリクエストを、レスポンスコード、ファイル形式、Googlebotの種類別に表示します。Googleがサイト全体へ戻る頻度を見るのに適していますが、URL単位のログではありません。
• URL検査（GSC）。 個別URLの「前回のクロール」日と、重要な変更後に使うインデックス登録リクエストを提供します。同じURLを繰り返し依頼しても速まりません。
• Bing Webmaster Tools。 Bingbotの時間当たりの速度を設定するCrawl Controlと、IndexNow Insightsがあります。
• サーバーログ分析。 ボットがどのURLへいつアクセスしたかを示す確実な情報です。Screaming Frog Log File Analyserを使うか、BigQueryなどのログ基盤に取り込みます。
• Ahrefs Site Audit / Webmaster Tools。 クロールを再現し、内部リンクや階層の深さなど、頻度につながる重要性の信号を見つけます。

クロール頻度で避けるべき誤り

• ページを変えずサイトマップの lastmod だけを変える。 虚偽の日付は信号の有用性を下げます。実質的な内容変更に限って更新してください。
• changefreq や priority に依存する。 Googleはこれらを無視します。確実な発見、重要性、正直な更新情報を整えます。
• 変わっていないページの登録を繰り返し依頼する。 再取得だけでは価値もインデックス登録の強制力も生まれません。先にページや信号を改善します。
• 頻繁なクロールを順位向上とみなす。 頻度は取得状況を表すもので、品質や順位ではありません。重要な変更が間に合うよう取得されるかを測ります。
• 日程に合わせて表面的な編集を強制する。 検索エンジンは実際の変更パターンを学びます。日付や空白ではなく、有用な内容を更新します。

クロール頻度の信号早見表

クロール頻度の測定指標

テンプレート別の再クロール間隔中央値

指標： 同じURLに対する検証済みクローラー取得の間隔中央値。分かること： 学習された再訪間隔。算出方法： アクセスログを正規化URLと時刻で並べ、テンプレート別に集計します。目安： 各テンプレートの実際の変更間隔と比較します。ニュースと常設ページの両方に適する全サイト共通値はありません。頻度： 毎月。

変更から再クロールまでの遅延

指標： 重要な公開・更新イベントから次の取得までの時間。分かること： 重要な変更が速やかに発見されるか。算出方法： CMSまたはデプロイの時刻とアクセスログを結合します。目安： テンプレート別の基準値を作り、悪化を調査します。頻度： 毎月、およびサイトマップや内部リンクの変更後。

正確な lastmod の割合

指標： 実質的なページ変更に対応しているサイトマップの lastmod 更新割合。分かること： 更新信号が信頼できる状態か。算出方法： サイトマップ履歴をコンテンツハッシュやリリース記録と比較します。目安： 変更された日付はすべて重要な更新で説明できる状態にします。頻度： サイトマップ公開ごと、または毎週のサンプリング。

理解度チェック：クロール頻度

参考資料

関連記事

• クロールバジェットを気にすべきタイミング — 需要、速度、陳腐化による間隔拡大、頻度が順位要因でない理由を扱う最も近い関連記事です。
• Googlebotとは何か、どう動くか — スケジューラの背景にあるクローラーの仕組みを説明します。
• Crawl Me Maybe? ウェブサイトクローラーの仕組み — クローラー全般の入門です。
• テクニカルSEO初心者ガイド — より大きな全体像の中でクロールを位置付けます。

講演資料

• How Search Works （SlideShare）— PageRank、変更頻度、前回クロールからの時間、大規模なサイト変更という需要要因を解説しています。私が常に付けている注意書きは、“This is my understanding of systems… not going to be 100% complete or accurate.” (翻訳)「これは私が理解しているシステム像であり、100%完全または正確とは限りません。」です。

外部資料

• GoogleのCrawling December シリーズ — 公式のクロール解説がまとまっています。
• Googleのクロールには発見と更新の2種類がある （Search Engine Journal）— John Muellerによる両者の違いと、ページごとの更新パターン学習についての発言を掲載しています。
• Googleのクロール優先順位：Gary Illyesの解説 （Search Engine Journal）— 動的スケジューラ、需要を動かす品質信号、取得価値の伝え方を扱います。
• Googleがウェブページのクロール速度削減を検討 （Search Engine Journal）— 安定したページのクロールを減らす方針を扱い、間隔拡大の傾向を裏付けます。
• bingbotシリーズ：クロール効率の最大化 （Bing Webmaster Blog）— Official Docsタブの頻度最適化記事と対になる解説です。
• r/TechSEO — クロールとインデックスの問題を扱うコミュニティです。

変更履歴