クロール遅延

TL;DR — Crawl-delay は robots.txt に記述して、ボットへ速度を落とすよう求める行です。つまり、ページをフェッチする間に数秒待たせます。重要なのは、Google はこれを無視する（2019 年以降ずっと）一方で、Bing は今も尊重するという点です。Googlebot がサーバーへ過剰な負荷をかけるのを止めたい場合、crawl-delay では役に立ちません。以下の別の方法を使ってください。

crawl-delay とは

Crawl-delay は robots.txt ファイルに追加する行で、リクエスト間に一定の秒数待つようクローラーへ求めます。ページを速く取得しすぎてサーバーを遅くしないためのものです。記述例は次のとおりです。

User-agent: *
Crawl-delay: 10

これは大まかに言えば、「すべてのボットはページ取得の間隔を空けてください」という意味です。

最も重要な点: Google はこれを無視する

ここが混乱しやすい部分です。Google は crawl-delay を尊重しません。 2019 年 9 月 1 日にこのディレクティブの処理を停止し、それ以前も公式にはサポートしていませんでした。 Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications Googlebot を遅くしたいと思って robots.txt に crawl-delay を追加しても、何も起こりません。

Bing は異なります。Bing は crawl-delay を尊重します。 ほかにも尊重するクローラーがあります（詳しくは「詳細」タブを参照してください）。

Google の速度を落としたい場合

crawl-delay に頼らないでください。代わりに次を行います。

• 長期的に最善の方法: クロールに耐えられるよう、サーバーを修正またはアップグレードします。
• 緊急時だけ: サーバーにGooglebotへの503または429ステータスコードを返させます。Googleはこれらをほぼ即座に「速度を落とせ」という信号として読み取ります。これを行うのは1～2日だけにしてください。それより長いと、Googleがページを削除し始める可能性があります。 Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
• 決して 403や404でクロールを抑制しようとしないでください。これらはクロール速度に影響しません。

Bing の速度を落としたい場合

Bing は実際に crawl-delay を尊重しますが、Bing 自身が推奨するツールは Bing Webmaster Tools 内の Crawl Control です。時間帯ごとにクロール速度を設定するグリッドで、まずはこちらを使うほうが正確です。

履歴や、Yandex が 2018 年に廃止した理由、どの AI ボットが尊重するかを知りたい場合は、詳細タブへ移動してください。

TL;DR — Crawl-delay はボットを抑制するための、非公式な robots.txt ディレクティブです。正式な標準（RFC 9309）には一度も含まれていません。Google は 2019 年 9 月 1 日に廃止し、明示的に処理していません。Googlebot を遅くするには、429/503（最大 1～2 日）を返すか、サーバーを修正し、crawl-delay は使わないでください。Bing の現在のガイダンスでは 1～20 秒の値が記載されています。 Yandex は 2018 年 2 月 22 日にサポートを廃止し、そこでも尊重されません。Yandex は現在、Yandex Webmaster 内のクロール速度設定を使います。多くの SEO クローラー（AhrefsBot、Semrush）と一部の AI ボット（ClaudeBot）はこれを尊重します。これが、Google・Bing・Yandex 以外のボットを制御するために残る、実質的な用途です。

crawl-delay はなぜ存在するのか

Crawl-delay はスロットルです。考え方は単純で、積極的なクローラーがページを連続して取得すると、特に小規模または低速なサーバーには本当の負荷がかかります。Crawl-delay は礼儀としてのレバーであり、サーバーが処理できるよう、フェッチの間に数秒停止するようボットへ求める方法でした。robots.txt の User-agent グループ内に置き、disallow や allow の行と同じ場所に記述します。（ファイル全体については robots-txt を参照してください。）

crawl-delay は標準化されなかったという問題があります。Robots Exclusion Protocol は 2022 年に RFC 9309 としてようやく正式化されましたが、crawl-delay は含まれていません。これは常に非公式な拡張であり、各クローラーが実装するかどうかを選び、それぞれの方法で解釈していました。この不一致こそが、Google が離脱した理由です。

Google は 2019 年 9 月 1 日に廃止した

2019 年 7 月 2 日、Gary Illyes は Google Search Central で robots.txt の未サポートルールに関する注記 を公開しました。Google は robots.txt パーサーをオープンソース化しており、その一環として、インターネット・ドラフトに含まれたことのないルール、具体的には noindex、nofollow、crawl-delay を処理するコードを廃止しました。廃止は 2019 年 9 月 1 日 に有効になりました。

Googleの理由は、これらのルールが文書化されていない非公式なもので、クローラーごとに解釈が異なり、曖昧さを生んでいたことです。現在のrobots.txt文書は明確で、Googleがサポートするフィールドは4つ（user-agent、allow、disallow、sitemap）です。ドキュメント には “other fields such as crawl-delay aren’t supported.” (翻訳)「crawl-delayのようなその他のフィールドはサポートされていません」とあります。Googleのクロールに関する神話と事実 にも “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (翻訳)「標準外のcrawl-delay robots.txtルールはGoogleのクローラーでは処理されません」と明記されています。 Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

どの user-agent グループに置いても無視される点を明確にしておきましょう。User-agent: Googlebot のブロックに Crawl-delay 行を置いても、User-agent: * の下に置いた場合と同じように無視されます。

Google の代わりに何を使うか

Google のクロール速度は現在完全に自動で、サーバーの健全性に合わせて調整されます。Search Console の以前の手動クロール速度スライダーは、2024 年 1 月 8 日に削除されました （前年 11 月に告知）。本当に Googlebot に速度を落とさせる必要がある場合、実用的な手段は 3 つあります。

1. サーバーを修正する。 これが根本的な解決策です。サーバーが負荷に耐えられるなら、抑制は必要ありません。
2. 緊急時には429、500、503を返す。 GoogleのGooglebotのクロール速度を下げる 文書には “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (翻訳)「クロールリクエストには200ではなく500、503、429のHTTPレスポンスステータスコードを返す」とあります。Googlebotはこれをほぼ即座に速度低下の信号として読み取ります。厳守すべき原則は “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (翻訳)「長期間、つまり1～2日を超えて行うことは推奨しない」です。5xxが続くと、ページがインデックスから外れ、Google広告が停止するおそれがあります。 Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
3. クロール速度低下を申請する。 問題が続く場合はSearch Consoleから申請します。処理には時間がかかり、速度を上げるのではなく下げるためだけの手段です。

避けるべき落とし穴があります。抑制のために401、403、404を使わないでください。GoogleのHTTPステータスコードのガイド によれば、“the 4xx status codes, except 429, have no effect on crawl rate,” (翻訳)「429を除く4xxステータスコードはクロール速度に影響しない」うえ、“use 401 and 403 status codes for limiting the crawl rate.” (翻訳)「クロール速度を制限する目的で401や403ステータスコードを使う」べきではありません。

このため、私の クロール速度ガイドでは crawl-delay を Google では使うべきでないものとして扱っています。速度を上げたり下げたりするための完全な手順は、記事を参照してください。

Bing が記載する 1～20 秒の範囲

現在の Bing Webmaster ガイダンス には、crawl-delay の値として 1～20 秒が記載されています。これはフィールドを移植可能な標準にするものではありません。Google は無視し、その他のクローラーにはそれぞれ文書化された確認が必要です。

Yandex は 2018 年に廃止した

Yandexは以前、リクエスト間の最小秒数としてcrawl-delayを文字どおり解釈していました。この説明は今も多くのSEOブログに残っていますが、古い情報です。Yandexの現行文書には “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” (翻訳)「2018年2月22日以降、YandexはCrawl-delayディレクティブを考慮しません」と明記されています。 Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: 2026-07-18 Yandex Webmaster: The Crawl-delay directive 現在Yandexのボットがサイトをクロールする速度を設定するには、robots.txtではなくYandex Webmaster 内のクロール速度設定を使います。現在の正確な整理は、Bingは文書化された範囲でcrawl-delayを尊重し、Googleは公式にサポートせず、Yandexは以前尊重していたものの2018年に廃止した、というものです。

その他のクローラー: SEO ツールと AI ボット

検索エンジンに属さない、行儀のよいクローラーの多くは、礼儀として crawl-delay を尊重します。

• AhrefsBot と Semrush のボットはどちらも尊重します。
• AI クローラーは比較的新しい対象です。Anthropic の ClaudeBot は、標準外の crawl-delay ディレクティブをサポートすると文書化されています。その他（GPTBot、Perplexity）は、推測せず、それぞれが公開しているドキュメントで確認してください。

傾向として、小規模なクローラー、コンプライアンスを重視するクローラー、礼儀を守るクローラーは crawl-delay を尊重しやすく、大手検索エンジンは（Google のように）内部シグナルへ、または（Bing のように）より豊富な手動ツールへ移行しています。ただし、実際の悪意ある行為者を拘束するものではありません。robots.txt 自体を無視するスクレーパーは crawl-delay も無視します。

残っている用途

crawl-delay は死んだのでしょうか。完全にそうではありません。Google には役に立たず、Bing では（Crawl Control を使うほうがよいため）最善でも重複しますが、これを尊重する SEO ツール、AI ボット、その他の小規模なクローラーに速度を落とすよう求める、最も単純な方法ではあります。特定のツールのボットがサーバーへ過剰な負荷をかけているなら、そのボットを対象にした User-agent: グループと crawl-delay は、最初の対応として妥当です。

User-agent: SomeBot
Crawl-delay: 10

ただし、これは保証ではなくリクエストだと覚えておいてください。他のすべての robots.txt と同じく、ホストと user-agent グループごとに適用範囲があります。より広い効率の全体像、つまり実際にどのボットがコストを生み、誰が気にすべきかについては、crawl-budget を参照してください。

AI の要約

詳細版の要点をまとめます。

• 概要: Crawl-delayは、サーバー負荷を減らすため、取得の間に一定の秒数待つようボットへ求める標準外のrobots.txtディレクティブです。正式な標準（2022年のRFC 9309）に含まれたことはありません。
• Googleは無視します。 2019年9月1日に廃止され、現行文書にも “other fields such as crawl-delay aren’t supported.” (翻訳)「crawl-delayのようなその他のフィールドはサポートされていません」とあります。どのuser-agentグループに置いても無視されます。
• Googleを遅くする方法: サーバーを修正するのが最善です。緊急時だけ429/500/503を返します（最大1～2日。長期化するとインデックスから外れるおそれがあります）。抑制に401/403/404は使わないでください。GSCの手動クロール速度スライダーは2024年1月8日に削除されました。
• Bingは1～20秒の値を記載しています。 Bing固有のガイダンスであり、移植可能なrobots.txt標準ではありません。
• Yandexは2018年2月22日にサポートを終了しました。 値を秒として扱うという古い説明は現在には当てはまりません。YandexはYandex Webmaster内のクロール速度設定を使います。
• その他のクローラー: AhrefsBotとSemrushは尊重し、AnthropicのClaudeBotもサポートを明記しています。悪意あるスクレーパーはrobots.txt自体を無視します。
• 残る用途: 対象を絞ったUser-agent:グループでcrawl-delayを使い、Google・Bing・Yandex以外のクローラー（SEOツールやAIボット）を制御します。

公式ドキュメント

crawl-delay とその代替手段に関する一次情報のドキュメントです。

Google

• robots.txtのドキュメント — 4つのサポート対象フィールドを列挙し、crawl-delayがサポートされないことを説明しています。
• robots.txtの未サポートルールに関する注記（2019年7月2日） — noindex、nofollow、crawl-delayの廃止（2019年9月1日発効）を発表した文書です。
• クロールに関する神話と事実 — “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (翻訳)「標準外のcrawl-delay robots.txtルールはGoogleのクローラーでは処理されません」と説明しています。
• Googlebotのクロール速度を下げる — 代替手段である429/500/503と、1～2日という制限を説明しています。
• HTTPステータスコードがGoogleのクローラーに与える影響 — 429を除く4xxが抑制にならない理由を説明しています。
• クロール速度リミッターツールの廃止予定（2023年11月） — GSCスライダーの削除について説明しています。

Bing / Microsoft

• Bingbot ガイダンス — 1～20 秒の crawl-delay 値に関する現在の Bing Webmaster ガイダンスです。
• Bing Webmaster Tools — Crawl Control — Bing で crawl-delay の代わりに推奨されるツールです。

Yandex

• Yandex Webmaster — Crawl-delay ディレクティブ — Yandex が 2018 年 2 月 22 日以降このディレクティブを尊重しておらず、代わりに Yandex Webmaster のクロール速度設定を使うことを示します。

標準

• RFC 9309: Robots Exclusion Protocol — crawl-delay を含まない正式な標準です。

原文からの引用

Google と Bing の公式発言です。各リンクは、対応している場合、原文ページの引用箇所へ移動するディープリンクになっています。

Google — crawl-delay は処理されない

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (翻訳)「標準外のcrawl-delay robots.txtルールはGoogleのクローラーでは処理されません。」 — Google Search Central文書。 引用箇所へ
• “Google supports the following fields … (other fields such as crawl-delay aren’t supported).” (翻訳)「Googleは以下のフィールドをサポートします……（crawl-delayのようなその他のフィールドはサポートされていません）。」 — robots.txt文書。 引用箇所へ

Google — 代わりに何を使うか

• “To quickly reduce the crawl rate, you can return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (翻訳)「クロール速度をすぐに下げるには、クロールリクエストへ200ではなく500、503、429のHTTPレスポンスステータスコードを返せます。」 — Googlebotのクロール速度を下げる。 引用箇所へ
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (翻訳)「長期間、つまり1～2日を超えてこれを行うことは推奨しません。」 — Googlebotのクロール速度を下げる。 引用箇所へ

Gary Illyes（Google） (GSC クロール速度ツールの廃止、2023 年 11 月について)

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (翻訳)「サーバーが一定範囲のURLにHTTP 500ステータスコードを継続的に返すと、Googlebotは自動的かつほぼ即座にクロールを遅くします。」さらに、ツールの “usefulness has dissipated.” (翻訳)「有用性は薄れた」と述べています。 廃止告知を扱ったSearch Engine Landの記事による紹介です。記事を読む。確定情報として扱う前にGoogleの原文 と照合してください。

Bing / Microsoft

• 現在の Bingbot ガイダンス には、crawl-delay の値として 1～20 秒が記載されています。これは Bing 固有のガイダンスであり、一般的な REP ルールではありません。

Yandex (現在の Webmaster ドキュメント)

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” (翻訳)「2018年2月22日以降、YandexはCrawl-delayディレクティブを考慮しません。インデックス作成ボットがサイトのページへアクセスする速度を設定するには、Yandex Webmasterのサイトクロール速度設定を使ってください。」 — Yandex Webmaster: Crawl-delayディレクティブ

crawl-delay の判断チェックリスト

速度を落としたいボットに応じて、リストを確認してください。

• robots.txt を監査する。 すでに crawl-delay 行があるか確認します。どの User-agent グループに含まれ、実際にどのボットを抑制したいのかを記録します。
• Google 用に置いている場合: 削除するか、他のボットを対象にしていることを明記します。Googlebot には何の効果もありません。
• Google の速度を落としたい場合: まずサーバーを修正します。本当の緊急時は 429/503 を 1～2 日以内だけ返してください。スロットルに 401/403/404 は決して使わないでください。継続する問題には、Search Console でクロール速度低下を申請します。
• Bing の速度を落としたい場合: まず Bing Webmaster Tools の Crawl Control を使います。crawl-delay を使う場合は値を 10 以下にし、bingbot セクションがあっても * グループから適用されることを覚えておきます。
• 別のクローラー（SEO ツール、AI ボットなど）の速度を落としたい場合: そのボットを対象にした User-agent: グループへ crawl-delay を置きます。そのクローラーがディレクティブを尊重すれば役立ちます。
• 対象ボットにとって値が何を意味するか確認する。 Bing は相対的なスロットル係数として読み取ります。Yandex は以前それを文字どおり秒として読み取っていましたが、2018 年 2 月 22 日に完全に尊重しなくなりました。Yandex には代わりに Yandex Webmaster のクロール速度設定を使います。
• スクレーパーや悪意ある行為者が従うとは期待しない。 彼らは robots.txt 自体を無視します。crawl-delay は行儀のよいボット専用です。

crawl-delay チートシート

誰が crawl-delay を尊重するか

Bing のスロットル尺度

エンジン別に代わりに使うもの

してはいけないこと

• Google や Yandex に影響すると期待して crawl-delay を使わない。
• Googlebot のスロットルに 401/403/404 を使わない（効果はなく、4xx のうち例外は 429 だけ）。
• Bing の値を 10 より大きく設定しない。

クローラーの速度をどう落とすか

crawl-delay の作業に使うツール

• robots.txt Tester は、どの user-agent グループとルールが適用されるかを確認します。crawl-delay のサポートがクローラー固有であっても、適用範囲の誤りを見つけるのに役立ちます。
• robots.txt Generator は、すべてのクローラーに広い遅延を適用する代わりに、ボットごとのグループを作るのに役立ちます。
• Log File Analyzer は、変更後に実際に発生したリクエスト速度を示し、検索クローラーと偽装された user agent を分離します。
• Googlebot Verifier は、負荷を発生させている IP アドレスが本当に名乗っているクローラーのものかを確認します。

参考にしたいリソース

関連する私の執筆

• Robots.txt と SEO: 知っておくべきこと — crawl-delay が Google のディレクティブではない理由を含む、robots.txt の全体像です。
• テクニカル SEO 入門ガイド — クロール制御がより大きな全体像のどこに位置するかを説明します。
• robots.txt によってブロックされたのにインデックスされたページ — robots.txt がクロールを制御し、インデックスを制御するものではないことを示します。

私の講演

• 検索の仕組み （SlideShare） — クロール、レンダリング、インデックス、ランキングについての私の解説です。定型の免責事項は “This is my understanding of systems… not going to be 100% complete or accurate.” (翻訳)「これはシステムについての私の理解であり、100%完全または正確とは限りません」です。

業界の情報

• robots.txt の未サポートルールに関する注記 （Google Search Central）— 2019 年の廃止発表の原文です。
• Bingbot ガイダンス — 1～20 秒の値に関する現在の Bing Webmaster ガイダンスです。
• Google が robots.txt の crawl-delay、nofollow、noindex のサポートを廃止へ （Search Engine Roundtable）— 2019 年の廃止に関する報道です。
• Google が crawl-delay、nofollow、noindex ルールのサポートを削除 （Coywolf）— 廃止に関する追加の文脈です。
• Googlebot の Search Console クロール速度ツールが終了 （Search Engine Land）— Gary Illyes による代替手段の説明を扱います。
• robots.txt の Crawl-delay: 10 とは何を意味するか （Conductor）— 広く参照される解説です。

テスト: Crawl Delay

crawl-delay ディレクティブについての 5 つの簡単な質問です。それぞれ答えを選び、確認してください。

変更履歴