その他の 4xx エラーによるブロック
Google Search Console のページのインデックス登録レポートに表示される「その他の 4xx エラーによるブロック」の意味、ここに現れやすい 400、405、408、410、411、413、414、421、422、451、429 の扱い、Google の処理、診断・修正・検証の方法を説明します。
言語
このページには証拠シグナルが 2 件あります
- リンクされたソースデータgooglebot.json
- 関連するライブツールHTTP Status & Redirect Checker
GSC のページのインデックス登録レポートに表示される「その他の 4xx エラーによるブロック」は、401、403、404 として個別表示されない 4xx の残余バケットです。Google はここに入るコードの完全な一覧を公開していません。400、405、408、410 Gone、411、413、414、421、422、451 などは、実際のコードを確認した後の診断分岐として扱います。429 を除くすべての 4xx は、コンテンツが存在しないかのように扱われ、クロール速度には影響しません。まず URL Inspection、Crawl Stats、DevTools、curl、サーバー/CDN/WAF ログで実際のコードを特定します。410 の意図的な削除と 400 の不正なリクエスト、429 のレート制限では修正が異なります。Googlebot の制限には 4xx を使わず、429 または 503 を使います。コードを特定し、根本原因を修正または意図した状態だと確認し、Test live URL で 200 を確認してから Validate Fix を使います。200 は再インデックス登録の資格を与えますが、登録や特定の期間を保証しません。
TL;DR — 「Blocked due to other 4xx issue」は、Google Search Console で 401、403、404 として個別表示されないクライアントエラーの 残余 バケットです。Googlebot がページを取得し、別の 4xx エラー(400、410、451 など)を受け取ったため、ページはインデックス登録できません。Google はここに入るコードの完全な一覧を公開していないため、最初に実際のコードを特定することが重要です。
このステータスの意味
この Search Console のバケットは、レポート内のより具体的な問題タイプに分類されない 4xx レスポンスを示します。 Evidence for this claim The Page Indexing report uses this category for a 4xx issue not covered by its other issue types. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Page indexing report Google は 429 以外の 4xx レスポンスを、インデックス登録では利用できないコンテンツとして扱います。 Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist; 429 is handled as a server-overload signal. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: HTTP status codes
Search Console の ページのインデックス登録 レポートで「Blocked due to other 4xx issue」と表示されるのは、Googlebot が URL を取得し、個別のバケットに分類されていない 4xx クライアントエラー をサーバーから受け取ったという意味です。Google は 401(ログインが必要)、403(禁止)、404(見つからない)を別の行に表示します。この行の定義は「他の問題タイプで扱われていない 4xx エラー」であり、残りのすべてのコードとの対応表は公開されていません。実際には 400、405、408、410 Gone、411、413、414、421、422、451 などが確認候補になりますが、完全な所属一覧ではありません。
Google はページではなくエラーを受け取るため、コンテンツを読めず、ページは インデックス登録されません。以前登録されていた場合も削除されます。
ラベルは寄せ集めの箱 — 実際のコードを特定する
ここで混乱しやすいのは、「その他の 4xx」が診断名ではなくバケットだという点です。410 Gone(意図的にページを削除した場合)と 400 Bad Request(壊れた URL の場合)は同じ行に入りますが、適切な対応は正反対です。何かを「修正」する前に、実際のステータスコードを確認してください。
- Search Console で URL Inspection を使い、Test live URL をクリックして Google が現在受け取っているものを確認します。
- ブラウザーの DevTools → Network tab でページを開いてステータスコードを確認するか、コマンドラインで
curl -Iを実行します。 - サーバーログ を確認し、Googlebot が実際に受け取ったコードを調べます。
本当に問題なのか
「その他の 4xx」が意図どおりに機能している場合もあります。ページを完全に削除したときの 410 Gone は正しい動作です。問題になるのは、本来不要なのにサイトマップや内部リンクに残っている場合だけです。一方、インデックス登録したいページが予期しない 4xx を返しているなら、発生源で直すべき実際のエラーです。
429 について
429(「リクエストが多すぎる」というレート制限)もここに入ると読んだことがあるかもしれません。Google は 429 をサーバー過負荷のシグナル として扱い、通常のクライアントエラーのように直ちにページを削除するのではなく、クロールを 遅くします。ただし、Google の文書は 429 の処理方法を説明しているのであって、429 URL がページのインデックス登録レポートのどの行に表示されるかを確定していません。このステータスを直すためにレート制限を無効化しないでください。詳しくは Advanced タブで説明します。 Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist; 429 is handled as a server-overload signal. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: HTTP status codes
コードごとの修正ガイド、429 の注意点、410 と 404 の違い、診断用の決定木を読むには、Advanced タブへ切り替えてください。
TL;DR — 「Blocked due to other 4xx issue」は、ページのインデックス登録レポートにある 残余 行です。Googlebot が受け取った 4xx のうち、401、403、404 のように独立した問題タイプとして表示されないものが対象です。Google は残りの各コードとこの行の対応表を公開していません。400、405、408、410、411、413、414、421、422、451 などは、実際のコードを確認した後に調べる診断分岐であり、所属が保証された一覧ではありません。Google のルールでは、429 を除くすべての 4xx は同じように扱われます。コンテンツは存在しないものとして処理されるため、ページはインデックス登録されず、クロール速度への影響もありません。このラベルだけでは原因がほとんど分からないので、最初に 実際のコードを特定 します(URL Inspection のライブテスト、Crawl Stats、元のリクエストメソッドの再現、サーバー/CDN/WAF/アプリログ)。410(意図的な削除)と 400、429 では修正が異なります。429 は通常の 4xx ではなく、Google は過負荷のサーバーエラーとして扱い、クロールを遅くしますが、処理方法だけではレポート上の行を確定できません。Googlebot の抑制に 4xx は使わず、429 または 503 を使います。原因を特定し、修正または意図した状態を確認し、Test live URL で
200を確認してから Validate Fix を使います。200 は再インデックス登録の資格を与えますが、登録そのものは保証しません。
Google が実際に述べていること
レポートのラベルは分類名なので、URL を調べて実際のステータスコードと原因を特定します。 Evidence for this claim The Page Indexing report uses this category for a 4xx issue not covered by its other issue types. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Page indexing report HTTP の動作は、レポートの分類とは別の文書で説明されています。 Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist; 429 is handled as a server-overload signal. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: HTTP status codes
Google のページのインデックス登録レポートの文書では、このステータスを、レポートが別に表示する問題タイプのいずれにも該当しない 4xx エラーとして説明し、URL Inspection ツールでページをデバッグするよう案内しています。つまり、これは 401(未認証)、403(禁止)、404(未検出)以外の 4xx を集める 残余 バケットです。Google は残りのすべてのコードとこの行を対応付ける完全な表を公開していないため、以下を含む「ここに入るコード」の一覧は、公式で完全な所属表ではなく、よく観測される確認候補として扱ってください。 Evidence for this claim The Page Indexing report uses this category for a 4xx issue not covered by its other issue types. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Page indexing report
この動作の根拠は Google の HTTP ステータスコードに関する別の文書にあります。このページ全体を左右する中心的なルールは、429 を除くすべての 4xx エラーは同じように扱われる ということです。Google のクローラーは次の処理システムにコンテンツが存在しないと伝えます。インデックス登録の結果は 404 と同じで、ページは存在しないものとして扱われ、登録されません(すでに登録されていれば削除されます)。重要なのは、429 を除く 4xx コードには クロール速度への影響がない ことです。Googlebot の速度を下げるのではなく、ページを対象外にします。ただし、エラーが続く URL は、何も見つからない状態を繰り返し確認するにつれて、クロールの 頻度 が自然に下がることがあります。
ここに入りやすい 4xx コード
Google の残余バケットの定義は、これらを個別には列挙していません。実際のコードを確認した後に見つかる典型例を示します。各コードで確認することと、ありがちな誤った推測を整理します。
- 400 Bad Request — 不正なリクエスト対象、構文、Host/ルーティングの構成(壊れた URL や不適切にエンコードされた URL など)。誤った推測は「ページのコードが壊れている」です。サーバーが受け取った正確なリクエストと、生成するつもりだったものを比較してください。
- 405 Method Not Allowed — その URL で使われた HTTP メソッドが許可されていません。レスポンスには、許可されるメソッドを示す
Allowヘッダーが必要です。curl -I(HEAD)が失敗したからといって、Googlebot の GET も同じように失敗するとは限りません。両方を別々にテストします。 - 408 Request Timeout — 接続またはリクエストが時間内に完了しませんでした。一般的なサーバー停止と決めつけず、接続、プロキシ、オリジンの各層で時刻を突き合わせます。
- 410 Gone — リソースが 恒久的に 削除されています。意図的なことが多いので、以下の節を参照してください。
- 411 Length Required — 本文を含むリクエストで、サーバーが
Content-Lengthヘッダーを要求しています。通常のページ取得では珍しいため、実際に本文があり、どの層が拒否したかを確認してからルールを変えます。 - 413 Payload Too Large — リクエストの内容がサイズ上限を超えています。ページ自体のサイズではなく、受信したリクエスト本文とヘッダーを確認します。
- 414 URI Too Long — リクエスト URI 自体が長さ制限を超えています。通常はページの内容ではなく、生成パラメータやリダイレクトチェーンの問題です。
- 415 / 422(Unsupported Media Type / Unprocessable Entity) — リクエストのコンテンツタイプまたは指示が拒否されています。411 や 413 と同様、通常のページ GET では珍しいため、実際のリクエストが拒否された証拠なしに検証を緩めないでください。
- 421 Misdirected Request — 接続が誤った宛先に送られています。Google は HTTP/2 からルートを意図的に外す方法として 421 を返すことも説明しています。Google が HTTP/1.1 で再試行したか、最終レスポンスが何だったかを確認してください。
- 451(法的理由による利用不可) — 法的またはポリシー上のブロックです。通常の地域設定/WAF の誤設定と扱わず、法務またはポリシーの担当者に回してください。
- 429 Too Many Requests — レート制限です。これは特別扱いなので、以下で説明します。
この一覧を絶対的な規則として暗記する必要はありません。実際のコードと、それを返した層を確認してから修正を選ぶための出発点です。
429 は例外 — 意味とレポートラベルを分ける
第三者の記事の多くは 429 を「その他の 4xx」にまとめています。しかし、HTTP における 429 の意味、Google のクローラーが実際にどう処理するか、429 URL がページのインデックス登録レポートのどの行に表示されるかという三つの問いが混同されています。最初の二つは文書化されていますが、三つ目は文書化されていません。Google のクローラーは 429 をサーバーが過負荷であるシグナルとみなし、サーバーエラーとして扱います。通常のクライアントエラーではありません。実務上の影響は次のとおりです。
- 429 を受け取ると、Googlebot はページを直ちに削除するのではなく 速度を落とします。
- サーバーエラーとして処理されるため、実際の 429 は「その他の 4xx」ではなくサーバー/クロール問題として報告される可能性があります。ただし、Google の文書が説明するのは処理方法であってレポート分類ではないため、そこに表示されるかどうかは未確認として扱います。
- 「その他の 4xx」を直すために正当なレート制限を無効にするのは誤りです。負荷が本当に高いなら制限を維持し、
Retry-Afterヘッダーを送ります。RFC 6585 では 429 のレスポンスへの付与は任意で、Google の文書も Googlebot がその値から次回クロールを決めるとは述べていません。適切な HTTP の作法として送ってよいものの、保証された指示とはみなさないでください。私の Ahrefs HTTP status codes guide でも、「429 はサーバーエラーとして扱われることが多く、Google のクロールを遅くするため少し特殊です。しかし最終的には、これらのページもインデックスから削除されます」 と説明しています。つまり 429 は時間を稼ぐだけで、永続的な登録を保証しません。
410 と 404 — 多くの場合は大きな問題ではない
410 Gone はこのバケットで最も一般的な 意図的な コードです。ページを削除し、消えてほしいときに使います。410 と 404 の違いにこだわりすぎる人もいますが、実務上の差は小さいものです。Google のクロール文書では、410 は 404 と同じ「コンテンツは存在しない」という後段処理を受ける 4xx の一つです。私の Ahrefs HTTP status codes guide でも、“404s and 410s have a similar treatment. Both drop pages from the index, but 410s are slightly faster.” (翻訳) 「404 と 410 は似た扱いです。どちらもページをインデックスから外しますが、410 の方が少し速く処理されます。」 と説明しています。John Mueller は差があっても最大で数日程度であり、中長期では 404 と 410 は同じように扱われ、どちらもインデックスから外れると述べています。Google が 410 を共通の 4xx 処理に含めていることだけでは、410 URL がページのインデックス登録レポートのどの行に出るかは確定しません。ここで見つかっても、期待と矛盾するとは限らないということです。意図した 410 なら設計どおりなので、ページが本当にライブであるべき場合だけ対応し、コードだけで決めつけず Search Console で状態を確認してください。
なぜ発生するのか
現実の「その他の 4xx」は、主に次のいずれかから発生します。
- WAF/ボット対策/CDN ルール — Googlebot のリクエストパターンがルールに触れたとき、明確な 403 ではない 4xx を返します。
- セキュリティプラグイン — WordPress のセキュリティプラグインなどが、ブラウザー以外のクライアントを拒否または検証します。
- IP/地域ブロック — 主に米国の IP からクロールする Googlebot を巻き込みます。
- 過度なレート制限 — N 回のリクエスト後に 4xx を返します(本来は 429 にすべきです)。
- 不正な URL(400)、リクエストサイズ制限(413)、検証失敗(422) — URL の生成またはリンク方法が引き金になります。
- 意図的な削除(410) — もうサイトマップに残すべきではないページです。
特に自分で招いてしまう原因は、Googlebot の速度を下げるために 4xx を使うことです。Google はサイト所有者と CDN に対し、クロール速度を下げようとして 404 やその他の 4xx を使わないよう求めています。クロールは遅くならず、コンテンツが検索から外れるだけです。Googlebot に控えてほしい場合は、4xx ではなく 500、503、429 を返してください。
実際のコードを診断する方法
これを上から下へ進む決定木として扱います。単一のツールが正確な失敗原因を必ず示すわけではないので、複数を組み合わせます。
- URL Inspection → Test live URL。 現在の可用性、つまり Google が今も 4xx を受け取っているのか、古いレポート行なのかを確認します。ただし、ライブテストが失敗しても生のレスポンスヘッダーやステータス行が常に表示されるとは限らないため、まず可用性の確認として扱います。
- Crawl Stats レポート。 Google の実際のクロールリクエストから代表例(レスポンスコード、レスポンス時間、ファイルタイプ)を取り出します。Test live URL は通常のクローラーではなく Google-InspectionTool を使うため、スケジュールされたクロールが見たものの裏付けに役立ちます。
- 元のリクエストに合わせて自分で再現する。 DevTools の Network タブで URL を開くか
curlを使います。ボットルールが疑われる場合は Googlebot のユーザーエージェントで、できれば自分のネットワーク外から取得して同じルールを発動させます。メソッドも合わせてください。curl -Iは HEAD を送るため、Google が実際に行った GET とは異なる結果になることがあります。 - サーバー/CDN/WAF/認証プロキシ/アプリのログを突き合わせて読む。 正確なステータス、拒否した層、原因となったルールや条件が見つかるのは通常ここです。
- リクエスト元の身元をレスポンスとは別に確認する。 ユーザーエージェントだけでは Googlebot だと証明できません。許可リストを変更する前に、逆引き+正引き DNS または Google 公開 IP レンジで確認します。
- コードを原因に対応付ける。 400/405/408/414 はリクエスト構成、タイミング、URI の問題。411/413/415/422 は、実際のメソッドと本文の証拠がある場合だけリクエスト内容の問題と診断します。410 は意図的な削除、421 は HTTP/2 オプトアウトと HTTP/1.1 のフォールバックを確認します。セキュリティ層の 4xx は、検証済みのクライアントとルートだけを許可するブロックです。429 になりそうなものはレート制限としてサーバー負荷の問題に扱います。 Evidence for this claim URL Inspection can confirm current availability and a failed Page fetch, but additional raw headers are only available for certain successful live-test states; exact failure-code diagnosis may require Crawl Stats request details plus CDN, WAF, origin, authentication-proxy, and application logs. Scope: site-level crawl requests Confidence: high · Verified: Crawl Stats report
コード別の修正方法
- 400 / 405 / 408 / 414(リクエスト構成、メソッド、タイミング、URI 長) — 不正なリクエスト、壊れた/長すぎる URL、許可されていないメソッド、遅い/未完了の接続を実際に生成している層で直します。サーバーが見た正確なリクエストと、アプリが送るつもりだったものを比較してください。
- 411 / 413 / 415 / 422(リクエスト内容のエラー) — 本文、長さ、コンテンツタイプに関係する状態で、通常のページ GET では珍しいものです。ログで、どのメソッドと内容が引き金になり、どの層が拒否したかを確認してから制限や検証を緩めてください。
- 410 — 意図したものか。 ページがなくなるべきなら 410 は正しく、サイトマップと内部リンクから削除します。ライブであるべきなら 410 を取り消します。
- 421 — HTTP/2 の意図的なオプトアウトか確認する。 Google はルートを HTTP/2 クロールから外す方法として 421 を返すことを文書化しています。HTTP/1.1 にフォールバックしたか、最終レスポンスは何かを確認してから壊れたページと判断します。
- 429 — 正しいレート制限。 正当な制限を止めず、
Retry-Afterを適切な慣行として付けます(HTTP 仕様上は任意で、Googlebot がその値から次回クロールを決めるとは文書化されていません)。Google は 429 を「速度を落とす」と読みます。Googlebot を遅くするだけのルールが 4xx を返しているなら、429 または 503 に切り替えます。 - 451 — 法的/ポリシー上の状況を先に確認する。 通常の地域/WAF の誤設定と扱わず、法務またはコンテンツポリシーの担当者に回します。
- WAF/CDN/セキュリティプラグインのブロック。 まず拒否した層とルールを特定します。検証済み Googlebot を、ユーザーエージェント文字列ではなく、逆引き DNS または Google 公開 IP レンジで確認してから、対象ルートとクライアントに限定して許可します。すべての Google 発のリクエストやセキュリティルール全体を無条件に許可しないでください。URL が
200を返すようルールを直します。
Googlebot の速度を下げるために 4xx を使わない
自分で作った「その他の 4xx」の主な原因なので、独立して強調します。Googlebot を抑制するために 4xx を返しても機能せず、コンテンツが検索から外れます。私の Ahrefs HTTP status codes guide でまとめているとおり、「4xx はページをインデックスから外します」。クロールを遅くしたいなら 429 または 503 を使ってください。Google が「後で戻る」と解釈するコードであり、効果は一時的です。
修正した後
根本原因を解決した後(または 410 が意図的で、サイトマップとリンクを整理した後)は、次の手順を実行します。
- URL Inspection → Test live URL で、ライブレスポンスが
200になったことを確認します。 - 重要な URL では Request indexing を実行し、ページのインデックス登録レポートの「Blocked due to other 4xx issue」行で Validate Fix をクリックします。
200レスポンスは、再クロール後に Google が URL をクロール、処理し、再びインデックス登録する 資格 を与えます。登録や固定された期間の保証ではありません。根本原因を直す前に大量の Request indexing を行うと、同じバケットに戻るだけです。
SEO に悪影響があるか
インデックス登録したいページが 4xx を返している場合だけ問題です。そのページはインデックスから外れ、修正するまで順位を失います。4xx が意図的なもの(削除したページの 410、サイトマップに含めるべきでない管理パスの意図的なブロック)なら、設計どおりであり、害はありません。
知っておくべき兄弟行は、専用のファイアウォール/ログイン行である 「Blocked due to access forbidden (403)」 と 「Blocked due to unauthorized request (401)」、そして独立した 「Not found (404)」 です。このステータスは 4xx ファミリーの残りすべてです。レポートと未登録理由の分類については、ページのインデックス登録レポートの概要を参照してください。
AI 要約
Advanced 版を短くまとめます。
- これは何か。 GSC のページのインデックス登録レポートにある「Blocked due to other 4xx issue」は、401/403/404 として個別表示されない 4xx を Googlebot が受け取ったという意味です。Google はここに入るコードの完全な一覧を公開していません。400、405、408、410、411、413、414、421、422、451 は確認候補であり、所属が保証された一覧ではありません。ページはインデックス登録されず、登録済みなら削除されます。
- 中心的なルール。 429 を除く すべての 4xx は同じように扱われます。コンテンツは 404 と同じく存在しないものとして扱われ、クロール速度への影響はありません。
- ラベルは寄せ集め。 原因は分からないため、まず実際のステータスコードを特定します(URL Inspection のライブテスト → Crawl Stats → 元のリクエストメソッドを再現 → サーバー/CDN/WAF のログを突き合わせます。
curl -Iは HEAD であり GET ではないので、両方をテストします)。 - 429 は例外で、よくある誤解がある。 Google は 429 を過負荷の サーバーエラー として扱い、ページを直ちに削除するのではなく クロールを遅くします。ただし、この処理方法から 429 URL のページのインデックス登録レポート上の行は確定できないため、分類は未確認として扱います。正当なレート制限を維持し、
Retry-Afterは適切な慣行として送ります(HTTP 仕様上は任意で、Googlebot がその値をスケジュールに使うとは文書化されていません)。 - 410 と 404。 410(Gone)はここでよく見られる 意図的な コードです。Google は 404 と同じ「コンテンツは存在しない」という後段処理にまとめ、実務上の時間差は小さいと説明できます。意図した 410 なら設計どおりなので、意図を確認してから変更します。
- 421 も意図的な場合がある。 Google は、ルートを HTTP/2 クロールから外す方法として 421 を返せると文書化しています。ページが壊れていると決めつける前に、HTTP/1.1 のフォールバックと最終レスポンスを確認します。
- なぜ発生するか。 WAF/CDN/セキュリティプラグインのブロック、IP/地域ブロック、レート制限、不正または長すぎる URL(400/414)、リクエスト内容の状態(411/413/415/422、実際の本文の証拠が必要)、意図的な削除(410)などです。
- 4xx で速度を抑えない。 Googlebot を遅くするために 404 やその他の 4xx を使うと、コンテンツが検索から外れます。代わりに 429 または 503 を使います。
- 修正と検証。 コードを特定し(ライブテストが失敗しただけで止めず、Crawl Stats と突き合わせたログを確認する)、根本原因を修正または意図した状態とサイトマップ/リンクを確認し、Test live URL で
200を確認してから Validate Fix を使います。200は再インデックス登録の資格を与えますが、登録や期間は保証しません。
公式ドキュメント
検索エンジンによる一次資料です。
- ページのインデックス登録レポート — レポートそのものと、「Blocked due to other 4xx issue」の項目(他の問題タイプに含まれない
4xx)、401/403/404 の兄弟行。 - HTTP ステータスコード、ネットワークエラー、DNS エラーが Google 検索に与える影響 —
429を除く4xxの共通処理、429 がサーバー過負荷のシグナルとして扱われること、429 を除く 4xx がクロール速度に影響しないこと。 - Don’t 404 my yum(Search Central Blog、2023) — Google がサイト所有者と CDN に、Googlebot を抑制するために 404 やその他の 4xx を使わないよう求めた説明と、代わりに使うコード(500/503/429)。
- Googlebot と他の Google クローラーを確認する — WAF/ファイアウォールのルールを変える前に、実際の Googlebot を許可するための逆引き+正引き DNS と公開 IP レンジ。
Bing/Microsoft
- Bing Webmaster Tools — クロール制御 — Bing は Google と同じ「その他の 4xx」というラベルを使いませんが、原則は同じです。4xx は Bingbot が利用可能なコンテンツを取得できなかったことを意味し、URL はインデックス登録されません。エラーコードでブロックするのではなく、Crawl Control で Bingbot の速度を管理します。
出典からの引用
Google の記録に残る説明と、私が執筆し、自分の言葉として説明できる Ahrefs のステータスコードガイドからの引用です。各リンクは引用箇所へ移動する深いリンクです。
Google — 429 以外の 4xx の扱い
- “All
4xxerrors, except429, are treated the same: Google crawlers inform the next processing system that the content doesn’t exist.” (翻訳) 「429を除くすべての4xxエラーは同じように扱われます。Google のクローラーは次の処理システムにコンテンツが存在しないと伝えます。」 — Google Search Central の文書。 引用へ移動
Google — 429 はサーバーエラーとして扱われる
- “Google’s crawlers treat the
429status code as a signal that the server is overloaded, and it’s considered a server error.” (翻訳) 「Google のクローラーは429ステータスコードをサーバーが過負荷であるシグナルとして扱い、サーバーエラーとみなします。」 — Google Search Central の文書。 引用へ移動
Google — クロール速度を制限するために 4xx を使わない
- “The
4xxstatus codes, except429, have no effect on crawl rate.” (翻訳) 「429を除く4xxステータスコードは、クロール速度に影響しません。」 — Google Search Central の文書。 引用へ移動
John Mueller(Google)— 410 と 404(言い換え)
- Google の John Mueller は、410 と 404 の差は小さく、多くても数日程度の違いだと説明しています。また中長期では Google が 404 と 410 を同じように扱い、どちらもインデックスから外れるとしています。Mueller の発言を報じた記事: 404 と 410 のステータスコードについて Google が助言(SEJ)。 (独立した正確な文言の確認が完了するまで、逐語引用ではなく言い換えとして掲載しています。直接引用する前に原典で表現を確認してください。)
Patrick Stox(私)— Ahrefs のステータスコードガイドより
- “4xxs will cause pages to drop from the index.” (翻訳) 「4xx はページをインデックスから外します。」 — Patrick Stox の Ahrefs「HTTP ステータスコードと SEO への影響」ガイド。 引用へ移動
- “404s and 410s have a similar treatment. Both drop pages from the index, but 410s are slightly faster.” (翻訳) 「404 と 410 は似た扱いです。どちらもページをインデックスから外しますが、410 の方が少し速く処理されます。」 引用へ移動
- “429s are a little special because they are generally treated as server errors and will cause Google to slow down crawling. But eventually, Google will drop these pages from the index as well.” (翻訳) 「429 は通常サーバーエラーとして扱われ、Google のクロールを遅くするため少し特殊です。しかし最終的には、これらのページもインデックスから外れます。」 引用へ移動
Retry-After について:RFC 6585 は、429 レスポンスに Retry-After ヘッダーを含めることを許可していますが、必須ではありません。適切なクライアントへの一般的な作法として送るのは合理的です。ただし、このページで確認した Google の文書は、Googlebot がそのヘッダー値を文字どおり次回クロールのスケジュールとして使うとは述べていません。確定した指示ではなく、任意のレスポンスメタデータとして示してください。
その他の 4xx:診断 → 修正 → 検証チェックリスト
「Blocked due to other 4xx issue」と表示される URL には、次の手順を適用します。
- 最初に実際のコードを特定する — URL Inspection → Test live URL、代表的なリクエストの詳細を確認する Crawl Stats、DevTools の Network タブ、
curl(HEAD と GET の両方)、突き合わせたサーバー/CDN/WAF ログを使います。バケットのラベルは診断ではなく、Google も完全なコード対応表を公開していません。 - 現在の状態で、古い情報ではないと確認する — Test live URL が現在の 4xx を示していることを確認します。ライブテストの失敗では生のヘッダーが出ないことがあるため、出なければログで裏付けます。
- 分類する。 リクエストの構成/タイミング/URI エラー(400/405/408/414)か。本文の証拠が必要なリクエスト内容の状態(411/413/415/422)か。意図的な削除(410)か。HTTP/2 のオプトアウト候補(421)か。法的/ポリシー(451)か。セキュリティ層のブロックか。429 になりそうなレート制限か。
- 410(Gone)の場合: ページは本当に消えるべきか。そうなら正しいので、サイトマップと内部リンクから削除します。違うならページを復元します。
- 421 の場合: 意図的な HTTP/2 オプトアウトかを確認し、壊れたページと判断する前に HTTP/1.1 のフォールバックと最終レスポンスを確認します。
- リクエスト/構成エラーの場合: 不正または長すぎる URL、許可メソッド、タイムアウト/接続の問題を発生源で直し、悪い URL をリンクまたは掲載しないようにします。
- リクエスト内容のエラー(411/413/415/422)の場合: 制限や検証ルールを緩める前に、ログから実際のメソッドと本文を確認します。
- セキュリティ/WAF/CDN ブロックの場合: 実際の Googlebot を確認し(逆引き DNS または公開 IP レンジ)、ユーザーエージェントや一括許可ではなく、身元とルートを限定して許可します。
- 速度を下げたいだけの場合: 4xx は使わず、429 または 503 を返し、適切な作法として
Retry-Afterヘッダーを付けます。正当なレート制限を維持し、そのヘッダーから Googlebot の次回クロールが予定されるとは決めつけません。 -
200を確認する — インデックス登録したいページで Test live URL が 200 を返すことを確認します。 - 検証する — 「other 4xx」行の Validate Fix、または優先 URL の Request indexing を使います。URL が再インデックス登録の資格を得るだけで、保証ではありません。原因を直す前に一括リクエストしないでください。
メンタルモデル
1. ラベルはバケットであり、診断ではない。 「その他の 4xx」は、独立した問題タイプとして表示されない 4xx をまとめた Google の残余行です。Google は正確な一覧を公開していませんが、400、405、408、410、411、413、414、421、422、451 などが確認候補です。最初に「修正する」のではなく、「実際にはどのコードか」を特定します。その答えが後続のすべてを決めます。
2. インデックス登録では、その他の 4xx = 404。 Google は 429 以外の 4xx を同じように扱い、コンテンツを存在しないものとして処理します。具体的なコードにかかわらず、インデックス登録の結果は 404 と同じで、登録されず、登録済みなら削除されます。さらに クロール速度への影響もありません。
3. 429 はクライアントエラーではなくサーバーエラーで、レポート上の場所は別の未確認事項。 Google は 429 を「サーバーが過負荷」と読み、ページを削除する代わりに速度を下げます。これは文書化されていますが、429 URL がこのレポート行に表示されるかどうかはどちらの方向にも文書化されていません。レート制限を無効にして消そうとせず、Retry-After を適切な作法として送ります。ただし、Googlebot が予定どおり従うとは決めつけません。
4. 意図した状態と間違いを分ける。 削除したページの 410 や、ルートを HTTP/2 から外す 421 は設計どおりの場合があります。一方、インデックス登録したいページの 400 はバグです。「この URL はそもそもライブであるべきか。どのプロトコルでか」と考えてから修正します。ライブであるべきでないなら、修正は 200 にすることではなく、サイトマップやリンクに 掲載しない ことです。
5. 4xx は不適切なスロットル。 Googlebot の速度を下げたい目的でも、4xx はそれを行わず、インデックスから外します。「後で戻る」コードは 429 と 5xx/503 です。「これは消えた」(4xx)と「過負荷なので後で試してほしい」(429/503)という意図に合うコードを選びます。
その他の 4xx チートシート
ここに入りやすいコードと、それぞれの修正 (Google はこの行の完全な所属一覧を公開していません。実際のコードを確認した後に調べる診断分岐であり、保証された一覧ではありません。)
| コード | 意味 | 通常の原因 | 修正 |
|---|---|---|---|
400 | Bad Request | 不正または不適切にエンコードされた URL、ルーティング | URL を修正し、生成/リンクを止める |
405 | Method Not Allowed | URL で HTTP メソッドが許可されていない | 正しいメソッドを許可し、レスポンスの Allow ヘッダーを確認 |
408 | Request Timeout | 接続/リクエストが時間内に完了しない | 接続、プロキシ、オリジンの時刻を突き合わせる |
410 | Gone(恒久削除) | ページを意図的に削除 | 意図した場合はサイトマップ/リンクから削除。違う場合は復元 |
411 | Length Required | 内容を含むリクエストでサーバーが Content-Length を要求 | ルールを変える前に実際のメソッド/本文を確認 |
413 | Payload Too Large | リクエスト内容がサイズ上限を超える | 上限を上げる前に受信リクエストを確認 |
414 | URI Too Long | リクエスト URI が長さ上限を超える | パラメータ/リダイレクト生成を発生源で直す |
415 / 422 | Unsupported Media Type / Unprocessable Entity | リクエスト内容の種類または指示が拒否される | 検証を変える前にリクエスト内容を確認 |
421 | Misdirected Request | 接続の誤送信。Google が意図的な HTTP/2 オプトアウトに使う場合もある | 「修正」前に HTTP/1.1 のフォールバックと最終レスポンスを確認 |
451 | Unavailable(法的理由) | 法的/ポリシー上のブロック | 法務/ポリシーの確認に回し、通常の WAF バグと扱わない |
429 | Too Many Requests | レート制限/過負荷 | サーバーエラーで、レポート上の場所は未確認 — 維持し、Retry-After を付ける |
ページのインデックス登録にある兄弟ステータス
| ステータス | Google が受け取ったもの | 通常の意味 |
|---|---|---|
| Blocked due to other 4xx issue | その他の 4xx | 寄せ集め — URL Inspection で診断 |
| Blocked due to access forbidden(403) | HTTP 403 | ファイアウォール/CDN/WAF が Googlebot をブロック |
| Blocked due to unauthorized request(401) | HTTP 401 | ログイン/HTTP 認証の壁の内側 |
| Not found(404) | HTTP 404 | ページがない |
意図に合うコードを選ぶ
| 目的 | 返すコード | 効果 |
|---|---|---|
| ページが恒久的に消えた | 410(または 404) | インデックスから削除(410 の方が少し速い) |
| Googlebot に 速度を下げてほしい | 429(または 503) | 一時的なスロットル — 対応する「速度を下げる」シグナル |
| ページをインデックス登録したい | 200 | クロール可能でインデックス登録可能 |
実際のステータスコードを見つける
GSC のラベルだけでは、どの 4xx かは分かりません。-I は HEAD リクエストを送り、Google がページ取得に使う GET ではありません。そのため、HEAD だけが失敗して GET は成功する、またはその逆ということがあります。たとえば HEAD の 405 だけが失敗しても、GET が失敗する証拠にはなりません。両方を確認してください。
macOS / Linux
# HEAD only — read the status line (e.g. "HTTP/1.1 410 Gone")
curl -s -I https://www.example.com/page/
# GET — reproduces the method Google actually uses to fetch page content
curl -s -o /dev/null -w "%{http_code}\n" https://www.example.com/page/
# If you suspect a bot-specific block, fetch as Googlebot's user-agent (GET)
curl -s -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
-o /dev/null -w "%{http_code}\n" https://www.example.com/page/Windows (PowerShell)
# GET request, matching what Google actually uses to fetch page content
$ua = "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Invoke-WebRequest -Uri "https://www.example.com/page/" -Method Get `
-UserAgent $ua -SkipHttpErrorCheck | Select-Object StatusCode, StatusDescriptionHEAD と GET の間、または通常のリクエストと Googlebot のユーザーエージェントの間でコードが変わるなら、メソッド固有またはボット固有のルールを見つけたことになります。高度な WAF はユーザーエージェントだけでなく、IP、プロトコル、クライアントカテゴリを条件にすることがあります。完全に再現するには自分のネットワーク外からテストし、ユーザーエージェントが一致しただけで実際の Googlebot に同じルールが適用されたと決めつけないでください。
ボットが本当に Googlebot か確認する(許可リスト登録の前に)
4xx がセキュリティ層から返され、クローラーを通すために許可しようとしているなら、最初に本当に Googlebot か確認します。ユーザーエージェントは簡単に偽装でき、テストでユーザーエージェントだけを差し替えても、Google の実際の送信元 IP、クライアントカテゴリ、プロトコル、エッジルールの経路は再現できません。
macOS / Linux
# 1) Reverse DNS the IP from your logs — must end in googlebot.com / google.com
host 66.249.66.1
# → ... domain name pointer crawl-66-249-66-1.googlebot.com
# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1Windows
nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com逆引きが Google のドメインで終わらない、または正引きが元の IP と一致しないなら、それは Googlebot ではありません。許可リストに入れないでください。Google の公開レンジ(googlebot.json)と IP を照合することもできます。許可はユーザーエージェント文字列ではなく、検証済みの身元/IP レンジに基づいて行ってください。
429 に Retry-After を付ける(レート制限を止めない)
URL が本当にレート制限されているなら、「通常の」4xx を返したり保護を無効にしたりせず、適切な HTTP の作法として 429 と Retry-After を返します。Retry-After は RFC 6585 では任意で、Google の文書も Googlebot がその値から次回クロールを予定すると確認していません。したがって、証明済みの修正ではなく合理的な衛生策として扱います。以下の断片は出発点にすぎないため、デプロイ前に自分のサーバー/CDN 設定とセキュリティポリシーに照らして確認してください。
Apache (.htaccess / config)
# Example: return 429 with a 1-hour Retry-After for rate-limited responses
Header always set Retry-After "3600" "expr=%{REQUEST_STATUS} == 429"Nginx
# limit_req_status makes throttled requests return 429 instead of 503
limit_req_status 429;
# add a Retry-After hint on 429 responses
error_page 429 = @rate_limited;
location @rate_limited {
add_header Retry-After 3600 always;
return 429;
} 役立つリソース
公式資料
- ページのインデックス登録レポート(Google) — 「その他の 4xx」の項目と 401/403/404 の兄弟行。
- HTTP ステータスコードが Google 検索に与える影響(Google) — 429 を除くすべての 4xx のルール、429 をサーバーエラーとして扱う注意点、「クロール速度に影響しない」という説明。
- Don’t 404 my yum(Google、2023) — Googlebot の速度を抑えるために 404/その他の 4xx を使わないこと。
- Googlebot を確認する(Google) — 逆引き DNS と公開 IP レンジ。
私の関連する記事
- HTTP ステータスコードと SEO への影響 — ここで引用した 4xx、410 と 404、429 の説明を含む各ステータスコードの総合ガイド。
- Technical SEO 初心者ガイド — このようなクロール/インデックス登録エラーを、より大きな全体像の中で説明しています。
他の執筆者による資料
- r/TechSEO — クロールとインデックス登録のデバッグを扱うコミュニティで、「GSC に変な 4xx が出る」スレッドもあります。
- Google はクロール速度の制限に 403 や 404 を使わないよう警告 — Gary Illyes の「Don’t 404 my yum」ガイダンスを取り上げた記事です。代わりに 500/503/429 を使います。
- Google:404 と 410 のステータスコード — 差は小さい — 410 と 404 の実務上の差が小さい理由についての Mueller の説明です。
- Google が 404 と 410 のステータスコードについて助言 — 410 と 404 の速度差に関する Mueller の発言の報道元です。直接引用する前にライブページで正確な表現を確認してください。
- その他の 4xx によるブロックを直す方法(Onely) — よくあるコードを扱う手順の解説で、サイトマップと内部リンクの監査に役立ちます。ただし、コードの所属に関する記述はこの資料独自の見解であり、Google の分類として確認済みではありません。
- その他の 4xx によるブロック(SEOTesting) — サーバーログの分析と予防的な監視を扱い、422、405、413、414 も挙げています。コードの所属については同じ注意が必要です。
「その他の 4xx」の背後にある実際のコードを見つける
「その他の 4xx」は寄せ集めなので、最初に行う価値があるのは実際に発生しているコードの特定だけです。記事の診断節で「決定木を上から下へ進める」と説明した意味もそこにあります。ライブコードを確認し、設定を触る前にどのファミリーかで分岐してください。
Which 4xx is this, and what do I do about it?
「その他の 4xx」バケットを存在だけでなく追跡する
見る価値がある一つの数字は、ページのインデックス登録レポートの「Blocked due to other 4xx issue」行に時間の経過とともに何 URL が残っているかです。単一のスナップショットでは、修正が効いたのか、新しい問題コードが増えているのか分かりません。このバケットには意図的な原因と偶発的な原因が混在するからです。
その他の 4xx バケットの推移
- 指標 — GSC のページのインデックス登録レポートで「Blocked due to other 4xx issue」に分類された URL 数を、週ごとに追跡します。可能なら URL ごとに実際のステータスコードを特定した後、そのコード別に分けます。
- 分かること — リクエスト/検証の修正(400/405/411/413/422)や WAF/CDN の許可リスト登録が実際に効いているかです。意図した 410 を返す URL では、サイトマップと内部リンクを整理した後、その URL 数は横ばいになるはずです。増えるなら、新しく削除したページが誤ってリンクまたはサイトマップに追加されている可能性があります。
- 取得方法 — GSC の ページのインデックス登録 レポートで「other 4xx」行に絞り、個々の URL を URL Inspection → Test live URL で確認して、古いスナップショットではないことを確認します。
- 基準/現実的な範囲 — 普遍的な目標はありません。意図的に 410(または類似のコード)を返す URL の数に完全に依存します。正直な基準は、インデックス登録したい URL にその他の 4xx がないことと、意図的に削除した URL の数が増えていないことです。傾向を判断する前に、自分の基準値を作ってください。
- 頻度 — 修正直後は数が安定するまで毎週、その後は月次で回帰を確認します。自分のデプロイとは別にルールが変わる WAF/CDN を使っている場合は特に有効です。
Runbook:特定、修正、検証
このバケットの「その他の 4xx」ワークフローは、背後の具体的なコードにかかわらず同じ短いループです。修正方法が大きく分岐するため、最初に実際のコードを特定します。
1. ライブコードを確認する。 URL Inspection → Test live URL で、Google が現在 4xx を受け取っていることと受け取った内容を確認します。レポート行だけでは古い可能性があり、ライブテストに生のヘッダーが常に出るとは限りません。スケジュールされたクローラーが実際に受け取った代表例については Crawl Stats でも照合します。
2. 元のリクエストに合わせて再現する。 DevTools の Network タブで URL を開くか curl を実行し、curl -I(HEAD を送るため結果が異なる場合があります)だけでなく GET メソッドをテストします。ボット固有のルールが疑われるなら Googlebot のユーザーエージェントで、できれば自分のネットワーク外から取得して同じルールを発動させます。ただし、ユーザーエージェントだけを変えても Google の実際の IP、プロトコル、クライアントカテゴリは再現されません。
3. ログを読む。 サーバー、CDN、WAF、認証プロキシのログで、正確なコードと、それを生成したルールまたは条件を確認します。ブラウザーだけで推測するより速いことが多く、ライブテストで見えない生のレスポンス情報を確認できる唯一の場所である場合もあります。
4. コードを原因に対応付ける。 400/405/408/414 → リクエストの構成、メソッド、タイムアウト、URI 長の問題。411/413/415/422 → Google のリクエストが実際に送ったメソッドと本文の証拠がある場合だけリクエスト内容の問題と診断します。410 → 意図的な削除(消えるべきか確認)。421 → Google が文書化した HTTP/2 オプトアウトか、HTTP/1.1 のフォールバックが何を返したかを確認します。451 → 法務/ポリシー確認。セキュリティ層の 4xx → 狭い範囲で許可するブロック。429 になりそうなもの → レート制限としてサーバー負荷に扱い、レポート上の場所はどちらの方向にも確定していないと考えます。
5. 原因別に修正する。 リクエスト構成エラー → 発生源(不正/長すぎる URL、誤ったメソッド、タイムアウト)を直し、悪い URL をリンクまたは掲載しない。リクエスト内容のエラー → 制限を緩める前にログで実際のリクエストを確認する。意図した 410 または 421 のオプトアウト → そのままにし、410 はサイトマップと内部リンクを整理し、421 はプロトコルのフォールバックを確認する。451 → 法務/ポリシー確認へ回す。セキュリティ層のブロック → 実際の Googlebot を逆引き DNS または公開 IP レンジで確認し、ユーザーエージェントや一括ルールではなく身元とルートを限定して許可する。429/レート制限 → 維持し、適切な作法として Retry-After を付けます(RFC 6585 では任意で、Googlebot の確定したスケジュールではありません)。Googlebot を遅くするだけのルールが 4xx を返しているなら、429 または 503 に切り替えます。
6. 検証して終了する。 インデックス登録したいページの Test live URL が 200 を返すことを確認し、「other 4xx」行で Validate Fix をクリックするか、優先 URL のインデックス登録をリクエストします。200 は Google が再クロールし、再インデックス登録する 資格 を与えるだけで、保証や固定された期間ではありません。根本原因を直す前に一括リクエストすると、同じバケットに戻ります。
すぐ使える AI プロンプト
生の診断出力から、「その他の 4xx」のどのコードを見ているか、どの修正が適用されるかを分類するためのコピーペースト用プロンプトです。何かを変更する前に、実際のサーバー/WAF 設定で結論を確認してください。
curl の出力からコードと原因を分類する
I'm diagnosing a "Blocked due to other 4xx issue" status in Google Search
Console. Below is the raw output of GET and HEAD requests to the URL (note
that curl -I alone only tests HEAD, which can differ from what Google's GET
request receives). Tell me the exact status code, and classify the likely
cause as one of: (1) a request-framing/timeout/URI-length issue (400, 405,
408, 414), (2) a request-content condition needing body evidence (411, 413,
415, 422), (3) an intentional 410 Gone, (4) a possible HTTP/2 opt-out (421),
(5) a legal/policy block (451), (6) a WAF/CDN/security-plugin block, or (7) a
mislabeled 429 rate limit. Explain which detail in the output pointed you to
that answer, and flag anything you can't determine from this output alone.
CURL OUTPUT (GET and HEAD):
[paste]WAF/サーバーログの行を分類する
I'm investigating an "other 4xx" status Googlebot is hitting on a page I want
indexed. Below is a log line (or a few) from my server/CDN/WAF showing the
blocked request. Tell me whether this looks like a bot-identity rule
(user-agent or IP based), a rate-limit/challenge rule that should really be
returning 429, or a request/validation error, and what I'd need to change or
allowlist to fix it without disabling the underlying protection.
LOG LINE(S):
[paste]公開前に修正をサニティチェックする
I'm about to change how a URL responds because it's currently returning
[status code] and showing as "Blocked due to other 4xx issue" in Search
Console. Here's what I'm about to change: [describe]. Point out anything I
might be missing — for example, whether this could accidentally expose or
re-index a page that's supposed to stay gone (a 410 I'm about to undo), or
whether I should allowlist verified Googlebot instead of loosening a security
rule for everyone. 自分で確認する:「Blocked due to other 4xx issue」
「その他の 4xx」バケットの意味、429 の例外、診断と修正の方法についての 5 問です。それぞれ回答を選んでから確認してください。
「その他の 4xx」ステータスを診断・修正するツール
- HTTP Status Checker — 影響を受けた URL(または一括 URL)を入力して、GSC のラベルの背後にある実際のステータスコード、完全なレスポンスチェーン、4xx より前に発生したリダイレクトを確認します。
- Googlebot Verifier — WAF、CDN、セキュリティプラグインを通す許可リストに追加する前に、Googlebot を名乗る IP が本物か(公開 IP レンジと逆引き DNS)確認します。
- Google Search Console — URL Inspection → Test live URL — 古い可能性のあるレポート行ではなく、Googlebot が今受け取る正確なレスポンスに最も近い情報です。
curl -I— URL の生のステータス行を読む最速の方法です。ボット固有のルールが疑われるときは、Googlebot のユーザーエージェントで再取得します。- サーバー/CDN/WAF のログダッシュボード(Cloudflare、Akamai、Sucuri、セキュリティプラグインのログなど)— 正確なコードと、それを生成したルールまたは条件を見つけます。
コード別のよくある問題
「その他の 4xx」に入る各コードは、症状・原因・修正が独立したケースです。このバケットに単一の根本原因はないため、一つの連続した手順ではなく、個別に参照するカードとして扱います。
400 Bad Request
症状: 対象 URL がリクエストに対して 400 を返します。
考えられる原因: 不正または不適切にエンコードされたリクエスト対象、構文の問題、またはアプリやエッジが拒否する Host/ルーティング構成の問題です(悪いクエリパラメータ、不正な文字、想定外のルーティングなど)。
修正と確認: サーバーが受け取った正確なリクエストと、生成するつもりだったものを比較します。URL を直し、壊れた形式の生成やリンクを止めます。curl -I(HEAD)だけでなく GET で再確認し、200 になるまで確認します。
405 Method Not Allowed
症状: ブラウザーではページ自体が正常に見えるのに、URL が一部のリクエストに対して 405 を返します。
考えられる原因: そのルートで使われた HTTP メソッドが許可されていません。サーバーや CDN のルールがそのパスで GET だけを許可しているのに、HEAD や別のメソッドを送って拒否されることがあります。許可されるメソッドをレスポンスの Allow ヘッダーで確認してください。通常の curl -I による HEAD だけが失敗しても、GET も失敗する証拠にはなりません。
修正と確認: ルートで正しいメソッドを許可します。HEAD と GET の両方で再テストします。
408 Request Timeout
症状: URL が断続的に 408 を返すか、ステータスを返す前に接続がハングします。
考えられる原因: サーバー、プロキシ、CDN のタイムアウト時間内に接続またはリクエストが完了していません。これはタイミング/接続の問題であり、サーバー全体が停止している証拠ではありません。
修正と確認: プロキシ/CDN/オリジン間の接続とリクエストの時刻、および使用プロトコルを突き合わせます。該当するタイムアウトを調整するか、遅いオリジン経路を直してから再テストします。
410 Gone
症状: URL が 410 を返し、「その他の 4xx」に、意図的に削除したはずのページが含まれています。
考えられる原因: 意図的な削除です。消えるべきページなら設計どおりに機能しています。ページがライブであるべきなら、410 は誤りです。
修正と確認: 意図した削除なら、サイトマップと内部リンクから URL を取り除き、「問題」として表示され続けないようにします。違うならページを復元します。
411 Length Required
症状: URL が特定のリクエストに対して 411 を返します。
考えられる原因: 本文を含むリクエストに対して、サーバーが Content-Length ヘッダーを要求しています。通常のページ GET では珍しいため、日常的なクロール問題と決めつける前に、実際に内容があったかログで確認します。
修正と確認: 最初に実際のメソッドと本文を確認します。サーバー側の要件を直すか、リクエストにヘッダーを含めます。同じメソッドと内容で再テストします。
413 Payload Too Large
症状: URL が、通常は本文を含むリクエストや大きなヘッダー/Cookie に対して 413 を返します。
考えられる原因: サーバー、CDN、WAF のサイズ上限をリクエスト内容が超えています。これはページのレスポンスサイズではなく、受信するリクエストの問題です。
修正と確認: 上限を上げる前にログで受信リクエストを確認します。大きすぎるリクエストを生成しているものを直すか、正当なリクエストに対して本当に厳しすぎる場合だけ上限を上げます。通常サイズのリクエストが 200 を返すことを再確認します。
414 URI Too Long
症状: 長く生成された URL やパラメータ付き URL に対して、URL が 414 を返します。
考えられる原因: リクエスト URI 自体が長さ制限を超えています。多くの場合、ページ内容ではなく、パラメータ生成またはリダイレクトチェーンの誤りです。
修正と確認: 上限を盲目的に上げるのではなく、発生源で URL/リダイレクト生成を直します。長すぎる形式を指すサイトマップと内部リンクも整理します。
415 / 422(Unsupported Media Type / Unprocessable Entity)
症状: ブラウザーでは整ったリクエストに見えるのに、URL が 415 または 422 を返します。
考えられる原因: サーバーはリクエストを理解したものの、コンテンツタイプを拒否したか、内容または指示の検証ルールに失敗しました。通常のページ GET では珍しいため、一般的なページ内容の問題と決めつける前に実際のリクエスト内容を確認します。
修正と確認: ログでリクエストを確認し、検証ルールまたはコンテンツタイプの処理を直すか、拒否されたリクエストを生成しているものを直します。レスポンスが 200 になるまで再テストします。
421 Misdirected Request
症状: URL が 421 を返し、HTTP/2 の場合だけ発生することがあります。
考えられる原因: 接続が誤った宛先に送られています。ただし Google は、HTTP/2 クロールからルートを意図的に外す方法として 421 を返すことも文書化しているため、ページが壊れているとは限りません。
修正と確認: リクエストが HTTP/1.1 にフォールバックしたか、最終レスポンスは何だったかを確認します。意図的な HTTP/2 オプトアウトなら修正は不要です。フォールバックがなく、どのプロトコルでもページに到達できないなら、接続ルーティング、SNI、Host の処理を直します。
451(法的理由による利用不可)
症状: URL が 451 を返します。
考えられる原因: 法的またはポリシー上のブロックです。特定の法域でコンテンツを制限するなど、意図した動作の可能性があります。通常の地域/WAF の誤設定と扱わないでください。
修正と確認: 法務またはコンテンツポリシーの担当者に回し、ブロックが意図したものか確認します。意図したものなら、そこを指すサイトマップとリンクを整理します。意図しないならブロックを解除します。
「その他の 4xx」と間違えやすい 429
症状: 通常の 4xx を見つけるつもりだったのに、実際のコードが 429 です。
考えられる原因: Googlebot のリクエストに対してレート制限が発動しています。Google は 429 を、このバケットの他のコードのようなクライアントエラーではなく、サーバー過負荷のシグナルとして扱います。そのため、実際の 429 は「その他の 4xx」ではなくクロール/サーバー問題として報告される可能性があります。ただし、Google の文書は処理方法を扱い、レポート分類を扱っていないため、正確な表示場所は未確認として扱います。
修正と確認: 正当なレート制限を無効にせず、適切な作法として Retry-After ヘッダーを追加します(RFC 6585 では任意で、Googlebot がその値から次回クロールを予定すると Google は確認していません)。Googlebot を遅くするだけのルールが 4xx を返しているなら、そのルールを 429 または 503 に切り替えます。
修正が実際に機能したことを証明する
リクエスト/検証エラーを直し、意図した 410 を整理し、検証済み Googlebot を許可リストに追加し、またはレート制限を正しく処理した後に、「設定が変わった」だけでなく「Google が実際にページへ到達できる」ことを確認するチェックです。順番に実行してください。
テスト 1 — 新しいリクエストが期待するステータスを返す
- 実行するテスト — 影響を受けた URL に対して、Google が実際に使うメソッドに合わせて GET の
curlを実行します(curl -Iだけでは HEAD しかテストしません)。または HTTP Status Checker で確認します。 - 期待する結果 — インデックス登録したいページでは、ステータス行が
HTTP/1.1 200 OKになります。意図的に削除したページでは410のままで問題ありません。その場合に重要なテストはテスト 3 です。 - 失敗の解釈 — 元の 4xx が続くなら、そのパスに修正が適用されていないか、違う URL/環境をテストしています。以前と別の 4xx(例:400 が 403 になった)が返るなら、一つのブロックを別のブロックに置き換えただけなので WAF/CDN ルールを確認します。
- 監視期間 — 即時。変更が有効になるとサーバーはすぐ応答します。
- ロールバック条件 — 検証またはサイズのルールを緩めたことで意図しない動作が開いた場合は、元のルールに戻し、別の方法で根本原因を直します(上限を上げるのではなく、リクエストを正すなど)。
テスト 2 — Google がページに到達できることを確認する
- 実行するテスト — Google Search Console で、対象 URL に対して URL Inspection → Test live URL を実行します。
- 期待する結果 — インデックス登録したいページでは、ライブテストが成功し、
200が示され、4xx が報告されません。 - 失敗の解釈 — 匿名の
curlテストが成功したのに Test live URL が 4xx を報告するなら、一般的なリクエストの問題ではなく、Googlebot の IP レンジにだけ適用される WAF/CDN ルール(許可リストの問題)を疑います。 - 監視期間 — 修正から即時〜数分。
- ロールバック条件 — なし。読み取り専用のテストです。まだ失敗するなら、ロールバックではなくテスト 1 の失敗分岐に戻ります。
テスト 3 — ページのインデックス登録レポートでステータスが消える(または意図どおり横ばいになる)
- 実行するテスト — ページのインデックス登録レポートの「Blocked due to other 4xx issue」行で Validate Fix を使い、その後数週間のバケット数を追跡します(How to Measure タブを参照)。
- 期待する結果 — 修正した URL は、Google が
200を再クロールするとバケットから移動する資格を得ます。これは再インデックス登録や特定期間の保証ではなく、資格だけです。意図した 410 の URL はバケットに残りますが、サイトマップと内部リンクからは参照されなくなります。 - 失敗の解釈 — 公開された再試行頻度はないため、検証が遅いことを新しい失敗と解釈しないでください。実際に修正した URL の数が数週間下がらない場合は、テスト 1 を再実行して、再デプロイや CDN キャッシュが古いルールを戻していないか確認します。
- 監視期間 — 数日〜数週間。バケット数で追跡します。
- ロールバック条件 — テスト 1 が再び失敗した場合だけ根本の修正を見直します。ページのインデックス登録レポートの更新タイミングを追いかけないでください。
変更履歴
2026年8月8日に更新。
編集概要と記録された変更の詳細。変更の詳細
-
変更の詳細な注記は現在英語でのみ提供されています。
完全な比較は利用できません — この改訂の以前のスナップショットがアーカイブされていません。
2026年7月17日に更新。
編集概要と記録された変更の詳細。変更の詳細
-
変更の詳細な注記は現在英語でのみ提供されています。
-
変更の詳細な注記は現在英語でのみ提供されています。
-
変更の詳細な注記は現在英語でのみ提供されています。
完全な比較は利用できません — この改訂の以前のスナップショットがアーカイブされていません。