インデックス肥大化（Index Bloat）

TL;DR — インデックス肥大化とは、検索されていない低価値ページ（フィルターURL、内部検索結果、タグページ、類似ページ）が検索エンジンに大量に登録されている状態です。ペナルティではありません。Googleのクロールを無駄にし、自分のシグナルを分散させる問題であり、ページ数ではなく品質の問題です。

インデックス肥大化とは

「インデックス肥大化（index bloat）」はGoogleの用語ではなく、SEO担当者が使う表現です。検索エンジンが、サイト内の本来残す価値がないページまで大量に登録してしまう状態を指します。内部検索結果、店舗で生成されるあらゆるフィルターの組み合わせ、空のタグページ、印刷用ページ、少しずつ異なるURLで同じページへ到達できるケースなどです。

重要なのは「低価値」であることです。誰も検索しておらず、良質なページを見つける助けにもならないページが肥大化の対象です。ページ数だけでは決まりません。小規模サイトでも混乱していることがあり、大規模サイトでもきれいに管理できます。

本当に問題なのか

多くの場合、心配されるほど深刻ではありません。「インデックス肥大化ペナルティ」はありません。 ジャンクURLがいくつか登録されたからといって、Googleがサイト全体の順位を下げるわけではありません。実際に起きることは、もっと地味です。

• クロールの浪費。 検索エンジンが、重要で新しいページではなくジャンクを取得するために時間を使います。
• シグナルの分散。 同じ内容が複数のURLにあると、リンクや注目が1つの強いページに集まらず、薄く分かれます。

小規模サイトでは、ほとんどの場合問題になりません。テンプレートで数千URLを生成する大規模なストアやメディアでは、積み重なって効いてきます。

何が原因になるのか

よくある原因は次のとおりです。

• フィルターと並べ替えのURL（ファセットナビゲーション）— 組み合わせごとに新しいURLが生まれます。
• URLパラメーター — 並べ替え、絞り込み、トラッキングタグ、セッションIDなどです。
• 内部検索結果ページ — 自サイトの検索結果がインデックスされます。
• 実質的な内容のないタグ、カテゴリー、著者アーカイブ。
• ページネーション — 一覧の2ページ目、3ページ目、4ページ目…です。
• 重複バージョン — httpとhttps、wwwと非www、末尾スラッシュありとなしです。
• ソフト404 — 「見つかりません」と表示するのにステータスは「OK」を返すページで、検索エンジンが取得し続けます。

確認方法

site:example.com の検索結果を鵜呑みにしないでください。この件数は大まかな推定にすぎません。Googleのインデックス済み／未登録の概要と理由は、Google Search Console → ページのインデックス登録レポートで確認します。ただし、表示される例URLの一覧には上限があります。 Evidence for this claim Search Console's Page Indexing report summarizes indexed and non-indexed pages and groups non-indexed pages by reason, with limited example rows. Scope: Google Search Console reporting; it is not an exhaustive downloadable URL inventory. Confidence: high · Verified: 2026-07-14 Google: Page indexing report

修正方法（短縮版）

ページの意図に合う手段を選びます。

• 検索価値がなく、表示させるべきでない？ noindexを追加し、Googleがタグを確認できるようクロール可能なままにします。 Evidence for this claim Google recommends noindex to prevent indexing while allowing crawling, canonical signals for duplicates, and 404/410 for removed pages. Scope: The appropriate control depends on the page's intended state. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex Google: Canonicalization Google: HTTP status codes
• 重要なページの重複？ 本来のページを指すrel=canonicalを設定します。
• 本当に消滅した？ 404または410を返します。
• 同じテーマの薄いページが大量にある？ 1つの良質なページに統合します。

完全な判断表、診断方法、そして「robots.txtでブロックしてもGoogleから削除できない」といった落とし穴まで確認したい場合は、Advancedタブに切り替えてください。

TL;DR — 「インデックス肥大化」はGoogleの用語ではなくSEO用語です。実際の問題は、ファセットナビゲーション、パラメーター、内部検索、タグ／アーカイブ、ページネーション、ソフト404、プロトコル重複など、薄い・重複した・低価値のURLが登録されることです。これはペナルティではなく、クロール効率とシグナル分散の問題です。Bingは「Duplicate content doesn’t trigger search penalties on its own.」 (翻訳)「重複コンテンツだけで検索ペナルティが発生するわけではありません」と説明し、Muellerも「We don’t have a duplicate content penalty.」 (翻訳)「重複コンテンツのペナルティはありません」と述べています。ページ数ではなく品質の問題です。GSCのページのインデックス登録レポート（site:は概算）、ログ、クローラーで診断します。 Evidence for this claim Search Console's Page Indexing report summarizes indexed and non-indexed pages and groups non-indexed pages by reason, with limited example rows. Scope: Google Search Console reporting; it is not an exhaustive downloadable URL inventory. Confidence: high · Verified: 2026-07-14 Google: Page indexing report 意図に合わせて、noindex は登録から外す（クロール可能にする）、rel=canonical は重複を統合する（ヒントでありルールではない）、robots.txtはクロールだけを止める（登録済みURLは削除しない）、消滅したページには 404／410、薄い内容には統合を使います。 Evidence for this claim Google recommends noindex to prevent indexing while allowing crawling, canonical signals for duplicates, and 404/410 for removed pages. Scope: The appropriate control depends on the page's intended state. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex Google: Canonicalization Google: HTTP status codes Removalsツールは一時的（約6か月）です。

「インデックス肥大化」が実際に意味すること

まず、多くの記事が誤る枠組みを整理します。「インデックス肥大化」はSEO業界の用語であり、Googleの用語ではありません。 Googleはこの表現を使わず、重複URL、低価値／重要でないURL、ソフト404、無限空間、ファセットナビゲーションといった構成要素を説明しています。したがって、この言葉をGoogleが使う正式名称のように扱ったり、Googleが名前を付けて追跡・罰する対象だと考えたりしないでください。

私が採用する実務上の定義は、検索エンジンが検索価値のないページをサイトに登録することです。重視するのは価値であり、量ではありません。500ページのサイトが整然としていることもあれば、10万（100 000）ページのサイトの大半が肥大化していることもあります。ページ数の姿をした品質問題です。

インデックス肥大化は本当に問題か：率直な答え

多くの場合、考えられているほどではありません。重要なのは、ペナルティではないということです。この業界で最も誇張される点です。Bingは明確に、“Duplicate content doesn’t trigger search penalties on its own.” (翻訳)「重複コンテンツだけで検索ペナルティが発生するわけではありません」と述べています。Muellerも長年、“We don’t have a duplicate content penalty. It’s not that we would demote a site for having a lot of duplicate content.” (翻訳)「重複コンテンツのペナルティはありません。重複コンテンツが多いからといってサイトの順位を下げるわけではありません」と説明しています。

では、何がコストになるのでしょうか。現実的には2つです。

1. クロールの浪費。 Googleの大規模サイト向けガイドでは、重複または不要なURLが多い場合、“this wastes a lot of Google crawling time on your site.” (翻訳)「これはサイト上でGoogleのクロール時間を大量に浪費します」と説明しています。インフラ面では、“If Google spends too much time crawling URLs that it shouldn’t, Google’s crawlers might decide that it’s not worth the time to look at the rest of your site.” (翻訳)「GoogleがクロールすべきでないURLに時間をかけすぎると、サイトの残りを見る価値がないとクローラーが判断することがあります」としています。これが仕組みです。ジャンクURLが、重要なページのクロールを圧迫し、新しい内容の発見を遅らせます。

2. シグナルの分散。 Bingは類似ページの結果を、“signals such as clicks, links, impressions, and engagement are often diluted.” (翻訳)「クリック、リンク、表示回数、エンゲージメントなどのシグナルが薄まることが多い」と説明しています。1ページ分の価値をほぼ同じ5つのURLに分ければ、1つに統合した場合ほど、どれも強く順位付けされません。

実際に問題になるのはいつでしょうか。大規模サイトやテンプレート駆動サイトです。Eコマース（ファセットナビゲーション、パラメーター、商品バリエーション）、メディア（タグ、アーカイブ、ページネーション）、URLを自動生成するCMS（WordPressのタグ／著者／フィードページ、内部検索）などです。小規模な静的サイトでは、ほとんどノイズにすぎません。

自分の仕事で使う率直な確認方法があります。以前、Ahrefsブログを実際に監査したところ、クロール済みページは4 700以上でしたが、実際に順位を獲得していたのは約1 600ページだけでした。この「ゾンビページ」との差は、コメント・カテゴリ・著者フィードやページネーションなどです。判断は落ち着いたものでした。大半はSEOを損なうわけではないものの、クロール予算を消費するため、対策はパニックではなく選別でした（例えば1ページの表示件数を増やしてページネーションを減らす）。インデックス肥大化を調べるときは、何かに手を付ける前に「これは本当に問題か」と問いかけてください。

インデックス肥大化の原因

よくある発生源を、原因になりやすい順に見ていきます。

• ファセットナビゲーション。 第1位の発生源です。GoogleのCrawling December記事でGary Illyesは、ファセットナビゲーションが “is by far the most common source of overcrawl issues site owners report to us,” (翻訳)「サイト所有者から報告される過剰クロール問題の、圧倒的に多い発生源です」と述べ、“because it can generate a near-infinite number of URLs.” (翻訳)「ほぼ無限の数のURLを生成できるため」と説明しています。また、“will always consume server resources,” (翻訳)「常にサーバーリソースを消費し」、その過剰クロールは “slows down the discovery of your important, new content.” (翻訳)「重要で新しいコンテンツの発見を遅らせます」。
• URLパラメーター — 並べ替え、絞り込み、トラッキング、セッションIDです。パラメーター値が増えるたび、固有の内容がない新しいクロール可能・インデックス可能URLになる可能性があります。
• 内部検索結果ページ — 自サイトの検索結果がインデックスされます。ほとんどの場合、それ自体に検索価値はありません。
• タグ／カテゴリー／著者アーカイブとフィード — 自動生成で、薄い内容になりがちです。
• ページネーション — カテゴリーやアーカイブごとに、一覧の2、3、4ページ目が増殖します。
• プロトコルとホストの重複 — httpとhttps、wwwと非www、末尾スラッシュありとなしです。Googleのcanonicalizationドキュメントが挙げる地域・デバイス・プロトコル（HTTP/HTTPS）のバリエーション、並べ替え／絞り込み結果などが該当します。
• ソフト404と無限空間 — カレンダー、無限スクロール、200を返す「見つかりません」ページです。Googleは、“soft 404 pages will continue to be crawled, and waste your budget.” (翻訳)「ソフト404ページはクロールされ続け、予算を浪費します」と説明しています。
• 自動生成・薄いページ — ほぼ固有の内容がないまま、テンプレートで存在するすべてのページです。

規模についてGoogleが示す有用な注意点があります。“The web is a nearly infinite space, exceeding Google’s ability to explore and index every available URL.” (翻訳)「ウェブはほぼ無限の空間であり、Googleが利用可能なすべてのURLを探索・登録する能力を超えています」。テンプレートが無限のURLを生成できるなら、Googleが自動的に解決してくれるわけではありません。

インデックス肥大化の診断方法

GSCのページのインデックス登録レポートが権威ある件数です。 Googleは、合計が “complete and accurate from Google’s perspective.” (翻訳)「Googleの観点から完全かつ正確です」と説明しています。site:演算子ではなく、こちらを使ってください。生の件数以上に重要なのは、登録されない理由の内訳です。肥大化の兆候を示すバケットは次のとおりです。

• クロール済み - 現在未登録 — “The page was crawled by Google but not indexed.” (翻訳)「ページはGoogleにクロールされたが登録されていません」。ここが膨らんでいるのが典型的な肥大化のサインです。
• 検出 - 現在未登録 — “The page was found by Google, but not crawled yet.” (翻訳)「ページはGoogleに発見されたが、まだクロールされていません」。GoogleはURLを把握しているものの、取得できていません。
• ユーザーが正規URLを選択していない重複 — “This page is a duplicate of another page, although it doesn’t indicate a preferred canonical page.” (翻訳)「このページは別ページの重複ですが、優先する正規ページを示していません」。
• 重複、Googleがユーザー指定と異なる正規URLを選択 — “Google thinks another URL makes a better canonical.” (翻訳)「Googleは別のURLのほうが適切な正規URLだと考えています」。
• ソフト404 — “it returns a user-friendly ‘not found’ message but not a 404 HTTP response code.” (翻訳)「ユーザー向けの「見つかりません」というメッセージを返しますが、404 HTTPレスポンスコードではありません」。

同じレポートでは、「適切な正規タグを持つ代替ページ」「リダイレクトのあるページ」「robots.txtによりブロック」「“Excluded by ‘noindex’ tag.” (翻訳)「noindexタグにより除外」」も確認できます。

「クロール済み - 現在未登録」について重要な注意点があります。Muellerはこれをページ単位の不具合ではなくサイト全体の品質シグナルと位置付けています。“You can’t force pages to be indexed — it’s normal that we don’t index all pages on all websites. It’s not an issue with ‘that page’, it’s more site-wide. Creating a good site structure and making sure the site is of the highest quality possible is essentially the direction.” (翻訳)「ページを登録させることはできません。すべてのサイトですべてのページを登録しないのは普通です。『そのページ』の問題ではなく、よりサイト全体の問題です。良いサイト構造を作り、サイトを可能な限り高品質にすることが基本的な方向性です」。さらに、“If there are overall issues with your site, you need to look at the rest of your site, not the URLs that didn’t end up getting indexed.” (翻訳)「サイト全体に問題があるなら、登録されなかったURLではなくサイトの残りを見る必要があります」と述べています。ただし、“It’s not meant to highlight low quality content issues.” (翻訳)「低品質コンテンツの問題を強調するためのものではありません」とも注意しています。

診断に使える残りの道具は次のとおりです。

• site:演算子 — ざっくり確認するだけです（例：site:example.com inurl:?やsite:example.com/tag/で肥大化のパターンを探す）。正確な数として引用せず、GSCと突き合わせます。
• ログファイル分析 — Googlebotが実際に時間を使う場所を確認します。パラメーター／ファセット／フィードURLへのアクセスが大きな割合を占めるなら、クロールの浪費です。
• サイトクローラー（Ahrefs Site Audit、Screaming Frog）— 薄いページ、重複ページ、孤立ページ、インデックス可能なパラメーターURL、類似ページのクラスターを見つけます。クロール可能・インデックス可能なURLをXMLサイトマップや実際にトラフィックを得ているページと比較します。
• クロール済みとランキングの差（自分の方法）— インデックス可能／クロール済みページと、実際に順位またはトラフィックを得るページを数えます。その差分が、選別すべきゾンビ／肥大化候補の一覧です。

修正方法 — 適切な手段を選ぶ

万能の修正方法はありません。各URLの内容と価値に応じて処理します。完全な判断表（Cheat Sheetsタブに掲載）が中心ですが、各手段の考え方は次のとおりです。

noindex — インデックスから削除。 検索価値がなく、表示させるべきでないページ（内部検索結果、サンクスページ、薄いタグ／フィルターページ）に使います。Googleは、“Google will drop that page entirely from Google Search results, regardless of whether other sites link to it.” (翻訳)「他サイトからリンクされているかどうかにかかわらず、GoogleはそのページをGoogle検索結果から完全に削除します」と説明しています。noindexタグは、ファセットページの登録を防ぐ確実な方法です。重要な落とし穴： noindexを機能させるにはページをクロール可能に保つ必要があります。Googleは、“For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file.” (翻訳)「noindexルールを有効にするには、ページまたはリソースをrobots.txtでブロックしてはいけません」と述べています。先にブロックするとGoogleはnoindexを確認できません。

rel=canonical — 価値のある重複を統合。 リンクや価値を持つ類似ページ（パラメーターのバリエーション、印刷版、プロトコル／ホストの重複）に使います。正規URLとは、“the URL of a page that Google chose as the most representative from a set of duplicate pages,” (翻訳)「重複ページ群の中でGoogleが最も代表的だと選んだページのURL」です。正規URLを指定してシグナルを統合します。ただし、ヒントでありルールではありません。 “indicating a canonical preference is a hint, not a rule,” (翻訳)「正規URLの希望を示すことはヒントであり、ルールではありません」。“Google may choose a different page as canonical than you do, for various reasons.” (翻訳)「さまざまな理由で、Googleが指定とは異なるページを正規URLに選ぶことがあります」。繰り返すルールは1つです。同じページでnoindexとrel=canonicalを併用しないでください。相反する指示になります。

robots.txt disallow — クロールだけを停止。 インデックス登録もシグナルも不要な大量のクロール可能ジャンク（無限のファセット組み合わせ）からボットを遠ざけるために使います。ファセットナビゲーションについて、Illyesは “If you don’t need these URLs indexed, use robots.txt to disallow crawling.” (翻訳)「これらのURLを登録する必要がないなら、robots.txtでクロールを禁止してください」と案内しています。ただし、何ができて何ができないかを理解してください。robots.txtは “is not a mechanism for keeping a web page out of Google,” (翻訳)「ウェブページをGoogleから排除する仕組みではなく」、“a page that’s disallowed in robots.txt can still be indexed if linked to from other sites.” (翻訳)「robots.txtで禁止したページも他サイトからリンクされていれば登録されることがあります」。クロールは止めますが、登録済みURLを削除はしません。

404／410 — 本当に消えたページ。 もう存在させないページに返します。410は「消滅」をやや強く示し、404は “a strong signal not to crawl that URL again.” (翻訳)「そのURLを再びクロールしないための強いシグナル」です。

統合／マージ／削除 — 同じテーマの薄いページが多数ある場合。 1つの強いページにまとめ（残りは301）、または削除します。Googleは “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (翻訳)「重複コンテンツを統合し、固有URLではなく固有コンテンツにクロールを集中させる」と説明しています。薄い内容への最善の長期対策です。

Removalsツール — 一時的な手段。 GSCのRemovalsツールはURLを検索結果からすぐ外せますが、応急処置にすぎません。“Requests made in the Removals tool last for about 6 months.” (翻訳)「Removalsツールで行ったリクエストは約6か月間有効です」。必ず恒久的な方法（noindex、404／410、削除）と組み合わせます。

多くの人がつまずく順序のルール

すでに登録された低価値URLを恒久的に削除するには、noindex（または404／410）を適用し、Googleが再処理するまでクロール可能にしておきます。インデックスから削除された後でクロールを節約したい場合にだけ、robots.txtのdisallowを追加します。先にブロックすると登録状態に閉じ込めます。 Googleはクロールできないnoindexを読めず、URLが（スニペットなしで）結果に無期限に残ることがあります。

よくある誤解

• 「Googleはインデックス肥大化／重複コンテンツにペナルティを課す」。 いいえ。ペナルティではなく、クロールの浪費とシグナルの分散です。
• 「robots.txtでページがインデックスから削除される」。 いいえ。クロールを止めるだけです。他サイトからリンクされていれば、禁止ページも登録されることがあります。
• 「noindexでクロール予算を節約できる」。 いいえ。Googleはnoindexを見るために、まずページをリクエストします。
• 「同じページをnoindexとrobots.txtブロックの両方にすれば安全」。 いいえ。ブロックされるとGoogleはnoindexを読めず、登録状態が続くことがあります。
• 「rel=canonicalで統合を強制できる」。 いいえ。ヒントなので、Googleは別の正規URLを選ぶことがあります。
• 「site:演算子で登録済み件数を正確に数えられる」。 いいえ。推定値です。GSCのページのインデックス登録レポートを信頼してください。
• “More indexed pages = better.” (翻訳)「登録ページが多いほどよい」。いいえ。量より品質です。低価値URLはシグナルを薄め、クロールを浪費します。

予防 — ガードレールを作る

最善の修正は、最初から肥大化を生成しないことです。

• テンプレート単位のCMS noindex — 順位を得るべきでない内部検索、薄いフィルターページ、特定のアーカイブに設定します。ページごとではなくテンプレートで一度設定します。
• パラメーターの規律 — どのパラメーターがインデックス可能URLを作り、どれを正規化またはブロックするかを最初に決めます。
• 一貫したURL — プロトコル、ホスト、末尾スラッシュのルールを1つに決めて強制します。
• 定期監査 — クロール済みとランキングの確認を四半期ごとに再実施し、肥大化の再発を防ぎます。

これは、クロール予算（インデックス肥大化が浪費するリソース）、canonicalization（主な統合手段）、ファセットナビゲーション（最も一般的な発生源）という関連テーマのすぐ隣にあります。ページがどのようにインデックスへ入り、そこから外れるかを広く理解するには、インデックスハブを参照してください。

AI要約

Advanced版の要点をまとめます。

• 「インデックス肥大化」はGoogleの用語ではない。 実際の問題は、ファセットナビゲーション、パラメーター、内部検索、タグ／アーカイブ、ページネーション、ソフト404、プロトコル／ホスト重複など、薄い・重複した・低価値のURLが登録されることです。
• ページ数ではなく品質が基準。 小規模サイトが混乱していることもあれば、大規模サイトが整然としていることもあります。
• ペナルティではない。 Bingは「Duplicate content doesn’t trigger search penalties on its own.」 (翻訳)「重複コンテンツだけで検索ペナルティが発生するわけではない」と述べ、Muellerは「We don’t have a duplicate content penalty.」 (翻訳)「重複コンテンツのペナルティはない」と述べています。実際のコストは、クロールの浪費（ジャンクが良いページを圧迫）と、類似ページ間のシグナル分散です。
• 主に大規模／テンプレート駆動サイトで問題になる。 Eコマース、メディア、自動生成CMSなどです。まず本当に問題かを確認します。
• GSCのページのインデックス登録レポートで診断する。 権威ある（「complete and accurate」 (翻訳)「Googleの観点から完全かつ正確」という意味の）レポートです。「クロール済み - 現在未登録」と「重複」のバケットを確認します。site:は概算にすぎません。ログ、サイトクローラー、クロール済みとランキングの差も加えます。
• 意図に合わせて修正する。 noindexで登録から外す（クロール可能に保つ）、rel=canonicalで重複を統合する（ヒントでありルールではない。noindexと併用しない）、robots.txtでクロールだけを停止する（登録済みURLは削除できない）、消滅したページには404／410、薄い内容には統合／マージを使います。
• 順序が重要。 登録済みURLを削除するには、noindex（または404／410）を適用し、削除されるまでクロール可能にします。その後でrobots.txtをブロックします。先にブロックすると登録状態に閉じ込めます。
• Removalsツールは一時的（約6か月）。 恒久的な修正と組み合わせます。
• ガードレールで予防する。 CMSテンプレート単位のnoindex、パラメーター管理、一貫したURL、定期監査を行います。

公式ドキュメント

検索エンジンの一次資料です。

Google

• クロール予算を最適化する — 「肥大化はクロールを浪費する」という仕組み、重複の統合、ソフトエラー、クロール節約のためにnoindexを使わない理由を説明しています。
• クロール予算の管理 — インフラ面の解説です。ウェブは「nearly infinite（ほぼ無限）」であり、ジャンクのクロールがサイトの残りを圧迫します。
• Crawling December：ファセットナビゲーション — Gary Illyesによる、ファセットナビゲーションが過剰クロールの第1原因であること、ブロックと最適化の使い分けです。
• noindexでインデックス登録をブロック — noindexの動作と、クロール可能に保つ必要性を説明しています。
• robots.txtの概要 — disallowが登録削除の手段ではない理由です。
• URLの正規化 ／ 正規URLを指定する — 正規URL、重複の原因、「ヒントでありルールではない」という考え方です。
• ページのインデックス登録レポート — 権威ある件数と肥大化を示す未登録ステータスです。
• Googleから情報を削除する — Removalsツールと、その一時性を説明しています。

Bing／Microsoft

• 重複コンテンツはSEOとAI検索の可視性に影響するか — 重複／低価値URLを、ペナルティではなくクロール効率とシグナル分散の問題として捉え直すBingの解説です。

出典からの引用

GoogleとBingによる記録上の発言です。各リンクは出典ページの引用箇所へ直接移動します。

Google — ペナルティはなく、クロールを浪費しシグナルを薄める

• “this wastes a lot of Google crawling time on your site.” (翻訳)「これはサイト上でGoogleのクロール時間を大量に浪費します。」 — Google Search Centralの文書。 引用箇所へ
• “If Google spends too much time crawling URLs that it shouldn’t, Google’s crawlers might decide that it’s not worth the time to look at the rest of your site.” (翻訳)「GoogleがクロールすべきでないURLに時間をかけすぎると、サイトの残りを見る価値がないとクローラーが判断することがあります。」 引用箇所へ
• “The web is a nearly infinite space, exceeding Google’s ability to explore and index every available URL.” (翻訳)「ウェブはほぼ無限の空間であり、Googleが利用可能なすべてのURLを探索・登録する能力を超えています。」 引用箇所へ

Google（Gary Illyes）— ファセットナビゲーションは第1位の発生源

• “faceted navigation is by far the most common source of overcrawl issues site owners report to us.” (翻訳)「ファセットナビゲーションは、サイト所有者から報告される過剰クロール問題の圧倒的に多い発生源です。」 — Gary Illyes（Google、Crawling December、2024年）。 引用箇所へ
• “Because it can generate a near-infinite number of URLs.” (翻訳)「ほぼ無限の数のURLを生成できるためです。」 — Gary Illyes（Google）。 引用箇所へ
• “This overcrawling slows down the discovery of your important, new content.” (翻訳)「この過剰クロールは、重要で新しいコンテンツの発見を遅らせます。」 — Gary Illyes（Google）。 引用箇所へ
• “If you don’t need these URLs indexed, use robots.txt to disallow crawling.” (翻訳)「これらのURLをインデックスする必要がないなら、robots.txtでクロールを禁止してください。」 — Gary Illyes（Google）。 引用箇所へ

Google — noindex、robots.txt、canonical（ツール）

• “Google will drop that page entirely from Google Search results, regardless of whether other sites link to it.” (翻訳)「他サイトからリンクされているかどうかにかかわらず、GoogleはそのページをGoogle検索結果から完全に削除します。」 — Google Search Centralの文書（noindex）。 引用箇所へ
• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file.” (翻訳)「noindexルールを有効にするには、ページまたはリソースをrobots.txtでブロックしてはいけません。」 引用箇所へ
• “it is not a mechanism for keeping a web page out of Google.” (翻訳)「ウェブページをGoogleから排除する仕組みではありません。」 — Google Search Centralの文書（robots.txt）。 引用箇所へ
• “A page that’s disallowed in robots.txt can still be indexed if linked to from other sites.” (翻訳)「robots.txtで禁止したページも、他サイトからリンクされていればインデックスされることがあります。」 引用箇所へ
• “a canonical URL is the URL of a page that Google chose as the most representative from a set of duplicate pages.” (翻訳)「canonical URLとは、重複ページの集合からGoogleが最も代表的だと選んだページのURLです。」 引用箇所へ
• “indicating a canonical preference is a hint, not a rule.” (翻訳)「canonicalの希望を示すことはヒントであり、ルールではありません。」 引用箇所へ
• “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (翻訳)「重複コンテンツを統合し、固有URLではなく固有コンテンツにクロールを集中させます。」 引用箇所へ
• “a 404 status code is a strong signal not to crawl that URL again.” (翻訳)「404ステータスコードは、そのURLを再びクロールしないための強いシグナルです。」 引用箇所へ

Google — 診断（ページのインデックス登録レポート）とRemovals

• “The indexed + not indexed totals above the chart are complete and accurate from Google’s perspective.” (翻訳)「グラフ上部のインデックス済み・未登録の合計は、Googleの観点から完全かつ正確です。」 引用箇所へ
• “The page was crawled by Google but not indexed. It may or may not be indexed in the future.” (翻訳)「ページはGoogleにクロールされたものの、インデックスされていません。将来インデックスされる場合もあれば、されない場合もあります。」 — 「Crawled - currently not indexed」。 引用箇所へ
• “Requests made in the Removals tool last for about 6 months.” (翻訳)「Removalsツールで行ったリクエストは約6か月間有効です。」 引用箇所へ

Google（John Mueller）— ペナルティではなくサイト全体の品質

• “you can’t force pages to be indexed — it’s normal that we don’t index all pages on all websites. It’s not an issue with ‘that page’, it’s more site-wide. Creating a good site structure and making sure the site is of the highest quality possible is essentially the direction.” (翻訳)「ページをインデックスさせるよう強制することはできません。すべてのサイトですべてのページをインデックスしないのは普通です。『そのページ』の問題ではなく、よりサイト全体の問題です。良いサイト構造を作り、サイトを可能な限り高品質にすることが基本的な方向性です。」 — John Mueller（Google、検索アドボケート、2021年）。 引用箇所へ
• “If there are overall issues with your site, you need to look at the rest of your site, not the URLs that didn’t end up getting indexed.” (翻訳)「サイト全体に問題があるなら、インデックスされなかったURLではなくサイトの残りを見る必要があります。」 — John Mueller（Google）。 引用箇所へ
• “We don’t have a duplicate content penalty. It’s not that we would demote a site for having a lot of duplicate content.” (翻訳)「重複コンテンツのペナルティはありません。重複コンテンツが多いからといってサイトの順位を下げるわけではありません。」 — John Mueller（Google）。 引用箇所へ

Bing（Fabrice Canel／Krishna Madhavan）— ペナルティではなく分散

• “Duplicate content doesn’t trigger search penalties on its own.” (翻訳)「重複コンテンツだけで検索ペナルティが発生するわけではありません。」 — Fabrice Canel／Krishna Madhavan（Microsoft Bing、2025年）。 引用箇所へ
• “signals such as clicks, links, impressions, and engagement are often diluted.” (翻訳)「クリック、リンク、表示回数、エンゲージメントなどのシグナルが薄まることがよくあります。」 — Microsoft Bing。 引用箇所へ

インデックス肥大化の監査チェックリスト

このチェックは肥大化を疑ったら一度実施します。ただし、まず深刻度を下げて考えてください（大半のサイトには本当の問題がありません）。

• GSCのページのインデックス登録レポートで範囲を確認した。site:演算子だけに頼っていない。「Crawled - currently not indexed」と「Duplicate」のバケットが異常に大きくないか記録した。
• クロール済みとランキングの差を調べた。インデックス可能／クロール済みページと、実際に順位またはトラフィックを得るページを数え、差分から候補一覧を作った。
• サーバーログを調べ、パラメーター、ファセット、フィード、検索URLへのクロールを確認した。
• サイトクローラー（Ahrefs Site Audit / Screaming Frog）を実行し、薄いページ、重複ページ、孤立ページ、インデックス可能なパラメーターURLを洗い出した。
• 存在する発生パターンを特定した。ファセットナビゲーション、URLパラメーター、内部検索、タグ／カテゴリー／著者アーカイブとフィード、ページネーション、プロトコル／ホスト重複、ソフト404、無限空間、薄い／自動生成ページを確認した。
• 各パターンについて、Cheat Sheetsタブの判断表を参照し、意図に合う正しいツールを選んだ。
• noindexを付けたURLがクロール可能なまま（robots.txtでもブロックされていない）であることを確認した。
• noindexとrel=canonicalを同時に設定したページがないことを確認した。
• すでにインデックスされたジャンクには、まずnoindex／404／410を適用し、クロール可能に保った。削除後にだけrobots.txtブロックを予定した。
• Removalsツールを恒久対策として頼っていない（有効なのは約6か月）。
• 予防のガードレールを設定した。CMSテンプレート単位のnoindex、パラメーター規則、一貫したURL、四半期ごとの再監査を含む。

メンタルモデル

1. 数ではなく品質。 インデックス肥大化は「ページが多すぎる」ことではなく、「検索価値のないページが登録されている」ことです。監査で問うべきなのは「ページはいくつあるか」ではなく、「どのページがインデックスに残る価値を持つか」です。

2. ペナルティではなく、効率と分散。 インデックス肥大化のペナルティも、重複コンテンツのペナルティもありません。実際のコストは、クロールの浪費（ジャンクが良いページを圧迫する）とシグナルの分散（近い重複ページに価値が割れる）の2つです。すべての提案を降格への恐怖ではなく、この2つに結び付けてください。

3. 「これは本当に問題か」という関門。 何かを触る前に確認します。大規模サイトまたはテンプレート駆動サイトですか。重要な新規ページのクロール・インデックス登録が遅いですか。GSCで「Crawled - currently not indexed」または「Duplicate」のバケットが膨らんでいますか。どれも当てはまらなければ、肥大化はほぼ見た目の問題です。別の作業に時間を使いましょう。

4. URLの意図にツールを合わせる。 修正全体はURLタイプごとの振り分けです。価値がないならnoindex、価値のある重複ならrel=canonical、取得すら不要な大量のクロール可能ジャンクならrobots.txt、本当に消えたなら404／410、薄いページが多いなら統合します（判断表はCheat Sheetsタブ）。

5. ブロックより先にインデックスから外す。 すでに登録されたURLを削除するには、noindex（または404／410）を付け、Googleが再処理するまでクロール可能にしておきます。消えた後でのみrobots.txtをブロックします。先にブロックすると、登録状態に閉じ込められます。

6. 権威ある件数はGSCにある。 site:はパターンを見つけるための概算です。ページのインデックス登録レポートが件数であり、未登録理由が実際の診断材料です。

修正の判断表 — noindex vs rel=canonical vs robots.txt vs 404／410 vs 統合

順序のルール： すでに登録された低価値URLを恒久的に削除するには、noindex（または404／410）を適用し、Googleが再処理するまでクロール可能にしておきます。インデックスから外れた後でのみrobots.txtのdisallowを追加します。先にブロックすると登録状態に閉じ込めます。

診断チートシート

インデックス肥大化を発見・修正するツール

• Google Search Console — ページのインデックス登録レポート — 登録件数と未登録理由の権威ある情報です。ここを出発点にします。site:ではありません。
• GSC — URL Inspection — 個別URLがどのようにクロール、レンダリング、インデックス登録されたか、Googleがどの正規URLを選んだかを確認します。
• GSC — Removalsツール — URLを一時的（約6か月）に検索結果から外します。恒久策と併用します。
• Ahrefs Site Audit / Screaming Frog SEO Spider — クロールを再現し、薄いページ、重複、孤立ページ、インデックス可能なパラメーターURL、ほぼ重複するクラスターを洗い出します。サイトマップとトラフィックを得ているページに照合します。
• サーバーログファイル分析 — クロールの実態を確認します（Screaming Frog Log File Analyser、またはログをBigQuery／ログ基盤へ送る方法）。「ログファイル分析」も参照してください。
• Ahrefs Webmaster Tools — 検証済みサイトを無料でクロール・監査します。
• Bing Webmaster Tools — Bingのインデックス範囲とクロール情報を確認します。

時間を使う価値のあるリソース

関連する自分の記事

• ファセットナビゲーション：決定版ガイド — インデックス肥大化の最大の発生源と、ページの「検索価値」を定義するための制御方法。
• 正規化：決定版ガイド — 主な統合手段、約40のcanonicalシグナル、「noindexとrel=canonicalを混ぜない」という原則。
• 重複コンテンツ：なぜ起き、どう直すか — Muellerの “we don’t have a duplicate content penalty.” (翻訳)「重複コンテンツのペナルティはありません」という説明も扱います。
• クロール済み – 現在未登録 — 肥大化の典型的な指紋となるGSCステータス。
• テクニカルSEO入門 — インデックス登録が全体像のどこに位置するかを説明します。

登壇・発表

• 検索の仕組み（SlideShare）— クロール→インデックス→配信の流れを説明します。（常設の但し書き：“This is my understanding of systems… not going to be 100% complete or accurate.” (翻訳)「これはシステムについての私の理解であり、100%完全または正確になるわけではありません」。）

その他の情報源

• GoogleのCrawling Decemberシリーズ — Gary Illyesによるファセットナビゲーション解説を含む、クロール／インデックスの説明を集めた資料です。
• r/TechSEO — クロール／インデックスのデバッグを行うコミュニティです。
• SEOのインデックス肥大化：内容と修正方法（Search Engine Land）— 自動化のガードレールとCMSテンプレート単位のnoindexを扱う概説です。
• クロール済み – 現在未登録：Googleの品質問題の兆候？（Search Engine Roundtable、Barry Schwartz）—「クロール済み – 現在未登録」をページ単位ではなくサイト全体の品質シグナルとして扱うMueller報道の整理です。
• インデックス肥大化（Inflow）— ファセットナビゲーションとパラメーター肥大化を扱うEコマース向けの記事で、ストア運営者に役立ちます。
• Screaming Frog SEO Spider — Ahrefs Site Auditと併用して、薄い・重複・孤立ページ、インデックス可能なパラメーターURLを監査するために広く使われるクローラーです。

例

1. インデックス可能URLを増殖させるファセットナビゲーション

https://example.com/shoes/
https://example.com/shoes/?color=red
https://example.com/shoes/?color=red&size=9
https://example.com/shoes/?color=red&size=9&sort=price-asc
https://example.com/shoes/?color=red&size=9&sort=price-asc&in-stock=true

• 誤り： CMSがすべての組み合わせを自動リンクし、すべてをクロール可能・インデックス可能なままにする。各パラメーターがURL数を増やし、深い組み合わせには固有の検索需要がない。
• 正解： どのパラメーターが内容を十分に変えて独立したインデックスURLに値するか（通常はcolorだけ）、単なる並べ替え・絞り込みノイズ（sort、in-stock）かを決める。ノイズのパラメーターを/shoes/?color=redへ正規化し、正規化後もクロールトラフィックを生むなら、最もノイズの多い組み合わせをrobots.txtでブロックする。

2. noindex + robots.txtの落とし穴

# robots.txt
User-agent: *
Disallow: /search/

<!-- /search/?q=running+shoes -->
<meta name="robots" content="noindex">

• 誤り： これはベルトとサスペンダーのようで安全に見えますが、逆効果です。Googlebotはrobots.txtでブロックされるため、/search/?q=running+shoesを再取得できず、noindexタグも見られません。URLがすでにインデックスされていれば、スニペットなしで無期限に登録されたままになることがあります。
• 正解： まずDisallow: /search/の行を削除し、noindexタグに仕事をさせます（Googleが再クロールしてタグを読み、ページを結果から外します）。そのURLが*“Excluded by noindex tag,”* (翻訳)「noindexタグによる除外」へ移ったことをGSCのページのインデックス登録レポートで確認してから、今後このパスのクロール予算も節約したい場合にrobots.txtブロックを追加します。

3. プロトコル／ホスト違いの重複コンテンツをcanonicalで直す

http://example.com/guide/
http://www.example.com/guide/
https://example.com/guide/
https://www.example.com/guide/

• 誤り： 4つすべてで同一コンテンツを配信し、Googleが好きなURLを選ぶのに任せる。リンク評価とエンゲージメントシグナルが4方向に分散します。
• 正解： canonicalとなるホスト／プロトコルの組み合わせ（例：https://www.example.com/guide/ ）を1つ選び、他の3つをそこへ301リダイレクトし、バックアップシグナルとして<link rel="canonical" href="https://www.example.com/guide/"> を追加します。canonical-checker（/tools/canonical-checker）で、4つすべてが同じ宣言済みcanonicalに解決されることを確認します。

4. noindexではなく統合した薄いタグアーカイブページ

サイト運営者が/tag/seo/、/tag/seo-tips/、/tag/technical-seo/という、同じ記事を2〜3本ずつ載せるほぼ同一のアーカイブページを3つ持っているとします。

• 誤り： 3つすべてをnoindexにして内部リンクの価値を失うこと、または薄いほぼ重複ページとしてすべてをインデックスしたままにすること。
• 正解： 1つの/tag/seo/アーカイブへ統合し、他の2つを301にして、内部リンクを残すページへ更新します。これは「noindex」ではなく「統合」です。ページには正当なリンク・整理上の価値があるものの、分散しているからです。

Validation tests

各修正が実際に効いたことを確認します。公開したから機能したと思い込まないでください。

テスト: noindex 削除 low-value URL から インデックス登録

• 実行するテスト： noindexを追加し、ページがrobots.txtでブロックされていないことを確認した後、robots-txt-tester（/tools/robots-txt-tester）を使います。次にGSC → ページのインデックス登録レポートでURLのステータスを確認するか、URL Inspectionで点検します。
• 期待結果： ステータスが*“Excluded by ‘noindex’ tag.”* (翻訳)「noindexタグによる除外」へ移ります。
• 失敗の解釈： 「Indexed,」のまま、または「Blocked by robots.txt」と表示されるなら、Googleがクロールしてnoindexタグを読めないため、ページが登録状態に閉じ込められています。
• 監視期間： Googleが再クロール・再処理するまで1〜4週間。URLのクロール頻度によります。
• ロールバックの条件： 4週間以上経ってもページが登録されたままなら、robots.txtがブロックしていないことを確認し、noindexが反映されるまで一時的な止血策としてGSC Removalsツールを使います。

テスト: robots.txt disallow actually stops クロール (ない インデックス登録)

• 実行するテスト： Disallowルールを追加し、robots-txt-tester（/tools/robots-txt-tester）で正しく解析されることを確認します。続いてlog-file-analyzer（/tools/log-file-analyzer）でサーバーログを確認し、ブロックしたパスへのGooglebotアクセスが続いていないか調べます。
• 期待結果： 禁止パスへのGooglebotアクセスがログ上でゼロに近づきます。すでに登録されていれば、GSCに「Indexed, though blocked by robots.txt」と表示されることがありますが、これは想定どおりで失敗ではありません。
• 失敗の解釈： クロールが続くなら、ルールが実URLパターンに一致していません（誤字、大文字・小文字、競合するAllowルールを確認）。
• 監視期間： robots.txt構文の確認は即時、クロールの変化を確かめるログデータは1〜2週間。
• ロールバックの条件： 同じパス下の正当なページまでクロールされなくなったら、パターンが広すぎます。範囲を狭めて再テストします。

テスト: rel=canonical is being honored (ない overridden)

• 実行するテスト： 重複ページにcanonicalタグを設定し、GSC → ページのインデックス登録レポート → Duplicate, Google chose different canonical than userを確認するか、対象URLを調べます。canonical-checker（/tools/canonical-checker）で宣言したcanonicalとクロールされたcanonicalを照合します。
• 期待結果： 重複ページの「Google-selected canonical」が、宣言したcanonicalと一致します。
• 失敗の解釈： Googleが別のcanonicalを選ぶ場合、Googleがヒントを信頼できるほどページが似ていないか、内部リンク、サイトマップ、重複ページを指す被リンクなどの競合シグナルがあります。
• 監視期間： 変更後、canonicalの選択が安定するまで2〜4週間。
• ロールバックの条件： 1か月経ってもGoogleが上書きし続けるなら、301へ強化し、内部リンクを優先URLへ更新し、サイトマップから重複URLを削除します。

テスト: consolidation reduced クロール-vs-ランキング gap

• 実行するテスト： 薄いページを統合する前に、インデックス可能／クロール済みURL（site-audit-lite、/tools/site-audit-lite、または完全なクローラー）と、実際に順位またはオーガニックトラフィックを得ているページを数えます。統合後、同じ数え方を再実行します。
• 期待結果： 差が縮まります。順位ページに対するクロール／インデックスURLが減り、GSCの「Crawled - currently not indexed」バケットも小さくなります。
• 失敗の解釈： 差が動かないなら、統合ページがリダイレクトされず薄い重複としてまだクロール可能か、新しい肥大化が掃除と同じ速度で生成されている可能性があります。
• 監視期間： 4〜8週間。即時ではなく、時間をかけて積み上がるシグナルです。
• ロールバックの条件： 本当のロールバックはありません。差が広がるなら、統合を戻すのではなく、テンプレート変更、新しいパラメーター、CMS更新など新しい肥大化の発生源を再監査します。

インデックス肥大化を時間をかけて測る

これらはこのテーマの継続的なKPIです。一度きりの清掃だけでなく、定期的な間隔で追跡します。

クロールとランキングの差

• 分かること： インデックスにあるページのうち、実際にオーガニックトラフィックや順位を得ているものと、無駄な重りとして残るものの割合です。
• 取得方法： インデックス可能／クロール済みURL（サイトクローラーまたはsite-audit-lite、/tools/site-audit-lite）を数え、同じ期間のGoogle Search Console（パフォーマンスレポート）でオーガニッククリックまたは表示を得たページと比較します。
• ベンチマーク／現実的な範囲： サイトの種類と年齢に大きく左右され、普遍的に健全な比率はありません。最初の測定で自分の基準値を作り、特定の比率ではなく、時間とともに差が広がっているかを追跡します。
• 頻度： 四半期ごと、または大きなテンプレート／CMS変更の後。

「Crawled - currently not indexed」の件数（GSC）

• 分かること： Googleが確認したもののインデックスしなかったページの数です。Muellerの説明では、肥大化を示す典型的なシグナルです。
• 取得方法： GSC → ページのインデックス登録レポートの「Why pages aren’t indexed」表から確認します。
• ベンチマーク／現実的な範囲： 普遍的に正直な基準値はありません。数千の薄いバリエーションを持つテンプレート駆動サイトは、小さく厳選されたサイトより多くなります。全URL数との比率と、修正後の傾向を追い、絶対目標は置きません。
• 頻度： 月次、またはnoindex／canonicalの展開直後に、減少しているか確認します。

「Duplicate」ステータスのURL件数（GSC）

• 分かること： Googleが重複として扱うインデックスURLの数です。「without user-selected canonical」または「Google chose different canonical than user」のいずれかです。
• 取得方法： GSC → ページのインデックス登録レポートで、2つの重複ステータス行に絞ります。
• ベンチマーク／現実的な範囲： サイトにどれだけ正当なパラメーター／バリエーションURLがあるかで変わります。canonical化後に増えるならシグナルが尊重されておらず、減るなら機能しています。
• 頻度： 月次。

ログファイルから見るクロール浪費の割合

• 分かること： Googlebotの実際のクロールアクセスのうち、実コンテンツではなく低価値URLパターン（パラメーター、ファセット、内部検索、フィードページ）に向かう割合です。
• 取得方法： log-file-analyzer（/tools/log-file-analyzer）またはログ分析基盤で、URLパターンごとに分けて確認します。
• ベンチマーク／現実的な範囲： 固定の目標値はありません。サイト構成によるため、最初の測定を基準にし、noindex／robots.txt／統合を適用した後に浪費割合が減るか追跡します。
• 頻度： 大規模／テンプレート駆動サイトでは月次、それ以外では四半期ごと。

Quiz

インデックス肥大化の考え方が身に付いたかを確認する5つの簡単なチェックです。

変更履歴