検索エンジンのディスカバリー：URL が発見される仕組み

要点 — ディスカバリーとは、検索エンジンがページを取得する前に、その URL の存在を知る段階です。主な経路はリンクとサイトマップです。どちらにもない孤立ページは見つかりにくくなります。発見、クロール、インデックス登録は別々で、URL の送信はインデックス登録を保証しません。

ディスカバリーとは

検索結果へ表示されるまでに、順番に三つの処理が必要です。

1. 発見 — URL の存在を知る。
2. クロール — ページを取得する。
3. インデックス登録 — 検索結果へ出せるよう保存する。

ディスカバリーは入口です。Google は URL discovery と呼びます。発見されないページはクロールもインデックス登録も順位付けもできません。

このハブは診断しやすいよう発見 → クロール → インデックス登録と分けます。Google の公式な三段階はクロール、インデックス登録、検索結果の表示で、URL 発見はクロール段階の一部です。

検索エンジンがページを見つける方法

主要な方法は二つです。

• リンクをたどる。 既知のページから新しい URL を収集します。内部リンクと外部リンクの両方が発見経路です。
• サイトマップを読む。 クロール対象 URL の一覧を渡しますが、クロールやインデックス登録は保証しません。

IndexNow など変更を通知するプッシュ手段もありますが、中心はリンクとサイトマップです。

ディスカバリーを妨げる孤立ページ

孤立ページには内部リンクがありません。検索エンジンが見つけにくいため、関連するハブ、カテゴリ、ナビゲーションから実際のリンクを設けます。

よくある誤解

送信してもインデックス登録は保証されません。 サイトマップや Search Console の「インデックス登録をリクエスト」は発見を助けるだけで、その後のクロールと登録は検索エンジンが判断します。

プル／プッシュ経路、Google が IndexNow を使わない理由、「検出 - インデックス未登録」の対処は 上級者向けタブで説明します。

要点 — 検索エンジンは取得前に URL の存在を知る必要があります。Google の公式モデルでは URL 発見はクロール段階の一部です。プル経路は内部リンク、外部リンク、サイトマップ、フィード、プッシュ経路は WebSub、lastmod、対象限定の Indexing API、IndexNow、URL 検査です。孤立ページには内部リンクを追加します。「検出 - インデックス未登録」は発見済み・未取得の状態で、原因を一つに決めつけず仮説を順に検証します。

URL 発見とは

発見は URL を既知の一覧へ加える段階です。Google は “This process is called ‘URL discovery’.” (翻訳)「この処理を URL 発見と呼ぶ」とし、既知のページからのリンクとサイトマップを主要経路として説明します。

リンクとサイトマップが基本で、ほかの方法はその変形か、待たずに変更を通知するプッシュ手段です。

段階モデルについて。 本稿は診断のため発見 → クロール → インデックス登録 → 表示と分けますが、Google はクロール、インデックス登録、表示の三段階とし、URL 発見をクロールに含めます。

発見、クロール、インデックス登録の違い

Google の公式三段階を、本稿の四段階の説明へ対応させます。

• 発見 — URL の存在を知る。まだ取得していません。
• クロール — URL を取得してレンダリングします。クロールを参照。
• インデックス登録 — 内容を処理して検索インデックスへ保存します。
• 表示 — 検索語句に対して順位付けして提示します。

Google は “Google Search works in three stages, and not all pages make it through each stage” (翻訳)「Google 検索は三段階で、すべてのページが各段階を通過するわけではない」と説明します。発見は第一段階の入口で、各段階自体は順位要因ではなく前提条件です。

URL 発見のプルとプッシュ

プルは検索エンジン自身が URL を見つけ、プッシュはサイト側が通知する考え方です。

プル：検索エンジンが見つける

内部リンクと外部リンク。 Google は既知ページから新しいページへのリンクを抽出すると説明します。適切にリンクされたページはサイト内の移動で到達でき、外部リンクも新しい URL を知らせます。

サイトマップ。 “A sitemap helps search engines discover URLs on your site, but it doesn’t guarantee that all the items in your sitemap will be crawled and indexed.” (翻訳)「URL 発見を助けるが、全項目のクロールとインデックス登録は保証しない」と Google は明記します。

RSS／Atom。 Google は “Google accepts RSS 2.0 and Atom 1.0 feeds.” (翻訳)「RSS 2.0 と Atom 1.0 を受け付ける」としています。最近変更した URL が中心なので完全なサイトマップを補完します。

プッシュ：変更を通知する

WebSub。 Google は “If you use Atom or RSS, you can use WebSub to broadcast your changes to search engines, including Google.” (翻訳)「Atom または RSS の変更を Google を含む検索エンジンへ通知できる」と説明します。

サイトマップの lastmod。 URL の変更を示し、再クロールの優先付けを助けます。正確な値だけを使います。

Google Indexing API は対象限定。 JobPosting または VideoObject 内の BroadcastEvent を含むページだけが対象で、一般的な URL 送信 API ではありません。

IndexNow は Bing など向けで Google は不参加。 追加、更新、削除を即時通知し、“Search engines adopting the IndexNow protocol agree that submitted URLs will be automatically shared with all other participating search engines.” (翻訳)「参加検索エンジン間で送信 URL を自動共有する」とされています。2026年8月時点の参加先は Bing、Yandex、Naver、Seznam、Yep で、Google は含まれません。 最新情報は公式文書 で確認します。 Google の “we don’t support IndexNow” (翻訳)「IndexNow をサポートしない」という一次声明があるわけではなく、参加先一覧からの推論です。

URL 検査による手動送信。 Google は “To request a crawl of individual URLs, use the URL Inspection tool.” (翻訳)「個別 URL のクロールは URL 検査を使う」と案内します。送信上限があり、繰り返しても速くなりません。

Google と Bing の説明

Bing の Fabrice Canel は “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (翻訳)「クロールは bingbot が検索インデックスへ加える新規・更新内容を発見する処理」と定義します。両社とも発見をパイプラインの入口として扱います。

Canel は Bing が一日に初見の正規化 URL を数百億規模で発見すると述べました。変動する概算であり、現在の保証値ではなく規模感として扱います。 原文表現は ”12s of billions … never seen before” (翻訳)「一日に初めて見る数百億規模」です。

発見に失敗する孤立ページ

孤立ページは内部リンクがありません。サイトマップ、外部リンク、リダイレクト、canonical／hreflang 参照などで見つかる場合はありますが、発見が遅れやすく重要性も伝わりません。

関連するハブまたはカテゴリから内部リンクを追加します。XML サイトマップは発見を助けますが、閲覧可能な構造の代わりにはなりません。

Search Console の「検出 - インデックス未登録」

確実に分かるのは段階です。Google は URL を知っていますが、まだクロールしていません。Google はサーバー過負荷を避けるためクロールを再スケジュールした可能性を説明します。詳しい診断は専用ガイドで扱います。 原文の状態名 “Discovered – currently not indexed” (翻訳)「検出 - インデックス未登録」を確認します。

**「クロール済み - インデックス未登録」**は下流の別問題で、取得済みだが登録されていません。

• 検出 - インデックス未登録 = URL は既知だが未取得。最終クロール日は空です。
• クロール済み - インデックス未登録 = 取得したが登録しなかった状態です。

原因を一つに決めず、次の順で仮説を検証します。

1. クロール予定またはサーバー負荷への配慮。
2. 孤立または弱い内部リンク。
3. サイト全体の品質とクロール需要。
4. 重複、薄い内容、ソフトエラー、ファセットなど低価値な URL 群。
5. 大量 URL、無限空間、パラメータによるクロール容量の圧迫。

Google は個別 URL の単一で決定的な理由を公開していません。Mueller はすべてを登録しないのは正常だと述べています。私のインデックス登録ガイド も参照し、完全な診断は専用ガイド で仮説を順に検証します。 “it’s completely normal that we don’t index everything off of the website,” (翻訳)「サイトのすべてを登録しないのは完全に正常です。」不要な制御がないか noindex も確認します。

発見を助ける方法

効果の大きい順に確認します。

1. 関連ページから 内部リンクを追加する。
2. canonical かつインデックス可能な URL を正確な lastmod とともに XML サイトマップへ入れる。
3. サイトマップを Google と Bing へ送信する。
4. RSS／Atom と WebSub を使う。
5. Bing などへ IndexNow を使う。
6. Google の対象形式だけ Indexing API を使う。
7. 単発 URL は URL 検査で一度送る。
8. 「検出 - インデックス未登録」が多い場合はサイト全体の品質とクロール需要を改善する。

次に読む項目

このハブは URL が既知になる仕組みの地図です。サイトマップ側の詳細は次のとおりです。

サイトマップ

• サイトマップ — 形式と発見支援の概要。
  • XML サイトマップ — フィールド、上限、正確な lastmod。
    • サイトマップ インデックス — 大規模サイトの分割。
  • 画像サイトマップ — 通常ページで発見しにくい画像。
  • 動画サイトマップ — 動画メタデータと発見。
  • ニュース サイトマップ — 最近のニュース記事。
  • RSS／Atom フィード — 最近変更した URL と WebSub。
  • テキスト サイトマップ — URL だけの簡易形式。
  • HTML サイトマップ — 利用者とクローラー向けのリンク集。

発見後の取得、スケジューラ、レンダリング、クロール バジェットはクロール を参照してください。全体像は検索の仕組み を参照してください。

各項目はサイドバーから個別ガイドへ移動できます。

AI 要約

上級者向け内容の要約です。

• 発見は URL の存在を知る段階で、Google は URL discovery と呼びます。
• 主なプル経路は内部／外部リンク、サイトマップ、RSS／Atom です。
• プッシュ経路は WebSub、lastmod、対象限定の Indexing API、IndexNow、URL 検査です。
• 孤立ページには関連ハブから内部リンクを追加します。
• 発見、クロール、インデックス登録、表示は別です。送信は登録を保証しません。
• 「検出 - インデックス未登録」は URL が既知でも未取得の状態です。原因を仮説の順に検証します。
• IndexNow は2026年8月時点で Bing、Yandex、Naver、Seznam、Yep 向けで、Google は不参加です。
• Indexing API は JobPosting と BroadcastEvent／VideoObject に限定されます。

公式ドキュメント

検索エンジンの一次資料です。

Google

• Google 検索の仕組み — URL 発見と公式三段階。
• サイトマップ概要 — 発見支援であり保証ではないこと。
• サイトマップの作成と送信 — RSS／Atom と WebSub。
• Indexing API クイックスタート — 対象限定 API。
• URL の再クロールを依頼 — URL 検査と上限。
• ページ インデックス登録レポート — 二つの未登録状態。 Indexing API の対象は JobPosting と BroadcastEvent です。“Discovered – currently not indexed” (翻訳)「検出 - インデックス未登録」の定義も確認します。

Bing／Microsoft

• bingbot のクロール効率 — 発見処理の定義。
• 一日10000 URL を Bing へ送信 — URL 送信。
• AI 検索でサイトマップから内容を発見可能に保つ — サイトマップ、IndexNow、lastmod。
• IndexNow ／ indexnow.org — 変更通知。

情報源からの引用

Google と Bing の記録に残る発言です。リンクは引用箇所へ移動します。

Google — 発見とは

• “Google must constantly look for new and updated pages and add them to its list of known pages. This process is called ‘URL discovery’.” (翻訳)「Google は新規・更新ページを探して既知ページへ加え続けます。この処理を URL 発見と呼びます。」 引用箇所へ
• “Other pages are discovered when Google extracts a link from a known page to a new page: for example, a hub page, such as a category page, links to a new blog post.” (翻訳)「既知ページから新ページへのリンクを抽出して発見します。」 引用箇所へ
• “Google Search works in three stages, and not all pages make it through each stage.” (翻訳)「Google 検索は三段階で、すべてのページが各段階を通過するわけではありません。」 引用箇所へ

Google — サイトマップ、フィード、プッシュ

• “A sitemap helps search engines discover URLs on your site, but it doesn’t guarantee that all the items in your sitemap will be crawled and indexed.” (翻訳)「サイトマップは URL 発見を助けますが、クロールと登録を保証しません。」 引用箇所へ
• “Google accepts RSS 2.0 and Atom 1.0 feeds.” (翻訳)「Google は RSS 2.0 と Atom 1.0 を受け付けます。」 引用箇所へ
• “If you use Atom or RSS, you can use WebSub to broadcast your changes to search engines, including Google.” (翻訳)「WebSub で Google を含む検索エンジンへ変更を通知できます。」 引用箇所へ
• “To request a crawl of individual URLs, use the URL Inspection tool.” (翻訳)「個別 URL のクロール依頼には URL 検査を使います。」 引用箇所へ
• “There’s a quota for submitting individual URLs and requesting a recrawl multiple times for the same URL won’t get it crawled any faster.” (翻訳)「個別 URL の送信には上限があり、同じ URL を繰り返し依頼しても速くなりません。」 引用箇所へ

Google — すべてを登録しないのは正常

• “It’s completely normal that we don’t index everything off of the website.” (翻訳)「ウェブサイトのすべてをインデックス登録しないのは完全に正常です。」— John Mueller。 報道を読む

Bing／Microsoft

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (翻訳)「クロールは bingbot が Bing の検索インデックスへ追加する新規・更新内容を発見する処理です。」 引用箇所へ
• “Instead of Bing continually monitoring RSS and similar feeds or frequently crawling websites to check for new pages, discover content changes and/or new outbound links, websites will notify Bing directly about relevant URLs changing on their website.” (翻訳)「Bing が継続監視する代わりに、サイトが変更 URL を直接通知します。」 引用箇所へ

IndexNow

• “Search engines adopting the IndexNow protocol agree that submitted URLs will be automatically shared with all other participating search engines.” (翻訳)「送信 URL は全参加検索エンジンへ自動共有されます。」 引用箇所へ

注：一部のページは JavaScript 描画や取得制限があり、自動確認が難しいものです。Bing の一日数百億 URL という説明、参加検索エンジン、Google の IndexNow 不参加は2026年8月時点の資料に基づき、変化し得るため再確認してください。 Bing の規模に関する原文表現 ”12s of billions … never seen before” (翻訳)「一日に初めて見る数百億規模」も時点付き概算です。

ディスカバリー チェックリスト

重要なページを検索エンジンが見つけられるか確認します。

• 重要ページにクロール可能な内部リンクがあり、孤立していない。
• 重要ページはホーム／主要ナビゲーションから近い。
• XML サイトマップは正規かつ登録可能な URL と正確な lastmod だけを含む。
• Google Search Console と Bing Webmaster Tools へサイトマップを送信した。
• RSS／Atom と WebSub を必要に応じて使う。
• Bing など参加先へ IndexNow を使い、Google には期待しない。
• Indexing API は JobPosting または BroadcastEvent／VideoObject だけに使う。
• 「検出 - インデックス未登録」と「クロール済み - インデックス未登録」を区別する。
• URL 検査の送信を繰り返さない。
• robots.txt と実際の <a href> リンクを確認する。

判断モデル

1. 発見 = プル + プッシュ。 プルは内部リンク、外部リンク、サイトマップ、RSS／Atom。プッシュは IndexNow、Indexing API、lastmod、WebSub、URL 検査です。

2. 孤立ページは発見されにくい。 サイトマップは助けになりますが、内部リンクが伝える発見経路と重要性の代わりにはなりません。

3. 発見 ≠ クロール ≠ インデックス登録。 既知、取得済み、保存済みの段階を分け、どこで止まっているか確認します。

4. 「検出 - インデックス未登録」= 既知だが未取得。 最終クロール日が空のスケジュール状態で、「クロール済み - インデックス未登録」とは別です。 “Crawled – currently not indexed,” (翻訳)「クロール済み - インデックス未登録」と区別します。

5. 送信 ≠ インデックス登録。 サイトマップ、IndexNow、URL 検査は発見を助けるだけで、その後の判断は検索エンジンが行います。

発見経路の早見表

プル — 検索エンジンが見つける

プッシュ — 変更を通知する

二つの誤解

• IndexNow は Bing など向けで Google ではない。 Google にはリンク、サイトマップ、URL 検査を使います。
• Indexing API は JobPosting／BroadcastEvent 専用。 一般 URL 送信には使えません。

よくある発見の問題

Search Console とサイト監査で見つかる症状別の対処です。

ページ インデックス登録レポートの「検出 - インデックス未登録」

症状: 最終クロール日が空のまま、数週間「検出 - インデックス未登録」に残ります。

原因候補: URL は既知ですが未取得です。クロール スケジュール、孤立／弱い内部リンク、サイト全体の品質やクロール需要を順に検証します。単一原因と断定しません。

修正と確認: 関連ハブから内部リンクを追加し、正確な lastmod とともに XML サイトマップへ入れ、必要ならサイト全体の品質を改善します。後日 URL 検査で最終クロール日を確認します。

新しいページが Search Console のどこにも出ない

症状: ページ インデックス登録レポートに URL がありません。

原因候補: 内部リンクのない孤立ページで、サイトマップにも外部リンクにも存在しません。

修正と確認: 関連ページからリンクし、XML サイトマップへ追加し、単発の補助として URL 検査を使います。site:yourdomain.com/the-url は診断の唯一の根拠にしません。

IndexNow 通知が Google 流入へ効かない

症状: IndexNow を送信しても Google の順位や流入が速く変わりません。

原因候補: Google は IndexNow に参加していません。2026年8月時点の参加先は Bing、Yandex、Naver、Seznam.cz、Yep です。

修正と確認: 参加検索エンジンには IndexNow を維持し、Google にはリンク、サイトマップ、URL 検査を使います。Bing と Google の各ツールで別々に確認します。

Indexing API が拒否される、または効果がない

症状: Google Indexing API がエラーを返すか、成功表示でも取得が速まりません。

原因候補: API は JobPosting または VideoObject 内の BroadcastEvent を持つページだけが対象です。

修正と確認: 対象構造化データを確認し、それ以外のページでは内部リンク、サイトマップ、URL 検査へ切り替えます。

手順書：新しいページが検索へ出ない

「公開したのに Google で見つからない」という問題を順に診断します。

1. 発見問題かインデックス登録問題か確認する。 URL 検査で「検出 - インデックス未登録」なら続行します。「クロール済み - インデックス未登録」なら下流の品質問題です。

2. 孤立ページか確認する。 サイトをクロールし、URL へ向く生きた <a href> があるか調べます。

3. 関連ページからリンクする。 インデックス登録済みのハブやカテゴリから実際のリンクを追加し、サイトマップだけで代用しません。

4. サイトマップを確認する。 正規 URL と正確な lastmod を使い、Google と Bing へ送信します。

5. 十分にリンク済みならサイト全体の品質を見る。 大量の低価値 URL と弱い品質シグナルはクロール需要を下げます。

6. 緊急の一 URL は一度だけ手動送信する。 URL 検査の上限があり、反復しても速くなりません。

7. Bing など参加先には IndexNow を使う。 Google へは効果がありません。

8. 数時間ではなく数日後に再確認する。 発見とクロール予定はキューで処理されます。

発見を確認・修正するツール

• XML サイトマップ生成 — 正規 URL のサイトマップ。
• サイトマップ検証 — 不正な項目を確認。
• robots.txt テスター — クロール拒否を確認。
• Canonical チェッカー — canonical を確認。
• Scout Site Audit Free — 孤立ページと弱い内部リンクを確認。
• ログ ファイル分析 — bot の取得を確認。
• GSC CSV 分析 — 大規模な登録データ分析。
• Google Search Console — URL 検査 — 発見、クロール、登録状態と単発送信。
• Google Search Console — ページ インデックス登録レポート — 二つの未登録状態を比較。
• Bing Webmaster Tools — Bing の検査、送信、IndexNow 状態。
• IndexNow — 参加検索エンジンへ変更を通知。 robots.txt を確認し、“Discovered – currently not indexed” (翻訳)「検出 - インデックス未登録」と “Crawled – currently not indexed.” (翻訳)「クロール済み - インデックス未登録」を分けます。

参考資料

私の関連記事

• クロール済み - インデックス未登録：七つの修正 — 発見後の状態。
• Googlebot の仕組み — URL の収集元。
• Ahrefs と Yep の IndexNow — 参加先と仕組み。
• テクニカル SEO 初心者ガイド — 全体像。

私の講演

• 検索の仕組み （SlideShare）— リンク、XML サイトマップ、GSC 送信、IndexNow を含む発見から順位付けまで。 免責事項の原文は “This is my understanding of systems… not going to be 100% complete or accurate.” (翻訳)「私の理解であり、100%完全または正確とは限りません」です。

その他

• r/TechSEO — 技術コミュニティ。
• Google のCrawling December — 一次資料集。
• 「検出 - インデックス未登録」の理解と解決 （Search Engine Land）。
• すべてのページが登録されないのは正常 （Search Engine Journal）。
• クロール済み - インデックス未登録は品質問題 （Search Engine Roundtable）。
• Bing の一日10000 URL 送信 （Search Engine Land）。
• 検索エンジンのクロール （Lumar）。

ポッドキャスト

• “Search Off the Record” (翻訳)「検索の舞台裏」— Google の Search Relations による、Googlebot の発見、取得、条件付きリクエスト、スケジューラの解説です。 聴く

動画

• Google Search Central（YouTube）— URL 発見が検索処理のどこにあるかを扱うシリーズです。チャンネル

確認テスト：ディスカバリー

検索エンジンが URL を見つける方法に関する五問です。

変更履歴