検索の仕組み

TL;DR — 検索は3つの段階で機能します。検索エンジンはページをクロール（発見してダウンロード）し、インデックス登録（各ページの内容を理解して格納）し、検索結果を提供（検索に最も合うページを照合して並べ替え）します。ただし、次へ進むには各段階を通過しなければなりません。発見されてもインデックス登録されるとは限らず、登録されても順位が付くとは限りません。

3つの段階

Google で検索するとき、ライブのウェブを直接検索しているのではなく、Google が保有するウェブのコピーを検索しています。「インターネット上にページが存在する」状態から「検索結果にページが表示される」状態になるまでには、3つの段階があります。

1. クロール — 自動プログラム（Google の Googlebot、Bing の Bingbot）がリンクをたどり、サイトマップを読み取って URL を発見し、ページをダウンロードします。
2. インデックス登録 — 検索エンジンがダウンロードした内容を調べ、ページの主題を把握し、インデックスと呼ばれる巨大なデータベースへ保存します。
3. 検索結果の提供（ランキング） — 誰かが検索すると、インデックスから最も一致するページを取り出して順序付けします。 この主張の根拠 Google describes Search as operating through crawling, indexing, and serving search results. 対象範囲： Google's public conceptual model, not an exhaustive implementation description. 信頼度： 高 · 検証日： 2026-07-14 Google: How Search works

滑り台ではなく、関門

最も重要なのは、これがすべてのページを最後まで運ぶベルトコンベアではないという点です。これは3つの関門であり、ページはどの関門でも止まる可能性があります。Google は明確に、検索は3段階で機能し、“and not all pages make it through each stage.” (訳) 「すべてのページが各段階を通過するわけではない」と述べています。 この主張の根拠 Google states that not all pages make it through each Search processing stage and that increased crawl rate is not a ranking signal. 対象範囲： Google Search; crawling and indexing do not guarantee ranking. 信頼度： 高 · 検証日： 2026-07-14 Google: How Search works Google: Crawling myths

• ページはクロールされてもインデックス登録されないことがあります。Google が確認したうえで、保存しないと判断した状態です。
• ページはインデックス登録されても順位が付かないことがあります。データベースには存在しても、ユーザーの検索に対して選ばれない状態です。

「Google はページを認識できているのに、なぜ表示されないのか」という質問が多いのはこのためです。クロールは最初の関門にすぎません。

実務上の意味

• ページが検索にまったく出ない場合、変更する前にどの関門で止まっているかを特定します。それが修正対象を教えてくれます。
• Google に料金を支払って順位を上げることはできません。また、ページを Google に「送信」しても、インデックス登録やランキングは強制されません。
• Bing もクロール、インデックス登録、ランキングという同じ流れで機能し、一部の呼び方だけが異なります。

レンダリング、カノニカル化、インデックス登録が保証されない理由、そしてランキングが単一の「アルゴリズム」ではなく多数のシステムであることまで含め、担当者の発言に基づく正確な説明を読みたい場合は、Advanced タブへ切り替えてください。

TL;DR — 検索は クロール → インデックス登録 → 検索結果の提供という3段階で動作し、各段階は関門です。“not all pages make it through each stage.” (訳) 「すべてのページが各段階を通過するわけではありません」。クロールは発見と取得を行い、レンダリング（新しい Chrome で JavaScript を実行）がインデックス登録への橋渡しになりますが、遅れる場合があります。インデックス登録は理解、カノニカル化（約40のシグナル）、保存から成り、保証されません。検索結果の提供ではクエリを理解し、単一の「アルゴリズム」ではなく、多数の自動化されたランキングシステム（RankBrain、BERT、ニューラルマッチング、リンク／PageRank システムなど）を用いて、数百の文脈要因に基づき順位を決め、その上に検索機能を重ねます。Bing も同じ構造です。図（私の図も含む）はソースコードではなくモデルとして扱ってください。ページが表示されないときは、どの関門で止まったかを診断することが要点です。

3つの段階、3つの関門

Google はこのパイプラインを率直に説明しています。“Google Search works in three stages, and not all pages make it through each stage” (訳) 「Google 検索は3つの段階で機能し、すべてのページが各段階を通過するわけではない」— クロール、インデックス登録、検索結果の提供です。 この主張の根拠 Google describes Search as operating through crawling, indexing, and serving search results. 対象範囲： Google's public conceptual model, not an exhaustive implementation description. 信頼度： 高 · 検証日： 2026-07-14 Google: How Search works 最後の一節がすべてを表しています。パイプラインは全ページをゴールまで運ぶベルトコンベアではなく、固有の合否判定と失敗モードを持つ3つの関門です。

すべての基礎となるメンタルモデルは次のとおりです。

発見して取得（クロール）→ 理解して保存（インデックス登録。レンダリング＋カノニカル化を含む）→ 照合して順序付け（検索結果の提供。クエリ理解＋ランキングシステム＋検索機能を含む）。

クロール ≠ インデックス登録 ≠ ランキングを分けて考えれば、テクニカル SEO の多くは不可解ではなくなります。

第1段階 — クロール（発見と取得）

クロールは発見とダウンロードです。Google は既知のページを見つけ、既知のページから新しいページへのリンクをたどり、送信されたサイトマップを読みます。Google はこの一連の処理を “URL discovery.” (訳) 「URL の発見」と呼びます。何を、どの頻度で、1回の訪問につき何ページをクロールするかはアルゴリズムで決まります。“Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (訳) 「Googlebot は、どのサイトをクロールするか、その頻度、各サイトから取得するページ数をアルゴリズムによって決定します」。

この段階で覚えるべき要点は、クロールはインデックス登録の前提条件であって、ランキングシグナルではないことです。 この主張の根拠 Google states that not all pages make it through each Search processing stage and that increased crawl rate is not a ranking signal. 対象範囲： Google Search; crawling and indexing do not guarantee ranking. 信頼度： 高 · 検証日： 2026-07-14 Google: How Search works Google: Crawling myths クロール頻度が高くても順位は上がりません。ここでは、発見、クロールスケジューラ、クロールバジェット、ログファイルなどのパイプラインを再説明しません。それらは下部からリンクしているクロールのクラスターで扱います。クロールの本来の役割は、取得したページを次の段階へ渡すことです。

次へ進む前に注意点があります。ウェブページがこのパイプラインへ入る経路はクロールですが、Google の情報源はそれだけではありません。後述するように、インデックスは提携先、データフィード、Google 独自の Knowledge Graph からも情報を得ます。したがって「インデックスにない」と「クロールされたウェブ上にない」は完全に同じ問いではありません。

橋渡し — レンダリング

多くの概要が誤解したり省略したりする段階です。クロールとインデックス登録の間で、Google はページをレンダリングします。“During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (訳) 「クロール中、Google は新しいバージョンの Chrome を使用してページをレンダリングし、見つかった JavaScript を実行します」。一般ユーザー向けの説明では、“When crawlers find a webpage, our systems render the content of the page, just as a browser does.” (訳) 「クローラーがウェブページを見つけると、システムはブラウザと同様にページのコンテンツをレンダリングします」と述べています。

レンダリングはクロールではなくインデックス登録の一部で、Web Rendering Service（常に最新のヘッドレス Chromium）で実行され、最初の取得より遅れる場合があります。コンテンツが JavaScript の実行後にのみ表示される場合、Google が理解するのはレンダリング後の版であり、生の HTML より後に認識されることがあります。そのため JavaScript を多用するサイトでは、レンダリングを独立した課題として考える必要があります。詳しくは私の JavaScript SEO の記事で説明しています。

第2段階 — インデックス登録（理解と保存）

ページがクロール、レンダリングされると、インデックス登録処理が内容の理解を試みます。Google は、“After a page is crawled, Google tries to understand what the page is about. This stage is called indexing and it includes processing and analyzing the textual content and key content tags and attributes, such as <title> elements and alt attributes, images, videos, and more.” (訳) 「ページのクロール後、Google はその内容を理解しようとします。この段階をインデックス登録と呼び、テキストコンテンツ、<title> 要素や alt 属性などの主要なコンテンツタグと属性、画像、動画などの処理と分析が含まれます」と説明しています。

一般的な概要で見落とされやすい3つの処理があります。

理解。 Google はテキスト、タグ、メディアを処理してトピックを把握します。私の How Search Works の資料 では、HTML を正規化し、トークン化し、コンテンツをベクトル化（単語を数値に変換）して意味を分析するコンテンツパーサーとして説明しています。その過程で言語、場所、スキーマ、トピック／意味のシグナルが抽出されます。これは処理に関する私の言い換えであり、Google の引用ではありません。

カノニカル化。 インデックス登録では、重複ページ群を代表する URL も決定します。“During the indexing process, Google determines if a page is a duplicate of another page on the internet or canonical. The canonical is the page that may be shown in search results.” (訳) 「インデックス登録処理中、Google はページがインターネット上の別ページの重複か、カノニカルかを判断します。カノニカルは検索結果に表示される可能性があるページです」。Google は重複をクラスタ化し、代表となるカノニカルを1つ選びます。これは偶然ではなく、シグナルに重みを付けた判断です。Google Uses ~40 Canonicalization Signals で説明したとおり、“canonicalization is the process that search engines use to determine the main version of the URL that will be indexed and shown to users when there are duplicate URLs” (訳) 「カノニカル化とは、重複 URL があるときに、インデックス登録されユーザーへ表示される主要な URL 版を検索エンジンが決定する処理」です。Google の Allan Scott によると、カノニカル選択には約40種類のシグナル（リダイレクト、rel=canonical、サイトマップ URL、内部／外部リンク、hreflang、PageRank、HTTP より HTTPS、長い URL より短い URL など）があります。

保存。 “The collected information about the canonical page and its cluster may be stored in the Google index, a large database hosted on thousands of computers.” (訳) 「カノニカルページとそのクラスターについて収集された情報は、数千台のコンピューターでホストされる巨大なデータベースである Google インデックスに保存される場合があります」。インデックスは非常に巨大で、“hundreds of billions of webpages… well over 100,000,000 gigabytes in size” (訳) 「数千億のウェブページ、1億ギガバイトをはるかに超える規模」です。またクロールした HTML だけではなく、“we have multiple indexes of different types of information, which is gathered through crawling, through partnerships, through data feeds being sent to us and through our own encyclopedia of facts, the Knowledge Graph.” (訳) 「クロール、提携、送信されるデータフィード、独自の事実百科事典である Knowledge Graph を通じて集めた、種類の異なる情報の複数のインデックス」があります。

インデックス登録は保証されない

重要な誤解を解きましょう。クロールされてもインデックス登録されるとは限りません。Google は “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (訳) 「インデックス登録は保証されず、Google が処理するすべてのページがインデックス登録されるわけではありません」と述べています。主な原因には、低品質なコンテンツ、robots の noindex、インデックス登録を難しくするページ設計があります。

John Mueller はこれを人間的な言葉で説明しています。「検出済み／クロール済み — インデックス未登録」が続く期間について、“That can be forever. It’s something where we just don’t crawl and index all pages.” (訳) 「永遠に続く可能性があります。すべてのページをクロールしてインデックス登録するわけではないからです」と述べました。解決策は小手先の技ではなく、本質的な改善です。“continue working on the website and making sure that our systems recognize that there’s value in crawling and indexing more and then over time we will crawl and index more.” (訳) 「ウェブサイトの改善を続け、さらにクロールしてインデックス登録する価値があるとシステムが認識できるようにすれば、時間とともにクロールとインデックス登録が増えます」。

私は逆方向からもクロール ≠ インデックス登録を実証しました。Indexed, though blocked by robots.txt の要点は、“crawling and indexing are two different things.” (訳) 「クロールとインデックス登録は別のもの」です。クロールをブロックしたページでも、他ページからリンクされていればインデックス登録される可能性があります。ただし Google はその内容（そこに置いた noindex を含む）を確認できません。

第3段階 — 検索結果の提供（照合と順序付け）

検索結果の提供は、誰かが検索した瞬間に起こります。“When a user enters a query, our machines search the index for matching pages and return the results we believe are the highest quality and most relevant to the user’s query.” (訳) 「ユーザーがクエリを入力すると、システムはインデックスから一致するページを検索し、最も高品質でクエリに最も関連すると判断した結果を返します」。ただし、その内部には異なる2つの処理があります。

まずクエリを理解する

順位を決める前に、Google は検索内容を理解する必要があります。スペル修正、同義語とクエリ拡張、検索意図の把握などです。私の How Search Works の資料 では、ディープニューラルネットによるスペル修正、同義語／略語／語幹処理をまたぐクエリ拡張、概念的に関連する語を結ぶニューラルマッチングとして説明しています。日々のクエリには Google が過去に一度も見たことがないものも相当数含まれます（資料からの言い換え）。クエリ理解は独立した段階であり、ランキングと同じではありません。

次にランキング — 単一の「アルゴリズム」ではなく多数のシステム

ここが大きな訂正点です。ランキングは1つの数式ではありません。“Google uses automated ranking systems that look at many factors and signals about hundreds of billions of web pages and other content in our Search index to present the most relevant, useful results, all in a fraction of a second.” (訳) 「Google は、検索インデックス内の数千億のウェブページやその他のコンテンツについて、多数の要因とシグナルを調べる自動ランキングシステムを使用し、ほんの一瞬で最も関連性が高く有用な結果を提示します」。複数形のランキングシステムである点に注目してください。Google は RankBrain（“an AI system that helps us understand how words are related to concepts” (訳) 「単語と概念の関係を理解するのに役立つ AI システム」）、BERT、ニューラルマッチング（“an AI system that Google uses to understand representations of concepts in queries and pages and match them to one another” (訳) 「クエリとページ内の概念表現を理解して相互に照合する AI システム」）、リンク分析システムと PageRank（“we have various systems that understand how pages link to each other…” (訳) 「ページ同士のリンク関係を理解する各種システム」）などを挙げています。helpful content system は現在過去形で説明され、2024年3月の更新でコアランキングへ統合されたため、独立した現行システムではありません。

押さえておくべき区別は2つあります。

• システム ≠ アップデート。 ランキングシステムは継続的に動く仕組みで、ランキングアップデートは Google がそれらへ加える変更です。別々に追跡されます。
• 固定された「上位3要因」はない。 Gary Illyes はリンクが上位3要因だという考えに異議を唱え、“I think they are important, but I think people overestimate the importance of links. I don’t agree it’s in the top three. It hasn’t been for some time.” (訳) 「リンクは重要だと思いますが、その重要性は過大評価されています。上位3つだとは思いません。しばらく前からそうではありません」と述べました。また “it is possible to rank without links.” (訳) 「リンクなしでも順位を獲得できる」とも述べています。さらにサイトごとに主要シグナルが異なるため、普遍的な「上位3つ」自体が存在しないと主張しています（これは本人の逐語引用ではなく、Search Engine Land による言い換えです）。

Google が挙げる5つの要因

初心者向けの整理として、Google の一般ユーザー向けサイトはランキングを5つの区分に分けています。

1. クエリの意味 — “To return relevant results, we first need to establish what you’re looking for - the intent behind your query.” (訳) 「関連性の高い結果を返すには、まず何を探しているか、つまりクエリの背後にある意図を把握する必要があります」。
2. コンテンツの関連性 — “The most basic signal that information is relevant is when content contains the same keywords as your search query.” (訳) 「情報に関連性があることを示す最も基本的なシグナルは、コンテンツに検索クエリと同じキーワードが含まれることです」。
3. コンテンツの品質 — “they identify signals that can help determine which content demonstrates expertise, authoritativeness, and trustworthiness.” (訳) 「専門性、権威性、信頼性を示すコンテンツを判断するのに役立つシグナルを特定します」。この引用での Google の表現は E-A-T（expertise、authoritativeness、trustworthiness）であり、E-E-A-T の「experience」は私の補足で、引用中の語ではありません。
4. コンテンツの使いやすさ — ページエクスペリエンスとアクセシビリティへの配慮。
5. 文脈と設定 — “we use information such as your location, past Search history, and Search settings to determine what is most relevant for you.” (訳) 「位置情報、過去の検索履歴、検索設定などを使い、ユーザーに最も関連するものを判断します」。

関連性は文脈によって変わります。“Relevancy is determined by hundreds of factors, which could include information such as the user’s location, language, and device (desktop or phone).” (訳) 「関連性は数百の要因で決まり、ユーザーの場所、言語、デバイス（デスクトップまたはスマートフォン）などの情報が含まれる場合があります」。重み付けもクエリに応じて変わり、“when searching for current news topics, content freshness plays a bigger role than dictionary definitions.” (訳) 「最新ニュースを検索する場合、辞書の定義よりコンテンツの鮮度が大きな役割を果たします」。誰にとっても同じ単一の「最良」結果はありません。

検索結果の提供は「青いリンク10本」ではない

検索結果の提供では、ページがどのように見えるかも決まります。“Based on the user’s query the search features that appear on the search results page also change.” (訳) 「ユーザーのクエリに応じて検索結果ページに表示される検索機能も変わります」。ナレッジパネル、リッチリザルト、画像、動画、ローカルパックは、別付けのシステムではなく検索結果提供の一部です。根強い2つの誤解を否定すると、“we never provide special treatment to advertisers in how our search algorithms rank their websites, and nobody can pay us to do so.” (訳) 「検索アルゴリズムがウェブサイトを順位付けする際、広告主を特別扱いすることはなく、そのために支払うこともできません」。オーガニック順位は購入できず、URL の送信は単なるシグナルで、インデックス登録やランキングを保証しません。

Bing も同じ構造で動く

Bing もクロール → インデックス登録 → ランキングという同じパイプラインを、独自の呼び方で運用します。Microsoft は “Crawling is how Bingbot discovers new and updated pages and content to add to our search index.” (訳) 「クロールとは、Bingbot が検索インデックスへ追加する新規・更新ページとコンテンツを発見する方法です」と説明します。次に “as Bingbot crawls the web, it sends information to Bing about what it finds. These pages are then added to the Bing index.” (訳) 「Bingbot がウェブをクロールすると、発見内容を Bing へ送り、そのページが Bing インデックスへ追加されます」。最後に “complex algorithms generate Microsoft Bing search results using the user’s search query matching it with third-party webpages in our index.” (訳) 「複雑なアルゴリズムがユーザーの検索クエリとインデックス内の第三者ウェブページを照合し、Microsoft Bing の検索結果を生成します」。Bing は、関連性、品質と信頼性、ユーザーエンゲージメント、鮮度、場所、ページ読み込み時間という6つのランキング要因を公表しており、Google の5要因に対応する明快な整理です。

ソースコードではなくモデル

これらを絶対視する前に、率直な注意点があります。検索エンジンは多くを公開しますが、すべてではなく、内部も変化します。私の図を含むパイプライン図は、実際のコードではなく有用な近似です。私は How Search Works の資料 の3枚目にも免責事項を書いており、ここでも繰り返します。“This is my understanding of systems and is based on a lot of public statements from Google and my own knowledge. Warning: It’s not going to be 100% complete or accurate.” (訳) 「これは Google の多数の公式発言と私自身の知識に基づく、システムについての私の理解です。警告：100%完全または正確ではありません」。モデルは柔軟に捉え、論争の根拠ではなく思考の道具として使ってください。

どの段階で止まっているか

ここで3関門モデルが役立ちます。ページの成果が出ないときは推測せず、失敗した関門を特定して、その段階を修正します。

診断結果から、次に読むべき詳しい解説が分かります。

次に進む場所

このページは全体地図です。各段階には個別の詳しい解説があります。

クロール — 現時点で唯一、独立したクラスターとして完全に構築済みの段階です。まずクロールハブを読み、クロールバジェット（容量＋需要、誰が考慮すべきか）、クロール速度（ボットの取得速度と、その増減方法）、クロール頻度（Google の再クロールを早める要因）、クロール深度（重要ページをホームページの近くに置く理由）を掘り下げます。問題診断には、ボットが実際に行ったことの確実な記録であるログファイル分析と、クロールバジェットを消費する無限 URL 空間であるスパイダートラップがあります。ページを早く発見させる方法として、Bing などが使うプッシュプロトコルの IndexNow と、Google Indexing API（あらゆるものを登録できるという誤解も含む）を扱います。

レンダリング — クロールとインデックス登録をつなぐ橋で、2つの詳しい解説があります。レンダリングでは、Google が Web Rendering Service で JavaScript を実行する方法と、各レンダリング方式（CSR、SSR、SSG、hydration、ISR、edge、dynamic）の SEO 上のトレードオフを扱います。JavaScript SEOでは、実際の <a href> リンク、DOM parity、遅延コンテンツ、soft 404、無限スクロールの2ページが1ページとして登録される理由など、実務上の問題と解決策を扱います。

インデックス登録 — カノニカル化とインデックス可能性には専用クラスターがあります。まずインデックス登録ハブから始めてください。

ランキング — ランキングシステム、その背後にあるシグナル、E-E-A-T の位置付けは独立したテーマで、次に構築予定です。

このクラスター全体を1か所で見るには、検索の仕組みクラスターを参照してください。

AI 要約

Advanced 版の要点をまとめると、次のとおりです。

• 検索＝3つの段階、3つの関門（クロール → インデックス登録 → 検索結果の提供）。Google は “not all pages make it through each stage.” (訳) 「すべてのページが各段階を通過するわけではない」と説明しています。クロール ≠ インデックス登録 ≠ ランキングです。
• クロール＝発見＋取得（「URL の発見」、アルゴリズムによるスケジュール）。インデックス登録の前提ですが、ランキングシグナルではありません。詳細はクロールのクラスターで扱います。
• レンダリングは橋渡し： Google はインデックス登録の一部として新しい Chrome（Web Rendering Service）で JavaScript を実行し、最初のクロールより遅れる場合があります。
• インデックス登録＝理解＋カノニカル化＋保存。 Google は重複ページから約40のシグナル（Allan Scott）でカノニカルを選びます。インデックスは “well over 100,000,000 gigabytes” (訳) 「1億ギガバイトをはるかに超える」規模で、複数のインデックスと Knowledge Graph を含みます。
• インデックス登録は保証されない： “not every page that Google processes will be indexed.” (訳) 「Google が処理するすべてのページが登録されるわけではありません」。Mueller によると「現在未登録」は “forever” (訳) 「永遠」に続くことがあり、多くは品質上の判断です。
• 検索結果の提供＝クエリを理解してから順位付け。 スペル、同義語、意図などのクエリ理解が先です。
• ランキング＝単一の「アルゴリズム」ではなく多数の自動システム（RankBrain、BERT、ニューラルマッチング、リンク／PageRank システム）。システム ≠ アップデート。 固定された「上位3つ」はなく、Illyes はリンクが上位3つではないと述べています。
• 関連性は文脈依存（場所、言語、デバイス、履歴。鮮度の重要度もクエリ依存）。Google の5要因は意味、関連性、品質、使いやすさ、文脈です。オーガニック順位は購入できません。
• 検索結果の提供 ≠ 青いリンク10本 — 検索機能はクエリによって変わります。
• Bing も同じ構造で、独自の6要因を公表しています。
• これはソースコードではなくモデルです（Patrick の免責事項）。ページがどの関門で止まったかを診断するために使います。

公式ドキュメント

検索エンジンによる一次情報です。

Google

• Google 検索の仕組みの詳細ガイド — クロール → インデックス登録 → 検索結果の提供の概要、URL の発見、レンダリング、インデックス登録、提供。
• 検索が情報を整理する仕組み — クロール、レンダリング、インデックス（規模、複数のインデックス、Knowledge Graph）の一般ユーザー向け解説。
• 検索結果をランキングする仕組み — 意味、関連性、品質、使いやすさ、文脈という5つの「主要要因」。
• Google 検索ランキングシステムのガイド — ランキングアップデートとは異なるランキングシステム（RankBrain、BERT、ニューラルマッチング、リンクシステムなど）。
• JavaScript SEO の基本 — インデックス登録におけるレンダリングと、JS コンテンツを登録可能に保つ方法。

Bing / Microsoft

• Bing が検索結果を提供する仕組み — Bing のクロール → インデックス登録 → ランキングのパイプラインとランキング要因。
• bingbot シリーズ：クロール効率の最大化 — Bing によるクロールの定義と「クロール効率の北極星」。

情報源からの引用

Google と Bing の公式発言です。各リンクは出典ページの引用箇所へ直接移動します。

Google — 3つの段階

• “Google Search works in three stages, and not all pages make it through each stage.” (訳) 「Google 検索は3つの段階で機能し、すべてのページが各段階を通過するわけではありません」。 — Google Search Central ドキュメント。 引用箇所へ
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (訳) 「Googlebot は、クロールするサイト、その頻度、各サイトから取得するページ数をアルゴリズムで決定します」。 引用箇所へ
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (訳) 「クロール中、Google は新しいバージョンの Chrome でページをレンダリングし、見つかった JavaScript を実行します」。 引用箇所へ

Google — インデックス登録

• “After a page is crawled, Google tries to understand what the page is about. This stage is called indexing…” (訳) 「ページをクロールした後、Google はそのページの内容を理解しようとします。この段階をインデックス登録と呼びます…」。 引用箇所へ
• “During the indexing process, Google determines if a page is a duplicate of another page on the internet or canonical.” (訳) 「インデックス登録処理中、Google はページがインターネット上の別ページの重複か、カノニカルかを判断します」。 引用箇所へ
• “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (訳) 「インデックス登録は保証されず、Google が処理するすべてのページが登録されるわけではありません」。 引用箇所へ
• “When crawlers find a webpage, our systems render the content of the page, just as a browser does.” (訳) 「クローラーがウェブページを見つけると、システムはブラウザと同様にページのコンテンツをレンダリングします」。 — Google、検索が情報を整理する仕組み。 引用箇所へ
• “The Google Search index covers hundreds of billions of webpages and is well over 100,000,000 gigabytes in size.” (訳) 「Google 検索のインデックスは数千億のウェブページを対象とし、1億ギガバイトをはるかに超える規模です」。 引用箇所へ

Google — 検索結果の提供とランキング

• “When a user enters a query, our machines search the index for matching pages and return the results we believe are the highest quality and most relevant to the user’s query.” (訳) 「ユーザーがクエリを入力すると、システムはインデックスから一致するページを検索し、最も高品質でクエリに最も関連すると判断した結果を返します」。 引用箇所へ
• “Relevancy is determined by hundreds of factors, which could include information such as the user’s location, language, and device (desktop or phone).” (訳) 「関連性は数百の要因で決まり、ユーザーの場所、言語、デバイスなどの情報が含まれる場合があります」。 引用箇所へ
• “Google uses automated ranking systems that look at many factors and signals about hundreds of billions of web pages and other content in our Search index to present the most relevant, useful results, all in a fraction of a second.” (訳) 「Google は数千億のウェブページやその他のコンテンツについて多数の要因とシグナルを調べる自動ランキングシステムを使い、一瞬で最も関連性が高く有用な結果を提示します」。 — Google、Google 検索ランキングシステムのガイド。 引用箇所へ
• “RankBrain is an AI system that helps us understand how words are related to concepts.” (訳) 「RankBrain は単語と概念の関係を理解するのに役立つ AI システムです」。 引用箇所へ
• “Neural matching is an AI system that Google uses to understand representations of concepts in queries and pages and match them to one another.” (訳) 「ニューラルマッチングは、クエリとページ内の概念表現を理解し、相互に照合するために Google が使う AI システムです」。 引用箇所へ
• “To return relevant results, we first need to establish what you’re looking for - the intent behind your query.” (訳) 「関連性の高い結果を返すには、まず何を探しているか、つまりクエリの背後にある意図を把握する必要があります」。 — Google、検索結果をランキングする仕組み。 引用箇所へ
• “…they identify signals that can help determine which content demonstrates expertise, authoritativeness, and trustworthiness.” (訳) 「専門性、権威性、信頼性を示すコンテンツを判断するのに役立つシグナルを特定します」。 引用箇所へ
• “We never provide special treatment to advertisers in how our search algorithms rank their websites, and nobody can pay us to do so.” (訳) 「検索アルゴリズムがウェブサイトを順位付けする際、広告主を特別扱いすることはなく、そのために支払うこともできません」。 引用箇所へ

John Mueller（Google）（Search Engine Journal 経由）

• “That can be forever. It’s something where we just don’t crawl and index all pages.” (訳) 「永遠に続く可能性があります。すべてのページをクロールしてインデックス登録するわけではないからです」。 記事を読む
• “…continue working on the website and making sure that our systems recognize that there’s value in crawling and indexing more and then over time we will crawl and index more.” (訳) 「ウェブサイトの改善を続け、さらにクロールしてインデックス登録する価値があるとシステムが認識できるようにすれば、時間とともにクロールとインデックス登録が増えます」。 記事を読む

Gary Illyes（Google）（Search Engine Land 経由）

• “I don’t agree it’s in the top three. It hasn’t been for some time.” (訳) 「上位3つだとは思いません。しばらく前からそうではありません」— ランキング要因としてのリンクについて。 記事を読む
• “It is possible to rank without links.” (訳) 「リンクなしでも順位を獲得できます」。 記事を読む

Microsoft Bing

• “Crawling is how Bingbot discovers new and updated pages and content to add to our search index.” (訳) 「クロールとは、Bingbot が検索インデックスへ追加する新規・更新ページとコンテンツを発見する方法です」。 引用箇所へ
• “Complex algorithms generate Microsoft Bing search results using the user’s search query matching it with third-party webpages in our index.” (訳) 「複雑なアルゴリズムがユーザーの検索クエリをインデックス内の第三者ウェブページと照合し、Microsoft Bing の検索結果を生成します」。 引用箇所へ

Patrick Stox（私自身の記事）

• “Canonicalization is the process that search engines use to determine the main version of the URL that will be indexed and shown to users when there are duplicate URLs.” (訳) 「カノニカル化とは、重複 URL があるときに、インデックス登録されユーザーへ表示される主要な URL 版を検索エンジンが決定する処理です」— Google の Allan Scott によると、カノニカル選択には約40のシグナルがあります。 記事を読む
• “This is my understanding of systems and is based on a lot of public statements from Google and my own knowledge. Warning: It’s not going to be 100% complete or accurate.” (訳) 「これは Google の多数の公式発言と私自身の知識に基づく、システムについての私の理解です。警告：100%完全または正確ではありません」— 私の How Search Works 資料の3枚目。 スライドを見る

メンタルモデル

1. ベルトコンベアではなく、3つの関門。 クロール → インデックス登録 → 検索結果の提供。各段階はフィルターで、“not all pages make it through each stage.” (訳) 「すべてのページが各段階を通過するわけではありません」。ページの成果が悪いときは、変更前にどの段階で失敗したかを特定します。

2. 3つの「等しくない」。

• クロール ≠ インデックス登録（ブロックされたページでもリンク経由で登録されることがあり、クロール成功後の登録も保証されません）。
• クロール ≠ ランキング（クロール速度はランキングシグナルではありません）。
• クロール ≠ レンダリング（JavaScript は遅延し得る別段階で実行されます）。

3. インデックス登録＝理解＋カノニカル化＋保存。 Google はテキスト／タグ／メディアを処理し、重複から1つのカノニカルを約40のシグナルで選び、結果を保存します。2ページともクロールされても、インデックス内では1つの URL に統合されることがあります。

4. 検索結果の提供＝クエリを理解してから順位付け。 クエリ理解（スペル、同義語、意図）はランキングの前にある独立した段階です。混同しないでください。

5. ランキング＝単一のアルゴリズムではなく多数のシステム。 RankBrain、BERT、ニューラルマッチング、リンク／PageRank システムなど、複数形の「ランキングシステム」です。ランキングシステム ≠ ランキングアップデートでもあります。固定された「上位3要因」はありません。

6. 関連性は文脈依存。 場所、言語、デバイス、履歴、鮮度によって変わり、全員にとって単一の「最良」結果はありません。適切な答えは検索者によって異なります。

7. ソースコードではなくモデル。 このパイプラインは、Google の内部動作を厳密に断定するためではなく、問題を考えるために使います。柔軟に捉えてください。

どの段階で止まっているか — 診断チートシート

症状を失敗した関門へ対応付け、適切な詳しい解説へ進みます。

クロール ≠ インデックス登録 ≠ ランキング — それぞれの本当の意味

時間を使う価値のある資料

私の関連記事

• テクニカル SEO 初心者向けガイド — クロール、インデックス登録、ランキングの関係。“optimizing your website to help search engines find, crawl, understand, and index your pages.” (訳) 「検索エンジンがページを発見、クロール、理解、インデックス登録できるようサイトを最適化すること」。
• Google が使う約40のカノニカル化シグナル — 重複から1つの URL を選ぶ方法（Allan Scott の約40シグナル）。
• JavaScript SEO の問題とベストプラクティス — インデックス登録におけるレンダリングと、遅延する理由。
• robots.txt でブロックされているが登録済み — “crawling and indexing are two different things.” (訳) 「クロールとインデックス登録は別物」である証拠。
• 高順位の2ページを Robots.txt でブロックした話 — クロールとランキングに関する私の一次実験。

私の講演

• How Search Works （SlideShare）— クロール、レンダリング、インデックス登録、クエリ理解、ランキングの全体解説です（いつもの免責事項：“This is my understanding of systems… not going to be 100% complete or accurate.” (訳) 「これはシステムについての私の理解であり、100%完全または正確ではありません」）。

業界の資料

• r/TechSEO — クロール／インデックス登録／ランキングのデバッグに関するコミュニティ。
• Google：「検出済み - 現在未登録」は永遠に続く可能性 （Search Engine Journal）— 「現在未登録」が無期限に続く理由についての John Mueller の逐語引用。
• Gary Illyes：リンクは Google 検索ランキング要因の上位3つではない （Search Engine Land）— ランキングが多数のシグナルで構成され、リンクが上位3つではない理由。
• Bing の検索ランキング要因 （Search Engine Land）— Bing の6要因（関連性、品質／信頼性、ユーザーエンゲージメント、鮮度、場所、ページ読み込み時間）。
• Google の Gary Illyes が Caffeine の役割を説明 （Search Engine Roundtable）— Google の Caffeine インデックスシステムの6機能。
• JavaScript SEO の基本 （Google Search Central）— レンダリングの位置付けと JS コンテンツを登録可能に保つ方法。
• Google 検索ランキングシステムのガイド （Google Search Central）— ランキングシステム（RankBrain、BERT、ニューラルマッチング、リンクシステム）の正式な一覧と、ランキングアップデートとの違い。
• Search Off the Record ポッドキャスト （Google Search Relations）— Gary Illyes、Martin Splitt、John Mueller が Google 内部からクロール、インデックス登録、ランキングを語ります。

ポッドキャスト

• Search Off the Record（Google Search Relations）— Google チーム（Gary Illyes、Martin Splitt、John Mueller）が内部の視点からクロール、インデックス登録、ランキングを解説します。実際にパイプラインを構築する人々に最も近い情報源です。聴く

どの段階で止まっているか — 各関門を調べるツール

同じ3関門モデルを使い、サイトの各ツールを症状に対応付けます。何かを変更する前に、問題に合うツールを実行してください。

クロール — ページがまったくクロールされない

• まずサーバーレスポンスを確認：HTTP ステータスチェッカー — URL が発見を妨げる 4xx／5xx を返していないか確認します。
• robots.txt のルールを確認：Robots.txt テスター — 特定 URL が Googlebot／Bingbot に対して拒否されているかテストします。ファイル自体を修正する場合は Robots.txt ジェネレーターを使います。
• サイトマップの対象範囲を確認：サイトマップバリデーター — URL の掲載とサイトマップの形式を確認します。サイトマップ自体がなければ XML サイトマップジェネレーターで作成します。
• クロールを失わせるリダイレクト問題を確認：単一ホップはリダイレクトチェッカー、チェーンとループはリダイレクトチェーンマッパー。
• ボットの実際の動作を示す確実な記録：ログファイルアナライザー — Googlebot／Bingbot が URL をリクエストしたか、その頻度を確認します。

インデックス登録 — クロール済みだが「現在未登録」、または誤った URL が表示される

• 重複クラスターで選ばれた URL を確認：カノニカルチェッカー — 宣言したカノニカルと実際に登録された URL を比較します。
• Google がレンダリング版を見ているか確認：Render Gap — 生の HTML とレンダリング済み DOM を比較し、Web Rendering Service を通過しないコンテンツを検出します。
• Google Search Console（第三者サービス）でインデックス登録状況とカバレッジ問題を直接照合します。上記のログファイルアナライザーはクロールの有無を示し、Search Console は登録の成否と理由を示します。

検索結果の提供／ランキング — 登録済みだが順位が付かない、または検索機能がない

• 期待するリッチリザルトの対象になるか確認：リッチリザルト適格性チェッカーとスキーマバリデーター。壊れた、または欠けたスキーマはインデックス登録を妨げませんが、検索機能の表示を妨げます。
• 使いやすさがランキングの足かせでないか確認：モバイルフレンドリーテスター、CWV チェッカー、フィールドデータ向けの Core Web Vitals 履歴・競合比較。使いやすさは Google が挙げる5つのランキング要因の1つです。
• ページ内の関連性シグナルを確認：オンページ SEO チェッカー — コンテンツを Google が「関連性」要因として挙げる基本項目と比較します。
• サイトまたはセクション全体を広く確認：Scout Site Audit Free — どの関門が失敗しているか不明なとき、多数の URL を最初に診断できます。
• Search Console の詳細分析（クエリ単位のパフォーマンス、インデックスカバレッジ、フィルター）：Google Search Console CSV アナライザー。

この診断で知っておくべき第三者ツール（本サイトのツールではありません）：Google Search Console（インデックス登録状況、カバレッジレポート、URL Inspection）、Bing Webmaster Tools（Bing の同等機能）、Screaming Frog（クロールシミュレーションとカノニカル／ステータスの一括監査）。

理解度チェック：検索の仕組み

Google がクロール、レンダリング、インデックス登録、検索結果の提供を行う仕組みについての5問です。各問で回答を選び、結果を確認してください。

変更履歴