検索の仕組み
検索の仕組み — 日本語
ページ インデックス登録レポート（GSC）
Google Search Console のページ インデックス登録レポート（旧 Index Coverage）の仕組み、登録済みと未登録、Source列、全ステータス、Validate fix、レポート遅延を解説します。
日本語 › コンテンツGooglebotのSEO
Googlebotの実態を解説します。SmartphoneとDesktop、Evergreen Chromiumのレンダリング、ユーザーエージェント文字列、IP範囲の検証、バイト制限、クロールとランキングの違いを扱います。
日本語 › コンテンツGoogleのIndexing API
Google Indexing APIの実態を解説します。公式にサポートされるのはJobPostingとBroadcastEvent（ライブ配信）ページだけで、一般コンテンツではありません。神話、Googleが実際に説明していること、より速いインデックス登録のために使う方法を扱います。
日本語 › コンテンツカノニカル化
検索エンジンが重複 URL から代表 URL を 1 つ選び、ランキングシグナルをそこへ統合する方法を説明します。rel=canonical がヒントであってルールではない理由、シグナルをそろえる方法、検証時の限界を扱います。
日本語 › コンテンツ重複コンテンツ（Duplicate Content）
重複コンテンツにペナルティがない理由、Googleが重複をクラスタ化してcanonicalを選ぶ仕組み、実際のコスト、原因の見つけ方と優先順位付きの修正方法を解説します。
日本語 › コンテンツクローリング
検索エンジンがウェブを発見して取得する仕組みを解説。GooglebotとBingbot、URLの発見、クロールのスケジューリング、レンダリング、インデックス登録やランキングとの違いを網羅します。
日本語 › コンテンツWebクローラー
Webクローラー（スパイダー、ボット）の仕組み、取得→解析→キューのループ、そしてクロールとインデックス登録・レンダリング・ランキングの違いを解説します。
日本語 › コンテンツクロールバジェット
クロールバジェットを決めるクロール容量と需要、クロールを浪費する要因、サイト規模から対策の必要性を判断する方法を解説します。
日本語 › コンテンツクロール速度
検索エンジンがページを取得する速さの仕組み、Googleの手動調整機能廃止、安全にGooglebotを減速させる方法、増速を強制できない理由、BingのCrawl Controlとの違いを解説します。
日本語 › コンテンツクロール需要
クロールバジェットの「クロールしたい」という側面を解説。人気度、更新頻度、認識されたURL数が需要をどう左右し、ホストの処理能力とどう関係するか、そして需要を直接増やせない理由を説明します。
日本語 › コンテンツクロール頻度
検索エンジンが既知のページを再クロールする頻度、その決定要因、正確な測定方法を解説します。
日本語 › コンテンツ条件付きリクエスト：ETagとIf-Modified-Since、304 Not Modified
条件付きリクエスト（ETag、Last-Modified、If-Modified-Since／If-None-Match、304 Not Modified）で、Googlebotが変更のないページの再ダウンロードを省き、大規模サイトのクロールバジェットを守る方法を解説します。
日本語 › コンテンツクロール可能性の問題：クロールを妨げる原因と修正方法
検索エンジンによるページの発見、アクセス、取得を妨げる技術的条件を解説します。アクセス遮断、リンク不備、サーバー障害、URL在庫の肥大化という4分類を基に、原因の見つけ方と修正方法を整理します。
日本語 › コンテンツクロール遅延
crawl-delay robots.txt ディレクティブとは何をするものか、Google が 2019 年に尊重をやめ、Yandex が 2018 年に廃止した理由、Bing が値をどのように解釈するか、どの他のクローラーが尊重するか、代わりに何を使うべきかを説明します。
日本語 › コンテンツサイトリンク
Googleのサイトリンクとは何か、なぜ100%アルゴリズムによるものなのか、そしてそれを制御（ではなく影響）する方法について。さらに、廃止された降格ツール、サイトリンク検索ボックスの非推奨化、Bingのディープリンク、そして有料サイトリンクがオーガニックとどう異なるかについても説明します。
日本語 › コンテンツ検索エンジンのディスカバリー：URL が発見される仕組み
検索エンジンがリンク、サイトマップ、フィード、IndexNow、URL 検査から URL を発見する仕組みと、孤立ページや「検出 - インデックス未登録」の対処を解説します。
日本語 › コンテンツレンダリング
GoogleのWebレンダリングサービスが、インデックスするページを構築するためにJavaScriptを実行する仕組みと、レンダリングオプション（CSR、SSR、SSG、ハイドレーション、ISR、エッジ、動的）とそのSEO上のトレードオフについて解説します。
日本語 › コンテンツNot Found（404）とSEO
Google Search Consoleの「Not found (404)」が示す内容、Googleが未送信URLを発見する理由、通常の404がSEO問題ではない理由、修正すべき404の見分け方を解説します。
日本語 › コンテンツモバイルファーストインデックス
Googleがモバイル版HTMLをインデックス登録とランキングに使う仕組み、コンテンツの同等性、構成別の注意点、確認方法、導入経緯を解説します。
日本語 › コンテンツPageRankとSEO
PageRankはGoogleのオリジナルのリンク解析アルゴリズムです。その概要、ランダムサーファーモデルと公式、Reasonable Surferアップデート、ツールバーから2024年のAPIリークまでの歴史、今もコアランキングシステムである理由、そしてあなたのリンクと内部構造にとっての意味について説明します。
日本語 › コンテンツニュースサイトマップ
ニュースサイトマップのnews:名前空間、必須タグと入れ子、2日間の鮮度期間、1 000 URL上限、廃止済みタグ、送信・検証・保守方法を解説します。
日本語 › コンテンツ発見済み – 現在インデックス未登録
Google Search Consoleの「Discovered – currently not indexed」が示す状態、Crawledとの違い、発生理由、クロール処理能力とクロール需要の診断、現実的な対策を説明します。
日本語 › コンテンツ「クロール済み - インデックス未登録」とは
Google Search Console の "Crawled – currently not indexed" _(翻訳)_「クロール済み - インデックス未登録」が示す意味と、"Discovered – currently not indexed," _(翻訳)_「検出済み - インデックス未登録」との違い、調査と改善の手順を解説します。
日本語 › コンテンツ401 Unauthorized（未認証）
Google Search Consoleの「Blocked due to unauthorized request (401)」が意味すること、RFC 9110で401と403がどう異なるか、一般的な原因、ボットとして診断する方法、公開・非公開・WAFの誤検知・ペイウォールというページの種類ごとの正しい修正を説明します。
日本語 › コンテンツrobots.txt によるブロック（GSC ステータス）
Google Search Console の「robots.txt によるブロック」というページのインデックス登録ステータスの意味、robots.txt がクロールを拒否したため URL が除外される仕組み、意図せずブロックした場合の修正方法、「ブロックされているがインデックス登録済み」との違い、noindex と Disallow の衝突を説明します。
日本語 › コンテンツアクセス禁止（403）によるブロック
Google Search Console の「アクセス禁止（403）によるブロック」の意味、ブラウザーでは開けるのに Googlebot が 403 になる理由、401 との差、診断・修正・検証の方法を説明します。
日本語 › コンテンツその他の 4xx エラーによるブロック
Google Search Console のページのインデックス登録レポートに表示される「その他の 4xx エラーによるブロック」の意味、ここに現れやすい 400、405、408、410、411、413、414、421、422、451、429 の扱い、Google の処理、診断・修正・検証の方法を説明します。
日本語 › コンテンツBaiduspiderのSEO
Baiduspiderとは何か、Baiduのクローラーの派生とuser-agent、robots.txtへの準拠（cpro／adsの例外を含む）、逆引きDNS検証、JavaScriptレンダリングの弱さ、Ziyuanでのクロール制御を説明します。
日本語 › コンテンツBingbotのクロールと確認
Bingbotとは何か、Bing以外で何を支えるか、逆引きDNSで確認する方法、robots.txt、Crawl Control、IndexNowでクロールを制御する方法を説明します。
日本語 › コンテンツインデックス肥大化（Index Bloat）
インデックス肥大化とは、低価値・薄い・重複URLが検索エンジンに登録される状態です。ペナルティではなく、クロール効率と品質シグナルの問題として診断・改善します。
日本語 › コンテンツAIクローラー
AIクローラーを、トレーニングボット、AI検索インデクサー、ユーザー起点のフェッチャーという3種類に分け、SEOを損なわずにそれぞれを制御する方法を解説します。
日本語 › コンテンツSEO と Accessibility
暫定日本語訳：どこ web accessibility と SEO genuinely overlap (alt text, headings, link text, speed) と どこ それら diverge — plus なぜ Google says accessibility isn't ランキング factor.
日本語 › コンテンツインデックス登録
暫定日本語訳：どのように 検索エンジン 店舗 と organize ページ so それら できる 順位 — コンテンツ analysis, canonicalization, なぜ クロール isn't インデックス登録, と reading GSC ページ インデックス登録 レポート.
日本語 › コンテンツインデックス登録, Though Blocked by robots.txt
暫定日本語訳：Google 検索 Console ページ インデックス登録 warning その means Google インデックス登録 URL anyway despite あなた robots.txt block — なぜ it happens, なぜ it's distinct から "Blocked by robots.txt," と intent-based decision tree 向けに fixing (または ignoring) it.
日本語 › コンテンツサーバー Error (5xx)
暫定日本語訳：何 "Server error (5xx)" status in Google 検索 Console's ページ インデックス登録 レポート means — なぜ 500-level レスポンス slows クロール と eventually drops ページ, どのように へ diagnose と fix it, と right way へ take サイト down on purpose とともに 503 と Retry-後に.
日本語 › コンテンツページ インデックス登録 なしで コンテンツ
暫定日本語訳：何 Google 検索 Console "Page indexed without content" status means — ページ is in Google's インデックス登録 ただし Googlebot couldn't read it — と どのように へ diagnose it. 多くの場合 サーバー/CDN block, ない just JavaScript 問題.
日本語 › コンテンツ暫定日本語訳：URL Marked 'noindex' (GSC Status)
暫定日本語訳：何 Google 検索 Console "URL marked 'noindex'" status means — と "Submitted URL marked 'noindex'" variant と legacy "Excluded by 'noindex' tag" name. いつ it's intentional vs. mistake, どこ noindex lives (meta tag vs. X-Robots-Tag header), robots.txt conflict, phantom/CDN noindex, と どのように へ fix と validate.
日本語 › コンテンツどのように へ Get インデックス登録 by Google
暫定日本語訳：right way へ get ページ インデックス登録 by Google — sitemaps, internal links, リクエスト インデックス登録, インデックス登録 API と IndexNow, と なぜ quality is real gate.
日本語 › コンテンツJavaScript リダイレクト
暫定日本語訳：何 JavaScript リダイレクト is, どのように Google's render pipeline treats it differently から サーバー-side 301, いつ it's acceptable 最後 resort, と どのように へ implement と detect one — plus どこ meta refresh と History API fit.
日本語 › コンテンツRSS フィード
暫定日本語訳：どのように 検索エンジン 使用 RSS 2,0 と Atom 1,0 フィード as discovery チャネル 向けに fresh コンテンツ — Feedfetcher, robots.txt, WebSub, と なぜ フィード complements ただし 決して replaces XML sitemap.
日本語 › コンテンツ暫定日本語訳：IndexNow
暫定日本語訳：IndexNow is open push protocol その instantly tells Bing, Yandex, Naver, Seznam, と Yep いつ あなた URLs change — one submission, shared 全体で all of them. どのように it 機能, どのように へ 設定 it up, と なぜ it does nothing 向けに Google.
日本語 › コンテンツ暫定日本語訳：Sitemaps
暫定日本語訳：何 sitemap is, whether あなた need one, types (XML, HTML, 画像, video, news), どのように へ find, 作成, と submit one, と なぜ sitemaps 役立つ discovery ただし 決して guarantee インデックス登録.
日本語 › コンテンツSitemap インデックス登録
暫定日本語訳：sitemap インデックス登録 is sitemap of sitemaps — どのように large サイト split past 50 000-URL limit, どのように many URLs あなた できる cover, と splitting strategy その actually pays off.
日本語 › コンテンツ暫定日本語訳：Video Sitemap
暫定日本語訳：何 video sitemap is と いつ あなた need one — 必要 と optional video:video tags, limits, accepted media と thumbnail file types, multiple videos per ページ, と mRSS alternative.
日本語 › コンテンツ暫定日本語訳：XML Sitemap
暫定日本語訳：何 XML sitemap is, its anatomy, ignored tags (priority/changefreq), accurate lastmod, 50 000/50MB limits, hreflang in sitemaps, と どのように へ submit one.
日本語 › コンテンツ画像 Sitemap
暫定日本語訳：何 画像 sitemap is と なぜ it exists — 画像 namespace, 画像:画像 と 画像:loc tags, tags Google deprecated in 2022, accepted formats, と cross-domain 画像.
日本語 › コンテンツYandexBotとSEO
YandexBotとは何か、その見分け方と検証方法、Yandex独自のClean-paramディレクティブ、Crawl-delayが廃止された理由、JavaScriptの処理方法、そしてGooglebotやBingbotとの比較について解説します。
日本語 › コンテンツユーザーエージェント
ユーザーエージェントとは何か — クローラーやブラウザーが自分自身を識別するために使用するHTTPヘッダー、robots.txtのトークンと完全な文字列の違い、そしてボットが本物かどうかを確認する方法。
日本語 › コンテンツWebSubとSEO
WebSub（旧称PubSubHubbub）は、RSS/Atomフィードの変更をGoogleなどの検索エンジンにリアルタイムでブロードキャストするプッシュプロトコルです。その概要、仕組み、限界について説明します。
日本語 › コンテンツサイトマップの優先度
サイトマップの優先度タグとは何か、GoogleとBingが優先度とchangefreqを完全に無視する理由、そして代わりに検索エンジンにページの重要度を実際に伝えるものについて。