大規模言語モデル(LLM)

大規模言語モデルとは何か、トークンごとにテキストを予測する仕組み、AI検索を支えるLLM(Gemini、GPT-4)、そしてSEOへの影響について解説します。

初回公開:2026年6月24日 · 最終更新:2026年8月3日 · Advanced
言語

大規模言語モデル(LLM)は、次のトークンを予測することでテキストを生成します。人間のように推論しているのではなく、確率的な補完を行っているのです。LLMはトランスフォーマーアーキテクチャに基づいて構築され、検索においては2つの役割に分かれます。BERTのような理解モデルはランキングに役立ち、Gemini(Google AI Overviews)やGPT-4(Bing Copilot)のような生成モデルは回答を書きます。LLMには知識のカットオフ、有限のコンテキストウィンドウ、幻覚を起こしやすい傾向といった限界があり、まさにそれがRAGやグラウンディングが存在する理由です。SEO担当者にとって実用的なニュースは退屈なものです。インデックス作成が依然として前提条件であり、ブランド言及はバックリンクよりもAI可視性と強く相関し、「通常のSEO」が引用を得る方法なのです。

TL;DR — LLMは次のトークンの確率を推定し、自己回帰的にテキストを生成する——それがエンジンのすべてです。トランスフォーマーアーキテクチャ上で動作し、RNNのようにトークン単位ではなく、アテンションを介してシーケンス全体を並列処理します。検索には2つの異なる役割があります:理解(ランキングに役立つBERTスタイルのエンコーダー)と生成(AI回答を書くGemini、GPT-4)です。LLMは知識のカットオフ、有限のコンテキストウィンドウ、幻覚によって制限されます——まさにRAGとグラウンディングが存在する理由です。SEOにとって、インデックスは依然として前提条件であり、Louise LinehanとXibeijia GuanによるAhrefsの75 000ブランド調査では、ブランド言及などのテキストベースのシグナルがAI Overviewの可視性と、バックリンクよりも約3倍強く相関していました。

LLMが実際に何であるか

LLMは保証された事実のデータベースではなく、流暢な出力は正確性の証拠ではありません。 Evidence for this claim Large autoregressive language models are trained to predict tokens from preceding context and can perform varied language tasks through prompting. Scope: GPT-3 research findings; later models, training methods, and product systems differ. Confidence: high · Verified: Brown et al.: Language Models are Few-Shot Learners LLMを使用する検索製品は、外部の検索およびランキングシステムと組み合わせる場合があります。 Evidence for this claim Applications can give a language model tools for web search, file search, code execution, or external functions. Scope: OpenAI API tool capabilities; tool access is configured separately and should not be conflated with the base model's stored knowledge. Confidence: high · Verified: OpenAI: Tools guide

言語モデルは、Google自身の言葉を借りれば、*「より長いトークンシーケンス内でトークンまたはトークンシーケンスが発生する確率を推定する」*ものです。それが基礎です。LLMはその非常に大規模なバージョンです:ウェブ規模のテキスト全体で次のトークンを予測するように訓練された、数十億のパラメータを持つディープラーニングモデルです。

それを「大規模」で有能にするものは2つあります:

  • スケール。 膨大なコーパスで訓練された数十億のパラメータ。モデルが成長するにつれて、要約、推論、コード生成などの機能が、明示的にプログラムされなくても出現し始めます。
  • トランスフォーマーアーキテクチャ。 Googleの2017年の論文 Attention Is All You Need で導入されたトランスフォーマーは、シーケンス全体を一度に処理し、アテンションメカニズムを使用して、各トークンが他のすべてのトークンを「見る」ことを可能にします。GoogleのML Crash Courseはこの対比を直接示しています:大規模言語モデルは*「コンテキスト全体を一度に評価できる」のに対し、「トークンごとに」処理し「勾配消失問題」*に悩まされた古いリカレントニューラルネットワークとは異なります。

モデルは生テキストでの次トークン予測によって訓練され、その後、より役立つ安全なものにするために、通常RLHF(人間のフィードバックからの強化学習)で微調整されます。推論時には自己回帰的に生成します——一度に1トークンずつ、各予測が次の入力としてフィードバックされます。温度と呼ばれる設定が、そのサンプリングのランダム性を制御します。

段階を分けて考えると役立ちます。なぜなら、人々は常にそれらを混同するからです。 Evidence for this claim Pretraining learns broad statistical representations, post-training changes model behavior toward instructions or preferences, and inference applies the resulting model to supplied context; prompt context does not by itself update model weights. Scope: General pipeline description across instruction-tuned LLMs; the exact post-training method (RLHF, DPO, or other) and how a given product layer handles session memory vary by provider and are not covered here. Confidence: high · Verified: Ouyang et al.: Training language models to follow instructions with human feedback 事前学習は、重みが実際に設定される段階です——モデルは巨大なコーパス全体での次トークン予測から広範な統計的パターンを学習します。事後学習(RLHFおよび同様の選好調整ステップ)は、同じ重みを指示と安全性の動作に向けて再度調整します。推論——プロンプトを送信したときに起こること——は重みをまったく更新しません。モデルは2つの訓練段階で学習したことを、渡されたテキストに適用するだけです。これが、長いコンテキストウィンドウがモデルがあなたについて「学習」していることではない理由でもあります:追加のテキストはその1回のリクエストへの入力であり、訓練の更新ではなく、セッションが終了すると消えます。ただし、別の製品機能がメモリとして保存して再供給する場合は別です。

メンタルモデルを正直に保ちましょう:これは確率的なプロセスです。モデルはもっともらしい補完を生成しますが、検証された事実ではありません。

理解と生成:2つの異なる役割

これが、検索におけるLLMの混乱のほとんどを解消する区別です。

  • BERT (2019) は、エンコーダーのみの双方向モデルです。Google によると、“the full context of a word by looking at the words that come before and after it.” を考慮します。BERT の役割は理解です。つまり、クエリとドキュメントを解釈してランキングを改善します。回答を生成することはありません。Google は BERT が “help Search better understand one in 10 searches in the U.S. in English,” と述べ、Pandu Nayak はこれを “the biggest leap forward in the past five years.” と呼びました。
  • Gemini / GPT-4 は生成モデル(デコーダー型、自己回帰型)です。その役割は生成です。つまり、取得したパッセージから AI Overview や Copilot の回答テキストを合成します。

では、SEO担当者が「LLMは私のページをランク付けするのか?」と尋ねたとき、正直な答えは次のとおりです。BERT スタイルの理解モデルは長い間ランキングに影響を与えてきました。一方、Gemini のような生成モデルは、取得ステップが表面化させたものの上にAI サマリーを書きます。異なるモデル、異なる段階です。

検索における Google の LLM 進化

大まかなタイムラインです。系譜が重要だからです。

  • 2017Attention Is All You Need(Google Research): 他のすべてが基づく transformer 論文。
  • 2019 — BERT: Google のランキングにおける最初の transformer LLM。“one in 10 searches.”
  • 2021 — MUM: 約 1 100 億パラメータの T5 ベースのモデルで、Google は “1,000 times more powerful than BERT,” と宣伝し、マルチモーダルで 75 以上の言語でトレーニングされました。
  • 2023 — Gemini: “built from the ground up to be multimodal,” 最初から複数のモダリティで事前トレーニングされ、Ultra / Pro / Nano バリアントで出荷されました。Google は、“outperform human experts on MMLU”(90,0%)を達成した最初のモデルとして報告しました。(このようなベンチマーク数値は、当時ラボが使用した正確なモデルバージョン、テストセット、評価日に関連付けられており、同じモデルファミリーのその後のアップデートに自動的に引き継がれるわけではありません。)
  • 2024 — AI Overviews(SGE から卒業): 生成レイヤーが結果ページに登場。
  • 2025 — AI Mode + Gemini 3: Elizabeth Reid は、Search の Gemini 3 が “state-of-the-art reasoning, deep multimodal understanding and powerful agentic capabilities,” をもたらし、システムが複雑な質問を Gemini 3 に、単純なタスクをより高速なモデルにインテリジェントにルーティングすると説明しました。
  • 2026 — Gemini 3 が AI Overviews のデフォルトになります。 Robby Stein によると、“Gemini 3 is now the default model for AI Overviews.”

Bing Copilot: GPT-4 + Prometheus + Bing インデックス

Microsoft は 2023 年 3 月に、“the new Bing is running on GPT-4, which we’ve customized for search,” および “as OpenAI makes updates to GPT-4 and beyond, Bing benefits from those improvements.” を確認しました。

凍結された LLM をライブウェブに接続する部分は、Microsoft の Prometheus モデルです。これは、新鮮な Bing インデックスと GPT の推論を組み合わせたモデルとして説明されています。Copilot パイプラインは、クエリを検索文字列に再構成し、Bing インデックスから取得し、GPT が根拠のある引用付きの回答を合成します。(注: その詳細なパイプラインの内訳は、サードパーティの技術分析からのものであり、ファーストパーティの Microsoft 仕様ではありません。ステップバイステップは業界報告として扱ってください。)

AI Overviews が実際に回答を生成する方法(RAG パイプライン)

これらのシステムが、古いトレーニングカットオフにもかかわらず今日のニュースに回答できる理由は、検索拡張生成です。Google Cloud 自身の定義: RAG は “combines the strengths of traditional information retrieval systems with the capabilities of generative large language models.” 概念的には次のとおりです。

  1. クエリを送信します。
  2. 複雑なクエリは、Google の query fan-out によってサブクエリに分解されます。
  3. 各サブクエリは、インデックスから候補パッセージを取得します。
  4. それらのパッセージは LLM のコンテキストウィンドウに注入されます。これはグラウンディングであり、トレーニングデータだけでなく取得したソースに回答を固定します。
  5. LLM は引用付きの合成回答を生成します。
  6. 安全性と品質チェックが実行され、回答が返されます。

SEOへの影響は、一連のゲートのようなものです。あなたのコンテンツは、(a) AIボットにクロール可能で、(b) インデックスされ、(c) 検索で表面化され、(d) 競合するパッセージよりも選択され、(e) 出力に正確に表現される必要があります。どの段階でも脱落すると、回答に含まれないことを意味します。

SEO担当者にとって重要な制限事項

制限事項あなたへの影響
知識のカットオフRAGが新しいコンテンツを提供しない限り、モデルはトレーニング日以降のことを何も知りません。カットオフ ≠ リリース日 — 数か月異なる場合があります。GPT-5のトレーニングカットオフは2024年9月と報告されています。
コンテキストウィンドウLLMは一度に処理できるテキスト量が限られており、トークンで測定されます。これにより、取得したコンテンツをどれだけ入力できるかが制限されます — これが検索においてチャンキングが重要である理由です。
ハルシネーションモデルはもっともらしく聞こえるが間違っている可能性のある補完を生成します。これは統計的なアーティファクトであり、嘘ではありません。Ahrefsの調査によると、AIアシスタントはGoogle検索よりも2,87倍頻繁に訪問者を404ページに送ります。
JavaScriptカバレッジのリスクAIクローラーのレンダリングはプロバイダーによって異なるため、フェッチャーが初期HTMLのみを使用する場合、JS依存のコンテンツが見落とされる可能性があります。
パッセージのチャンキング検索システムはページをパッセージに分割します。Chromeの処理に関する私の調査は、約200語のパッセージと、ページの最初の約30パッセージのみの分析を指摘しました — 深く埋め込まれたコンテンツは取得されない可能性があります。

これがコンテンツ戦略に意味すること

私が確信を持って言えるいくつかのことと、エンジンの外の誰も実際には知らないことを分けて述べます:

  • インデックスは依然として前提条件です。 Gary Illyesは率直でした: “To get your content to appear in AI Overview, simply use normal SEO practices.” 確認された特別なLLMターゲティングシグナルはありません。そして、誇大宣伝されたllms.txtファイルについて、Illyes氏は “Google doesn’t support LLMs.txt and isn’t planning to,” と述べ、John Muellerはそれを古いメタキーワードタグに例えました。
  • AI可視性において、ブランド言及は被リンクを上回ります。 75,000ブランドの調査では、ブランド化されたウェブ言及がAI Overviewの出現と最も強い相関を示しました(≈0,66)。一方、被リンクは≈0,22でした — テキストベースのシグナルはリンク指標よりも約3倍強く相関しました。私たちが述べたように、LLMは “derive their understanding of a brand’s authority from words on the page, from the prevalence of particular words, the co-occurrence of different terms and topics, and the context in which those words are used.” (翻訳) 「ページ上の言葉、特定の言葉の普及、異なる用語やトピックの共起、そしてそれらの言葉が使われる文脈から、ブランドの権威についての理解を導き出します。」
  • 勝者総取りです。 ウェブ言及の上位四分位のブランドは、平均169件のAI Overview言及があったのに対し、次の四分位は14件でした — そして調査対象ブランドの26%はゼロでした。高権威・高トラフィックの配置は、あなたのAI可視性を複利的に高めます。
  • 新しさは役立ちます。 1,700万件の引用分析を通じて、AIアシスタントはオーガニック検索結果に通常表示されるものよりも有意に新しいコンテンツを引用することを好みました。
  • AIクローラーを反射的にブロックしないでください。 ブロックすると、SEO上の利点なしにAI可視性を失う可能性があります。そして、上記のJSの盲点を忘れないでください — コンテンツが表示されるためにJavaScriptを必要とする場合、ほとんどのAIクローラーはそれを認識しません。

そして正直な注意点: エンジンはAI Overviewのランキング側がどのように機能するかを一貫して明らかにすることを避けています。確認されている話は「インデックスされ、通常のSEOを行う」ことです。それを超えるものはすべて推測です — 私のものも含めて。

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.