AI検索の仕組み

TL;DR — AI検索は通常、検索システムと言語モデルを組み合わせます。検索側が有用なソースを見つけて順序付けし、モデル側が取得された限られた資料を読み、回答を書きます。難しい質問を小さな検索へ分解し、キーワード検索と意味検索を混ぜ、候補を再ランキングし、引用を表示するシステムもあります。この処理は鮮度と追跡可能性を高められますが、ソースを見落としたり、証拠を誤解したり、裏付けのない主張を書いたりする可能性は残ります。

役に立つ最短の説明

従来のウェブ検索は通常、ランキングされた結果の集合を返します。AI検索はそこに別の層を加え、証拠を取得して生成モデルで直接的な回答を組み立てます。

防御可能な一般的パイプラインは次のようになります。

1. ソースを発見または受け取る。
2. 内容を解析し、インデックス化し、表現する。
3. ユーザーの質問を理解する。
4. 必要に応じてサブクエリへ分割する。
5. 候補ドキュメントまたはパッセージを取得する。
6. 候補をランキングし、再ランキングする。
7. 選択した証拠をモデルのコンテキストへ入れる。
8. そのコンテキストとプロダクトのルールに制約された回答を生成する。
9. 裏付けとなるリンクまたは引用を付ける。
10. 品質、安全性、鮮度、不確実性を評価する。

プロダクトは、ツール、コマースフィード、ナレッジグラフ、データベース、ユーザーファイル、位置情報、会話履歴、ライブカメラ入力などを追加できます。段階を省略したり組み合わせたりすることもあります。このパイプラインは思考モデルであり、Google、ChatGPT、Copilot、Perplexityなどが同一の内部処理を使うという主張ではありません。

1. ソースの発見とクロール

AIの回答が取得できるのは、システムがアクセスできるソースだけです。ソースは次の経路から入ります。

• リンクとサイトマップをたどるウェブクローラー
• 検索プロバイダーの既存ウェブインデックス
• ライセンス済みまたはパートナーのデータセット
• 商品カタログと構造化フィード
• 自社データベースとナレッジベース
• ユーザーがアップロードしたファイル
• リクエスト時にページを取得するツール

Googleの現行の検索の仕組みのドキュメントは、ウェブ検索の基盤をクロール、インデックス登録、配信として説明しています。OpenAIのウェブ検索ドキュメントは、ウェブ情報と引用ソースをモデルの回答へ取り込める検索ツールを説明しています。これらはプロダクトの例であり、すべてに共通するクローラーや共有インデックスの証明ではありません。

さらに深く知るには、AIクローラーでクローラーの目的と制御を、AIクローラーのログ分析で検証済みリクエストから証明できることと証明できないことを確認してください。

2. インデックス登録、チャンク、知識表現

取得した資料は、効率よく検索できるよう解析・保存されます。システムは複数の表現を保持することがあります。

• 単語とフィールドのための転置インデックス
• 絞り込んだ取得のためのパッセージまたはチャンク
• 埋め込みモデルが生成するベクトル
• 構造化された事実、エンティティ、関係、メタデータ
• 鮮度、言語、地域、ポリシー、アクセス、品質のシグナル
• 元のソースと位置へ戻るリンク

チャンクのサイズと境界は重要です。取得器が生成器へドキュメント全体を渡すとは限らないからです。無関係なセクションにまたがって埋もれた明確な回答は、1つのまとまりとして取得しにくくなります。

さらに深く知るには、チャンク化、埋め込み、トークンとコンテキストウィンドウを参照してください。

3. クエリ理解とファンアウト

システムは、リクエスト、会話、言語、位置情報、制約を解釈します。クエリを書き換えたり、エンティティを特定したり、複雑なタスクを複数の取得質問へ分解したりすることがあります。

Googleは、AI OverviewsとAI Modeがクエリファンアウトを使用することがあると明示しています。サブトピックやデータソースをまたいで複数の関連検索を発行する仕組みです。これは文書化されたGoogleの挙動であり、すべてのAI検索プロダクトがすべてのクエリをファンアウトしたり、固定数のサブクエリを使ったりする証拠ではありません。

さらに深く知るには、クエリファンアウトとセマンティック検索を参照してください。

4. 取得：語彙、ベクトル、ハイブリッド

取得は、扱いやすい候補集合を作る高再現率の段階です。

• 語彙取得は、完全一致する単語と用語パターンを評価します。名前、コード、引用、正確な用語に向いています。
• ベクトル取得は埋め込み表現を比較し、表現が異なっていても意味的な類似性を見つけられます。
• ハイブリッド取得は両方を実行し、結果リストを組み合わせます。

Microsoftの現行のハイブリッド検索ドキュメントは具体的な実装例です。テキストクエリとベクトルクエリを同時に実行し、結果を統合します。研究でも、語彙取得と意味取得は相補的な候補集合を作れるとされていますが、改善幅はコーパス、クエリ、モデル、評価方法によって変わります。

さらに深く知るには、ベクトル検索とハイブリッド検索を参照してください。

5. ランキングと再ランキング

取得は再現率を重視し、十分な候補を見つけます。ランキングと再ランキングは適合率を重視し、この質問に最も有用な候補を上位へ置きます。

システムは次の処理を行うことがあります。

• 語彙上の関連性をスコア化する
• ベクトル類似度をスコア化する
• 複数の結果リストを融合する
• 鮮度、言語、地理、権威性、安全性、アクセスのフィルターを適用する
• 上位候補だけに、より高コストな意味モデルを使う
• タスクの異なる部分をカバーする多様なパッセージを選ぶ

Microsoftのセマンティックランカーのドキュメントは、このパターンを明確に示しています。初期の結果集合を、より高コストな言語理解段階へ渡して再スコアリングするのです。そのプロダクトの上限やスコアは、AI検索全体に共通する定数ではありません。

さらに深く知るには、再ランキングとパッセージランキングを参照してください。

6. グラウンディングとRAG

選択したパッセージ、データ、ツール出力を、モデルが利用できるコンテキストへ入れます。モデルはその証拠に加え、指示と許可された内部知識を使って回答を生成します。

このパターンは通常、**検索拡張生成（RAG）**と呼ばれます。元のRAG論文は、モデルのパラメトリック記憶と取得した非パラメトリック記憶を組み合わせる方法を説明しました。実運用での「RAG」は、1回のベクトル検索から、多段検索、再ランキング、ツール、反復取得まで多くの設計を指します。

グラウンデッドとは、特定された証拠によって回答が制約されているという意味で使うべきです。「真実であることが保証された」の同義語ではありません。取得器が最良のソースを見落とすことも、ソースが誤っていたり古かったりすることも、生成器が受け取った内容を誤って述べることもあります。

さらに深く知るには、グラウンディングとRAGを参照してください。

7. 回答の生成と引用

モデルは、文章、手順、表、リンク、画像、商品カードなど、インターフェースに適した回答を組み立てます。その後、引用レイヤーが主張またはパッセージと、プロダクトが選んだソースを関連付けます。

次の3つの問いを分けて考えてください。

1. ソースは取得されたか。 フェッチまたは候補化が行われた可能性があります。
2. ソースは回答に影響したか。 利用可能なコンテキストと生成経路は観測できないことがあります。
3. 表示された引用は添付された主張を裏付けるか。 ソースを正確な記述と照合する必要があります。

生成検索の検証可能性を調べた研究では、対象となったプロダクトと2023年のサンプルに、引用の完全性と裏付けに関する問題が見つかりました。これは日付のある監査結果として扱い、現在のシステムに対する恒久的なエラー率とはみなさないでください。

さらに深く知るには、AI引用と取得・言及・引用を参照してください。

8. 鮮度と知識カットオフ

「現在」はスイッチではなく連鎖です。回答は次の要因によって制限されます。

• 元のソースが変更された時点
• クローラーまたはコネクターが取得した時点
• インデックスまたはベクトル表現が更新された時点
• このリクエストで取得が実行されたか
• キャッシュとプロダクトの更新スケジュール
• モデルのパラメトリック知識のカットオフ
• モデルが古いパターンではなく新しい証拠を選んだか

取得によって、言語モデルを再学習しなくても新しい証拠を利用できるようになります。しかし、最も新しいソースが発見、インデックス登録、取得、利用されたことまでは保証しません。時間に敏感な判断では、日付と一次証拠を必ず確認してください。

さらに深く知るには、コンテンツの鮮度と知識カットオフを参照してください。

9. マルチモーダル検索

クエリと証拠はテキストである必要がありません。システムは画像、音声、動画、カメラ入力、またはメディアとテキストの組み合わせを受け取り、取得できます。テキストや視覚表現を作成し、物体や場面を認識し、サブクエリをファンアウトして、複数形式の回答を生成することもあります。

Googleの公式のマルチモーダルAI Mode発表は、LensとGeminiを使って画像を理解し、構成要素を特定し、複数の関連検索を発行する方法を説明しています。これは1つのプロダクトの実装と展開の説明であり、すべてのAI検索エンジンが共有する標準ではありません。

さらに深く知るには、マルチモーダル検索を参照してください。

10. 不確実性とハルシネーション

すべての段階で不確実性が生じる可能性があります。

• 発見でソースを見落とす
• 解析でコンテキストが失われる
• チャンクが証拠を不適切に分割する
• クエリ分解で間違ったサブクエリを尋ねる
• 取得がもっともらしいが無関係なパッセージを返す
• 再ランキングが不完全なソースを押し上げる
• ソース自体が誤っている、または古い
• 生成が証拠と矛盾し、証拠を過度に拡張し、または証拠を超えて作り出す
• 引用の配置が、存在しない裏付けを示唆する

NISTのGenerative AI Profileは、自信を持って提示された偽情報や誤った内容を、一般にコンファビュレーションと呼ばれるリスクとして扱います。RAGは証拠を供給することで一部の失敗モードを減らしますが、独自の取得・統合の失敗モードも加えます。

さらに深く知るには、AIハルシネーションとAIハルシネーションの監視を参照してください。

TL;DR — AI検索システムは、遅延とコンテキストの制約の下で動く証拠パイプラインです。ソース取得がバージョン管理されたコーパスを作り、語彙・ベクトル・グラフ・ツールの表現が候補生成を支えます。クエリ計画は分岐し、取得は再現率を最適化し、再ランキングとコンテキスト構築は適合率と網羅性を最適化します。生成器は指示に従って回答を組み立て、帰属レイヤーは出力の主張をソースへ戻します。流暢な最終回答だけでは、どこで証拠が失われたか分からないため、品質は段階ごとに評価しなければなりません。

AI検索を証拠のサプライチェーンとして扱う

出力の信頼性は、それを生み出した連鎖の信頼性を超えません。各段階を系譜として記録します。

この系譜がなければ、「AIが間違えた」は診断になりません。

ソース取得はクロールより広い

ウェブクロールは取得経路の1つにすぎません。エンタープライズ検索やプロダクト検索は、次のような経路を混ぜることがあります。

• ウェブインデックス
• 社内ドキュメントコネクター
• データベースとAPI
• ナレッジグラフの参照
• コマース、旅行、ローカルなどの垂直型フィード
• ユーザーファイルと会話の添付ファイル
• ライブのツール呼び出し

各経路には、独自の権限、タイムスタンプ、重複除去、来歴があります。同じ事実を、更新時刻の異なるウェブページ、フィード、グラフから取得することもあります。したがって「ソース」とはURLだけではなく、バージョン管理された記録です。

異なる仕事のために複数の表現をインデックス化する

語彙インデックスは正確な文字列とフィールド統計を保持します。密ベクトルはモデルに依存する類似性を符号化します。疎な学習表現は、意味的な挙動と語彙的な挙動の一部を橋渡しできます。グラフは明示的なエンティティと関係を保持します。メタデータは、フィルター、権限、言語、地域、日付、ソース種別を支えます。

どの表現も普遍的に最善ではありません。正確な商品識別子、法的引用、エラーコードは語彙マッチングに向いています。言い換えや概念的に関連する質問は、密な取得の恩恵を受けることがあります。構造化された制約は、ベクトルの近さから推測せず、明示的に保つべきです。

ハイブリッド取得の研究は、検証したコレクション上で意味的候補集合と語彙的候補集合が補完し合えることを示す有用な証拠です。ただし、1つの融合設計がすべてのコーパスで勝つという証明ではありません。

クエリ計画は取得対象を変える

会話形式のリクエストには、複数のタスク、暗黙の比較、時間的制約、フォローアップのコンテキストが含まれることがあります。計画によって次のものを作れます。

• 単独で意味が通るように書き換えたクエリ
• 固有表現または意図の制約
• 別々の観点のサブクエリ
• ソース種別またはツールの選択
• 初期の証拠が後続の取得を引き起こす反復計画

Googleが文書化しているクエリファンアウトは公開例の1つです。Microsoft Azure AI Searchのセマンティックランカーも、再スコアリング前にクエリ書き換えのバリエーションを使う、別の文書化された例です。どちらの実装からも、プロバイダー全体のアーキテクチャを推測しないでください。

候補生成と再ランキングは目的が異なる

候補生成は通常、大きなコーパスを検索できるほど低コストで、再現率を保てるほど広く行われます。再ランキングはより高コストで、少ない項目を見ながら、クエリとドキュメントの相互作用を深く評価できます。

ここには厳しい上限があります。取得に一度も含まれなかった関連ソースを、再ランカーは救えません。Microsoftは、セマンティックランカーがコーパス全体を再検索するのではなく、既存の上位集合を再ランキングすると明記しています。他のシステムでは、深さ、モデル、反復取得が異なる可能性があります。

出版社にとっての実務的な教訓は、「再ランカー向けに書く」ことではありません。重要な事実を発見可能にし、チャンク化を越えて保てる程度に自己完結させ、正確さが重要な箇所では正確にし、限定条件を主張から切り離さず意味を明確にすることです。

コンテキスト構築は配分の問題

システムには、生成器へ送れる量を超える候補証拠があります。そのため、有限のコンテキスト予算を次の対象へ配分しなければなりません。

• システムと安全性の指示
• 会話履歴
• ツールの定義と出力
• 取得したソース
• 多様なサブトピック
• ソースのメタデータと引用マーカー
• 生成する回答のための余地

重複除去、パッセージの多様性、順序、圧縮、切り詰めによって、モデルが見る内容は変わります。ソースが高順位でも、パッセージ選択の際に決定的な限定条件を失うことがあります。だからこそ、ページ単位の取得と回答単位の裏付けは異なります。

グラウンディングの品質には複数の側面がある

少なくとも次を評価してください。

1. 取得の適合性： 候補は質問に答えていたか。
2. 取得の網羅性： 重要なサブクエリをすべてカバーしていたか。
3. ソース品質： ソースは主張に対して権威があり、十分に新しかったか。
4. 忠実性： 回答は提供された証拠の範囲内にとどまったか。
5. 事実性： 適切な外部参照証拠に照らして主張は真か。
6. 引用の含意： 引用された各ソースは関連する主張を裏付けるか。
7. 引用の完全性： 外部検証が必要な重要主張に引用があるか。
8. キャリブレーション： 証拠が弱い、または衝突しているとき、回答は不確実性を表現するか。

悪いソースに忠実な回答でも、事実としては間違っていることがあります。逆に、モデルの記憶から事実として正しく答えていても、表示された引用では裏付けられないことがあります。各側面を分けて扱ってください。

引用はプロダクトの層であり、因果関係の証明ではない

引用の構築は生成中、生成後、または別の主張・ソース対応付け処理で行われます。公開インターフェースからは、どの取得パッセージがモデルのコンテキストに入り、どのトークンに影響し、なぜ特定のソースに表示上のクレジットが与えられたのかは、通常分かりません。

したがって、次のように考えます。

• クローラーのリクエストはリクエストの証拠であり、引用ではない。
• 引用は目に見える帰属であり、ランキングの証明ではない。
• ソースリストは、すべての主張が裏付けられている証明ではない。
• 言及されたブランドが、必ずしもリンクされたソースとは限らない。
• クリックは後続のユーザー行動であり、生成がどう動いたかの証拠ではない。

鮮度には複数の時計がある

ソースの公開、ソースの更新、取得、解析、インデックスのコミット、埋め込み生成、取得、回答生成、評価について、別々のタイムスタンプを追跡してください。

古いソースでも正しいことがあります。新しくクロールしたページに古い事実が含まれることもあります。ライブ検索がキャッシュされた表現を取得することもあります。パラメトリックなカットオフが古いモデルでも、新しく取得した証拠から回答できる一方、取得が不完全なときは古いパターンへ戻ることがあります。

時間に敏感な回答では、生成器は日付のある一次ソースを優先し、実効日を示し、衝突を表面化し、証拠で解決できない場合は回答を控えるか限定を付けるべきです。

マルチモーダル取得には対応付けの問題が加わる

マルチモーダルシステムは画像とテキストを共有または関連付けられた表現へインデックス化し、視覚モデルで領域や物体を特定し、音声を書き起こし、動画をサンプリングし、モダリティをまたいで取得することがあります。メディア項目、そのキャプション、周囲のページ、タイムスタンプ、作成者、ソースの権利の関係を保持しなければなりません。

視覚的に似た画像が、同じ事実の証拠とは限りません。書き起こしでは視覚的な限定条件が抜けることがあります。物体を切り抜くと場面のコンテキストを失うことがあります。取得の適合性とモダリティ間のグラウンディングの両方を評価してください。

スポークへ深さを振り分ける

このハブはエンドツーエンドのアーキテクチャを扱います。実装の深掘りは次のページが担当します。

• LLMとトークン／コンテキストウィンドウ
• クエリファンアウト
• チャンク化と埋め込み
• セマンティック検索、ベクトル検索、ハイブリッド検索
• パッセージランキングと再ランキング
• グラウンディングとRAG
• AI引用
• 鮮度と知識カットオフ
• マルチモーダル検索
• AIハルシネーション
• 1つのプロダクト固有の応用例としてのAI Overviews

意思決定者向けの見方

AI検索は、単一のモデルではなく、システム、ベンダー、データ、意思決定の連鎖です。事業上のリスクと機会は、その連鎖全体に存在します。

• 網羅性のリスク： 有用なソースが存在しない、またはアクセスできない。
• 鮮度のリスク： ソースとインデックスの時計が意思決定と一致しない。
• 取得のリスク： 関連する証拠がモデルへ届かない。
• 統合のリスク： モデルが証拠を誇張または歪曲する。
• 帰属のリスク： 引用がない、位置が違う、または裏付けがない。
• 測定のリスク： 可視性、引用、トラフィック、コンバージョンを混同する。
• ガバナンスのリスク： 回答経路を再現または訂正できる担当者がいない。

「RAGを追加した」ことを、完全な精度管理として承認しないでください。段階ごとの評価、ソースの系譜、アクセス制御、日付のあるテストセット、影響の大きい判断での人間へのエスカレーション、悪いソースと出力からの復旧経路を求めてください。

公開戦略では、クロール可能で、インデックス登録可能で、明確で、最新で、十分なソースのあるコンテンツへの投資を続けてください。Googleは、通常の検索の適格性を超える追加の技術要件はAI機能にはないと述べています。可視性はプロダクトの結果であり、マークアップによって請求できる権利ではありません。

AI検索の仕組み：圧縮版

1. ソースはクロール、接続、アップロード、ライセンス、またはツール経由のフェッチで入る。
2. システムはソースを検索可能なフィールド、チャンク、語彙インデックス、ベクトル、エンティティ、メタデータへ解析する。
3. クエリを解釈し、書き換えたりサブクエリへ分解したりすることがある。
4. 語彙、ベクトル、グラフ、またはハイブリッド取得で候補を作る。
5. ランキングと再ランキングで、より小さく、適合性と多様性のある証拠集合を選ぶ。
6. RAG／グラウンディングで、選択した証拠をモデルの有限なコンテキストへ入れる。
7. プロダクトと安全性の指示に従ってモデルが回答を生成する。
8. 帰属レイヤーが引用またはソースを表示する。
9. 鮮度は複数のソース、インデックス、取得、モデルの時計に依存する。
10. すべての段階で失敗し得る。根拠付き・引用付きでも、真実が保証されるわけではない。

プロバイダーによってアーキテクチャは異なります。公開ドキュメントがこのモデルの一部を裏付けるからといって、すべての商用システムが同じパイプラインを実装しているという主張にはなりません。

一次資料と研究資料

プラットフォームのドキュメント

• Google：検索の仕組み — ウェブ検索の基盤であるクロール、インデックス登録、配信。
• Google：AI機能とウェブサイト — クエリファンアウト、補助リンク、インデックス／スニペット適格性、追加の技術要件がないこと。
• Google：AI Modeのマルチモーダル検索 — 画像理解、物体特定、ファンアウトを組み合わせるプロダクト例。
• OpenAI：ウェブ検索ツール — APIプロダクトでの現在のウェブ取得、引用、ソース表示。
• Microsoft：ハイブリッド検索 — 同時に行うテキスト／ベクトル取得と結果の融合。
• Microsoft：セマンティックランカー — 既存候補集合のクエリ書き換えと再ランキング。
• NIST Generative AI Profile — コンファビュレーションなど生成AIのリスク管理の枠組み。

条件付きで読む研究資料

• 知識集約型NLPタスクのための検索拡張生成 — 指定されたタスクにおける基礎的なRAGアーキテクチャと評価。
• 語彙取得と意味取得のハイブリッド — 検証したコレクション上の相補的な取得の証拠。
• 生成検索エンジンの検証可能性の評価 — 引用の裏付けと完全性に関する、日付のある2023年の監査。現在の普遍的な率ではない。
• RAGシステムを設計する際の7つの失敗点 — RAGが取得とモデルの失敗モードを引き継ぐことを示す経験報告の証拠。

AI検索システムを過剰な主張なしに説明する

• プロダクト、表示面、国、アクセス層、日付、クエリモードを明記する。
• 文書化された挙動と、一般的なアーキテクチャまたは推測を分ける。
• ソース取得の経路とアクセスルールを特定する。
• 可能な範囲で、ソース、取得、インデックス、検索、回答のタイムスタンプを記録する。
• ドキュメント取得、パッセージ取得、モデルコンテキスト、表示された引用を区別する。
• 取得が語彙、ベクトル、ハイブリッド、グラフ、ツールベース、または不明のどれかを示す。
• 生成を評価する前に取得を評価する。
• ソースリストだけでなく、重要な各主張を引用ソースと照合する。
• 引用の可視性、紹介トラフィック、事業成果を分ける。
• 矛盾した証拠、欠落した証拠、古い証拠、敵対的な証拠をテストする。
• 証拠が不十分な場合の回答保留またはエスカレーション経路を用意する。

S-Q-R-G-Cフレームワーク

S — Sources（ソース）

どのコーパス、フィード、ツール、バージョンを利用できるか。アクセスと鮮度を誰が管理しているか。

Q — Query plan（クエリ計画）

リクエストはどのように解釈、書き換え、分解、フィルタリング、ルーティングされるか。

R — Retrieval and reranking（取得と再ランキング）

どの表現が候補を生成し、どのモデルまたはルールが候補を絞り込むか。

G — Grounded generation（根拠付き生成）

どの証拠がコンテキストに入り、どの指示がモデルを制約し、いつ回答を控えるべきか。

C — Citations and checks（引用と検証）

主張はどのように帰属、検証、監視、訂正、測定されるか。

このフレームワークを使って、証拠と所有者を特定してください。観測していない内部処理を知っているかのように、スコアへ変換しないでください。

回答はどこで失敗したか

権威あるソースはシステムから利用可能だったか。

• いいえ、または不明 → クロール、コネクター、権限、フィード、インデックスの網羅性を調べる。
• はい → 続ける。

実際のクエリまたはサブクエリに対して、正しいパッセージが取得されたか。

• いいえ → クエリ計画、チャンク、フィルター、語彙／ベクトル再現率、鮮度を調べる。
• はい → 続ける。

再ランキングとコンテキスト構築は、決定的な証拠と限定条件を保持したか。

• いいえ → 候補の深さ、多様性、切り詰め、重複除去、順序を調べる。
• はい → 続ける。

回答は提供された証拠に忠実だったか。

• いいえ → 指示、モデルの挙動、衝突、回答保留のロジックを調べる。
• はい → 続ける。

表示された引用は、添付された主張を含意するか。

• いいえ → 主張とソースの対応付けと引用生成を修復する。
• はい → 事実性、完全性、キャリブレーション、安全性、ユーザーの成果を評価する。

AI検索のアンチパターン

• 「LLMがインターネットを検索した。」 すべての段階をモデルに割り当てず、検索ツール、インデックス、コネクター、または不明な取得経路を明記する。
• 「ベクトル検索がキーワードを置き換えた。」 完全一致取得と意味取得は異なる再現率の問題を解くため、多くの実運用例は両方を組み合わせる。
• 「最高順位のページが引用になる。」 ファンアウト、パッセージ取得、再ランキング、生成によって、ソース集合は異なることがある。
• 「RAGがハルシネーションをなくす。」 取得は証拠と来歴を加えるが、生成の前、中、後で失敗し得る。
• 「引用が裏付けを証明する。」 引用されたパッセージを具体的な主張と照合する。
• 「ライブ検索なら最新である。」 ソース、取得、インデックス、検索、キャッシュの時計は異なることがある。
• 「すべてのAI検索エンジンがこの正確なパイプラインを使う。」 プロバイダー固有の事実と一般的な思考モデルを分ける。
• 「1つの可視性の数字が成果を説明する。」 言及、引用、紹介、コンバージョン、訂正済みの正確な回答は異なる成果である。

よくある症状と復旧経路

システムが無関係なページを引用する

• 確認： クエリ、取得されたパッセージ、添付された主張、ソースの日付を比較する。
• 考えられる層： クエリ計画、取得、再ランキング、帰属。
• 復旧： ソースのフィールド／チャンク、取得テスト、再ランキング、主張とソースの対応付けを改善する。

正しいソースはインデックスにあるが存在しない

• 確認： どのシステムとバージョンで「インデックス登録済み」なのか。このプロダクト、フィルター、ロケール、時点でソースは適格だったか。
• 考えられる層： クエリ表現、候補の深さ、フィルター、再ランキング。
• 復旧： ラベル付きのクエリセットで再現し、各段階を調べる。1つの出力からペナルティを推測しない。

ライブ取得なのに回答が古い事実を使う

• 確認： ソース更新、フェッチ、インデックス、キャッシュ、取得、回答のタイムスタンプ。
• 考えられる層： 鮮度メタデータ、ランキング、コンテキスト選択、パラメトリック知識へのフォールバック。
• 復旧： 日付のある一次ソースを優先し、表現を更新し、日付を表示し、解決していない衝突では回答を控える。

引用はあるが主張を裏付けていない

• 確認： 主張ごとに含意を評価する。
• 考えられる層： 生成または帰属。
• 復旧： 明示的な証拠スパンから生成し、別の裏付けチェックを実行し、近くにリンクを足すのではなく裏付けのない記述を削除する。

マルチモーダル入力が間違った物体またはコンテキストを生成する

• 確認： 選択された画像領域、OCR／書き起こし、物体ラベル、周囲のページ、後続クエリを調べる。
• 考えられる層： 知覚、モダリティ間の表現、取得、生成。
• 復旧： ユーザーによる訂正を許可し、場面のコンテキストを保ち、裏付けとなるテキストまたは構造化証拠を取得する。

パイプラインを段階ごとにテストする

取得再現率テスト

• 関連する既知のソースとパッセージを含む、日付のあるクエリセットを作る。
• 再ランキング前に、期待した証拠が候補集合へ入るかを測定する。
• 見落としを、完全一致語、言い換え、エンティティ、日付、ロケール、モダリティで分ける。

再ランキングテスト

• 候補集合を固定し、決定的なパッセージが選択した上位集合に残るかを比較する。
• 1つのソースの繰り返しより多様性が重要になる、複数部分の質問を含める。

忠実性テスト

• レビュアーに回答と、モデルへ提供された正確なコンテキストを渡す。
• 裏付け、矛盾、裏付けなしの主張を印付けする。
• コンテキストが答えられないとき、システムが回答を控えるかをテストする。

引用テスト

• 引用の存在、配置、含意、完全性を別々に確認する。
• ソースリストのURLを、回答のすべての文の裏付けとして数えない。

鮮度と衝突のテスト

• 管理対象のソースを更新し、パイプラインのすべてのタイムスタンプを記録し、新しい事実がいつ取得・利用可能になるかを観察する。
• 日付と権威性の異なるソースを衝突させ、回答が混ぜ合わせるのではなく衝突を表面化するかを評価する。

マルチモーダルテスト

• 物体は似ているがコンテキストが異なる画像または動画フレームを使う。
• 各段階で物体選択、テキスト抽出、取得、ソース帰属を検証する。

各段階を分離する指標

コーパス、クエリセット、判定者、モデルバージョン、日付、ロケール、タスクを定義せずに、普遍的な「良い」しきい値を公開しないでください。同じ評価契約を時間を通じて追跡し、モデル、インデックス、プロダクトに重要な変更があった後は基準を取り直します。

AI検索ライブラリを読み進める

パイプラインの構成要素

• クエリファンアウト
• チャンク化
• 埋め込み
• セマンティック検索
• ベクトル検索
• ハイブリッド検索
• 再ランキング
• グラウンディング
• 検索拡張生成
• AI引用
• コンテンツの鮮度
• 知識カットオフ
• マルチモーダル検索
• AIハルシネーション

一次資料と研究

• Google：AI機能とウェブサイト
• OpenAI：ウェブ検索ツール
• Microsoft：ハイブリッド検索
• Microsoft：セマンティックランカー
• 基礎的なRAG論文
• NIST Generative AI Profile

この記事では、Patrick Stox本人の経験や、非公開のAI検索システム実装を主張していません。既存のPatrick／Ahrefsの研究は観測されたAI可視性の成果には役立つ可能性がありますが、プロバイダーの非公開内部処理を主張するためには使っていません。

理解度チェック：AI検索の仕組み

変更履歴