マルチモーダル検索

テキスト、画像、動画、音声を横断する検索の仕組みを解説します。Google Lens、かこって検索、AI Mode、MUMと、最適化について検索エンジンが実際に確認している範囲を整理します。

初回公開:2026年7月3日 · 最終更新:2026年8月9日 · Advanced
言語

マルチモーダル検索は、テキスト、画像、動画、音声という複数のモダリティを組み合わせて問い合わせ、取得する仕組みです。Google Lens、かこって検索、音声検索、マルチモーダルなAI Modeでは、写真と追加質問を一つのクエリとして扱えます。技術的な基盤の一例は共有埋め込み空間で、異なる入力を意味に基づいて比較できます。ただし、検索エンジンが公表しているのは主にクエリ理解や製品機能であり、個々の画像や動画フレームを対象にした独立の「マルチモーダル順位シグナル」は確認されていません。実務では、説明的なaltテキストとファイル名、正確な文字起こしと字幕、適切な構造化データ、視覚・音声クエリの意図へ直接答える本文を整えます。

TL;DR — マルチモーダル検索は、一つの操作でテキスト、画像、動画、音声を横断して問い合わせ、取得する仕組みです。技術的な基盤の一例は共有埋め込み空間で、異なるモダリティを同じベクトル空間へ符号化し、意味で照合します。Googleの公開上の流れは、音声・画像検索から、2021年のマルチモーダルモデルMUMGoogle Lensかこって検索、Geminiを使うAI Modeへ続きます。公式に確認できるのは主に複数モダリティのクエリ理解です。個々の画像や動画フレームが独立の「マルチモーダルシグナル」で順位付けされるという主張は業界理論です。持続的な施策は、説明的なaltテキストとファイル名、文字起こしと字幕、適切な構造化データ、視覚・音声クエリが含意する質問への明確な回答です。

「マルチモーダル」が実際に意味すること

共有表現の研究は、モダリティ横断取得の一つの方法を示すもので、普遍的な本番構成を示すものではありません。 Evidence for this claim CLIP learns joint image-and-text representations from paired internet data and supports zero-shot image classification. Scope: CLIP research results; multimodal search products may use different models, training data, and ranking pipelines. Confidence: high · Verified: Radford et al.: Learning Transferable Visual Models 検索製品の説明は機能を示しますが、順位付けの完全な仕組みまでは公開していません。 Evidence for this claim Google Multisearch lets users combine an image with text to refine a search. Scope: Google's documented consumer search feature; it does not define all multimodal retrieval systems. Confidence: high · Verified: Google: Multisearch

モダリティは情報の経路、つまり文章、画像、話し声、動画です。ユニモーダルシステムは一種類を扱います。マルチモーダルシステムは複数を入力または出力として扱い、別々の処理を単に連結するのではなく、重要な点としてまとめて推論します。

マルチモーダル検索は「画像検索」より広く、この違いは重要です。

  • 画像検索画像を探します。目的物は画像です。
  • マルチモーダル検索は、画像、音声、動画をクエリの一部として使い、商品一覧、手順、定義、地図上の場所など、あらゆる種類の結果を返せます。カメラは入力装置であり、探している対象そのものではありません。

「壊れた部品へカメラを向け、直し方を尋ねる」のはマルチモーダル検索で、「その部品の写真を探す」のは画像検索です。Google Lensは両方を行うため、境界が曖昧に見えます。

一つの製品説明で混同されやすい三つの問いを分けることも重要です。クエリが受け付けるモダリティは何か、取得候補コンテンツのモダリティは何か、生成出力のモダリティは何か、という問いです。画像入力を受け付ける機能が、必ず画像結果を取得したり画像を出力したりするわけではありません。壊れた部品の写真からテキストページを取得し、文章で回答する場合もあります。一つの能力が確認されても、ほかの二つは確認されたことになりません。機能ごとに提供者の文書を確認してください。

技術的な基盤:一つの共有空間

Multimodal retrieval works when different input types can be compared by meaning in one shared space. 出典: /ai-search/how-search-works/embeddings/

Text queries, image queries, and audio or video queries are encoded into a shared semantic embedding space. Meaningfully similar items land near one another, allowing a nearest-neighbor search to retrieve relevant content across input types. The diagram is a conceptual model, not a claim about a specific Google ranking formula.

© Patrick Stox LLC · CC BY 4.0 ·

画像と語句を比較できる理由は共有表現です。エンコーダーモデルはテキスト、画像、音声、動画を同じ高次元の埋め込み空間へ写像し、意味の近さを幾何学的な距離として表します。植物の写真と「この植物の育て方」という文字列は近くに配置され、近傍探索で結び付けられます。

セマンティック検索RAGの取得段階と同じ仕組みをテキスト以外へ広げたものです。処理は別々の段階に分かれ、一段階の能力が確認されても、ほかの段階の能力を証明しません。

  1. 入力理解。 画像+テキストや音声質問などのクエリを、次段階が必要とする表現へ解析します。
  2. 埋め込み。 クエリ表現と各候補コンテンツを共有ベクトル空間へ符号化します。
  3. 取得。 ベクトル検索が幾何学的距離で最も近い候補を探します。
  4. 再ランキング。 埋め込み距離以外のシグナルも使い、取得候補を並べ直します。
  5. 生成。 AI機能では、上位候補を根拠としてグラウンディングし、回答を合成します。

埋め込み、チャンク化、ベクトル検索、グラウンディングを理解していれば、マルチモーダル検索の配管も理解できます。新しい点は、エンコーダーが複数のモダリティを扱うことです。

名称のある研究システムであり、本番構成の確認ではありません。 共同埋め込みの考え方は仮説だけではありません。OpenAIのCLIPとGoogleのALIGNは、画像とテキストのペアを使い、両方のエンコーダーを一つの共有空間で学習しました。MetaのImageBindは、画像、テキスト、音声、深度、熱、動きという六つのモダリティへ拡張しました。これらは固有のデータセットと評価を持つ公開研究で、共有空間の構築方法を理解する助けになります。ただし、特定の商用検索エンジンが同じ設計を本番で使う証拠ではありません。出力挙動だけでは、共有埋め込み、別の融合方法、各モダリティの重みを判別できません。

Googleが公開してきた流れ

Googleが確認しているマルチモーダル検索への歩みを、おおよその順序で示します。

  • 音声検索と画像検索(2010年代)。 話し言葉のクエリと逆画像検索は、初期の主流な非テキスト入力でした。
  • MUM(Multitask Unified Model、2021年)。 マルチモーダル化を示すGoogleの公表上の節目です。GoogleはMUMを、“understand information across text and images” (翻訳)「テキストと画像を横断して情報を理解」できるマルチモーダルモデルで、“1,000 times more powerful than BERT” (翻訳)「BERTの1,000倍強力」と説明しました。75言語で学習し、言語の理解と生成ができます。重要な留保として、MUMはGoogleの一般的な順位付けエンジンではありませんでした。 複雑な多段階質問、一部の強調スニペット、ショッピングなど、限定された高複雑度の用途に使われ、BERTを「置き換えた」わけではありません。
  • Google Lens。 カメラを大規模なクエリ入力として使い、物体識別、画像内テキストの翻訳、視覚ショッピング、撮影した問題の解決を行います。
  • かこって検索。 Android画面上の対象を囲む、ハイライトする、タップすることで、アプリを切り替えず検索します。
  • AI Mode(Gemini時代)。 画像と音声・文字の追加質問を一つの操作として受け取り、多数のサブクエリへ展開し、出典付きの合成回答を返します。マルチモーダル入力と、このクラスターで説明するエージェント型のRAG取得が交わる機能です。

MicrosoftにもBing Visual SearchCopilot Visionがあり、Bing側で同様の役割を担います。マルチモーダル検索はGoogleだけの現象ではありません。

取得前に起こり得る失敗

きれいなテキスト以外のモダリティは、共有空間で照合する前に変換段階を通ります。そこで生じた誤りは、その後の取得段階には見えません。マルチモーダルモデルに関する提供者の技術文書でも、この種類の制約が説明されています。

  • OCRの誤り — 看板、スクリーンショット、ラベルなど画像内の文字は、低解像度や見慣れない書体で誤読されることがあります。
  • 音声認識の誤り — 音声や動画内の単語を誤って文字起こしすると、その誤りが埋め込みと取得へ伝わります。
  • フレーム抽出 — 動画は全フレームを理解するとは限らず、一部を抽出するため、抽出間にしか現れない内容を見落とすことがあります。
  • 切り抜きと解像度 — 低解像度や狭く切り抜いた画像では、元の場面より情報が少なくなります。
  • 言語 — 一つの言語での精度は別の言語の精度を保証せず、OCRと音声認識はいずれも言語で性能が変わります。
  • 文脈不足 — 周囲のページ文脈、キャプション、altテキスト、文字起こしから切り離された画像や動画には、理解の手掛かりが少なくなります。

これらは特定の提供者だけの問題ではありません。「モデルがXを見たり聞いたりできる」という主張は慎重に扱うべきです。明るく高解像度のきれいな例で動く能力が、より複雑な現実の入力でも動くとは限りません。

確認済み事項と理論の境界

過剰な主張が多い分野なので、慎重に書き分ける必要があります。

十分に確認されていること:

  • 検索エンジンは、画像、音声、画面上で囲む操作などのマルチモーダルクエリを受け付け、理解します。実際に提供されている製品です。
  • AI回答の取得は埋め込みやセマンティック取得による意味ベースで、AI Modeでは中核のSearchインデックスを根拠にします。別の「AIインデックス」はありません。
  • GoogleはAI機能が中核のSearch順位付け・品質システムに依存すると明記しており、クロール → インデックス → 取得の連鎖が、コンテンツを表示できるかどうかを引き続き左右します。

業界理論として明示すべきこと:

  • Googleが個々の画像や動画フレームを、単独で最適化できる別個の「マルチモーダル順位シグナル」として順位付けするという主張。Googleは「マルチモーダル順位要因」を公表しておらず、Web規模で視覚・音声コンテンツをフレーム単位にどこまで理解するかは一部しか文書化されていません。
  • マルチモーダルクエリで、画像と付随テキストへ割り当てる正確な重み。具体的な比率は推測として扱います。

安全な解釈は、Googleが確認していない仕組みではなく、複数モダリティで理解・取得できる状態を最適化することです。

SEOへの意味

誇張を取り除けば、施策は具体的で見慣れたものです。

  • 画像を機械が読めるようにする。 説明的なaltテキスト、意味のあるファイル名、必要に応じた画像構造化データを使います。視覚理解が向上しても、altテキストは画像内容を伝える助けになります。
  • 音声と動画をテキスト化する。 文字起こし、字幕、明確な周辺文脈により、話された内容を取得・引用できます。文字起こしのない動画は回答の根拠にしにくくなります。
  • 適切な構造化データを使う。 ProductImageObjectVideoObjectRecipeなどのマークアップで、視覚・音声クエリへ結び付ける事実を明示します。
  • 含意された質問へ答える。 視覚クエリには「これは何か」「どこで買えるか」「どう直すか」という意図があります。自己完結した文章で直接答えると取得しやすくなります。パッセージランキングやRAGでも役立つ明瞭さです。
  • 前提条件は変わらない。 マルチモーダル回答も中核インデックスから取得するため、最初にクロール・インデックス可能である必要があります。クロールグラウンディングRAGで扱う同じ連鎖です。

いずれも保証ではありません。Googleの画像・動画文書は、altテキスト、文字起こし、構造化データを、検索エンジンによる発見・理解・関連付けを助ける表示資格と理解の補助として説明しています。文書化された順位式への入力ではありません。施策によって取得・引用しやすくなりますが、取得、引用、順位、生成回答の正確さは保証されません。

一文で言えば、マルチモーダル検索は入口を広げましたが、その奥の仕組みを置き換えてはいません。 見つけられる状態にし、画像・メディアの内容を明確にし、クエリが含意する質問へ答えてください。

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.