ベクトル検索
AI検索が埋め込みベクトルを比較して関連コンテンツを見つける仕組み — ANNアルゴリズム(HNSW、ScaNN)、距離メトリクス、ハイブリッド検索、そしてSEOへの影響。
言語
ベクトル検索は、クエリの意味を保存されたコンテンツと埋め込みベクトルとして比較し、高次元空間で最も近いものを取得することでコンテンツを見つけます。大規模には、近似最近傍(ANN)アルゴリズム(HNSW、IVF、FAISS、ScaNN)を使用し、わずかな再現率を犠牲にして大幅な速度向上を実現します。なぜなら、数十億のベクトルをリアルタイムで正確に比較することは不可能だからです。これはセマンティック検索を実現する方法であり、同義語ではありません。また、AI Overviewsに供給されるものを含むすべてのRAGシステム内の取得ステップです。本番検索では単独で実行されることはほとんどなく、実際のパターンはハイブリッド(キーワードBM25 + ベクトル + 再ランキング)です。SEOに関しては調整できるノブはありません — ベクトルの近接性が候補プールへの新しいゲートであり、キーワード密度よりもトピック的に一貫したパッセージレベルの深さを評価します。
TL;DR — ベクター検索は、入力した正確な単語を一致させるのではなく、意味によってコンテンツを見つけます。クエリと保存されたすべてのドキュメントを数値のリスト(ベクター)に変換し、クエリの数値に最も近い数値を持つドキュメントを返します。これが、AI検索やチャットボットが回答の根拠となる文章を見つける方法です。
ベクター検索とは
ベクター検索は、埋め込み空間での近接性によってアイテムを取得し、多くの場合、スケールのために近似最近傍インデックスを使用します。 Evidence for this claim HNSW is an approximate nearest-neighbor method that organizes vectors in a multilayer navigable graph for efficient search. Scope: The HNSW algorithm and reported evaluations; production indexes may use different ANN methods and parameters. Confidence: high · Verified: Malkov and Yashunin: HNSW 類似度は、埋め込みモデル、距離関数、およびインデックス化されたデータに依存します。 Evidence for this claim Embedding vectors can be compared by distance to retrieve related items. Scope: OpenAI embedding guidance; retrieval quality depends on model choice, corpus, index, filters, and evaluation. Confidence: high · Verified: OpenAI: Embeddings guide
昔ながらのキーワード検索は単語を一致させます。「ウェブサイトの遅さを直す方法」を検索しても、ページに「サイトのパフォーマンスを改善する」と書かれている場合、純粋なキーワードエンジンは見逃すかもしれません。異なる単語、同じ意味です。
ベクター検索はそれを解決します。埋め込みモデルと呼ばれるモデルがテキストを読み取り、テキストの意味を捉える長い数値のリスト(ベクター)に変換します。同じことを扱うコンテンツは似た数値になるため、一種の数学的な地図上で近くに配置されます。ベクター検索はただ問いかけます:どの保存されたベクターがクエリのベクターに最も近いか?
つまり、「遅いウェブサイトを直す」と「サイトのパフォーマンスを改善する」は地図上で互いに近くに配置され、ベクター検索は単語が一致しなくても一致を見つけます。
シンプルなメンタルモデル
ウェブ上のすべてのページが巨大な地図上の点として配置され、同じトピックに関する点が互いに近くに配置されていると想像してください。すべての犬のページがある地区に、すべての税金のページが別の地区に。検索すると、クエリも点になります。ベクター検索は最も近い点を見つけて返します。
それが全体のアイデアです。難しいのは、何十億もの点があるときにそれを高速に行うことです。それが次に理解すべきことです。
「近似」の理由
保存されたすべてのベクターに対してクエリをチェックするのは、ウェブスケールではあまりにも遅すぎます。そのため、実際のシステムは近似最近傍(ANN)アルゴリズムと呼ばれる賢いショートカットを使用します。すべての点をチェックするのではなく、地図を通る賢い経路を取り、数ミリ秒でほぼ完璧に最も近い点を見つけます。「ほぼ」で十分です。何百万もの中で19番目に良い結果を逃しても答えは変わりませんし、得られる速度は莫大です。
これがあなたにとって重要な理由
AI回答(GoogleのAI Overviews、ChatGPT検索、Perplexity)では、システムはまず関連する文章をいくつか取得し、それらから回答を書きます。その取得ステップがベクター検索です。コンテンツが質問と意味的に近くなければ、候補リストに入ることはなく、引用されることもありません。
「ベクター検索に最適化する」ためのトリックはありません。それが報いるのは、良いコンテンツが常に必要としたもの、つまり明確で、本当にトピックに沿った、深みのある文章です。薄くてキーワードを詰め込んだページは、地図上の一貫した地区に配置されないため、取得されません。
アルゴリズム(HNSW、ScaNN)、距離メトリクス、Googleが実際にこれをどう使っているか、そしてSEO全体の全体像を知りたいですか?Advancedタブに切り替えてください。
TL;DR — ベクター検索は、高次元の埋め込み空間でクエリベクターに最も近いベクターを取得し、近似最近傍(ANN)アルゴリズム(HNSW、IVF、FAISS、ScaNN)を使用します。なぜなら、数十億のベクターに対する正確な比較はリアルタイムでは不可能だからです。ANNは設計上近似です。わずかな再現率を桁違いの速度と引き換えにします。ベクター検索はセマンティック検索のメカニズムであり、同義語ではありません。また、すべてのRAGシステム(AI Overviewsを含む)内の取得ステップです。本番環境では単独で実行されることはほとんどなく、実際のパターンはハイブリッドです:BM25 + ベクター + 再ランキング。SEOに関しては調整するノブはありません。ベクターの近接性が候補プールへのゲートであり、トピック的に一貫した、パッセージレベルの深さを報います。
ベクター検索の位置づけ
ベクトル検索は、ランキングや生成に供給できる一つのコンポーネントであり、それ自体が完全な検索システムではありません。 Evidence for this claim HNSW is an approximate nearest-neighbor method that organizes vectors in a multilayer navigable graph for efficient search. Scope: The HNSW algorithm and reported evaluations; production indexes may use different ANN methods and parameters. Confidence: high · Verified: Malkov and Yashunin: HNSW 固定された距離閾値やインデックスアルゴリズムが普遍的に最適というわけではありません。 Evidence for this claim Embedding vectors can be compared by distance to retrieve related items. Scope: OpenAI embedding guidance; retrieval quality depends on model choice, corpus, index, filters, and evaluation. Confidence: high · Verified: OpenAI: Embeddings guide
埋め込みはベクトルを与えます。ベクトル検索は、それを使って行うことです。埋め込みが「ベクトルとは何か」という物語の半分なら、これは「最も近いものを見つける」という半分です。そして、業界が常に曖昧にしている区別について正確に述べる価値があります。セマンティック検索は目標であり、ベクトル検索はそれを達成するための一つの方法です。 セマンティック検索は、ナレッジグラフ、エンティティ認識、意図マッチングにも依存できます。ベクトル検索は、具体的には埋め込み空間上のANN検索を意味します。つまり、この二つは同義語ではありません。たとえ同じように使われていてもです。
ベクトル検索の仕組み:ステップバイステップ
パイプラインは、Googleであれ週末のRAGプロジェクトであれ同じです。
Documents are embedded and indexed before the search. At query time, the system embeds the query, searches an approximate-nearest-neighbor index, finds nearby vectors, and returns their corresponding documents as candidates.
© Patrick Stox LLC · CC BY 4.0 ·
- コンテンツを埋め込む。 エンコーダーモデルがコンテンツの各チャンクをベクトルに変換します。チャンクに注意してください。ベクトル検索はページ全体を比較するのではなく、パッセージを比較します。チャンキングは検索の単位であり、ページレベルのキーワード存在よりもパッセージレベルの密度が重要である理由です。
- インデックスを構築する。 ベクトルは、高速な最近傍検索用に構築されたベクトルインデックス(ANNインデックス、詳細は後述)に入ります。
- クエリを埋め込む。 クエリ時に、同じモデルがユーザーのクエリを同じ空間のベクトルに変換します。
- ANN検索を実行する。 インデックスは、クエリベクトルに最も近い上位k個のベクトル、つまり候補セットを返します。
- ランク付けして返す。 これらの候補はスコアリングされ、多くの場合再ランク付けされ、最良のものが提供されます(または、RAGではLLMに渡されて生成に使用されます)。
近似最近傍探索 — 「近似」の理由
正確な最近傍を見つけるには、クエリを保存されているすべてのベクトルと比較する必要があります。クエリあたりO(N)です。数十億のベクトルをミリ秒で処理するには、これは非現実的です。そこで本番検索ではANNを使用します。これは、比較の大部分をスキップしながら、最近傍をほぼ完璧に見つけるインデックス構造です。
Elasticが述べるように、ANNは*「完全な精度を犠牲にして、高次元の埋め込み空間で大規模に効率的に実行する」ものです。Weaviateは同じトレードオフを「わずかな精度を犠牲にして、速度を大幅に向上させる」と表現しています。これはバグではありません。ベクトル検索を可能にするエンジニアリング上の選択です。「近似の良さ」の指標は再現率です。Googleはこれを「インデックスによって返された最近傍のうち、実際に真の最近傍であるものの割合」*と定義しています。Google自身のVector Searchサービス(「Vertex AI Vector Search」からブランド変更され、現在はGemini Enterprise Agent Platformの下で文書化されています)は、95〜98%の再現率を報告しています。真の最近傍の数パーセントを犠牲にして、その代わりにウェブスケールでの検索を手に入れるのです。
主要なANNアルゴリズム
これらを実装する必要はありませんが、名前を知っておくと、AI検索に関する議論の多くが理解しやすくなります。
- HNSW(階層的ナビゲーション可能なスモールワールド) — 業界標準。上位層は長距離接続を持つ疎な「高速レーン」で高速な走査を実現し、下位層は精密なナビゲーションのための密な「ローカル道路」である多層グラフ。ほぼ対数検索複雑性を実現し、これが本番環境で支配的である理由です。Weaviate、Pinecone、pgvector、Qdrantなどで使用されています。欠点はメモリです:HNSWインデックスはRAMを大量に消費します。Pineconeの見解 — “HNSW gives us great search-quality at very fast search-speeds — but there’s always a catch — HNSW indexes take up a significant amount of memory.” (翻訳) 「HNSWは非常に高速な検索速度で優れた検索品質を提供しますが、常に欠点があります—HNSWインデックスはかなりの量のメモリを消費します。」
- IVF(転置ファイルインデックス) — 空間をクラスタ(k-means)に分割し、クエリ時にクエリに最も近い少数のクラスタのみを検索します(
nprobe)。Pineconeはこれを “a very popular index as it’s easy to use, with high search-quality and reasonable search-speed… a good scalable option.” (翻訳) 「使いやすく、高い検索品質と妥当な検索速度を備えた非常に人気のあるインデックスであり、優れたスケーラブルなオプションです。」と呼んでいます。 - FAISS — Facebook AIのライブラリ(Johnson、Douze、Jégou)で、数十億規模の類似性検索向け。単一のアルゴリズムではなくツールボックスです:フラットな完全一致ベースライン(
IndexFlatL2)、クラスタ化されたIVF、4〜64倍のメモリ圧縮を実現する製品量子化IVFPQ、そしてHNSW実装。そのGPU適応版はk-NN検索で8,5倍の高速化を報告しています。 - ScaNN(スケーラブルな最近傍探索) — Googleのライブラリで、オープンソース化されており、Google画像検索、YouTube、Google Playの背後にある技術と同じファミリーです。その革新は異方性ベクトル量子化です:平均距離を最小化する代わりに、“more heavily penalizes quantization error that is parallel to the original vector,” (翻訳) 「元のベクトルに平行な量子化誤差をより重く罰する」のです。なぜなら、方向性のある誤差は高内積(最も関連性の高い)結果に不釣り合いに害を及ぼすからです。その成果:ann-benchmarks.comで*“outperforms other vector similarity search libraries by a factor of two”* (翻訳) 「他のベクトル類似性検索ライブラリを2倍上回る」— 特定の精度で毎秒のクエリ数がおよそ2倍になります。
- フラット(完全一致)インデックス — 近似を一切行わず、総当たりで最も正確ですが最も遅い。Pineconeはフラットインデックスが*“produce the most accurate results”* (翻訳) 「最も正確な結果を生み出す」と述べており、検索品質が最優先される場合やインデックスが小さい場合(約10Kベクトル未満)に適切な選択です。その規模を超えると、ANNに移行します。
The through-line: every ANN index is a dial between recall, latency, throughput, and memory. As Weaviate puts it, most vector databases let you “configure how your ANN algorithm should behave… to find the right balance.”
距離メトリクス
「Closest」には定義が必要です。一般的なものは3つあります。
- コサイン類似度 — テキストのデフォルト。2つのベクトル間の角度を測定し、大きさを無視するため、同じトピックの短い文書と長い文書は同じようにスコアリングされます。Weaviate: “Cosine similarity is commonly used in Natural Language Processing… It measures the similarity between documents regardless of the magnitude.” (翻訳) 「コサイン類似度は自然言語処理で一般的に使用されます…大きさに関係なく文書間の類似度を測定します。」
- ドット積(内積) — 関連性が内積によって定義される場合に使用されます(ScaNNが最適化するMIPS問題)。
- ユークリッド距離(L2) — 直線距離。大きさが意味を持つ場合に使用されます。
実用的な近道はこれです:正規化されたベクトルでは、コサイン類似度とドット積は同じ順位付けを与えます。そして、最近のほとんどの埋め込みモデルは出力を単位長に正規化します。OpenAIは明確に述べています — “We recommend cosine similarity. The choice of distance function typically doesn’t matter much” (翻訳) 「コサイン類似度を推奨します。距離関数の選択は通常あまり重要ではありません」— それはまさに彼らの埋め込みが長さ1だからです。Weaviateによると、実際のルールはこれです:“Use the distance metric that matches the model that you’re using… There is no ‘one size fits all’.” (翻訳) 「使用しているモデルに合った距離メトリクスを使ってください…『万能なもの』はありません。」
ベクトルデータベース
ベクターデータベースはベクトルを保存し、その上でANNを実行するため、インデックスインフラを自分で構築する必要はありません。一般的な名前としては、Pinecone(マネージド)、Weaviate(ハイブリッド検索を内蔵)、ChromaとFAISS(プロトタイピング/インプロセスに最適)、Qdrant、Milvus(セルフホストでのスケール)、そしてpgvector(Postgres拡張機能で、すでにSQLを使っているチーム向け)があります。これは列挙であってランキングではありません。適切な選択は、スケール、マネージドとセルフホストのどちらを望むか、そしてハイブリッド検索がすぐに必要なかどうかによって決まります。Google/Bingのスケールでは、「データベース」はこれらではなく、内部のScaNN/ANNインフラです。
ハイブリッド検索 — 本番環境での実際の仕組み
「キーワード検索 vs. ベクトル検索」という枠組みは誤った二分法です。純粋なベクトル検索は完全一致クエリ(エラーコード、SKU、固有名詞)を見逃し、純粋なキーワード検索は意味的バリアントを見逃します。そのため、本格的なシステムはハイブリッド検索を実行します。キーワード(BM25)とベクトル検索を並行して実行し、結果を融合(一般的にはReciprocal Rank Fusion)し、その後、上位候補をクロスエンコーダーで再ランク付けします。Microsoftはハイブリッド検索を*「同じリクエスト内でのベクトル検索とキーワード検索の実行…クエリは並行して実行され、結果は単一のレスポンスにマージされ、それに応じてランク付けされる」*と定義しています。GoogleのVector Searchも同じ3つのモード(dense(意味的)、sparse(キーワード)、hybrid)をサポートしています。このセクションから1つだけ学ぶなら、本番環境での検索はほぼベクトルのみではありません。組み合わせが勝つのです。
Google(およびBing)が実際にベクトル検索をどう使っているか
これは2023年のChatGPT時代の目新しいものではありません。このインフラはLLMの波より何年も前から存在しています。
- ScaNN(ICML 2020、オープンソース化)は、Google Image Search、YouTube、Google Playを支え、GoogleのVector Search製品(旧Vertex AI Vector Search)の基盤となっています。これは、それらの消費者向け製品と*「同じバックエンドを共有」しています。GoogleのKaz Satoはこの技術を「Googleのコアサービスの最も重要なコンポーネントの1つ」と呼んでいます。性能仕様:「1秒あたり数万リクエスト…90パーセンタイルで10ms未満、再現率95〜98%」*。
- Bingは2019年までに1000億以上のベクトルインデックスを実行していました。 Microsoft自身の言葉によれば、Bingは*「1000億以上のベクトルからなるこの巨大なインデックスを検索して、5ミリ秒で最も関連性の高い結果を見つける」*ことができました。これは6年以上前のことです。
- Dense Passage Retrieval(DPR、EMNLP 2020)は、単純なデュアルエンコーダーで、密なベクトル検索がトップ20のパッセージ検索精度においてLucene-BM25を9〜19%絶対値で上回ることを証明しました。DPRは現代のRAG検索が従う青写真です。AI Overviewsの背後にある検索ステップは、このパターンの子孫です。
- MUVERA(2025)は、マルチベクトル検索をシングルベクトル検索と同じくらい高速にします。従来の方法と比較して、およそ*「約90%低いレイテンシで10%高い再現率」*です。
- TurboQuant(ICLR 2026)は、最近傍探索用にベクトルを圧縮し、報告によると6倍のメモリ削減と実質的にゼロの精度損失を実現します。
重要なのはロードマップを暗記することではなく、埋め込みベースの検索が大手エンジンが関連コンテンツを見つける方法であり、それが何年も続いているということです。
SEOへの影響
ここは注意して進めます。なぜなら、SEOのアドバイスは通常ここで過剰に及ぶからです。
ベクトルの近接性が候補プールへの新しいゲートです。 RAGベースの回答では、検索は生成の前に行われます。あなたのパッセージがクエリ埋め込みに意味的に近くなければ、モデルが書き出すショートリストに入ることはなく、引用されることもありません。それがメカニズムです。
しかし、「ベクトル検索最適化」のつまみはありません。 基盤となるシグナルは 意味的な一貫性とトピックの深さであり、それは質の高いコンテンツが常に 必要としてきたものです。ベクトル検索は新しいトリックに報酬を与えるのではなく、薄いコンテンツや キーワードの詰め込み(埋め込み空間で一貫した近傍を形成しない)をペナルティし、 真に包括的で構造化されたカバレッジに報酬を与えます。私が embeddingsの記事で述べたように、Danny SullivanのBERTに関する発言を反映して言えば、ここには「最適化すべき」ものはほぼありません — あなたのコンテンツが、答えるべきクエリの近くにきれいにクラスタリングされるようにするだけです。
実際に従う2つの具体的な含意:
- チャンキングが重要です。 検索はページ全体ではなくパッセージに対して動作します。個々のパッセージがクリーンな意味的マッチでなければ、ページは何にもランクされない可能性があります。自立したパッセージを書きましょう。
- トピックの深さとエンティティカバレッジが、埋め込み空間で正しい近傍を占める方法です。浅く散らかったコンテンツは、特定の何かの近くにもない曖昧な領域に埋め込まれます。
ベクトル検索はRAG とAI回答の背後にある検索エンジンです。パッセージランキングは 検索後に候補に対して行われる処理です。そして、これらのシステムに供給する AIクローラーは、取得したものを埋め込み、ベクトルインデックス化します。より広いパイプラインについては、 検索の仕組みを参照してください。
AIまとめ
Advancedバージョンの簡潔な見解:
- ベクトル検索 = 高次元の埋め込み空間でクエリベクトルに最も近いベクトルを見つけること。 意味をマッチングし、正確な単語ではありません。
- 埋め込みがベクトルを生成し、ベクトル検索がそれらを検索します。 そして、それは意味検索のためのメカニズムであり、同義語ではありません — 意味検索が目標です。
- ANNは設計上近似です。 数十億のベクトルに対する完全な比較はリアルタイムでは不可能なので、HNSW / IVF / FAISS / ScaNNは、リコールのわずかな部分(Googleは95〜98%と報告)を桁違いの速度と交換します。
- HNSWが本番のデフォルトです(グラフベース、対数検索、メモリ消費が高い)。ScaNNは、Googleがオープンソース化したライブラリで、Image Search、YouTube、Google Playの背後にあります。フラット/完全インデックスは、約1万ベクトル未満でのみ意味があります。
- コサイン類似度がテキストのデフォルトです。 正規化されたベクトル(OpenAIを含むほとんどの最新モデル)では、コサインとドット積は同じランキングを与えます。
- 本番はハイブリッドであり、ベクトルのみではありません: BM25 + ベクトルを並列に、Reciprocal Rank Fusionで融合し、クロスエンコーダで再ランク付けします。
- LLMの波より前からあります: Bingは2019年に1000億以上のベクトルインデックスを実行しました。ScaNNとDPRは2020年のものです。DPRはBM25を9〜19%上回り、RAG検索の青写真です。
- SEOの要点: ベクトルの近接性はAI回答の候補プールへのゲートですが、回すつまみはありません — トピック的に一貫したパッセージレベルの深さに報酬を与え、薄くキーワードを詰め込んだコンテンツをペナルティします。チャンクレベルの明確さが重要です。
公式ドキュメント
エンジンと埋め込みモデルプロバイダーからのベクトル/埋め込み検索に関する一次ソースのドキュメント。
- Vector Search の概要 — ScaNN を搭載したサービスで、「Vertex AI Vector Search」からブランド名が変更され、現在は Gemini Enterprise Agent Platform のドキュメントに記載されています。高密度・スパース・ハイブリッド埋め込み、および再現率の定義について説明しています。
- ScaNN の発表: 効率的なベクトル類似性検索 — 異方性ベクトル量子化と、2 倍高速なベンチマーク結果について。
- Google のベクトル検索テクノロジーで驚くほど高速に検索 — Kaz Sato による解説。キーワード検索とベクトル検索の比較、パフォーマンス仕様。
- Agent Platform と Vector Search を使用した RAG インフラストラクチャ — RAG における検索ステップとしてのベクトル検索の仕組み(Google がこれを Gemini Enterprise Agent Platform に統合したため、ページタイトルは「Vertex AI and Vector Search」から変更されました)。
- MUVERA: シングルベクトル検索と同じくらい高速なマルチベクトル検索。
- TurboQuant: ベクトル検索のための極端な圧縮。
Microsoft / Bing / Azure
- Vector Search の概要 — Azure AI Search — ベクトル検索とハイブリッド検索のエンジン側の定義。
- 検索のニーズが進化するにつれて… (Bing ベクトル検索) — Bing の 1000 億以上のベクトルインデックスを示す 2019 年の記事。
埋め込みモデル / ベンダードキュメント
- OpenAI — Vector embeddings — 距離関数と、正規化されたベクトルではその選択がほとんど重要にならない理由。
- Weaviate — Vector Search Explained および Distance Metrics in Vector Search。
- Pinecone — What is Similarity Search? および Nearest Neighbor Indexes。
- Elastic — What is vector search?。
ソースからの引用
Google と Microsoft/Bing からの公式声明。各リンクは、ソースページの引用箇所にジャンプするディープリンクです。
- “The vector similarity search (or nearest neighbor search or simply vector search) capabilities of the Vertex AI Matching Engine… share the same backend as Google Image Search, YouTube, Google Play, and more.” (翻訳) 「Vertex AI Matching Engineのベクトル類似性検索(または最近傍探索、単にベクトル検索とも呼ばれる)機能は、Google画像検索、YouTube、Google Playなどと同じバックエンドを共有しています。」 — Kaz Sato(Developer Advocate、Cloud AI)。 ソースへ移動
- “Vector search provides a much more refined way to find content, with subtle nuances and meanings. Vectors can represent the meaning of content where ‘films’, ‘movies’, and ‘cinema’ are all collected together.” (翻訳) 「ベクトル検索は、微妙なニュアンスや意味を含めて、より洗練された方法でコンテンツを見つけることを可能にします。ベクトルは、『films』『movies』『cinema』がすべて一緒にまとめられるような、コンテンツの意味を表現できます。」 ソースへ移動
- “The technology is one of the most important components of Google’s core services.” — Kaz Sato。 (翻訳) 「この技術は、Googleの中核サービスの最も重要な構成要素の一つです。」 引用へ移動
- “Today, we’re just beginning the migration from traditional search technology to new vector search. Over the next 5 to 10 years, many more best practices and tools will be developed.” — Kaz Sato。 (翻訳) 「今日、私たちは従来の検索技術から新しいベクトル検索への移行を始めたばかりです。今後5年から10年の間に、さらに多くのベストプラクティスやツールが開発されるでしょう。」 引用へ移動
- ScaNN “outperforms other vector similarity search libraries by a factor of two on ann-benchmarks.com.” (翻訳) 「ann-benchmarks.comにおいて、他のベクトル類似性検索ライブラリを2倍上回る性能を発揮します。」 引用へ移動
Microsoft / Bing
- “Vector search is an information retrieval approach that supports indexing and querying over numeric representations of content. Because the content is numeric rather than plain text, matching is based on vectors that are most similar to the query vector.” (翻訳) 「ベクトル検索は、コンテンツの数値表現に対するインデックス作成とクエリをサポートする情報検索アプローチです。コンテンツがプレーンテキストではなく数値であるため、マッチングはクエリベクトルに最も類似したベクトルに基づいて行われます。」 — Azure AI Searchのドキュメント。 ドキュメントを読む
- “Keyword search algorithms just fail when people ask a question or take a picture and ask the search engine, ‘What is this?’” (翻訳) 「人々が質問をしたり、写真を撮って検索エンジンに『これは何?』と尋ねたりすると、キーワード検索アルゴリズムはまったく機能しません。」 — Rangan Majumder(Group Program Manager、Bing、2019年)。 ソースを読む
- “Bing processes billions of documents every day, and the idea now is that we can represent these entries as vectors and search through this giant index of 100 billion-plus vectors to find the most related results in 5 milliseconds.” (翻訳) 「Bingは毎日何十億ものドキュメントを処理していますが、現在のアイデアは、これらのエントリをベクトルとして表現し、1000億以上のベクトルからなるこの巨大なインデックスを検索して、5ミリ秒で最も関連性の高い結果を見つけるというものです。」 — Jeffrey Zhu(Program Manager、Bing、2019年)。 ソースを読む
OpenAI (埋め込みモデルプロバイダー、距離メトリクスについて)
- “An embedding is a vector (list) of floating point numbers. The distance between two vectors measures their relatedness.” … “We recommend cosine similarity. The choice of distance function typically doesn’t matter much.” (翻訳) 「埋め込みは浮動小数点数のベクトル(リスト)です。2つのベクトル間の距離は、それらの関連性を測定します。」…「コサイン類似度を推奨します。距離関数の選択は通常、あまり重要ではありません。」 ドキュメントを読む
#:~:text=アンカーから取得しました。2019年のBingの引用はMicrosoft Newsの記事から逐語的に転載していますが、そのページは安定したテキストフラグメントアンカーを公開していないため、ページレベルでリンクしています。最終的なものとして扱う前に、ライブページで確認してください。 メンタルモデル
1. マップ。 すべてのコンテンツのチャンクは、高次元のマップ上の点であり、類似した意味を持つものは互いに近くに配置されます。クエリも点です。ベクトル検索は最も近い点を返します。それ以外はすべて、それの最適化です。
2. 目標とメカニズム。 セマンティック検索は目標(意味と意図を一致させること)です。ベクトル検索は、それを達成するための1つのメカニズム(埋め込みに対するANN)です。この2つを分けて考えると、AI検索に関する混乱した文章の多くが明確になります。
3. 再現率と速度のダイヤル。 すべてのANNインデックスは、再現率とレイテンシ、スループット、メモリをトレードオフします。完全一致(フラット)=完璧な再現率、スケールしない。HNSW=ほぼ完璧な再現率、高速、メモリ消費大。無料の昼食はありません。ダイヤルがあり、設定を選ぶのです。
4. ハイブリッドがデフォルトであり、例外ではない。 実際の検索は、BM25(キーワード再現、正確なトークンを捕捉)**+ベクトル(セマンティック再現、意味を捕捉)+**再ランキング(クロスエンコーダーの品質)です。本番検索を「ベクトル対キーワード」と捉えているなら、それは間違ったイメージです。
5. 検索はゲートであり、生成はその後に行われる。 RAG/AI回答では、ベクトル検索がモデルが何かを書く前に候補プールを決定します。プールにないものは引用できません。これが、ページ内のキーワード数ではなく、セマンティックな近接性が包含をゲートする理由です。
6. 単位はページではなくチャンクです。 ベクトルはパッセージごとに計算されます。曖昧なパッセージで構成された素晴らしいページは、何にもマッチしない可能性があります。自己完結的で、トピックに沿ったチャンクを書きましょう。
ベクトル検索 — チートシート
ANNインデックスの種類
| インデックス | アプローチ | 再現率 | 速度 | メモリ | 使用する場面 |
|---|---|---|---|---|---|
| Flat | 完全な力任せ検索 | 完璧 | 最も遅い | 低い | <~1万ベクトル、精度が最優先 |
| IVF | クラスタリング+最近傍プローブ | 高い | 良い | 中程度 | スケーラブル、簡単なデフォルト |
| IVFPQ | IVF+製品量子化 | 良い | 良い | 非常に低い(4〜64倍) | スケール時のメモリ制約 |
| HNSW | 階層的近接グラフ | ほぼ完璧 | 非常に速い | 高い(RAM) | 本番デフォルト、リアルタイム |
| ScaNN | 異方性量子化 | 高い | 非常に速い | 低〜中程度 | Google規模のMIPS |
距離メトリクス
| メトリクス | 測定内容 | 使用目的 |
|---|---|---|
| コサイン類似度 | 角度(大きさを無視) | テキスト — デフォルト |
| ドット積 | 内積 | MIPS/大きさが重要な場合;正規化ベクトルではコサインと同等 |
| ユークリッド(L2) | 直線距離 | 大きさが意味を持つ場合 |
豆知識
- ANNは設計上近似です。再現率の一部を巨大な速度と引き換えにします。 GoogleのVector Search(旧「Vertex AI Vector Search」)は95〜98%の再現率を報告しています。
- HNSWが本番環境を支配しています(Weaviate、Pinecone、pgvector、Qdrant)。対数検索、メモリ消費大。
- ScaNNはGoogleのオープンソースライブラリで、画像検索、YouTube、Google Playと同じバックエンドを使用。同等の精度で次のライブラリの約2倍のQPS。
- 正規化されたベクトルでは、ランキングでコサイン=ドット積になります。ほとんどの最新モデル(OpenAIを含む)は正規化します。
- ハイブリッドが実際の本番パターンです:BM25+ベクトルをRRFで融合し、その後クロスエンコーダーで再ランキング。
- ベクトルデータベース: Pinecone、Weaviate、Chroma、Qdrant、Milvus、pgvector(列挙のみ、順位付けなし)。
- DPR(2020年)はパッセージ検索でBM25を9〜19%上回りました。RAG検索の青写真です。Bingは2019年に1000億以上のベクトルインデックスを運用しました。
SEOの一言: ベクトルの近接性がAI回答の候補プールへのゲートです。調整するノブはなく、トピックの深さとクリーンで自己完結的なパッセージに報います。
自分でテスト:ベクトル検索
時間をかける価値のあるリソース
このサイトの関連記事
- 埋め込み — 最初に読むべきもの:ベクトルの出所。
- セマンティック検索 — ベクトル検索がその手段である目標。
- RAG — ベクトル検索はその中の検索ステップです。
- チャンキング — 埋め込まれ、検索されるパッセージ。
- 検索の仕組み — より広いクロール→インデックス→取得→ランク付けのパイプライン。
基礎論文
- Dense Passage Retrieval for Open-Domain QA(Karpukhin ら、EMNLP 2020)— BM25 を 9〜19 % 上回ったデュアルエンコーダー検索の設計図。
- The Faiss library(2024)— FAISS インデックスタイプの包括的な概要。
- HNSW — ほとんどの本番ベクトルデータベースの背後にあるアルゴリズム(Malkov & Yashunin、2018)。
オープンソースライブラリ
- ScaNN — Google の類似性検索ライブラリ。
- FAISS — Facebook AI の数十億規模の類似性検索。
- DPR — Dense Passage Retrieval のリファレンス実装。
ベンダーの解説(明確で図解が豊富)
- Pinecone — What is Similarity Search?
- Weaviate — Vector Search Explained
- Elastic — What is vector search?
業界のさまざまな情報源から
- iPullRank — The Evolution of Information Retrieval: From Lexical to Neural — 検索が語彙ベースからニューラル/ベクトル検索へどう移行したかについての Mike King の深掘り解説。SEO の観点に役立つ枠組みを提供。
- Search Engine Land — The shift to semantic SEO: What vectors mean for your strategy — ベクトルベースの検索がコンテンツ戦略をどう変えるかを実務者向けに解説。
- Search Engine Land — New Google TurboQuant algorithm improves vector search speed — 最近傍探索における Google の 2026 年の圧縮技術の進歩を報道。
- Search Engine Journal — Semantic Search With Vectors — ベクトル類似性検索と SEO の成果を結びつけたわかりやすい解説。
- IBM — What is vector search? — 基本をしっかりカバーしたベンダーニュートラルな概要。このテーマで上位にランクインする参考ページのひとつ。
- Oracle — What Is Vector Search? The Ultimate Guide — インデックス作成、距離メトリクス、データベース統合をカバーする包括的なガイド。
- Microsoft Bing Blog — Microsoft Open-Sources Industry-Leading Embedding Model (Harrier) — 2026 年 4 月に公開された Microsoft の Harrier 埋め込みモデル。多言語 MTEB-v2 ベンチマークで 1 位を獲得。Bing のベクトル検索の文脈に直接関連。
変更履歴
2026年7月19日に更新。
編集概要と記録された変更の詳細。変更の詳細
-
変更の詳細な注記は現在英語でのみ提供されています。
完全な比較は利用できません — この改訂の以前のスナップショットがアーカイブされていません。
2026年7月17日に更新。
編集概要と記録された変更の詳細。変更の詳細
-
変更の詳細な注記は現在英語でのみ提供されています。
完全な比較は利用できません — この改訂の以前のスナップショットがアーカイブされていません。