Vetores de embedding
Embeddings são vetores numéricos densos que codificam o significado do texto — como a busca semântica, o ranqueamento do Google e o RAG associam conteúdo pelo significado em vez de palavras-chave.
Idiomas
Um embedding é uma lista de números — um vetor denso — que codifica o significado de uma palavra, sentença ou documento em um espaço de alta dimensionalidade, para que textos semanticamente semelhantes fiquem próximos. Modelos encoder, não LLMs generativos, produzem embeddings; a similaridade é medida com similaridade de cosseno. Embeddings alimentam a busca semântica, o clustering e a camada de recuperação do RAG, e o Google usa recuperação baseada em embeddings (Neural Matching / RankEmbed, RankEmbedBERT) junto com seu índice de palavras-chave. A conclusão para SEO não é um botão a ajustar — Danny Sullivan disse sobre o BERT que “não há nada para otimizar” —, mas conteúdo coerente tematicamente se agrupa perto das consultas que deveria responder.
TL;DR — Um embedding transforma texto em uma lista de números — coordenadas em um espaço gigantesco — onde coisas que significam coisas semelhantes acabam próximas. É assim que a busca por IA e os mecanismos de busca modernos associam seu conteúdo a uma consulta pelo significado, em vez de apenas comparar palavras-chave. Você não pode “adicionar” embeddings a uma página; eles são a forma como a máquina lê o que já está lá.
O que é um embedding
Um embedding representa uma entrada como um vetor numérico destinado a preservar relações úteis para tarefas como similaridade semântica. Evidence for this claim Embeddings represent inputs as numerical vectors that can be compared for relatedness and used for search, clustering, and classification. Scope: OpenAI embedding models and documented uses; vector dimensions and behavior vary by model. Confidence: high · Verified: OpenAI: Embeddings guide A geometria e a dimensionalidade são específicas do modelo, e não significados universais atribuídos a cada coordenada. Evidence for this claim Learned vector representations can encode useful distributional relationships between words. Scope: Word2vec-era language representations; observed vector relationships are model- and training-data-specific, not ground truth. Confidence: high · Verified: Mikolov et al.: Efficient Estimation of Word Representations
Computadores não entendem palavras — entendem números. Um embedding é a ponte: um modelo lê um trecho de texto e o transforma em uma lista de números (chamada vetor) que captura seu significado. Pense nisso como uma localização em um mapa. Dois trechos de texto com significado semelhante ficam próximos; texto não relacionado fica distante.
Assim, “laptop for gaming” e “high-performance laptop for games” ficam próximos, embora quase não compartilhem palavras. “Banana bread recipe” fica em um lugar completamente diferente. O modelo aprendeu isso lendo enormes quantidades de texto e observando quais palavras e frases aparecem em contextos semelhantes.
Por que isso importa para a busca
A busca tradicional comparava palavras-chave: você digitava uma palavra, e o mecanismo encontrava páginas que continham essa palavra. Embeddings permitem que a busca compare significado. É por isso que o Google consegue responder a uma pergunta longa e conversacional mesmo quando a melhor página não usa suas palavras exatas — e é assim que as ferramentas de busca por IA (as que leem fontes e escrevem uma resposta para você) decidem quais trechos são relevantes o bastante para incorporar.
A versão curta do pipeline por trás das respostas de IA:
- O conteúdo é dividido em blocos (trechos).
- Cada bloco é transformado em um embedding (um vetor).
- Sua pergunta também é transformada em um embedding.
- O sistema encontra os blocos cujos vetores estão mais próximos do vetor da sua pergunta.
- Esses blocos se tornam o material de origem a partir do qual a IA escreve sua resposta.
O que isso significa para seu conteúdo
Esta é a parte que as pessoas exageram, então vou ser claro: não existe “otimização de embedding” que você envie ao Google. Danny Sullivan, do Google, disse exatamente isso sobre o BERT (um dos sistemas do Google baseados em embeddings): “There’s nothing to optimize for.” (Tradução: “Não há nada para otimizar.”)
O que realmente ajuda é o mesmo conselho de sempre, agora com uma razão mais clara. Escreva conteúdo que cubra um tema de forma genuína e completa. Conteúdo coerente e focado produz embeddings limpos e consistentes, que ficam próximos das perguntas que deveria responder. Conteúdo cheio de palavras-chave e disperso produz um sinal mais confuso. Você não está alimentando uma fórmula — está escrevendo algo que um modelo (e uma pessoa) consegue entender claramente.
Quer conhecer a mecânica real — dimensões, similaridade de cosseno, a história do word2vec ao BERT e como o Google realmente usa embeddings no ranqueamento? Mude para a aba Avançado.
TL;DR — Um embedding é um vetor denso de números de ponto flutuante (normalmente de centenas a alguns milhares de dimensões) que codifica significado, produzido por um modelo encoder — não por um LLM generativo. Significado semelhante → vetores próximos, medidos com similaridade de cosseno. O campo passou de embeddings estáticos de palavras (word2vec, GloVe) a embeddings contextuais (BERT), depois a embeddings de nível de sentença e às APIs modernas de embeddings. O Google usa recuperação baseada em embeddings (Neural Matching / RankEmbed, RankEmbedBERT) junto com seu índice de palavras-chave — um sistema híbrido, não um substituto. Embeddings também são a base de recuperação do RAG. Não há um botão de embeddings para ajustar; é a coerência temática que faz o conteúdo se agrupar perto das consultas certas.
O que um embedding realmente é
Embeddings ajudam na similaridade e na recuperação, mas não são uma medida direta da verdade, da qualidade ou do valor de ranqueamento. Evidence for this claim Embeddings represent inputs as numerical vectors that can be compared for relatedness and used for search, clustering, and classification. Scope: OpenAI embedding models and documented uses; vector dimensions and behavior vary by model. Confidence: high · Verified: OpenAI: Embeddings guide Os resultados da pesquisa dependem do modelo treinado e da configuração de avaliação. Evidence for this claim Learned vector representations can encode useful distributional relationships between words. Scope: Word2vec-era language representations; observed vector relationships are model- and training-data-specific, not ground truth. Confidence: high · Verified: Mikolov et al.: Efficient Estimation of Word Representations
Um embedding é um vetor numérico denso — uma lista de números de ponto flutuante — que representa texto (ou imagens, áudio e vídeo) como um ponto em um espaço de alta dimensionalidade. A documentação da OpenAI afirma isso claramente: “An embedding is a vector (list) of floating point numbers.” (Tradução: “Um embedding é um vetor (lista) de números de ponto flutuante.”)
A propriedade definidora é geométrica: conteúdo semanticamente semelhante tem vetores semelhantes. Texto com significado aproximadamente igual aponta em uma direção aproximadamente igual; texto não relacionado aponta para outro lugar. Isso não é uma coincidência feliz — o modelo é treinado para que palavras e frases usadas em contextos semelhantes terminem com vetores semelhantes. O significado se torna posição.
A conceptual semantic space places the query reset my password near documents titled Forgot-password guide, Account recovery steps, and Cannot log in. The unrelated document Enterprise pricing sits farther away. Near means more semantically similar; far means less similar. Actual embedding spaces have many more dimensions and model-specific geometry.
© Patrick Stox LLC · CC BY 4.0 ·
Alguns pontos que vale a pena definir com precisão:
- Encoder, não gerador. Embeddings vêm de modelos encoder cuja função é comprimir significado em um vetor de tamanho fixo. Essa é uma arquitetura e um propósito diferentes dos de um LLM generativo, que prevê o próximo token. (Mais detalhes sobre a distinção entre interno e API abaixo.)
- Denso, não esparso. Diferentemente das representações one-hot ou bag-of-words (formadas principalmente por zeros, com uma posição por palavra do vocabulário), embeddings distribuem o significado por todas as dimensões. O glossário de ML do Google descreve embeddings como representações densas de menor dimensionalidade que corrigem o que a codificação one-hot não consegue expressar — elas permitem que um modelo reconheça que “hot dogs and shawarmas are more related than hot dogs and salads.”
- Mais dimensões ≠ sempre melhor. Mais dimensões podem capturar mais nuances, mas custam mais para armazenar e calcular, e o ganho depende da tarefa. É uma troca, não um botão de “bigger is better”.
Medindo similaridade: similaridade de cosseno
Para comparar dois embeddings, você mede a distância — ou, na verdade, o ângulo — entre eles. A métrica padrão é a similaridade de cosseno: ela mede o ângulo entre dois vetores independentemente do comprimento deles, atribuindo uma pontuação de −1 (oposto), passando por 0 (não relacionado/ortogonal), até 1 (mesma direção). Menor distância = mais relacionado.
Muitas APIs de embeddings normalizam os vetores para comprimento unitário, o que faz com que a similaridade de cosseno e o produto escalar produzam o mesmo ranqueamento — a OpenAI observa que o cosseno é a escolha convencional e um pouco mais barata. A Voyage AI (provedora de embeddings recomendada pela Anthropic) resume a intuição: “the cosine similarity between two embeddings captures the semantic relatedness of the corresponding original passages.” (Tradução: “a similaridade de cosseno entre dois embeddings captura a relação semântica dos trechos originais correspondentes.”) Fazer essa comparação de vizinhos mais próximos em escala é um problema próprio — esse é o trabalho da busca vetorial.
Como chegamos aqui: a evolução
A história vai de palavras isoladas a trechos inteiros, e de significados fixos a significados sensíveis ao contexto.
- word2vec (Google, 2013). Mikolov et al. introduziram duas arquiteturas (CBOW e Skip-Gram) para aprender vetores densos de palavras a partir de grandes corpora. O resultado famoso: o vetor “King” − “Man” + “Woman” fica mais próximo de “Queen” — evidência de que a aritmética vetorial captura relações semânticas. (Ressalva: essa analogia é ilustrativa, não garantida sempre; dependendo do modelo, o resultado pode ser “kings” ou “monarch.”) Esses são embeddings estáticos — um vetor fixo por palavra, então “bank” recebe o mesmo vetor em “river bank” e “bank account.”
- GloVe (Stanford, 2014). Uma alternativa baseada em contagem, construída sobre estatísticas globais de coocorrência em vez de uma rede preditiva — objetivo diferente, embeddings igualmente úteis. Também estáticos.
- Universal Sentence Encoder (Google, 2018). Embeddings para sentenças inteiras, não apenas palavras. A ideia central: “Sentences are semantically similar if they have a similar distribution of responses” — “How old are you?” e “What is your age?” convidam as mesmas respostas, então são incorporadas próximas umas das outras.
- BERT (Google, 2018; implantado na Busca em outubro de 2019). A grande mudança: embeddings contextuais. A mesma palavra recebe um vetor diferente dependendo da sentença ao redor, porque o BERT é bidirecional — lê as palavras antes e depois de um token para fixar seu significado. Assim, “bank” em “river bank” e “bank account” finalmente recebem vetores diferentes.
- Sentence-BERT (2019). Resolveu o problema de escala do BERT para a busca por similaridade. O BERT comum precisa receber as duas sentenças juntas, o que é computacionalmente pesado em escala; o SBERT produz embeddings de sentença de tamanho fixo que podem ser comparados com similaridade de cosseno, reduzindo o custo de encontrar o par mais semelhante em um corpus grande de horas para segundos.
- APIs modernas de embeddings (2024–presente). A família text-embedding-3 da OpenAI, embeddings Gemini do Google, Voyage e embed-v4.0 da Cohere — multilíngues, cada vez mais multimodais (texto, imagem, áudio e vídeo em um mesmo espaço) e redimensionáveis por meio de Matryoshka Representation Learning (trunque o vetor para menos dimensões sem retreiná-lo, trocando um pouco de precisão por armazenamento e velocidade).
Como o Google usa embeddings na Busca
O pipeline de ranqueamento do Google não é puramente semântico nem puramente baseado em palavras-chave — é híbrido, e os componentes de embeddings complementam o índice invertido clássico em vez de substituí-lo. Pela documentação dos sistemas de ranqueamento do próprio Google e pelo depoimento antitruste de Pandu Nayak ao DOJ, os sistemas nomeados incluem:
- BERT — o sistema do Google para entender palavras no contexto. No lançamento, ele ajudou a Busca a “RankEmbed identifies a few more documents to add to those identified by the traditional retrieval.” (Tradução: “A Busca ajudaria a entender melhor uma em cada dez pesquisas nos EUA em inglês.”), especialmente consultas conversacionais mais longas, nas quais preposições como “for” e “to” mudam o significado.
- Neural Matching / RankEmbed — recuperação baseada em embeddings que traduz consultas e documentos para o mesmo espaço vetorial, trazendo resultados conceitualmente correspondentes mesmo sem palavras-chave compartilhadas. Nayak o descreveu como um complemento: “RankEmbed identifies a few more documents to add to those identified by the traditional retrieval.” (Tradução: “O RankEmbed identifica mais alguns documentos para adicionar aos identificados pela recuperação tradicional.”) A recuperação se baseia em um produto escalar/medida de distância no espaço de embeddings.
- RankEmbedBERT — uma evolução posterior que combina a recuperação do RankEmbed com a compreensão de linguagem do BERT, treinada com pontuações de avaliadores de qualidade e logs de busca, e significativamente melhor em consultas complexas e de cauda longa.
A leitura prática é: a presença de palavras-chave ainda importa porque a recuperação lexical (o índice invertido, no estilo BM25) ainda faz o estreitamento da primeira etapa. Os sistemas de embeddings adicionam candidatos relacionados conceitualmente e fazem o ranqueamento novamente. Os dois sinais estão em jogo — exatamente por isso é errado dizer que “BERT killed keywords” está errado.
Embeddings na busca por IA (o pipeline de RAG)
É aqui que os embeddings tocam mais diretamente os AI Overviews e os assistentes de busca por IA. A Geração Aumentada por Recuperação (RAG) usa embeddings como sua camada de recuperação:
- Indexar: o conteúdo é dividido em blocos, cada trecho recebe um embedding, e os vetores vão para um banco de dados vetorial.
- Recuperar: a consulta do usuário recebe um embedding, uma busca de vizinhos mais próximos encontra os blocos mais próximos (por meio da busca vetorial) e os blocos do topo são entregues ao LLM como contexto.
- Gerar: o LLM escreve uma resposta fundamentada nesses blocos recuperados.
A estrutura importa aqui porque cada bloco é recuperado isoladamente. A pesquisa de Dan Petrovic (citada no artigo da Ahrefs What We Actually Know About Optimizing for LLM Search) descobriu que o Chrome processa apenas os primeiros ~30 trechos de uma página para embeddings e os divide em trechos de aproximadamente 200 palavras, com sobreposição para preservar o contexto entre blocos. Se uma seção não consegue se sustentar sozinha depois de ser retirada da página, ela representa mal seu conteúdo.
Embeddings de tokens versus APIs de embedding de texto
Uma distinção que causa confusão: os embeddings dentro de um LLM e os embeddings que você obtém de uma API não são a mesma coisa.
- Embeddings de tokens são as representações internas do modelo — cada token recebe um vetor que é transformado camada a camada durante a geração. Eles são a maquinaria que produz o próximo token.
- APIs de embedding de texto (OpenAI, Google, Voyage e Cohere) produzem um único vetor de tamanho fixo para uma string de entrada inteira, projetado especificamente para recuperação e similaridade. Frequentemente é um modelo separado, com um objetivo de treinamento diferente.
Quando SEOs falam em “embedding a page” ou executar similaridade de cosseno para links internos ou agrupamento de palavras-chave, estão falando do tipo de API.
O que isso significa para SEO
- Coerência semântica supera densidade de palavras-chave. Como os modelos entendem contexto, “laptop for gaming” e “high-performance laptop” já ficam próximos. Encher o texto de palavras-chave não ajuda — produz conteúdo disperso tematicamente, com um embedding mais confuso.
- Estruture para a recuperação em blocos. Os trechos recebem embeddings e são recuperados por conta própria. Coloque o conteúdo importante no início, mantenha as seções autossuficientes e use HTML semântico claro.
- Abrangência temática. Conteúdo que cobre genuinamente um assunto acaba próximo de mais consultas relacionadas no espaço vetorial. Esse é o mecanismo por trás de “build topical authority” (Tradução: “construir autoridade temática”).
- Não há um botão de embedding. Danny Sullivan, sobre o BERT: “There’s nothing to optimize for… The fundamentals of us seeking to reward great content remain unchanged.” (Tradução: “Não há nada para otimizar… Os fundamentos de buscar recompensar um ótimo conteúdo permanecem inalterados.”) As pontuações de similaridade de cosseno que uma ferramenta produz são auxiliares de análise, não entradas que você envia ao Google.
Embeddings são o tecido conjuntivo por baixo da maior parte deste cluster: são o que sustenta a busca semântica, o que a busca vetorial compara, o que o chunking prepara para o texto e a base de recuperação do RAG. Eles também explicam por que o rastreamento ainda vem primeiro — o conteúdo precisa ser buscado antes que qualquer sistema possa gerar um embedding dele.
Resumo de IA
Uma síntese da versão Advanced:
- Um embedding = um vetor denso de números de ponto flutuante que codifica significado; significado semelhante → vetores próximos. OpenAI: “An embedding is a vector (list) of floating point numbers.” (Tradução: “Um embedding é um vetor (lista) de números de ponto flutuante.”)
- Produzido por modelos encoder, não por LLMs generativos — arquitetura e propósito diferentes. Denso, não esparso.
- A similaridade é medida com similaridade de cosseno (o ângulo entre vetores, de −1 a 1). Vetores normalizados tornam cosseno e produto escalar equivalentes para o ranqueamento.
- Evolução: word2vec (2013) e GloVe (2014) deram vetores de palavras estáticos → USE (2018) incorporou sentenças inteiras → BERT (2018) tornou os embeddings contextuais (mesma palavra, vetor diferente conforme o contexto) → Sentence-BERT (2019) tornou rápida a busca por similaridade → modelos de API modernos, multimodais e redimensionáveis (2024–presente).
- O Google usa embeddings em um pipeline híbrido: BERT (palavras no contexto), Neural Matching / RankEmbed (recuperação por embeddings que complementa o índice de palavras-chave) e RankEmbedBERT. As palavras-chave ainda fazem a recuperação inicial — embeddings adicionam e reordenam resultados.
- Pipeline de RAG: dividir em blocos → gerar embeddings → armazenar em um banco de vetores → gerar o embedding da consulta → recuperar os blocos mais próximos → o LLM gera uma resposta fundamentada. Cada bloco é recuperado isoladamente, então a estrutura importa.
- Conclusão para SEO: não existe “embedding optimization” — Danny Sullivan: “There’s nothing to optimize for” sobre o BERT. Conteúdo coerente tematicamente, autossuficiente e completo se agrupa perto das consultas que deveria responder.
Documentação oficial
Documentação de fonte primária sobre embeddings do Google e dos principais provedores de embeddings.
- Machine Learning Glossary — Embeddings — a definição de denso versus esparso e por que a codificação one-hot não consegue expressar relação.
- A guide to Google Search ranking systems — BERT, Neural Matching, RankBrain, Passage Ranking e MUM descritos nas próprias palavras do Google.
- Understanding searches better than ever before (BERT) — o anúncio de outubro de 2019 sobre o BERT na Busca.
- Advances in Semantic Textual Similarity — o Universal Sentence Encoder (2018) e a ideia de “similar distribution of responses”.
- Gemini API — Embeddings — o modelo atual de embeddings multimodais do Google, dimensões e casos de uso (RAG, busca semântica, reranqueamento e clustering).
OpenAI
- Vector embeddings guide — “An embedding is a vector (list) of floating point numbers”; orientação sobre similaridade de cosseno.
- New embedding models and API updates — a família text-embedding-3 e a redução de dimensões Matryoshka (jan. de 2024).
Outros provedores
- Cohere — Embeddings — embed-v4.0 multilíngue, tipos de entrada separados para consulta/documento e opções de compressão.
- Voyage AI — Quickstart — provedora recomendada pela Anthropic; “the cosine similarity between two embeddings captures the semantic relatedness of the corresponding original passages.” (Tradução: “a similaridade de cosseno entre dois embeddings captura a relação semântica dos trechos originais correspondentes.”)
Artigos fundamentais
- word2vec — Mikolov et al., 2013 — os vetores densos originais de palavras e a analogia rei−homem+mulher.
- GloVe — Pennington, Socher, Manning, 2014 — vetores de palavras baseados em coocorrência global.
- BERT — Devlin et al., 2018 — embeddings bidirecionais e contextuais.
- Sentence-BERT — Reimers & Gurevych, 2019 — embeddings rápidos de sentenças para busca por similaridade.
Citações da fonte
Declarações registradas do Google e dos provedores de embeddings. Cada link é um deep link que salta para o trecho citado na página de origem.
O que é um embedding
- “An embedding is a vector (list) of floating point numbers.” — OpenAI, guia de embeddings vetoriais. (Tradução: “Um embedding é um vetor (lista) de números de ponto flutuante.”) Salte para a citação
Google — BERT e compreensão da linguagem
- “At its core, Search is about understanding language.” — Pandu Nayak, vice- presidente de Busca do Google (anúncio do BERT, outubro de 2019). (Tradução: “Em sua essência, a Busca trata de compreender a linguagem.”) Salte para a citação
- “BERT will help Search better understand one in 10 searches in the U.S. in English.” — Blog da Busca do Google, outubro de 2019. (Tradução: “O BERT ajudará a Busca a entender melhor uma em cada dez pesquisas nos EUA em inglês.”) Salte para a citação
Google — sobre otimização para BERT
- “There’s nothing to optimize for with BERT… The fundamentals of us seeking to reward great content remain unchanged.” — Danny Sullivan, contato do Google para a Busca. (Tradução: “Não há nada para otimizar no BERT… Os fundamentos de buscar recompensar um ótimo conteúdo permanecem inalterados.”) Salte para a citação
Google — similaridade semântica (Universal Sentence Encoder)
- “Sentences are semantically similar if they have a similar distribution of responses.” — Google Research, “Advances in Semantic Textual Similarity” (maio de 2018). (Tradução: “Sentenças são semanticamente semelhantes quando têm uma distribuição semelhante de respostas.”) Leia a fonte
Voyage AI (provedora recomendada pela Anthropic) — similaridade de cosseno
- “The cosine similarity between two embeddings captures the semantic relatedness of the corresponding original passages.” — Quickstart da Voyage AI. (Tradução: “A similaridade de cosseno entre dois embeddings captura a relação semântica dos trechos originais correspondentes.”) Leia a fonte
Pandu Nayak (depoimento antitruste ao DOJ) — RankEmbed
- “RankEmbed identifies a few more documents to add to those identified by the traditional retrieval.” — cobertura do depoimento de Pandu Nayak, DOJ v. Google. (Tradução: “O RankEmbed identifica mais alguns documentos para adicionar aos identificados pela recuperação tradicional.”) Leia a cobertura
Os modelos mentais
1. O significado se torna posição. Um embedding transforma texto em coordenadas. Perto = significado semelhante; longe = não relacionado. Todo o resto — busca semântica, clustering e recuperação de RAG — é apenas medir distância nesse espaço.
2. Estático versus contextual. word2vec e GloVe dão a cada palavra um vetor fixo (“bank” é sempre igual). O BERT e seus descendentes dão a cada ocorrência um vetor que depende do contexto (“river bank” ≠ “bank account”). Ferramentas mais antigas de similaridade de palavras-chave baseadas em word2vec não conseguem distingui-los; as baseadas em BERT conseguem.
3. Embeddings de tokens ≠ APIs de embedding de texto. Dentro de um LLM, embeddings de tokens são a maquinaria de trabalho para gerar o próximo token. APIs de embedding de texto produzem um vetor condensado por string, criado para recuperação e similaridade. Modelos diferentes, funções diferentes. Quando SEOs dizem “embed a page,”, querem dizer o tipo de API.
4. Recuperação híbrida, não substituição. O Google executa recuperação lexical (o índice invertido de palavras-chave) e recuperação baseada em embeddings (Neural Matching / RankEmbed). As palavras-chave estreitam primeiro; os embeddings adicionam candidatos relacionados conceitualmente e fazem o reranqueamento. Nenhum dos dois sozinho é o sistema inteiro.
5. O ciclo do RAG. Dividir em blocos → gerar embedding → armazenar → gerar o embedding da consulta → recuperar os blocos mais próximos → gerar uma resposta fundamentada. Como cada bloco é recuperado isoladamente, escreva trechos autossuficientes e coloque primeiro o que importa.
6. A regra de decisão para o conteúdo. Não existe um embedding para otimizar. Pergunte, em vez disso: este trecho cobre de forma clara e completa aquilo que afirma cobrir? Conteúdo coerente se agrupa perto das consultas certas; conteúdo disperso e cheio de palavras-chave não.
Embeddings — folha de consulta
O que é em uma linha Um vetor denso (lista de números de ponto flutuante) que codifica significado; significado semelhante → vetores próximos; comparado com similaridade de cosseno.
Escala da similaridade de cosseno
| Pontuação | Significado |
|---|---|
| 1 | Mesma direção — altamente semelhante |
| ~0 | Ortogonal — não relacionado |
| −1 | Direção oposta |
Vetores normalizados (comprimento unitário) → similaridade de cosseno e produto escalar produzem o mesmo ranqueamento.
A evolução, de relance
| Era | Modelo(s) | O que mudou |
|---|---|---|
| 2013–2014 | word2vec, GloVe | Vetores densos de palavras — mas estáticos (um vetor por palavra) |
| 2018 | Universal Sentence Encoder | Embeddings de sentenças inteiras |
| 2018 (Busca: 2019) | BERT | Contextual — o vetor da palavra depende da sentença |
| 2019 | Sentence-BERT | Embeddings rápidos de sentenças para busca por similaridade em grande escala |
| 2024–presente | OpenAI / Gemini / Voyage / Cohere | Multilíngues, multimodais e redimensionáveis (Matryoshka) |
Sistemas de embeddings nomeados pelo Google
| Sistema | Função |
|---|---|
| BERT | Entende palavras no contexto (interpretação da consulta) |
| Neural Matching / RankEmbed | Recuperação baseada em embeddings que complementa o índice de palavras-chave |
| RankEmbedBERT | RankEmbed + BERT; forte em consultas complexas e de cauda longa |
| Passage Ranking | Traz trechos individuais relevantes de uma página |
O ciclo de recuperação do RAG
- Divida o conteúdo em trechos
- Gere um embedding de cada trecho → vetor
- Armazene os vetores em um banco de dados vetorial
- Gere o embedding da consulta recebida
- Busca de vizinhos mais próximos (busca vetorial) → blocos do topo
- O LLM gera uma resposta fundamentada
Fatos rápidos
- Dimensões: normalmente centenas a alguns milhares — mais nuances, mais armazenamento/cálculo; nem sempre melhor.
- Produzidos por modelos encoder, não por LLMs generativos.
- Matryoshka permite truncar para menos dimensões sem retreinamento.
- Trocar o modelo de embeddings significa gerar embeddings novamente para tudo — os espaços de modelos diferentes não são compatíveis.
- Não há “embedding optimization” para enviar ao Google — Danny Sullivan: “There’s nothing to optimize for” (BERT).
Teste seu conhecimento: Embeddings
Recursos que valem seu tempo
Minha produção relacionada — textos e palestras
- What We Actually Know About Optimizing for LLM Search — o artigo da Ahrefs que cita minha pesquisa e as descobertas de Dan Petrovic sobre como o Chrome divide e gera embeddings dos trechos de páginas (limite de ~30 trechos, blocos de 200 palavras).
- GEO? AEO? LLMO? — my AI search webinar — onde os pipelines de recuperação e os embeddings se encaixam na busca por IA.
Artigos fundamentais (a história)
- word2vec — Mikolov et al., 2013 — vetores densos de palavras e aritmética vetorial.
- GloVe — Pennington, Socher, Manning, 2014 — vetores de palavras por coocorrência global.
- BERT — Devlin et al., 2018 — embeddings contextuais e bidirecionais.
- Sentence-BERT — Reimers & Gurevych, 2019 — similaridade rápida em nível de sentença.
De outras pessoas
- The shift to semantic SEO: What vectors mean for your strategy — Ann Robison, Search Engine Land: “Vectors are to AI what structured data is to search engines.”
- How to leverage cosine similarity for ecommerce SEO — guia prático da Search Engine Land sobre como aplicar similaridade de cosseno em fluxos de SEO para comércio eletrônico.
- Introduction to Vector Databases and How to Use AI for SEO — visão geral do Search Engine Journal sobre como bancos de dados vetoriais se conectam ao SEO.
- SEO Use Cases for Vectorizing the Web with Screaming Frog — passo a passo prático da iPullRank para profissionais de SEO sobre embeddings.
- Semantic Search Explained: Vector Models’ Impact on SEO Today — a Lumar sobre denso versus esparso, similaridade de cosseno e busca híbrida.
- Embeddings Explained: Unlocking the Future of SEO — explicação de Edd Dawson voltada para SEO, cobrindo casos práticos de agrupamento de palavras-chave e links internos.
- How Google Search Works (inverted index, RankBrain, RankEmbed, DeepRank) — a visão baseada no depoimento ao DOJ sobre os sistemas de embeddings do Google.
- sbert.net — a biblioteca Sentence Transformers, caso você queira gerar embeddings por conta própria.