Embedding
Gli embedding sono vettori numerici densi che codificano il significato del testo: come la ricerca semantica, il ranking di Google e la RAG associano i contenuti in base al significato invece che alle parole chiave.
Lingue
Un embedding è una lista di numeri, un vettore denso, che codifica il significato di una parola, frase o documento in uno spazio ad alta dimensionalità, così il testo semanticamente simile finisce vicino. A produrlo sono modelli encoder, non LLM generativi; la similarità si misura con la similarità coseno. Gli embedding alimentano la ricerca semantica, il clustering e il livello di recupero nella RAG, e Google usa il recupero basato sugli embedding (Neural Matching / RankEmbed, RankEmbedBERT) insieme al suo indice di parole chiave. La conclusione SEO non è una manopola da regolare: Danny Sullivan ha detto a proposito di BERT «there is nothing to optimize for», ma contenuti coerenti sul piano tematico si raggruppano vicino alle query a cui dovrebbero rispondere.
TL;DR — Un embedding trasforma il testo in una lista di numeri, cioè coordinate in uno spazio enorme, dove gli elementi che hanno un significato simile finiscono vicini. È così che la ricerca AI e i motori di ricerca moderni associano i tuoi contenuti a una query in base al significato invece di limitarsi alle parole chiave. Non puoi «aggiungere» embedding a una pagina: sono il modo in cui la macchina legge ciò che è già presente.
Che cos’è un embedding
Un embedding rappresenta un input come un vettore numerico pensato per preservare relazioni utili in attività come la similarità semantica. Evidence for this claim Embeddings represent inputs as numerical vectors that can be compared for relatedness and used for search, clustering, and classification. Scope: OpenAI embedding models and documented uses; vector dimensions and behavior vary by model. Confidence: high · Verified: OpenAI: Embeddings guide La geometria e la dimensionalità dipendono dal modello: non esistono significati universali associati a ogni coordinata. Evidence for this claim Learned vector representations can encode useful distributional relationships between words. Scope: Word2vec-era language representations; observed vector relationships are model- and training-data-specific, not ground truth. Confidence: high · Verified: Mikolov et al.: Efficient Estimation of Word Representations
I computer non capiscono le parole: capiscono i numeri. Un embedding è il ponte: un modello legge un testo e lo trasforma in una lista di numeri (chiamata vettore) che ne cattura il significato. Pensalo come a una posizione su una mappa. Due testi con significato simile vengono collocati vicini; un testo non correlato finisce lontano.
Così «laptop per il gaming» e «laptop ad alte prestazioni per i giochi» finiscono vicini, anche se condividono pochissime parole. «Ricetta del banana bread» finisce in un luogo completamente diverso. Il modello lo ha imparato leggendo enormi quantità di testo e osservando quali parole e frasi compaiono in contesti simili.
Perché conta per la ricerca
La ricerca della vecchia scuola confrontava le parole chiave: digitavi una parola e il motore trovava le pagine che la contenevano. Gli embedding permettono alla ricerca di confrontare il significato. Ecco perché Google può rispondere a una domanda lunga e conversazionale anche quando la pagina migliore non usa le tue parole esatte, ed è così che gli strumenti di ricerca AI (quelli che leggono le fonti e scrivono una risposta) decidono quali passaggi sono abbastanza pertinenti da essere estratti.
La versione breve della pipeline alla base delle risposte AI:
- Il contenuto viene diviso in chunk (passaggi).
- Ogni chunk viene trasformato in un embedding (un vettore).
- Anche la tua domanda viene trasformata in un embedding.
- Il sistema trova i chunk i cui vettori sono più vicini al vettore della domanda.
- Quei chunk diventano il materiale fonte da cui l’AI scrive la risposta.
Che cosa significa per i tuoi contenuti
Questa è la parte che molti esagerano, quindi voglio essere chiaro: non esiste una «ottimizzazione per gli embedding» da inviare a Google. Danny Sullivan di Google lo ha detto esattamente a proposito di BERT (uno dei sistemi Google basati sugli embedding): «There’s nothing to optimize for.»
Ciò che aiuta davvero è il solito consiglio, solo con una motivazione più chiara. Scrivi contenuti che trattino un argomento in modo autentico e completo. Un contenuto coerente e focalizzato produce embedding puliti e consistenti, vicini alle domande a cui dovrebbe rispondere. Un contenuto pieno di keyword e dispersivo produce un segnale più confuso. Non stai alimentando una formula: stai scrivendo qualcosa che un modello (e una persona) può capire chiaramente.
Vuoi la meccanica reale, cioè dimensioni, similarità coseno, la storia da word2vec a BERT e il modo in cui Google usa davvero gli embedding nel ranking? Passa alla scheda Advanced.
TL;DR — Un embedding è un vettore denso di numeri in virgola mobile (in genere da alcune centinaia a qualche migliaio di dimensioni) che codifica il significato, prodotto da un modello encoder, non da un LLM generativo. Significato simile → vettori vicini, misurati con la similarità coseno. Il settore è passato dagli embedding statici delle parole (word2vec, GloVe) a quelli contestuali (BERT), fino agli embedding moderni a livello di frase e delle API. Google usa il recupero basato su embedding (Neural Matching / RankEmbed, RankEmbedBERT) insieme al suo indice di parole chiave: è ibrido, non una sostituzione. Gli embedding sono anche la base del recupero in RAG. Non esiste una manopola degli embedding da regolare: è la coerenza tematica che fa raggruppare i contenuti vicino alle query giuste.
Che cos’è davvero un embedding
Gli embedding supportano similarità e recupero, ma non sono una misura diretta di verità, qualità o valore per il ranking. Evidence for this claim Embeddings represent inputs as numerical vectors that can be compared for relatedness and used for search, clustering, and classification. Scope: OpenAI embedding models and documented uses; vector dimensions and behavior vary by model. Confidence: high · Verified: OpenAI: Embeddings guide I risultati della ricerca dipendono dal modello addestrato e dalle impostazioni di valutazione. Evidence for this claim Learned vector representations can encode useful distributional relationships between words. Scope: Word2vec-era language representations; observed vector relationships are model- and training-data-specific, not ground truth. Confidence: high · Verified: Mikolov et al.: Efficient Estimation of Word Representations
Un embedding è un vettore numerico denso, cioè una lista di numeri in virgola mobile, che rappresenta testo (o immagini, audio e video) come un punto in uno spazio ad alta dimensionalità. La documentazione di OpenAI lo dice chiaramente: “An embedding is a vector (list) of floating point numbers.”
La proprietà fondamentale è geometrica: contenuti semanticamente simili hanno vettori simili. Un testo che significa più o meno la stessa cosa punta più o meno nella stessa direzione; un testo non correlato punta altrove. Non è un caso fortunato: il modello è addestrato affinché parole e frasi usate in contesti simili finiscano con vettori simili. Il significato diventa posizione.
A conceptual semantic space places the query reset my password near documents titled Forgot-password guide, Account recovery steps, and Cannot log in. The unrelated document Enterprise pricing sits farther away. Near means more semantically similar; far means less similar. Actual embedding spaces have many more dimensions and model-specific geometry.
© Patrick Stox LLC · CC BY 4.0 ·
Alcune precisazioni importanti:
- Encoder, non generatore. Gli embedding provengono da modelli encoder il cui compito è comprimere il significato in un vettore di dimensione fissa. È un’architettura e uno scopo diversi da quelli di un LLM generativo, che predice il token successivo. (Più avanti la distinzione tra interno e API.)
- Densi, non sparsi. A differenza delle rappresentazioni one-hot o bag-of-words (per lo più zeri, uno slot per ogni parola del vocabolario), gli embedding distribuiscono il significato in ogni dimensione. Il glossario ML di Google descrive gli embedding come rappresentazioni dense a dimensionalità inferiore che risolvono ciò che l’encoding one-hot non riesce a esprimere: permettono a un modello di riconoscere che «hot dogs and shawarmas are more related than hot dogs and salads».
- Più dimensioni ≠ sempre meglio. Più dimensioni possono catturare più sfumature, ma costano di più da memorizzare e calcolare e il vantaggio dipende dal compito. È un compromesso, non una manopola «più grande è meglio».
Misurare la similarità: similarità coseno
Per confrontare due embedding misuri la distanza, o meglio l’angolo, tra loro. La metrica standard è la similarità coseno: misura l’angolo tra due vettori indipendentemente dalla loro lunghezza, con un punteggio da −1 (opposti) passando per 0 (non correlati/ortogonali) fino a 1 (stessa direzione). Distanza più piccola = maggiore correlazione.
Molte API di embedding normalizzano i vettori a lunghezza unitaria, facendo sì che similarità coseno e prodotto scalare producano lo stesso ranking. OpenAI osserva che il coseno è la scelta convenzionale e leggermente più economica. Voyage AI (il provider di embedding raccomandato da Anthropic) esprime bene l’intuizione: “the cosine similarity between two embeddings captures the semantic relatedness of the corresponding original passages.” Il confronto tra vicini più prossimi su larga scala è un problema a sé: se ne occupa la ricerca vettoriale.
Come ci siamo arrivati: l’evoluzione
La storia va dalle singole parole ai passaggi interi e dai significati fissi a quelli sensibili al contesto.
- word2vec (Google, 2013). Mikolov e colleghi hanno introdotto due architetture (CBOW e Skip-Gram) per apprendere vettori densi delle parole da corpora enormi. Il risultato famoso: il vettore “King” − “Man” + “Woman” finisce più vicino a “Queen”, prova che l’aritmetica vettoriale cattura relazioni semantiche. (Avvertenza: l’analogia è illustrativa e non è garantita ogni volta; a seconda del modello può finire su «kings» o «monarch».) Sono embedding statici, un vettore fisso per ogni parola: «bank» riceve lo stesso vettore in «river bank» e «bank account».
- GloVe (Stanford, 2014). Un’alternativa basata sul conteggio e costruita sulle statistiche globali di co-occorrenza invece che su una rete predittiva: obiettivo diverso, embedding altrettanto utili. Anche questi sono statici.
- Universal Sentence Encoder (Google, 2018). Embedding per frasi intere, non solo per parole. L’idea centrale: “Sentences are semantically similar if they have a similar distribution of responses”; «How old are you?» e «What is your age?» invitano le stesse risposte, quindi vengono incorporati vicini.
- BERT (Google, 2018; distribuito nella Ricerca nell’ottobre 2019). Il grande cambiamento: embedding contestuali. La stessa parola riceve un vettore diverso in base alla frase circostante, perché BERT è bidirezionale: legge le parole prima e dopo un token per determinarne il significato. Così «bank» in «river bank» e «bank account» ricevono finalmente vettori diversi.
- Sentence-BERT (2019). Ha risolto il problema di scalabilità di BERT per la ricerca di similarità. Il BERT normale richiede di fornire entrambe le frasi insieme, cosa computazionalmente pesante su larga scala; SBERT produce embedding di frasi di dimensione fissa confrontabili con similarità coseno, riducendo da ore a secondi il costo di trovare la coppia più simile in un corpus grande.
- API moderne di embedding (2024–presente). La famiglia text-embedding-3 di OpenAI, gli embedding Gemini di Google, Voyage e embed-v4.0 di Cohere: multilingue, sempre più multimodali (testo, immagini, audio e video in uno stesso spazio) e ridimensionabili tramite Matryoshka Representation Learning (troncare il vettore a meno dimensioni senza riaddestrarlo, scambiando un po’ di precisione con spazio e velocità).
Come Google usa gli embedding nella Ricerca
La pipeline di ranking di Google non è esclusivamente semantica né esclusivamente basata sulle parole chiave: è ibrida e i componenti basati sugli embedding integrano l’indice inverso classico invece di sostituirlo. Secondo la documentazione dei sistemi di ranking di Google e la testimonianza antitrust al DOJ di Pandu Nayak, i sistemi nominati includono:
- BERT — il sistema Google che interpreta le parole nel contesto. Al lancio aiutava la Ricerca a «better understand one in 10 searches in the U.S. in English», soprattutto nelle query conversazionali più lunghe, dove preposizioni come «for» e «to» cambiano il significato.
- Neural Matching / RankEmbed — recupero basato su embedding che traduce query e documenti nello stesso spazio vettoriale per trovare risultati concettualmente corrispondenti anche senza parole chiave condivise. Nayak lo ha descritto come un’integrazione: “RankEmbed identifies a few more documents to add to those identified by the traditional retrieval.” Il recupero si basa su un prodotto scalare o una misura di distanza nello spazio degli embedding.
- RankEmbedBERT — evoluzione successiva che combina il recupero di RankEmbed con la comprensione linguistica di BERT, addestrata sui punteggi dei valutatori della qualità e sui log di ricerca e particolarmente migliore sulle query complesse e long-tail.
La lettura pratica è questa: la presenza delle parole chiave conta ancora perché il recupero lessicale (l’indice inverso, in stile BM25) restringe ancora il campo nel primo passaggio. I sistemi basati sugli embedding aggiungono candidati concettualmente correlati e li riordinano. Entrambi i segnali sono in gioco, ed è esattamente per questo che «BERT ha eliminato le parole chiave» è sbagliato.
Gli embedding nella ricerca AI (la pipeline RAG)
È qui che gli embedding toccano più direttamente AI Overviews e gli assistenti di ricerca AI. La Retrieval-Augmented Generation (RAG) usa gli embedding come livello di recupero:
- Indicizza: il contenuto viene diviso in chunk; ogni passaggio viene incorporato e i vettori finiscono in un database vettoriale.
- Recupera: la query dell’utente viene incorporata, una ricerca dei vicini più prossimi trova i chunk più vicini (tramite ricerca vettoriale) e i primi K chunk vengono consegnati all’LLM come contesto.
- Genera: l’LLM scrive una risposta fondata su quei chunk recuperati.
La struttura conta perché ogni chunk viene recuperato in isolamento. La ricerca di Dan Petrovic (citata nell’articolo Ahrefs What We Actually Know About Optimizing for LLM Search) ha rilevato che Chrome elabora solo i primi ~30 passaggi di una pagina per gli embedding e li divide in passaggi di circa 200 parole con sovrapposizione, per preservare il contesto tra chunk. Se una sezione non riesce a reggersi da sola una volta estratta dalla pagina, rappresenta male il tuo contenuto.
Embedding dei token vs. API di embedding del testo
Una distinzione che trae in inganno: gli embedding dentro un LLM e quelli che ottieni da un’API non sono la stessa cosa.
- Gli embedding dei token sono le rappresentazioni interne del modello: ogni token riceve un vettore trasformato strato dopo strato durante la generazione. Sono il meccanismo che produce il token successivo.
- Le API di embedding del testo (OpenAI, Google, Voyage, Cohere) producono un singolo vettore di dimensione fissa per un’intera stringa di input, progettato appositamente per recupero e similarità. Spesso provengono da un modello separato con un obiettivo di addestramento diverso.
Quando i SEO parlano di «incorporare una pagina» o di eseguire la similarità coseno per il linking interno o il clustering delle parole chiave, intendono il tipo fornito dalle API.
Che cosa significa per la SEO
- La coerenza semantica batte la densità delle parole chiave. Poiché i modelli capiscono il contesto, «laptop per il gaming» e «laptop ad alte prestazioni» sono già vicini. Riempire il testo non aiuta: produce contenuti dispersi sul piano tematico e un embedding più confuso.
- Struttura per il recupero a chunk. I passaggi vengono incorporati e recuperati singolarmente. Metti presto i contenuti importanti, mantieni le sezioni autonome e usa HTML semantico chiaro.
- Completezza tematica. Un contenuto che tratta davvero un argomento finisce vicino a un numero maggiore di query correlate nello spazio vettoriale. È il meccanismo dietro alla «costruzione dell’autorevolezza tematica».
- Non esiste una manopola degli embedding. Danny Sullivan, su BERT: “There’s nothing to optimize for… The fundamentals of us seeking to reward great content remain unchanged.” I punteggi di similarità coseno ottenuti da uno strumento sono aiuti per l’analisi, non input che invii a Google.
Gli embedding sono il tessuto connettivo sotto gran parte di questo cluster: sono ciò su cui gira la ricerca semantica, ciò che confronta la ricerca vettoriale, ciò per cui il chunking prepara il testo e la base di recupero della RAG. Sono anche il motivo per cui il crawling deve ancora venire prima: il contenuto deve essere recuperato prima che un sistema possa incorporarlo.
Riepilogo AI
Una sintesi della versione Avanzata:
- Un embedding = un vettore denso di numeri in virgola mobile che codifica il significato; significati simili → vettori vicini. OpenAI: «An embedding is a vector (list) of floating point numbers.»
- È prodotto da modelli encoder, non da LLM generativi, con architettura e scopo diversi. È denso, non sparso.
- La similarità si misura con la similarità coseno (l’angolo tra vettori, da −1 a 1). I vettori normalizzati rendono coseno e prodotto scalare equivalenti per il ranking.
- Evoluzione: word2vec (2013) e GloVe (2014) hanno dato vettori statici delle parole → USE (2018) ha incorporato frasi intere → BERT (2018) ha reso gli embedding contestuali (stessa parola, vettore diverso in base al contesto) → Sentence-BERT (2019) ha velocizzato la ricerca di similarità → modelli API moderni multimodali e ridimensionabili (2024–presente).
- Google usa gli embedding in una pipeline ibrida: BERT (parole nel contesto), Neural Matching / RankEmbed (recupero da embedding che integra l’indice delle parole chiave) e RankEmbedBERT. Le parole chiave eseguono ancora il recupero nel primo passaggio; gli embedding aggiungono candidati e li riordinano.
- Pipeline RAG: dividi in chunk → incorpora → memorizza in un DB vettoriale → incorpora la query → recupera i chunk più vicini → l’LLM genera una risposta fondata. Ogni chunk viene recuperato in isolamento, quindi la struttura conta.
- Conclusione SEO: non esiste «ottimizzazione per gli embedding»: Danny Sullivan dice «There’s nothing to optimize for» a proposito di BERT. Contenuti coerenti sul piano tematico, autonomi e completi si raggruppano vicino alle query a cui dovrebbero rispondere.
Documentazione ufficiale
Documentazione delle fonti primarie sugli embedding di Google e dei principali provider di embedding.
- Glossario di Machine Learning — Embedding — la definizione di denso rispetto a sparso e il motivo per cui l’encoding one-hot non può esprimere la correlazione.
- Una guida ai sistemi di ranking della Ricerca Google — BERT, Neural Matching, RankBrain, Passage Ranking e MUM descritti con le parole di Google.
- Capire le ricerche meglio che mai (BERT) — l’annuncio di ottobre 2019 sull’arrivo di BERT nella Ricerca.
- Progressi nella similarità testuale semantica — Universal Sentence Encoder (2018) e l’idea della «distribuzione simile delle risposte».
- API Gemini — Embedding — l’attuale modello di embedding multimodale di Google, dimensioni e casi d’uso (RAG, ricerca semantica, reranking e clustering).
OpenAI
- Guida agli embedding vettoriali — «An embedding is a vector (list) of floating point numbers» e indicazioni sulla similarità coseno.
- Nuovi modelli di embedding e aggiornamenti API — la famiglia text-embedding-3 e la riduzione delle dimensioni Matryoshka (gennaio 2024).
Altri provider
- Cohere — Embedding — embed-v4.0 multilingue, tipi separati di input query/documento e opzioni di compressione.
- Voyage AI — Guida rapida — provider raccomandato da Anthropic; «the cosine similarity between two embeddings captures the semantic relatedness of the corresponding original passages».
Articoli fondamentali
- word2vec — Mikolov et al., 2013 — i vettori densi originali delle parole e l’analogia king−man+woman.
- GloVe — Pennington, Socher, Manning, 2014 — vettori delle parole basati sulla co-occorrenza globale.
- BERT — Devlin et al., 2018 — embedding bidirezionali e contestuali.
- Sentence-BERT — Reimers & Gurevych, 2019 — embedding rapidi delle frasi per la ricerca di similarità.
Citazioni dalla fonte
Dichiarazioni ufficiali di Google e dei provider di embedding. Ogni link è un deep link che porta al passaggio citato nella pagina fonte.
Che cos’è un embedding
- “An embedding is a vector (list) of floating point numbers.” — OpenAI, Guida agli embedding vettoriali. Vai alla citazione
Google — BERT e comprensione linguistica
- “At its core, Search is about understanding language.” — Pandu Nayak, VP of Search, Google (annuncio di BERT, ottobre 2019). Vai alla citazione
- “BERT will help Search better understand one in 10 searches in the U.S. in English.” — Google Search Blog, ottobre 2019. Vai alla citazione
Google — ottimizzare per BERT
- “There’s nothing to optimize for with BERT… The fundamentals of us seeking to reward great content remain unchanged.” — Danny Sullivan, Google Search Liaison. Vai alla citazione
Google — similarità semantica (Universal Sentence Encoder)
- “Sentences are semantically similar if they have a similar distribution of responses.” — Google Research, «Advances in Semantic Textual Similarity» (maggio 2018). Leggi la fonte
Voyage AI (provider raccomandato da Anthropic) — similarità coseno
- “The cosine similarity between two embeddings captures the semantic relatedness of the corresponding original passages.” — Guida rapida di Voyage AI. Leggi la fonte
Pandu Nayak (testimonianza antitrust al DOJ) — RankEmbed
- “RankEmbed identifies a few more documents to add to those identified by the traditional retrieval.” — copertura della testimonianza di Pandu Nayak, DOJ v. Google. Leggi la copertura
Modelli mentali
1. Il significato diventa posizione. Un embedding trasforma il testo in coordinate. Vicino = significato simile; lontano = non correlato. Tutto il resto, ricerca semantica, clustering e recupero RAG, consiste semplicemente nel misurare la distanza in quello spazio.
2. Statico vs. contestuale. word2vec e GloVe danno a ogni parola un vettore fisso («bank» è sempre lo stesso). BERT e i suoi discendenti danno a ogni occorrenza un vettore che dipende dal contesto («river bank» ≠ «bank account»). Gli strumenti più vecchi di similarità delle parole chiave basati su word2vec non distinguono i due casi; quelli basati su BERT sì.
3. Embedding dei token ≠ API di embedding del testo. Dentro un LLM, gli embedding dei token sono il meccanismo che genera il token successivo. Le API di embedding del testo producono un vettore condensato per ogni stringa, pensato per recupero e similarità. Modelli diversi, compiti diversi. Quando i SEO «incorporano una pagina», intendono il tipo delle API.
4. Recupero ibrido, non sostituzione. Google esegue il recupero lessicale (l’indice inverso delle parole chiave) e il recupero basato sugli embedding (Neural Matching / RankEmbed). Le parole chiave restringono il campo per prime; gli embedding aggiungono candidati concettualmente correlati e li riordinano. Nessuno dei due, da solo, è l’intero sistema.
5. Il ciclo RAG. Chunk → incorpora → memorizza → incorpora la query → recupera i chunk più vicini → genera una risposta fondata. Poiché ogni chunk viene recuperato in isolamento, scrivi passaggi autonomi e porta in testa ciò che conta.
6. La regola decisionale per i contenuti. Non esiste un embedding da ottimizzare. Chiediti invece: questo passaggio tratta in modo chiaro e completo ciò che sostiene di trattare? I contenuti coerenti si raggruppano vicino alle query giuste; quelli dispersi e pieni di keyword no.
Embedding — scheda rapida
Che cos’è in una riga Un vettore denso (lista di numeri in virgola mobile) che codifica il significato; significato simile → vettori vicini; confrontato con la similarità coseno.
Scala della similarità coseno
| Punteggio | Significato |
|---|---|
| 1 | Stessa direzione: altamente simile |
| ~0 | Ortogonale: non correlato |
| −1 | Direzione opposta |
Vettori normalizzati (a lunghezza unitaria) → similarità coseno e prodotto scalare producono lo stesso ranking.
L’evoluzione a colpo d’occhio
| Epoca | Modello/i | Che cosa è cambiato |
|---|---|---|
| 2013–2014 | word2vec, GloVe | Vettori densi delle parole, ma statici (un vettore per parola) |
| 2018 | Universal Sentence Encoder | Embedding di frasi intere |
| 2018 (Ricerca: 2019) | BERT | Contestuale: il vettore della parola dipende dalla frase |
| 2019 | Sentence-BERT | Embedding rapidi delle frasi per la ricerca di similarità su larga scala |
| 2024–presente | OpenAI / Gemini / Voyage / Cohere | Multilingue, multimodale e ridimensionabile (Matryoshka) |
Sistemi di embedding nominati da Google
| Sistema | Ruolo |
|---|---|
| BERT | Comprende le parole nel contesto (interpretazione della query) |
| Neural Matching / RankEmbed | Recupero basato sugli embedding che integra l’indice delle parole chiave |
| RankEmbedBERT | RankEmbed + BERT; forte sulle query complesse e long-tail |
| Passage Ranking | Fa emergere i singoli passaggi pertinenti di una pagina |
Il ciclo di recupero RAG
- Dividi il contenuto in passaggi
- Incorpora ogni chunk → vettore
- Memorizza i vettori in un database vettoriale
- Incorpora la query in arrivo
- Ricerca dei vicini più prossimi (vettoriale) → primi K chunk
- L’LLM genera una risposta fondata su quei chunk
Fatti rapidi
- Dimensioni: in genere da alcune centinaia a qualche migliaio; più sfumature significano più spazio e calcolo, ma non sempre un risultato migliore.
- Prodotti da modelli encoder, non da LLM generativi.
- Matryoshka permette di troncare a meno dimensioni senza riaddestrare.
- Cambiare modello di embedding significa incorporare nuovamente tutto: gli spazi di modelli diversi non sono compatibili.
- Non esiste «ottimizzazione per gli embedding» da inviare a Google: Danny Sullivan dice «There’s nothing to optimize for» (BERT).
Mettiti alla prova: Embedding
Risorse che vale la pena consultare
I miei articoli e interventi correlati
- What We Actually Know About Optimizing for LLM Search — l’articolo Ahrefs che cita la mia ricerca e i risultati di Dan Petrovic su come Chrome divide in chunk e incorpora i passaggi delle pagine (limite di ~30 passaggi, chunk di 200 parole).
- GEO? AEO? LLMO? — il mio webinar sulla ricerca AI — dove le pipeline di recupero e gli embedding entrano nella ricerca AI.
Articoli fondamentali (la storia)
- word2vec — Mikolov et al., 2013 — vettori densi delle parole e aritmetica vettoriale.
- GloVe — Pennington, Socher, Manning, 2014 — vettori delle parole basati sulla co-occorrenza globale.
- BERT — Devlin et al., 2018 — embedding contestuali e bidirezionali.
- Sentence-BERT — Reimers & Gurevych, 2019 — similarità rapida a livello di frase.
Da altre fonti
- The shift to semantic SEO: What vectors mean for your strategy — Ann Robison, Search Engine Land: «Vectors are to AI what structured data is to search engines.»
- How to leverage cosine similarity for ecommerce SEO — guida pratica di Search Engine Land per applicare la similarità coseno nei flussi SEO reali.
- Introduction to Vector Databases and How to Use AI for SEO — panoramica di Search Engine Journal sul rapporto tra database vettoriali e SEO.
- SEO Use Cases for Vectorizing the Web with Screaming Frog — guida pratica di iPullRank agli embedding per la SEO.
- Semantic Search Explained: Vector Models’ Impact on SEO Today — Lumar su denso rispetto a sparso, similarità coseno e ricerca ibrida.
- Embeddings Explained: Unlocking the Future of SEO — spiegazione di Edd Dawson focalizzata sulla SEO, con casi d’uso pratici per il clustering delle parole chiave e il linking interno.
- How Google Search Works (inverted index, RankBrain, RankEmbed, DeepRank) — la prospettiva della testimonianza al DOJ sui sistemi di embedding di Google.
- sbert.net — la libreria Sentence Transformers, se vuoi generare embedding in autonomia.