Metodologia per misurare la ricerca IA

TL;DR — Un risultato della ricerca IA è un campione, non un ranking. Salva la domanda esatta, dove è stata posta, quale modello o prodotto ha risposto, quando è stata eseguita e quali link sono comparsi. Ripeti lo stesso test più volte. Tieni i fallimenti fuori dal denominatore e non trattare la visita di un bot, una menzione del brand, una citazione, un clic e una conversione come lo stesso evento.

Il record conta più del punteggio

Un «punteggio di visibilità IA» è difficile da interpretare se non sai che cosa è stato testato. La stessa prompt può produrre risposte diverse in date, modelli, paesi, account o esecuzioni ripetute differenti. Un record utile parte quindi dall’osservazione:

• la prompt esatta e la sua versione;
• il prodotto, l’API o la superficie ufficiale di reporting;
• il modello richiesto e quello risolto, quando noti;
• se il recupero web era attivo, disattivo o non disponibile;
• paese, lingua, dispositivo e stato dell’account, quando rilevanti;
• data, gruppo del campione e numero della ripetizione;
• hash della risposta o dell’evidenza consentita;
• ogni menzione e citazione osservata;
• il passaggio che apparentemente supporta ciascuna citazione, quando esposto;
• versioni dell’estrazione e della metodologia.

Se un’esecuzione è fallita, è stata rifiutata o non ha esposto i dati richiesti, conserva comunque il record. Etichettalo non valutato invece di trasformarlo in zero.

Cinque eventi da mantenere separati

1. Acquisito: un crawler verificato o un agente diretto dall’utente ha richiesto un URL.
2. Recuperato o selezionato: la pagina è entrata in un insieme di recupero osservabile.
3. Menzionato: la risposta ha nominato l’entità.
4. Citato: la risposta ha esposto un URL sorgente.
5. Visitato o convertito: una persona ha seguito un link e completato un’azione misurata.

Un log del server può dimostrare il primo evento quando il richiedente è verificato correttamente. Normalmente non può dimostrare gli altri quattro. Una cattura della risposta può dimostrare una menzione o una citazione visibile, ma non può rivelare ogni fonte che il sistema ha recuperato o usato internamente.

Ripeti prima di raccomandare una modifica

Esegui prompt compatibili almeno tre volte prima di assegnare un’etichetta di stabilità; cinque è un’impostazione predefinita migliore. Mostra il risultato come frazione esatta, per esempio 3/5 risposte idonee hanno citato la pagina, invece di un semplice «60% visibile».

Quando una citazione compare una volta e scompare due volte, l’interpretazione iniziale corretta è la variabilità. Non è automaticamente un problema di indicizzazione o una penalizzazione.

Prova l’AI Search Evidence Lab con il suo pacchetto di esempio incluso per vedere come denominatori idonei, persistenza delle citazioni, copertura dei passaggi e conflitti fattuali restano separati.

TL;DR — Usa un contratto di osservazione append-only e un registro versionato delle prompt. Confronta solo pannelli compatibili per prompt/superficie/recupero/lingua/metodo. Riporta risultati binari con N e un intervallo di incertezza. Conserva le evidenze grezze separatamente dai classificatori derivati e dalle correzioni umane. Il più ampio NIST AI Risk Management Framework offre un quadro di governance complementare per questa conservazione. Valuta gli interventi con controlli quando possibile, ma considera comunque direzionali anche i risultati osservazionali controllati.

Il perimetro dell’osservazione

L’osservazione canonica dovrebbe contenere quattro livelli:

Acquisizione

Registra esplicitamente il tipo di fonte:

• prodotto consumer;
• API del modello first-party;
• API first-party con ricerca web;
• provider di terze parti;
• report ufficiale per webmaster;
• log del server verificato;
• caricamento dell’utente.

Una chiamata API first-party con ricerca è un’evidenza utile sull’esecuzione di quell’API. Non è una misurazione diretta di un prodotto consumer con nome simile. Conserva questo confine nell’archiviazione, nelle etichette dell’interfaccia, nelle esportazioni e nelle aggregazioni.

Contesto sperimentale

Salva un ID stabile della prompt, una versione immutabile della prompt, l’hash della prompt, la superficie, la modalità di recupero, la lingua, il paese, il dispositivo, lo stato dell’account, il gruppo del campione e l’ordinale del campione. Usa un pannello benchmark congelato per le tendenze e un pannello esplorativo separato per scoprire nuovi pattern di prompt.

Quando una prompt cambia, crea una nuova versione. Non modificare le osservazioni storiche per farle sembrare compatibili.

Evidenza

Conserva l’evidenza grezza o sottoposta a hashing della risposta, gli URL citati e recuperati normalizzati, gli intervalli delle menzioni, le posizioni delle citazioni quando esposte, le grounding queries quando esposte e i passaggi di supporto o i relativi hash. Normalizza i parametri di tracking e i frammenti degli URL senza scartare l’URL originale.

Per le citazioni, un record sorgente utile contiene:

raw URL → normalized URL → observed canonical or redirect successor
        → answer citation position → supporting passage → observed HTTP status

Questa lineage impedisce che redirect, parametri, copie sindacate e migrazioni gonfino il conteggio delle fonti. La guida di Google alla canonicalizzazione descrive i segnali correlati alla consolidazione degli URL e i loro limiti.

Interpretazione

Ogni menzione, sentimento, entità, fatto e motivo di perdita estratto dovrebbe includere:

• versione del classificatore o dell’estrattore;
• stato osservato, derivato, inferito o non valutato;
• confidenza e relativa motivazione;
• ogni successiva correzione umana.

Una correzione non elimina la classificazione originale. Diventa un fixture di calibrazione per valutare la versione successiva del classificatore.

Confronti compatibili

Prima di calcolare una tendenza, richiedi valori compatibili per:

• ID e versione della prompt;
• superficie;
• modalità di recupero;
• lingua;
• versioni della metodologia e dell’estrattore.

Annota o interrompi la serie quando cambiano il modello risolto o il checkpoint. Altrimenti un aggiornamento del provider può sembrare un cambiamento nelle prestazioni dei contenuti.

Per un risultato binario, riporta numeratore, denominatore idoneo, stima puntuale e intervallo di incertezza. Escludi rifiuti, errori del provider ed evidenze non disponibili dal denominatore, ma continua a mostrarne i conteggi nella qualità dell’esecuzione.

Esempi di piattaforme pubbliche

Questi sono esempi del motivo per cui servono contratti specifici per fonte, non una richiesta di forzare le piattaforme dentro un ranking condiviso:

• La descrizione pubblica di Google del report sulle performance IA generativa di Search Console elenca impressioni, pagine, paesi, dispositivi e date. Salvali come campi di visibilità documentati; non trasformarli in citazioni o ranking della risposta. Il report è stato annunciato come distribuzione limitata nel giugno 2026. Annuncio ufficiale
• La descrizione pubblica di AI Performance in Bing Webmaster Tools di Microsoft include attività di citazione, pagine citate e grounding queries campionate. Microsoft afferma esplicitamente che queste citazioni non indicano posizione, autorevolezza, ranking o ruolo di una pagina nella risposta. Annuncio ufficiale

L’adapter di ciascuna fonte dovrebbe conservare questi significati e contrassegnare come non disponibili i campi non documentati.

Esperimenti sulle modifiche dei contenuti

Crea un record dell’intervento prima di giudicare una modifica:

• ipotesi;
• URL interessati e URL di controllo;
• ID delle prompt;
• ora della distribuzione;
• ora del recrawl osservato;
• metrica prevista;
• finestre prima e dopo.

Un risultato incontrollato prima/dopo è direzionale. Un pannello di controllo compatibile permette una lettura difference-in-differences, ma resta osservazionale a meno che assegnazione e condizioni esterne non giustifichino un linguaggio causale più forte.

Richiedi che il risultato persista in esecuzioni ripetute prima di trasformarlo in una raccomandazione sui contenuti. La raccomandazione dovrebbe rimandare alle osservazioni che l’hanno generata.

Monitoraggio di fatti e contraddizioni

Mantieni un registro dei fatti sottoposto a revisione umana, con entità, predicato, valore atteso, varianti accettabili, fonte primaria, date di validità, sensibilità e ultima verifica umana. Confronta le affermazioni osservate nelle risposte con quel registro.

Quando i modelli non concordano, riporta conflitto osservato. Non dichiarare un vincitore finché i valori non sono stati verificati rispetto all’evidenza attuale. I fatti su prezzi, aspetti legali, medicina, finanza e sicurezza meritano finestre di verifica più brevi e gate di revisione più rigorosi.

Evidenza sui crawler

I controlli dei crawler differiscono in base allo scopo della richiesta. OpenAI, Anthropic e Perplexity documentano ruoli separati per sviluppo dei modelli, ricerca/indicizzazione o recupero diretto dall’utente. Verifica l’identità usando, quando disponibile, un elenco IP pubblicato dall’operatore, il reverse DNS documentato o un altro meccanismo ufficiale; una stringa user-agent da sola non è una prova d’identità.

• Documentazione sui crawler di OpenAI
• Documentazione sui crawler di Anthropic
• Documentazione sui crawler di Perplexity

Anche una richiesta verificata dimostra solo quella richiesta. Non trasformarla in evidenza dell’uso nella risposta, di una citazione, del traffico o di una conversione. La documentazione sui bot di OpenAI, la guida ai crawler di Anthropic e la documentazione sui crawler di Perplexity descrivono identità e confini di accesso specifici per provider.

Anti-pattern

• Un punteggio universale che nasconde il disaccordo tra superfici.
• Una singola esecuzione di una prompt etichettata come quota di voce.
• Trattare un’evidenza non disponibile come zero.
• Confrontare l’output di un’API con un prodotto consumer come se fossero identici.
• Chiamare le citazioni «ranking».
• Chiamare una citazione 404 un’allucinazione prima di controllare redirect e migrazioni.
• Riscrivere prompt, osservazioni o correzioni storiche.
• Applicare retroattivamente una modifica del classificatore senza conservarne la versione.
• Dichiarare che una modifica ai contenuti ha causato un aumento senza un esperimento adeguato.
• Raccomandare llms.txt, markup IA speciale o passaggi minuscoli come requisiti universali di Google. La guida attuale di Google dice che non sono necessari per le sue funzionalità di Search generativa. Guida ufficiale

Cronologia modifiche