Lingue

Crawler IA

I tre tipi di crawler IA — bot di addestramento, indicizzatori della ricerca IA e fetcher attivati dall'utente —, i principali nomi e come controllarli senza danneggiare il SEO.

Prima pubblicazione: 24 giu 2026 · Ultimo aggiornamento: 22 ago 2026 · Advanced
Lingue
AIScritto daAI v2
2 segnali di evidenza in questa pagina

I crawler IA sono di tre tipi e confonderli è l'errore numero 1: (1) bot di addestramento/miglioramento dei modelli come GPTBot, ClaudeBot e CCBot; (2) indicizzatori della ricerca IA come OAI-SearchBot, PerplexityBot e Applebot; e (3) fetcher attivati dall'utente come ChatGPT-User, Perplexity-User e Claude-User. I controlli sono specifici per provider e agente: bloccare GPTBot non blocca OAI-SearchBot e OAI-AdsBot ha un ambito pubblicitario separato. Google-Extended e Applebot-Extended sono token di prodotto/controllo, non crawler indipendenti. Google-Extended riguarda il miglioramento dei modelli Gemini/Vertex e il grounding, ma non l'inclusione, il posizionamento, gli AI Overviews o l'AI Mode della Ricerca Google; Applebot-Extended controlla l'uso nei foundation model Apple senza rimuovere le pagine dalla ricerca Apple. llms.txt resta una proposta, non uno standard di controllo ampiamente adottato.

OpenAI afferma che le impostazioni di GPTBot, OAI-SearchBot e ChatGPT-User sono indipendenti. Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: OpenAI: Crawlers Anthropic identifica separatamente ClaudeBot, Claude-SearchBot e Claude-User e documenta la gestione di robots.txt. Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: Anthropic: Bot information

TL;DR — I crawler IA si dividono in tre categorie e confonderle è l’errore che commette quasi chiunque. I bot di addestramento (GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot, Meta-ExternalAgent) raccolgono dati per costruire corpora di modelli. I bot della ricerca IA (OAI-SearchBot, PerplexityBot, Applebot, Amzn-SearchBot) costruiscono un indice con citazioni. I fetcher attivati dall’utente (ChatGPT-User, Perplexity-User, Claude-User) recuperano una pagina in tempo reale quando una persona lo chiede. Ognuno ha il proprio user-agent e la propria regola in robots.txt, quindi bloccare GPTBot non tocca OAI-SearchBot. Google-Extended e Applebot-Extended sono token, non bot: non eseguono crawling, ma consentono solo di rinunciare all’addestramento/grounding. Bloccare i bot di addestramento non ha alcun effetto sul posizionamento Google (Google lo dichiara e i dati empirici lo confermano); bloccare i bot della ricerca IA riduce la visibilità nelle risposte IA. Il dibattito su robots.txt è reale per i fetcher utente (gli operatori dicono che la regola “may not apply”) e per Perplexity (crawling furtivo riportato). llms.txt è una proposta, poco letta e non adottata dai principali operatori.

Le tre categorie — la struttura portante dell’argomento

Classify the purpose before writing the rule: training, AI-search visibility, and live user fetching are separate decisions. Fonte: /technical-seo/how-search-works/crawling/crawler/ai-crawlers/

Training crawlers such as GPTBot, ClaudeBot, and CCBot collect data for model corpora. AI-search crawlers such as OAI-SearchBot and PerplexityBot build indexes used for answers and citations. User-triggered agents such as ChatGPT-User and Claude-User fetch a page for a live request. Blocking one category does not automatically block the others.

© Patrick Stox LLC · CC BY 4.0 ·

Ogni bot IA nominato appartiene a uno dei tre gruppi. Identifica correttamente il gruppo e ogni decisione successiva (bloccarlo? consentirlo? cosa succede al mio SEO?) ne consegue.

1. Crawler di addestramento / raccolta dati. Eseguono crawling su larga scala per costruire corpora destinati all’addestramento e al fine-tuning degli LLM. Sono i bot che più spesso gli editori vogliono bloccare, e vietarli non ha alcun effetto sul posizionamento. Ne fanno parte: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Bytespider (ByteDance), Amazonbot (Amazon), Meta-ExternalAgent (Meta), AI2Bot (Allen Institute), cohere-training-data-crawler (Cohere), Diffbot, Timpibot (Timpi), webzio-extended (Webz.io). Inoltre ci sono due token di controllo che NON sono crawler separati — Google-Extended e Applebot-Extended — descritti sotto.

2. Crawler della ricerca IA / indicizzazione. Costruiscono un indice aggiornato usato per rispondere alle query con citazioni e link verso di te. Bloccarli può farti scomparire dai risultati della ricerca IA. Ne fanno parte: OAI-SearchBot (OpenAI — distinto da GPTBot), PerplexityBot (Perplexity), Applebot (Apple — alimenta i suggerimenti di Spotlight/Siri/Safari), Amzn-SearchBot (Amazon).

3. Fetcher attivati dall’utente / on-demand. Recuperano una pagina specifica in tempo reale perché una persona ha posto una domanda, non perché un bot stia esplorando il web. Gli operatori sostengono in genere che robots.txt non vincoli un recupero avviato dall’utente: è un’area controversa. Ne fanno parte: ChatGPT-User (OpenAI), Perplexity-User (Perplexity), Claude-User e Claude-SearchBot (Anthropic), Amzn-User (Amazon, per Alexa), Meta-ExternalFetcher (Meta).

La tabella completa con i token user-agent e la conformità a robots.txt si trova nella scheda Cheat Sheets: è il fulcro di questo articolo.

La trappola del «token, non bot» (Google-Extended e Applebot-Extended)

Questo è il fatto più frainteso dell’argomento, quindi voglio essere preciso. Google-Extended e Applebot-Extended non eseguono alcun crawling. Non hanno un user-agent indipendente e non generano traffico di crawling. Sono token di controllo di robots.txt che cambiano ciò che i crawling già esistenti possono fare con i tuoi contenuti.

  • Google-Extended controlla l’uso per migliorare le app Gemini e i modelli generativi Vertex AI, incluso il grounding al di fuori di Google Search. Non controlla gli AI Overviews o l’AI Mode della Ricerca Google: lì vale l’accesso di Googlebot. Google è esplicita: “Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.” (traduzione) «Google-Extended non influisce sull’inclusione di un sito nella Ricerca Google e non viene usato come segnale di posizionamento nella Ricerca Google». Vietarlo non produce alcun effetto su Googlebot o sul tuo posizionamento.
  • Applebot-Extended segue la stessa logica per Apple. Apple dichiara: “Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results.” (traduzione) «Applebot-Extended non esegue crawling delle pagine web. Le pagine che vietano Applebot-Extended possono comunque essere incluse nei risultati di ricerca». Ti fa rinunciare all’addestramento dei foundation model di Apple (Apple Intelligence), mentre le tue pagine continuano a comparire in Spotlight/Siri tramite il crawler reale, Applebot.

Quindi Disallow: Google-Extended e Disallow: Applebot-Extended sono controlli sull’uso del prodotto, non blocchi indipendenti del crawling. Gli ambiti pubblicati non rimuovono le pagine dal relativo indice di ricerca, ma i due token non sono intercambiabili e non dovrebbero essere entrambi abbreviati in «bot di addestramento».

I principali operatori, bot per bot

OpenAI gestisce quattro bot dichiarati, ciascuno indipendente: GPTBot per migliorare e rendere più sicuri i modelli generativi, OAI-SearchBot per mostrare siti nei risultati della ricerca di ChatGPT, ChatGPT-User per azioni avviate dagli utenti e OAI-AdsBot per un ambito pubblicitario separato. Ogni impostazione è indipendente: vietare GPTBot esclude i dati futuri dall’addestramento, mentre vietare OAI-SearchBot impedisce al sito di comparire nei risultati della ricerca di ChatGPT.

Anthropic ne gestisce tre: ClaudeBot per l’addestramento, Claude-SearchBot per l’indicizzazione della ricerca e Claude-User per i recuperi avviati dagli utenti. Anthropic dichiara di rispettare le direttive standard di robots.txt che vietano il crawling. La pagina di supporto attuale rimanda anche a un elenco IP pubblicato per la verifica specifica di Anthropic. Quell’elenco del provider è una prova d’identità, non una regola universale di verifica IP o reverse DNS per ogni bot.

Google — il fatto chiave è quello già visto: Google-Extended è un token, non un bot. Google gestisce anche Google-CloudVertexBot (esegue crawling per gli Agenti Vertex AI richiesti dal proprietario del sito; non influenza il posizionamento) e agenti attivati dall’utente come Gemini-Deep-Research e Google-NotebookLM.

Apple gestisce Applebot, il crawler reale che alimenta i suggerimenti di Spotlight, Siri e Safari e può contribuire all’addestramento dei foundation model Apple, e il token Applebot-Extended. Bloccare Applebot ti rimuove dalla ricerca Apple; bloccare Applebot-Extended serve solo a rinunciare all’addestramento.

Perplexity dichiara due bot: PerplexityBot per ricerca e citazioni, esplicitamente non usato per raccogliere contenuti destinati ai foundation model, e Perplexity-User per i recuperi avviati dagli utenti. La documentazione afferma che quest’ultimo in genere ignora le regole robots.txt perché il recupero è richiesto dall’utente. Perplexity è anche al centro di segnalazioni su crawling furtivo: vedi la controversia sotto.

Amazon gestisce tre bot, e questa è un’eccezione utile: Amazonbot migliora i prodotti e può essere usato per addestrare modelli IA di Amazon, Amzn-SearchBot serve la ricerca e Amzn-User gestisce recuperi utente per Alexa. Secondo la documentazione Amazon, Amzn-SearchBot e Amzn-User non eseguono crawling per addestrare modelli IA generativi: quindi «tutte le aziende IA raccolgono dati per l’addestramento» è un mito. Amazon rispetta anche un tag meta noarchive con un significato speciale: non usare la pagina per l’addestramento dei modelli, una rara rinuncia all’addestramento a livello di singola pagina.

La gestione di robots.txt di Amazon presenta due aspetti operativi insoliti: i suoi crawler possono usare una copia di robots.txt memorizzata nei precedenti 30 giorni, e Amazon afferma che se il file non può essere recuperato i crawler si comportano come se non esistesse. Questo non significa che un recupero fallito durante un audit dimostri che Amazon abbia visto uno stato «consenti tutto»: l’audit e Amazon potrebbero raggiungere l’host in momenti diversi o attraverso percorsi di rete diversi. Evidence for this claim Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days. Scope: Amazon crawler behavior only; a current audit fetch cannot identify which cached copy Amazon used. Confidence: high · Verified: Amazon: Amazonbot Evidence for this claim Amazon says its crawlers behave as if robots.txt does not exist when they cannot fetch it. Scope: Amazon crawler behavior only; a tool-side fetch failure is not proof that Amazon observed the same failure. Confidence: high · Verified: Amazon: Amazonbot

Meta gestisce Meta-ExternalAgent (addestramento/indicizzazione per Llama e Meta AI), Meta-ExternalFetcher (recupero utente) e, separatamente, Facebookbot (anteprime dei link, non un crawler IA). Bloccare Meta-ExternalAgent non influisce sulle anteprime dei link Facebook.

Common Crawl (CCBot) è gestito da una fondazione non profit che mantiene un archivio web aperto. È il livello nascosto: il dataset Common Crawl è stato usato per addestrare ChatGPT, Claude, LLaMA e molti altri modelli, quindi bloccare CCBot produce effetti a valle su modelli che non eseguono mai crawling diretto sul tuo sito. Common Crawl avverte inoltre che degli impostori possono contraffare CCBot.

ByteDance (Bytespider) è il caso aggressivo: dichiara di rispettare robots.txt, ma è ampiamente segnalato come trasgressore, con volumi di richieste molto elevati. Altri nomi da conoscere: AI2Bot (Allen Institute, modelli aperti / dataset Dolma), Cohere, Diffbot (estrazione di dati strutturati il cui output alimenta molte pipeline IA a valle) e Timpibot / webzio-extended.

I bot IA rispettano davvero robots.txt?

Per i crawler di addestramento e di ricerca, i principali operatori (OpenAI, Anthropic, Google, Apple, Amazon) dichiarano tutti nella propria documentazione di rispettare robots.txt. La zona controversa riguarda i fetcher attivati dall’utente, per i quali diversi operatori dicono esplicitamente che robots.txt potrebbe non applicarsi perché la richiesta è stata avviata da una persona: OpenAI afferma “these actions are initiated by a user, robots.txt rules may not apply” (traduzione) «queste azioni sono avviate da un utente, quindi le regole di robots.txt potrebbero non applicarsi»; Perplexity dice che Perplexity-User “generally ignores robots.txt rules.” (traduzione) «in genere ignora le regole di robots.txt». È una policy dichiarata, non una violazione.

La controversia su Perplexity è la disputa più nota e la segnalo come riportata, non risolta. Nel giugno 2024, Wired e lo sviluppatore Robb Knight hanno riferito che Perplexity accedeva a contenuti di siti che l’avevano bloccata, apparentemente usando IP non pubblicati. Nell’agosto 2025, Cloudflare ha riferito che Perplexity usava uno user-agent furtivo che impersonava Chrome su macOS, ruotava IP e ASN per eludere i blocchi e recuperava contenuti da domini di test appena creati che contenevano un Disallow: / completo; Cloudflare ha poi rimosso Perplexity dall’elenco dei bot verificati. Presentalo come una segnalazione documentata da quelle fonti; la documentazione di Perplexity continua a sostenere che PerplexityBot rispetta robots.txt.

Poiché alcuni bot ignorano robots.txt a un certo livello, Cloudflare è diventato il livello pratico di applicazione: blocco a livello di rete, interruttore «AI Scrapers and Crawlers» con un clic, robots.txt gestito, tracciamento delle violazioni di robots.txt e una beta pay-per-crawl. A luglio 2025, i nuovi domini Cloudflare bloccano per impostazione predefinita i crawler IA conosciuti.

Come controllare i crawler IA

  • robots.txt per user-agent: è la leva principale e consente un controllo granulare; bloccare GPTBot non blocca OAI-SearchBot o ChatGPT-User. Le ricette robots.txt (blocco di tutti i bot di addestramento, blocco dei bot della ricerca IA) si trovano nella scheda Scripts.
  • I token di addestramento — Google-Extended e Applebot-Extended — ti fanno rinunciare all’addestramento con Gemini/Apple senza costi di ricerca.
  • Il tag meta noarchive di Amazon è una rinuncia all’addestramento per singola pagina.
  • Cloudflare AI Crawl Control — blocca, consente o addebita a livello di rete, oltre a gestire robots.txt e le direttive Content Signals (search, ai-input, ai-train); il valore predefinito è search=yes, ai-train=no.
  • llms.txt è una proposta (Jeremy Howard / Answer.AI, settembre 2024), non uno standard adottato — e i principali crawler non lo rispettano. È una mappa Markdown curata, pensata per essere letta al momento dell’inferenza, ma uno studio Ahrefs su 137 000 siti ha rilevato che il 97% dei file llms.txt pubblicati riceve zero richieste e nessun importante provider LLM l’ha adottato formalmente. Trattalo come uno strumento documentale, non come uno strumento per la ricerca IA.
  • Il progetto comunitario ai.robots.txt mantiene un file completo con Disallow: / che elenca oltre 150 user-agent di bot IA: un riferimento utile per il blocco generalizzato.

Una policy dei crawler orientata prima alla visibilità

Per un sito pubblico educativo o commerciale che vuole visibilità nella ricerca IA, la mia policy predefinita è:

  1. Consenti i crawler dei motori di ricerca tradizionali che alimentano le superfici di ricerca che vuoi raggiungere, inclusi Googlebot e Bingbot.
  2. Consenti i crawler documentati di ricerca/indicizzazione IA come OAI-SearchBot, Claude-SearchBot e PerplexityBot sui contenuti pubblici.
  3. Consenti i fetcher diretti dall’utente previsti come ChatGPT-User, Claude-User e Perplexity-User, riconoscendo che il comportamento dei provider rispetto a robots.txt varia. Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: OpenAI: Crawlers Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: Anthropic: Bot information Evidence for this claim Perplexity documents PerplexityBot for search indexing separately from Perplexity-User for user-requested fetches, with different robots behavior. Scope: Perplexity-declared crawlers and published IP ranges; a user-agent string alone does not verify identity. Confidence: high · Verified: Perplexity: Crawlers
  4. Prendi una decisione separata sui diritti di accesso per l’addestramento/lo sviluppo dei modelli. GPTBot, ClaudeBot, Google-Extended e gli altri controlli per l’addestramento non devono condividere la policy di ricerca. Consentili solo se tale uso è coerente con la tua policy editoriale.
  5. Proteggi i percorsi privati e operativi con l’autenticazione. Mantieni /admin/, le anteprime, i dati degli account e le API non pubbliche dietro un’autorizzazione lato server; Disallow è solo una preferenza per i crawler.
  6. Verifica l’identità prima di aggirare i controlli WAF. Combina lo user-agent documentato con gli intervalli IP attuali del provider, la verifica reverse DNS o un’autenticazione del bot supportata. Non creare mai una regola WAF ampia di allow basata solo su uno user-agent falsificabile.

Non aggiungere un gruppo specifico di user-agent solo per dire Allow: / se non ripeti ogni restrizione che deve continuare ad applicarsi a quel crawler. Nelle regole di matching di robots, un gruppo specifico può sostituire il gruppo wildcard invece di ereditare le esclusioni dei percorsi privati durante il parsing specifico del provider. Spesso il file sicuro più semplice è un unico gruppo wildcard sicuro in modo indipendente, più rinunce all’addestramento strettamente delimitate.

Per questo sito in particolare, la policy pubblica attuale è una postura di allow esplicita per ricerca, input IA e addestramento IA, con esclusione dei percorsi admin, anteprima, API, trap e gateway. Lascerei consentiti la ricerca e il recupero diretto dell’utente. Cambierei ai-train=yes solo come decisione sui diritti editoriali, non come tattica di visibilità IA, perché non esiste un beneficio dimostrato sulle citazioni derivante dall’accesso per l’addestramento.

L’accesso dei crawler IA non è la preparazione per l’IA

Una regola di allow dimostra al massimo che la policy robots dichiarata consente a un agente nominato di richiedere un URL. Non dimostra che l’operatore abbia rispettato la policy, recuperato la pagina, eseguito il rendering, estratto le informazioni importanti, inserite nel contesto del modello, citato la pagina o completato un’azione.

Tieni separati cinque livelli:

LivelloDomandaEvidenza
PermessoQuesto agente nominato può richiedere l’URL secondo la policy dichiarata?robots effettivo e test di accesso alla rete
EstraibilitàIl contenuto importante è presente in testo stabile, link, metadati o dati strutturati?Acquisizione grezza e renderizzata con estrazione dei campi
RenderingIl contenuto sopravvive alle effettive capacità browser/JavaScript dell’agente?Evidenza di recupero specifica del provider dove disponibile; altrimenti un limite di test dichiarato
OperativitàUn agente può identificare e invocare in sicurezza l’azione prevista?Contratto documentato dello strumento/interfaccia e test end-to-end controllato
Prontezza commercialeIdentità, prezzo, disponibilità, policy, evasione, carrello e checkout sono coerenti?Riconciliazione feed/pagina/backend/ordine

Un verificatore dell’accesso dei crawler dovrebbe quindi restituire consentito, bloccato o indeterminato per la policy, non «pronto per l’IA». Una richiesta riuscita nei log dimostra che la richiesta è avvenuta; non è una prova che la pagina sia stata usata in una risposta. Allo stesso modo, un feed o una dichiarazione dello strumento validi non dimostrano che una pagina pubblica venga renderizzata correttamente o che il checkout possa soddisfare l’offerta rappresentata.

Usa Come funziona la ricerca IA per i livelli di recupero e citazione, e Ottimizzazione dello shopping IA per la preparazione del catalogo e delle transazioni. Tenere separati i livelli rende il rimedio specifico: correggi la policy di accesso per un blocco, l’output della pagina per l’estrazione, il rendering per uno stato mancante, il contratto dell’interfaccia per l’operatività o i dati commerciali per un acquisto fallito.

Per le pagine ecommerce, il test di estraibilità dovrebbe verificare che l’identità del prodotto e l’offerta selezionata — SKU, group ID, prezzo, valuta e disponibilità — esistano nella risposta iniziale e restino coerenti dopo il rendering. Lo standard della pagina prodotto grezza rispetto a quella renderizzata definisce ciò che dovrebbe essere visibile al server; il solo permesso al crawler non dice nulla su questo contratto.

Il mito che ti costa traffico: addestramento ≠ ricerca IA

Ecco il punto da capire bene. Bloccare i bot di addestramento non equivale a bloccare i bot della ricerca IA. Sono regole robots.txt separate, con conseguenze opposte:

  • Bloccare i bot di addestramento (GPTBot, ClaudeBot, CCBot, Bytespider, oltre ai token Google-Extended/Applebot-Extended) → nessun effetto sul posizionamento Google, confermato da Google e dai dati empirici degli editori. Stai semplicemente rinunciando all’addestramento dei modelli.
  • Bloccare i bot della ricerca IA (OAI-SearchBot, PerplexityBot) → perdi visibilità nelle risposte di ChatGPT e Perplexity. È un compromesso reale, non un vantaggio gratuito.

Se blocchi in modo troppo ampio — per esempio con un blocco generale che intercetta OAI-SearchBot quando volevi solo fermare l’addestramento — puoi rimuoverti silenziosamente dalla ricerca IA. Sii preciso sulla categoria colpita da ogni regola.

Perché gli editori bloccano: il contratto sociale

Il motivo per cui esiste persino un dibattito riguarda il traffico. Come ho scritto nella mia analisi sui bot IA, “there’s a cost to bots crawling your websites and there’s a social contract between search engines and website owners, where search engines add value by sending referral traffic to websites. Google sends traffic (for now), so they don’t get blocked.” (traduzione) «la scansione dei siti da parte dei bot ha un costo ed esiste un contratto sociale tra motori di ricerca e proprietari dei siti: i motori aggiungono valore inviando traffico referral. Google invia traffico, almeno per ora, e quindi non viene bloccato». I crawler IA, finora, per lo più non rimandano traffico indietro e i dati alimentano il disagio. Nella mia analisi di Cloudflare Radar, i bot IA sono già saldamente il crawler numero 2, dietro ai motori di ricerca, e sono sulla traiettoria per superarli. Trovi altro nella scheda Stats.

Disclosure: sono un ex dipendente di Ahrefs e ricevo accesso gratuito ad Ahrefs. L’analisi dei crawler collegata è un mio lavoro pubblicato durante quel ruolo; Ahrefs non rivede né approva le conclusioni editoriali attuali di questo sito.

Per il quadro più ampio di cui questo fa parte — scoperta, scheduler del crawling, rendering e differenza tra crawling e indicizzazione — vedi l’hub sul crawling e gli argomenti collegati su un crawler in generale, lo user-agent, Googlebot, Bingbot e robots.txt.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.