Googlebot: guida al crawler di Google

TL;DR — Googlebot è il crawler web di Google: il programma che visita le tue pagine, le scarica e le passa a Google perché possa indicizzarle e posizionarle. Ne esistono due (uno per smartphone e uno desktop) e quello per smartphone svolge la maggior parte del lavoro. Essere sottoposti a crawling è necessario per comparire nella ricerca, ma essere sottoposti più spesso non migliora il ranking.

Che cos’è Googlebot

Google non naviga il web come fai tu. Invia un programma automatico — un crawler, o bot — che visita le pagine, scarica ciò che contengono e segue i link per trovare altre pagine. Quel programma è Googlebot. (L’equivalente di Bing è Bingbot.)

Lo descrivo in modo semplice nella mia guida di Ahrefs a Googlebot: “Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web.” (Traduzione) Googlebot è il crawler web usato da Google per raccogliere le informazioni necessarie e costruire un indice consultabile del web. Tutto ciò che Google mostra nei risultati di ricerca parte dal recupero della pagina da parte di Googlebot.

In realtà esistono due Googlebot

Googlebot esiste in due varianti:

• Googlebot Smartphone — simula una persona su un telefono ed è il principale. Google guarda soprattutto la versione mobile del sito (si parla di mobile-first indexing), quindi la maggior parte dei crawling proviene dal bot per smartphone.
• Googlebot Desktop — simula una persona su un computer desktop e svolge una quota minore del crawling.

Ecco il punto: nel file robots.txt, entrambi condividono lo stesso nome: Googlebot. Non puoi dire a robots.txt “lascia entrare quello desktop ma non quello mobile”. È tutto o niente.

Googlebot esegue JavaScript?

Sì. Googlebot usa internamente una versione recente di Chrome, quindi può leggere siti moderni che fanno largo uso di JavaScript. Come scrivo nella mia guida a Googlebot: “Googlebot is evergreen, meaning it sees websites as users would in the latest Chrome browser.” (Traduzione) Googlebot è evergreen, cioè vede i siti come gli utenti nell’ultima versione del browser Chrome. Tuttavia esegue JavaScript un po’ più tardi, in un passaggio separato, non nell’istante in cui recupera la pagina per la prima volta.

I due errori più comuni

1. Il crawling non è il ranking. Essere sottoposti più spesso a crawling non ti farà salire nei risultati: è solo il modo in cui Google trova e scarica la pagina, un cancello da attraversare, non un tabellone.
2. Bloccare Googlebot in robots.txt non ti cancella da Google. Impedisce solo a Google di leggere la pagina. Se altri siti la collegano, l’URL può comunque comparire nei risultati, senza una descrizione utile. Per tenere davvero una pagina fuori dall’indice, consenti il crawling e aggiungi un tag noindex.

Vuoi la versione tecnica — stringhe user-agent esatte, verifica di un Googlebot reale, limiti in byte e coda di rendering? Passa alla scheda Advanced.

TL;DR — Googlebot è il crawler di Google Search, diviso in Smartphone (principale, mobile-first) e Desktop; entrambi condividono un token Googlebot in robots.txt, quindi non puoi indirizzarli separatamente. Esegue un Chromium evergreen e fa il rendering di JavaScript in una coda separata e successiva (crawling ≠ rendering). Il crawling è necessario per posizionarsi, ma non è un segnale di ranking, e un URL bloccato da robots.txt può comunque essere indicizzato solo come URL. Verificalo con DNS inverso + diretto verso un dominio Google oppure con gli intervalli IP pubblicati da Google: lo user-agent è facilmente contraffatto. “Googlebot” è solo la parte rivolta a Search di una piattaforma di crawling molto più ampia.

Che cos’è davvero Googlebot

Google definisce il nome con precisione: “Googlebot is the generic name for two types of web crawlers used by Google Search.” (Traduzione) Googlebot è il nome generico di due tipi di crawler web usati da Google Search. Sono Googlebot Smartphone (“a mobile crawler that simulates a user on a mobile device” (Traduzione) un crawler mobile che simula un utente su un dispositivo mobile) e Googlebot Desktop (“a desktop crawler that simulates a user on desktop” (Traduzione) un crawler desktop che simula un utente su un computer desktop).

Non è un piccolo programma eseguito su una sola macchina. “Googlebot runs on thousands of machines,” (Traduzione) Googlebot viene eseguito su migliaia di macchine, come spiego nella mia guida a Googlebot; queste macchine “determine how fast and what to crawl on websites,” (Traduzione) determinano la velocità e cosa sottoporre a crawling sui siti. Sono distribuite in data center di tutto il mondo, anche se il traffico in uscita proviene soprattutto da indirizzi IP statunitensi. La scoperta avviene principalmente tramite link: Google trova nuovi URL “primarily from links embedded in previously crawled pages” (Traduzione) soprattutto dai link incorporati in pagine già sottoposte a crawling, oltre che dalle sitemap. (Il quadro completo di scoperta e pianificazione appartiene all’hub crawling.)

Smartphone contro Desktop: perché “smartphone-first”

Con il mobile-first indexing, il crawler per smartphone è quello principale. Google afferma: “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” (Traduzione) Per la maggior parte dei siti, Google Search indicizza principalmente la versione mobile dei contenuti; di conseguenza, la maggioranza delle richieste di crawling di Googlebot usa il crawler mobile e una minoranza quello desktop. Il mobile-first indexing è completo per tutti i siti da ottobre 2023, quindi la regola pratica è: se il contenuto non è visibile all’agente smartphone, non viene indicizzato. Mantieni allineati contenuti, dati strutturati, metadati e tag robots tra mobile e desktop.

La particolarità di robots.txt è questa: “Both crawler types obey the same product token (user agent token) in robots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot Desktop using robots.txt.” (Traduzione) Entrambi i crawler rispettano lo stesso token di prodotto, o token user-agent, in robots.txt; non puoi quindi indirizzare selettivamente Googlebot Smartphone o Googlebot Desktop tramite robots.txt. L’unico modo per distinguerli è leggere l’header HTTP user-agent nella logica lato server. (Per il formato dell’header, vedi mobile-first indexing e user-agent.)

Le stringhe user-agent

Il token di prodotto in robots.txt per entrambi è Googlebot. Le stringhe UA complete sono diverse:

Googlebot Desktop:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Googlebot Smartphone:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

W.X.Y.Z è un segnaposto per la versione corrente di Chrome, che cambia quando il Chromium evergreen di Googlebot viene aggiornato. Non fidarti però della stringa da sola: è semplicissimo falsificarla.

Chromium evergreen e la coda di rendering

È la distinzione che crea più confusione: crawling e rendering sono passaggi separati. Googlebot esegue “an evergreen version of Chromium,” (Traduzione) una versione evergreen di Chromium. È diventato evergreen nel maggio 2019, passando dal vecchio Chrome 41 alla versione stabile corrente; per questo ora gestisce ES6+, IntersectionObserver, Web Components e CSS moderno. Tuttavia non esegue JavaScript nel momento in cui recupera l’HTML.

Google spiega: “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page. The page may stay on this queue for a few seconds, but it can take longer than that. Once Google’s resources allow, a headless Chromium renders the page and executes the JavaScript.” (Traduzione) Googlebot mette in coda per il rendering tutte le pagine con codice di stato HTTP 200, a meno che un meta tag robots o un header non indichi a Google di non indicizzare la pagina. La pagina può restare in coda per pochi secondi, ma anche più a lungo; quando le risorse di Google lo consentono, Chromium headless renderizza la pagina ed esegue JavaScript. Il servizio di rendering (WRS) si comporta come un browser moderno, con alcune particolarità: è di fatto stateless — storage locale o di sessione e cookie vengono cancellati tra i caricamenti — non recupera immagini o video per risparmiare banda, applica una cache aggressiva e può ignorare gli header di cache, e non supporta WebSockets o WebRTC. Se il contenuto compare solo dopo un clic o una navigazione JavaScript che non usa un vero link <a href>, aspettati problemi di rendering. (Gli approfondimenti sono nella voce correlata rendering.)

Limiti in byte

Googlebot non scarica una quantità illimitata di dati per URL. Dall’aggiornamento Inside Googlebot di Google del marzo 2026, recupera all’incirca i primi 2 MB di ogni singolo URL, header HTTP compreso, e fino a 64 MB per un PDF. La soglia può cambiare: Google precisa che “this limit is not set in stone and may change over time as the web evolves and HTML pages grow in size,” (Traduzione) questo limite non è immutabile e può cambiare nel tempo con l’evoluzione del web e la crescita delle pagine HTML. La documentazione precedente indicava 15 MB, poi chiariti come limite predefinito dell’infrastruttura più ampia e non di Search. Il punto pratico resta lo stesso: ciò che si trova oltre il limite non viene recuperato; “to Googlebot, they simply don’t exist.” (Traduzione) per Googlebot, semplicemente non esiste. Mantieni contenuti e markup essenziali prima dei dati superflui.

Fallimento concreto: il canonical esiste, ma Googlebot non lo riceve

Immagina un template di prodotto che restituisce 2,4 MB di HTML. Un enorme oggetto di stato e un payload di raccomandazioni vengono serializzati in alto; canonical, descrizione, dati strutturati e link correlati compaiono solo intorno al byte 2 180 000. Un browser scarica tutto, ma Googlebot Search si ferma intorno al limite di 2 MB: quei segnali non esistono nella risorsa scaricata.

Diagnostica la risposta in ordine di byte, non solo nel DOM renderizzato:

curl -sS -D response-headers.txt -o page.html https://example.com/product
wc -c response-headers.txt page.html
LC_ALL=C grep -abo 'rel="canonical"' page.html
LC_ALL=C grep -abo 'application/ld+json' page.html

I conteggi locali dei byte sono un’approssimazione, perché intermediari e gestione della risposta possono differire. La correzione consiste nel rimuovere o rinviare dati inline sovradimensionati ed emettere presto metadati, contenuto principale e link sottoponibili a crawling, non nello spostare lo stesso peso sperando che cambi il limite.

Come Googlebot scarica le pagine, con educazione

• La frequenza di crawling è algoritmica e autoregolata. “For most sites, Googlebot shouldn’t access your site more than once every few seconds on average.” (Traduzione) Per la maggior parte dei siti, Googlebot non dovrebbe accedere al sito in media più di una volta ogni pochi secondi. Accelera o rallenta in base allo stato del server.
• I codici di stato sono la leva. Restituire 429, 500 o 503 indica a Googlebot di rallentare, ma influisce sull’intero hostname, non solo sugli URL che generano errori, e funziona soltanto per uno o due giorni prima che errori persistenti inizino a far uscire pagine dall’indice. John Mueller: “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts,” (Traduzione) mi aspetterei una reazione così rapida della frequenza di crawling solo in presenza di 429, 500, 503 o timeout; e “404s are generally fine & once discovered, Googlebot will retry them anyway.” (Traduzione) in genere gli errori “pagina non trovata” non sono un problema e, una volta scoperti, Googlebot li riproverà comunque.
• crawl-delay viene ignorato. Google non elabora affatto la direttiva non standard crawl-delay di robots.txt. Bing invece la rispetta: è una divergenza reale tra Googlebot e Bingbot.
• Il crawling segue la domanda, non una quota fissa: combina capacità, cioè quanto può reggere il server, e domanda, cioè popolarità e obsolescenza. Per la maggior parte dei siti non è un problema; emerge solo su larga scala. La trattazione completa è in crawl budget.

Verificare che sia davvero Googlebot

L’header user-agent è “often spoofed by other crawlers” (Traduzione) spesso falsificato da altri crawler, quindi da solo non dimostra nulla. I crawler di Google si identificano in tre modi: l’header user-agent, l’IP sorgente e l’hostname ottenuto dal DNS inverso di quell’IP. Esistono due metodi di verifica affidabili:

1. Manuale: fai il DNS inverso dell’IP sorgente e verifica un hostname che termini in googlebot.com, google.com o googleusercontent.com (la forma è simile a crawl-***-***-***-***.googlebot.com); poi fai il DNS diretto e conferma l’IP originale.
2. Automatico: confronta l’IP con gli intervalli CIDR pubblicati da Google. Google ha suddiviso il vecchio file unico googlebot.json in più file per categoria di crawler: quello di Googlebot è https://www.gstatic.com/ipranges/common-crawlers.json; il vecchio URL googlebot.json reindirizza ancora agli stessi dati.

Entrambi i metodi sono nella scheda Scripts, per macOS/Linux e Windows. Molto traffico si finge Googlebot, quindi verifica prima di fidarti dei log.

Googlebot è un bot in una flotta

“Googlebot” è davvero un nome un po’ improprio. Gary Illyes, marzo 2026: “I mean, calling it Googlebot, that’s a misnomer,” (Traduzione) chiamarlo Googlebot è improprio; e “Googlebot is not our crawler infrastructure.” (Traduzione) Googlebot non è la nostra infrastruttura di crawling. L’infrastruttura sottostante, nelle sue parole, è “software as a service, if you like. SaaS” (Traduzione) software come servizio, se preferisci: SaaS, una piattaforma condivisa da cui attingono molti prodotti Google. Nei log vedi soltanto la parte destinata a Search: “When you see Googlebot in your server logs, you are just looking at Google Search.” (Traduzione) Quando vedi Googlebot nei log del server, stai osservando solo Google Search. Illyes aggiunge che esistono “dozens, if not hundreds of different crawlers,” (Traduzione) decine, se non centinaia, di crawler diversi, molti troppo piccoli per giustificare una documentazione specifica.

Tra i crawler nominati ci sono Googlebot-Image, Googlebot-Video, Googlebot-News, Storebot-Google e Google-InspectionTool. AdsBot ignora la regola globale * di robots.txt: anche Disallow: / sotto User-agent: * non lo blocca. Google-Safety ignora robots.txt. Google-Extended controlla l’addestramento Gemini e GoogleOther esegue crawling di ricerca e sviluppo; il contenuto gemello AI crawlers li tratta in profondità.

Come controllare Googlebot

Tre controlli, tre effetti diversi:

• robots.txt blocca il crawling, non l’indicizzazione.
• noindex blocca l’indicizzazione, ma Googlebot deve poter eseguire il crawling per vedere il tag.
• Protezione con password blocca completamente l’accesso.

Questo porta al fatto più frainteso su Googlebot: “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” (Traduzione) Crawling e indicizzazione sono processi diversi; impedire a Googlebot di sottoporre una pagina a crawling non evita che l’URL compaia nei risultati di ricerca. Un URL bloccato da robots può comunque essere indicizzato solo come URL se riceve un link. Per rimuovere davvero una pagina, consenti il crawling e aggiungi noindex. Ho spiegato il caso in dettaglio in Indexed, though blocked by robots.txt.

Per il quadro ampio della pipeline — scoperta degli URL, scheduler del crawling, rendering e differenze tra crawl, indice e ranking — consulta l’hub crawling e How Search Works.

Riepilogo AI

Una sintesi della versione Advanced:

• Googlebot è il crawler web di Google Search, in due varianti: Smartphone e Desktop. Condividono il token Googlebot, quindi non puoi indirizzarli separatamente.
• Mobile-first dal 2023: se il contenuto non è visibile allo smartphone, non viene indicizzato.
• Chromium evergreen e coda separata: il JavaScript viene eseguito più tardi, con storage/cookie cancellati, nessun download di immagini/video e caching aggressivo. Crawling ≠ rendering.
• Limite di circa 2 MB per URL (PDF 64 MB) dal 2026: oltre il limite il contenuto non viene scaricato.
• Scaricamento algoritmico: 429/5xx dicono “rallenta” a livello di hostname; crawl-delay viene ignorato da Google.
• Crawling ≠ ranking e blocco robots ≠ deindicizzazione: rimuovi con noindex, consentendo il crawling.
• Verifica con DNS inverso + diretto verso *.googlebot.com, *.google.com o *.googleusercontent.com, oppure con gli intervalli IP pubblicati in common-crawlers.json: lo user-agent è facilmente falsificabile.
• Googlebot è una flotta, insieme a Googlebot-Image/Video/News, Google-InspectionTool, AdsBot (che ignora *), Google-Safety, Google-Extended e GoogleOther.

Documentazione ufficiale

Documentazione primaria dei motori di ricerca.

Google

• Googlebot — documentazione canonica su tipi di crawler, UA, limiti in byte e controlli.
• Panoramica dei crawler e fetcher Google — user-agent, categorie e intervalli IP.
• Crawler comuni di Google — stringhe UA e token robots.
• Verifica crawler e fetcher Google — DNS e file JSON degli IP.
• Best practice per mobile-first indexing — perché Smartphone è principale.
• Nozioni di base sulla SEO JavaScript — Chromium evergreen e coda di rendering.
• Codici di stato HTTP e crawler Google — effetto di 2xx/3xx/4xx/429/5xx.
• Inside Googlebot (marzo 2026) — limiti in byte aggiornati.

Bing / Microsoft (per confronto)

• Controllo del crawling di Bingbot — pianificazione manuale e supporto a crawl-delay, che Googlebot non offre.

Citazioni dalla fonte

Dichiarazioni ufficiali di Google. Ogni link è un deep link che porta al passaggio citato nella pagina fonte.

Google: che cos’è Googlebot

• “Googlebot is the generic name for two types of web crawlers used by Google Search.” (Traduzione) Googlebot è il nome generico di due tipi di crawler web usati da Google Search. — Documentazione di Google Search Central. Vai alla citazione
• “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” (Traduzione) Per la maggior parte dei siti Google Search indicizza principalmente la versione mobile dei contenuti; la maggioranza delle richieste di crawling di Googlebot usa quindi il crawler mobile e una minoranza quello desktop. Vai alla citazione
• “Google uses the mobile version of a site’s content, crawled with the smartphone agent, for indexing and ranking.” (Traduzione) Google usa per indicizzazione e ranking la versione mobile dei contenuti di un sito, sottoposta a crawling dall’agente smartphone. Vai alla citazione

Google: rendering e limiti in byte

• “While Google Search runs JavaScript with an evergreen version of Chromium, there are a few things that you can optimize.” (Traduzione) Google Search esegue JavaScript con una versione evergreen di Chromium, ma ci sono alcuni aspetti che puoi ottimizzare. Vai alla citazione
• “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page.” (Traduzione) Googlebot mette in coda per il rendering tutte le pagine con codice di stato HTTP 200, a meno che un meta tag robots o un header non indichi a Google di non indicizzare la pagina. Vai alla citazione
• “Googlebot crawls the first 2MB of a supported file type, and the first 64MB of a PDF file.” (Traduzione) Googlebot sottopone a crawling i primi 2 MB di un tipo di file supportato e i primi 64 MB di un file PDF. Vai alla citazione

Google: crawling contro indicizzazione

• “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” (Traduzione) Crawling e indicizzazione sono processi diversi; impedire a Googlebot di sottoporre una pagina a crawling non evita che l’URL compaia nei risultati di ricerca. — Documentazione di Google Search Central. Vai alla citazione

Gary Illyes, Google (riportato da Search Engine Journal e dal post di Google del marzo 2026)

• “I mean, calling it Googlebot, that’s a misnomer.” (Traduzione) Chiamarlo Googlebot è improprio. … “Googlebot is not our crawler infrastructure.” (Traduzione) Googlebot non è la nostra infrastruttura di crawling. … “it’s software as a service, if you like. SaaS.” (Traduzione) È software come servizio, se preferisci: SaaS. Leggi l’articolo
• “When you see Googlebot in your server logs, you are just looking at Google Search.” (Traduzione) Quando vedi Googlebot nei log del server, stai osservando solo Google Search. Leggi l’articolo

John Mueller, Google (tramite la copertura Reddit di Search Engine Journal)

• “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts.” (Traduzione) Mi aspetterei una reazione così rapida della frequenza di crawling solo se restituissero 429, 500, 503 o timeout. … “404s are generally fine & once discovered, Googlebot will retry them anyway.” (Traduzione) In genere gli errori “pagina non trovata” non sono un problema e, una volta scoperti, Googlebot li riproverà comunque. Leggi l’articolo

Checklist di preparazione per Googlebot

Una verifica rapida per assicurarti che Googlebot possa trovare, scaricare, renderizzare e gestire correttamente le tue pagine:

• I contenuti importanti sono raggiungibili tramite veri link <a href> e non solo tramite clic o navigazione JS.
• Mobile e desktop hanno gli stessi contenuti, dati strutturati, metadati e tag robots.
• Contenuti e markup critici sono sopra il limite di circa 2 MB; PDF sotto 64 MB.
• robots.txt non blocca ciò che vuoi indicizzare e non viene usato per deindicizzare: questo è il compito di noindex, con crawling consentito.
• Il server restituisce risposte rapide e stabili, con pochi 5xx/429/timeout.
• Non fai affidamento su crawl-delay, che Google ignora.
• I log sono controllati con un Googlebot verificato tramite DNS o intervalli IP, non solo con lo user-agent.
• Sai che un URL bloccato da robots può ancora essere indicizzato solo come URL se qualcuno lo collega.

Googlebot: scheda rapida

I due tipi di crawler

Token di prodotto robots.txt (entrambi): Googlebot

Altri crawler Google che vedrai nei log

Fatti rapidi

• Limite: circa 2 MB per URL (PDF 64 MB), dal 2026.
• Rendering con Chromium evergreen, in una coda separata (crawling ≠ rendering).
• crawl-delay: Google lo ignora.
• 429/5xx: “rallenta” temporaneamente l’intero hostname.
• Verifica con DNS inverso + diretto o intervalli IP, mai con il solo user-agent.
• Il crawling non è un fattore di ranking; bloccare robots non equivale a deindicizzare.

Verifica che un bot sia davvero Googlebot

Lo user-agent è semplicissimo da falsificare: conferma con DNS inverso, che deve terminare in un dominio Google, seguito da DNS diretto verso lo stesso IP.

macOS / Linux

# 1) Reverse-DNS the IP from your logs — it should end in
#    googlebot.com, google.com, or googleusercontent.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

Se il DNS inverso non termina in un dominio Google o il DNS diretto non corrisponde all’IP originale, non è Googlebot.

Verifica su larga scala con gli intervalli IP di Google

Per i controlli su larga scala, confronta gli IP sorgente con gli intervalli CIDR pubblicati da Google invece di fare DNS per ogni richiesta. Google ha diviso il vecchio googlebot.json in più file: Googlebot si trova in common-crawlers.json:

# Fetch the current Googlebot (common crawlers) ranges
curl -s https://www.gstatic.com/ipranges/common-crawlers.json
# The legacy URL still works and redirects to the same data:
# https://developers.google.com/static/search/apis/ipranges/googlebot.json

Carica i prefissi CIDR da quel JSON e verifica che ogni IP registrato appartenga a un intervallo prima di fidarti di un accesso che dichiara di essere Googlebot.

Risorse che vale la pena leggere

I miei articoli correlati

• Che cos’è Googlebot e come funziona? — la mia guida completa di Ahrefs a Googlebot, con dettagli su crawling, controllo e verifica.
• I nuovi crawler web: i bot di IA stanno raggiungendo quelli dei motori di ricerca — il confronto tra Googlebot e crawler AI per quota e velocità.
• Problemi e buone pratiche della SEO JavaScript — il lato rendering di Googlebot.
• Indicizzato nonostante il blocco in robots.txt — perché un URL bloccato può comunque essere indicizzato.
• Guida introduttiva alla SEO tecnica — il ruolo di Googlebot nel quadro più ampio.

I miei interventi

• How Search Works (SlideShare) — il mio percorso su crawling, rendering, indicizzazione e ranking. (Disclaimer: questa è la mia interpretazione dei sistemi e non sarà completa o accurata al 100%.)

Di altri autori

• La serie Crawling December di Google — spiegazioni ufficiali sul crawling.
• r/TechSEO — community per il debugging di crawling e indicizzazione.
• Googlebot: che cos’è, come funziona e come ottimizzarlo — guida pratica per un secondo parere.
• Google spiega come funziona il crawling nel 2026 — analisi del post Inside Googlebot e del limite di 2 MB.
• Google impiega centinaia di crawler non documentati — osservazioni di Gary Illyes sulla flotta di crawler.
• Le due ondate di indicizzazione di Google sono finite? — la coda crawl-then-render.
• Google svela i dettagli del rendering JavaScript al Chrome Dev Summit 2018 — comportamento stateless di WRS.
• Da Googlebot a GPTBot: chi sottopone il tuo sito a crawling? — dati Cloudflare sui crawler.
• Era davvero un bot di Google a sottoporre il mio sito a crawling? — imitazioni di Googlebot e verifica DNS.

Statistiche degne di essere citate

• Googlebot è il crawler più veloce del web. Dalla mia lettura dei dati di Cloudflare Radar: “Googlebot is the fastest crawler on the web according to Cloudflare Radar, with Ahrefsbot being the 2nd fastest.” (Traduzione) Secondo Cloudflare Radar, Googlebot è il crawler più veloce del web e Ahrefsbot è il secondo. Fonte
• I bot di IA stanno raggiungendo i bot dei motori di ricerca. Nella mia analisi di Cloudflare Radar, i crawler dei motori di ricerca, Googlebot compreso, generano ancora il maggior volume di crawling, ma i bot di IA sono chiaramente al secondo posto e potrebbero superarli entro un paio d’anni. Fonte
• Limite in byte: circa 2 MB per URL (64 MB per i PDF) — il limite di recupero documentato da Google per Googlebot nel 2026, con l’avvertenza esplicita che il valore non è fisso. Fonte

Errori di Googlebot da evitare

Usare robots.txt per tentare di deindicizzare. robots.txt blocca il crawling, non l’indicizzazione; un URL bloccato può comparire nei risultati. Fai invece questo: consenti il crawling e aggiungi noindex.

Indirizzare separatamente il crawler desktop o smartphone in robots.txt. Condividono il token Googlebot. Fai invece questo: leggi l’header HTTP user-agent lato server, perché robots.txt non distingue i due crawler.

Lasciare divergere mobile e desktop. Con mobile-first indexing, la vista smartphone viene indicizzata e posizionata. Fai invece questo: mantieni le due versioni sincronizzate.

Affidarsi a crawl-delay. Google ignora la direttiva crawl-delay; Bing la rispetta. Fai invece questo: restituisci 429/500/503 se devi rallentare Google, sapendo che limita l’intero hostname.

Fidarsi dello user-agent Googlebot. È facile da falsificare. Fai invece questo: verifica con DNS inverso + diretto o intervalli IP pubblicati.

Usare navigazione solo JavaScript senza un vero <a href>. Googlebot scopre gli URL tramite link e il rendering avviene in una coda separata. Fai invece questo: esponi ogni percorso importante come vero link <a href> senza JavaScript.

Trattare la frequenza di crawling come leva di ranking. È solo il cancello per essere idonei al ranking. Fai invece questo: investi in contenuti e salute tecnica.

Problemi comuni di Googlebot

Una pagina è bloccata in robots.txt ma compare nella ricerca

• Causa: robots.txt blocca il crawling, non l’indicizzazione; se altre pagine collegano l’URL, Google può indicizzarlo solo come URL.
• Correzione: consenti il crawling in robots.txt e aggiungi noindex; verifica con robots-txt-tester e ricontrolla dopo il crawling.

Il contenuto renderizzato con JavaScript non compare nell’indice

• Causa: crawling e rendering sono separati; l’HTML viene messo in coda prima che Chromium headless esegua JavaScript. La navigazione solo da clic o non basata su <a href> potrebbe non essere renderizzata.
• Correzione: controlla HTML grezzo e output dopo JS, assicurati che i percorsi importanti usino veri link <a href> e usa render-gap per confrontare ciò che viene scaricato con ciò che viene renderizzato.

I log mostrano traffico “Googlebot” sospetto

• Causa: la stringa user-agent Googlebot è facile da falsificare.
• Correzione: verifica che il DNS inverso termini in googlebot.com, google.com o googleusercontent.com, conferma poi lo stesso IP con il DNS diretto oppure confronta gli intervalli in common-crawlers.json; usa log-file-analyzer per segnalare gli impostori.

La frequenza di crawling è diminuita

• Causa: è algoritmica e si autoregola; 429, 500, 503 e timeout prolungati fanno rallentare l’intero hostname.
• Correzione: controlla errori e codici con http-status-checker o i log. Correggere i 5xx/429 ripristina la frequenza.

Il contenuto solo desktop non si posiziona

• Causa: con mobile-first indexing, la vista smartphone è quella indicizzata.
• Correzione: confronta mobile e desktop, usa mobile-friendly-tester e riallinea le versioni.

Strumenti per lavorare con Googlebot

• robots-txt-tester — verifica se un URL è consentito o bloccato per Googlebot prima di affidarti al comportamento di robots.txt.
• log-file-analyzer — analizza i log e verifica IP/DNS.
• render-gap — confronta download e rendering dopo JavaScript.
• mobile-friendly-tester — controlla la vista del crawler smartphone.
• http-status-checker — conferma i codici 429 e 5xx che rallentano Googlebot.

Terze parti: il Controllo URL di Google Search Console mostra l’ultimo crawling e rendering di un URL e quale crawler lo ha scaricato. Screaming Frog può simulare Googlebot e confrontare HTML grezzo e output renderizzato.

Quiz

Cinque domande per verificare che cosa hai davvero capito di Googlebot.

Cronologia modifiche