Crawling: come funziona la scansione web

TL;DR — Il crawling è il modo in cui i motori di ricerca trovano e scaricano le tue pagine. Un bot (Googlebot per Google, Bingbot per Bing) segue i link e legge le sitemap per scoprire gli URL, poi li recupera. Una pagina deve essere scansionata prima di poter comparire nella ricerca, ma essere scansionata spesso non ti fa posizionare più in alto.

Che cos’è il crawling

I motori di ricerca non navigano sul web come fai tu. Inviano programmi automatici — chiamati crawler, bot o spider — che visitano le pagine, ne scaricano il contenuto e seguono i link per trovare altre pagine. Il crawler di Google è Googlebot; quello di Bing è Bingbot.

Pensalo come tre passaggi, in ordine:

1. Crawl — il bot scopre un URL e scarica la pagina.
2. Index — il motore elabora quella pagina e la archivia in un enorme database di tutto ciò che potrebbe mostrare nei risultati.
3. Serve (rank) — quando qualcuno cerca, il motore recupera dall’indice le corrispondenze migliori e le ordina.

Il crawling è il primo passaggio. Se una pagina non viene mai scansionata, non può essere indicizzata e, se non è indicizzata, non può posizionarsi. Quindi il crawling conta, ma è un cancello, non un tabellone.

Come i crawler trovano le tue pagine

Due modi principali:

• Seguendo i link. Quando un bot scansiona una pagina, raccoglie i link presenti e aggiunge quegli URL alla lista delle prossime scansioni. Un buon linking interno è il modo in cui vengono trovate le pagine nuove.
• Sitemap. Una sitemap XML è un elenco dei tuoi URL che consegni direttamente ai motori di ricerca, così non devono scoprire tutto attraverso i link.

Esistono anche opzioni di “push” con cui comunichi attivamente a un motore che una pagina è cambiata — ne parleremo più avanti — ma link e sitemap svolgono la maggior parte del lavoro.

Come aiutare i motori di ricerca a scansionare il tuo sito

• Collega le pagine importanti da altre pagine (soprattutto dalla home page e dalla navigazione principale).
• Invia una sitemap XML in Google Search Console e Bing Webmaster Tools.
• Non bloccare per errore le pagine che vuoi far trovare (controlla robots.txt).
• Mantieni il server veloce e in salute: se è lento o restituisce errori, i bot rallentano e scansionano meno.

L’errore che commette la maggior parte delle persone

Il crawling non è il ranking. Essere scansionati più spesso non ti fa salire nei risultati. E bloccare una pagina in robots.txt non la rimuove da Google: impedisce solo a Google di leggerla. Evidence for this claim robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. Scope: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt Se vuoi davvero che una pagina sparisca, permetti che venga scansionata e aggiungi un tag noindex. (Ho testato personalmente il lato del blocco: vedi la versione Advanced.)

Vuoi la versione più approfondita, con il funzionamento dello scheduler di scansione, i limiti in byte e la distinzione tra crawl, index e rank? Passa alla scheda Advanced.

TL;DR — Il crawling è il primo dei tre passaggi della ricerca (crawl → index → serve). I bot scoprono gli URL tramite pull (link + sitemap) e push (IndexNow, Indexing API), poi li recuperano secondo un programma algoritmico che si adatta allo stato di salute del server. Il rendering JavaScript è un passaggio separato. Il crawling è necessario per posizionarsi ma non è un segnale di ranking, ed è distinto dall’indicizzazione: una pagina bloccata da robots può comunque essere indicizzata. La maggior parte dei siti non deve gestire il crawl budget; i log mostrano ciò che è realmente accaduto.

Il crawling è il primo di tre passaggi

Google è categorico sulla pipeline: “Google Search works in three stages, and not all pages make it through each stage” — crawling, indexing e serving. Evidence for this claim Google describes Search as three stages: crawling, indexing, and serving results. Scope: Google Search's documented processing model; it does not guarantee that a page reaches every stage. Confidence: high · Verified: 2026-07-14 Google Search Central: In-depth guide to how Google Search works La parte su cui “non tutte le pagine arrivano” è il cuore della SEO tecnica. Una pagina può essere scansionata ma non indicizzata, oppure indicizzata ma mai servita per una query. Tenere distinti i passaggi nella propria mente è il modello mentale più utile dell’intera pagina.

Chi esegue davvero il crawling

“Googlebot” sembra un unico programma. Non lo è. Nel mio deck How Search Works lo descrivo come oltre 1 000 sistemi che eseguono una famiglia di crawler specializzati — desktop, mobile, immagini, notizie, video e annunci — con richieste provenienti soprattutto da Mountain View. Attingono tutti allo stesso pool di crawl budget, motivo per cui una scansione incontrollata di immagini o parametri può privare del crawling i tuoi contenuti reali.

E non ci sono più soltanto i motori di ricerca. Nella mia analisi dei dati di Cloudflare Radar (Meet the New Web Crawlers), i bot dei motori di ricerca scansionano ancora di più, ma i bot AI sono saldamente al secondo posto e sulla traiettoria per superarli nei prossimi anni. Se leggi i tuoi log, il cast dei protagonisti è cambiato.

Come i crawler scoprono gli URL

La scoperta è sia pull sia push:

• Pull — link. Google: “Other pages are discovered when Google extracts a link from a known page to a new page.” È per questo che le pagine orfane (non collegate da nulla) faticano a essere trovate.
• Pull — sitemap. “Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl.”
• Push — notifiche di modifica. Invece di aspettare una nuova scansione, comunichi al motore che qualcosa è cambiato: IndexNow (Bing, Yandex e altri — Google non lo usa per le pagine generiche) e la Indexing API di Google (ufficialmente solo per pagine JobPosting e BroadcastEvent). lastmod delle sitemap, RSS e WebSub completano le opzioni push.

Google chiama l’intero processo “URL discovery.”

Come i crawler recuperano le pagine

• Il programma è algoritmico. “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” Puoi influenzarlo, non impostarlo.
• Il crawling è prudente. I bot rallentano per non mandare in crisi il sito: “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down.’” È la leva dietro al rallentamento temporaneo di una scansione: restituisci 503/429 e Googlebot riduce il ritmo (per un giorno o due, non per sempre).
• Esiste un limite in byte. Secondo l’aggiornamento Inside Googlebot di Google del marzo 2026, Googlebot recupera circa 2 MB per URL (in calo rispetto ai vecchi 15 MB), mentre i PDF possono arrivare a 64 MB. Se superi il limite, il recupero viene troncato, non rifiutato: solo la parte scaricata passa all’indicizzazione. Se i contenuti fondamentali restano sotto i 2 MB di zavorra, la differenza conta.
• La cache riduce il costo delle nuove scansioni. I crawler di Google usano richieste condizionali e caching così le risorse invariate non vengono recuperate ogni volta. Google non pubblica una durata esatta della cache per le risorse di rendering, quindi non dare per scontata una finestra fissa di aggiornamento per una modifica al codice: aspettati un ritardo, non un riflesso immediato.

Il rendering non è il crawling

Questo confonde continuamente le persone. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” Il rendering è un passaggio distinto dal recupero dell’HTML. Il renderer (il Web Rendering Service) è stateless: memoria e cookie vengono cancellati tra i caricamenti, i prompt di autorizzazione vengono negati e i service worker vengono rifiutati. Se i contenuti compaiono solo dopo un clic o una navigazione gestita da JS che non è un vero link <a href>, aspettati problemi di scoperta e rendering. (Trattazione completa in JavaScript SEO.)

Crawling vs indicizzazione vs ranking

Le distinzioni più importanti di questa pagina:

• Crawling ≠ ranking. Il crawling è necessario per comparire nei risultati, ma non è un segnale di ranking. Una velocità di scansione maggiore non aumenterà le posizioni. Il crawl budget è un problema di efficienza, punto.
• Crawling ≠ indicizzazione. Una pagina bloccata in robots.txt può comunque essere indicizzata se altre pagine la collegano: Google non può vedere il contenuto né l’eventuale tag noindex che hai inserito. Come scrivo in Indexed, though blocked by robots.txt: “crawling and indexing are two different things.” Per rimuovere davvero una pagina, permetti il crawling e aggiungi noindex: non bloccarla.

Ho testato direttamente il lato del blocco. In The Story of Blocking 2 High-Ranking Pages With Robots.txt ho bloccato due delle nostre pagine posizionate. Il risultato: “We lost a position here or there and all of the featured snippets for the pages… I expected a lot more impact, but the world didn’t end.” La mia conclusione resta: “Don’t block pages you want indexed. It hurts. Not as bad as you might think it does — but it still hurts.”

Come controllare il crawling

• robots.txt controlla il crawling, non l’indicizzazione. “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” Evidence for this claim robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. Scope: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. Confidence: high · Verified: 2026-07-14 Google Search Central: Introduction to robots.txt Usalo per tenere i bot lontani dagli spazi di basso valore, non come strumento per deindicizzare.
• Architettura del sito e link interni determinano quanto in profondità si trovano le pagine e se vengono scoperte (vedi crawl depth).
• Controlli della velocità di scansione. Google ha ritirato il cursore manuale della velocità in Search Console (inizio 2024): ora si affida alle risposte del server e a un minimo automatico più basso. Bing offre ancora una griglia manuale Crawl Control in Bing Webmaster Tools (vedi crawl rate).

Crawl efficiency e crawl budget

Entrambi i motori considerano il crawling una questione di efficienza. Gary Illyes descrive il lato Google come limite della velocità di scansione + domanda di scansione (popolarità e obsolescenza). Fabrice Canel di Bing lo chiama il loro “crawl efficiency north star … to crawl a URL only when the content has been added … updated.”

La parte rassicurante: la maggior parte dei siti non deve preoccuparsene. Google lo dice chiaramente: se il tuo sito non ha molte pagine che cambiano rapidamente o le pagine vengono scansionate lo stesso giorno in cui sono pubblicate, “you don’t need to read this guide.” Inizia a contare intorno a 1M+ pagine che cambiano ogni settimana oppure 10k+ che cambiano ogni giorno (vedi crawl budget e crawl frequency).

Quando il crawling va storto — come accorgersene

Prima di cercare una soluzione, scopri quale passaggio è davvero rotto: sintomi e rimedi cambiano a ogni stadio:

• Non scoperta per niente? Nulla collega la pagina ed è assente dalla sitemap. Correggi i link interni e la copertura della sitemap: vedi crawl depth e crawl frequency.

• Scoperta ma mai recuperata? Errori server, timeout o un blocco in robots.txt stanno allontanando i bot. Controlla Statistiche di scansione GSC e i log: vedi crawl budget e crawl rate.

• Recuperata ma renderizzata male? Il contenuto dipende da un clic o da una navigazione solo JS che Googlebot non eseguirà, oppure il WRS va in timeout. Vedi JavaScript SEO per i problemi specifici del rendering.

• Recuperata e renderizzata ma ancora non indicizzata? È una decisione separata dell’indice: consulta l’hub Indexing invece di considerarla un problema di crawling.

• L’analisi dei file di log è la fonte di verità. I log del server mostrano esattamente quali URL hanno visitato i bot, con quale frequenza e con quali codici di stato: il modo migliore per individuare scansioni sprecate e pagine mai raggiunte dai bot (vedi analisi dei file di log).

• Spider trap — spazi URL infiniti generati da calendari, navigazione sfaccettata, ID di sessione o esplosioni di link relativi — consumano silenziosamente il crawl budget su URL inutili (vedi spider trap).

Dove andare dopo: il cluster sul crawling

Questo hub è la mappa. Ogni argomento qui sotto è un approfondimento autonomo:

Crawl efficiency — quanto e con quale frequenza

• Crawl budget — cos’è (capacità + domanda), cosa lo spreca e chi deve davvero preoccuparsene.
• Crawl rate — quanto velocemente recuperano i bot, perché il cursore di GSC è scomparso e come accelerare o rallentare una scansione oggi.
• Crawl frequency — cosa fa scansionare prima una pagina a Google (popolarità, obsolescenza, lastmod accurato) e cosa non lo fa.
• Crawl depth — profondità dei clic rispetto alla profondità di attraversamento del crawler e perché le pagine importanti devono stare vicino alla home page.

Conosci i crawler — chi recupera davvero le tue pagine

• Crawler — cos’è un web crawler (bot, spider) e il ciclo recupera → analizza → segue che eseguono tutti.
• User agent — la stringa user-agent e il token robots.txt con cui un bot si identifica, e perché non puoi fidarti della stringa da sola.
• Googlebot — il crawler di Google: Smartphone e Desktop, rendering e verifica.
• Bingbot — il crawler di Microsoft, le differenze e le superfici oltre Bing che alimenta.
• Crawler AI — i bot delle aziende AI (addestramento, ricerca AI e recuperi avviati dall’utente) e come controllarli.

Diagnostica dei problemi di crawling

• Analisi dei file di log — verifica dei bot reali e lettura di ciò che hanno scansionato.
• Spider trap (crawler trap) — i pattern che generano URL infiniti e come correggerli.

Ogni argomento qui sopra è un approfondimento autonomo annidato sotto questo hub: si trovano anche nella barra laterale.

Qualificare i link in uscita è un controllo on-page correlato che si sovrappone al crawling: comunica a Google come trattare un link, non se deve scansionarlo: nofollow (l’originario contenitore generico, oggi un suggerimento), più rel=sponsored e rel=ugc per link a pagamento/pubblicitari e generati dagli utenti. Tutti e tre appartengono al cluster dei meta tag on-page.

Essere trovati per prima cosa è uno stadio collegato ma separato. Il modo in cui i motori di ricerca scoprono i tuoi URL — link interni, sitemap (XML, indice sitemap, immagini e video) e protocolli push IndexNow e Google Indexing API (cosa serve davvero a ciascuno e perché Google non usa IndexNow) — ora vive nel suo hub Discovery. Per il tema più ampio, vedi How Search Works.

Riepilogo AI

Una sintesi della versione Advanced:

• Il crawling è il primo passaggio della ricerca (crawl → index → serve). È necessario per posizionarsi ma non è un segnale di ranking, ed è distinto dall’indicizzazione e dal rendering.
• La scoperta è pull + push: link e sitemap (pull); IndexNow e Indexing API (push). Google lo chiama “URL discovery”.
• Il recupero è algoritmico e prudente: Google decide cosa, con quale frequenza e quanto recuperare, e rallenta su 5xx/429 (“slow down”). Googlebot recupera circa 2 MB per URL (PDF fino a 64 MB) dal 2026 e tronca il contenuto oltre quel limite.
• Il rendering è separato: il JS gira in un Chrome headless stateless; Google mette in cache le risorse per ridurre il costo delle nuove scansioni, ma non pubblica una durata esatta, quindi le modifiche possono arrivare in ritardo.
• Crawl ≠ index: una pagina bloccata da robots può comunque essere indicizzata tramite i link; usa noindex (lasciando consentito il crawling) per rimuovere una pagina. L’esperimento di Patrick sul blocco ha mostrato che le pagine bloccate hanno mantenuto in gran parte il ranking, “but it still hurts.”
• Crawl budget = capacità + domanda (popolarità + obsolescenza). La maggior parte dei siti non deve gestirlo.
• Diagnostica con i log; controlla le spider trap che sprecano budget. I bot AI sono ormai una quota importante e in crescita del traffico di crawling.

Documentazione ufficiale

Documentazione primaria dei motori di ricerca.

Google

• Guida approfondita a come funziona Google Search — panoramica crawl → index → serve, scoperta degli URL e scheduler di scansione.
• Scansione e indicizzazione — hub per robots, sitemap, canonicalizzazione e controlli della scansione.
• Introduzione a robots.txt — cosa fa robots.txt (e cosa non fa).
• Ottimizza il tuo crawl budget — capacità + domanda di scansione e chi ne ha bisogno.
• Panoramica dei crawler e fetcher di Google — ogni user agent Google e gli intervalli IP pubblicati.
• Inside Googlebot (marzo 2026) — limiti in byte e architettura di crawling attuali.
• Googlebot e la questione dei 15 MB (2022) — il vecchio limite, utile per mostrare il cambiamento.
• Serie Crawling December (2024) — Googlebot, caching HTTP, navigazione sfaccettata e CDN.

Bing / Microsoft

• Serie bingbot: massimizzare la crawl efficiency — la definizione di Bing del crawling e il suo “crawl efficiency north star”.
• Bing Webmaster Tools — Crawl Control — imposta velocità e orari di Bingbot.
• IndexNow / indexnow.org — il protocollo push per segnalare subito gli URL modificati.

Citazioni dalla fonte

Dichiarazioni pubbliche di Google e Bing. Ogni link è un deep link che porta direttamente al passaggio citato nella pagina sorgente.

Google — come funziona il crawling

• “Google Search works in three stages, and not all pages make it through each stage.” — Documentazione Google Search Central. Vai alla citazione
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery’.” Vai alla citazione
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” Vai alla citazione
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” Vai alla citazione
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” Vai alla citazione

Google — robots.txt e crawl budget

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” — Documentazione Google Search Central. Vai alla citazione
• “Taking crawl capacity and crawl demand together, Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” Vai alla citazione
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” Vai alla citazione

Gary Illyes, Google (tramite la riproduzione letterale del post Google sul crawl budget del 2017 pubblicata da Search Engine Land)

• Il limite della velocità di scansione è “the number of simultaneous parallel connections Googlebot may use to crawl the site, as well as the time it has to wait between the fetches.” La domanda di scansione è determinata da popolarità e obsolescenza. Leggi la copertura

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” Vai alla citazione
• “Our crawl efficiency north star is to crawl a URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” Vai alla citazione

Checklist sullo stato del crawling

Un controllo rapido per confermare che i motori di ricerca possano trovare e recuperare ciò che conta:

• Le pagine importanti sono collegate da un punto scansionabile (nessuna pagina orfana).
• robots.txt non blocca nulla di ciò che vuoi indicizzare (e blocca invece gli spazi di basso valore come i risultati della ricerca interna).
• La sitemap XML è inviata in Google Search Console e Bing Webmaster Tools, elenca solo URL canonical e indicizzabili e ha un lastmod accurato.
• Il server restituisce risposte rapide e stabili: pochi 5xx/timeout (i bot rallentano quando il server è in difficoltà).
• Non usi robots.txt per provare a deindicizzare: questo è il compito di noindex (lasciando consentito il crawling).
• Nessuna spider trap genera URL infiniti (calendari, facet, ID di sessione).
• Hai controllato Statistiche di scansione GSC per picchi nei codici di risposta e nel tempo medio di risposta.
• Hai controllato i log del server per lo spreco di scansione e gli URL importanti mai scansionati.
• I contenuti dipendenti dal JS sono raggiungibili tramite veri link <a href>, non tramite navigazione attivata solo dal clic.

I modelli mentali

1. La pipeline — crawl → render → index → serve. Ogni passaggio è un filtro e “not all pages make it through each stage.” Quando una pagina non funziona, individua quale passaggio sta fallendo prima di cambiare qualcosa: è stata scansionata? Renderizzata? Indicizzata? Servita per la query?

2. I tre “not equals”. Tieni separati questi concetti e la maggior parte della confusione sul crawling scompare:

• Crawling ≠ indicizzazione (le pagine bloccate possono comunque essere indicizzate tramite link)
• Crawling ≠ ranking (la velocità di scansione non è un segnale di ranking)
• Crawling ≠ rendering (il JS gira in un passaggio separato e memorizzabile nella cache)

3. La scoperta = pull + push. Pull: link + sitemap. Push: IndexNow / Indexing API / lastmod. Se una pagina non viene trovata, chiediti quale canale dovrebbe trasportarla e se c’è almeno un link che la raggiunge.

4. Crawl budget = capacità + domanda. La capacità è ciò che il tuo server può gestire; la domanda è popolarità + obsolescenza. Aumenti il budget effettivo rimuovendo gli sprechi (trappole, duplicati, parametri inutili) molto più che cercando di far scansionare Google “di più”.

5. La regola decisionale per rimuovere una pagina. La vuoi fuori dalla ricerca? Consenti il crawling + noindex. Vuoi che i bot saltino del tutto uno spazio (e non ti interessa l’indicizzazione)? Disallow in robots.txt. Non usare mai il disallow per deindicizzare.

Controllare il crawling — scheda rapida

Cosa fa davvero ogni controllo

Codici di stato importanti per i bot

• 200 — recuperato correttamente.
• 301/308 — redirect permanente (consolida).
• 404/410 — rimosso; col tempo esce dall’indice (410 un po’ più rapidamente).
• 429 / 500 / 503 — “slow down” / riprova più tardi; se persistono, la scansione diminuisce.

Dati rapidi

• Limite di recupero di Googlebot: circa 2 MB per URL (PDF 64 MB), troncato oltre il limite.
• Cursore manuale della velocità di scansione in GSC: rimosso (gennaio 2024) — ora contano i segnali del server.
• Equivalente Bing: griglia Crawl Control in Bing Webmaster Tools.
• IndexNow: Bing/Yandex/altri — non Google. Indexing API: Google, solo JobPosting + BroadcastEvent.

Verifica che un bot sia davvero Googlebot

Molto traffico sostiene di provenire da Googlebot. Confermalo con un controllo DNS inverso + diretto (Google non pubblica scorciatoie: gli user agent falsi sono comuni).

Oppure esegui lo stesso controllo manualmente:

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

Se la ricerca inversa non termina con un dominio Google, oppure la ricerca diretta non corrisponde all’IP originale, non è Googlebot. Puoi anche confrontarla con gli intervalli IP pubblicati da Google (googlebot.json).

Un punto di partenza sicuro per robots.txt

User-agent: *
Disallow: /search           # internal search result pages
Disallow: /*?*sort=         # sort-order parameter spaces
Allow: /

Sitemap: https://example.com/sitemap.xml

Ricorda: Disallow blocca il crawling, non l’indicizzazione — non usarlo per rimuovere una pagina dai risultati.

Strumenti per vedere e gestire il crawling

• Google Search Console — report Statistiche di scansione — la visuale di Google su come ti scansiona: richieste nel tempo, codici di risposta, tempo medio di risposta, per tipo di file e tipo di Googlebot.
• Bing Webmaster Tools — informazioni sulla scansione, Crawl Control e Site Scan.
• Analisi dei file di log del server — la fonte di verità. Strumenti: Screaming Frog Log File Analyser oppure invia i log a BigQuery o a una piattaforma di log. (Vedi analisi dei file di log.)
• Crawler / audit del sito — Ahrefs Site Audit e Screaming Frog SEO Spider simulano una scansione e mostrano profondità, catene di redirect, URL bloccati e pattern simili a trappole.
• Ahrefs Webmaster Tools — scansione e audit gratuiti per i siti che verifichi.
• Controllo URL (GSC) — controlla come è stato scansionato, renderizzato e indicizzato un singolo URL.

Risorse che valgono il tuo tempo

I miei contenuti correlati

• La guida per principianti alla SEO tecnica — dove il crawling si inserisce nel quadro più ampio.
• La storia del blocco di 2 pagine ben posizionate con Robots.txt — il mio esperimento proprietario sul rapporto tra crawling e ranking.
• Indicizzata, anche se bloccata da robots.txt — perché le pagine bloccate vengono comunque indicizzate.
• Robots.txt e SEO: tutto quello che devi sapere.
• Problemi e best practice della JavaScript SEO — il lato del rendering.
• Incontra i nuovi crawler web: i bot AI si avvicinano ai bot dei motori di ricerca.

I miei interventi

• How Search Works (SlideShare) — il mio percorso su crawling, rendering, indicizzazione e ranking. (Vale la mia precisazione permanente: “This is my understanding of systems… not going to be 100% complete or accurate.”)

Da altri

• r/TechSEO — la community per il debugging di crawl e indicizzazione.
• La serie Crawling December di Google (ufficiale, ma il miglior insieme concentrato di spiegazioni sul crawling).
• Google spiega il crawl budget ai webmaster (Search Engine Land) — riproduzione letterale del post originale di Gary Illyes sul crawl budget con definizioni di limite della velocità e domanda di scansione.
• Il crawl budget di Googlebot spiegato (Search Engine Journal) — spiegazione chiara del modello di capacità e domanda di scansione.
• Google spiega i limiti in byte e l’architettura di crawling di Googlebot (Search Engine Journal) — copertura dell’aggiornamento Inside Googlebot di marzo 2026: 2 MB per URL, PDF da 64 MB e comportamento di troncamento.
• Come funziona Bingbot: scoperta, crawling, estrazione, indicizzazione (Search Engine Journal) — il lato Bing della pipeline di crawling, con il contesto di Fabrice Canel.
• Limite delle dimensioni dei file per Googlebot (DebugBear) — cosa succede quando una pagina supera il limite di recupero di Googlebot (troncamento, non rifiuto).

Podcast

• Search Off the Record (Google Search Relations) — How Googlebot crawls the web. Gary Illyes e Martin Splitt parlano del passato, presente e futuro di Googlebot: infrastruttura di crawling unificata, HTTP/1.1 e HTTP/2, richieste condizionali e limiti in byte. Ascolta

Video

• Google Search Central (YouTube) — la serie How Google Search Works e le spiegazioni di Martin Splitt su crawling e rendering, inclusi i video sulla JavaScript SEO. Canale

Dati statistici da citare

• I bot AI si avvicinano ai bot dei motori di ricerca. Dalla mia analisi di Cloudflare Radar, i crawler dei motori di ricerca scansionano ancora di più, ma i bot AI sono un chiaro numero 2 e sono sulla traiettoria per superarli entro un paio d’anni. Fonte
• Decine di miliardi di URL normalizzati mai visti prima vengono scoperti da Bing ogni giorno: la scala del problema della scoperta che i motori filtrano aggressivamente (Fabrice Canel, Microsoft Bing, 2022). Copertura
• Quali crawler vengono bloccati di più da circa 140 milioni di siti — dati sul tasso di blocco in robots.txt del mio studio con Xibeijia Guan, utili per capire come il web aperto pone limiti ai bot. Fonte
• Limite in byte: circa 2 MB per URL (PDF da 64 MB): il limite documentato di recupero di Googlebot a marzo 2026 (in calo rispetto ai 15 MB). Fonte

Mettiti alla prova: crawling

Cinque domande rapide su come i motori di ricerca scoprono e recuperano le pagine. Scegli una risposta per ciascuna e poi controlla.

Cronologia modifiche