Crawl delay

In breve — Crawl-delay è una riga che puoi inserire in robots.txt per chiedere ai bot di rallentare, aspettando qualche secondo tra un recupero e l’altro. Il punto fondamentale è questo: Google la ignora (dal 2019), mentre Bing la rispetta ancora. Se vuoi impedire a Googlebot di sovraccaricare il server, crawl-delay non serve: usa un approccio diverso, descritto sotto.

Che cos’è crawl-delay

Crawl-delay è una riga aggiunta al file robots.txt per chiedere a un crawler di attendere un certo numero di secondi tra le richieste, evitando che recuperi le pagine così rapidamente da rallentare il server. Ha questo aspetto:

User-agent: *
Crawl-delay: 10

In sostanza significa: «ogni bot faccia una pausa tra un recupero e l’altro».

Il dato più importante: Google la ignora

È il punto che trae più spesso in inganno. Google non rispetta crawl-delay. Ha smesso di elaborare la direttiva il 1° settembre 2019 e, anche prima, non l’aveva mai supportata ufficialmente. Prova a sostegno di questa affermazione Google does not support or process the non-standard crawl-delay robots.txt field. Ambito: Google crawlers; other crawlers may support the field. Attendibilità: alta · Verificato: 2026-07-14 Google: robots.txt specifications Se hai inserito crawl-delay in robots.txt per rallentare Googlebot, non sta producendo alcun effetto.

Bing è diverso: Bing rispetta crawl-delay. Lo fanno anche altri crawler, descritti nella scheda Avanzato.

Se vuoi rallentare Google

Non affidarti a crawl-delay. Procedi invece così:

• Soluzione migliore nel lungo periodo: correggi o potenzia il server affinché riesca a gestire la scansione.
• Solo in emergenza: fai restituire dal server a Googlebot un codice di stato 503 o 429. Google interpreta quasi subito queste risposte come una richiesta di rallentare. Fallo soltanto per uno o due giorni: più a lungo, Google può iniziare a rimuovere pagine dall’indice. Prova a sostegno di questa affermazione Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Ambito: Temporary Googlebot overload response, not routine crawl management. Attendibilità: alta · Verificato: 2026-07-14 Google: Reduce Googlebot crawl rate
• Non usare mai 403 o 404 per limitare la frequenza: non la influenzano.

Se vuoi rallentare Bing

Bing rispetta crawl-delay, ma lo strumento che preferisce è Crawl Control in Bing Webmaster Tools, una griglia con cui regolare la velocità di scansione in base all’ora del giorno. Usalo per primo: è più preciso.

Vuoi conoscere la storia, il motivo per cui Yandex ha abbandonato la direttiva nel 2018 e quali bot IA la rispettano? Passa alla scheda Avanzato.

In breve — Crawl-delay era una direttiva non ufficiale di robots.txt per limitare i bot; non ha mai fatto parte dello standard formale (RFC 9309). Google l’ha ritirata il 1° settembre 2019 e dichiara esplicitamente di non elaborarla: rallenta Googlebot con 429/503 (al massimo per 1–2 giorni) o correggendo il server, non con crawl-delay. Le indicazioni attuali di Bing documentano valori da 1 a 20 secondi. Yandex ha rimosso il supporto il 22 febbraio 2018 e ora usa un’impostazione della frequenza di scansione in Yandex Webmaster. Molti crawler SEO (AhrefsBot, Semrush) e alcuni bot IA (ClaudeBot) la rispettano: il vero caso d’uso rimasto è controllare bot diversi da Google, Bing e Yandex.

Perché esiste crawl-delay

Crawl-delay è un limitatore. L’idea è semplice: un crawler aggressivo che recupera pagine senza interruzione può imporre un carico reale a un server, soprattutto se piccolo o lento. Crawl-delay era la leva di cortesia con cui chiedere al bot di fare una pausa di qualche secondo tra le richieste, così che il server riuscisse a sostenerle. Si trova in robots.txt, dentro un gruppo User-agent, insieme alle righe disallow e allow. Per l’intero file, consulta robots-txt.

Il problema è che non è mai stata standardizzata. Il Robots Exclusion Protocol è stato formalizzato soltanto nel 2022 con RFC 9309, che non include crawl-delay. È sempre stata un’estensione non ufficiale, implementata o ignorata dai diversi crawler e interpretata in modi differenti. Proprio questa incoerenza ha spinto Google ad abbandonarla.

Google l’ha ritirata il 1° settembre 2019

Il 2 luglio 2019 Gary Illyes ha pubblicato Una nota sulle regole non supportate in robots.txt su Google Search Central. Google stava rendendo open source il proprio parser di robots.txt e, come parte del lavoro, ritirava tutto il codice che gestiva regole mai incluse nella bozza dello standard Internet: in particolare noindex, nofollow e crawl-delay. Il ritiro è entrato in vigore il 1° settembre 2019.

La motivazione di Google era che queste regole, non documentate e non ufficiali, venivano interpretate in modo incoerente dai crawler, creando ambiguità. La documentazione attuale di robots.txt è esplicita: Google supporta quattro campi (user-agent, allow, disallow e sitemap) e dichiara “other fields such as crawl-delay aren’t supported.” (traduzione) «altri campi, come crawl-delay, non sono supportati». La pagina Miti e fatti sulla scansione ribadisce: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (traduzione) «La regola non standard ‘crawl-delay’ di robots.txt non viene elaborata dai crawler di Google». Prova a sostegno di questa affermazione Google does not support or process the non-standard crawl-delay robots.txt field. Ambito: Google crawlers; other crawlers may support the field. Attendibilità: alta · Verificato: 2026-07-14 Google: robots.txt specifications

La portata va chiarita: la direttiva viene ignorata in qualunque gruppo di user-agent la inserisci. Un blocco User-agent: Googlebot con una riga Crawl-delay viene ignorato esattamente come uno sotto User-agent: *.

Che cosa usare al suo posto per Google

La frequenza di scansione di Google è ora completamente automatica e si adatta allo stato del server; il vecchio cursore manuale in Search Console è stato rimosso l’8 gennaio 2024 (l’annuncio risale al novembre precedente). Se hai davvero bisogno di rallentare Googlebot, hai tre leve:

1. Correggi il server. È la soluzione effettiva. Se il server sostiene il carico, non devi limitare nulla.
2. Restituisci 429, 500 o 503 nelle emergenze. La documentazione Ridurre la frequenza di scansione di Googlebot dice di “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (traduzione) «restituire alle richieste di scansione un codice di stato HTTP 500, 503 o 429 invece di 200». Googlebot lo interpreta quasi subito come un invito a rallentare. La regola tassativa è: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (traduzione) «Non consigliamo di farlo per un lungo periodo (cioè oltre 1–2 giorni)». Risposte 5xx prolungate rischiano di far rimuovere pagine dall’indice e di sospendere Google Ads. Prova a sostegno di questa affermazione Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Ambito: Temporary Googlebot overload response, not routine crawl management. Attendibilità: alta · Verificato: 2026-07-14 Google: Reduce Googlebot crawl rate
3. Invia una richiesta di riduzione della frequenza di scansione tramite Search Console per un problema persistente. È lenta e può soltanto ridurre la frequenza, mai aumentarla.

Evita una trappola: non usare 401, 403 o 404 per limitare la frequenza. Secondo la guida ai codici di stato HTTP di Google, “the 4xx status codes, except 429, have no effect on crawl rate” (traduzione) «i codici di stato 4xx, eccetto 429, non influiscono sulla frequenza di scansione»; inoltre non devi “use 401 and 403 status codes for limiting the crawl rate” (traduzione) «usare i codici di stato 401 e 403 per limitare la frequenza di scansione».

Per questo, nella mia guida alla frequenza di scansione, presento crawl-delay come ciò che non va usato per Google: consulta quell’articolo per la strategia completa di accelerazione e rallentamento.

Bing documenta un intervallo da 1 a 20 secondi

Le indicazioni attuali di Bing Webmaster documentano valori di crawl-delay da 1 a 20 secondi. Questo non rende il campo uno standard trasferibile: Google lo ignora e ogni altro crawler richiede una conferma nella propria documentazione.

Yandex l’ha abbandonata nel 2018

In passato Yandex rispettava crawl-delay come numero minimo letterale di secondi tra le richieste. È la versione che compare ancora in molti blog SEO, ma è obsoleta. La documentazione attuale di Yandex è esplicita: “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” (traduzione) «Dal 22 febbraio 2018 Yandex non tiene conto della direttiva Crawl-delay». Prova a sostegno di questa affermazione Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Ambito: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Attendibilità: alta · Verificato: 2026-07-18 Yandex Webmaster: The Crawl-delay directive Per impostare oggi la velocità dei bot di Yandex, usa direttamente l’impostazione della frequenza di scansione in Yandex Webmaster, non robots.txt. Il quadro corretto è quindi questo: Bing rispetta crawl-delay nel proprio intervallo documentato, Google non l’ha mai fatto e Yandex lo faceva in passato, ma ha smesso nel 2018.

Altri crawler: strumenti SEO e bot IA

Molti crawler non appartenenti ai motori di ricerca rispettano crawl-delay per cortesia:

• AhrefsBot e il bot di Semrush la rispettano entrambi.
• I crawler IA sono un pubblico più recente. Anthropic documenta che ClaudeBot supporta la direttiva non standard crawl-delay. Per gli altri, come GPTBot e Perplexity, consulta la documentazione pubblicata da ciascun fornitore invece di presumere il supporto.

Lo schema è questo: i crawler più piccoli, orientati alla conformità o alla cortesia tendono a rispettare crawl-delay; i grandi motori di ricerca sono passati soprattutto a segnali interni (Google) o strumenti manuali più ricchi (Bing). Nulla di tutto ciò vincola i malintenzionati: gli scraper che ignorano completamente robots.txt ignoreranno anche crawl-delay.

Il caso d’uso rimasto

crawl-delay è quindi morta? Non del tutto. È inutile per Google e nella migliore delle ipotesi ridondante per Bing (usa Crawl Control), ma rimane il modo più semplice per chiedere alla vasta fascia intermedia — strumenti SEO, bot IA e altri crawler minori che la rispettano — di ridurre il ritmo. Se il bot di uno strumento specifico sovraccarica il server, un gruppo User-agent: mirato con un crawl-delay è un primo intervento ragionevole:

User-agent: SomeBot
Crawl-delay: 10

Ricorda che è una richiesta, non una garanzia, e che si applica per host e per gruppo di user-agent come tutte le altre regole di robots.txt. Per il quadro più ampio dell’efficienza — quanto costano davvero i bot e chi deve preoccuparsene — consulta crawl-budget.

Riepilogo IA

Sintesi della versione Avanzato:

• Che cos’è: Crawl-delay è una direttiva non standard di robots.txt che chiede ai bot di attendere un numero definito di secondi tra i recuperi per ridurre il carico sul server. Non ha mai fatto parte dello standard formale (RFC 9309, 2022).
• Google la ignora. Ritirata il 1° settembre 2019; la documentazione attuale afferma “other fields such as crawl-delay aren’t supported.” (traduzione) «altri campi, come crawl-delay, non sono supportati». Viene ignorata indipendentemente dal gruppo di user-agent in cui si trova.
• Per rallentare Google: correggi il server, che è la soluzione migliore, o restituisci 429/500/503 soltanto nelle emergenze (per non più di 1–2 giorni, altrimenti rischi la deindicizzazione). Non usare mai 401/403/404 per limitare la frequenza. Il cursore manuale di GSC è stato rimosso l’8 gennaio 2024.
• Bing documenta valori da 1 a 20 secondi. Sono indicazioni specifiche per Bing, non uno standard robots.txt trasferibile.
• Yandex ha rimosso il supporto il 22 febbraio 2018. Le vecchie indicazioni secondo cui interpreta il valore come secondi letterali sono obsolete; oggi Yandex usa un’impostazione in Yandex Webmaster.
• Altri crawler: AhrefsBot e Semrush la rispettano; Anthropic documenta il supporto di ClaudeBot. Gli scraper malintenzionati ignorano interamente robots.txt.
• Caso d’uso rimasto: controllare crawler diversi da Google, Bing e Yandex (strumenti SEO e bot IA) tramite un gruppo User-agent: mirato.

Documentazione ufficiale

Documentazione primaria su crawl-delay e sulle alternative.

Google

• Documentazione di robots.txt — elenca i quattro campi supportati e afferma che crawl-delay non è supportata.
• Una nota sulle regole non supportate in robots.txt (2 luglio 2019) — annuncio del ritiro, efficace dal 1° settembre 2019, di noindex, nofollow e crawl-delay.
• Miti e fatti sulla scansione — la regola non standard crawl-delay non viene elaborata dai crawler di Google.
• Ridurre la frequenza di scansione di Googlebot — alternative: 429/500/503 e limite di 1–2 giorni.
• In che modo i codici di stato HTTP influiscono sui crawler di Google — perché i 4xx, eccetto 429, non limitano la frequenza.
• Imminente ritiro dello strumento per limitare la frequenza di scansione (novembre 2023) — rimozione del cursore di GSC.

Bing / Microsoft

• Indicazioni su Bingbot — le indicazioni attuali di Bing Webmaster documentano valori da 1 a 20 secondi.
• Bing Webmaster Tools — Crawl Control — alternativa preferita da Bing a crawl-delay.

Yandex

• Yandex Webmaster — La direttiva Crawl-delay — afferma che Yandex non la rispetta dal 22 febbraio 2018 e rimanda all’impostazione della frequenza di scansione in Yandex Webmaster.

Lo standard

• RFC 9309: Robots Exclusion Protocol — lo standard formalizzato, che non include crawl-delay.

Citazioni dalle fonti

Dichiarazioni ufficiali di Google e Bing. Quando disponibile, ogni link rimanda direttamente al passaggio citato nella pagina originale.

Google — crawl-delay non viene elaborata

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (traduzione) «La regola non standard ‘crawl-delay’ di robots.txt non viene elaborata dai crawler di Google». — documentazione di Google Search Central. Vai alla citazione
• “Google supports the following fields … (other fields such as crawl-delay aren’t supported).” (traduzione) «Google supporta i seguenti campi … (altri campi, come crawl-delay, non sono supportati)». — documentazione di robots.txt. Vai alla citazione

Google — che cosa usare al suo posto

• “To quickly reduce the crawl rate, you can return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (traduzione) «Per ridurre rapidamente la frequenza di scansione, puoi restituire alle richieste di scansione un codice di stato HTTP 500, 503 o 429 invece di 200». — Ridurre la frequenza di scansione di Googlebot. Vai alla citazione
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (traduzione) «Non consigliamo di farlo per un lungo periodo (cioè oltre 1–2 giorni)». — Ridurre la frequenza di scansione di Googlebot. Vai alla citazione

Gary Illyes, Google (sul ritiro dello strumento di GSC, novembre 2023)

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (traduzione) «se il server restituisce persistentemente codici di stato HTTP 500 per un insieme di URL, Googlebot rallenterà automaticamente e quasi subito la scansione». Ha aggiunto che l’utilità dello strumento “has dissipated” (traduzione) «si è dissolta». Citazione riportata dalla copertura di Search Engine Land sul ritiro — leggi l’articolo; confrontala con il post originale di Google prima di considerarla definitiva.

Bing / Microsoft

• Le indicazioni attuali su Bingbot documentano valori di crawl-delay da 1 a 20 secondi. Si tratta di indicazioni specifiche per Bing, non di una regola REP generale.

Yandex (documentazione attuale di Webmaster)

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” (traduzione) «Dal 22 febbraio 2018 Yandex non tiene conto della direttiva Crawl-delay. Per impostare la frequenza con cui i bot di indicizzazione devono accedere alle pagine del sito, usa l’impostazione della frequenza di scansione del sito in Yandex Webmaster». — Yandex Webmaster: la direttiva Crawl-delay

Checklist decisionale per crawl-delay

Segui l’elenco in base al bot che vuoi rallentare:

• Controlla robots.txt. È già presente una riga crawl-delay? Annota in quali gruppi User-agent si trova e quali bot vuoi davvero limitare.
• Se è lì per Google: rimuovila, oppure documenta che prende di mira altri bot. Non produce alcun effetto su Googlebot.
• Vuoi rallentare Google? Correggi prima il server. In una vera emergenza, restituisci 429/503 per non più di 1–2 giorni. Non usare mai 401/403/404. Per un problema persistente, invia una richiesta di riduzione tramite Search Console.
• Vuoi rallentare Bing? Usa prima Crawl Control in Bing Webmaster Tools. Se usi crawl-delay, mantieni il valore a 10 o meno e ricorda che si applica dal gruppo * anche quando è presente una sezione bingbot.
• Vuoi rallentare un altro crawler, come uno strumento SEO o un bot IA? Inserisci crawl-delay in un gruppo User-agent: dedicato: funziona se quel crawler rispetta la direttiva, come fanno molti.
• Conferma il significato del valore per il bot di destinazione: Bing lo interpreta come fattore di limitazione relativo. Yandex lo interpretava come secondi letterali, ma dal 22 febbraio 2018 non rispetta più la direttiva; usa l’impostazione in Yandex Webmaster.
• Non aspettarti la collaborazione di scraper o malintenzionati: ignorano completamente robots.txt. crawl-delay serve soltanto per bot corretti.

Scheda riepilogativa di crawl-delay

Chi rispetta crawl-delay?

Scala di limitazione di Bing

Che cosa usare al suo posto, per motore

Da non fare

• Non usare crawl-delay aspettandoti che influisca su Google o Yandex.
• Non usare 401/403/404 per limitare Googlebot: non hanno effetto; soltanto 429 tra i 4xx funziona.
• Non impostare per Bing valori superiori a 10.

Come rallentare un crawler?

Strumenti per lavorare con crawl-delay

• Tester di robots.txt controlla quale gruppo e quale regola si applicano a uno user-agent; aiuta a individuare errori di ambito, anche se il supporto di crawl-delay dipende dal crawler.
• Generatore di robots.txt aiuta a creare gruppi separati per i bot invece di imporre un ampio ritardo a ogni crawler.
• Analizzatore dei file di log mostra la frequenza di richieste effettiva dopo una modifica e separa i crawler di ricerca dagli user-agent contraffatti.
• Verificatore di Googlebot controlla se l’indirizzo IP che genera il carico appartiene davvero al crawler dichiarato.

Risorse che meritano tempo

I miei articoli correlati

• Robots.txt e SEO: tutto ciò che devi sapere — il quadro completo di robots.txt, incluso il motivo per cui crawl-delay non è una direttiva di Google.
• Guida per principianti alla SEO tecnica — dove si collocano i controlli della scansione nel quadro più ampio.
• Indicizzata, anche se bloccata da robots.txt — ricorda che robots.txt controlla la scansione, non l’indicizzazione.

I miei interventi

• Come funziona la ricerca (SlideShare) — la mia panoramica di scansione, rendering, indicizzazione e posizionamento. Resta valida l’avvertenza: “This is my understanding of systems… not going to be 100% complete or accurate.” (traduzione) «Questa è la mia comprensione dei sistemi… non sarà completa o accurata al 100%».

Dal settore

• Una nota sulle regole non supportate in robots.txt (Google Search Central) — annuncio originale del ritiro nel 2019.
• Indicazioni su Bingbot — le indicazioni attuali di Bing Webmaster documentano valori da 1 a 20 secondi.
• Google rimuoverà il supporto per crawl-delay, nofollow e noindex in robots.txt (Search Engine Roundtable) — copertura della modifica del 2019.
• Google rimuove il supporto per crawl-delay, nofollow e noindex in robots.txt (Coywolf) — ulteriore contesto sul ritiro.
• Lo strumento per la frequenza di scansione di Googlebot in Search Console sarà rimosso (Search Engine Land) — dichiarazioni di Gary Illyes sulle alternative migliori.
• Crawl-delay: 10 in robots.txt: che cosa significa? (Conductor) — spiegazione molto citata della direttiva.

Mettiti alla prova: crawl delay

Cinque domande rapide sulla direttiva crawl-delay. Scegli una risposta per ciascuna, poi verifica.

Cronologia modifiche