Délai d’exploration

En bref — Crawl-delay est une ligne de robots.txt demandant aux robots de ralentir et d’attendre quelques secondes entre deux récupérations. Point essentiel : Google l’ignore depuis 2019, tandis que Bing la respecte encore. Pour empêcher Googlebot de surcharger un serveur, utilisez une autre méthode décrite ci-dessous.

Qu’est-ce que crawl-delay ?

Crawl-delay s’ajoute à robots.txt pour demander à un robot d’attendre un certain nombre de secondes entre ses requêtes, afin de ne pas ralentir le serveur. Exemple :

User-agent: *
Crawl-delay: 10

Cette règle demande approximativement à chaque robot de marquer une pause entre les pages.

Point essentiel : Google l’ignore

Google ne respecte pas crawl-delay. Il a cessé de traiter cette directive le 1er septembre 2019 et ne l’avait jamais officiellement prise en charge auparavant. Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications Une ligne crawl-delay destinée à ralentir Googlebot ne produit donc aucun effet.

Bing fonctionne différemment et respecte crawl-delay, comme certains autres robots.

Pour ralentir Google

N’utilisez pas crawl-delay. Préférez :

• Solution durable : corriger ou renforcer le serveur pour qu’il supporte l’exploration.
• Urgence seulement : renvoyer à Googlebot un statut 503 ou 429, interprété presque immédiatement comme une demande de ralentissement. Ne le faites que pendant un ou deux jours, sous peine de voir des pages disparaître. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
• Ne jamais employer 403 ou 404 pour limiter la cadence : ces codes n’ont pas cet effet.

Pour ralentir Bing

Bing respecte crawl-delay, mais recommande plutôt Crawl Control dans Bing Webmaster Tools, une grille qui règle la vitesse selon l’heure. Cet outil est plus précis.

Pour l’historique, l’abandon par Yandex en 2018 et la prise en charge par les robots d’IA, ouvrez l’onglet Avancé.

En bref — Crawl-delay était une directive robots.txt non officielle destinée à ralentir les robots ; elle n’a jamais appartenu à la norme RFC 9309. Google l’a retirée le 1er septembre 2019 et ne la traite pas : ralentissez Googlebot avec 429/503 pendant un ou deux jours au maximum ou corrigez le serveur. Bing documente actuellement des valeurs de 1 à 20 secondes. Yandex a cessé de la prendre en charge le 22 février 2018 et utilise désormais un réglage dans Yandex Webmaster. Plusieurs robots SEO et d’IA, dont AhrefsBot, Semrush et ClaudeBot, la respectent encore : son usage restant concerne surtout les robots autres que Google, Bing et Yandex.

Pourquoi crawl-delay existe

Crawl-delay est un limiteur : un robot agressif qui enchaîne les pages peut charger fortement un petit serveur. La directive permettait de demander une pause entre les requêtes. Elle se place dans un groupe User-agent: de robots.txt, à côté de disallow et allow.

Cette extension n’a jamais été normalisée. Le protocole d’exclusion des robots a été formalisé en 2022 par la RFC 9309, sans crawl-delay. Chaque robot pouvait donc l’interpréter ou l’ignorer, incohérence qui a conduit Google à l’abandonner.

Google l’a retirée le 1er septembre 2019

Le 2 juillet 2019, Gary Illyes publie une note sur les règles non prises en charge dans robots.txt. En ouvrant le code de son analyseur, Google retire les règles absentes du projet de norme : noindex, nofollow et crawl-delay. La suppression prend effet le 1er septembre 2019.

Ces règles non documentées étaient interprétées différemment selon les robots. La documentation actuelle limite Google à quatre champs : user-agent, allow, disallow et sitemap. Elle précise : “other fields such as crawl-delay aren’t supported.” (traduction) « les autres champs, tels que crawl-delay, ne sont pas pris en charge ». La page Mythes et réalités de l’exploration confirme : “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (traduction) « La règle non standard crawl-delay n’est pas traitée par les robots de Google. » Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

La directive est ignorée quel que soit le groupe d’agent utilisateur : sous User-agent: Googlebot comme sous User-agent: *.

Qu’utiliser à la place pour Google

La cadence de Google est désormais automatique et adaptée à la santé du serveur. L’ancien curseur manuel de Search Console a été retiré le 8 janvier 2024. Trois leviers subsistent :

1. Corriger le serveur, solution réelle et durable.
2. Renvoyer 429, 500 ou 503 en urgence. La documentation Réduire la fréquence d’exploration demande de “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (traduction) « renvoyer 500, 503 ou 429 plutôt que 200 aux requêtes ». Google ajoute : “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (traduction) « Nous déconseillons de le faire plus d’un ou deux jours ». Des 5xx prolongés risquent de désindexer des pages. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
3. Envoyer une demande de réduction dans Search Console pour un problème persistant. Elle est lente et ne peut qu’abaisser la cadence.

N’utilisez pas 401, 403 ou 404. Selon le guide des statuts HTTP, “the 4xx status codes, except 429, have no effect on crawl rate,” (traduction) « les statuts 4xx, sauf 429, n’affectent pas la cadence », et 401 ou 403 ne doivent pas servir à la limiter.

C’est pourquoi mon guide sur la fréquence d’exploration présente crawl-delay comme la méthode à ne pas employer pour Google.

Bing documente une plage de 1 à 20 secondes

La documentation Bing actuelle indique des valeurs de 1 à 20 secondes. Cette règle reste propre à Bing et ne constitue pas une norme portable.

Yandex l’a abandonnée en 2018

Yandex interprétait autrefois la valeur comme un nombre minimal de secondes. Son aide actuelle indique exactement : “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” (traduction) « Depuis le 22 février 2018, Yandex ne tient plus compte de Crawl-delay. » Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: 2026-07-18 Yandex Webmaster: The Crawl-delay directive La cadence se règle désormais dans Yandex Webmaster, pas dans robots.txt. Bing respecte encore la directive, Google ne l’a jamais prise en charge et Yandex l’a abandonnée.

Autres robots : outils SEO et IA

De nombreux robots bien conçus respectent encore cette demande :

• AhrefsBot et le robot de Semrush la prennent en charge.
• Parmi les robots d’IA, ClaudeBot d’Anthropic documente cette extension. Vérifiez GPTBot et Perplexity dans leurs propres documents au lieu de supposer leur comportement.

Les robots plus petits ou attentifs à la conformité la respectent davantage ; les grands moteurs utilisent leurs signaux internes ou des outils manuels. Les scrapers qui ignorent robots.txt ignoreront aussi crawl-delay.

Le cas d’usage restant

La directive est inutile pour Google et secondaire pour Bing, mais reste un moyen simple de demander aux outils SEO, robots d’IA et autres robots mineurs de ralentir. Pour un robot précis, utilisez un groupe ciblé :

User-agent: SomeBot
Crawl-delay: 10

N’oubliez pas qu’il s’agit d’une demande et non d’une garantie, limitée à l’hôte et au groupe User-agent. Pour évaluer le coût réel des robots, consultez crawl-budget.

Résumé par l’IA

Version condensée de l’onglet Avancé :

• Définition : Crawl-delay est une directive robots.txt non standard demandant une pause entre les récupérations. Elle n’appartient pas à la RFC 9309.
• Google l’ignore depuis le 1er septembre 2019, quel que soit le groupe User-agent:. Sa documentation précise : “other fields such as crawl-delay aren’t supported.” (traduction) « les autres champs, tels que crawl-delay, ne sont pas pris en charge ». Corrigez le serveur ou utilisez temporairement 429/500/503, pendant un ou deux jours au maximum. N’employez jamais 401/403/404.
• Bing documente des valeurs de 1 à 20 secondes, sans en faire une norme générale.
• Yandex a arrêté le 22 février 2018 et propose un réglage dans Yandex Webmaster.
• AhrefsBot, Semrush et ClaudeBot la respectent ; les acteurs malveillants ignorent robots.txt.
• Usage restant : contrôler les robots SEO et d’IA avec un groupe User-agent: ciblé.

Documentation officielle

Documentation primaire sur crawl-delay et ses solutions de remplacement.

Google

• Documentation robots.txt — quatre champs pris en charge et exclusion de crawl-delay.
• Note sur les règles non prises en charge — annonce du retrait de noindex, nofollow et crawl-delay, effectif le 1er septembre 2019.
• Mythes et réalités de l’exploration — confirmation que la règle n’est pas traitée.
• Réduire la fréquence de Googlebot — statuts 429/500/503 et limite d’un à deux jours.
• Effet des statuts HTTP — pourquoi les 4xx, sauf 429, ne ralentissent pas.
• Retrait de l’outil de limitation — suppression du curseur GSC.

Bing / Microsoft

• Consignes Bingbot — valeurs de 1 à 20 secondes.
• Bing Webmaster Tools — Crawl Control — solution recommandée par Bing.

Yandex

• Yandex Webmaster — directive Crawl-delay — abandon depuis le 22 février 2018 et réglage de cadence dans Webmaster.

La norme

• RFC 9309 : protocole d’exclusion des robots — norme officielle qui n’inclut pas crawl-delay.

Citations des sources

Déclarations officielles de Google, Bing et Yandex. Les liens mènent au passage cité lorsque possible.

Google — crawl-delay n’est pas traité

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (traduction) « La règle robots.txt non standard crawl-delay n’est pas traitée par les robots Google. » — Documentation Google Search Central. Accéder à la citation
• “Google supports the following fields … (other fields such as crawl-delay aren’t supported).” (traduction) « Google prend en charge les champs suivants ; les autres, comme crawl-delay, ne le sont pas. » — Documentation robots.txt. Accéder à la citation

Google — solution de remplacement

• “To quickly reduce the crawl rate, you can return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (traduction) « Pour réduire rapidement la cadence, renvoyez 500, 503 ou 429 au lieu de 200. » Accéder à la citation
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (traduction) « Nous déconseillons cette pratique pendant plus d’un ou deux jours. » Accéder à la citation

Gary Illyes, Google (à propos du retrait de l’outil GSC en novembre 2023)

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (traduction) « Si le serveur renvoie durablement des statuts HTTP 500 pour plusieurs URL, Googlebot ralentit automatiquement et presque immédiatement. » Il ajoute que l’utilité de l’outil s’est dissipée. Propos relayés par Search Engine Land — article — à confirmer avec le billet Google avant validation finale.

Bing / Microsoft

• Les consignes Bingbot actuelles documentent des valeurs de 1 à 20 secondes, propres à Bing et non à la norme générale.

Yandex (documentation Webmaster actuelle)

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” (traduction) « Depuis le 22 février 2018, Yandex ignore Crawl-delay ; réglez la cadence des robots d’indexation dans Yandex Webmaster. » — Yandex Webmaster

Liste de décision crawl-delay

Parcourez-la selon le robot à ralentir :

• Auditer robots.txt. Repérer crawl-delay, son groupe User-agent et les robots réellement visés.
• Si la ligne vise Google : la retirer ou documenter qu’elle concerne d’autres robots.
• Pour ralentir Google : corriger d’abord le serveur. En urgence, renvoyer 429/503 pendant un à deux jours au maximum ; jamais 401/403/404. Pour un problème durable, envoyer une demande de réduction dans Search Console.
• Pour ralentir Bing : préférer Crawl Control. Avec crawl-delay, rester à 10 ou moins et tenir compte du groupe *, même avec une section bingbot.
• Pour un autre robot : créer un groupe User-agent: ciblé si sa documentation confirme la prise en charge.
• Confirmer le sens de la valeur : Bing documente des secondes ; Yandex a cessé de respecter la directive le 22 février 2018 et utilise son réglage Webmaster.
• Ne pas attendre des scrapers qu’ils obéissent : la directive ne concerne que les robots coopératifs.

Aide-mémoire crawl-delay

Qui respecte crawl-delay ?

Échelle de limitation Bing

Solution par moteur

À éviter

• Ne comptez pas sur crawl-delay pour Google ou Yandex.
• N’utilisez pas 401/403/404 pour ralentir Googlebot ; seul 429 parmi les 4xx agit sur la cadence.
• N’utilisez pas pour Bing une valeur supérieure à 20.

Comment ralentir un robot ?

Outils pour crawl-delay

• robots.txt Tester vérifie le groupe et la règle applicables, utile pour détecter les erreurs de portée.
• robots.txt Generator crée des groupes séparés pour crawl-delay au lieu d’appliquer un délai général.
• Log File Analyzer mesure la cadence réelle après modification et sépare les robots légitimes des agents usurpés.
• Googlebot Verifier confirme que l’adresse IP à l’origine de la charge appartient bien au robot déclaré.

Ressources utiles

Mes articles connexes

• Robots.txt et SEO : guide complet — pourquoi crawl-delay n’est pas une directive Google.
• Guide du débutant en SEO technique — place des contrôles d’exploration.
• Indexée malgré un blocage robots.txt — rappel que robots.txt contrôle l’exploration, pas l’indexation.

Mes conférences

• How Search Works — présentation de l’exploration, du rendu, de l’indexation et du classement, accompagnée de cet avertissement : “This is my understanding of systems… not going to be 100% complete or accurate.” (traduction) « Ceci reflète ma compréhension des systèmes et ne sera pas complet ou exact à 100 %. »

Dans le secteur

• Note sur les règles non prises en charge — annonce Google de 2019.
• Consignes Bingbot — plage actuelle de 1 à 20 secondes.
• Google abandonne crawl-delay, nofollow et noindex dans robots.txt — couverture du changement.
• Contexte supplémentaire sur le retrait — Coywolf.
• Retrait de l’outil de fréquence de Googlebot — solutions de remplacement.
• Que signifie Crawl-delay: 10 ? — explication fréquemment citée.

Testez vos connaissances : Crawl Delay

Cinq questions rapides sur la directive crawl-delay. Choisissez une réponse, puis vérifiez-la.

Journal des modifications