Directiva crawl-delay

TL;DR — Crawl-delay es una línea que puedes poner en robots.txt para pedir a los rastreadores que reduzcan la velocidad —que esperen unos segundos entre las solicitudes de páginas. Lo más importante que debes saber: Google la ignora (y la ha ignorado desde 2019). Bing aún la respeta. Si estás intentando evitar que Googlebot sobrecargue tu servidor, la directiva crawl-delay no ayudará — usa un enfoque diferente (a continuación).

Qué es la directiva crawl-delay

Crawl-delay es una línea que añades a tu archivo robots.txt que pide a un rastreador que espere un número determinado de segundos entre solicitudes, para que no solicite tus páginas tan rápido que ralentice tu servidor. Se ve así:

User-agent: *
Crawl-delay: 10

Esto dice, aproximadamente: “todos los rastreadores, por favor, hagan una pausa entre las solicitudes de páginas”.

Lo más importante: Google la ignora

Esta es la parte que confunde a las personas. Google no respeta la directiva crawl-delay. Dejó de procesar la directiva el 1 de septiembre de 2019, e incluso antes de eso nunca la había admitido oficialmente. Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications Así que si has puesto crawl-delay en tu robots.txt con la esperanza de ralentizar a Googlebot, no está haciendo nada.

Bing es diferente — Bing sí respeta la directiva crawl-delay. Algunos otros rastreadores también lo hacen (más información en la pestaña Advanced).

Si estás intentando ralentizar a Google

No recurras a la directiva crawl-delay. En su lugar:

• Mejor a largo plazo: corrige o actualiza tu servidor para que pueda manejar el rastreo.
• Solo en emergencias: haz que tu servidor devuelva un código de estado 503 o 429 a Googlebot. Google los interpreta como “reducir la velocidad” casi de inmediato. Haz esto solo durante uno o dos días; si dura más, Google puede empezar a descartar páginas. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
• Nunca uses 403 o 404 para intentar limitar la velocidad; esos no afectan la velocidad de rastreo.

Si intentas ralentizar Bing

Bing sí respeta crawl-delay, pero la herramienta preferida de Bing es Crawl Control dentro de Bing Webmaster Tools: una cuadrícula donde configuras la velocidad de rastreo por hora del día. Úsala primero; es más precisa.

¿Quieres conocer la historia, por qué Yandex lo eliminó en 2018 y qué rastreadores de IA lo respetan? Cambia a la pestaña Avanzada.

TL;DR — Crawl-delay era una directiva no oficial de robots.txt para ralentizar rastreadores; nunca estuvo en el estándar formal (RFC 9309). Google la retiró el 1 de septiembre de 2019 y no la procesa explícitamente — ralentiza a Googlebot con 429/503 (1-2 días como máximo) o corrigiendo el servidor, no con crawl-delay. La guía actual de Bing documenta valores de 1 a 20 segundos. Yandex dejó de admitirla el 22 de febrero de 2018 — allí tampoco se respeta; Yandex ahora usa una configuración de frecuencia de rastreo dentro de Yandex Webmaster. Muchos rastreadores SEO (AhrefsBot, Semrush) y algunos bots de IA (ClaudeBot) también la respetan, lo cual es el único caso de uso real que queda: controlar bots que no son de Google, Bing ni Yandex.

Por qué existe la directiva crawl-delay

Crawl-delay es un mecanismo de limitación. La idea es sencilla: un rastreador agresivo que obtiene páginas una tras otra puede ejercer una carga real sobre un servidor, especialmente uno pequeño o lento. Crawl-delay era la palanca de cortesía — una forma de pedirle a un bot que hiciera una pausa de unos segundos entre solicitudes para que tu servidor pudiera mantener el ritmo. Se encuentra en robots.txt dentro de un grupo de User-agent, el mismo lugar donde van las líneas disallow y allow. (Para ver el archivo completo, consulta robots-txt.)

El problema es que nunca se estandarizó. El Robots Exclusion Protocol finalmente se formalizó como RFC 9309 en 2022, y la directiva crawl-delay no está en él. Siempre fue una extensión no oficial que diferentes rastreadores decidieron implementar —o no— e interpretaron a su manera. Esa inconsistencia es exactamente la razón por la que Google se alejó de ella.

Google la retiró el 1 de septiembre de 2019

El 2 de julio de 2019, Gary Illyes publicó Una nota sobre reglas no admitidas en robots.txt en Google Search Central. Google estaba publicando como código abierto su analizador de robots.txt y, como parte de ello, retirando todo el código que manejaba reglas que nunca formaron parte del borrador de internet —específicamente noindex, nofollow y la directiva crawl-delay. La retirada entró en vigor el 1 de septiembre de 2019.

El razonamiento de Google: estas reglas no estaban documentadas, no eran oficiales y se interpretaban de manera inconsistente entre los rastreadores, lo que creaba ambigüedad. La documentación actual de robots.txt ahora es explícita: Google admite cuatro campos (user-agent, allow, disallow y sitemap), y la documentación dice:

• “other fields such as crawl-delay aren’t supported.” (traducción) «otros campos como crawl-delay no se admiten». La página Mitos y hechos sobre el rastreo de Google lo repite:
• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (traducción) «La regla no estándar ‘crawl-delay’ de robots.txt no es procesada por los rastreadores de Google». Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

Vale la pena tener claro el alcance: se ignora sin importar en qué grupo de agente de usuario (user-agent) lo coloques. Un bloque User-agent: Googlebot con una línea Crawl-delay se ignora igual que uno bajo User-agent: *.

Qué usar en su lugar para Google

La frecuencia de rastreo de Google ahora es totalmente automática, ajustada a la salud de tu servidor — y el antiguo control deslizante manual de frecuencia de rastreo en Search Console se eliminó el 8 de enero de 2024 (anunciado el noviembre anterior). Así que cuando realmente necesites que Googlebot reduzca el ritmo, tienes tres palancas:

1. Arregla el servidor. La verdadera solución. Si tu servidor puede soportar la carga, no necesitas limitar nada.
2. Devuelve 429, 500 o 503 para emergencias. La documentación de Google Reducir la frecuencia de rastreo de Googlebot dice:
   • “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (traducción) «devuelve el código de estado HTTP 500, 503 o 429 en lugar de 200 a las solicitudes de rastreo.» Googlebot los interpreta como:
   • “slow down” (traducción) «ralentiza» casi de inmediato. La regla estricta:
   • “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (traducción) «No recomendamos que hagas esto durante un período prolongado (es decir, más de 1-2 días).» Los 5xx sostenidos conllevan el riesgo de que se eliminen páginas (y de que Google Ads se pause). Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate
3. Presenta una solicitud de reducción de frecuencia de rastreo a través de Search Console para un problema persistente. Es lenta y solo reduce, nunca aumenta.

Una trampa que evitar: no uses 401, 403 ni 404 para limitar la frecuencia de rastreo. Según la guía de códigos de estado HTTP de Google, “the 4xx status codes, except 429, have no effect on crawl rate,” (traducción) «los códigos de estado 4xx, excepto 429, no tienen efecto sobre la frecuencia de rastreo», y no deberías “use 401 and 403 status codes for limiting the crawl rate.” (traducción) «usar los códigos de estado 401 y 403 para limitar la frecuencia de rastreo».

Esta es también la razón por la que, en mi guía de frecuencia de rastreo, trato la directiva crawl-delay como lo que no conviene usar para Google — consulta ese artículo para ver el manual completo de aceleración / desaceleración.

Bing documenta un rango de 1 a 20 segundos

Guía actual de Bing Webmaster documenta valores de la directiva crawl-delay de 1–20 segundos. Eso no convierte este campo en un estándar portable: Google lo ignora y cualquier otro rastreador necesita su propia confirmación documentada.

Yandex dejó de admitirla en 2018

Yandex antes respetaba la directiva crawl-delay como un número mínimo literal de segundos entre solicitudes — esa es la versión del dato que aún verás repetida en la mayoría de los blogs de SEO. Está desactualizada. La documentación actual del propio Yandex es explícita: Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: 2026-07-18 Yandex Webmaster: The Crawl-delay directive

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” (traducción) «Desde el 22 de febrero de 2018, Yandex no tiene en cuenta la directiva Crawl-delay.» Para configurar la rapidez con la que los bots de Yandex rastrean tu sitio ahora, usa la configuración de frecuencia de rastreo dentro de Yandex Webmaster directamente — no robots.txt. Así que, hasta hoy, la tabla de puntuación honesta es: Bing respeta la directiva crawl-delay dentro de su rango documentado, Google nunca lo hizo y Yandex lo hacía, pero dejó de hacerlo en 2018.

Otros rastreadores: herramientas de SEO y bots de IA

Muchos rastreadores que no son de motores de búsqueda y se comportan correctamente respetan la directiva crawl-delay como una cortesía:

• Tanto AhrefsBot como el bot de Semrush lo respetan.
• Los rastreadores de IA son un público más reciente. El ClaudeBot de Anthropic está documentado como compatible con la directiva crawl-delay no estándar. Otros (GPTBot, Perplexity) deberían verificarse con su propia documentación publicada en lugar de asumirse.

El patrón: los rastreadores más pequeños, orientados al cumplimiento o con mentalidad de cortesía tienden a respetar la directiva crawl-delay; los principales motores de búsqueda han pasado en gran medida a señales internas (Google) o a herramientas manuales más completas (Bing). Y nada de esto obliga a los verdaderos actores malintencionados: los scrapers que ignoran por completo robots.txt también ignorarán tu directiva crawl-delay.

El caso de uso que queda

¿Entonces la directiva crawl-delay está muerta? No exactamente. Es inútil para Google, redundante en el mejor de los casos para Bing (usa Crawl Control), pero en realidad es la forma más sencilla de pedir a la amplia franja intermedia —herramientas de SEO, bots de IA y otros rastreadores menores que la respetan— que reduzcan el ritmo. Si el bot de una herramienta específica está sobrecargando tu servidor, un grupo User-agent: específico con una directiva crawl-delay es una primera medida razonable:

User-agent: SomeBot
Crawl-delay: 10

Solo recuerda que es una solicitud, no una garantía, y que se aplica por host y por grupo de agente de usuario (user-agent), como todo lo demás en robots.txt. Para obtener una visión más amplia de la eficiencia —lo que realmente te cuestan los bots y quién necesita prestar atención—, consulta crawl-budget.

Resumen de IA

Una versión condensada de la versión avanzada:

• Qué es: Crawl-delay es una directiva no estándar de robots.txt que pide a los bots que hagan una pausa de una cantidad determinada de segundos entre solicitudes para reducir la carga del servidor. Nunca formó parte del estándar formal (RFC 9309, 2022).
• Google lo ignora. Fue retirada el 1 de septiembre de 2019 (publicación de Gary Illyes de 2019); la documentación actual dice “other fields such as crawl-delay aren’t supported.” (traducción) «otros campos como crawl-delay no se admiten». Se ignora independientemente del grupo de agente de usuario (user-agent) en el que esté.
• En cambio, ralentiza a Google con: arreglar el servidor (lo mejor) o devolver 429/500/503 solo para emergencias (1-2 días como máximo — más tiempo supone un riesgo de desindexación). Nunca uses 401/403/404 para limitar el rastreo. El control deslizante de frecuencia de rastreo manual de GSC se eliminó el 8 de enero de 2024.
• Bing documenta valores de 1 a 20 segundos. Considera eso como una orientación específica de Bing, no como un estándar portable de robots.txt.
• Yandex dejó de admitirlo el 22 de febrero de 2018. Los consejos antiguos que decían que Yandex leía el valor como segundos literales están desactualizados: ahora Yandex usa en su lugar una configuración de frecuencia de rastreo dentro de Yandex Webmaster.
• Otros rastreadores: AhrefsBot y Semrush lo respetan; la compatibilidad de ClaudeBot de Anthropic está documentada. Los scrapers malintencionados ignoran robots.txt por completo.
• Caso de uso restante: controlar rastreadores que no sean de Google, Bing ni Yandex (herramientas SEO, bots de IA) mediante un grupo User-agent: específico.

Documentación oficial

Documentación de fuentes primarias sobre crawl-delay y sus alternativas.

Google

• Documentación de robots.txt — enumera los cuatro campos admitidos e indica que la directiva crawl-delay no se admite.
• Una nota sobre las reglas no admitidas en robots.txt (2 de julio de 2019) — el anuncio de retirada (con entrada en vigor el 1 de septiembre de 2019) que abarca noindex, nofollow y la directiva crawl-delay.
• Mitos y hechos sobre el rastreo — “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (traducción) «La directiva crawl-delay de robots.txt, al no ser estándar, no es procesada por los rastreadores de Google.»
• Reducir la frecuencia de rastreo de Googlebot — qué usar en su lugar: 429/500/503, y el límite de 1-2 días.
• Cómo afectan los códigos de estado HTTP a los rastreadores de Google — por qué los 4xx (excepto 429) no limitan la frecuencia.
• Próxima retirada de Crawl Rate Limiter Tool (nov. 2023) — la eliminación del control deslizante de Google Search Console.

Bing / Microsoft

• Guía de Bingbot — la documentación actual de Bing Webmaster recoge valores de 1–20 segundos.
• Bing Webmaster Tools — Control de rastreo — la alternativa preferida a la directiva crawl-delay para Bing.

Yandex

• Yandex Webmaster — La directiva crawl-delay — indica que Yandex no ha respetado la directiva desde el 22 de febrero de 2018 y que, en su lugar, remite a la configuración de frecuencia de rastreo de Yandex Webmaster.

El estándar

• RFC 9309: Robots Exclusion Protocol — el estándar formalizado, que no incluye la directiva crawl-delay.

Citas de la fuente

Declaraciones oficiales de Google y Bing. Cada enlace es un enlace profundo que salta al pasaje citado en la página de origen cuando es compatible.

Google — la directiva crawl-delay no se procesa

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (traducción) «La directiva crawl-delay de robots.txt, que no es estándar, no es procesada por los rastreadores de Google.» — Documentación de Google Search Central. Ir a la cita
• “Google supports the following fields … (other fields such as crawl-delay aren’t supported).” (traducción) «Google admite los siguientes campos … (otros campos como crawl-delay no se admiten).» — Documentación de robots.txt. Ir a la cita

Google — qué usar en su lugar

• “To quickly reduce the crawl rate, you can return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (traducción) «Para reducir rápidamente la frecuencia de rastreo, puedes devolver el código de estado de respuesta HTTP 500, 503 o 429 en lugar de 200 a las solicitudes de rastreo.» — Reducir la frecuencia de rastreo de Googlebot. Ir a la cita
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (traducción) «No recomendamos que hagas esto durante un período largo (es decir, más de 1-2 días).» — Reducir la frecuencia de rastreo de Googlebot. Ir a la cita

Gary Illyes, Google (sobre la deprecación de la herramienta de frecuencia de rastreo de GSC, noviembre de 2023)

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (traducción) «si el servidor devuelve de forma persistente códigos de estado HTTP 500 para un rango de URL, Googlebot ralentizará el rastreo automáticamente y casi de inmediato.» Añadió lo siguiente sobre la herramienta: “usefulness has dissipated.” (traducción) «su utilidad se ha disipado.» Recogido a través de la cobertura de Search Engine Land sobre la publicación de descontinuación — lee la cobertura; verifícalo con la publicación original de Google antes de considerarlo definitivo.

Bing / Microsoft

• La orientación actual de Bingbot documenta valores de la directiva crawl-delay de 1–20 segundos. Es una orientación específica de Bing, no una regla general de REP.

Yandex (documentación actual de Yandex Webmaster)

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” (traducción) «Desde el 22 de febrero de 2018, Yandex no tiene en cuenta la directiva crawl-delay. Para establecer la frecuencia a la que los bots de indexación deberían acceder a las páginas de tu sitio, usa la configuración de frecuencia de rastreo del sitio en Yandex Webmaster.» — Yandex Webmaster: La directiva crawl-delay

Lista de verificación de decisiones sobre la directiva crawl-delay

Recorre la lista según qué rastreador estás intentando ralentizar:

• Audita tu robots.txt. ¿Ya existe una línea de la directiva crawl-delay? Anota en qué grupo(s) de agente de usuario (User-agent) figura y a qué bots realmente pretendes limitar.
• Si está ahí por Google: elimínala (o documenta que está dirigida deliberadamente a otros bots). No tiene ningún efecto para Googlebot.
• ¿Intentas ralentizar Google? Primero arregla el servidor. Para una emergencia genuina, devuelve 429/503 — durante no más de 1-2 días. Nunca uses 401/403/404 para limitar. Para un problema persistente, presenta una solicitud de frecuencia de rastreo en Search Console.
• ¿Intentas ralentizar Bing? Usa primero Crawl Control en Bing Webmaster Tools. Si aun así usas crawl-delay, mantén el valor en 10 o menos y recuerda que se aplica desde el grupo * incluso si hay una sección bingbot.
• ¿Intentas ralentizar otro rastreador (herramienta SEO, bot de IA, etc.)? Coloca una directiva crawl-delay en un grupo de agente de usuario (User-agent:) específico para ese bot — ayuda si ese rastreador respeta la directiva (muchos lo hacen).
• Confirma el significado del valor para tu bot objetivo: Bing lo lee como un factor de limitación relativo. Yandex solía leerlo como segundos literales, pero dejó de respetar por completo la directiva el 22 de febrero de 2018 — usa en su lugar la configuración de frecuencia de rastreo de Yandex Webmaster para Yandex.
• No esperes que los scrapers o actores malintencionados cumplan — ignoran robots.txt por completo. crawl-delay es solo para bots que se comportan correctamente.

Hoja de referencia rápida de la directiva crawl-delay

¿Quién respeta la directiva crawl-delay?

Escala de limitación de Bing

Qué usar en su lugar, por motor

No lo hagas

• No uses la directiva crawl-delay esperando que afecte a Google o a Yandex.
• No uses 401/403/404 para limitar a Googlebot (no tiene efecto; entre los códigos 4xx, solo 429 lo limita).
• No establezcas valores de Bing superiores a 10.

¿Cómo deberías ralentizar a un rastreador?

Herramientas para trabajar con la directiva crawl-delay

• robots.txt Tester comprueba qué grupo de agente de usuario (user-agent) y qué regla se aplican; ayuda a detectar errores de alcance aunque el soporte de la directiva crawl-delay sigue siendo específico de cada rastreador.
• robots.txt Generator ayuda a crear grupos de bots separados en lugar de aplicar un retraso amplio a todos los rastreadores.
• Log File Analyzer muestra la tasa de solicitudes realmente producida después de un cambio y separa los rastreadores de búsqueda de los agentes de usuario (user-agent) falsificados.
• Googlebot Verifier verifica si la IP que genera carga realmente pertenece al rastreador que dice ser.

Recursos que valen tu tiempo

Mis escritos relacionados

• Robots.txt y SEO: todo lo que necesitas saber — el panorama completo de robots.txt, incluido por qué crawl-delay no es una directiva de Google.
• Guía para principiantes sobre SEO técnico — dónde se ubican los controles de rastreo en el panorama general.
• Indexada aunque bloqueada por robots.txt — un recordatorio de que robots.txt controla el rastreo, no la indexación.

Mis charlas

• Cómo funciona la búsqueda (SlideShare) — mi recorrido por el rastreo, el renderizado, la indexación y la clasificación. (Se aplica el descargo de responsabilidad permanente: _“This is my understanding of systems… not going to be 100% complete or accurate.” (traducción) «Esta es mi comprensión de los sistemas… no va a ser 100% completa ni precisa».)

Desde la industria

• Una nota sobre reglas no admitidas en robots.txt (Google Search Central) — el anuncio original de la retirada en 2019.
• Orientación de Bingbot — la orientación actual de Bing Webmaster documenta valores de 1 a 20 segundos.
• Google retirará la compatibilidad con crawl-delay, nofollow y noindex en robots.txt (Search Engine Roundtable) — cobertura del cambio de 2019.
• Google elimina la compatibilidad con crawl-delay, nofollow y noindex en robots.txt (Coywolf) — contexto adicional sobre la retirada.
• La herramienta de frecuencia de rastreo de Googlebot en Search Console desaparecerá (Search Engine Land) — declaraciones de Gary Illyes sobre que las alternativas son mejores.
• Crawl-delay: 10 en robots.txt: ¿qué significa? (Conductor) — una explicación ampliamente citada sobre la directiva.

Ponte a prueba: directiva crawl-delay

Cinco preguntas rápidas sobre la directiva crawl-delay. Elige una respuesta para cada una y luego compruébalas.

Registro de cambios