Generador de robots.txt
Crea tu archivo
Selecciona los grupos de rastreadores que quieres bloquear. Los de búsqueda siguen permitidos salvo que los selecciones expresamente.
Esta directiva no estándar se incluye solo para Bingbot. Google no la procesa; Bing documenta valores de 1–20 segundos. Se omite si bloqueas Bingbot.
Se ejecuta por completo en tu navegador: nada de lo que pegues se sube ni se almacena. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Los contadores anónimos de resultados por ejecución pueden utilizarse para investigación agregada; nunca incluyen URL, dominios, IP ni identificadores, y no se publica ninguna estadística con menos de 100 ejecuciones.
robots.txt generado
Bloquear ≠ eliminar del índice. Disallow pide a los rastreadores que lo respetan que no obtengan una URL; no elimina una URL que un motor de búsqueda ya conoce.
Vista previa de coincidencias
¿Necesitas una matriz completa de bots × URL? Abre el probador de robots.txt →Acerca de esta herramienta
Gratis y sin registro. Configura una política predeterminada, elige los grupos de rastreadores que quieres bloquear, añade la ubicación del Sitemap y prueba URL representativas antes de publicar un archivo robots.txt listo para copiar.
Funciones
- Genera grupos User-agent separados para evitar que una regla dirigida a un bot se aplique accidentalmente a todos los rastreadores.
- Ofrece ajustes predefinidos por categoría y mantiene permitidos los rastreadores de búsqueda salvo que los selecciones expresamente para bloquearlos.
- Prueba URL contra el archivo generado mediante reglas de coincidencia al estilo de Google y muestra qué directiva decide el resultado.
- Añade la directiva Sitemap y produce una salida clara con reglas como Disallow: /, lista para revisar y copiar.
Cómo funciona
El generador convierte la política predeterminada y cada selección de bot en grupos User-agent independientes, ordena las directivas y añade la línea Sitemap cuando se proporciona. El probador normaliza cada URL y aplica una coincidencia compatible con el comportamiento documentado por Google para explicar qué Allow o Disallow prevalece.
Limitaciones
- robots.txt es una indicación pública y voluntaria para rastreadores; no sustituye la autenticación, un WAF ni otras medidas de seguridad, y los bots maliciosos pueden ignorarlo.
- Bloquear el rastreo no equivale a usar noindex ni garantiza que una URL desaparezca de Google. Comprueba las reglas en un entorno seguro antes de publicarlas.
Preguntas frecuentes
¿Bloquear un robot desindexa mis páginas?
No. robots.txt controla el rastreo, no si una URL permanece indexada. Usa una directiva noindex en una página rastreable cuando necesites una señal de desindexación.
¿Todos los rastreadores obedecerán este archivo?
No. robots.txt es una preferencia pública y voluntaria, no un mecanismo de acceso. Usa autenticación, un cortafuegos de aplicaciones o límites de uso para proteger contenido privado.
¿Por qué necesito una línea de sitemap?
Ofrece a los rastreadores una URL absoluta explícita para el sitemap XML. Es opcional, pero suele ayudar al descubrimiento.
Problemas habituales y cómo solucionarlos
- Advertencia La política generada bloquea un rastreador de IA seleccionado Solución: Elimina la regla Disallow del rastreador seleccionado o limítala únicamente a las rutas que deban seguir sin estar disponibles para ese rastreador de IA.
- Advertencia La política generada bloquea un rastreador de búsqueda Solución: Elimina o limita la regla Disallow de Googlebot/Bingbot para que se puedan rastrear las páginas destinadas a la búsqueda orgánica.
- Advertencia La ruta sensible no está bloqueada Solución: Añade reglas Disallow explícitas para las rutas no públicas de administración, preproducción, carrito o búsqueda interna, y protege los datos realmente sensibles mediante autenticación en lugar de robots.txt.
- Información El archivo generado no declara ningún sitemap Solución: Añade una declaración absoluta Sitemap: https://…/sitemap.xml que apunte al sitemap o índice de sitemaps canónico y accesible públicamente.
- Advertencia Los grupos generados contienen reglas contradictorias Solución: Combina las reglas del mismo agente de usuario en un grupo y resuelve las rutas `Allow` y `Disallow` superpuestas para expresar una sola política intencionada.