Générateur de robots.txt
Créer votre fichier
Sélectionnez les groupes de robots à bloquer. Les robots de recherche restent autorisés sauf si vous les sélectionnez explicitement.
Cette directive non standard est générée uniquement pour Bingbot. Google ne la traite pas; Bing documente des valeurs de 1–20 secondes. Elle est omise si vous bloquez Bingbot.
S’exécute entièrement dans votre navigateur : rien de ce que vous collez n’est envoyé ni stocké. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Des compteurs anonymes de résultats par exécution peuvent servir à la recherche agrégée ; les URL, domaines, adresses IP et identifiants ne sont jamais inclus, et aucune statistique issue de moins de 100 exécutions n’est publiée.
robots.txt généré
Bloquer ≠ désindexer. Disallow demande aux robots qui le respectent de ne pas récupérer une URL ; il ne supprime pas une URL déjà connue d’un moteur de recherche.
Aperçu des correspondances en direct
Besoin d’une matrice complète robots × URL ? Ouvrir le testeur robots.txt →À propos de cet outil
Créez un robots.txt clair avec des préréglages de robots, une ligne Sitemap et une correspondance d’URL de style Google avant de publier le fichier.
Fonctionnalités
- Groupes prêts à l’emploi pour robots de recherche, d’IA, d’assistants et d’archives.
- Correspondance en direct des URL avec la règle la plus spécifique.
- Sitemap absolu facultatif et crawl-delay Bingbot documenté.
- Aperçu copiable et vérification d’URL représentatives dans le navigateur.
Fonctionnement
Le générateur compose des groupes User-agent avec des règles Allow/Disallow, puis applique le même moteur de correspondance de style Google que le testeur robots.txt. Les URL d’exemple sont évaluées localement et aucun fichier n’est envoyé au serveur.
Limites
- robots.txt est public et volontaire ; il ne remplace ni l’authentification ni un contrôle d’accès.
- Une règle Disallow ne désindexe pas une URL déjà connue d’un moteur.
- Les robots non conformes peuvent ignorer le fichier et les directives non standard.
Questions fréquentes
Le blocage d’un robot désindexe-t-il mes pages ?
Non. robots.txt contrôle l’exploration, pas l’indexation. Utilisez une directive noindex sur une page explorable pour envoyer une indication de désindexation.
Tous les robots respecteront-ils ce fichier ?
Non. robots.txt est une préférence d’exploration publique et volontaire, et non un contrôle d’accès. Utilisez une authentification, un WAF ou une limitation de débit pour protéger le contenu privé.
Pourquoi ajouter une ligne Sitemap ?
Elle fournit aux robots une URL absolue explicite vers votre sitemap XML. Elle est facultative, mais généralement utile pour faciliter sa découverte.
Problèmes courants et solutions
- Avertissement La politique générée bloque un robot d’AI sélectionné Solution : Supprimez la règle Disallow du robot sélectionné ou limitez-la aux seuls chemins qui doivent rester indisponibles pour ce robot IA.
- Avertissement La politique générée bloque un robot de recherche Solution : Supprimez ou restreignez la règle Disallow de Googlebot/Bingbot afin que les pages destinées à la recherche naturelle restent explorables.
- Avertissement Le chemin sensible n’est pas interdit Solution : Ajoutez des règles Disallow explicites pour les chemins non publics d’administration, de préproduction, de panier ou de recherche interne, tout en protégeant les données réellement sensibles par authentification plutôt que par robots.txt.
- Information Le fichier généré ne contient aucune déclaration de sitemap Solution : Ajoutez une déclaration absolue Sitemap: https://…/sitemap.xml pointant vers le sitemap canonique accessible au public ou vers son répertoire de sitemaps.
- Avertissement Les groupes générés contiennent des règles contradictoires Solution : Regroupez les règles du même robot et résolvez les chevauchements entre les chemins Autoriser/Disallow afin d’exprimer une seule politique intentionnelle.