Testeur de robots.txt
Données d’exemple — remplacez-les par les vôtres
S’exécute entièrement dans votre navigateur : rien de ce que vous collez n’est envoyé ni stocké. The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). Des compteurs anonymes de résultats par exécution peuvent servir à la recherche agrégée ; les URL, domaines, adresses IP et identifiants ne sont jamais inclus, et aucune statistique issue de moins de 100 exécutions n’est publiée.
+ enregistre le site ou la page actuels. Utilisez ☆ à côté de tout site, page ou liste enregistré pour l’ajouter aux favoris. L’historique des vérifications récentes apparaît ci-dessous.
Créer une liste nommée
Cible remplie à partir de vos choix locaux.
Passeport du site Contexte local de ce site enregistré
Données locales
Les cibles enregistrées, les listes nommées et les résumés des vérifications récentes restent uniquement dans ce navigateur.
Identical rows are grouped — click a row's count to expand. Click any cell to see the exact rule that decided it. On mobile, scroll the table sideways.
Why this verdict and how to verify it
Évaluer cet outil
À propos de cet outil
Testez des URL contre robots.txt avec un moteur de correspondance inspiré de l’analyseur open source de Google. Examinez une matrice bloqué/autorisé, la règle gagnante, les erreurs du fichier, les conflits de sitemap et les changements proposés.
Gratuit, sans inscription : les fichiers collés et les essais restent dans votre navigateur.
Fonctionnalités
- Matrice par robot et par URL avec la règle exacte qui gagne.
- Lint robots.txt, détection des conflits de sitemap et mode différence.
- Préréglages Googlebot et robots IA, avec user-agent personnalisé.
- Récupération séparée du robots.txt en ligne pour chaque origine saisie.
Fonctionnement
Le parseur regroupe les directives User-agent, applique les règles Allow et Disallow selon la priorité du moteur, puis affiche la règle gagnante pour chaque cellule. Les contrôles de sitemap et de récupération en ligne restent séparés afin que chaque preuve soit identifiable.
Limites
- Le testeur modélise la correspondance d’un fichier à un instant donné ; il ne voit pas les caches, les fichiers précédents de Google ni les changements déployés après le test.
- Robots.txt contrôle l’exploration, pas l’indexation. Les liens, les sitemaps et les directives noindex peuvent encore exposer une URL.
Questions fréquentes
Un blocage robots.txt prouve-t-il qu’une URL n’est pas indexée ?
Non. Il montre seulement que le robot sélectionné ne peut pas explorer le chemin. Une URL peut rester connue par des liens ou un ancien sitemap.
Google peut-il utiliser un ancien robots.txt ?
Oui. Google peut réutiliser son dernier fichier connu comme valide, ce qu’un test ponctuel ne peut pas observer.
Le testeur récupère-t-il mon site ?
Le mode collé fonctionne localement dans le navigateur. La récupération en ligne est une requête séparée et bornée vers l’origine que vous saisissez.
Crawl-delay est-il respecté par Google ?
Non. Google ignore Crawl-delay ; gérez le débit via Search Console ou la capacité du serveur.
Que signifie une règle gagnante ?
C’est la règle qui décide la cellule pour le robot et le chemin donnés ; elle décrit l’exploration, pas le statut d’indexation.
Problèmes courants et solutions
- Avertissement La directive est mal orthographiée Solution : Corrigez l’orthographe de la directive avec un nom pris en charge afin que les robots ne l’ignorent pas.
- Avertissement Une directive noindex non prise en charge est utilisée Solution : Supprimez noindex de robots.txt et utilisez plutôt une balise meta robots ou X-Robots-Tag sur les URL explorables.
- Information Crawl-delay est ignoré par Google Solution : Supprimez Crawl-delay pour Google et gérez le débit d’exploration de Googlebot via Search Console ou les capacités du serveur.
- Erreur La règle apparaît avant tout groupe user-agent Solution : Placez la règle sous la ligne User-agent du groupe de robots auquel elle doit s’appliquer.
- Avertissement La ligne n’a pas de séparateur deux-points Solution : Ajoutez le deux-points manquant entre le nom de directive et sa valeur pour que les analyseurs puissent lire la ligne.
- Information La directive inconnue est ignorée Solution : Supprimez la directive non standard ou remplacez-la par une directive robots.txt prise en charge qui exprime la règle d’exploration voulue.
- Information Le groupe de robots ne contient aucune règle Solution : Ajoutez à ce groupe les règles Allow ou Disallow voulues, ou supprimez-le afin que le robot puisse retomber sur le groupe générique.
- Erreur Le motif de règle ne peut jamais correspondre Solution : Commencez le motif de chemin par / ou * afin que la correspondance puisse débuter au début du chemin URL.
- Avertissement L’ancre devise apparaît au milieu d’un motif Solution : Placez $ à la fin du motif s’il doit ancrer le chemin, ou supprimez-le si le signe devise littéral n’était pas voulu.
- Information Le User-agent est réparti entre plusieurs groupes Solution : Fusionnez les règles du même user-agent dans un seul groupe afin que la politique appliquée soit claire et facile à maintenir.
- Erreur L’URL du sitemap n’est pas absolue Solution : Remplacez l’emplacement relatif du sitemap par une URL complète incluant https:// et le nom d’hôte.
- Erreur Le fichier robots dépasse 500 KiB Solution : Réduisez robots.txt sous 500 KiB en regroupant les motifs et en supprimant les règles redondantes avant le élément de troncature de Google.
- Information Le fichier robots est vide Solution : Laissez le fichier vide si toute exploration est volontairement autorisée ; sinon, ajoutez des groupes user-agent explicites et les règles minimales nécessaires.
- Erreur L’URL testée est bloquée pour le robot sélectionné Solution : Supprimez ou réduisez la règle Disallow gagnante, ou ajoutez une règle Allow plus précise lorsque l’URL testée doit être explorable.