Permission
Is the crawler allowed?
Vérificateur d’accès des robots d’IA
Free, no signup. “Am I letting ChatGPT, Claude, Perplexity, and Google’s AI read this page — and did I mean to?” Enter a URL and get the answer for every major AI crawler, with the exact robots.txt rule that decided it.
Five separate tests · registry 2026-07-29
Crawler access is only the first layer
Extractability
Are useful facts present in raw HTML?
Renderability
Does JavaScript successfully expose them?
Operability
Can an agent identify and use semantic controls?
Commerce readiness
Do page, schema, feed and checkout facts agree?
HTML remains primary. llms.txt, UCP, and other protocol files are optional distribution layers and cannot compensate for inaccessible or unextractable HTML.
Validate a protocol response
Upload verified-bot log evidence
Expected columns: crawler, timestamp, url, status, verification. A user-agent string alone is never treated as verified identity.
No log evidence uploaded.
robots.txt is advisory, not a lock. It tells cooperating crawlers what you prefer — it does
not enforce anything. Some crawlers below are reported to ignore it (flagged ⚠). To actually stop a
crawler, block it at your CDN/WAF and verify it's genuine by IP.
Les contrôles sont exécutés depuis notre serveur ; nous récupérons l’URL saisie et ne conservons pas les résultats. Des compteurs anonymes de résultats par exécution peuvent servir à la recherche agrégée ; les URL, domaines, adresses IP et identifiants ne sont jamais inclus, et aucune statistique issue de moins de 100 exécutions n’est publiée.
+ enregistre le site ou la page actuels. Utilisez ☆ à côté de tout site, page ou liste enregistré pour l’ajouter aux favoris. L’historique des vérifications récentes apparaît ci-dessous.
Créer une liste nommée
Cible remplie à partir de vos choix locaux.
Passeport du site Contexte local de ce site enregistré
Données locales
Les cibles enregistrées, les listes nommées et les résumés des vérifications récentes restent uniquement dans ce navigateur.
Google AI Overviews: there is no separate AI Overviews crawler and no full AI-Overviews-only opt-out that leaves ordinary Search unchanged. Blocking Googlebot prevents crawling but does not by itself guarantee that a known URL disappears from Search.
nosnippet, max-snippet, and data-nosnippet can limit preview/use but also affect normal Search snippets. Google-Extended only controls Gemini/Vertex training and grounding, not Search or Overviews.
Engine-specific limits: this checker evaluates the currently fetched file. Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days and may behave as if the file is absent when they cannot fetch it; a failed checker fetch is not proof that Amazon saw the same failure. Page-level controls are separate: Apple says
nosnippet can block content from generative-model context without preventing title-based discovery, while Bing documents AI-answer/training effects for noarchive and noindex. Use the page audit or extension to inspect those meta and HTTP-header directives.
Search & answer citation
These fetch pages to answer questions and cite sources. Blocking a cooperating crawler can prevent that crawler from accessing the page, but it does not guarantee absence from every answer or citation.
User-triggered assistant fetches
Model training
These collect pages for model training. A provider's documented robots control governs future crawling; it does not remove content already collected or guarantee deletion from an existing training dataset.
Évaluer cet outil
Set your posture → robots.txt block
Pick what to block; copy the generated rules into your robots.txt.
Blocking here means “documented posture,” not enforcement — a cooperating crawler will honor it; a hostile one may not.
Crawler roster last reviewed . Data is hand-maintained and editable (src/data/ai-crawlers.json).
À propos de cet outil
Saisissez une URL pour vérifier, robot par robot, ce que votre robots.txt autorise ou bloque, quelle règle gagne et si un fichier llms.txt est présent.
Fonctionnalités
- Roster documenté de robots de recherche, de citation et d’entraînement.
- Moteur de correspondance robots.txt avec règle gagnante et ligne source affichées.
- Presets pour séparer récupération, citation et entraînement, plus générateur de règles à copier.
- Résultats explicites sur la différence entre posture déclarée et véritable blocage réseau.
Fonctionnement
Le contrôle récupère le robots.txt demandé, applique les règles selon leur priorité réelle pour chaque user-agent, puis affiche le verdict, la directive et la ligne gagnante. Les limites propres aux opérateurs et aux contrôles de page restent séparées.
Limites
- robots.txt est consultatif : un opérateur coopératif peut le respecter, mais un opérateur hostile peut l’ignorer.
- Un user-agent ne prouve pas l’identité d’une requête ; vérifiez les preuves réseau lorsque c’est nécessaire.
- La présence de llms.txt est informative et ne modifie aucun verdict d’accès.
Questions fréquentes
Bloquer GPTBot empêche-t-il ChatGPT de référencer mon site ?
Pas à lui seul. GPTBot est le robot d’entraînement d’OpenAI : le bloquer exclut votre contenu de futurs entraînements, mais n’arrête pas les robots de récupération en direct qui consultent les pages pour répondre aux questions et référencer leurs origines. Il s’agit d’OAI-SearchBot, pour les résultats et références de ChatGPT, et de ChatGPT-User, lorsqu’une personne demande la récupération d’une page en suivant un lien. Pour rester hors des réponses ChatGPT, vous devriez également bloquer ces robots, que le vérificateur répertorie séparément sous « Récupération en direct et références dans les réponses ».
Puis-je refuser les AI Overviews de Google avec robots.txt ?
Il n’existe pas de robot distinct pour les AI Overviews, et Google ne propose pas de refus total limité aux AI Overviews qui laisserait la page inchangée ailleurs dans son moteur de recherche. Bloquer Googlebot empêche l’exploration, mais ne garantit pas à lui seul qu’une URL connue disparaisse des résultats. Les commandes relatives aux extraits affectent également les extraits ordinaires. Google-Extended contrôle séparément l’entraînement et l’ancrage de Gemini/Vertex, et non les résultats de Google ou les AI Overviews.
robots.txt arrêtera-t-il réellement un robot d’IA ?
robots.txt est une recommandation, et non un verrou. Il indique vos préférences aux robots coopératifs, mais ne les impose pas. Les opérateurs respectueux s’y conforment, tandis que certains robots sont réputés ne pas en tenir compte ; le vérificateur les marque avec l’étiquette « ⚠ ne respecte pas robots.txt ». Pour arrêter réellement un robot, bloquez-le au niveau de votre CDN ou WAF et vérifiez l’authenticité de la requête par son adresse IP plutôt que de vous fier à l’identifiant déclaré du robot.
Pourquoi un robot est-il indiqué comme « non vérifiable » ?
L’étiquette « vérifiable » ou « non vérifiable » indique si l’opérateur publie une méthode permettant de confirmer l’identité revendiquée par un robot : plages IP actuelles ou DNS inverse avec validation directe (FCrDNS), recoupés avec la liste du Bot Verifier. Un identifiant déclaré seul peut toujours être usurpé. Anthropic publie désormais une liste officielle des adresses IP de ses robots à l’adresse claude.com/crawling/bots.json ; le trafic Claude peut donc être comparé aux plages publiées, ce qui n’équivaut pas à une validation par DNS inverse.
Un fichier llms.txt modifie-t-il l’un de ces résultats ?
Non. llms.txt est un format communautaire proposé, et aucun grand robot d’IA n’est documenté comme le lisant ; qu’il soit présent ou non ne change donc pas l’autorisation ou le blocage d’un robot. Le vérificateur indique uniquement à titre informatif si un fichier llms.txt existe sur le domaine : chaque décision d’accès est déterminée par robots.txt seul.
Problèmes courants et solutions
- Erreur Le robot d’IA sélectionné est bloqué Solution : Supprimez ou resserrez la règle Disallow du robot d’IA sélectionné pour le contenu auquel vous souhaitez donner accès, puis retestez cet user-agent et ce chemin.
- Avertissement Le robot d’IA sélectionné est bloqué sur certains chemins Solution : Examinez chaque chemin bloqué et resserrez les motifs Disallow propres au robot afin que seules les zones volontairement privées restent exclues.
- Erreur Les règles génériques bloquent les robots d’IA Solution : Ajustez le groupe User-agent: *, car ses règles Disallow s’appliquent aussi aux robots d’IA dépourvus de règle pertinente plus précise.
- Avertissement Les règles propres au robot contredisent les règles génériques Solution : Regroupez les règles génériques et les groupes propres aux robots dans une politique volontaire dont les priorités sont sûres, puis testez des chemins représentatifs autorisés et bloqués.
- Information Le robot ne figure pas dans la liste actuelle Solution : Confirmez l’user-agent publié du robot et les indications de l’opérateur avant d’ajouter un groupe dédié ou de modifier les règles d’accès.