Problèmes d’explorabilité : causes et correctifs

En bref — L’explorabilité indique si les moteurs peuvent trouver et atteindre vos pages. Tout obstacle constitue un problème : blocage dans robots.txt, lien impossible à suivre, serveur en erreur ou avalanche d’URL inutiles. Une page inaccessible ne peut pas être indexée ni apparaître dans les résultats. Corrigez d’abord l’accès ; tout le reste vient après.

Qu’est-ce que l’explorabilité ?

Avant de classer une page, un moteur doit l’explorer : un robot — Googlebot ou Bingbot — découvre l’URL et télécharge la page. L’explorabilité mesure la facilité de cette opération. Un problème d’explorabilité est toute condition technique qui l’empêche ou la ralentit. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works

Imaginez un pipeline : découvrir → explorer → afficher → indexer → servir. Cette décomposition en cinq étapes est ma façon pratique d’organiser le travail ; le modèle officiel de Google regroupe la découverte et le rendu dans une étape d’exploration plus large. Dans les deux cas, l’exploration se situe en amont et conditionne tout ce qui suit. Même un excellent contenu ne sert à rien si le robot ne peut pas le lire.

Les quatre catégories de problèmes

Presque tous les incidents appartiennent à quatre catégories. Ce raccourci de diagnostic n’est pas exhaustif : un sitemap absent ou un noindex accidentel reste en marge. Lorsqu’une page demeure introuvable, identifiez d’abord sa catégorie :

1. Accès bloqué. robots.txt interdit la page, une connexion est requise, un pare-feu renvoie « 403 Forbidden » ou les ressources CSS/JS nécessaires sont bloquées.
2. Liens cassés ou inexplorables. La navigation repose sur des clics JavaScript plutôt que de vrais liens, ou aucun lien ne pointe vers la page, devenue orpheline.
3. Serveur défaillant. Erreurs serveur, domaine impossible à résoudre, lenteur extrême ou longues chaînes de redirections.
4. Inventaire d’URL excessif. Filtres, calendriers et paramètres de suivi créent sans fin des URL presque identiques ; les robots gaspillent leur temps au détriment des vraies pages.

L’erreur la plus fréquente

Bloquer une page dans robots.txt ne la retire pas de Google. Cela empêche seulement Google de la lire. Si d’autres sites créent des liens vers elle, elle peut encore apparaître sans description. Pour la supprimer, autorisez son exploration et ajoutez noindex. Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction

Et exploration ne signifie pas classement. Une exploration plus fréquente ne vous fait pas monter : c’est une porte à franchir, pas une note.

Pour le cadre complet, les diagnostics dans Search Console et les journaux, et les correctifs par catégorie, passez à l’onglet Advanced.

En bref — L’explorabilité désigne la capacité des robots à découvrir, atteindre et récupérer les pages. Presque tous les problèmes relèvent de quatre catégories : accès bloqué — robots.txt, connexion, 403, JS/CSS ; liens cassés — navigation JavaScript, pages orphelines ou profondes ; serveur défaillant — 5xx, DNS, réponses lentes ou tronquées, chaînes ; inventaire excessif — pièges, paramètres dupliqués, fausses 404. Située en amont de l’indexation et du classement, l’explorabilité est nécessaire sans constituer un signal de classement, et diffère de l’indexabilité. Diagnostiquez avec GSC et les journaux ; corrigez d’abord l’accès, puis l’inventaire.

Ce qu’est l’explorabilité — et ce qu’elle n’est pas

L’explorabilité se situe au début du pipeline : découvrir → explorer → afficher → indexer → servir. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works Tout échec intervient en amont de l’indexation et du classement. Ce terme est une convention SEO, pas celle de Google : son modèle comporte exploration, indexation et diffusion, et intègre découverte et rendu dans l’exploration. Le pipeline en cinq étapes et les quatre catégories sont ma synthèse pratique, utile pour localiser rapidement un problème mais non pour décrire formellement les systèmes internes de Google.

Trois distinctions évitent l’essentiel des confusions :

• Explorabilité ≠ indexabilité. Une page accessible peut être exclue par noindex ou rester non indexée pour des raisons de qualité. L’explorabilité est nécessaire mais insuffisante.
• Exploration ≠ classement. Google précise : “an increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.” (traduction) « Une cadence accrue n’entraîne pas nécessairement de meilleures positions ; l’exploration est nécessaire pour apparaître, mais ce n’est pas un signal de classement. »
• Exploration ≠ rendu. Google rend la page et exécute JavaScript séparément : “during the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome” (traduction) « pendant l’exploration, Google affiche la page et exécute le JavaScript trouvé avec une version récente de Chrome ». La file de rendu peut prendre du retard.

Le pipeline complet figure dans le hub crawling ; cet article sert à diagnostiquer ses pannes.

Les quatre catégories de problèmes d’explorabilité

Utilisez-les pour localiser vite le problème. Chaque catégorie reçoit ici un traitement bref et un lien détaillé. Ce classement n’est pas exhaustif : sitemaps, noindex, canoniques, nofollow, parité mobile et doublons relèvent souvent de la découverte, de l’indexabilité, du rendu ou de l’efficacité, plutôt que d’un pur échec d’accès.

1. Accès bloqué

Blocage par robots.txt, voulu ou accidentel. Une règle Disallow interdit toute récupération. Google dit explicitement que ce n’est pas un outil de suppression : “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site… It is not a mechanism for keeping a web page out of Google.” (traduction) « Un fichier robots.txt indique aux robots les URL auxquelles ils peuvent accéder ; ce n’est pas un mécanisme permettant d’exclure une page de Google. » Accidents classiques : Disallow: / de préproduction livré en production, règle trop large d’un CMS ou blocage des ressources *.js et *.css nécessaires au rendu. Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction

Le piège noindex + disallow. Si vous interdisez une page dans robots.txt tout en lui ajoutant noindex, Google ne peut jamais la récupérer pour voir la directive ; des liens externes peuvent donc la maintenir dans l’index. Pour désindexer, autorisez l’exploration et ajoutez noindex. Mon expérience Indexed, though blocked by robots.txt l’illustre : « exploration et indexation sont deux choses différentes ».

Connexions obligatoires et 401. Un contenu derrière une connexion interactive ou OAuth inaccessible à Googlebot ne peut être exploré ni indexé. Cela ne signifie pas que tout paywall est inexplorable : un éditeur peut exposer différemment le contenu payant aux robots. Distinguez une connexion infranchissable d’un accès par abonnement.

403 Forbidden. Avant d’autoriser des IP, examinez les causes dans cet ordre :

1. robots.txt : vérifiez le chemin exact pour le user-agent concerné.
2. Blocages intermittents ou en cache : retestez plusieurs fois et depuis plusieurs points.
3. Blocage par user-agent : règle WAF/CDN visant une chaîne de robot, qui peut être usurpée.
4. Blocage de plages IP : pare-feu, CDN ou géofiltre refusant les véritables plages de Googlebot. N’autorisez que Googlebot vérifié par DNS inverse puis direct, après avoir localisé la couche responsable. Consultez également le diagnostic des autres 4xx.

JS/CSS bloqués. Google effectue le rendu avec Chrome sans interface. Si robots.txt bloque *.js ou *.css, ou si le CDN refuse ces ressources à Googlebot, la page rendue est cassée : le contenu et les liens ajoutés par JavaScript peuvent manquer. Utilisez Inspection de l’URL → Test en direct et examinez la capture rendue.

2. Liens cassés ou inexplorables

Liens inexplorables. “Google can only crawl your link if it’s an <a> HTML element with an href attribute. Most links in other formats won’t be parsed and extracted by Google’s crawlers.” (traduction) « Google ne peut explorer un lien que s’il s’agit d’un élément HTML <a> doté d’un attribut href. La plupart des autres formats ne seront ni analysés ni extraits. » Cela exclut <a routerLink="...">, <span href="..."> et <a onclick="goto(...)">. Une navigation fondée uniquement sur des gestionnaires JavaScript peut rendre des sections entières introuvables. Voir les problèmes et bonnes pratiques SEO JavaScript.

Pages orphelines. Sans lien interne, une page ne peut être découverte que par un sitemap ou un lien externe. Un sitemap facilite la découverte sans remplacer le signal d’un lien. Ajoutez un lien depuis un hub ou une catégorie pertinente.

Pages profondes. Les pages éloignées de l’accueil sont explorées plus tard et moins souvent. Gardez les pages importantes à faible profondeur.

3. Serveur défaillant ou limitant

Erreurs serveur 5xx. Un 500, 502, 503 ou 504 renvoie une erreur au lieu du contenu. Des 5xx durables font ralentir Googlebot : “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down’” (traduction) « les robots évitent d’explorer trop vite pour ne pas surcharger le site ; des erreurs HTTP 500 signifient “ralentir” ». Si robots.txt renvoie 5xx, le comportement est progressif : arrêt d’environ 12 heures, réutilisation possible du dernier fichier valide jusqu’à 30 jours, puis comportement selon le cache et l’accessibilité. Un 503 avec Retry-After est correct pour une brève maintenance ; plusieurs semaines deviennent nuisibles. Google traite 429 de façon similaire.

Pannes DNS. Si le domaine ne se résout pas — expiration, migration de serveurs de noms ou apex cassé — aucune réponse HTTP n’est possible. Une panne durable fait disparaître tout le site. Détectez-la dans GSC, Statistiques sur l’exploration → État de l’hôte, ou plus vite avec une supervision externe.

Réponses lentes et récupération tronquée. La courtoisie de Google réduit les visites lorsque le serveur ralentit. Une limite stricte s’ajoute : depuis la mise à jour Inside Googlebot de mars 2026, Googlebot récupère environ 2 MB par URL, contre 15 MB auparavant, et jusqu’à 64 MB pour les PDF. Au-delà, le contenu est tronqué, pas rejeté. Un contenu critique placé après 2 MB peut donc être coupé.

Chaînes et boucles de redirections. Chaque saut consomme une requête et les longues chaînes nuisent à l’exploration. Google suit environ cinq sauts avant d’abandonner. Les boucles expirent et produisent une erreur de redirection dans GSC. Cause classique : empilement www → sans www → HTTPS après plusieurs migrations.

4. Inventaire d’URL excessif

Pièges à robots. Filtres à facettes, calendriers sans fin, identifiants de session et pagination infinie génèrent un nombre quasi illimité d’URL. Les robots dépensent leur budget sur des doublons. Il n’existe aucun seuil universel : recherchez une part disproportionnée de requêtes concentrée sur un motif inutile par rapport à votre propre référence.

Paramètres d’URL. Les chaînes de requête (?key=value) créent plusieurs URL pour le même contenu. Les paramètres actifs — tri, filtre, pagination — produisent des quasi-doublons ; les paramètres passifs — suivi, session — des doublons purs. Google a retiré son outil Paramètres d’URL en avril 2022 et gère désormais la plupart des cas automatiquement. Bing conserve son outil. Les solutions actuelles : ordre cohérent, rel=canonical pour les paramètres passifs et interdiction robots.txt seulement pour les vrais pièges.

Fausses 404. Une page fonctionnellement introuvable — recherche vide, produit épuisé vidé — renvoie 200 OK. Google continue alors à l’explorer sans contenu indexable. Renvoyez un vrai 404 ou 410 ; 410 Gone accélère légèrement le retrait.

Épuisement du budget — grands sites seulement

Ce problème d’inventaire à grande échelle mérite un avertissement : la plupart des sites ne le rencontrent jamais. Google dit : “if your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (traduction) « Si votre site ne comporte pas beaucoup de pages changeant rapidement, ou si les pages semblent explorées le jour de leur publication, vous n’avez pas besoin de lire ce guide. » Selon John Mueller, 100 000 URL ne suffisent généralement pas à affecter le budget. Il importe réellement autour d’un million de pages modifiées chaque semaine ou de 10 000 chaque jour. Le budget est par nom d’hôte et partagé par tous les robots Google. Une forte hausse de Détectée, actuellement non indexée sert d’alerte. Voir aussi Quand faut-il s’inquiéter du budget d’exploration ?.

Trouver les problèmes d’explorabilité

Google Search Console. Le rapport Indexation des pages nomme les erreurs : bloquée par robots.txt, erreur serveur (5xx), introuvable (404), erreur de redirection. Statistiques sur l’exploration présente les tendances de codes, le temps de réponse et l’état de l’hôte. Inspection de l’URL montre ce que Googlebot a récupéré et rendu. Détectée, actuellement non indexée signale que Google connaît l’URL sans l’avoir encore récupérée.

L’analyse des journaux serveur est la source de vérité : URL demandées, fréquence et état, et seul moyen de distinguer Googlebot vérifié — DNS inverse puis direct — des imposteurs. Un piège apparaît comme une part disproportionnée de requêtes sur un motif.

Les robots d’audit comme Ahrefs Site Audit et Screaming Frog SEO Spider simulent une exploration et révèlent chaînes, blocages, pages orphelines et profondeur en une passe.

Explorabilité et indexabilité : ne les confondez pas

L’explorabilité indique si le robot peut atteindre la page ; l’indexabilité, si Google choisit de la conserver après récupération. Une fois l’accès réparé, l’indexabilité forme la porte suivante.

Un état GSC est une hypothèse de départ, pas un diagnostic garanti. Détectée, actuellement non indexée évoque souvent un problème de programmation ou de priorité d’exploration. Explorée, actuellement non indexée évoque plus souvent un problème de contenu ou de qualité, mais Google ne publie aucune correspondance causale exhaustive. Retards de rendu, signaux canoniques et contrôles d’admissibilité peuvent produire le même libellé. Confirmez avec Inspection de l’URL et les journaux, sans appliquer un correctif d’exploration à un problème d’indexabilité, ni l’inverse.

Différences de Bing

Quelques différences pratiques si vous optimisez pour les deux moteurs :

• IndexNow : Bing, Yandex, Naver, Seznam et Yep l’utilisent pour signaler immédiatement les changements ; Google n’y participe pas.
• Crawl Control : Bing conserve une grille horaire ; Google a supprimé son curseur en janvier 2024.
• Ignore URL Parameters : Bing le propose encore ; Google a retiré son équivalent en avril 2022.
• lastmod : Bing lui accorde davantage de poids pour la réexploration ; Google ignore largement les valeurs inexactes.

Fabrice Canel, de Microsoft Bing, résume la philosophie : “Less is more for SEO… Less URLs to crawl, better for SEO” (traduction) « Réduire est préférable en SEO : moins il existe d’URL à explorer, mieux c’est. » Lire la source.

Pour aller plus loin

Ce hub fournit la carte. Pour les contrôles d’accès, consultez robots.txt et noindex ; pour le serveur, server error (5xx), crawl rate et redirect error ; pour l’inventaire, spider traps, url parameters et crawl budget ; pour la découverte, discovery, crawl depth et orphan pages. Le pipeline complet se trouve dans crawling.

Résumé par l’IA

Version condensée de l’onglet Advanced :

• Explorabilité = capacité des robots à découvrir, atteindre et récupérer les pages. Elle ouvre le pipeline — ma synthèse pratique — et précède tout le reste.
• Trois distinctions : explorabilité ≠ indexabilité ; exploration ≠ classement ; exploration ≠ rendu. Une page peut notamment porter noindex.
• Quatre catégories : accès bloqué — robots.txt, connexion, 401, 403, JS/CSS ; liens cassés — navigation JS sans <a href>, orphelines, profondeur ; serveur défaillant — 5xx, DNS, limite d’environ 2 MB, chaînes ; inventaire excessif — pièges, paramètres, pages introuvables renvoyant 200 OK.
• Piège majeur : noindex + disallow empêche Google de voir la directive. Pour désindexer, autorisez l’exploration puis ajoutez noindex.
• Le budget ne concerne que les sites immenses ou très changeants, autour d’un million de pages hebdomadaires ; cent mille URL ne suffisent généralement pas.
• Diagnostic : GSC et journaux serveur, seuls capables de vérifier les vrais robots. Corrigez l’accès, puis l’inventaire.
• Bing diffère : IndexNow, Crawl Control, Ignore URL Parameters et poids supérieur de lastmod.

Documentation officielle

Documentation de première main sur les obstacles à l’exploration.

Google

• Fonctionnement détaillé de la recherche Google — exploration, indexation, diffusion, découverte et ralentissement.
• Portail Exploration et indexation — robots, sitemaps, canoniques et contrôles.
• Introduction à robots.txt — rôle et limites du fichier.
• Créer des liens explorables — exigence <a href> et formats non suivis.
• Optimiser le budget — capacité, demande, gaspillage et sites concernés.
• Robots et récupérateurs Google — user-agents, plages IP et identification.
• Inside Googlebot, mars 2026 — limites actuelles, environ 2 MB par URL et 64 MB pour les PDF, et troncature.
• Aide Indexation des pages — signification des états.

Bing / Microsoft

• Série bingbot : maximiser l’efficacité — définition et objectif de Bing.
• Bing Webmaster Tools — Crawl Control — planification des heures.
• IndexNow — protocole de notification instantanée utilisé par Bing et d’autres moteurs.

Citations des sources

Déclarations publiques de Google et Bing. Chaque lien mène au passage cité.

Google — robots.txt n’est pas un outil de suppression

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (traduction) « Un fichier robots.txt indique aux robots les URL auxquelles ils peuvent accéder sur votre site. » — Documentation Google Search Central. Accéder à la citation
• “It is not a mechanism for keeping a web page out of Google.” (traduction) « Ce n’est pas un mécanisme permettant d’exclure une page Web de Google. » Accéder à la citation
• “The instructions in robots.txt files cannot enforce crawler behavior; it’s up to the crawler to obey them.” (traduction) « Les instructions des fichiers robots.txt ne peuvent pas imposer le comportement ; chaque robot décide de les respecter. » Accéder à la citation

Google — liens explorables

• “Google can only crawl your link if it’s an <a> HTML element with an href attribute.” (traduction) « Google ne peut explorer un lien que s’il s’agit d’un élément HTML <a> doté d’un attribut href. » — Créer des liens explorables. Accéder à la citation
• “Most links in other formats won’t be parsed and extracted by Google’s crawlers.” (traduction) « La plupart des liens dans d’autres formats ne seront ni analysés ni extraits par les robots de Google. » Accéder à la citation

Google — santé du serveur et rendu

• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (traduction) « Les robots évitent d’explorer trop vite pour ne pas surcharger le site ; le mécanisme dépend des réponses, par exemple une erreur HTTP 500 signifie ralentir. » Accéder à la citation
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (traduction) « Pendant l’exploration, Google affiche la page et exécute le JavaScript trouvé avec une version récente de Chrome. » Accéder à la citation

Google — budget et classement (billet de 2017 reproduit littéralement par Search Engine Land)

• “An increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.” (traduction) « Une cadence accrue n’entraîne pas nécessairement de meilleures positions ; l’exploration est nécessaire pour apparaître, mais ce n’est pas un signal de classement. » Lire l’article
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (traduction) « Si votre site ne comporte pas beaucoup de pages changeant rapidement, ou si elles semblent explorées le jour de leur publication, vous n’avez pas besoin de lire ce guide. » — Guide du budget des grands sites. Accéder à la citation

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (traduction) « L’exploration est le processus par lequel bingbot découvre des documents nouveaux ou mis à jour à ajouter à l’index de Bing. » Accéder à la citation
• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (traduction) « Moins, c’est mieux pour le SEO. Ne l’oubliez jamais : moins d’URL à explorer, c’est mieux. » — repris par Search Engine Land. Lire l’article

Liste de contrôle du diagnostic

Suivez cet ordre : les problèmes d’accès sont les plus graves et les plus fréquents.

• robots.txt n’interdit aucune page à indexer ; recherchez Disallow: / et le blocage de *.js ou *.css.
• Aucune page ne combine noindex et disallow ; pour désindexer, autorisez l’exploration puis ajoutez noindex.
• Le contenu important n’est pas derrière une connexion / 401 et Googlebot vérifié ne reçoit pas 403.
• La navigation utilise de vrais liens <a href>, pas seulement des clics JavaScript.
• Aucune page importante n’est orpheline.
• Le serveur répond vite et sans 5xx ; une maintenance utilise 503 + Retry-After.
• Le DNS fonctionne de manière fiable.
• Aucune longue chaîne de redirections ni boucle.
• Le contenu critique se situe avant la limite d’environ 2 MB.
• Aucun piège ne génère des URL infinies.
• Les paramètres ne créent pas de doublons explorables.
• Aucune fausse 404 : une page absente renvoie 404 ou 410, pas 200.
• Les Statistiques sur l’exploration sont contrôlées.
• Les journaux serveur sont examinés pour le gaspillage et les URL jamais atteintes.

Modèles mentaux

1. Quatre catégories. Tout problème relève d’un accès bloqué, de liens cassés, d’un serveur défaillant ou d’un inventaire excessif. Classez avant de corriger : la catégorie détermine l’outil.

2. Pipeline : découvrir → explorer → afficher → indexer → servir. Localisez l’étape en échec avant toute modification. Un correctif appliqué à la mauvaise étape ne produit rien.

3. Trois distinctions. Exploration ≠ indexation ; exploration ≠ classement ; exploration ≠ rendu.

4. Règle de désindexation. Pour retirer une page : autorisez l’exploration + noindex. Pour ignorer entièrement un espace d’URL sans enjeu d’indexation : interdiction dans robots.txt. N’utilisez jamais disallow pour désindexer.

5. Corriger la source, puis bloquer. Pour un inventaire excessif, cessez d’abord de générer les URL inutiles, puis bloquez le reliquat. Un blocage seul ne récupère pas de budget sauf si le serveur atteint déjà sa capacité.

6. Priorité selon la gravité. Site entier — DNS, Disallow: /, robots.txt en 5xx — puis section — navigation JS, répertoire bloqué — puis page — chaîne ou orpheline. Arrêtez l’hémorragie avant les détails.

Problèmes d’explorabilité — aide-mémoire

Quatre catégories et symptômes caractéristiques

Codes d’état importants

• 200 : récupération réussie ; une page introuvable en 200 est une fausse 404.
• 301/308 : redirection permanente ; chaînes courtes, environ cinq sauts maximum.
• 403/401 : accès refusé ou authentification ; contrôlez le WAF et l’identité du robot.
• 404/410 : disparu ; signal fort de ne plus explorer.
• 429/500/503 : ralentir ou réessayer ; 503 avec Retry-After convient à une maintenance, mais sa persistance réduit l’exploration.

À retenir

• Limite : environ 2 MB par URL et 64 MB pour les PDF ; au-delà, troncature.
• Environ 5 sauts de redirection.
• Le budget compte rarement sous environ cent mille URL et s’applique par nom d’hôte.
• Outil Paramètres d’URL de GSC retiré en avril 2022 ; curseur de cadence supprimé en janvier 2024.
• IndexNow concerne Bing, Yandex et d’autres moteurs, pas Google.

Outils de diagnostic

• Google Search Console — Indexation des pages : blocage robots.txt, erreur 5xx, 404, redirection et états non indexés.
• GSC — Statistiques sur l’exploration : codes, temps de réponse, DNS, robots.txt et connectivité.
• GSC — Inspection de l’URL : récupération et rendu exacts d’une URL.
• Analyse des journaux : URL réellement demandées, fréquence, réponse et vérification de Googlebot par DNS ; utilisez Screaming Frog ou BigQuery.
• Robots d’audit : Ahrefs Site Audit et Screaming Frog révèlent chaînes, blocages, orphelines et profondeur.
• Ahrefs Webmaster Tools : exploration et audit gratuits des sites validés.
• Bing Webmaster Tools : informations, Crawl Control, Site Scan et Ignore URL Parameters.

Testez vos connaissances : problèmes d’explorabilité

Cinq questions rapides sur les causes et leurs correctifs.

Pourquoi le robot n’atteint-il pas la page ?

Procédure d’incident : une section importante disparaît de l’exploration

1. Confirmer le périmètre. Testez des URL représentatives et rapprochez le premier échec des livraisons, règles de pare-feu et incidents serveur.
2. Contrôler le chemin de récupération. DNS, TLS, redirections, codes, authentification et réponse complète.
3. Contrôler l’accès du robot. Testez les URL contre robots.txt et les règles WAF/CDN.
4. Contrôler la découverte. Explorez depuis l’accueil et les hubs ; restaurez les liens d’ancrage et le sitemap.
5. Contrôler rendu et inventaire. Vérifiez les ressources et repérez pièges ou doublons.
6. Valider le rétablissement. Récupérez à nouveau les URL et surveillez les journaux ; si l’accès revient sans indexation, passez au diagnostic d’indexabilité.

Le navigateur reçoit 200, mais les robots 403

Causes probables, dans l’ordre : interdiction robots.txt pour ce user-agent, blocage intermittent ou en cache, règle WAF/CDN propre au user-agent, puis plage IP ou zone géographique. Correction : identifiez la couche, vérifiez l’IP par DNS inverse et direct, examinez les journaux de périphérie et resserrez la règle. Confirmation : robot vérifié et utilisateur normal reçoivent la réponse prévue.

La page existe, mais aucun robot ne la demande

Causes : page orpheline, contrôles JavaScript, pagination cassée ou absence du sitemap. Correction : ajoutez des liens <a href> depuis des pages pertinentes et l’URL canonique au bon sitemap. Confirmation : un audit l’atteint, puis un robot vérifié apparaît dans les journaux.

Les outils signalent des ressources bloquées

Causes : règles robots.txt couvrant CSS, JavaScript ou API nécessaires au rendu. Correction : autorisez les ressources requises sans exposer les points privés. Confirmation : le rendu contient le même contenu principal et les mêmes liens que pour les utilisateurs.

Le volume augmente sur des URL inutiles

Causes : facettes, calendriers, recherche interne, identifiants de session ou navigation infinie. Correction : supprimez les chemins générateurs, puis consolidez ou bloquez après examen des effets. Confirmation : des périodes de journaux comparables montrent une baisse du motif sans nuire aux URL utiles.

Invite : transformer les preuves en tableau de diagnostic

Analyze the crawlability evidence below. For each URL, classify the failure as access, discovery/linking, server/redirect, rendering/resource, or URL-inventory. Cite only the supplied evidence, list missing checks, and return symptom → likely cause → safest fix → pass/fail verification. Keep crawlability separate from indexability.

[PASTE STATUS, HEADERS, ROBOTS TEST, CRAWL PATH, RENDERED HTML, AND LOG OBSERVATIONS]

Invite : examiner sans risque une modification de robots.txt

Review this proposed robots.txt change against the supplied sample URLs and user agents. Build an allow/block matrix, identify the winning rule, flag required resources or valuable pages that would become blocked, and propose the smallest safe change. Do not claim the file removes URLs from the index.

[PASTE CURRENT FILE, PROPOSED FILE, USER AGENTS, AND URL SAMPLES]

Contrôler les réponses d’une liste d’URL

while IFS= read -r url; do curl -L -sS -o /dev/null -w '%{http_code}\t%{url_effective}\t%{time_total}\n' "$url"; done < urls.txt

Équivalent PowerShell :

Get-Content .\urls.txt | ForEach-Object { try { $r = Invoke-WebRequest -Uri $_ -MaximumRedirection 10; "{0}`t{1}" -f $r.StatusCode,$r.BaseResponse.ResponseUri } catch { "ERROR`t$_" } }

Repérer les contrôles de liens inexplorables dans le HTML rendu

Exécutez ce code dans la console des outils de développement. Il liste les éléments cliquables qui ne sont pas des liens normaux :

[...document.querySelectorAll('[onclick], [role="link"]')].filter(el => !el.matches('a[href]')).map(el => ({text: el.textContent.trim(), html: el.outerHTML.slice(0, 300)}));

Le résultat est une file de revue, pas la preuve que chaque élément doit devenir un lien.

Ressources utiles

Mes articles connexes

• Indexée malgré un blocage robots.txt — pourquoi une page bloquée peut rester indexée et le piège noindex/disallow.
• Blocage de deux pages bien classées avec robots.txt — mon expérience directe.
• Quand s’inquiéter du budget ? — sites concernés et gaspillage.
• Problèmes et bonnes pratiques SEO JavaScript — liens et contenu dépendant de JS.
• Les nouveaux robots du Web — qui vous explore aujourd’hui, d’après Cloudflare Radar.

Mes conférences

• How Search Works (SlideShare) — exploration, rendu, indexation et classement. Réserve : “This is my understanding of systems… not going to be 100% complete or accurate.” (traduction) « C’est ma compréhension des systèmes ; elle ne sera pas complète ni exacte à 100 %. »

Dans le secteur

• Série Google Crawling December — explications officielles concentrées.
• Google explique le budget — reproduction littérale du billet de Gary Illyes, qui précise “not a ranking signal” (traduction) « ce n’est pas un signal de classement ».
• Cent mille URL n’affectent généralement pas le budget — citation de John Mueller.
• Cinq portes d’infrastructure — lecture de Fabrice Canel.
• Googlebot : limites et architecture — mise à jour de mars 2026, 2 MB par URL, 64 MB pour les PDF et troncature.
• Limite de taille de Googlebot — effet d’un dépassement.

Journal des modifications