Host Status (Statistiques d’exploration)
Ce que le Host status indicator dans la recherche Google Console's Statistiques d’exploration rapport signifie — le three availability vérifications, le three states, et pourquoi a red status est an emergency.
Host status est le availability indicator à le top de GSC's Statistiques d’exploration rapport — a historical record de ce que Google observed, pas a actif uptime vérifier. Il vérifications three choses — robots.txt fetching, DNS resolution, et serveur connectivity — over le dernier 90 days. Green signifie aucun significant problèmes; yellow signifie a problème happened plus que a week ago (il typically ages out de le rapport on son propre); red signifie un happened dans le dernier week. Le highest-stakes échec est an unreachable robots.txt: Google arrête exploration pour ~12 hours, alors falls back à le dernier bon mis en cache copy — si un exists — pour up à ~30 days, après qui behavior dépend on votre site's broader availability. c’est le underlying robots.txt, DNS, or serveur échec que throttles exploration de le entier site, pas le host-status étiquette itself, et le state aging back à green n’est pas proof exploration, indexation, or rankings ont entièrement recovered.
«> TL;DR — Host status is a little indicator at the top of Google Search
Preuve à l’appui de cette affirmation Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Portée : Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Niveau de confiance : élevé · Vérifié : Google: Crawl Stats reportConsole’s Crawl Stats report that tells you whether Google could reach your site over the last 90 days — it’s a historical record, not a live “is my site up right now” check. Green is good. Yellow means there was a problem, but it was more than a week ago. Red means there was a problem in the last week. It checks three things: your
robots.txtfile, your DNS, and whether your server responds.
» (Traduction) (Résumé en français de la section trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
Ce que host status is
Host status est le Statistiques d’exploration availability summary covering robots.txt fetching, DNS resolution, et serveur connectivity over le rapport window. Preuve à l’appui de cette affirmation Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Portée : Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Niveau de confiance : élevé · Vérifié : Google: Crawl Stats report Il est a host-level diagnostic plutôt que a per-URL indexation verdict. Preuve à l’appui de cette affirmation Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Portée : Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Niveau de confiance : élevé · Vérifié : Google: Crawl Stats report
Quand Google veut à explorer votre site, a quelques choses ont à fonctionner avant il peut
même commencer: il a à trouver votre robots.txt fichier, votre domain nom a à
resolve à a serveur, et que serveur a à réponse. Host status est Google’s
summary de si tout de que worked over le dernier 90 days.
Vous’ll trouver il dans la recherche Google Console sous Paramètres → Statistiques d’exploration, sitting correct à le top de le Statistiques d’exploration rapport. c’est a unique colored indicator, et c’est checking three choses:
«1. robots.txt fetching — can Google download your robots.txt file?
2. DNS resolution — does your domain name point to a server?
3. Server connectivity — does your server actually respond?
» (Traduction) (Résumé en français de la section huit, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«## The three colors » (Traduction) (Résumé en français de la section neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- Green — Google didn’t run into any significant problems reaching your site in the last 90 days. Nothing to do. » (Traduction) (Résumé en français de la section dix, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- Yellow (“Host had problems in the past”) — there was a problem, but it happened more than a week ago. Usually this fixes itself: once a week goes by without it happening again, it turns back to green on its own. » (Traduction) (Résumé en français de la section dix, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- Red — there was a problem in the last week. This one’s worth looking into, because if Google can’t reach your site, it crawls it less. » (Traduction) (Résumé en français de la section dix, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
«The exact colors and labels are an interface detail Google could tweak; what stays durable is the underlying meaning — how recently a significant issue happened. » (Traduction) (Résumé en français de la section onze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
Pourquoi c’est important
Host status n’est pas à propos de un broken page — c’est à propos de si Google peut connecter
à votre entier site. Le scariest version est quand Google ne peut pas download votre
robots.txt fichier. Quand que se produit, Google ne fait pas simplement shrug il off; il
slows bas or arrête exploration votre entier site jusqu’à il peut lire que fichier
à nouveau. Donc c’est que underlying robots.txt, DNS, or serveur échec — pas le
host-status étiquette itself — que quietly chokes off exploration everywhere.
Le bon news: il y a aucun button à press à corriger il. Une fois votre site est reachable à nouveau, Google typically resumes normal exploration on son propre — Google ne fait pas publish a fixed recovery window, donc ne pas expect an instant flip back à green. Votre job est simplement à figure out qui de le three vérifications failed et corriger le underlying problème.
Un chose host status est pas: a classement penalty. c’est a exploration signal, pas a strike contre vous. Vouloir le deeper version — le exact explorer-pause timeline, le 4xx-vs-5xx distinction, et a troubleshooting tree? Switch à le Avancé tab.
Testez vos connaissances: host status
Five rapide questions on reading et responding à le Statistiques d’exploration host-status indicator. Pick an réponse pour chaque, alors vérifier.
«> TL;DR — Host status is the availability lens at the top of GSC’s Crawl
Stats report — a historical record of what Google observed, not a live uptime check — assessed over the last 90 days across three checks: robots.txt fetching, DNS resolution, and server connectivity. Green = no significant issues; yellow = an issue more than a week ago (typically ages out of the report on its own); red = an issue in the last week. The highest-stakes failure is an unreachable
robots.txt: Google stops crawling for the first 12 hours, then falls back to the last good cached copy — if one exists — for up to ~30 days, after which behavior depends on your site’s broader availability. A4xxrobots.txt is fine (Google crawls freely); a5xx/timeout/DNS failure is what pauses crawling — that underlying failure, not the host-status label, is what throttles crawling. There’s no reset button, and the state returning to green isn’t proof crawling, indexing, or rankings have fully recovered. » (Traduction) (Résumé en français de la section vingt-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
Ce que host status en réalité measures
Search Console documents host status dans Statistiques d’exploration et evaluates availability over le previous 90 days. Preuve à l’appui de cette affirmation Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Portée : Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Niveau de confiance : élevé · Vérifié : Google: Crawl Stats report Diagnose individual URL résultats séparément dans Inspection d’URL or Page Indexation. Preuve à l’appui de cette affirmation Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Portée : Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Niveau de confiance : élevé · Vérifié : Google: Crawl Stats report
Host status réponses a narrow question: over le dernier 90 days, pourrait Googlebot reach le host à tout? c’est a différent question depuis “is this page indexed” or “fait ce URL throw an erreur.” c’est site/host-level availability, pas per-URL explorer erreurs — qui est exactly pourquoi Je garder il mentally séparé depuis Page Indexation.
Preuve à l’appui de cette affirmation Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Portée : Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Niveau de confiance : élevé · Vérifié : Google: Crawl Stats reportc’est aussi worth étant precise à propos de ce que kind de “availability” ce est. Host status est a historical record de ce que Google observed during exploration, pas a actif uptime monitor — a green state correct maintenant ne fait pas prove votre site est reachable ce deuxième, et a red state ne fait pas prove c’est bas maintenant, seulement que a significant problème crossed Google’s threshold sometime dans le dernier week. Pour a actif vérifier de le actuel moment, vous besoin a direct probe, pas ce rapport.
«It lives at the top of the Crawl Stats report (Settings → Crawl stats), which is only available for domain or root-level property access — not URL-prefix subfolders. The broader Crawl Stats report covers volume and performance (total crawl requests, download size, average response time, crawl purpose, file type, response codes); host status is the tighter availability slice. When I’m diagnosing a crawl slump, host status tells me whether Google could connect; the rest of the report and my server logs tell me what happened. » (Traduction) (Résumé en français de la section vingt-huit, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«## The three checks » (Traduction) (Résumé en français de la section vingt-neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«Google assesses host availability across three categories, each with its own failure-rate graph in the host details: » (Traduction) (Résumé en français de la section trente, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- robots.txt fetching — “The graph shows the failure rate for robots.txt
requests during a crawl.” This is the highest-stakes check (more below).
» (Traduction) (Résumé en français de la section trente et un, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- DNS resolution — “The graph shows when your DNS server didn’t recognize
your hostname or didn’t respond during crawling.”
» (Traduction) (Résumé en français de la section trente et un, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.)
«- Server connectivity — “The graph shows when your server was unresponsive
or did not provide a full response for a URL during a crawl.” Think 5xx,
timeouts, and truncated/partial responses.
» (Traduction) (Résumé en français de la section trente et un, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
«## The three states » (Traduction) (Résumé en français de la section trente-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«The indicator summarizes those checks over a rolling 90-day window: » (Traduction) (Résumé en français de la section trente-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- Green — “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” » (Traduction) (Résumé en français de la section trente-quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- Yellow / “had problems in the past” — Google encountered at least one significant crawl-availability issue in the last 90 days, but it occurred more than a week ago. This state usually self-heals: once a week passes with no recurrence, it returns to green. You generally don’t need to do anything beyond confirming the cause is gone. » (Traduction) (Résumé en français de la section trente-quatre, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- Red / “problems now” — Google encountered at least one significant crawl-availability issue in the last week. This is the one to triage. » (Traduction) (Résumé en français de la section trente-quatre, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
Donc le yellow/red split est vraiment simplement a timing distinction: red = dans le dernier week (“actuellement”), yellow = précédent dans le 90-day window (“dans le past”). Le exact color noms et icon étiquettes sont interface details Google peut modifier; qu’est-ce que durable est que recency-based meaning.
Chaque category seulement counts as a “significant” problème une fois son échec rate crosses a threshold Google draws as a dotted line on que category’s graph. Google donne DNS échecs ci-dessus 5% de a day’s requêtes as un exemple de où que line sits — c’est an illustration pour DNS, pas a documented universal threshold que s’applique le même façon à robots.txt fetching et serveur connectivity.
«## Why robots.txt failures are the most dangerous » (Traduction) (Résumé en français de la section trente-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«If Google can’t get an acceptable robots.txt response, “Google will slow or
stop crawling your site until it can get an acceptable robots.txt response.”
That’s a whole-site pause, not a one-URL problem — which is what makes a red host
status driven by robots.txt an emergency.
» (Traduction) (Résumé en français de la section trente-huit, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«The detailed timeline lives in Google’s robots.txt spec. When robots.txt
returns 5xx, server errors, or network failures:
» (Traduction) (Résumé en français de la section trente-neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- First 12 hours: Google stops crawling the site but keeps trying to fetch
the robots.txt file.
» (Traduction) (Résumé en français de la section quarante, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- Next ~30 days: if Google can’t fetch a new version, it falls back to the
last good cached version while still trying to fetch a fresh one. A 503
in particular triggers fairly frequent retrying; if there’s no cached version
available, Google assumes there are no crawl restrictions.
» (Traduction) (Résumé en français de la section quarante, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.)
«- After 30 days: behavior diverges based on overall site health. If the site
generally serves fine, Google behaves as if there’s no robots.txt (and keeps
checking); if the site has broader availability problems, Google stops crawling
the site while still periodically requesting robots.txt.
» (Traduction) (Résumé en français de la section quarante, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
«The critical nuance — and a common myth — is the 4xx vs 5xx distinction.
Google’s HTTP status-code handling for robots.txt:
» (Traduction) (Résumé en français de la section quarante et un, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- 2xx (success): crawlers process the robots.txt as served.
» (Traduction) (Résumé en français de la section quarante-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- 3xx (redirect): Google follows at least five redirect hops, then treats it
as a 404.
» (Traduction) (Résumé en français de la section quarante-deux, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.)
«- 4xx (except 429): treated as if a valid robots.txt doesn’t exist — i.e.
Google crawls freely.
» (Traduction) (Résumé en français de la section quarante-deux, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
«- 5xx / 429 / network / DNS: treated as server errors → the crawl-pause
timeline above.
» (Traduction) (Résumé en français de la section quarante-deux, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.)
«So a missing robots.txt (a clean 404) does not pause crawling. An
unreachable one (5xx, timeout, DNS failure) does. And critically, “a
robots.txt file which cannot be fetched due to DNS or networking issues, such as
timeouts, invalid responses, reset or interrupted connections, and HTTP chunking
errors, is treated as a server error.” A flaky DNS provider can stall your
crawl exactly like a 5xx.
» (Traduction) (Résumé en français de la section quarante-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«## DNS and server connectivity » (Traduction) (Résumé en français de la section quarante-quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«DNS and server-connectivity failures are more intuitive but no less real. DNS
resolution failures mean Google’s resolvers couldn’t turn your hostname into an
address at some point in the window. Treat the specific cause as a hypothesis to
confirm, not a given — candidates include bad nameservers, an outage at your
DNS provider, or DNS-level rate limiting of Googlebot, and telling them apart
needs your DNS records, nameserver logs, and provider status history alongside
the Crawl Stats graph. Server-connectivity failures are 5xx, 429, timeouts,
and partial/truncated responses; likewise, an overloaded origin and a CDN/WAF
throttling Googlebot’s IP ranges are both plausible explanations that your
origin and edge logs — not the graph alone — have to confirm.
» (Traduction) (Résumé en français de la section quarante-cinq, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
Ce ties straight back to fréquence d’exploration. As I’ve written in my budget d’exploration guide, “Google va slow bas leur exploration si ils recevoir aussi nombreux 5xx (server errors) or 429 (aussi nombreux requêtes) Code d’état HTTPs.” John Mueller made the même point à propos de how fast the explorer reacts:
“je voudrais seulement expect le fréquence d’exploration à react que quickly si ils étaient returning 429 / 500 / 503 / timeouts, donc je voudrais double-vérifier ce que en réalité happened (404s sont généralement fine & une fois découvert, Googlebot va retry les anyway).” — John Mueller, Google.
il y a a subtle trap ici. Returning 503/429 est le legitimate à court terme
façon à tell Googlebot à lent bas — mais c’est le même signal que drives a red
host status. c’est a temporary throttle, pas a stratégie: lean on il aussi long et
vous risque pages dropping out de le indexer. Le signal que lets vous ease a explorer
est le signal que, sustained, semble comme an outage.
Ce que vous don’t besoin to do
A few choses personnes overthink:
- il y a aucun “reset crawl rate” button. Fréquence d’exploration typically recovers on son propre une fois availability est restored — Google ne fait pas document a fixed recovery window or SLA pour que, donc ne pas expect il à se produire on quelconque particulier schedule. Le old manual explorer-rate limiter dans Search Console était deprecated; vous ne pas (et ne peut pas) manuellement kick exploration back up.
- Yellow généralement fades on son propre. Une fois a week passes sans le problème recurring, le state ages back à green. Confirmer le root causer est gone, alors vérifier recovery independently plutôt que trusting le color alone: vérifier actuel reachability, watch le failing category’s graph trend back sous son threshold, confirmer explorer volume dans le rest de Statistiques d’exploration semble normal à nouveau, et, si il matters pour a spécifique URL, vérifier recrawl/indexer status dans Page Indexation.
- c’est pas a classement penalty. Host status affecte exploration, pas rankings directement, et on son propre il ne fait pas expliquer a trafic modifier — correlate le affected window avec explorer, indexer, et performances données avant assuming causer. Le indirect risque est que a sustained inability à explorer eventually affecte freshness et, downstream, indexation — mais il y a aucun manual action attached à a yellow or red indicator.
Host status vs the broader Statistiques d’exploration report
Garder le scopes straight. Host status est un section de le Statistiques d’exploration rapport — le availability lens. Le rest de le rapport (le partie la plupart personnes signifier quand ils dire “Explorer Stats”) est à propos de volume et performances over temps. As j’ai said elsewhere, quand vous êtes chasing a exploration problème “le meilleur placer à regarder est le Statistiques d’exploration rapport dans la recherche Google Console” — et host status est le premier chose dans il Je vérifier, parce que si Google ne peut pas reach le host, rien sinon dans le rapport matters yet. Le broader rapport est son propre topic; ce un est tightly à propos de le availability indicator.
AI summary
A condensed prendre on the Avancé version:
«- Host status = “did Google’s crawl history show it could reach the host?”
It’s the availability indicator at the top of GSC’s Crawl Stats report
(Settings → Crawl stats), assessed over the last 90 days. It’s a historical
record, not a live uptime check, and it’s host/site-level, not per-URL.
» (Traduction) (Résumé en français de la section cinquante-neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«- Three checks: robots.txt fetching, DNS resolution, server connectivity —
each with its own failure-rate graph, flagged once it crosses a threshold
(Google’s own example: DNS failures above 5% of a day’s requests).
» (Traduction) (Résumé en français de la section cinquante-neuf, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.)
«- Three states: green (no significant issues in 90 days); yellow (issue
more than a week ago — typically ages back to green on its own); red
(issue in the last week — triage it). Colors and labels are interface detail;
recency is the durable meaning.
» (Traduction) (Résumé en français de la section cinquante-neuf, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
«- robots.txt is the highest-stakes check. If Google can’t get an acceptable
robots.txt response it’s the underlying failure — not the host-status label —
that slows or stops crawling the whole site: ~12 hours fully stopped while
retrying, then up to ~30 days on the last cached copy if one exists, then
behavior depends on overall site health.
» (Traduction) (Résumé en français de la section cinquante-neuf, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.)
«- 4xx vs 5xx matters: a 404 robots.txt = crawl freely; a 5xx/timeout/DNS
failure = crawl pause. DNS/network errors count as server errors.
» (Traduction) (Résumé en français de la section cinquante-neuf, sous-partie cinq : le texte source est conservé pour vérification lors de la relecture francophone.)
«- 5xx and 429 throttle crawl rate (Mueller: 429/500/503/timeouts react fast;
404s are generally fine). The same 503/429 throttle is a short-term tool,
not a strategy.
» (Traduction) (Résumé en français de la section cinquante-neuf, sous-partie six : le texte source est conservé pour vérification lors de la relecture francophone.)
«- Recovery typically happens on its own once availability is restored, but
Google documents no fixed recovery window — no reset button; the manual
crawl-rate limiter was deprecated. The state aging back to green isn’t proof
crawling, indexing, or rankings have fully recovered; verify independently.
» (Traduction) (Résumé en français de la section cinquante-neuf, sous-partie sept : le texte source est conservé pour vérification lors de la relecture francophone.)
«- Not a ranking penalty on its own. It’s a crawl-availability signal,
distinct from Page Indexing errors and broader than the rest of the Crawl
Stats report — correlate with crawl/index/performance data before assigning
cause to a traffic change.
» (Traduction) (Résumé en français de la section cinquante-neuf, sous-partie huit : le texte source est conservé pour vérification lors de la relecture francophone.)
«## Official documentation » (Traduction) (Résumé en français de la section soixante-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«Primary-source documentation from Google. » (Traduction) (Résumé en français de la section soixante-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
«Google » (Traduction) (Résumé en français de la section soixante-quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- Crawl Stats report — the report that contains host status; defines the three checks and the three states. » (Traduction) (Résumé en français de la section soixante-quatre, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- How Google interprets the robots.txt specification — the robots.txt fetch-failure timeline (12-hour stop, 30-day cached fallback) and the HTTP status-code handling. » (Traduction) (Résumé en français de la section soixante-quatre, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- Troubleshoot Google Search crawling errors — Google’s general crawl-error troubleshooting. » (Traduction) (Résumé en français de la section soixante-quatre, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.) «- Debug Network and DNS errors for Google’s crawlers — DNS and network-level diagnostics. » (Traduction) (Résumé en français de la section soixante-quatre, sous-partie cinq : le texte source est conservé pour vérification lors de la relecture francophone.)
«## Quotes from the source » (Traduction) (Résumé en français de la section soixante-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)
On-le-record statements depuis Google. Chaque lien jumps toward le quoted passage on le page source.
Google — the three states (Statistiques d’exploration report)
«- “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” — Google Search Console Help (green state). Jump to quote » (Traduction) (Résumé en français de la section soixante-dix, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Google encountered at least one significant crawl availability issue in the last 90 days on your site, but it occurred more than a week ago.” — Google Search Console Help (yellow / “problems in the past” state). Jump to quote » (Traduction) (Résumé en français de la section soixante-dix, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Google encountered at least one significant crawl availability issue in the last week on your site.” — Google Search Console Help (red / “problems now” state). Jump to quote » (Traduction) (Résumé en français de la section soixante-dix, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
Google — the three checks (Statistiques d’exploration report)
«- “The graph shows the failure rate for robots.txt requests during a crawl.” — Google Search Console Help (robots.txt fetching). Jump to quote » (Traduction) (Résumé en français de la section soixante-douze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “The graph shows when your DNS server didn’t recognize your hostname or didn’t respond during crawling.” — Google Search Console Help (DNS resolution). Jump to quote » (Traduction) (Résumé en français de la section soixante-douze, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.” — Google Search Console Help (server connectivity). Jump to quote » (Traduction) (Résumé en français de la section soixante-douze, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
Google — le robots.txt explorer-pause mechanic
«- “Google will slow or stop crawling your site until it can get an acceptable robots.txt response.” — Google Search Console Help (robots.txt fetching section). Jump to quote » (Traduction) (Résumé en français de la section soixante-quatorze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “For the first 12 hours, Google stops crawling the site but keeps trying to fetch the robots.txt file.” — Google for Developers, robots.txt spec. Jump to quote » (Traduction) (Résumé en français de la section soixante-quatorze, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “A robots.txt file which cannot be fetched due to DNS or networking issues, such as timeouts, invalid responses, reset or interrupted connections, and HTTP chunking errors, is treated as a server error.” — Google for Developers, robots.txt spec. Jump to quote » (Traduction) (Résumé en français de la section soixante-quatorze, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)
John Mueller, Google (relayed via Moteur de recherche Journal)
- “je voudrais seulement expect le taux d’exploration à react ce quickly si ils étaient returning 429 / 500 / 503 / timeouts, donc je voudrais double-vérifier ce que actually happened (404s sont généralement fine & une fois discovered, Googlebot va retry les anyway).” Lire le coverage
Host-status triage checklist
A réussir to run quand host status goes yellow or red. Fonctionner the failing vérifier premier.
Si robots.txt fetching est failing
- Confirmer
robots.txtrenvoie200(or a clean404) — pas5xx,429, or a timeout. A404est fine; a erreur serveur est ce que pauses exploration. - Tester le fichier dans GSC’s robots.txt rapport et récupérer il yourself depuis plusieurs locations.
- Vérifier si a CDN, WAF, or rate-limiter est blocking or throttling Googlebot.
- Assurez-vous le fichier est reachable et reasonably petit (a quelques hundred KB à la plupart).
Si DNS resolution est failing
- Confirmer votre domain resolves (dig/nslookup depuis à l’extérieur votre network).
- Vérifier votre DNS provider’s status/uptime pour le échec window.
- Regarder pour misconfigured or lent nameservers.
- Vérifier rien est rate-limiting Googlebot à le DNS couche.
Si serveur connectivity est failing
- Vérifier logs pour
5xx,429, et timeouts during le flagged window. - Confirmer le origin n’est pas overloaded (capacity, DB, upstream timeouts).
- Vérifier a firewall/CDN n’est pas throttling Googlebot’s IP ranges.
- Regarder pour partiel/truncated réponses.
Toujours
- Cross-reference le host-status graph timestamps avec deploys, outages, et config changements.
- Corroborate avec serveur logs et le Statistiques d’exploration réponse-code breakdown.
- Une fois fixed, ne faites pashing sinon — exploration recovers automatiquement; yellow self-heals après a clair week.
The mental models
1. Three vérifications, un question.
Host status seulement demande “peut Google reach le host?” via robots.txt fetching, DNS
resolution, et serveur connectivity. Identifier qui vérifier failed avant vous
touch n’importe quoi — le corriger pour a DNS outage semble rien comme le corriger pour a 5xx
storm.
2. Le state machine est a clock, pas a severity dial. Green = clean pour 90 days. Red = a problème dans le dernier week. Yellow = a problème précédent dans le window. Yellow → green se produit on son propre une fois a week passes sans recurrence. Donc “red” n’est pas “worse than yellow” — c’est “plus recent.”
3. Le robots.txt décision règle.
2xx→ processed as servi.3xx→ followed ~5 hops, alors treated as404.4xx(except429) → treated as aucun robots.txt → explorer freely.5xx/429/ timeout / DNS échec → erreur serveur → explorer pause (12h arrêter → ~30d mis en cache fallback → dépend on site health).
A manquant robots.txt is safe. An unreachable un is the emergency.
4. Host status est upstream de tout sinon. Si Google ne peut pas connecter à le host, aucun per-URL rapport indique vous n’importe quoi utile yet. Clair host status premier, alors lire le rest de Statistiques d’exploration et Page Indexation.
5. Le throttle est aussi le symptom.
503/429 est le legitimate façon à tell Googlebot à lent bas — et le exact
signal que lights up a red host status. Utiliser il briefly et on objectif; sustained,
il arrête looking comme a throttle et commence looking comme an outage (avec indexation
risque).
Host status — cheat sheet
Le three states (90-day window)
| Color | Étiquette | Signifie | Que faire |
|---|---|---|---|
| Green | — | Aucun significant availability problèmes dans 90 days | Rien |
| Yellow | ”had problems in the past” | An problème, mais plus que a week ago | Confirmer causer est gone; il self-heals à green |
| Red | ”problems now” | An problème dans le dernier week | Triage le failing vérifier |
The three checks
| Vérifier | Graph montre | Typical causer |
|---|---|---|
| robots.txt fetching | Échec rate pour robots.txt requêtes | 5xx/timeout on le fichier, WAF/CDN bloquer |
| DNS resolution | DNS n’a pas recognize/réponse le hostname | DNS provider outage, mauvais nameservers |
| Serveur connectivity | Serveur unresponsive or partiel réponse | 5xx, 429, timeouts, truncated réponses |
robots.txt status-code handling
| Réponse | Google’s behavior |
|---|---|
2xx | Processed as served |
3xx | Follows ~5 hops, alors treats as 404 |
4xx (except 429) | Treated as aucun robots.txt → crawls freely |
5xx / 429 / timeout / DNS | Server error → explorer pause |
«robots.txt crawl-pause timeline (on server error) » (Traduction) (Résumé en français de la section cent quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- First 12 hours: stops crawling, keeps retrying the file. » (Traduction) (Résumé en français de la section cent quatre, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- Next ~30 days: uses last good cached copy, still retrying. » (Traduction) (Résumé en français de la section cent quatre, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- After 30 days: depends on overall site health. » (Traduction) (Résumé en français de la section cent quatre, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.)
Rapide facts
- Host status lives dans Paramètres → Statistiques d’exploration (top de le rapport).
- Domain/root-property seulement — pas URL-prefix subfolders.
- Recovery est typically hands-off une fois availability est restored — aucun reset button, aucun documented fixed timeline (manual explorer-rate limiter deprecated).
- c’est host-level, pas per-URL — distinct depuis Page Indexation erreurs.
- c’est pas a classement penalty.
Outils pour diagnosing host status
- Recherche Google Console — Statistiques d’exploration rapport — où host status lives (Paramètres → Statistiques d’exploration), plus le three per-vérifier failure-rate graphs et le réponse-code breakdown.
- GSC robots.txt rapport — confirmer Google peut récupérer votre
robots.txtet voir le code d’état il obtenu. - Serveur log fichier analysis — le ground truth pour ce que Googlebot en réalité
reçu (
5xx/429/timeouts) et quand. Outils: Screaming Frog Log Fichier Analyser, or pipe logs dans BigQuery / a log plateforme. - DNS diagnostics —
dig/nslookup, plus votre DNS provider’s status page, à confirmer resolution during le flagged window. - Uptime / status monitoring — à line up host-status dips avec réel outages, deploys, et config changements.
Ce que devrait I do with ce host-status state?
Analyser un avertissement d’état de l’hôte
Host-status mistakes que delay recovery
Treating a manquant robots.txt fichier comme an outage
Pourquoi c’est incorrect: Google treats la plupart 4xx réponses, notamment a clean 404, as
si aucun robots.txt restrictions exist. 5xx, 429, DNS échecs, et timeouts sont le
réponses que trigger explorer pausing. Faire à la place: tester le réel réponse code et
availability avant creating a fichier simplement à faire le 404 disappear.
Waiting pour a manual crawl-rate reset
Pourquoi c’est incorrect: là est aucun reset button, et le old explorer-rate contrôler n’est pas le recovery chemin. Faire à la place: restore stable réponses et let Googlebot augmenter exploration automatiquement.
Reading red et yellow as severity grades
Pourquoi c’est incorrect: le colors mainly encode recency. Red signifie a significant problème occurred dans le dernier week; yellow signifie il occurred précédent dans le rolling 90-day window. Faire à la place: utiliser le failing vérifier et timestamps à judge severity.
En utilisant 503 or 429 as a permanent crawl-control strategy
Pourquoi c’est incorrect: ceux codes peut être a legitimate à court terme throttle, mais ils sont aussi serveur-erreur signaux que reduce exploration et peut become an indexation risque quand sustained. Faire à la place: utiliser les briefly during réel overload et corriger le capacity or edge règle causing le pressure.
Diagnosing a host-level échec un URL at a temps
Pourquoi c’est incorrect: host status summarizes robots.txt, DNS, et connectivity échecs à le host level. Faire à la place: correlate le failure-rate graph avec serveur, CDN, WAF, DNS, et deployment logs avant chasing isolated page templates.
Rapide host-availability checks
Vérifier robots.txt and its chaîne de redirections
Exécuter ce dans a macOS/Linux shell. Remplacer le hostname; -L suit redirections et le
sortie exposes si le final réponse est acceptable or a explorer-pausing serveur
erreur.
curl -sS -L -o /dev/null -w 'final=%{url_effective} code=%{http_code} redirects=%{num_redirects} time=%{time_total}s\n' https://example.com/robots.txtRun the equivalent in PowerShell to voir chaque hop and final status.
$r = Invoke-WebRequest -Uri 'https://example.com/robots.txt' -MaximumRedirection 5
[pscustomobject]@{ Status = [int]$r.StatusCode; FinalUrl = $r.BaseResponse.ResponseUri.AbsoluteUri }Vérifier authoritative DNS depuis le command line
Exécuter ces dans a macOS/Linux shell. A manquant or intermittent réponse points à le DNS chemin plutôt que le origin application.
dig +short A example.com
dig +short AAAA example.com
dig +trace example.comExécuter le PowerShell equivalent on Windows.
Resolve-DnsName example.com -Type A
Resolve-DnsName example.com -Type AAAASummarize crawl-pause réponse codes from an accès log
Exécuter ce dans a shell contre a standard combined accès log. Adjust le log champ si
votre format differs; le expression counts 429 et 5xx réponses pour Googlebot.
awk 'tolower($0) ~ /googlebot/ && ($9 == 429 || $9 ~ /^5[0-9][0-9]$/) { count[$9]++ } END { for (code in count) print code, count[code] }' access.log | sort Ressources utiles
Mon connexe writing
- Quand Devrait Vous Worry À propos de Budget d’exploration? — où le
5xx/429throttle, le Statistiques d’exploration rapport, et host availability fit dans le bigger explorer-budget picture. - Robots.txt et SEO: Tout Vous devez Know — le fichier whose unreachability drives le highest-stakes host-status échec.
Depuis others
- Googlebot Explorer Slump? Mueller Points À Erreurs serveur — Moteur de recherche Journal, Aug 2025; le Mueller citation on
429/500/503/timeouts. - 5 Top Statistiques d’exploration Insights dans la recherche Google Console — Moteur de recherche Journal, on reading le broader rapport host status sits à l’intérieur.
- Comment Google interprets le robots.txt specification — Google pour Developers; le authoritative source pour le 12-hour explorer-arrêter et 30-day cached-fallback timeline.
- Debug Network et DNS erreurs pour Google’s robots d’exploration — Google pour Developers; DNS et network-level diagnostics directement pertinent à le DNS resolution vérifier.
- Troubleshoot Recherche Google exploration erreurs — Google pour Developers; Google’s propre guide pour diagnosing le serveur-connectivity échecs que drive a red host status.
- r/TechSEO — le community pour explorer/availability debugging.
Journal des modifications
Mis à jour le 18 juil. 2026.
Résumé éditorial et détails enregistrés des changements.Détails des changements
-
Les notes détaillées des changements sont actuellement disponibles en anglais.
-
Les notes détaillées des changements sont actuellement disponibles en anglais.
-
Les notes détaillées des changements sont actuellement disponibles en anglais.
Comparaison complète indisponible — aucun instantané antérieur n’a été archivé pour cette révision.