Hoststatus (Crawling-Statistik)

Kurz gesagt: Der Hoststatus ist eine Anzeige oben in der Crawling-Statistik der Google Search Console. Sie zeigt, ob Google Ihre Website in den letzten 90 Tagen erreichen konnte – keine Live-Prüfung nach dem Muster “is my site up right now” (Übersetzung: Ist meine Website gerade erreichbar?). Grün ist unauffällig, Gelb steht für ein Problem vor mehr als einer Woche und Rot für eines in der letzten Woche. Geprüft werden robots.txt, DNS und die Antwort des Servers.

Was der Hoststatus ist

Der Hoststatus fasst für den Berichtszeitraum die Verfügbarkeit beim Abruf von robots.txt, bei der DNS-Auflösung und bei der Serververbindung zusammen. Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report Er ist eine Diagnose auf Hostebene und kein Indexierungsurteil für eine einzelne URL. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report

Bevor Google eine Website crawlen kann, muss es die robots.txt finden, den Domainnamen in eine Adresse auflösen und vom Server eine Antwort erhalten. Der Hoststatus fasst zusammen, ob das in den letzten 90 Tagen funktioniert hat.

Sie finden ihn in der Google Search Console unter Einstellungen → Crawling-Statistik, ganz oben im Bericht. Die farbige Anzeige prüft:

1. Abruf von robots.txt – kann Google Ihre robots.txt herunterladen?
2. DNS-Auflösung – verweist Ihr Domainname auf einen Server?
3. Serververbindung – antwortet der Server vollständig?

Die drei Farben

• Grün – In den letzten 90 Tagen gab es keine erheblichen Probleme. Kein Handlungsbedarf.
• Gelb („Host hatte in der Vergangenheit Probleme“) – Das Problem liegt mehr als eine Woche zurück. Bleibt es aus, wechselt der Zustand meist von selbst wieder zu Grün.
• Rot – In der letzten Woche trat ein Problem auf. Das sollten Sie prüfen, weil Google bei fehlender Erreichbarkeit weniger crawlt.

Farben und Beschriftungen können sich in der Oberfläche ändern. Dauerhaft relevant ist die Aussage, wie lange das letzte erhebliche Problem zurückliegt.

Warum das wichtig ist

Der Hoststatus betrifft nicht nur eine defekte Seite, sondern Googles Verbindung zur gesamten Website. Besonders kritisch ist eine nicht abrufbare robots.txt: Google verlangsamt oder stoppt das Crawling der gesamten Website, bis die Datei wieder lesbar ist. Der Fehler bei robots.txt, DNS oder Server drosselt das Crawling – nicht die Hoststatus-Anzeige selbst.

Es gibt keinen Knopf zur Wiederherstellung. Sobald die Website wieder stabil erreichbar ist, nimmt Google das Crawling üblicherweise selbst wieder auf. Einen festen Zeitraum nennt Google nicht. Ermitteln Sie daher, welche der drei Prüfungen scheiterte, und beheben Sie die Ursache.

Der Hoststatus ist auch keine Rankingstrafe. Er ist ein Crawling-Signal. Für den genauen Pausenablauf, den Unterschied zwischen 4xx und 5xx und einen Entscheidungsbaum wechseln Sie zum Tab Fortgeschritten.

Selbsttest: Hoststatus

Fünf kurze Fragen zum Lesen und Beheben einer Hoststatus-Warnung in der Crawling-Statistik. Wählen Sie jeweils eine Antwort und prüfen Sie diese danach.

Kurz gesagt: Der Hoststatus ist die Verfügbarkeitsansicht oben in der Crawling-Statistik der GSC. Er zeigt historische Beobachtungen über 90 Tage für robots.txt, DNS und Serververbindung, keine Live-Uptime. Grün bedeutet keine erheblichen Probleme, Gelb ein Problem vor mehr als einer Woche, Rot eines in der letzten Woche. Bei einer unerreichbaren robots.txt stoppt Google zunächst ungefähr 12 Stunden und nutzt danach, sofern vorhanden, bis zu etwa 30 Tage die letzte gute Cache-Version. Ein 4xx ist meist unkritisch; 5xx, Timeout oder DNS-Fehler lösen die Pause aus. Es gibt keinen Reset-Knopf, und Grün beweist keine vollständige Erholung von Crawling, Indexierung oder Rankings.

Was der Hoststatus tatsächlich misst

Search Console beschreibt den Hoststatus innerhalb der Crawling-Statistik und bewertet die Verfügbarkeit der vergangenen 90 Tage. Evidence for this claim Search Console Host status summarizes robots.txt availability, DNS resolution, and server connectivity over the previous 90 days. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report Ergebnisse einzelner URLs diagnostizieren Sie getrennt in der URL-Prüfung oder Seitenindexierung. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report

Der Hoststatus beantwortet eine enge Frage: Konnte Googlebot den Host überhaupt erreichen? Das unterscheidet sich von „Ist diese Seite indexiert?“ oder „Liefert diese URL einen Fehler?“. Es geht um Website beziehungsweise Host, nicht um Crawling-Fehler einzelner URLs. Evidence for this claim Host status is a host-level Crawl Stats diagnostic rather than a per-URL Page Indexing decision. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Crawl Stats report

„Verfügbarkeit“ bedeutet hier eine historische Aufzeichnung von Googles Beobachtungen, keinen Live-Uptime-Monitor. Grün beweist nicht, dass die Website in diesem Moment erreichbar ist; Rot belegt nur, dass in der letzten Woche eine Schwelle überschritten wurde. Für den aktuellen Zustand ist eine direkte Prüfung nötig.

Die Anzeige steht oben in Einstellungen → Crawling-Statistik. Der Bericht ist nur für Domain- oder Root-Properties verfügbar, nicht für URL-Präfix-Unterordner. Der übrige Bericht behandelt Volumen und Leistung; der Hoststatus isoliert die Verfügbarkeit. Bei einem Crawling-Einbruch zeigt er, ob Google verbinden konnte, während Bericht und Serverprotokolle erklären, was geschah.

Die drei Prüfungen

Google bewertet drei Kategorien mit jeweils eigenem Fehlerratendiagramm:

• Abruf von robots.txt – “The graph shows the failure rate for robots.txt requests during a crawl.” (Übersetzung) „Das Diagramm zeigt die Fehlerrate von robots.txt-Anfragen während eines Crawls.“ Dies ist die kritischste Prüfung.
• DNS-Auflösung – “The graph shows when your DNS server didn’t recognize your hostname or didn’t respond during crawling.” (Übersetzung) „Das Diagramm zeigt, wann der DNS-Server den Hostnamen nicht erkannte oder beim Crawling nicht antwortete.“
• Serververbindung – “The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.” (Übersetzung) „Das Diagramm zeigt, wann der Server nicht reagierte oder beim Crawling keine vollständige URL-Antwort lieferte.“ Dazu gehören 5xx, Timeouts und unvollständige Antworten.

Die drei Zustände

Die Anzeige fasst die Prüfungen über ein rollierendes 90-Tage-Fenster zusammen:

• Grün – “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” (Übersetzung) „Google hat in den vergangenen 90 Tagen keine erheblichen Probleme mit der Crawling-Verfügbarkeit Ihrer Website festgestellt.“
• Gelb / „Probleme in der Vergangenheit“ – Mindestens ein erhebliches Problem trat in den letzten 90 Tagen auf, liegt aber mehr als eine Woche zurück. Ohne Wiederholung wechselt der Zustand meist selbst zu Grün.
• Rot / „Probleme jetzt“ – Mindestens ein erhebliches Problem trat in der letzten Woche auf und sollte untersucht werden.

Rot und Gelb unterscheiden sich damit vor allem zeitlich: Rot heißt letzte Woche, Gelb früher im 90-Tage-Fenster. Farben und Beschriftungen sind veränderbare Oberflächendetails; die zeitliche Bedeutung ist maßgeblich.

Eine Kategorie gilt erst als erheblich, wenn ihre Fehlerrate eine im Diagramm gepunktet dargestellte Schwelle überschreitet. Google nennt DNS-Fehler bei mehr als 5 % der Tagesanfragen als Beispiel. Das ist keine dokumentierte universelle Schwelle für robots.txt und Serververbindungen.

Warum robots.txt-Fehler besonders gefährlich sind

Kann Google keine akzeptable robots.txt abrufen, gilt: “Google will slow or stop crawling your site until it can get an acceptable robots.txt response.” (Übersetzung) „Google verlangsamt oder stoppt das Crawling Ihrer Website, bis eine akzeptable robots.txt-Antwort verfügbar ist.“ Das betrifft die ganze Website und macht einen dadurch ausgelösten roten Hoststatus dringend.

Die robots.txt-Spezifikation beschreibt bei 5xx, Server- oder Netzwerkfehlern:

• Erste 12 Stunden: Google stoppt das Website-Crawling, versucht aber weiter, robots.txt abzurufen.
• Nächste etwa 30 Tage: Google nutzt die letzte gute Cache-Version, sofern vorhanden, und probiert den Abruf weiter. Bei 503 wird relativ häufig erneut versucht; ohne Cache nimmt Google keine Crawling-Beschränkungen an.
• Nach 30 Tagen: Das Verhalten hängt von der allgemeinen Website-Gesundheit ab. Funktioniert die Website sonst, verhält sich Google wie ohne robots.txt; bei breiteren Ausfällen stoppt es das Crawling und prüft die Datei weiterhin.

Entscheidend ist der Unterschied 4xx gegenüber 5xx:

• 2xx (Erfolg): Crawler verarbeiten die ausgelieferte robots.txt.
• 3xx (Weiterleitung): Google folgt mindestens fünf Sprüngen und behandelt das Ergebnis danach wie 404.
• 4xx (außer 429): Es gilt, als gäbe es keine gültige robots.txt; Google crawlt frei.
• 5xx / 429 / Netzwerk / DNS: gelten als Serverfehler und lösen den beschriebenen Pausenablauf aus.

Eine fehlende robots.txt mit sauberem 404 stoppt das Crawling also nicht, eine unerreichbare mit 5xx, Timeout oder DNS-Fehler dagegen schon. Zudem gilt: “a robots.txt file which cannot be fetched due to DNS or networking issues, such as timeouts, invalid responses, reset or interrupted connections, and HTTP chunking errors, is treated as a server error.” (Übersetzung) „Eine robots.txt, die wegen DNS- oder Netzwerkproblemen wie Timeouts, ungültigen Antworten, zurückgesetzten oder unterbrochenen Verbindungen oder HTTP-Chunking-Fehlern nicht abrufbar ist, wird als Serverfehler behandelt.“ Ein instabiler DNS-Anbieter kann das Crawling daher wie ein 5xx blockieren.

DNS und Serververbindung

DNS-Fehler bedeuten, dass Googles Resolver den Hostnamen zeitweise nicht in eine Adresse auflösen konnten. Die Ursache muss bestätigt werden: mögliche Kandidaten sind fehlerhafte Nameserver, ein Ausfall des DNS-Anbieters oder DNS-seitige Drosselung von Googlebot. Dafür brauchen Sie DNS-Einträge, Nameserver-Protokolle und den Statusverlauf des Anbieters. Serververbindungsfehler umfassen 5xx, 429, Timeouts und unvollständige Antworten. Ob ein überlasteter Ursprung oder CDN/WAF Googlebot drosselt, müssen Origin- und Edge-Protokolle belegen.

Das wirkt direkt auf die Crawlrate. In meinem Leitfaden zum Crawl-Budget steht: “Google will slow down their crawling if they receive too many 5xx (server errors) or 429 (too many requests) HTTP status codes.” (Übersetzung) „Google verlangsamt das Crawling, wenn zu viele 5xx- oder 429-HTTP-Statuscodes eingehen.“ John Mueller beschrieb die schnelle Reaktion ebenso:

“I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts, so I’d double-check what actually happened (404s are generally fine & once discovered, Googlebot will retry them anyway).” (Übersetzung) „Eine so schnelle Reaktion der Crawlrate wäre nur bei 429, 500, 503 oder Timeouts zu erwarten; prüfen Sie daher genau, was passiert ist. 404 sind im Allgemeinen unproblematisch und werden erneut versucht.“ — John Mueller, Google.

Hier liegt eine Falle: 503 und 429 sind legitime kurzfristige Signale, um Googlebot zu bremsen, zugleich aber Auslöser eines roten Hoststatus. Als kurze Drossel sind sie sinnvoll; dauerhaft sehen sie wie ein Ausfall aus und können Seiten aus dem Index drängen.

Was Sie nicht tun müssen

Einige Punkte werden häufig unnötig verkompliziert:

• Es gibt keinen Knopf „Crawlrate zurücksetzen“. Nach stabiler Wiederherstellung erholt sich die Crawlrate üblicherweise selbst. Google nennt weder festes Zeitfenster noch SLA; der alte manuelle Regler wurde eingestellt.
• Gelb verschwindet meist von selbst. Nach einer störungsfreien Woche altert der Zustand zu Grün. Prüfen Sie dennoch unabhängig: aktuelle Erreichbarkeit, Diagramm unter der Schwelle, normales Crawlvolumen und bei wichtigen URLs den erneuten Crawl- beziehungsweise Indexierungsstatus.
• Es ist keine Rankingstrafe. Der Hoststatus beeinflusst zunächst das Crawling und erklärt allein keine Traffic-Änderung. Vergleichen Sie den Zeitraum mit Crawling-, Index- und Leistungsdaten. Längere Nichterreichbarkeit kann indirekt Aktualität und Indexierung beeinträchtigen.

Hoststatus und der übrige Crawling-Statistik-Bericht

Der Hoststatus ist nur der Verfügbarkeitsabschnitt. Der restliche Bericht zeigt Volumen und Leistung im Zeitverlauf. Bei Crawling-Problemen gilt: “the best place to look is the Crawl Stats report in Google Search Console” (Übersetzung) „Der beste Ausgangspunkt ist der Crawling-Statistik-Bericht in der Google Search Console.“ Den Hoststatus prüfe ich zuerst, denn ohne Verbindung zum Host sind die übrigen Werte zweitrangig. Dieser Artikel konzentriert sich auf genau diese Verfügbarkeitsanzeige.

KI-Zusammenfassung

Kurzfassung der fortgeschrittenen Ansicht:

• Hoststatus = „Zeigt Googles Crawlverlauf, dass der Host erreichbar war?“ Die Anzeige oben in der Crawling-Statistik bewertet 90 Tage. Sie ist historisch, nicht live, und gilt für Host beziehungsweise Website statt einzelne URLs.
• Drei Prüfungen: robots.txt-Abruf, DNS-Auflösung und Serververbindung, jeweils mit Fehlerratendiagramm und Schwelle; Google nennt mehr als 5 % DNS-Fehler als Beispiel.
• Drei Zustände: Grün ohne erhebliche Probleme, Gelb für ein Problem vor mehr als einer Woche, Rot für eines in der letzten Woche. Entscheidend ist die Aktualität, nicht die konkrete Oberflächenfarbe.
• robots.txt ist am kritischsten. Eine nicht akzeptable Antwort kann das Crawling der gesamten Website etwa 12 Stunden stoppen; danach wird bis zu etwa 30 Tage eine vorhandene letzte gute Cache-Version verwendet.
• 4xx und 5xx unterscheiden sich: Eine zweite robots.txt-Prüfung mit 404 erlaubt freies Crawling, während 5xx, Timeout und DNS-Fehler die Pause auslösen.
• 5xx und 429 drosseln die Crawlrate. 429/500/503/Timeouts reagieren schnell; dieselbe Drosselung durch 503/429 eignet sich nur als kurzfristige Maßnahme, nicht als dauerhafte Strategie.
• Die Erholung erfolgt meist automatisch, doch Google nennt keinen festen Zeitraum. Grün beweist keine vollständige Erholung; prüfen Sie unabhängig.
• Keine eigenständige Rankingstrafe. Ordnen Sie Traffic-Änderungen erst nach Abgleich mit Crawling-, Indexierungs- und Leistungsdaten zu.

Offizielle Dokumentation

Primärquellen von Google.

Google

• Bericht zur Crawling-Statistik – enthält den Hoststatus und definiert die drei Prüfungen sowie Zustände.
• Googles Auslegung der robots.txt-Spezifikation – Ablauf bei Abruffehlern (12 Stunden Stopp, 30 Tage Cache) und Behandlung von HTTP-Statuscodes.
• Fehler beim Google-Crawling beheben – allgemeine Fehlerbehebung für Google-Crawling.
• Netzwerk- und DNS-Fehler für Google-Crawler diagnostizieren – Diagnose auf DNS- und Netzwerkebene.

Zitate aus den Quellen

Nachprüfbare Aussagen von Google. Jeder Link führt zur zitierten Passage.

Google – die drei Zustände (Crawling-Statistik)

• “Google didn’t encounter any significant crawl availability issues on your site in the past 90 days—good job!” (Übersetzung) „Google hat in den vergangenen 90 Tagen keine erheblichen Probleme mit der Crawling-Verfügbarkeit Ihrer Website festgestellt.“ — Google Search Console Help (grüner Zustand). Zum Zitat
• “Google encountered at least one significant crawl availability issue in the last 90 days on your site, but it occurred more than a week ago.” (Übersetzung) „Google hat in den letzten 90 Tagen mindestens ein erhebliches Verfügbarkeitsproblem festgestellt, das jedoch mehr als eine Woche zurückliegt.“ — Google Search Console Help (gelber Zustand). Zum Zitat
• “Google encountered at least one significant crawl availability issue in the last week on your site.” (Übersetzung) „Google hat in der letzten Woche mindestens ein erhebliches Problem mit der Crawling-Verfügbarkeit Ihrer Website festgestellt.“ — Google Search Console Help (roter Zustand). Zum Zitat

Google – die drei Prüfungen (Crawling-Statistik)

• “The graph shows the failure rate for robots.txt requests during a crawl.” (Übersetzung) „Das Diagramm zeigt die Fehlerrate von robots.txt-Anfragen während eines Crawls.“ — Google Search Console Help (Abruf von robots.txt). Zum Zitat
• “The graph shows when your DNS server didn’t recognize your hostname or didn’t respond during crawling.” (Übersetzung) „Das Diagramm zeigt, wann Ihr DNS-Server den Hostnamen nicht erkannte oder beim Crawling nicht antwortete.“ — Google Search Console Help (DNS-Auflösung). Zum Zitat
• “The graph shows when your server was unresponsive or did not provide a full response for a URL during a crawl.” (Übersetzung) „Das Diagramm zeigt, wann Ihr Server nicht reagierte oder beim Crawling keine vollständige Antwort für eine URL lieferte.“ — Google Search Console Help (Serververbindung). Zum Zitat

Google – Mechanismus der robots.txt-Crawling-Pause

• “Google will slow or stop crawling your site until it can get an acceptable robots.txt response.” (Übersetzung) „Google verlangsamt oder stoppt das Crawling Ihrer Website, bis eine akzeptable robots.txt-Antwort verfügbar ist.“ — Google Search Console-Hilfe. Zum Zitat
• “For the first 12 hours, Google stops crawling the site but keeps trying to fetch the robots.txt file.” (Übersetzung) „In den ersten 12 Stunden stoppt Google das Crawling der Website, versucht aber weiterhin, die robots.txt-Datei abzurufen.“ — Google für Entwickler. Zum Zitat
• “A robots.txt file which cannot be fetched due to DNS or networking issues, such as timeouts, invalid responses, reset or interrupted connections, and HTTP chunking errors, is treated as a server error.” (Übersetzung) „Eine robots.txt-Datei, die wegen DNS- oder Netzwerkproblemen wie Timeouts, ungültigen Antworten, zurückgesetzten oder unterbrochenen Verbindungen oder HTTP-Chunking-Fehlern nicht abrufbar ist, wird als Serverfehler behandelt.“ — Google für Entwickler. Zum Zitat

John Mueller, Google (über Search Engine Journal wiedergegeben)

• “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts, so I’d double-check what actually happened (404s are generally fine & once discovered, Googlebot will retry them anyway).” (Übersetzung) „Eine so schnelle Reaktion der Crawlrate wäre nur bei diesen Serverantworten oder Timeouts zu erwarten; prüfen Sie daher, was tatsächlich geschah. Nicht gefundene Seiten sind im Allgemeinen unproblematisch und Googlebot versucht sie nach der Entdeckung erneut.“ Bericht lesen

Checkliste zur Hoststatus-Fehlerbehebung

Gehen Sie diese Liste bei Gelb oder Rot durch und beginnen Sie mit der fehlgeschlagenen Prüfung.

Wenn der Abruf von robots.txt scheitert

• Bestätigen Sie 200 oder ein sauberes 404, nicht 5xx, 429 oder Timeout. 404 ist unkritisch; Serverfehler pausieren das Crawling.
• Testen Sie die robots.txt im GSC-Bericht und von mehreren Standorten.
• Prüfen Sie, ob CDN, WAF oder Ratenbegrenzung Googlebot blockiert.
• Stellen Sie Erreichbarkeit und eine vernünftige Größe von höchstens einigen Hundert KB sicher.

Wenn die DNS-Auflösung scheitert

• Prüfen Sie die Auflösung extern mit dig oder nslookup.
• Prüfen Sie Status und Verfügbarkeit des DNS-Anbieters im Fehlerzeitraum.
• Suchen Sie nach falsch konfigurierten oder langsamen Nameservern.
• Schließen Sie DNS-seitige Drosselung von Googlebot aus.

Wenn die Serververbindung scheitert

• Prüfen Sie Protokolle im markierten Zeitraum auf 5xx, 429 und Timeouts.
• Schließen Sie Überlastung von Origin, Datenbank oder Upstream aus.
• Prüfen Sie Firewall und CDN auf Drosselung der Googlebot-IP-Bereiche.
• Suchen Sie nach unvollständigen oder abgebrochenen Antworten.

Immer

• Vergleichen Sie Diagrammzeitpunkte mit Deployments, Ausfällen und Änderungen.
• Bestätigen Sie die Diagnose durch Serverprotokolle und Statuscode-Aufteilung.
• Nach der Behebung ist keine weitere Aktion nötig: Das Crawling erholt sich automatisch, Gelb nach einer störungsfreien Woche.

Die Denkmodelle

1. Drei Prüfungen, eine Frage. Der Hoststatus fragt nur, ob Google den Host über robots.txt, DNS und Serververbindung erreichen konnte. Ermitteln Sie zuerst die gescheiterte Prüfung; ein DNS-Ausfall verlangt eine andere Lösung als eine 5xx-Welle.

2. Die Zustandsmaschine ist eine Uhr, kein Schweregradregler. Grün bedeutet 90 unauffällige Tage, Rot ein Problem in der letzten Woche und Gelb eines früher im Fenster. Nach einer störungsfreien Woche wird Gelb von selbst Grün. Rot heißt daher „neuer“, nicht zwingend „schlimmer“.

3. Die robots.txt-Entscheidungsregel.

• 2xx → wie ausgeliefert verarbeitet.
• 3xx → ungefähr fünf Sprünge, danach wie 404.
• 4xx außer 429 → keine robots.txt, also freies Crawling.
• 5xx, 429, Timeout oder DNS-Fehler → Serverfehler und Crawling-Pause (12 Stunden Stopp, etwa 30 Tage Cache, danach abhängig vom Website-Zustand).

Eine fehlende robots.txt ist unkritisch. Eine unerreichbare ist dringend.

4. Der Hoststatus liegt vor allen anderen Diagnosen. Kann Google den Host nicht erreichen, hilft zunächst kein URL-Bericht. Beheben Sie erst die Hostverfügbarkeit und lesen Sie danach Crawling-Statistik und Seitenindexierung.

5. Die Drossel ist zugleich das Symptom. 503 und 429 bremsen Googlebot legitim, lösen aber auch Rot aus. Nutzen Sie sie kurz und gezielt; dauerhaft wirken sie wie ein Ausfall mit Indexierungsrisiko.

Hoststatus – Spickzettel

Die drei Zustände (90-Tage-Fenster)

Die drei Prüfungen

Behandlung der robots.txt-Statuscodes

Ablauf der robots.txt-Pause bei Serverfehlern

• Erste 12 Stunden: Crawling gestoppt, Datei wird weiter abgerufen.
• Nächste etwa 30 Tage: letzte gute Cache-Version, weitere Versuche.
• Nach 30 Tagen: abhängig von der allgemeinen Website-Gesundheit.

Schnelle Fakten

• Der Hoststatus steht in Einstellungen → Crawling-Statistik oben im Bericht.
• Nur für Domain-/Root-Properties, nicht URL-Präfix-Unterordner.
• Nach Wiederherstellung erfolgt die Erholung meist automatisch, ohne Reset oder dokumentierten festen Zeitraum.
• Hostebene statt einzelne URL; getrennt von Fehlern der Seitenindexierung.
• Keine Rankingstrafe.

Werkzeuge zur Hoststatus-Diagnose

• Google Search Console – Crawling-Statistik – enthält Hoststatus, Fehlerratendiagramme und Statuscode-Aufteilung.
• GSC-robots.txt-Bericht – zeigt, ob Google robots.txt abrufen kann und welchen Statuscode es erhält.
• Serverprotokollanalyse – belegt, wann Googlebot 5xx, 429 oder Timeouts erhielt; etwa mit Screaming Frog Log File Analyser oder BigQuery.
• DNS-Diagnose – dig, nslookup und Statusseite des DNS-Anbieters für den markierten Zeitraum.
• Uptime-/Status-Monitoring – verknüpft Einbrüche mit Ausfällen, Deployments und Konfigurationsänderungen.

Was soll ich bei diesem Hoststatus tun?

Hoststatus-Fehler mit verzögerter Erholung

Eine fehlende robots.txt wie einen Ausfall behandeln

Warum das falsch ist: Google behandelt die meisten 4xx, einschließlich sauberem 404, wie fehlende Einschränkungen. 5xx, 429, DNS-Fehler und Timeouts pausieren das Crawling. Besser: Prüfen Sie Statuscode und Erreichbarkeit, bevor Sie nur zum Beseitigen von 404 eine Datei anlegen.

Auf ein manuelles Zurücksetzen der Crawlrate warten

Warum das falsch ist: Es gibt keinen Reset-Knopf; der alte Regler ist nicht der Erholungsweg. Besser: Stellen Sie stabile Antworten wieder her und lassen Sie Googlebot die Crawlrate automatisch erhöhen.

Rot und Gelb als Schweregrade lesen

Warum das falsch ist: Die Farben kodieren vor allem Aktualität. Rot bedeutet letzte Woche, Gelb früher im 90-Tage-Fenster. Besser: Bewerten Sie Schweregrad anhand der gescheiterten Prüfung und Zeitpunkte.

503 oder 429 dauerhaft zur Crawling-Steuerung verwenden

Warum das falsch ist: Kurzfristig können sie drosseln, dauerhaft reduzieren sie das Crawling und gefährden die Indexierung. Besser: Nur bei echter Überlastung kurz einsetzen und Kapazitäts- oder Edge-Ursache beheben.

Einen Fehler auf Hostebene URL für URL diagnostizieren

Warum dies falsch ist: Der Hoststatus fasst robots.txt-, DNS- und Verbindungsfehler des Hosts zusammen. Besser: Diagramm mit Server-, CDN-, WAF-, DNS- und Deployment-Protokollen abgleichen, bevor Sie Templates verfolgen.

Schnelle Prüfungen der Hostverfügbarkeit

robots.txt und Weiterleitungskette prüfen

Führen Sie den Befehl in macOS oder Linux aus und ersetzen Sie den Hostnamen. -L folgt Weiterleitungen; die Ausgabe zeigt, ob die letzte Antwort akzeptabel ist oder als Serverfehler das Crawling pausiert.

curl -sS -L -o /dev/null -w 'final=%{url_effective} code=%{http_code} redirects=%{num_redirects} time=%{time_total}s\n' https://example.com/robots.txt

Das PowerShell-Pendant zeigt jeden Sprung und den endgültigen Status.

$r = Invoke-WebRequest -Uri 'https://example.com/robots.txt' -MaximumRedirection 5
[pscustomobject]@{ Status = [int]$r.StatusCode; FinalUrl = $r.BaseResponse.ResponseUri.AbsoluteUri }

Autoritatives DNS über die Befehlszeile prüfen

Diese Befehle laufen unter macOS oder Linux. Eine fehlende oder sporadische Antwort verweist auf den DNS-Pfad statt die Origin-Anwendung.

dig +short A example.com
dig +short AAAA example.com
dig +trace example.com

Das PowerShell-Pendant unter Windows:

Resolve-DnsName example.com -Type A
Resolve-DnsName example.com -Type AAAA

Statuscodes für Crawling-Pausen aus einem Zugriffsprotokoll zusammenfassen

Führen Sie dies für ein übliches kombiniertes Zugriffsprotokoll aus. Passen Sie bei anderem Format das Feld an; der Ausdruck zählt 429 und 5xx für Googlebot.

awk 'tolower($0) ~ /googlebot/ && ($9 == 429 || $9 ~ /^5[0-9][0-9]$/) { count[$9]++ } END { for (code in count) print code, count[code] }' access.log | sort

Empfehlenswerte Ressourcen

Meine verwandten Artikel

• Wann sollten Sie sich um das Crawl-Budget sorgen? – ordnet 5xx/429, Crawling-Statistik und Hostverfügbarkeit in das Crawl-Budget ein.
• Robots.txt und SEO: Alles Wissenswerte – behandelt die Datei, deren Nichterreichbarkeit den kritischsten Hoststatus-Fehler auslöst.

Von anderen

• Googlebot-Crawling-Einbruch? Mueller verweist auf Serverfehler – Search Engine Journal, August 2025; Mueller-Zitat zu 429, 500, 503 und Timeouts.
• Fünf wichtige Erkenntnisse aus der Crawling-Statistik – zum übergeordneten Bericht, in dem der Hoststatus steht.
• Googles Auslegung der robots.txt-Spezifikation – maßgebliche Quelle für 12 Stunden Stopp und 30 Tage Cache-Rückfall.
• Netzwerk- und DNS-Fehler für Google-Crawler diagnostizieren – DNS- und Netzwerkdiagnose für die DNS-Prüfung.
• Fehler beim Google-Crawling beheben – Googles Leitfaden für Serververbindungsfehler hinter einem roten Hoststatus.
• r/TechSEO – Community für Crawling- und Verfügbarkeitsdiagnosen.

Änderungsprotokoll