Crawl-Rate

TL;DR — Die Crawl-Rate beschreibt, wie schnell eine Suchmaschine Seiten von deiner Website abruft. Google legt sie automatisch anhand des Zustands deines Servers fest – es gibt keine Schaltfläche mehr, mit der du sie erhöhen oder verringern kannst. Wenn dein Server überlastet wird, besteht die Lösung darin, ihn schneller zu machen (oder ihn nur für ein oder zwei Tage einen „langsamer“-Fehler zurückgeben zu lassen). Schnelleres Crawling verbessert dein Ranking nicht.

Was die Crawl-Rate ist

Wenn eine Suchmaschine deine Website crawlt, ruft sie nicht alle Seiten auf einmal ab – sie taktet sich selbst. Crawl-Rate ist dieses Tempo: wie viele Seiten ein Crawler pro Zeitmoment abruft und wie lange er zwischen Abrufen wartet. Googlebot bei Google, Bingbot bei Bing. Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Der ganze Sinn dieser Taktung ist Rücksichtnahme. Ein Crawler könnte einen kleinen Server leicht überlasten, wenn er Hunderte Seiten pro Sekunde anfordert. Deshalb beobachtet er, wie deine Website antwortet, und fährt zurück, wenn der Server zu kämpfen beginnt. Antworte schnell, und er ruft etwas schneller ab; werde langsamer oder gib Fehler zurück, crawlt er weniger.

Die große Veränderung

Jahrelang lautete der Rat: „Gehe in die Search Console und stelle den Regler für die Crawling-Rate herunter.“ Diesen Regler gibt es nicht mehr – Google hat ihn am 8. Januar 2024 entfernt. Wenn du also eine Anleitung findest, die dich auffordert, ihn anzupassen, ist diese Anleitung veraltet. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: 2026-07-14 Google: Crawl rate limiter deprecation

Heute ist die Rate automatisch. Du stellst sie nicht ein; Google liest die Antworten deines Servers und entscheidet.

Googlebot verlangsamen

Wenn dein Server tatsächlich überlastet wird, gehe in dieser Reihenfolge vor:

1. Mache den Server schneller oder gib ihm mehr Ressourcen. Das ist die eigentliche Lösung. Googlebot crawlt einen gesunden, schnellen Server ganz von selbst angenehmer.
2. Nur im echten Notfall: Lass deinen Server statt der normalen Seite einen 500-, 503- oder 429-Fehler zurückgeben. Google wertet das fast sofort als „langsamer machen“. Tu das aber höchstens ein oder zwei Tage – lässt du es länger aktiv, kann Google beginnen, deine Seiten aus der Suche zu entfernen.

Was du nicht tun solltest: Blockiere Googlebot nicht mit 403- oder 404-Fehlern (das verlangsamt das Crawling nicht und birgt das Risiko, Seiten zu verlieren) und verlasse dich nicht auf crawl-delay in deiner robots.txt – Google ignoriert es (Bing berücksichtigt es).

Kannst du Google schneller crawlen lassen?

Nicht auf Abruf – es gibt keine Schaltfläche „mehr crawlen“, und du kannst keine Erhöhung beantragen. Du kannst es indirekt fördern: Ein schnellerer Server, eine saubere Sitemap, gute interne Links und das Entfernen doppelter oder wertloser URLs helfen. Aber mehr Crawling ist kein Selbstzweck – es verbessert dein Ranking nicht.

Du möchtest die Details zu Statuscodes, die Geschichte der Abschaffung und die Unterschiede zu Bing? Wechsle zum Tab Fortgeschritten.

TL;DR — Die Crawl-Rate ist die Angebotsseite des Crawl-Budgets – wie schnell ein Crawler Seiten abruft, festgelegt durch das, was Google das Crawl-Kapazitätslimit nennt (parallele Verbindungen plus Verzögerung zwischen Abrufen). Sie ist automatisch und reagiert auf den Zustand des Servers; der manuelle GSC-Regler wurde am 8. Januar 2024 entfernt. Um Googlebot jetzt zu verlangsamen, sendest du ein Signal über HTTP: 500/503/429 höchstens 1–2 Tage, niemals 401/403/404, und crawl-delay wird von Google ignoriert (von Bing berücksichtigt). Du kannst keine Erhöhung beantragen – verbessere die Rate indirekt. Bing hat weiterhin ein manuelles Crawl-Control-Raster. Die Crawl-Rate ist kein Rankingfaktor, und die meisten Websites müssen sie nie anfassen.

Was die Crawl-Rate tatsächlich ist

Die Crawl-Rate beschreibt, wie schnell ein Crawler Seiten von deinem Server abruft – die Anzahl gleichzeitiger Anfragen und die Verzögerung zwischen ihnen. Googles Bezeichnung dafür ist das Crawl-Kapazitätslimit: „die maximale Anzahl gleichzeitiger paralleler Verbindungen, die Google zum Crawlen einer Website verwenden kann, sowie die Zeitverzögerung zwischen Abrufen.“ Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Sie ist eine Hälfte des Crawl-Budgets. Wie ich es in meinem Crawl-Budget-Leitfaden von Ahrefs formuliere, zerfällt das Crawl-Budget in „Crawl-Nachfrage, also wie viele Seiten eine Suchmaschine auf deiner Website crawlen möchte, und Crawl-Rate, also wie schnell sie crawlen kann.“ Die Crawl-Rate ist die Angebotsseite (wie schnell du sie zulässt); die Crawl-Nachfrage ist die Nachfrageseite (wie viel sie möchten). Das Crawl-Budget ist der Treffpunkt der beiden – Rankings liegen vollständig außerhalb dieser Schleife.

In meinem Deck How Search Works beschreibe ich das Crawl-Ratenlimit einfach als das, was deine Website verkraften kann – es wird durch die Stabilität und Crawling-Gesundheit deines Servers, langsame Antworten, 5xx- (Server-)Fehler und 429-Antworten (zu viele Anfragen) bestimmt. Google fährt zurück, wenn dein Server zu kämpfen beginnt, weil es deine Website nicht zum Absturz bringen will. Ein Detail, das viele übersehen: Alle Googlebots teilen sich einen einzigen Crawling-Pool – die Bots für Suche, Bilder, Anzeigen und so weiter greifen auf dieselbe Rate zurück. Ein außer Kontrolle geratenes Crawling eines Ressourcentyps frisst daher das Crawling aller anderen Dinge auf.

Was die Crawl-Rate festlegt

Das Kapazitätslimit ist automatisch und reagiert in Echtzeit auf deinen Server. Google sagt: „Wenn die Website eine Zeit lang schnell antwortet, steigt das Limit, sodass mehr Verbindungen zum Crawlen verwendet werden können. Wenn die Website langsamer wird oder mit Serverfehlern antwortet, sinkt das Limit und Google crawlt weniger.“

Es gibt einen zweiten Hebel, den du nicht kontrollierst: Googles eigene Ressourcen. „Google hat viele Maschinen, aber nicht unendlich viele Maschinen. Wir müssen mit den Ressourcen, die uns zur Verfügung stehen, weiterhin Entscheidungen treffen.“ Der Zustand deines Servers setzt also die Obergrenze für das, was Google verwenden will, aber Googles eigene Kapazität und die Crawling-Nachfrage deiner Website entscheiden, wie viel dieser Obergrenze tatsächlich genutzt wird.

Das Mythen-Dokument bestätigt, dass die Verbindung zum Serverzustand in beide Richtungen wirkt: „Eine schnelle Website ist ein Zeichen für gesunde Server, sodass sie über dieselbe Anzahl von Verbindungen mehr Inhalte erhalten kann“, während „eine erhebliche Anzahl von 5xx-HTTP-Antwortstatuscodes (Serverfehlern) oder Zeitüberschreitungen bei Verbindungen das Gegenteil signalisiert und das Crawling langsamer wird.“

Beeinflusst die Crawl-Rate das Ranking? Nein.

Räume diesen Irrtum zuerst aus, denn er treibt viel fehlgeleiteten Aufwand an. Crawling ist notwendig, damit du in der Suche erscheinst, aber es ist kein Rankingsignal. Google sagt ausdrücklich: „Die Verbesserung deiner Crawl-Rate führt nicht zwangsläufig zu besseren Positionen in den Google-Suchergebnissen.“ Schnelleres oder häufigeres Crawling sorgt für frischere Entdeckung und Indexierung, nicht für höhere Positionen. Die Crawl-Rate ist eine Frage von Effizienz und Serverzustand – Punkt. Evidence for this claim Improving crawl rate does not itself improve ranking positions; crawling is necessary for eligibility but is not a ranking signal. Scope: websites Confidence: high · Verified: 2026-07-15 Myths and facts about crawling

Die Crawl-Rate von Googlebot reduzieren

In dieser Reihenfolge – von der echten Lösung bis zum Notfallhebel:

1. Repariere den Server (die echte Lösung). Mache ihn schneller oder füge Ressourcen hinzu. Weil das Kapazitätslimit der Antwortzeit und den Fehlern folgt, ist ein gesünderer Server die dauerhafte Möglichkeit, das Crawling in einem komfortablen Bereich zu halten – und die einzige, bei der deine Indexierung nicht gefährdet wird.

2. Der Notfallhebel – 500/503/429. Google: „Gib für die Crawling-Anfragen statt 200 einen HTTP-Antwortstatuscode 500, 503 oder 429 zurück.“ Seine Crawler „behandeln den Statuscode 429 als Signal dafür, dass der Server überlastet ist“, und „5xx- und 429-Serverfehler veranlassen Googles Crawler, das Crawling vorübergehend zu verlangsamen.“ Gary Illyes formulierte die Geschwindigkeit konkret: „Wenn der Server für eine Reihe von URLs dauerhaft HTTP-500-Statuscodes zurückgibt, verlangsamt Googlebot das Crawling automatisch und fast sofort.“ Bevorzuge 429, wenn du kannst – es bedeutet ausdrücklich „zu viele Anfragen“ und kann einen Retry-After-Header übertragen.

Der Haken: Das ist streng vorübergehend. Google: „Wir empfehlen nicht, dies über einen langen Zeitraum zu tun (also länger als 1–2 Tage).“ Lässt du es aktiv, ist der Preis real – wenn diese Codes mehrere Tage lang für dieselbe URL bestehen bleiben, „kann die URL aus dem Google-Index entfernt werden“ und bei Google Ads „können deine Kampagnen beendet oder pausiert werden und deine Anzeigen werden möglicherweise nicht ausgeliefert.“

3. Was du NICHT tun solltest. Verwende 4xx nicht zum Drosseln. „Die 4xx-Statuscodes haben außer 429 keinen Einfluss auf die Crawl-Rate“, und Google sagt ausdrücklich: “Don’t use 401 and 403 status codes for limiting the crawl rate.” (Übersetzung) „Verwende die Statuscodes 401 und 403 nicht zur Begrenzung der Crawl-Rate.“ In einem eigenen Beitrag von 2023 über genau dieses Vorgehen schrieb Google: “Over the last few months we noticed an uptick in website owners and some content delivery networks (CDNs) attempting to use 404 and other 4xx client errors (but not 429) to attempt to reduce Googlebot’s crawl rate. The short version of this blog post is: please don’t do that…” (Übersetzung) „In den vergangenen Monaten haben wir einen Anstieg von Websitebetreibern und einigen Content Delivery Networks (CDNs) festgestellt, die versuchten, 404 und andere 4xx-Clientfehler (aber nicht 429) zu verwenden, um die Crawl-Rate von Googlebot zu reduzieren. Die Kurzfassung dieses Blogbeitrags lautet: Bitte tut das nicht …“ Und greif nicht zu robots.txt-crawl-delay: „Die nicht standardisierte ‚crawl-delay‘-Regel in robots.txt wird von Googles Crawlern nicht verarbeitet.“ Evidence for this claim Google's crawlers do not process the non-standard crawl-delay robots.txt rule. Scope: websites Confidence: high · Verified: 2026-07-15 Myths and facts about crawling

4. Der Antrag außerhalb eines Notfalls. Bei einem andauernden Problem, das kein Brand ist, kannst du „einen speziellen Antrag stellen, um ein Problem mit einer ungewöhnlich hohen Crawl-Rate zu melden, und dabei die optimale Rate für deine Website nennen.“ Das ist langsam und geht nur in eine Richtung (siehe unten).

Kannst du die Crawl-Rate erhöhen? Nein – nicht direkt.

Es gibt keine manuelle Erhöhung. Google: „Du kannst keine Erhöhung der Crawl-Rate beantragen, und es kann mehrere Tage dauern, bis der Antrag geprüft und erfüllt wird.“ Was du tun kannst, ist, sie indirekt zu verbessern. Aus meinem Crawl-Budget-Leitfaden: Entscheidend für mehr Crawling-Effizienz sind ein schnellerer Server oder zusätzliche Ressourcen, saubere Sitemaps für wichtige Seiten, weniger doppelte Inhalte, mehr externe und interne Links, reparierte Weiterleitungen, möglichst GET statt POST sowie die Indexing API für berechtigte Inhalte. Beachte: „Eine schnelle Website … kann über dieselbe Anzahl von Verbindungen mehr Inhalte erhalten“ – der Serverzustand ist der Hebel, der sowohl auf der Seite des Reduzierens als auch des Erhöhens auftaucht.

Die Crawl-Rate von Bingbot steuern

Hier zeigt sich der klare Unterschied zwischen Suchmaschinen. Während Google die manuelle Steuerung abgeschafft hat, hat Bing sie behalten. Die Bing Webmaster Tools bieten Crawl Control (unter „Configuration“): ein stündliches Raster, in dem jede Stunde Blöcke für die Crawling-Geschwindigkeit zeigt – mehr Blöcke bedeuten schnelleres Crawling, weniger Blöcke langsameres. Du kannst eine Voreinstellung wählen, die sich an deinen Spitzenzeiten orientiert, oder „Custom“ auswählen und dein eigenes Muster über den Tag zeichnen. Bing berücksichtigt crawl-delay in robots.txt weiterhin – genau die Direktive, die Google ignoriert. Die Faustregel für die zwei Suchmaschinen lautet also: Für Google sendest du Signale über Serverantworten; für Bing hast du tatsächlich einen Regler.

Was ist mit dem Tool für die Crawl-Rate in der Search Console passiert?

Die Zeitleiste – denn so viele Anleitungen beziehen sich noch auf ein Tool, das nicht mehr existiert:

• Dezember 2008 – Google führt die Steuerung der Crawling-Rate durch Nutzer in den Webmaster Tools ein.
• Februar 2023 – Google veröffentlicht „Verwende 403 oder 404 nicht zur Ratenbegrenzung“.
• 24. November 2023 – Google kündigt die Abschaffung des Crawl Rate Limiter Tools an. Illyes’ Begründung: „Durch die Verbesserungen, die wir an unserer Crawling-Logik vorgenommen haben, und die anderen Tools, die Publishern zur Verfügung stehen, ist sein Nutzen verschwunden.“ Das alte Tool war langsam und wurde kaum verwendet – es hatte „eine viel langsamere Wirkung“, und „es hätte mehr als einen Tag gedauert, bis die neuen Limits beim Crawling angewendet worden wären“; es wurde „selten“ genutzt, wobei diejenigen, die es nutzten, „in vielen Fällen die Crawling-Geschwindigkeit auf das absolute Minimum eingestellt“ hatten.
• 8. Januar 2024 – Das Tool wird entfernt. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: 2026-07-14 Google: Crawl rate limiter deprecation Google senkte außerdem die Untergrenze: „Mit der Abschaffung des Crawl-Limiter-Tools setzen wir außerdem die minimale Crawling-Geschwindigkeit auf eine niedrigere Rate, die mit den alten Crawl-Ratenlimits vergleichbar ist.“

Die praktische Konsequenz: Der alte manuelle Regler hatte ohnehin eine Verzögerung von mehr als 24 Stunden; der heutige serverbasierte Ansatz (5xx/429) verlangsamt Googlebot fast sofort – für einen echten Notfall ist das eindeutig besser.

Die Crawl-Rate überwachen

Der GSC-Bericht zu Crawl-Statistiken zeigt dir, was Google tatsächlich tut: gesamte Crawling-Anfragen im Zeitverlauf, gesamte Downloadgröße, durchschnittliche Antwortzeit und eine Ansicht zum Hoststatus mit der Verfügbarkeit deiner Website für Google über die letzten etwa 90 Tage – außerdem eine Aufschlüsselung nach Antwortcode, Dateityp, Crawling-Zweck und Googlebot-Typ. Beobachte die durchschnittliche Antwortzeit und die Signale zum Hoststatus – eine steigende Antwortzeit oder eine Häufung von 5xx ist genau das, was Googlebot dazu bringt, dich zu drosseln. In diesem Bericht siehst du eine selbst verursachte Verlangsamung, bevor du nach einer anderen Ursache suchst. Bei Bing sind Crawl Control und die Crawl-Informationen in den Bing Webmaster Tools die Entsprechungen.

Crawl-Rate vs. Crawl-Budget vs. Crawling-Häufigkeit

Halte diese Begriffe auseinander:

• Crawl-Rate = wie schnell (Angebot / Kapazität).
• Crawl-Nachfrage = wie viel sie crawlen wollen (Beliebtheit plus Veraltung).
• Crawl-Budget = das Zusammenspiel der beiden – „die Zeit- und Ressourcenmenge, die eine Suchmaschine für das Crawlen einer Website zulässt.“
• Crawling-Häufigkeit = wie oft eine bestimmte Seite erneut gecrawlt wird; das ist größtenteils eine Frage der Crawl-Nachfrage (Beliebtheit und Aktualität/Veraltung der Seite).

Und hier die beruhigende Seite, die ich immer wieder betone: Die meisten Websites müssen sich um all das nicht kümmern. „Die meisten Websites müssen sich keine Gedanken über das Crawl-Budget machen, aber es gibt einige Fälle, in denen du einen Blick darauf werfen solltest“ – neue Websites mit vielen Seiten, sehr große oder sich schnell verändernde Websites und Websites mit einer Sammlung von „Entdeckt – derzeit nicht indexiert“-URLs in der GSC. Wenn das nicht auf dich zutrifft, lass die Crawl-Rate in Ruhe und überlasse Google die Automatisierung.

KI-Zusammenfassung

Eine komprimierte Zusammenfassung der Advanced-Version:

• Crawl-Rate = wie schnell ein Crawler Seiten abruft – das „Crawl-Kapazitätslimit“ (parallele Verbindungen plus Verzögerung zwischen Abrufen). Sie ist die Angebotsseite des Crawl-Budgets; die Crawl-Nachfrage ist die Nachfrageseite.
• Sie ist automatisch und reagiert auf den Serverzustand: schneller/gesunder Server → höheres Limit; langsame Antworten oder 5xx/429 → Google crawlt weniger. Googles eigene Kapazität ist eine zweite Obergrenze, die du nicht kontrollierst. Alle Googlebots teilen sich einen Crawling-Pool.
• Der manuelle GSC-Regler wurde am 8. Januar 2024 entfernt. Anleitungen, die dir sagen, du sollst „den Regler anpassen“, sind veraltet.
• Googlebot heute verlangsamen: Server reparieren (am besten) oder 500/503/429 höchstens 1–2 Tage zurückgeben (länger birgt das Risiko einer Entfernung aus dem Index und pausierter Ads). Bevorzuge 429 (überträgt Retry-After). Niemals 401/403/404 verwenden; crawl-delay wird von Google ignoriert.
• Du kannst keine Erhöhung beantragen. Verbessere die Rate indirekt: schnellerer Server, saubere Sitemaps, weniger doppelte/wertlose URLs, mehr interne und externe Links, Indexing API, wenn du dafür berechtigt bist.
• Bing hat die manuelle Steuerung behalten: stündliches Crawl-Control-Raster plus berücksichtigtes crawl-delay.
• Die Crawl-Rate ist kein Rankingfaktor – „die Verbesserung deiner Crawl-Rate führt nicht zwangsläufig zu besseren Positionen“. Die meisten Websites müssen sie nie verwalten.

Offizielle Dokumentation

Primärquellen der Suchmaschinen.

Google

• Crawling-Rate von Googlebot reduzieren – die zentrale Anleitung: 500/503/429, die Grenze von 1–2 Tagen und das Antragsformular (du kannst reduzieren, nicht erhöhen).
• Crawl-Budget-Verwaltung – definiert das Crawl-Kapazitätslimit und seine Reaktion auf den Serverzustand.
• Wie HTTP-Statuscodes Googles Crawler beeinflussen – welche Codes das Crawling drosseln (5xx/429) und welche nicht (4xx außer 429).
• Mythen und Fakten zum Crawling – crawl-delay wird nicht verarbeitet; Crawl-Rate ist nicht gleich Ranking; der Serverzustand beeinflusst das Crawling.
• Bevorstehende Abschaffung des Crawl Rate Limiter Tools (November 2023) – die Ankündigung der Abschaffung.
• Verwende Clientfehler nicht zur Ratenbegrenzung (Februar 2023) – warum 4xx der falsche Hebel ist.
• Neue und verbesserte Crawl-Statistiken für deine Website (November 2020) – wie du den Bericht zu Crawl-Statistiken liest.
• Optimiere dein Crawl-Budget – Kapazität plus Nachfrage und wer sich tatsächlich darum kümmern muss.

Bing / Microsoft

• Bing Webmaster Tools – Crawl Control – das manuelle stündliche Crawl-Raten-Raster, das Google abgeschafft hat.
• Bingbot-Anleitung – die aktuelle Bing-Webmaster-Anleitung dokumentiert crawl-delay-Werte von 1–20 Sekunden.
• Bingbot-Serie: Crawling-Häufigkeit optimieren (Oktober 2018) – Bings Einschätzung, wann erneut gecrawlt wird.

Zitate aus der Quelle

Dokumentierte Aussagen von Google. Jeder Link führt direkt zu der zitierten Passage auf der Quellseite.

Google – was die Crawl-Rate ist und was sie festlegt

• “If the site responds quickly for a while, the limit goes up, meaning more connections can be used to crawl. If the site slows down or responds with server errors, the limit goes down and Google crawls less.” (Übersetzung) „Wenn die Website eine Zeit lang schnell antwortet, steigt das Limit, sodass mehr Verbindungen zum Crawlen verwendet werden können. Wenn die Website langsamer wird oder mit Serverfehlern antwortet, sinkt das Limit und Google crawlt weniger.“ – Crawl-Budget-Verwaltung. Zum Zitat springen
• “Google has a lot of machines, but not infinite machines. We still need to make choices with the resources that we have.” (Übersetzung) „Google hat viele Maschinen, aber nicht unendlich viele. Wir müssen mit den verfügbaren Ressourcen weiterhin Entscheidungen treffen.“ Zum Zitat springen

Google – die Crawl-Rate reduzieren

• “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (Übersetzung) „Gib für die Crawling-Anfragen statt 200 einen HTTP-Antwortstatuscode 500, 503 oder 429 zurück.“ – Crawling-Rate von Googlebot reduzieren. Zum Zitat springen
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (Übersetzung) „Wir empfehlen nicht, dies über einen langen Zeitraum zu tun, also länger als ein bis zwei Tage.“ Zum Zitat springen
• “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” (Übersetzung) „Du kannst keine Erhöhung der Crawl-Rate beantragen, und es kann mehrere Tage dauern, bis der Antrag geprüft und erfüllt wird.“ Zum Zitat springen

Google – welche Statuscodes das Crawling drosseln

• “Google’s crawlers treat the 429 status code as a signal that the server is overloaded, and it’s considered a server error.” (Übersetzung) „Googles Crawler behandeln den Statuscode 429 als Signal dafür, dass der Server überlastet ist; er gilt als Serverfehler.“ – Wie HTTP-Statuscodes Googles Crawler beeinflussen. Zum Zitat springen
• “The 4xx status codes, except 429, have no effect on crawl rate.” (Übersetzung) „Die 4xx-Statuscodes haben außer 429 keinen Einfluss auf die Crawl-Rate.“ / “Don’t use 401 and 403 status codes for limiting the crawl rate.” (Übersetzung) „Verwende die Statuscodes 401 und 403 nicht zur Begrenzung der Crawl-Rate.“ Zum Zitat springen

Google – crawl-delay und Rankings

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (Übersetzung) „Die nicht standardisierte crawl-delay-Regel in robots.txt wird von Googles Crawlern nicht verarbeitet.“ – Mythen und Fakten zum Crawling. Zum Zitat springen
• “Improving your crawl rate won’t necessarily lead to better positions in Google Search results.” (Übersetzung) „Die Verbesserung deiner Crawl-Rate führt nicht zwangsläufig zu besseren Positionen in den Google-Suchergebnissen.“ Zum Zitat springen

Gary Illyes, Google (zur Abschaffung des Tools für die Crawl-Rate)

• „Wenn der Server für eine Reihe von URLs dauerhaft HTTP-500-Statuscodes zurückgibt, verlangsamt Googlebot das Crawling automatisch und fast sofort.“ Berichterstattung lesen
• „Durch die Verbesserungen, die wir an unserer Crawling-Logik vorgenommen haben, und die anderen Tools, die Publishern zur Verfügung stehen, ist sein Nutzen verschwunden.“ Berichterstattung lesen

Checklisten zur Crawl-Rate

Googlebots Crawl-Rate sicher reduzieren (in dieser Reihenfolge)

• Prüfe zuerst, ob der Crawler wirklich das Problem ist – kontrolliere die GSC-Crawl-Statistiken (durchschnittliche Antwortzeit, Hoststatus) und deine Serverprotokolle, nicht nur ein Bauchgefühl.
• Behebe die Grundursache: Mache den Server schneller oder füge Ressourcen hinzu. Das ist die dauerhafte Lösung und gefährdet als einzige die Indexierung nicht.
• Gib bei einem echten Notfall 500/503/429 an Crawling-Anfragen zurück (bevorzuge 429 mit Retry-After). Googlebot wird fast sofort langsamer.
• Lass die Notfallantwort höchstens 1–2 Tage aktiv – länger besteht das Risiko, dass Seiten aus dem Index entfernt und Ads pausiert werden.
• Stelle bei einem andauernden (nicht akuten) Problem Googles speziellen Antrag zur Crawl-Rate und nenne die optimale Rate für deine Website.
• Stelle die Geschwindigkeit für Bing in Crawl Control ein und/oder füge crawl-delay zu robots.txt hinzu.

NICHT tun

• Verwende 401/403/404 nicht zum Drosseln – keine Wirkung auf die Rate und du riskierst, Seiten zu verlieren.
• Verlasse dich bei Google nicht auf robots.txt crawl-delay – es wird ignoriert (Bing berücksichtigt es).
• Suche nicht nach dem alten GSC-Regler für die Crawl-Rate – er wurde am 8. Januar 2024 entfernt.

Wenn du mehr Crawling möchtest (du kannst es nicht erzwingen – verbessere es indirekt)

• Mache den Server schneller oder füge Ressourcen hinzu.
• Halte kanonische, indexierbare URLs in sauberen Sitemaps mit korrektem lastmod.
• Entferne doppelte und minderwertige URLs, die Crawling verschwenden.
• Stärke interne Links und gewinne mehr externe Links.
• Verwende, wo möglich, GET statt POST; nutze die Indexing API, wenn du dafür berechtigt bist.

Crawl-Rate – Spickzettel

Statuscodes und ihre Wirkung auf Googles Crawl-Rate

Kurzfakten

• Crawl-Rate = wie schnell (Angebot); Crawl-Nachfrage = wie viel sie wollen (Nachfrage); Crawl-Budget = beides zusammen.
• Googles Begriff: Crawl-Kapazitätslimit – parallele Verbindungen plus Verzögerung zwischen Abrufen. Automatisch, folgt dem Serverzustand.
• Notfallfenster für 5xx/429: höchstens 1–2 Tage – länger besteht das Risiko der Entfernung aus dem Index und pausierter Ads.
• Keine manuelle Erhöhung – du kannst Google nur bitten, zu reduzieren, nie zu erhöhen.
• Manueller GSC-Regler für die Crawl-Rate: am 8. Januar 2024 entfernt (am 24. November 2023 angekündigt).
• Alle Googlebots teilen sich einen Crawling-Pool (Suche, Bilder, Anzeigen usw.).
• Die Crawl-Rate ist kein Rankingfaktor.
• Bing-Entsprechung: Crawl Control-Raster plus berücksichtigtes crawl-delay.

Googlebot vorübergehend zum Verlangsamen auffordern

Das ist nur der Notfallhebel – gib dem Crawler statt eines 200 eine 503- (oder 429-)Antwort mit einem Retry-After-Header zurück. Für Google ist das nahezu unmittelbar ein Signal zum Drosseln. Lass es höchstens ein oder zwei Tage aktiv: Lässt du es länger, können die betroffenen URLs aus dem Index entfernt werden (und Google Ads, die auf sie verweisen, können pausiert werden). Die richtige langfristige Lösung ist ein schnellerer, gesünderer Server, keine dauerhafte Fehlerantwort.

**Apache (.htaccess) – 503 mit Retry-After zurückgeben

# Emergency only — remove within 1–2 days.
# Sends Googlebot a "slow down / try later" signal.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot) [NC]
RewriteRule ^ - [R=503,L]
Header always set Retry-After "3600"
ErrorDocument 503 "Server temporarily overloaded — please retry later."

**Nginx – 503 mit Retry-After für Crawler zurückgeben

# Emergency only — remove within 1–2 days.
if ($http_user_agent ~* (Googlebot|bingbot)) {
    return 503;
}
# Send a Retry-After hint with the 503 response.
add_header Retry-After 3600 always;

**Express / Node.js – 429 Too Many Requests mit Retry-After

// Emergency only — remove within 1–2 days.
// 429 explicitly means "too many requests" and carries a Retry-After.
app.use((req, res, next) => {
  const ua = req.get("user-agent") || "";
  if (/Googlebot|bingbot/i.test(ua)) {
    res.set("Retry-After", "3600"); // seconds
    return res.status(429).send("Too many requests — please retry later.");
  }
  next();
});

Zur Erinnerung: Das verlangsamt das Crawling nur vorübergehend. Es ist keine Möglichkeit, die Indexierung zu pausieren oder zu blockieren, und kein Ersatz dafür, die Serverkapazität zu reparieren.

Werkzeuge zum Beobachten und Steuern der Crawl-Rate

• Google Search Console – Bericht zu Crawl-Statistiken – Googles eigene Ansicht: gesamte Crawling-Anfragen im Zeitverlauf, gesamte Downloadgröße, durchschnittliche Antwortzeit, Hoststatus (Verfügbarkeit der Website für Google über etwa 90 Tage) sowie Aufschlüsselungen nach Antwortcode, Dateityp, Crawling-Zweck und Googlebot-Typ. Hier siehst du die Drosselung.
• Bing Webmaster Tools – Crawl Control – das manuelle stündliche Raster (Voreinstellungen oder selbst gezeichnet) zur Einstellung der Bingbot-Geschwindigkeit nach Tageszeit. Den manuellen Hebel hat Google abgeschafft.
• robots.txt crawl-delay – von Bing (und einigen anderen Suchmaschinen) berücksichtigt, von Google ignoriert. Für Bing nützlich, für Google nutzlos.
• Analyse von Serverprotokollen – die Wahrheit darüber, wie schnell Bots dich tatsächlich anfragen und welche Statuscodes sie erhalten. (Siehe Logdateianalyse.)
• Site-Audits / Crawler – Ahrefs Site Audit und Screaming Frog SEO Spider, um doppelte, parametrisierte und Fallen-URLs zu finden, die Crawling verschwenden.

Was solltest du mit der Crawl-Rate tun?

Notfallplan: Crawler-Traffic überlastet den Ursprung

1. Verifiziere den Bot. Bestätige, dass die Quell-IP zum behaupteten Crawler gehört. Wenn nicht, blockiere oder begrenze den Impostor mit normalen Sicherheitskontrollen.
2. Miss die Auswirkungen. Setze Crawler-Anfragen mit Latenz, Auslastung, Zeitüberschreitungen und 5xx-Antworten in Beziehung. Wenn sie nicht zusammenpassen, untersuche die tatsächliche Lastquelle.
3. Schütze die Verfügbarkeit. Verwirf nur den notwendigen Traffic; verwende bei einem vorübergehenden Googlebot-Notfall 429 oder 503, nicht 403 oder 404.
4. Finde die heißen Muster. Gruppiere Anfragen nach Verzeichnis, Parametern, Antwortcode und Bytes. Wenn ein außer Kontrolle geratener URL-Raum dominiert, repariere seine Links oder Generierungsregeln.
5. Repariere die Ursache. Erhöhe die Kapazität, cache sichere Antworten, entferne Crawler-Fallen oder nutze die unterstützten Steuerungsmöglichkeiten des jeweiligen Crawlers.
6. Stelle wieder her und prüfe. Entferne die vorübergehende Drosselung und bestätige, dass Nutzerlatenz und Crawler-Fehlerraten zur Baseline der Website zurückkehren.

Fehler bei der Crawl-Rate

• crawl-delay für Googlebot verwenden. Google ignoriert es. Verwende vorübergehende 429-/503-Antworten nur im Notfall und behebe die zugrunde liegende Last.
• 403 oder 404 zurückgeben, um Googlebot zu verlangsamen. Diese Statuscodes bedeuten Zugriff oder Abwesenheit, keine vorübergehende Überlastung. Verwende das richtige vorübergehende Signal.
• Eine dauerhafte Erhöhung erzwingen wollen. Der abgeschaffte Search-Console-Regler ist verschwunden, und mehr Crawling verbessert das Ranking nicht. Verbessere den Serverzustand und die Nachfragesignale.
• Dem User-Agent-String vertrauen. Spoofer können behaupten, Googlebot zu sein. Verifiziere die IP-Adresse, bevor du das Serververhalten änderst.
• Die Notfalldrosselung aktiv lassen. Lang andauernde Fehler können Crawling und Indexierung schädigen. Lege vor dem Einsatz einen Verantwortlichen und eine Bedingung für die Entfernung fest.

Das Verifizieren → Schützen → Reparieren-Framework

• Verifizieren: Beweise, dass der Traffic von einem echten Crawler stammt und mit einem Schaden am Server zusammenfällt.
• Schützen: Verwende die engste vorübergehende Kontrolle, welche die Verfügbarkeit für Nutzer erhält und die richtige HTTP-Bedeutung vermittelt.
• Reparieren: Beseitige den Kapazitätsengpass oder den außer Kontrolle geratenen URL-Raum und ziehe dann die vorübergehende Kontrolle zurück.

Halte Rate und Nachfrage getrennt: Ein gesunder Server kann die Kapazitätsobergrenze erhöhen, aber er kann eine Suchmaschine nicht dazu zwingen, mehr URLs haben zu wollen.

Nachweisen, dass eine Maßnahme zur Crawl-Rate funktioniert hat

Antwort auf eine vorübergehende Drosselung

Durchzuführender Test: Fordere eine gedrosselte Test-URL mit curl -I an. Erwartetes Ergebnis: Die geplante 429- oder 503-Antwort erscheint nur während des Vorfalls und normale URLs bleiben verfügbar. Interpretation eines Fehlschlags: Die Regel ist falsch abgegrenzt oder der falsche Status wird zurückgegeben. Überwachungsfenster: sofort. Rollback-Auslöser: Nutzer oder nicht betroffene Bots erhalten unerwartet die Drosselung.

Wiederherstellung nach dem Entfernen der Drosselung

Durchzuführender Test: Wiederhole die Header-Prüfungen und überwache Server- sowie Zugriffsprotokolle. Erwartetes Ergebnis: Normale 200-Antworten kehren zurück, Crawler-Fehler nehmen ab und die Nutzerlatenz bleibt auf der Baseline. Interpretation eines Fehlschlags: Die vorübergehende Regel ist noch aktiv oder das Kapazitätsproblem besteht fort. Überwachungsfenster: sofort für das HTTP-Verhalten; bis zum nächsten normalen Crawling-Fenster weitermachen. Rollback-Auslöser: Erneute Auslastung oder 5xx-Fehler erfordern die Rückkehr zum Notfallplan.

Reparatur des URL-Raums

Durchzuführender Test: Crawle und prüfe die Protokolle für das Parameter- oder Pfadmuster, das die übermäßigen Anfragen verursacht hat. Erwartetes Ergebnis: Neue Fallen-URLs werden nicht mehr erzeugt oder verlinkt, während wertvolle URLs erreichbar bleiben. Interpretation eines Fehlschlags: Ein anderer Entdeckungspfad legt das Muster weiterhin offen. Überwachungsfenster: Vergleiche gleichwertige Protokollfenster. Rollback-Auslöser: Wertvolle Seiten oder erforderliche Ressourcen werden unzugänglich.

Metriken für die Gesundheit der Crawl-Rate

Verifizierte Crawler-Anfragerate

Metrik: Anfragen pro Zeiteinheit von verifizierten Crawler-IP-Adressen. Was sie aussagt: das tatsächliche Tempo des Crawlers. So wird sie abgerufen: Zugriffsprotokolle nach der Bot-Verifizierung. Benchmark / realistischer Bereich: Lege eine Baseline nach Crawler und Verkehrszeitraum fest; es gibt keine universell sichere Rate. Rhythmus: während Vorfällen täglich, sonst monatlich.

Mit dem Crawler korrelierte Fehler- und Latenzrate

Metrik: 5xx-Fehler, Zeitüberschreitungen und Origin-Latenz während Crawler-Aktivität. Was sie aussagt: ob die Rate die Kapazität übersteigt. So wird sie abgerufen: Server-Telemetrie an den Zeitstempeln der Crawler-Protokolle ausrichten. Benchmark / realistischer Bereich: die normale Baseline außerhalb eines Vorfalls und die Kapazitätsziele der Website verwenden. Rhythmus: kontinuierliche Überwachung für kritische Websites.

Anteil nützlicher Anfragen

Metrik: Verifizierte Crawler-Anfragen an wertvolle 200-Seiten gegenüber Weiterleitungen, Fehlern und bekannten Fallen-URLs. Was sie aussagt: ob Kapazität produktiv eingesetzt wird. So wird sie abgerufen: Protokoll-URLs und Statuscodes klassifizieren. Benchmark / realistischer Bereich: am eigenen Bestand ausrichten; ein universelles Ziel vermeiden. Rhythmus: monatlich.

Teste dich selbst: Crawl-Rate

Ressourcen, die deine Zeit wert sind

Meine verwandten Texte

• Wann solltest du dir um das Crawl-Budget Sorgen machen? – Crawl-Rate als eine Hälfte des Crawl-Budgets sowie die Hebel zum Reduzieren und Erhöhen.
• Was ist Googlebot und wie funktioniert er? – wie Googlebot entscheidet, wie schnell und was er crawlt (und warum „Crawl-Rate ändern“ inzwischen veraltet ist).
• Der Einsteigerleitfaden für technisches SEO – wo Crawling und Crawl-Rate einzuordnen sind.

Meine Vorträge

• How Search Works (SlideShare) – dort beschreibe ich das Crawl-Ratenlimit als „das, was deine Website verkraften kann“, und weise darauf hin, dass alle Googlebots einen Crawling-Pool teilen. (Der übliche Hinweis gilt: „Das ist mein Verständnis von Systemen … nicht vollständig oder zu 100 % korrekt.“)

Von anderen

• Search Engine Land – Das Tool für die Crawl-Rate von Googlebot wird eingestellt und das Tool ist jetzt verschwunden – die Abschaffung mit Illyes’ Begründung.
• Googles Serie Crawling December – die beste konzentrierte Sammlung offizieller Erklärungen zum Crawling.
• Search Engine Journal – Google entfernt das Crawl Rate Limiter Tool aus der Search Console – Roger Monttis Weitergabe der Abschaffung vom November 2023 mit dem neuen automatisch festgelegten Mindesttempo.
• Search Engine Journal – Verwende 403-/400-Fehlerantworten nicht zur Ratenbegrenzung von Googlebot – behandelt Googles Blogbeitrag vom Februar 2023 gegen das Drosseln des Crawlings mit 4xx.
• Bing Webmaster Blog – bingbot-Serie: Crawling-Häufigkeit optimieren – Bings eigene Erklärung, wann und wie Bingbot erneut crawlt; ein nützlicher Kontrast zu Googles automatischem Ansatz.
• Bing Webmaster Blog – Mehr aus Bingbot mit den Bing Webmaster Tools herausholen – wie du Crawl Control und andere BWT-Einstellungen zur Verwaltung der Bingbot-Crawl-Rate verwendest.

Änderungsprotokoll