Crawl-Verzögerung

Die crawl-delay-Direktive in robots.txt: was sie bewirkt, warum Google sie 2019 nicht mehr berücksichtigt und Yandex sie 2018 abgeschafft hat, wie Bing den Wert weiterhin interpretiert, welche anderen Crawler sie respektieren und was du stattdessen verwenden solltest.

Erstveröffentlicht: 27. Juni 2026 · Zuletzt aktualisiert: 9. Aug. 2026 · Fortgeschritten
Sprachen
1 Evidenzsignal auf dieser Seite

Crawl-delay ist eine nicht standardisierte robots.txt-Direktive, die Bots bittet, zwischen Abrufen zu warten, um die Serverlast zu verringern. Google ignoriert sie seit dem 1. September 2019; verlangsame Googlebot mit vorübergehenden 429/503-Antworten oder indem du die Serverkapazität verbesserst. Bings aktuelle Webmaster-Anleitung dokumentiert Werte von 1–20 Sekunden. Yandex hat die Unterstützung am 22. Februar 2018 eingestellt und verwendet jetzt eine Einstellung für die Crawling-Rate im Yandex Webmaster. Prüfe die eigene Dokumentation jedes Crawlers, bevor du dich auf dieses nicht standardisierte Feld verlässt.

TL;DR — Crawl-delay war eine inoffizielle robots.txt-Direktive zur Drosselung von Bots; sie war nie Teil des formalen Standards (RFC 9309). Google hat sie am 1. September 2019 abgeschafft und verarbeitet sie ausdrücklich nicht – verlangsame Googlebot stattdessen mit 429/503 (höchstens 1–2 Tage) oder indem du den Server reparierst, nicht mit crawl-delay. Bings aktuelle Anleitung nennt Werte von 1–20 Sekunden. Yandex hat die Unterstützung am 22. Februar 2018 eingestellt – auch dort wird sie nicht mehr berücksichtigt; Yandex verwendet jetzt eine Einstellung für die Crawling-Rate im Yandex Webmaster. Viele SEO-Crawler (AhrefsBot, Semrush) und einige KI-Bots (ClaudeBot) respektieren sie ebenfalls – das ist der eine echte Anwendungsfall, der noch bleibt: die Steuerung von Nicht-Google-, Nicht-Bing- und Nicht-Yandex-Bots.

Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: Google: robots.txt specifications

Warum es crawl-delay gibt

Crawl-delay ist eine Drossel. Die Idee ist einfach: Ein aggressiver Crawler, der Seiten ohne Pause nacheinander abruft, kann einen Server stark belasten – besonders einen kleinen oder langsamen. Crawl-delay war der Hebel der Rücksichtnahme: eine Möglichkeit, einen Bot zu bitten, zwischen Abrufen einige Sekunden zu pausieren, damit dein Server mithalten kann. Die Direktive steht in robots.txt innerhalb einer User-agent-Gruppe, also an derselben Stelle wie deine disallow- und allow-Zeilen. (Die vollständige Datei findest du unter robots-txt.)

Der Haken: Die Direktive wurde nie standardisiert. Das Robots Exclusion Protocol wurde 2022 mit RFC 9309 endgültig formalisiert, aber crawl-delay ist nicht darin enthalten. Es war immer eine inoffizielle Erweiterung, die verschiedene Crawler implementierten – oder nicht – und auf ihre eigene Weise interpretierten. Genau diese Uneinheitlichkeit war der Grund, warum Google sich davon verabschiedete.

Google hat sie am 1. September 2019 abgeschafft

Am 2. Juli 2019 veröffentlichte Gary Illyes im Google Search Central-Blog eine Notiz zu nicht unterstützten Regeln in robots.txt über Googles Open-Source-Parser. Google stellte in diesem Zuge den gesamten Code ein, der Regeln verarbeitete, die nie Teil des Internet-Drafts gewesen waren – insbesondere noindex, nofollow und crawl-delay. Die Abschaffung trat am 1. September 2019 in Kraft.

Googles Begründung: Diese Regeln waren undokumentiert und inoffiziell und wurden von Crawlern uneinheitlich interpretiert, was zu Mehrdeutigkeiten führte. Die aktuelle robots.txt-Dokumentation ist jetzt eindeutig – Google unterstützt vier Felder (user-agent, allow, disallow und sitemap), und in der Dokumentation steht, dass “other fields such as crawl-delay aren’t supported.” (Übersetzung) „Andere Felder wie die Direktive werden nicht unterstützt.“ Googles Seite Mythen und Fakten zum Crawling wiederholt: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (Übersetzung) „Die nicht standardisierte Direktive in der robots.txt-Datei wird von Googles Crawlern nicht verarbeitet.“ Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: Google: robots.txt specifications

Wichtig ist der Umfang: Die Direktive wird unabhängig davon ignoriert, in welche User-Agent-Gruppe du sie einträgst. Ein Block User-agent: Googlebot mit einer Crawl-delay-Zeile wird genauso ignoriert wie einer unter User-agent: *.

Was du stattdessen für Google verwenden solltest

Googles Crawling-Rate ist jetzt vollständig automatisch und wird auf die Gesundheit deines Servers abgestimmt – der alte manuelle Regler für die Crawling-Rate in der Search Console wurde am 8. Januar 2024 entfernt (im November zuvor angekündigt). Wenn Googlebot wirklich zurückstecken soll, hast du drei Hebel:

  1. Repariere den Server. Das ist die eigentliche Lösung. Wenn dein Server die Last verkraftet, musst du nichts drosseln.
  2. Gib in Notfällen 429, 500 oder 503 zurück. Googles Dokumentation Crawling-Rate von Googlebot reduzieren sagt: “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” (Übersetzung) „Für eine schnelle Drosselung kannst du bei den Crawling-Anfragen statt eines normalen Erfolgsstatus einen HTTP-Fehlerstatus zurückgeben.“ Googlebot wertet diese fast sofort als „langsamer machen“. Die feste Regel: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (Übersetzung) „Wir empfehlen diese Maßnahme nicht über einen langen Zeitraum; sie ist nur kurzfristig gedacht.“ Anhaltende 5xx-Fehler können dazu führen, dass Seiten entfernt werden (und Google Ads pausiert werden). Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: Google: Reduce Googlebot crawl rate
  3. Stelle über die Search Console einen Antrag auf Reduzierung der Crawling-Rate, wenn das Problem dauerhaft besteht. Das dauert, reduziert die Rate aber nur – es erhöht sie nie.

Eine Falle solltest du vermeiden: Verwende 401, 403 oder 404 nicht zum Drosseln. Laut Googles Leitfaden zu HTTP-Statuscodes haben „die 4xx-Statuscodes außer 429 keinen Einfluss auf die Crawling-Rate“, und du solltest „die Statuscodes 401 und 403 nicht zur Begrenzung der Crawling-Rate verwenden“.

Das ist auch der Grund, warum ich in meinem Leitfaden zur Crawling-Rate crawl-delay als das behandle, was man für Google nicht verwenden sollte – den vollständigen Leitfaden zum Beschleunigen und Verlangsamen findest du dort.

Bing nennt einen Bereich von 1–20 Sekunden

Die aktuelle Bing-Webmaster-Anleitung dokumentiert crawl-delay-Werte von 1–20 Sekunden. Das macht das Feld nicht zu einem übertragbaren Standard: Google ignoriert es, und jeder andere Crawler braucht eine eigene dokumentierte Bestätigung.

Yandex hat sie 2018 abgeschafft

Yandex berücksichtigte crawl-delay früher als wörtliche Mindestanzahl von Sekunden zwischen Anfragen – diese Version der Aussage findest du noch immer in vielen SEO-Blogs. Sie ist veraltet. Yandex’ eigene aktuelle Dokumentation ist eindeutig: „Ab dem 22. Februar 2018 berücksichtigt Yandex die Direktive Crawl-delay nicht.“ Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: Yandex Webmaster: The Crawl-delay directive Um festzulegen, wie schnell Yandex’ Bots deine Website jetzt crawlen, verwendest du direkt die Einstellung für die Crawling-Rate im Yandex Webmaster – nicht robots.txt. Die ehrliche Bilanz lautet also: Bing berücksichtigt crawl-delay innerhalb seines dokumentierten Bereichs, Google hat es nie getan, und Yandex tat es früher, stellte die Unterstützung aber 2018 ein.

Andere Crawler: SEO-Tools und KI-Bots

Viele gut erzogene Crawler außerhalb der Suchmaschinen respektieren crawl-delay aus Rücksicht:

  • AhrefsBot und der Semrush-Bot berücksichtigen es.
  • KI-Crawler sind ein neueres Publikum. Anthropic dokumentiert, dass ClaudeBot die nicht standardisierte crawl-delay-Direktive unterstützt. Andere Bots (GPTBot, Perplexity) solltest du anhand ihrer eigenen veröffentlichten Dokumentation prüfen, statt etwas anzunehmen.

Das Muster: Kleinere, auf Regelkonformität bedachte oder rücksichtsvolle Crawler berücksichtigen crawl-delay eher; die großen Suchmaschinen sind weitgehend zu internen Signalen (Google) oder umfangreicheren manuellen Werkzeugen (Bing) übergegangen. Und nichts davon bindet tatsächliche Angreifer – Scraper, die robots.txt vollständig ignorieren, ignorieren auch dein crawl-delay.

Der verbleibende Anwendungsfall

Ist crawl-delay also tot? Nicht ganz. Für Google ist es nutzlos, für Bing bestenfalls überflüssig (verwende Crawl Control), aber es ist tatsächlich die einfachste Möglichkeit, die breite Mitte – SEO-Tools, KI-Bots und andere kleinere Crawler, die es respektieren – zum Zurückfahren aufzufordern. Wenn der Bot eines bestimmten Tools deinen Server überlastet, ist eine gezielte User-agent:-Gruppe mit einem crawl-delay ein sinnvoller erster Schritt:

User-agent: SomeBot
Crawl-delay: 10

Denk daran: Es ist eine Bitte, keine Garantie, und gilt wie alles andere in robots.txt pro Host und pro User-Agent-Gruppe. Für das größere Effizienzbild – was Bots dich tatsächlich kosten und wen das interessieren muss – siehe crawl-budget.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.