Crawl-Verzögerung
Die crawl-delay-Direktive in robots.txt: was sie bewirkt, warum Google sie 2019 nicht mehr berücksichtigt und Yandex sie 2018 abgeschafft hat, wie Bing den Wert weiterhin interpretiert, welche anderen Crawler sie respektieren und was du stattdessen verwenden solltest.
Sprachen
1 Evidenzsignal auf dieser Seite
- Verknüpftes Live-Werkzeugrobots.txt Tester
Crawl-delay ist eine nicht standardisierte robots.txt-Direktive, die Bots bittet, zwischen Abrufen zu warten, um die Serverlast zu verringern. Google ignoriert sie seit dem 1. September 2019; verlangsame Googlebot mit vorübergehenden 429/503-Antworten oder indem du die Serverkapazität verbesserst. Bings aktuelle Webmaster-Anleitung dokumentiert Werte von 1–20 Sekunden. Yandex hat die Unterstützung am 22. Februar 2018 eingestellt und verwendet jetzt eine Einstellung für die Crawling-Rate im Yandex Webmaster. Prüfe die eigene Dokumentation jedes Crawlers, bevor du dich auf dieses nicht standardisierte Feld verlässt.
TL;DR —
Crawl-delayist eine Zeile, die du inrobots.txteintragen kannst und die Bots bittet, langsamer zu machen – also zwischen Seitenabrufen ein paar Sekunden zu warten. Wichtig: Google ignoriert sie (und tut das seit 2019). Bing berücksichtigt sie weiterhin. Wenn du verhindern willst, dass Googlebot deinen Server durch zu viele Anfragen belastet, hilftcrawl-delaynicht – nutze einen anderen Ansatz (siehe unten).
Was crawl-delay ist
Crawl-delay ist eine Zeile, die du in deine robots.txt-Datei einfügst und die einen Crawler bittet, zwischen Anfragen eine bestimmte Anzahl von Sekunden zu warten, damit er deine Seiten nicht so schnell abruft, dass dein Server langsamer wird. Sie sieht so aus:
User-agent: *
Crawl-delay: 10Das bedeutet ungefähr: „Jeder Bot, bitte zwischen Seitenabrufen pausieren.“
Das Wichtigste: Google ignoriert sie
Das ist der Teil, der viele verwirrt. Google berücksichtigt crawl-delay nicht. Google hat die Direktive am 1. September 2019 nicht mehr verarbeitet und sie schon vorher nie offiziell unterstützt. Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: Google: robots.txt specifications Wenn du also crawl-delay in deine robots.txt eingetragen hast, um Googlebot zu verlangsamen, bewirkt das nichts.
Bing ist anders – Bing berücksichtigt crawl-delay. Das gilt auch für einige andere Crawler (mehr dazu im Tab „Advanced“).
Wenn du Google verlangsamen willst
Greif nicht zu crawl-delay. Stattdessen:
- Langfristig am besten: Repariere oder erweitere deinen Server, damit er das Crawling bewältigen kann.
- Nur im Notfall: Lass deinen Server für Googlebot einen
503- oder429-Statuscode zurückgeben. Google wertet diese fast sofort als „langsamer machen“. Tu das nur ein oder zwei Tage – nach längerer Zeit kann Google beginnen, Seiten aus dem Index zu entfernen. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: Google: Reduce Googlebot crawl rate - Verwende niemals
403oder404, um zu drosseln – das beeinflusst die Crawling-Geschwindigkeit nicht.
Wenn du Bing verlangsamen willst
Bing respektiert crawl-delay, aber Bings eigenes bevorzugtes Werkzeug ist Crawl Control in den Bing Webmaster Tools – eine Übersicht, in der du die Crawling-Geschwindigkeit nach Tageszeit festlegst. Verwende das zuerst; es ist präziser.
Du möchtest die Geschichte, die Gründe für Yandex’ Abschaffung im Jahr 2018 und wissen, welche KI-Bots die Direktive respektieren? Wechsle zum Tab „Advanced“.
Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: Google: robots.txt specificationsTL;DR —
Crawl-delaywar eine inoffizielle robots.txt-Direktive zur Drosselung von Bots; sie war nie Teil des formalen Standards (RFC 9309). Google hat sie am 1. September 2019 abgeschafft und verarbeitet sie ausdrücklich nicht – verlangsame Googlebot stattdessen mit429/503(höchstens 1–2 Tage) oder indem du den Server reparierst, nicht mitcrawl-delay. Bings aktuelle Anleitung nennt Werte von 1–20 Sekunden. Yandex hat die Unterstützung am 22. Februar 2018 eingestellt – auch dort wird sie nicht mehr berücksichtigt; Yandex verwendet jetzt eine Einstellung für die Crawling-Rate im Yandex Webmaster. Viele SEO-Crawler (AhrefsBot, Semrush) und einige KI-Bots (ClaudeBot) respektieren sie ebenfalls – das ist der eine echte Anwendungsfall, der noch bleibt: die Steuerung von Nicht-Google-, Nicht-Bing- und Nicht-Yandex-Bots.
Warum es crawl-delay gibt
Crawl-delay ist eine Drossel. Die Idee ist einfach: Ein aggressiver Crawler, der Seiten ohne Pause nacheinander abruft, kann einen Server stark belasten – besonders einen kleinen oder langsamen. Crawl-delay war der Hebel der Rücksichtnahme: eine Möglichkeit, einen Bot zu bitten, zwischen Abrufen einige Sekunden zu pausieren, damit dein Server mithalten kann. Die Direktive steht in robots.txt innerhalb einer User-agent-Gruppe, also an derselben Stelle wie deine disallow- und allow-Zeilen. (Die vollständige Datei findest du unter robots-txt.)
Der Haken: Die Direktive wurde nie standardisiert. Das Robots Exclusion Protocol wurde 2022 mit RFC 9309 endgültig formalisiert, aber crawl-delay ist nicht darin enthalten. Es war immer eine inoffizielle Erweiterung, die verschiedene Crawler implementierten – oder nicht – und auf ihre eigene Weise interpretierten. Genau diese Uneinheitlichkeit war der Grund, warum Google sich davon verabschiedete.
Google hat sie am 1. September 2019 abgeschafft
Am 2. Juli 2019 veröffentlichte Gary Illyes im Google Search Central-Blog eine Notiz zu nicht unterstützten Regeln in robots.txt über Googles Open-Source-Parser. Google stellte in diesem Zuge den gesamten Code ein, der Regeln verarbeitete, die nie Teil des Internet-Drafts gewesen waren – insbesondere noindex, nofollow und crawl-delay. Die Abschaffung trat am 1. September 2019 in Kraft.
Googles Begründung: Diese Regeln waren undokumentiert und inoffiziell und wurden von Crawlern uneinheitlich interpretiert, was zu Mehrdeutigkeiten führte. Die aktuelle robots.txt-Dokumentation ist jetzt eindeutig – Google unterstützt vier Felder (user-agent, allow, disallow und sitemap), und in der Dokumentation steht, dass “other fields such as crawl-delay aren’t supported.” (Übersetzung) „Andere Felder wie die Direktive werden nicht unterstützt.“ Googles Seite Mythen und Fakten zum Crawling wiederholt: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (Übersetzung) „Die nicht standardisierte Direktive in der robots.txt-Datei wird von Googles Crawlern nicht verarbeitet.“ Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: Google: robots.txt specifications
Wichtig ist der Umfang: Die Direktive wird unabhängig davon ignoriert, in welche User-Agent-Gruppe du sie einträgst. Ein Block User-agent: Googlebot mit einer Crawl-delay-Zeile wird genauso ignoriert wie einer unter User-agent: *.
Was du stattdessen für Google verwenden solltest
Googles Crawling-Rate ist jetzt vollständig automatisch und wird auf die Gesundheit deines Servers abgestimmt – der alte manuelle Regler für die Crawling-Rate in der Search Console wurde am 8. Januar 2024 entfernt (im November zuvor angekündigt). Wenn Googlebot wirklich zurückstecken soll, hast du drei Hebel:
- Repariere den Server. Das ist die eigentliche Lösung. Wenn dein Server die Last verkraftet, musst du nichts drosseln.
- Gib in Notfällen
429,500oder503zurück. Googles Dokumentation Crawling-Rate von Googlebot reduzieren sagt: “return500,503, or429HTTP response status code instead of200to the crawl requests.” (Übersetzung) „Für eine schnelle Drosselung kannst du bei den Crawling-Anfragen statt eines normalen Erfolgsstatus einen HTTP-Fehlerstatus zurückgeben.“ Googlebot wertet diese fast sofort als „langsamer machen“. Die feste Regel: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (Übersetzung) „Wir empfehlen diese Maßnahme nicht über einen langen Zeitraum; sie ist nur kurzfristig gedacht.“ Anhaltende5xx-Fehler können dazu führen, dass Seiten entfernt werden (und Google Ads pausiert werden). Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: Google: Reduce Googlebot crawl rate - Stelle über die Search Console einen Antrag auf Reduzierung der Crawling-Rate, wenn das Problem dauerhaft besteht. Das dauert, reduziert die Rate aber nur – es erhöht sie nie.
Eine Falle solltest du vermeiden: Verwende 401, 403 oder 404 nicht zum Drosseln. Laut Googles Leitfaden zu HTTP-Statuscodes haben „die 4xx-Statuscodes außer 429 keinen Einfluss auf die Crawling-Rate“, und du solltest „die Statuscodes 401 und 403 nicht zur Begrenzung der Crawling-Rate verwenden“.
Das ist auch der Grund, warum ich in meinem Leitfaden zur Crawling-Rate crawl-delay als das behandle, was man für Google nicht verwenden sollte – den vollständigen Leitfaden zum Beschleunigen und Verlangsamen findest du dort.
Bing nennt einen Bereich von 1–20 Sekunden
Die aktuelle Bing-Webmaster-Anleitung dokumentiert crawl-delay-Werte von 1–20 Sekunden. Das macht das Feld nicht zu einem übertragbaren Standard: Google ignoriert es, und jeder andere Crawler braucht eine eigene dokumentierte Bestätigung.
Yandex hat sie 2018 abgeschafft
Yandex berücksichtigte crawl-delay früher als wörtliche Mindestanzahl von Sekunden zwischen Anfragen – diese Version der Aussage findest du noch immer in vielen SEO-Blogs. Sie ist veraltet. Yandex’ eigene aktuelle Dokumentation ist eindeutig: „Ab dem 22. Februar 2018 berücksichtigt Yandex die Direktive Crawl-delay nicht.“ Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: Yandex Webmaster: The Crawl-delay directive Um festzulegen, wie schnell Yandex’ Bots deine Website jetzt crawlen, verwendest du direkt die Einstellung für die Crawling-Rate im Yandex Webmaster – nicht robots.txt. Die ehrliche Bilanz lautet also: Bing berücksichtigt crawl-delay innerhalb seines dokumentierten Bereichs, Google hat es nie getan, und Yandex tat es früher, stellte die Unterstützung aber 2018 ein.
Andere Crawler: SEO-Tools und KI-Bots
Viele gut erzogene Crawler außerhalb der Suchmaschinen respektieren crawl-delay aus Rücksicht:
- AhrefsBot und der Semrush-Bot berücksichtigen es.
- KI-Crawler sind ein neueres Publikum. Anthropic dokumentiert, dass ClaudeBot die nicht standardisierte
crawl-delay-Direktive unterstützt. Andere Bots (GPTBot, Perplexity) solltest du anhand ihrer eigenen veröffentlichten Dokumentation prüfen, statt etwas anzunehmen.
Das Muster: Kleinere, auf Regelkonformität bedachte oder rücksichtsvolle Crawler berücksichtigen crawl-delay eher; die großen Suchmaschinen sind weitgehend zu internen Signalen (Google) oder umfangreicheren manuellen Werkzeugen (Bing) übergegangen. Und nichts davon bindet tatsächliche Angreifer – Scraper, die robots.txt vollständig ignorieren, ignorieren auch dein crawl-delay.
Der verbleibende Anwendungsfall
Ist crawl-delay also tot? Nicht ganz. Für Google ist es nutzlos, für Bing bestenfalls überflüssig (verwende Crawl Control), aber es ist tatsächlich die einfachste Möglichkeit, die breite Mitte – SEO-Tools, KI-Bots und andere kleinere Crawler, die es respektieren – zum Zurückfahren aufzufordern. Wenn der Bot eines bestimmten Tools deinen Server überlastet, ist eine gezielte User-agent:-Gruppe mit einem crawl-delay ein sinnvoller erster Schritt:
User-agent: SomeBot
Crawl-delay: 10Denk daran: Es ist eine Bitte, keine Garantie, und gilt wie alles andere in robots.txt pro Host und pro User-Agent-Gruppe. Für das größere Effizienzbild – was Bots dich tatsächlich kosten und wen das interessieren muss – siehe crawl-budget.
KI-Zusammenfassung
Eine komprimierte Zusammenfassung der Advanced-Version:
- Was es ist:
Crawl-delayist eine nicht standardisierterobots.txt-Direktive, die Bots bittet, zwischen Abrufen eine bestimmte Anzahl von Sekunden zu pausieren, um die Serverlast zu verringern. Sie war nie Teil des formalen Standards (RFC 9309, 2022). - Google ignoriert sie. Abschaffung am 1. September 2019 (Gary Illyes’ Beitrag von 2019); die aktuelle Dokumentation sagt: “other fields such as
crawl-delayaren’t supported.” (Übersetzung) „Andere Felder wie die Direktive werden nicht unterstützt.“ Sie wird unabhängig davon ignoriert, in welcher User-Agent-Gruppe sie steht. - Google stattdessen verlangsamen mit: Server reparieren (am besten) oder in Notfällen
429/500/503zurückgeben (höchstens 1–2 Tage – längere Zeit birgt das Risiko einer Entfernung aus dem Index). Niemals401/403/404zum Drosseln verwenden. Der manuelle GSC-Regler für die Crawling-Rate wurde am 8. Januar 2024 entfernt. - Bing dokumentiert Werte von 1–20 Sekunden. Behandle das als Bing-spezifische Anleitung, nicht als übertragbaren robots.txt-Standard.
- Yandex hat die Unterstützung am 22. Februar 2018 eingestellt. Ältere Hinweise, dass Yandex den Wert als wörtliche Sekunden liest, sind veraltet – Yandex verwendet jetzt stattdessen eine Einstellung für die Crawling-Rate im Yandex Webmaster.
- Andere Crawler: AhrefsBot und Semrush respektieren die Direktive; Anthropic’s ClaudeBot unterstützt sie nach eigener Dokumentation. Scraper mit schlechten Absichten ignorieren
robots.txtvollständig. - Verbleibender Anwendungsfall: Nicht-Google-, Nicht-Bing- und Nicht-Yandex-Crawler (SEO-Tools, KI-Bots) über eine gezielte
User-agent:-Gruppe mit crawl-delay steuern.
Offizielle Dokumentation
Primärquellen zur Direktive crawl-delay und ihren Alternativen.
- robots.txt-Dokumentation – listet die vier unterstützten Felder auf und erklärt, dass
crawl-delaynicht unterstützt wird. - Eine Notiz zu nicht unterstützten Regeln in robots.txt (2. Juli 2019) – die Ankündigung der Abschaffung (gültig ab 1. September 2019) für
noindex,nofollowundcrawl-delay. - Mythen und Fakten zum Crawling – „Die nicht standardisierte crawl-delay-Regel wird von Googles Crawlern nicht verarbeitet.“
- Crawling-Rate von Googlebot reduzieren – was du stattdessen verwendest:
429/500/503und die Grenze von 1–2 Tagen. - Wie HTTP-Statuscodes Googles Crawler beeinflussen – warum
4xx(außer429) die Crawling-Rate nicht drosseln. - Bevorstehende Abschaffung des Tools zur Begrenzung der Crawling-Rate (November 2023) – Entfernung des GSC-Reglers im November 2023.
Bing / Microsoft
- Bingbot-Anleitung – aktuelle Bing-Webmaster-Anleitung mit Werten von 1–20 Sekunden.
- Bing Webmaster Tools – Crawl Control – die bevorzugte Alternative zu
crawl-delayfür Bing.
Yandex
- Yandex Webmaster – Die Crawl-delay-Direktive – erklärt, dass Yandex die Direktive seit dem 22. Februar 2018 nicht mehr berücksichtigt, und verweist stattdessen auf die Einstellung für die Crawling-Rate im Yandex Webmaster.
Der Standard
- RFC 9309: Robots Exclusion Protocol – der formalisierte Standard, der
crawl-delaynicht enthält.
Zitate aus der Quelle
Aussagen von Google und Bing, die öffentlich dokumentiert sind. Jeder Link führt, sofern unterstützt, direkt zu der Passage mit dem Zitat.
Google – crawl-delay wird nicht verarbeitet
- “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” (Übersetzung) „Die nicht standardisierte Direktive in der robots.txt-Datei wird von Googles Crawlern nicht verarbeitet.“ – Google Search Central-Dokumentation. Zum Zitat springen
- “Google supports the following fields … (other fields such as
crawl-delayaren’t supported).” (Übersetzung) „Google unterstützt die folgenden Felder … andere Felder wie diese Direktive werden nicht unterstützt.“ – robots.txt-Dokumentation. Zum Zitat springen
Google – was stattdessen verwenden
- “To quickly reduce the crawl rate, you can return
500,503, or429HTTP response status code instead of200to the crawl requests.” (Übersetzung) „Um die Crawling-Rate schnell zu reduzieren, kannst du für die Crawling-Anfragen statt eines normalen Erfolgsstatus einen HTTP-Fehlerstatus zurückgeben.“ – Crawling-Rate von Googlebot reduzieren. Zum Zitat springen - “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” (Übersetzung) „Wir empfehlen diese Maßnahme nicht über einen langen Zeitraum; sie ist nur kurzfristig gedacht.“ – Crawling-Rate von Googlebot reduzieren. Zum Zitat springen
Gary Illyes, Google (zur Abschaffung des GSC-Tools für die Crawling-Rate, November 2023)
- “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” (Übersetzung) „Wenn der Server für eine Reihe von URLs dauerhaft Fehlerstatuscodes zurückgibt, verlangsamt Googlebot das Crawling automatisch und fast sofort.“ Er fügte hinzu, dass der Nutzen des Tools “usefulness has dissipated.” (Übersetzung) „Er fügte hinzu, dass der Nutzen des Tools verschwunden sei.“ Über Search Engine Land aus Googles Beitrag zur Abschaffung berichtet – lies die Berichterstattung; bestätige dies anhand des Originalbeitrags von Google, bevor du es als endgültig behandelst.
Bing / Microsoft
- Aktuelle Bingbot-Anleitung dokumentiert
crawl-delay-Werte von 1–20 Sekunden. Das ist eine Bing-spezifische Anleitung, keine allgemeine REP-Regel.
Yandex (aktuelle Webmaster-Dokumentation)
- “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” (Übersetzung) „Seit dem 22. Februar 2018 berücksichtigt Yandex die Crawl-delay-Direktive nicht. Um festzulegen, mit welcher Rate die Indexierungs-Bots auf die Seiten deiner Website zugreifen, verwende die Einstellung für die Crawling-Rate im Yandex Webmaster.“ – Yandex Webmaster: Die Crawl-delay-Direktive
Checkliste zur Entscheidung über Crawl-delay
Arbeite die Liste abhängig davon ab, welchen Bot du verlangsamen willst:
- Prüfe deine
robots.txt. Gibt es bereits einecrawl-delay-Zeile? Notiere, in welchenUser-agent-Gruppen sie steht und welche Bots du tatsächlich drosseln willst. - Wenn sie für Google gedacht ist: Entferne sie (oder dokumentiere, dass sie bewusst auf andere Bots zielt). Für Googlebot bewirkt sie nichts.
- Willst du Google verlangsamen? Repariere zuerst den Server. Gib im echten Notfall
429/503zurück – höchstens 1–2 Tage. Verwende niemals401/403/404zum Drosseln. Bei einem dauerhaften Problem stelle in der Search Console einen Antrag auf Reduzierung der Crawling-Rate. - Willst du Bing verlangsamen? Verwende zuerst Crawl Control in den Bing Webmaster Tools. Wenn du
crawl-delayverwendest, halte den Wert bei 10 oder darunter und denke daran, dass er aus der*-Gruppe gilt, selbst wenn zusätzlich einbingbot-Abschnitt vorhanden ist. - Willst du einen anderen Crawler (SEO-Tool, KI-Bot usw.) verlangsamen? Setze eine
crawl-delay-Direktive in eine gezielteUser-agent:-Gruppe für diesen Bot – das hilft, wenn der Crawler die Direktive berücksichtigt (viele tun es). - Bestätige die Bedeutung des Werts für den Ziel-Bot: Bing liest ihn als relativen Drosselfaktor. Yandex las ihn früher als wörtliche Sekunden, berücksichtigt die Direktive aber seit dem 22. Februar 2018 überhaupt nicht mehr – verwende für Yandex stattdessen die Einstellung für die Crawling-Rate im Yandex Webmaster.
- Erwarte keine Zusammenarbeit von Scrapern oder Angreifern – sie ignorieren
robots.txtvollständig.crawl-delayist nur für gut erzogene Bots.
Crawl-delay-Spickzettel
Wer berücksichtigt crawl-delay?
| Crawler | Berücksichtigt es? | Wie der Wert gelesen wird |
|---|---|---|
| Googlebot | Nein (seit 1. September 2019) | N/A – wird nicht verarbeitet |
| Bingbot | Ja | Relativer Drosselfaktor (nicht Sekunden); maximal 10 |
| Yandex | Nein (seit 22. Februar 2018) | N/A – verwende stattdessen die Einstellung für die Crawling-Rate im Yandex Webmaster |
| AhrefsBot | Ja | Rücksichtsdrossel |
| Semrush-Bot | Ja | Rücksichtsdrossel |
| ClaudeBot (Anthropic) | Ja (dokumentiert) | Rücksichtsdrossel |
| Scraper / Angreifer | Nein | Ignorieren robots.txt vollständig |
Bing-Drosselskala
| Wert | Auswirkung auf Bingbot |
|---|---|
| (keiner) | Normale Geschwindigkeit |
| 1 | Langsam |
| 5 | Sehr langsam |
| 10 | Extrem langsam (maximal empfohlen) |
Was du stattdessen je nach Suchmaschine tun solltest
| Ziel | Das solltest du tun |
|---|---|
| Google langfristig verlangsamen | Server reparieren / erweitern |
| Google im Notfall verlangsamen | 429/500/503 zurückgeben – maximal 1–2 Tage |
| Google dauerhaft verlangsamen | Antrag auf Reduzierung der Crawling-Rate in der Search Console |
| Bing verlangsamen | Crawl Control in den Bing Webmaster Tools |
| Yandex verlangsamen | Einstellung für die Crawling-Rate im Yandex Webmaster |
| Andere Crawler verlangsamen | Gezieltes User-agent: + crawl-delay |
Nicht tun
- Verwende
crawl-delaynicht in der Erwartung, dass es Google oder Yandex beeinflusst. - Verwende
401/403/404nicht zum Drosseln von Googlebot (keine Wirkung; unter den4xxwirkt nur429). - Setze für Bing keine Werte über 10.
Wie solltest du einen Crawler verlangsamen?
Which crawl-control path fits?
Werkzeuge für die Arbeit mit crawl-delay
- Der Robots.txt-Tester prüft, welche User-Agent-Gruppe und Regel gelten; so lassen sich Fehler bei der Zuordnung erkennen, auch wenn die Unterstützung von
crawl-delayweiterhin vom jeweiligen Crawler abhängt. - Der Robots.txt-Generator hilft dir, separate Bot-Gruppen zu erstellen, statt pauschal für jeden Crawler eine Verzögerung anzuwenden.
- Der Log File Analyzer zeigt die tatsächlich nach einer Änderung erzeugte Anfragerate und trennt Such-Crawler von gefälschten User-Agents.
- Der Googlebot-Verifizierer prüft, ob die IP-Adresse hinter der erzeugten Last tatsächlich zu dem Crawler gehört, den sie vorgibt zu repräsentieren.
Ressourcen, die deine Zeit wert sind
Meine verwandten Texte
- Robots.txt und SEO: Alles, was du wissen musst – das vollständige Bild zu robots.txt, einschließlich der Gründe, warum
crawl-delaykeine Google-Direktive ist. - Der Einsteigerleitfaden für technisches SEO – wo Crawling-Steuerungen im größeren Zusammenhang stehen.
- Indexiert, obwohl durch robots.txt blockiert – eine Erinnerung daran, dass robots.txt das Crawling, nicht die Indexierung steuert.
Meine Vorträge
- How Search Works (SlideShare) – meine Darstellung von Crawling, Rendering, Indexierung und Ranking. (Der übliche Hinweis gilt: „Das ist mein Verständnis von Systemen … nicht vollständig oder zu 100 % korrekt.“)
Aus der Branche
- Eine Notiz zu nicht unterstützten Regeln in robots.txt (Google Search Central) – die ursprüngliche Ankündigung der Abschaffung von 2019.
- Bingbot-Anleitung – aktuelle Bing-Webmaster-Anleitung mit Werten von 1–20 Sekunden.
- Google stellt die Unterstützung für crawl-delay, nofollow und noindex ein (Search Engine Roundtable) – Berichterstattung über die Änderung von 2019.
- Google entfernt die Unterstützung für crawl-delay, nofollow und noindex (Coywolf) – zusätzlicher Kontext zur Abschaffung.
- Das Tool zur Crawling-Rate von Googlebot in der Search Console wird eingestellt (Search Engine Land) – Zitate von Gary Illyes zu besseren Alternativen.
- Crawl-delay: 10 in robots.txt: Was bedeutet das? (Conductor) – eine häufig zitierte Erklärung.
Teste dich selbst: Crawl Delay
Fünf kurze Fragen zur crawl-delay-Direktive. Wähle jeweils eine Antwort und prüfe sie anschließend.
Änderungsprotokoll
Aktualisiert am 9. Aug. 2026.
Redaktionelle Zusammenfassung und aufgezeichnete Änderungsdetails.Änderungsdetails
-
Detaillierte Änderungsangaben sind derzeit auf Englisch verfügbar.
Vollständiger Vergleich nicht verfügbar — für diese Version wurde kein früherer Schnappschuss archiviert.
Aktualisiert am 9. Aug. 2026.
Redaktionelle Zusammenfassung und aufgezeichnete Änderungsdetails.Änderungsdetails
-
Detaillierte Änderungsangaben sind derzeit auf Englisch verfügbar.
Vollständiger Vergleich nicht verfügbar — für diese Version wurde kein früherer Schnappschuss archiviert.
Aktualisiert am 18. Juli 2026.
Redaktionelle Zusammenfassung und aufgezeichnete Änderungsdetails.Änderungsdetails
-
Detaillierte Änderungsangaben sind derzeit auf Englisch verfügbar.
-
Detaillierte Änderungsangaben sind derzeit auf Englisch verfügbar.
Vollständiger Vergleich nicht verfügbar — für diese Version wurde kein früherer Schnappschuss archiviert.