Crawl-Budget

TL;DR — Crawl-Budget beschreibt, wie viel eine Suchmaschine bereit ist, deine Website zu crawlen. Es sind zwei miteinander multiplizierte Dinge: wie viel dein Server verkraften kann und wie viel Google crawlen will. Mehr Crawling verbessert dein Ranking nicht — und für die meisten Websites ist das kein Thema. Werden deine Seiten noch am selben Tag gecrawlt, an dem du sie veröffentlichst, hast du kein Crawl-Budget-Problem.

Was Crawl-Budget ist

Wenn eine Suchmaschine deine Website crawlt, tut sie das nicht endlos. Sie crawlt in einem bestimmten Zeitfenster eine Anzahl deiner URLs und zieht dann weiter. Diese Menge nennen SEOs dein Crawl-Budget.

Im Kern beantwortet die Suchmaschine ständig zwei Fragen:

• Wie viel kann ich crawlen? Dein Server kann nur eine bestimmte Last verkraften, bevor er langsamer wird oder Fehler ausgibt. Google beobachtet das und fährt zurück. Das ist die Crawl-Kapazität (in älteren Dokumenten Crawl-Ratenlimit genannt).
• Wie viel möchte ich crawlen? Beliebte Seiten und Seiten, die sich häufig ändern, werden öfter gecrawlt. Seiten, auf die niemand verlinkt oder die sich nie ändern, werden selten gecrawlt. Das ist die Crawl-Nachfrage.

Multiplizierst du beides, erhältst du dein Crawl-Budget: grob gesagt die Anzahl der URLs, die Google crawlen kann und will. Evidence for this claim Google defines crawl budget using crawl capacity limit and crawl demand. Scope: Google Search crawling for larger sites. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Eine wichtige Unterscheidung gleich zu Beginn: Beim Crawl-Budget geht es darum, ob Google eine URL überhaupt abrufen kann. Ob Google das Gefundene anschließend indexiert, ist eine separate, spätere Entscheidung. Eine Seite kann gecrawlt werden und trotzdem nicht in den Index gelangen — Crawling garantiert keine Indexierung; es ist nur das Tor, durch das du zuerst hindurchmusst.

Das Wichtigste zuerst: Du musst dir darüber wahrscheinlich keine Sorgen machen

Das ist der Teil, den die meisten Artikel verstecken. Die meisten Websites haben kein Crawl-Budget-Problem. Google sagt das direkt — wenn deine Seiten am selben Tag gecrawlt werden, an dem sie veröffentlicht werden, oder deine Website nicht riesig ist und sich nicht schnell verändert, kannst du das ganze Thema überspringen. Evidence for this claim Google says sites without many rapidly changing pages, or whose pages are crawled the day they publish, generally do not need crawl-budget guidance. Scope: Google's rough applicability guidance, not a guarantee for every site. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Ein einfacher Plausibilitätstest: Suche in Google nach einigen deiner URLs oder verwende das URL-Prüfungstool in der Search Console. Wenn deine neuen Seiten innerhalb von ein oder zwei Tagen auftauchen, ist dein Crawl-Budget in Ordnung. Verwende deine Zeit stattdessen auf Inhalte und Links.

Crawl-Budget wird relevant, wenn eine Website Hunderttausende oder Millionen Seiten hat, besonders wenn sich viele davon ständig ändern (etwa bei einem großen E-Commerce-Shop oder einer großen Nachrichten-Website).

Mehr Crawling bedeutet kein besseres Ranking

Hier ist ein Mythos, den man früh aus der Welt schaffen sollte: Wenn eine Seite öfter gecrawlt wird, rückt sie in den Ergebnissen nicht nach oben. Crawling bedeutet nur, dass die Suchmaschine deine Seite findet und herunterlädt. Es ist ein Tor, durch das du gelangen musst, um überhaupt ranken zu können — aber sobald du hindurch bist, ist die Häufigkeit des erneuten Crawlens kein Rankingfaktor.

Das Ziel lautet also nicht „öfter gecrawlt werden“. Das Ziel ist sicherzustellen, dass die Seiten, die dir wichtig sind, gecrawlt werden und die Suchmaschine ihre Zeit nicht mit wertlosen URLs verschwendet.

Was Crawl-Budget verschwendet

Wenn du eine große Website hast, wird das Budget aufgebraucht durch:

• Filter- und Sortier-URLs (facettierte Navigation) — jede Filterkombination in einem E-Commerce-Shop kann Tausende nahezu identische URLs erzeugen.
• Doppelte Seiten — derselbe Inhalt ist unter mehreren URLs erreichbar (mit und ohne www, mit angehängten Parametern usw.).
• Soft-404s — „nicht gefunden“-Seiten, die den Status 200 OK zurückgeben, sodass die Suchmaschine sie weiter crawlt.
• Defekte Weiterleitungsketten und langsame Seiten — dadurch kostet jeder Crawl mehr.

Die Lösung besteht fast immer darin, Verschwendung zu entfernen, damit das Budget auf echte Seiten entfällt — nicht darin, Google davon zu überzeugen, „mehr“ zu crawlen.

Möchtest du das vollständige Modell — Crawl-Kapazität gegenüber Nachfrage, die genauen Größenschwellen, den Umgang mit facettierter Navigation, die Unterschiede bei Bing und die Messung? Wechsle zum Tab Fortgeschritten.

TL;DR — Crawl-Budget = Crawl-Kapazitätslimit (was dein Server verkraftet) × Crawl-Nachfrage (Beliebtheit + Alter + wahrgenommener URL-Bestand). Es ist eine Effizienzfrage, kein Ranking-Signal. Intern ist es eine nach Wichtigkeit geordnete Planung, die durch die Host-Auslastung begrenzt wird, keine pauschale Quote pro Website. Die meisten Websites können es ignorieren — Mueller hält 100k URLs für „normalerweise nicht genug“, und Google rät Websites, deren Seiten am selben Tag gecrawlt werden, den Leitfaden zu überspringen. Relevant wird es bei etwa 1 Mio. oder mehr Seiten (wöchentliche Änderungen), 10 000 oder mehr Seiten (tägliche Änderungen) oder wenn „Discovered – currently not indexed“ anschwillt. Der größte Hebel ist das Entfernen von Verschwendung — facettierte Navigation, Duplikate, Soft-404s und unendliche Räume — damit sich das Budget auf wichtige URLs konzentriert.

Das Zwei-Faktoren-Modell

Google definiert es klar: “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (Übersetzung) „Der Zeit- und Ressourcenaufwand, den Google dem Crawlen einer Website widmet, wird häufig als Crawl-Budget bezeichnet; es wird durch zwei Hauptelemente bestimmt: Crawl-Kapazitätslimit und Crawl-Nachfrage.“ Die Formulierung von Gary Illyes aus dem Jahr 2017 ist der Einzeiler, auf den ich immer wieder zurückgreife: Das Crawl-Budget ist “the number of URLs Googlebot can and wants to crawl.” (Übersetzung) „die Anzahl der URLs, die Googlebot crawlen kann und crawlen möchte.“ Evidence for this claim Google defines crawl budget using crawl capacity limit and crawl demand. Scope: Google Search crawling for larger sites. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide Behalte den Umfang im Blick: Das Crawl-Budget steuert das Abrufen, nicht die Indexierung. Eine gecrawlte URL durchläuft weiterhin eine separate Indexierungsentscheidung — beides zusammenzuwerfen, überschätzt, was das Crawl-Budget kontrolliert.

Crawl-Kapazitätslimit (die Angebotsseite). Das ist “the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (Übersetzung) „die maximale Anzahl paralleler Verbindungen, die Google zum Crawlen einer Website verwenden kann, sowie die Zeitverzögerung zwischen Abrufen.“ Es verändert sich mit dem Zustand deines Servers. Antworte schnell und sauber, dann steigt das Limit; liefere langsame Antworten, 5xx-Fehler oder 429, fährt Googlebot zurück. In meiner How Search Works Präsentation liste ich dieselben Auslöser für das Ratenlimit auf: Serverstabilität, langsame Antworten, 5xx-Serverfehler und 429 (zu viele Anfragen). Das ist das „Kann“.

Crawl-Nachfrage (die Nachfrageseite). Sie wird durch Beliebtheit (wie stark eine URL verlinkt bzw. wie wichtig sie ist) und Alter bestimmt (wie lange der letzte Crawl zurückliegt und wie häufig sich die Seite ändert). Dieselbe Präsentation unterteilt die Nachfrage in PageRank, Änderungsfrequenz der Seite, Zeit seit dem letzten Crawl und größere Website-Änderungen. Entscheidend: Google nennt den wahrgenommenen URL-Bestand den Hebel, den du am stärksten kontrollierst: “Without guidance from you, Google tries to crawl all or most of the URLs that it knows about on your site. If many of these URLs are duplicates, or you don’t want them crawled for some other reason… this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (Übersetzung) „Ohne Hinweise von Ihnen versucht Google, alle oder die meisten ihm bekannten URLs Ihrer Website zu crawlen. Wenn viele dieser URLs Duplikate sind oder Sie aus einem anderen Grund nicht möchten, dass sie gecrawlt werden … verschwendet dies viel Google-Crawlingzeit auf Ihrer Website. Das ist der Faktor, den Sie am positivsten beeinflussen können.“

Ein paar strukturelle Fakten überraschen viele:

• Das Budget gilt pro Hostname. “https://www.example.com/ and https://code.example.com/ are two different hostnames, and therefore have separate crawl budgets.” (Übersetzung) „https://www.example.com/ und https://code.example.com/ sind zwei verschiedene Hostnamen und haben daher separate Crawl-Budgets.“ Subdomains teilen sich kein Budget.
• Die verschiedenen Googlebot-Typen greifen wahrscheinlich auf einen gemeinsamen Pool zu. In meinen eigenen Auswertungen scheinen Bild-, News-, Video-, Anzeigen- und die übrigen Bots aus demselben Website-Budget zu schöpfen — ich habe keine aktuelle Primärquelle von Google, die das exakt festlegt; behandle es daher als Beobachtung aus der Praxis und nicht als dokumentierte Richtlinie. In jedem Fall lohnt es sich, den Bericht zu den Crawl-Statistiken nach Crawler-Typ aufzuschlüsseln, wenn du vermutest, dass ein Typ die übrigen verdrängt.

Was es intern wirklich ist: Planung nach Wichtigkeit

„Crawl-Budget“ ist ein von SEOs geprägter Sammelbegriff. Intern ähnelt es eher einer durch die Host-Auslastung begrenzten Planung. Illyes hat beschrieben, dass Googles Scheduler “sets a bucket of URLs in importance order and GoogleBot will crawl in that order based on the schedule the host load decided. If Google thinks your server can handle it, it will crawl the whole bucket, if not, it will stop.” (Übersetzung) „setzt eine Gruppe von URLs in eine Reihenfolge nach Wichtigkeit, und GoogleBot crawlt sie in dieser Reihenfolge gemäß dem Zeitplan, den die Host-Auslastung vorgibt. Wenn Google glaubt, dass Ihr Server damit umgehen kann, crawlt es die gesamte Gruppe; andernfalls stoppt es.“

Das stellt das gesamte Thema in ein anderes Licht. Es gibt keine pauschale Quote nach dem Muster „Du bekommst N Seiten pro Tag“ — es ist eine priorisierte Warteschlange, und das Crawling folgt der Suchnachfrage. Illyes erneut: “If search demand goes down, then that also correlates to the crawl limit going down,” (Übersetzung) „Wenn die Suchnachfrage sinkt, hängt damit auch ein sinkendes Crawling-Limit zusammen.“ und “if you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (Übersetzung) „Wenn Sie den Umfang des Crawlings erhöhen möchten, müssen Sie die Suche irgendwie davon überzeugen, dass Ihre Inhalte das Abrufen wert sind; genau darauf hört der Scheduler im Wesentlichen.“ Das Search-Relations-Team hat die Vorstellung einer „festen täglichen Seitenquote“ ausdrücklich als Missverständnis bezeichnet.

Hat deine Website tatsächlich ein Crawl-Budget-Problem?

Das ist der wertvollste Abschnitt, deshalb sage ich es direkt: Die meisten Websites müssen sich keine Sorgen um das Crawl-Budget machen. Googles eigener Leitfaden beginnt mit dieser Entschärfung: “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide. For Google Search specifically, merely keeping your sitemap up to date and checking your index coverage regularly is adequate.” (Übersetzung) „Wenn Ihre Website nicht über viele Seiten verfügt, die sich schnell ändern, oder wenn Ihre Seiten offenbar am selben Tag gecrawlt werden, an dem sie veröffentlicht werden, müssen Sie diesen Leitfaden nicht lesen. Für die Google-Suche reicht es insbesondere aus, Ihre Sitemap aktuell zu halten und regelmäßig die Indexabdeckung zu prüfen.“ Evidence for this claim Google says sites without many rapidly changing pages, or whose pages are crawled the day they publish, generally do not need crawl-budget guidance. Scope: Google's rough applicability guidance, not a guarantee for every site. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

John Mueller nannte die konkrete Zahl: “100k URLs is usually not enough to affect crawl budget (it’s <1/minute over 3 months).” Wenn du unter sechsstelligen URL-Zahlen liegst und deine Seiten zügig gecrawlt werden, kannst du weitermachen.

Wann es relevant wird: Googles grobe Schwellenwerte sind:

• Große Websites — mehr als 1 Million eindeutige Seiten mit Inhalten, die sich mäßig häufig ändern (etwa wöchentlich).
• Mittlere oder größere Websites — mehr als 10 000 eindeutige Seiten mit sehr schnell wechselnden Inhalten (täglich).
• Websites mit einem großen Anteil an URLs, die in der Search Console als „Discovered – currently not indexed“ klassifiziert sind — das ist die Warnleuchte dafür, dass Google URLs kennt, die es nicht erreicht.

Google ergänzt den Haftungsausschluss, dass “the numbers given here are a rough estimate… not exact thresholds.” (Übersetzung) „Die hier angegebenen Zahlen sind eine grobe Schätzung … keine exakten Schwellenwerte.“ Und auch bei großen Websites gilt die Nuance aus meiner eigenen Arbeit: Meistens sind es neue, schlecht verlinkte oder statische Seiten, die zurückbleiben — nicht deine beliebten Seiten.

Beeinflusst das Crawl-Budget Rankings? Nein.

Crawling ist zum Ranking nötig, aber kein Ranking-Signal. Google schrieb 2017: “An increased crawl rate will not necessarily lead to better positions in Search results. Google uses hundreds of signals to rank the results, and while crawling is necessary for being in the results, it’s not a ranking signal.” (Übersetzung) „Eine höhere Crawling-Rate führt nicht unbedingt zu besseren Positionen in den Suchergebnissen. Google verwendet Hunderte von Signalen, um die Ergebnisse zu ranken; Crawling ist zwar nötig, um in den Ergebnissen zu erscheinen, aber kein Rankingsignal. In meinem Ahrefs-Leitfaden formuliere ich es genauso: “More crawling doesn’t mean you’ll rank better, but if your pages aren’t crawled and indexed they aren’t going to rank at all.” (Übersetzung) „Mehr Crawling bedeutet nicht, dass Sie besser ranken, aber wenn Ihre Seiten nicht gecrawlt und indexiert werden, werden sie überhaupt nicht ranken.“ Betrachte Crawl-Budget uneingeschränkt als Effizienzproblem.

Was Crawl-Budget verschwendet

Illyes veröffentlichte die maßgebliche Liste der URLs mit geringem Mehrwert „in order of significance“:

1. Facettierte Navigation und Sitzungskennungen — der Hauptverursacher, besonders E-Commerce-Filter-/Sortierkombinationen, die URLs kombinatorisch vervielfachen.
2. Doppelter Inhalt innerhalb der Website — die klassischen technischen Varianten: HTTP gegenüber HTTPS, non-www gegenüber www, mit oder ohne abschließenden Schrägstrich, Groß- gegenüber Kleinschreibung, Standard-/Indexseiten und URL-Parameter. (Nach Googles eigener interner Schätzung sind etwa 60 % des Webs Duplicate Content.)
3. Soft-Fehlerseiten — Soft-404s, die den Status 200 zurückgeben, werden weiter gecrawlt.
4. Gehackte Seiten.
5. Unendliche Räume und Proxys — Kalender, Infinite-Scroll-Paginierung mit Duplikaten und facettierte Kombinationen; die klassischen Spider-Trap-Muster.
6. Minderwertige und Spam-Inhalte.

Die Kosten sind konkret: “Wasting server resources on pages like these will drain crawl activity from pages that do actually have value, which may cause a significant delay in discovering great content on a site.” (Übersetzung) „Das Verschleudern von Serverressourcen für solche Seiten entzieht Seiten, die tatsächlich einen Wert haben, Crawling-Aktivität, wodurch sich das Entdecken großartiger Inhalte auf einer Website deutlich verzögern kann.“ Darüber hinaus wirken sich lange Weiterleitungsketten “have a negative effect on crawling,” (Übersetzung) „wirken sich negativ auf das Crawling aus“ aus, und langsame, schwere Seiten machen jeden Abruf teurer.

So optimierst du es

Das gesamte Ziel besteht darin, das Budget auf wichtige URLs zu konzentrieren:

• Duplikate konsolidieren. Google: “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (Übersetzung) „Konsolidieren Sie doppelte Inhalte, damit das Crawling sich auf eindeutige Inhalte statt auf eindeutige URLs konzentriert.“ Wähle einen Host, ein Protokoll und eine Konvention für abschließende Schrägstriche; verwende Canonicals; behandle Parameter.
• Wirklich wertlose Pfade mit robots.txt blockieren — aber nur Pfade, die du niemals crawlen lassen willst. Für facettierte Navigation sind üblicherweise die Parameterpfade in robots.txt zu blockieren oder ein # statt eines ? zu verwenden, damit die URLs von vornherein nicht crawlbar sind.
• noindex nicht verwenden, um Budget zu sparen. Google: “Don’t use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.” (Übersetzung) „Verwenden Sie noindex nicht, da Google die Seite weiterhin anfordert, sie aber beim Erkennen eines noindex-Meta-Tags oder -Headers in der HTTP-Antwort verwirft und dadurch Crawlingzeit verschwendet.“ Die Anfrage kostet dich weiterhin etwas. Blockiere in robots.txt, wenn die URL nie abgerufen werden soll.
• Nicht erwarten, dass robots.txt Budget neu verteilt. “Google won’t shift this newly available crawl budget to other pages unless Google is already hitting your site’s serving limit.” (Übersetzung) „Google wird dieses neu verfügbare Crawl-Budget nicht auf andere Seiten verlagern, es sei denn, Google stößt bereits an die Auslieferungsgrenze Ihrer Website.“ Wertlose URLs zu blockieren ist gute Hygiene, aber das frei gewordene Crawling wird nur dann an gute Seiten verschoben, wenn du bereits an der Auslieferungsgrenze liegst.
• Soft-404s beheben; für verschwundene Seiten echte 404/410 zurückgeben. “A 404 status code is a strong signal not to crawl that URL again.” (Übersetzung) „Ein 404-Statuscode ist ein starkes Signal, diese URL nicht erneut zu crawlen.“
• Weiterleitungsketten verkürzen, Sitemaps aktuell halten (ehrliches lastmod) und die Servergeschwindigkeit verbessern.
• Interne Links auf wichtige und neue Seiten stärken — leichter als alles andere, weil du dies vollständig kontrollierst.

Und es gibt genau zwei — nur zwei — Möglichkeiten, wie Google zufolge das Budget tatsächlich erhöht werden kann: “Add more server resources… [and] optimize your content’s quality.” (Übersetzung) „Fügen Sie weitere Serverressourcen hinzu … und optimieren Sie die Qualität Ihrer Inhalte.“ Beachte den Haken: Ein schnellerer Server hebt die Obergrenze der Kapazität, aber bei niedriger Nachfrage crawlt Google trotzdem weniger. Du brauchst beides.

So misst du es

• GSC > Einstellungen > Bericht zu den Crawl-Statistiken — gesamte Crawl-Anfragen im Zeitverlauf, durchschnittliche Antwortzeit, Host-Status sowie Aufschlüsselungen nach Antwortcode, Dateityp und Googlebot-Typ. Das ist Googles eigene Sicht darauf, wie gecrawlt wird.
• Analyse von Server-Logdateien — die tatsächliche Grundlage. Echte Googlebot-Abrufe nach URL-Muster zeigen dir Crawl-Verschwendung und wichtige, nicht gecrawlte Seiten. Verifiziere, dass der Bot wirklich Googlebot ist, per Reverse- und Forward-DNS oder anhand von Googles veröffentlichten IP-Bereichen (viele Fake-Bots fälschen den User-Agent).
• “Discovered – currently not indexed” (Übersetzung) „Entdeckt – derzeit nicht indexiert“ in der GSC — behandle einen wachsenden Bestand hier als Warnleuchte für das Crawl-Budget: Google kennt die URLs, erreicht sie aber nicht.

Bing und andere Suchmaschinen: „Crawl-Effizienz“

Bing fasst das Thema eher als Crawl-Effizienz denn als Budget. Fabrice Canels Definition lautet: “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (Übersetzung) „Die Crawl-Effizienz beschreibt, wie oft wir crawlen und neue sowie aktuelle Inhalte pro gecrawlter Seite entdecken.“ Das Ziel ist, “crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (Übersetzung) „Eine URL soll nur gecrawlt werden, wenn der Inhalt hinzugefügt wurde (URL zuvor noch nicht gecrawlt), aktualisiert wurde (frischer Kontext auf der Seite oder nützliche ausgehende Links).“ Bings klare Philosophie: “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (Übersetzung) „Weniger ist mehr für SEO. Vergessen Sie das nie. Weniger zu crawlende URLs sind besser für SEO.“

Bings bevorzugte Lösung ist IndexNow — geänderte URLs pushen, damit bingbot keine explorativen Crawls benötigt — sowie Crawl Control in den Bing Webmaster Tools, mit dem du stündlich planen kannst, wann bingbot crawlt, um die Serverlast zu schützen. Das ist ein erwähnenswerter Unterschied zwischen Google und Bing: Google hat sein altes Crawl-Ratenlimit in der Search Console eingestellt, während Bing weiterhin eine aktive Steuerung des Crawl-Zeitplans erlaubt.

Crawl-Budget-Mythen, korrigiert

• „Jede Website sollte ihr Crawl-Budget optimieren.“ Nein — die meisten sollten das nicht. Crawling am selben Tag und weniger als 100k URLs bedeuten, dass alles in Ordnung ist.
• „Mehr Crawling = bessere Rankings.“ Nein. Crawling ist nötig, aber kein Ranking-Signal.
• „Es gibt eine feste tägliche Seitenquote.“ Nein — es ist eine durch Host-Auslastung begrenzte, an der Wichtigkeit ausgerichtete Planung.
• „Verwende noindex, um Budget zu sparen.“ Nein — Google ruft die Seite trotzdem zuerst ab.
• „Blockiere Seiten in robots.txt, damit andere Seiten mehr Budget bekommen.“ Im Allgemeinen nein, außer du bist bereits an deiner Auslieferungsgrenze.
• „Ein schnellerer Server allein erhöht dein Budget.“ Er hebt nur die Kapazitätsgrenze; geringe Nachfrage bedeutet weiterhin weniger Crawls.

Für die umfassendere Pipeline, in der dieses Thema liegt — Discovery, Crawl-Scheduler, Rendering und die Unterschiede zwischen Crawling und Indexierung — siehe den Crawling-Hub. Die verwandten Themen (Crawl-Rate, Crawl-Häufigkeit, Spider-Traps und Logdateianalyse) gehen jeweils tiefer auf einen Teilbereich ein.

KI-Zusammenfassung

Eine komprimierte Zusammenfassung der Advanced-Version:

• Crawl-Budget = Crawl-Kapazitätslimit × Crawl-Nachfrage. Die Kapazität ist das, was dein Server verkraftet (steigt bei schnellen/sauberen Antworten und fällt bei 5xx/429); die Nachfrage ist Beliebtheit + Alter + wahrgenommener URL-Bestand. Googles Einzeiler: “the number of URLs Googlebot can and wants to crawl.” (Übersetzung) „die Anzahl der URLs, die Googlebot crawlen kann und crawlen möchte.“
• Es ist kein Rankingfaktor. Crawling ist zum Ranking nötig, aber mehr Crawling verbessert die Position nicht — es ist ausschließlich eine Effizienzfrage.
• Intern ist es eine nach Wichtigkeit geordnete Planung, die durch die Host-Auslastung begrenzt wird — eine priorisierte Warteschlange statt einer pauschalen täglichen Seitenquote. Crawling folgt der Suchnachfrage.
• Die meisten Websites müssen es nicht verwalten. Mueller: 100k URLs reichen normalerweise nicht aus, um relevant zu sein. Google: Werden Seiten am selben Tag gecrawlt, überspringe den Leitfaden. Relevant wird es bei etwa 1 Mio. oder mehr Seiten (wöchentliche Änderungen), 10 000 oder mehr (tägliche Änderungen) oder einem großen Bestand von “Discovered – currently not indexed” (Übersetzung) „Entdeckt – derzeit nicht indexiert“.
• Was es verschwendet (Googles Reihenfolge): facettierte Navigation/Sitzungskennungen, doppelte Inhalte, Soft-404s, gehackte Seiten, unendliche Räume und minderwertige Inhalte — plus Weiterleitungsketten und langsame Seiten.
• Optimiere, indem du Verschwendung entfernst: Duplikate konsolidieren, wertlose Pfade in robots.txt blockieren (nicht noindex — Google ruft zuerst trotzdem ab), Soft-404s beheben, Weiterleitungen verkürzen, Sitemaps sauber halten und interne Links stärken. Nur zwei Wege erhöhen das Budget wirklich: mehr Serverkapazität und höhere Inhaltsqualität.
• Messen mit GSC-Crawl-Statistiken, Server-Logdateianalyse und dem Bericht “Discovered – currently not indexed” (Übersetzung) „Entdeckt – aktuell nicht indexiert“.
• Bing nennt es Crawl-Effizienz („weniger ist mehr“) und setzt auf IndexNow + Crawl Control statt auf Googles zurückhaltenden Ansatz.

Offizielle Dokumentation

Primärquellen-Dokumentation der Suchmaschinen.

Google

• Crawl-Budget optimieren — das maßgebliche Dokument (in Googles Dokumentation zur Crawling-Infrastruktur von der alten URL “large site owner’s guide” (Übersetzung) „Leitfaden für große Websites“ verschoben, zuletzt im Dezember 2025 aktualisiert): Crawl-Kapazität + Nachfrage, für wen es relevant ist, die Liste der Verschwendung und die Optimierung. Beginne hier.
• Was Crawl-Budget für Googlebot bedeutet (Gary Illyes, 2017) — die ursprüngliche Einordnung: Crawl-Ratenlimit + Crawl-Nachfrage sowie die Kategorien von URLs mit geringem Mehrwert.
• Crawling und Indexierung — der Hub für Robots, Sitemaps, Canonicalisierung und Crawl-Steuerung.
• Crawling-December-Reihe (2024) — Googlebot, HTTP-Caching, facettierte Navigation und CDNs.

Bing / Microsoft

• bingbot Series: Maximizing Crawl Efficiency — Bings Einordnung als „Crawl-Effizienz“ und sein Leitprinzip.
• bingbot Series: Optimizing Crawl Frequency — wie Bing die Häufigkeit erneuter Crawls bestimmt.
• Bing Webmaster Tools — Crawl Control — stündlich planen, wann bingbot crawlt.
• IndexNow / indexnow.org — geänderte URLs pushen, damit Suchmaschinen keine explorativen Crawls benötigen.

Zitate aus der Quelle

Aussagen von Google und Bing zu Protokoll. Jeder Link führt als Deep Link direkt zur zitierten Passage auf der Quellseite.

Google — die Definition

• “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (Übersetzung) „Die Zeit und Ressourcen, die Google dem Crawling einer Website widmet, werden üblicherweise als Crawl-Budget der Website bezeichnet; es wird durch zwei Hauptelemente bestimmt: Crawl-Kapazitätslimit und Crawl-Nachfrage.“ — Google-Search-Central-Dokumentation. Zum Zitat
• “Google’s crawlers calculate a crawl capacity limit, which is the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” (Übersetzung) „Googles Crawler berechnen ein Crawl-Kapazitätslimit. Dieses ist die maximale Anzahl paralleler Verbindungen, die Google zum Crawlen einer Website gleichzeitig verwenden kann, sowie die Zeitverzögerung zwischen Abrufen.“ Zum Zitat
• “Taking crawl rate and crawl demand together we define crawl budget as the number of URLs Googlebot can and wants to crawl.” (Übersetzung) „Aus Crawl-Rate und Crawl-Nachfrage definieren wir das Crawl-Budget als die Anzahl der URLs, die Googlebot crawlen kann und crawlen möchte.“ — Gary Illyes, Google (2017). Zum Zitat

Google — wann du dir keine Sorgen machen musst

• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (Übersetzung) „Wenn Ihre Website nicht über viele Seiten verfügt, die sich schnell ändern, oder wenn Ihre Seiten offenbar am selben Tag gecrawlt werden, an dem sie veröffentlicht werden, müssen Sie diesen Leitfaden nicht lesen.“ Zum Zitat
• “100k URLs is usually not enough to affect crawl budget (it’s <1/minute over 3 months).” (Übersetzung) „100k URLs reichen normalerweise nicht aus, um das Crawl-Budget zu beeinflussen (das entspricht über drei Monate weniger als 1 URL pro Minute).“ — John Mueller, Google (2021). Berichterstattung lesen

Google — was du kontrollierst und Crawling vs. Ranking

• “If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (Übersetzung) „Wenn viele dieser URLs Duplikate sind oder Sie aus einem anderen Grund nicht möchten, dass sie gecrawlt werden (entfernt, unwichtig und so weiter), verschwendet das viel Crawling-Zeit von Google auf Ihrer Website. Dies ist der Faktor, den Sie am stärksten positiv beeinflussen können.“ Zum Zitat
• “An increased crawl rate will not necessarily lead to better positions in Search results. Google uses hundreds of signals to rank the results, and while crawling is necessary for being in the results, it’s not a ranking signal.” (Übersetzung) „Eine höhere Crawling-Rate führt nicht zwangsläufig zu besseren Positionen in den Suchergebnissen. Google verwendet Hunderte von Signalen für das Ranking; Crawling ist zwar notwendig, um in den Ergebnissen zu erscheinen, aber kein Rankingsignal.“ — Gary Illyes, Google (2017). Zum Zitat

Google — die Liste der Verschwendung und was du nicht tun solltest

• “Faceted navigation and session identifiers / On-site duplicate content / Soft error pages / Hacked pages / Infinite spaces and proxies / Low quality and spam content” (Übersetzung) „Facettierte Navigation und Sitzungskennungen / doppelte Inhalte auf der Website / Soft-Fehlerseiten / gehackte Seiten / unendliche Räume und Proxys / minderwertige und Spam-Inhalte.“ — die Kategorien mit geringem Mehrwert in der Reihenfolge ihrer Bedeutung. — Gary Illyes, Google (2017). Zum Zitat
• “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (Übersetzung) „Konsolidieren Sie doppelte Inhalte, damit sich das Crawling auf eindeutige Inhalte statt auf eindeutige URLs konzentriert.“ Zum Zitat
• “Don’t use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.” (Übersetzung) „Verwenden Sie noindex nicht, da Google die Seite trotzdem anfordert, sie aber fallen lässt, wenn es ein noindex-Meta-Tag oder einen Header in der HTTP-Antwort sieht, wodurch Crawling-Zeit verschwendet wird.“ Zum Zitat
• “Google won’t shift this newly available crawl budget to other pages unless Google is already hitting your site’s serving limit.” (Übersetzung) „Google wird dieses neu verfügbare Crawl-Budget nicht auf andere Seiten verlagern, es sei denn, Google erreicht bereits das Auslieferungslimit Ihrer Website.“ Zum Zitat

Gary Illyes, Google — Planung und Host-Auslastung (über die Berichterstattung von Search Engine Roundtable zu einem Stone-Temple-Q&A)

• “Host load kind of sets a bucket of URLs in importance order and GoogleBot will crawl in that order based on the schedule the host load decided. If Google thinks your server can handle it, it will crawl the whole bucket, if not, it will stop.” (Übersetzung) „Die Host-Auslastung legt gewissermaßen eine Gruppe von URLs in einer Reihenfolge nach Wichtigkeit fest, und GoogleBot crawlt sie in dieser Reihenfolge gemäß dem Zeitplan, den die Host-Auslastung vorgibt. Wenn Google glaubt, dass Ihr Server damit umgehen kann, crawlt es die gesamte Gruppe; andernfalls stoppt es.“ Zum Zitat

Fabrice Canel, Microsoft Bing

• “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (Übersetzung) „Crawl-Effizienz beschreibt, wie oft wir crawlen und neue sowie aktuelle Inhalte pro gecrawlter Seite entdecken.“ Zum Zitat
• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” (Übersetzung) „Für SEO gilt: Weniger ist mehr. Vergessen Sie das nie. Weniger zu crawlende URLs sind besser für SEO.“ Zum Zitat

Checkliste zur Optimierung des Crawl-Budgets

Diese Checkliste lohnt sich nur, wenn du bestätigt hast, dass tatsächlich ein Budgetproblem vorliegt (große Website, langsames Crawling am selben Tag oder ein wachsender Bestand von „Discovered – currently not indexed“). Dann:

• Das Problem als real bestätigt — GSC-Crawl-Statistiken und „Discovered – currently not indexed“ geprüft, bevor irgendetwas optimiert wurde.
• Eine Canonical-Konvention (Host, Protokoll, abschließender Schrägstrich, Groß-/Kleinschreibung) gewählt und Duplikate darauf konsolidiert.
• URL-Parameter behandelt — canonicalisiert oder diejenigen blockiert, die nur doppelte/minderwertige Varianten erzeugen.
• Facettierte Navigation gezähmt — wertlose Filter-/Sortierkombinationen in robots.txt blockiert oder hinter ein # verschoben, damit sie nicht crawlbar sind.
• Soft-404s behoben; für dauerhaft entfernte Seiten echte 404/410 zurückgegeben.
• Weiterleitungsketten entfernt oder verkürzt.
• Sitemaps enthalten nur kanonische, indexierbare URLs mit einem korrekten lastmod.
• noindex nicht verwendet, um Budget zu „sparen“ (Google ruft die Seite trotzdem ab), und nicht erwartet, dass robots.txt-Blocks das Budget auf andere Seiten umverteilen.
• Interne Links zu wichtigen und neu veröffentlichten Seiten gestärkt.
• Serverantwortzeit und Effizienz beim Laden der Seiten verbessert.
• (Bing) IndexNow zum Pushen von Änderungen eingeführt; Crawl Control verwendet, wenn die Serverlast der Engpass ist.

Die mentalen Modelle

1. Budget = Kapazität × Nachfrage. Crawl-Kapazität ist das, was dein Server verkraftet; Crawl-Nachfrage ist Beliebtheit + Alter + wahrgenommener URL-Bestand. Beides muss vorhanden sein: Ein schneller Server mit geringer Nachfrage wird weiterhin seltener gecrawlt, und hohe Nachfrage stößt bei einem überlasteten Server an Grenzen. Um das effektive Budget zu erhöhen, entfernst du fast immer Verschwendung, statt „mehr zu verlangen“.

2. Das Tor „Habe ich überhaupt ein Problem?“ Führe dies aus, bevor du irgendetwas anfasst:

• Werden Seiten am selben Tag gecrawlt, an dem sie veröffentlicht werden? → Kein Problem. Hier aufhören.
• Unter etwa 100k URLs (Muellers Faustregel)? → Fast sicher kein Problem.
• Mehr als 1 Mio. Seiten mit wöchentlicher Änderung, oder mehr als 10 000 mit täglicher Änderung, oder ein großer Bestand von „Discovered – currently not indexed“? → Jetzt lohnt sich deine Zeit.

3. Verschwendung entfernen, bevor du Google um mehr Crawling bittest. Die Idee mit dem größten Hebel auf dieser Seite. Google versucht, alles zu crawlen, was es kennt; wenn die Hälfte davon aus Duplikaten, Facetten und Soft-404s besteht, verschwendet es dein Budget an wertlosen URLs. Entferne diese URLs, dann konzentriert sich das Budget auf wichtige Seiten — das ist „der Faktor, den du am stärksten positiv kontrollieren kannst“.

4. Crawling ≠ Ranking. Crawling ist ein Tor, keine Punktetafel. Mehr Crawling verbessert deine Position nicht. Das Ziel ist also die Abdeckung der richtigen URLs, niemals ein möglichst hohes Crawling-Volumen.

5. Es ist eine priorisierte Warteschlange, keine Quote. Intern ist es eine Planung nach Wichtigkeit, die durch die Host-Auslastung begrenzt wird — ein priorisierter URL-Block statt einer pauschalen „N Seiten pro Tag“-Quote. Du rückst in der Warteschlange vor, indem du wichtiger bist (Links, Nachfrage) und Abrufe nicht verschwendest.

Crawl-Budget — Spickzettel

Was es verschwendet (Googles Reihenfolge der Bedeutung)

Außerdem machen lange Weiterleitungsketten und langsame/schwere Seiten jeden Abruf teurer.

Musst du dir überhaupt Sorgen machen?

• Crawling am selben Tag → nein.
• Weniger als etwa 100k URLs (Mueller) → fast sicher nein.
• 1 Mio. oder mehr Seiten mit wöchentlicher Änderung, 10 000 oder mehr mit täglicher Änderung oder ein großer Bestand von „Discovered – currently not indexed“ → ja.

Funktionierende Lösungen

• Duplikate konsolidieren / Canonicalisierung einführen.
• Wertlose Pfade in robots.txt blockieren (Facetten, Parameter) — niemals noindex verwenden, um „Budget zu sparen“.
• Soft-404s beheben; echte 404/410 zurückgeben.
• Weiterleitungsketten verkürzen; den Server beschleunigen.
• Sitemaps bereinigen; interne Links stärken.

Nur zwei Möglichkeiten, das Budget zu erhöhen (Google): mehr Serverkapazität und höhere Inhaltsqualität. Eine allein reicht nicht.

Bing: Es ist „Crawl-Effizienz“ — Änderungen mit IndexNow pushen und mit Crawl Control planen.

Werkzeuge zum Messen und Verwalten des Crawl-Budgets

• Google Search Console — Bericht zu den Crawl-Statistiken (Einstellungen → Crawl-Statistiken) — Googles eigene Sicht: Gesamtzahl der Anfragen im Zeitverlauf, durchschnittliche Antwortzeit, Host-Status und Aufschlüsselungen nach Antwortcode, Dateityp und Googlebot-Typ. Beginne hier.
• GSC “Discovered – currently not indexed” (Übersetzung) „Entdeckt – derzeit nicht indexiert“ (Bericht „Seiten“) — die Warnleuchte für URLs, die Google kennt, aber nicht crawlt.
• Analyse von Server-Logdateien — die tatsächliche Grundlage dafür, welche URLs Bots wirklich aufrufen und wie oft. Werkzeuge: Screaming Frog Log File Analyser oder Logs in BigQuery/eine Log-Plattform leiten. (Siehe Logdateianalyse.)
• Ahrefs Site Audit / Screaming Frog SEO Spider — einen Crawl simulieren, um doppelte URLs, Weiterleitungsketten, Soft-404s, blockierte URLs und Fallen-artige facettierte Räume aufzudecken.
• Ahrefs Webmaster Tools — kostenloser Crawl plus Audit für Websites, die du verifizierst.
• URL-Prüfung (GSC) — schneller Plausibilitätstest für das Crawling einer einzelnen URL am selben Tag.
• Bing Webmaster Tools — Crawl Control — das Crawling von bingbot stundenweise planen, wenn die Serverlast der Engpass ist.

Hat deine Website ein Crawl-Budget-Problem?

Monatlicher Gesundheitscheck für das Crawl-Budget

1. Such-Crawler-Anfragen für dasselbe Berichtsfenster jeden Monat aus den Server-Logs exportieren.
2. Anfragen nach Statuscode, Verzeichnis, Seitentyp und danach aufteilen, ob die URL indexierbar ist.
3. Häufige Parameter-Muster, doppelte Pfade, Weiterleitungen, Soft-404s und Serverfehler prüfen.
4. Den Crawl-Anteil wertvoller Templates mit dem vorherigen Zeitraum vergleichen und Launches oder Migrationen vermerken.
5. Jedem neuen Verschwendungsmuster eine verantwortliche Person und eine Kontrolle zuweisen: Links, Parameter, Weiterleitungen, Canonicalisierung, Entfernung oder Serverreparatur.
6. Das betroffene Muster im nächsten Logfenster erneut prüfen; die SOP ist abgeschlossen, wenn wertvolle URLs ihren Zugriff behalten und die Verschwendung gegenüber der eigenen Baseline der Website zurückgeht.

Crawl-Budget-Fehler

• Eine größere Anfragezahl verfolgen. Mehr Crawling verbessert Rankings nicht. Verfolge stattdessen, ob wichtige URLs bei Bedarf gecrawlt werden.
• Verschwendung nur in robots.txt blockieren. Das kann Abrufe stoppen, ohne entdeckte URLs zu entfernen oder die Links zu reparieren, die sie erzeugen. Entferne die Crawl-Pfade und konsolidiere den URL-Bestand, wo es angemessen ist.
• Bei jedem Build jedes Sitemap-lastmod aktualisieren. Eine vorgetäuschte Aktualität lehrt Crawler, dem Signal nicht zu vertrauen. Ändere es nur bei bedeutenden Seitenaktualisierungen.
• Serverfehler beim Abstimmen von URL-Mustern ignorieren. Ein Kapazitätsproblem begrenzt nützliches Crawling. Repariere Timeouts und 5xx-Antworten zuerst.
• Jede ausgeschlossene URL als Verschwendung behandeln. Manche nicht indexierten Ressourcen unterstützen Rendering oder Discovery. Klassifiziere ihren Zweck, bevor du etwas blockierst.

Prompt: Crawl-Log-Verschwendung klassifizieren

Füge eine aus Logs abgeleitete CSV mit URL, Template, Status, Bot, Treffern, Bytes und Indexierbarkeit ein. Entferne vorher Query-Werte oder Nutzerdaten.

Act as a technical SEO analyst. Classify each URL pattern as valuable crawling, necessary support crawling, redirect/error waste, duplicate/parameter waste, or unclear. Do not infer intent from the URL alone: list the evidence needed for every unclear row. Rank patterns by crawler requests and bytes, propose the safest control, and state what could break if that control is wrong. Return a table plus a short validation plan.

Prompt: Eine Crawl-Budget-Diagnose hinterfragen

Review the crawl-budget diagnosis below. Separate evidence of capacity, demand, discovery, and URL-inventory problems. Flag claims that confuse crawling with indexing or rankings. Then give the three smallest tests that would confirm or reject the diagnosis. Do not invent thresholds; use changes against the site's own baseline.

[PASTE DIAGNOSIS AND OBSERVATIONS]

Crawler-Statuscodes aus einem Zugriffs-Log zusammenfassen

Führe dies nach Anpassung des Bot-Musters an deinen verifizierten Crawler-Traffic gegen ein nginx-/Apache-ähnliches Log aus:

awk 'BEGIN{IGNORECASE=1} /Googlebot|bingbot/ {print $9}' access.log | sort | uniq -c | sort -nr

Unter PowerShell:

Select-String -Path .\access.log -Pattern 'Googlebot|bingbot' | ForEach-Object { if ($_.Line -match '"\s(\d{3})\s') { $Matches[1] } } | Group-Object | Sort-Object Count -Descending

Familien von Query-Parametern extrahieren

Verwende diesen regulären Ausdruck in einem Crawler-Export oder Texteditor, um den Namen des ersten Query-Parameters zu erfassen:

\?([^=&]+)(?:=[^&]*)?

Gruppe 1 ist der Parametername. Hohe Anfragezahlen kennzeichnen Muster, die untersucht werden sollten, nicht URLs, die automatisch blockiert werden dürfen.

Teste dich selbst: Crawl-Budget

Ressourcen, die deine Zeit wert sind

Meine verwandten Texte

• Wann sollten Sie sich um das Crawl-Budget sorgen? — mein vollständiger Ahrefs-Leitfaden zu diesem Thema, mit Details zur Optimierung und Entscheidungen bei facettierter Navigation.
• So beheben Sie „Discovered – currently not indexed“ — das GSC-Signal, das zugleich als Warnleuchte für das Crawl-Budget dient.
• Technische SEO: Einsteigerleitfaden — dort wird eingeordnet, welchen Platz Crawl-Budget im größeren Bild einnimmt.
• Enterprise-SEO-Strategien — für die Minderheit großer Websites, die sich tatsächlich darum kümmern muss.

Meine Vorträge

• So funktioniert die Suche (SlideShare) — meine Einführung in das Modell aus Crawl-Nachfrage und Crawl-Ratenlimit. (Der bestehende Haftungsausschluss gilt: “This is my understanding of systems… not going to be 100% complete or accurate.” (Übersetzung) „Das ist mein Verständnis der Systeme … es wird nicht zu 100% vollständig oder korrekt sein.“)

Aus der Branche

• Googles Reihe Crawling December (offiziell, aber die beste konzentrierte Sammlung von Crawl-Erklärungen, einschließlich facettierter Navigation).
• Google erklärt, was „Crawl-Budget“ für Webmaster bedeutet (Barry Schwartz, Search Engine Land, 2017) — eine verständliche Zusammenfassung von Googles ursprünglichem Crawl-Budget-Beitrag; nützlich für den Kontext “most sites don’t need to worry” (Übersetzung) „Die meisten Websites müssen sich keine Sorgen machen“.
• Gary Illyes erklärt den Unterschied zwischen Crawl-Budget, Planung und Host-Auslastung (Search Engine Roundtable) — die Quelle für die Einordnung als „Wichtigkeits-Block“/Host-Auslastung, die zeigt, dass es eine priorisierte Warteschlange und keine pauschale Quote ist.
• Google: 100.000 URLs beeinflussen das Crawl-Budget normalerweise nicht (Search Engine Roundtable, 2021) — Muellers konkrete 100 000-URL-Marke und der Kontext „<1/Minute über 3 Monate“.
• Googles Crawling-Prioritäten: Einblicke von Analyst Gary Illyes (Search Engine Journal) — behandelt die Widerlegung der „festen täglichen Seitenquote“ und die Idee, Google davon zu überzeugen, dass sich das Abrufen deiner Inhalte lohnt.
• Die fünf Infrastrukturschranken hinter Crawling, Rendering und Indexierung (Search Engine Land) — Quelle für Fabrice Canels Zitat „Less is more for SEO“ und Bings Philosophie der Crawl-Effizienz.
• bingbot-Reihe: Crawling-Häufigkeit optimieren (Bing Webmaster Blog, Fabrice Canel) — wie Bing die Häufigkeit erneuter Crawls entscheidet; das Gegenstück zum Beitrag über maximale Crawl-Effizienz.
• r/TechSEO — die Community für Crawl-/Index-Debugging.

Statistiken, die sich zu zitieren lohnen

• 100k URLs reichen normalerweise nicht aus. John Muellers konkrete Marke: “100k URLs is usually not enough to affect crawl budget (it’s <1/minute over 3 months).” (Übersetzung) „100k URLs reichen normalerweise nicht aus, um das Crawl-Budget zu beeinflussen (das entspricht über drei Monate weniger als 1 URL pro Minute).“ Die nützlichste einzelne Zahl, um Sorgen über das Crawl-Budget zu entschärfen. Quelle
• Die Schwellenwerte, ab denen es relevant wird: 1 Million oder mehr Seiten mit ungefähr wöchentlicher Änderung oder 10 000 oder mehr Seiten mit täglicher Änderung (Googles grobe Schätzungen, keine exakten Schwellenwerte). Quelle
• Etwa 60 % des Webs sind Duplicate Content — Googles interne Schätzung; deshalb sind doppelte URLs ein so zuverlässiger Abfluss von Crawl-Budget. Quelle

Die maßgebliche KPI für Crawl-Effizienz

Crawl-Budget ist keine Zahl, die Google dir aushändigt — du leitest sie daraus ab, wo Googlebot seine Anfragen tatsächlich einsetzt. Die KPI ist die Aufteilung: Wie viel Crawling entfällt auf Seiten, die du indexiert haben möchtest, gegenüber Seiten, die reine Verschwendung sind. (Zuerst der Ehrlichkeitscheck: Das ist nur im großen Maßstab relevant — Google sagt, dass Crawl-Budget vor allem bei Websites mit etwa 1 Mio. oder mehr Seiten oder bei mittelgroßen Websites mit vielen automatisch erzeugten URLs ein Thema ist. Eine kleine statische Website kann diese Metrik vollständig überspringen.)

Crawl-Zuweisung — wertvolle gegenüber verschwendeten Anfragen

• Metrik — Der Anteil verifizierter Googlebot-Anfragen an wichtige, indexierbare URLs gegenüber verschwendeten Anfragen (Duplikate, Parameter-/Facetten-URLs, nicht kanonische Varianten, Weiterleitungsschritte, 4xx/5xx).
• Was sie aussagt — Ob deine Crawl-Kapazität für Seiten eingesetzt wird, die ranken können. Ein steigender Anteil verschwendeter Anfragen ist ein Frühindikator für Verzögerungen bei Discovery/Indexierung, bevor sie überhaupt als Rankingproblem sichtbar werden.
• So wird sie abgerufen — Server-Logs durch den Log File Analyzer laufen lassen und verifizierte Googlebot-Treffer nach URL-Klasse segmentieren; mit dem GSC-Bericht Crawl-Statistiken abgleichen (Gesamtanfragen, nach Antwort, Dateizweck und Host-Status).
• Benchmark / realistischer Bereich — Situationsabhängig — es gibt keinen ehrlichen universellen „Verschwendungsprozentsatz“, weil er von deiner URL-Architektur abhängt. Lege deine eigene Baseline fest und senke den verschwendeten Anteil mit der Zeit; der Trend ist das Signal, keine erfundene absolute Zahl.
• Rhythmus — Monatlich und direkt nach einer strukturellen Änderung (neue Facetten, Migration) häufiger oder wenn die Crawl-Statistiken einen plötzlichen Anstieg der Anfragen oder der 4xx-/5xx-Antworten zeigen. Verschwendetes Crawling ist eine Frühindikator-Metrik; die Zahl indexierter Seiten folgt mit Verzögerung.

Änderungsprotokoll