Crawl Demand im SEO

TL;DR — Der Crawl-Budget hat zwei Seiten: wie schnell eine Suchmaschine Ihre Seiten abrufen kann (Crawl-Rate) und wie sehr sie es möchte (Crawl-Nachfrage). Die Crawl-Nachfrage ist die „Wollen“-Seite. Google möchte eine Seite eher crawlen, wenn sie beliebt ist (viele Links), wenn sie sich häufig ändert und wenn Google denkt, dass die Website ihre Zeit wert ist. Sie können keinen Knopf drücken, um die Nachfrage zu erhöhen – Sie verdienen sie sich mit Links, echter Aktualität und indem Sie Ihre guten Seiten nicht unter einem Haufen Junk-URLs begraben.

Was die Crawl-Nachfrage ist

Wenn Leute „Crawl-Budget“ sagen, meinen sie eigentlich zwei getrennte Dinge, zusammengequetscht. Das eine ist die Fähigkeit Ihres Servers, gecrawlt zu werden – wie schnell, wie viele Seiten auf einmal. Das ist die Crawl-Rate, und sie wird auf einer eigenen Seite behandelt. Das andere ist, wie sehr die Suchmaschine Sie tatsächlich crawlen möchte. Das ist die Crawl-Nachfrage – das Thema hier.

Denken Sie an Angebot und Nachfrage. Die Crawl-Rate ist das Angebot: wie viel Crawling Ihre Website unterstützen kann. Die Crawl-Nachfrage ist die Nachfrage: wie viel Google Lust hat. Evidence for this claim Google describes crawl demand as one of the two main elements of crawl budget, alongside crawl capacity limit. Scope: Google Search crawling. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Was Google dazu bringt, eine Seite crawlen zu wollen

Google nennt eine Handvoll bedeutender Faktoren, keine erschöpfende Checkliste. Die drei, die es am ausführlichsten erklärt:

• Beliebtheit. Seiten mit mehr eingehenden Links werden häufiger gecrawlt, damit Google ihre Kopie aktuell hält.
• Veralterung / Aktualität. Wenn sich eine Seite stark ändert, möchte Google sie öfter überprüfen. Wenn sie sich nie ändert, lernt Google, sie seltener zu überprüfen.
• Wie viele URLs Google glaubt, dass Sie haben. Wenn Ihre Website voller Junk-, Duplikat- oder minderwertiger URLs ist, verschwendet Google sein Crawling auf diese statt auf Ihre echten Seiten. Das ist der Faktor, den Sie am meisten kontrollieren. Evidence for this claim Google's crawl-demand guidance discusses perceived inventory, popularity, and staleness. Scope: These inputs influence crawling but do not provide a user-controlled demand setting. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Google nennt außerdem einige Faktoren auf Website-Ebene, die neben diesen drei die Nachfrage beeinflussen: die Größe Ihrer Website, Ihre Aktualisierungshäufigkeit, die Seitenqualität sowie der Vergleich mit anderen Websites zu ähnlichen Themen. Behandeln Sie „Beliebtheit, Veralterung, wahrgenommener Bestand“ nicht als vollständige Formel – es sind die wichtigsten, am besten umsetzbaren Hebel, nicht die ganze Liste.

Es gibt auch einen vorübergehenden Faktor: Wenn Sie Ihre Website auf eine neue Domain umziehen, muss Google alles neu crawlen, um es unter den neuen URLs zu verarbeiten, sodass die Nachfrage für eine Weile ansteigt.

Warum Sie die „Crawl-Nachfrage“ nicht einfach „erhöhen“ können

Es gibt keinen Regler dafür – genauso wenig wie es einen Knopf gibt, um Google schneller crawlen zu lassen. Zehn Beiträge pro Tag zu veröffentlichen, wird es nicht schaffen, wenn niemand darauf verlinkt und sie nicht wirklich nützlich sind. Die Dinge, die tatsächlich funktionieren, sind langsam und real: Links verdienen, Inhalte wirklich aktuell halten und die Junk-URLs bereinigen, damit Googles Crawling auf den Seiten landet, die zählen.

Und hier ist die Überraschung: Mehr Crawling ist nicht einmal das Ziel. Häufig gecrawlt zu werden, macht Sie nicht höher platziert. Was Sie wollen, ist nicht mehr Nachfrage – sondern die Nachfrage, die Sie haben, auf die richtigen Seiten gerichtet.

Möchten Sie die tiefere Version – wie Nachfrage und die Kapazität Ihres Servers interagieren, wie die Website-Qualität in den Crawl-Scheduler zurückfließt und wie Sie ein Nachfrageproblem von einem Kapazitätsproblem unterscheiden können? Wechseln Sie zum Erweitert-Tab.

TL;DR — Crawl-Nachfrage ist die Wollen-Seite des Crawl-Budgets; Crawl-Rate/Kapazität ist die Können-Seite. Google nennt Popularität (Links / PageRank), Veralterung (wie oft sich eine Seite ändert) und wahrgenommenen Bestand (wie viele URLs Google für existent hält, einschließlich Müll – „der Faktor, den Sie am meisten positiv beeinflussen können“) als bedeutende allgemeine Nachfragefaktoren – keine geschlossene Formel; Seitengröße, Aktualisierungshäufigkeit, Seitenqualität und vergleichbare Relevanz spielen ebenfalls eine Rolle. Site-Umzüge lassen die Nachfrage vorübergehend ansteigen. Meine Synthese zur Verknüpfung: Die Nachfrage legt die Prioritätsreihenfolge der URLs fest; die Host-Last-Kapazität entscheidet, wie weit in dieser Warteschlange Googlebot kommt – Google dokumentiert dies nicht als wörtlichen Algorithmus, aber es ist das Modell, das zu den Belegen passt. Ein gesunder Server erzeugt keine Nachfrage, und hohe Nachfrage kann dennoch kapazitätsbedingt gedrosselt werden. Sie können die Nachfrage nicht direkt festlegen – die einzigen Hebel sind ihre Eingaben, und der Scheduler erhöht die Nachfrage, wenn sich Qualitätssignale aus der Indexierung verbessern. In der Zwischenzeit versucht Google aktiv, weniger zu crawlen und die Nachfrage präziser zu lenken, daher war das eigentliche Ziel nie Volumen – es ist die korrekte Priorisierung. Die meisten Websites müssen dies nie verwalten.

Crawl-Nachfrage ist das „Wollen“, Crawl-Rate ist das „Können“

Google macht deutlich, dass das Crawl-Budget zwei Hälften hat: Die Zeit und Ressourcen, die Google für das Crawlen einer Website aufwendet, „wird durch zwei Hauptelemente bestimmt: Crawl-Kapazitätslimit und Crawl-Nachfrage.“ So formuliere ich es in meinem Ahrefs-Crawl-Budget-Leitfaden: Das Crawl-Budget ist „zusammengesetzt aus Crawl-Nachfrage, also wie viele Seiten eine Suchmaschine auf Ihrer Website crawlen möchte, und Crawl-Rate, also wie schnell sie crawlen kann.“ Nachfrage ist das Wollen; die Rate ist das Können. Evidence for this claim Google describes crawl demand as one of the two main elements of crawl budget, alongside crawl capacity limit. Scope: Google Search crawling. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Diese Seite behandelt nur das Wollen. Die Können-Seite – das Crawl-Kapazitätslimit, der GSC-Ratenregler, der im Januar 2024 entfernt wurde, wie 5xx/429-Antworten Googlebot verlangsamen, und Bings manuelles Crawl-Control-Raster – alles lebt auf der Crawl-Rate- Seite. Ich werde es hier nicht erneut herleiten; wenn die beiden interagieren, verlinke ich dorthin.

Die drei Nachfrageeingaben

Googles aktuelle Anleitung bezeichnet wahrgenommenen Bestand, Popularität und Veralterung als bedeutende allgemeine Faktoren, die bestimmen, wie viel es crawlen möchte – sie präsentiert sie nicht als erschöpfende, geschlossene Formel. Dieselbe Anleitung nennt auch Seitengröße, wie oft sie aktualisiert wird, Seitenqualität und wie sie im Vergleich zu ähnlichen Websites abschneidet als Faktoren, die Googlebot abwägt. Die drei unten sind diejenigen, die Google am ausführlichsten erklärt und auf die Sie direkt einwirken können. Evidence for this claim Google's crawl-demand guidance discusses perceived inventory, popularity, and staleness. Scope: These inputs influence crawling but do not provide a user-controlled demand setting. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Popularität

„URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt, um sie frischer in unseren Systemen zu halten.“ Mehr Links und mehr PageRank, die auf eine URL zeigen, sind ein Nachfragesignal – deshalb wird Ihre Startseite ständig gecrawlt und eine tiefe, nicht verlinkte Seite kaum. Wie ich es in meinem Crawl-Budget-Leitfaden formuliere: „Beliebte Seiten oder solche mit mehr Links und PageRank erhalten im Allgemeinen Priorität gegenüber anderen Seiten.“ Interne Links zählen hier ebenfalls: Eine Seite, auf die nichts verlinkt (eine Waise), hat fast keine Nachfrage, die für sie arbeitet.

Veralterung

“Our systems want to recrawl documents frequently enough to pick up any changes.” (Übersetzung) „Unsere Systeme möchten Dokumente häufig genug erneut crawlen, um Änderungen zu erfassen.“ Google lernt den Rhythmus jeder Seite. Eine Seite, die sich ständig ändert, verdient häufige Neucrawls; eine Seite, die sich nie ändert, wird immer seltener geprüft. In meinem Crawl-Budget- Leitfaden beschreibe ich das Backoff, das Google auf eine statische Seite anwendet: “if they crawl a page and see no changes after a day, they may wait three days before crawling again, ten days the next time, 30 days, 100 days, etc.” (Übersetzung) „Wenn Google eine Seite crawlt und nach einem Tag keine Änderungen sieht, wartet Google möglicherweise drei Tage bis zum nächsten Crawling, dann zehn Tage, 30 Tage, 100 Tage und so weiter.“ Diese Pro-URL-Neucrawl-Kadenz ist wirklich eine Crawl-Häufigkeits-Frage – ich behandle die Mechanismen dort – aber die zugrunde liegende Kraft ist Nachfrage und insbesondere Veralterung.

Wahrgenommener Bestand (der, den Sie am meisten kontrollieren)

Dies ist der Hebel der Überschrift. Google: “Without guidance from you, Google tries to crawl all or most of the URLs that it knows about on your site. If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (Übersetzung) „Ohne Anleitung von Ihnen versucht Google, alle oder die meisten URLs zu crawlen, die es auf Ihrer Website kennt. Wenn viele dieser URLs Duplikate sind oder Sie aus anderen Gründen nicht möchten, dass sie gecrawlt werden (entfernt, unwichtig usw.), verschwendet das viel Google-Crawling-Zeit auf Ihrer Website. Dies ist der Faktor, den Sie am positivsten kontrollieren können.“

Der subtile Teil ist, was es mit der Nachfrage macht, nicht nur mit der Kapazität. Es ist leicht, sich Junk-URLs als „Verschwendung des Crawl-Budgets“ vorzustellen – Abrufe für Kopien statt für neue Inhalte auszugeben. Richtig. Aber es gibt auch einen nachfrageseitigen Effekt: Eine Website, deren bekanntes Inventar größtenteils aus minderwertigen Duplikaten und Parameter-Spaghetti besteht, wirkt auf Google wie eine Website mit geringerem Wert, die es zu crawlen lohnt. Das Reduzieren des wahrgenommenen Inventars schafft nicht nur Kapazität; mit der Zeit konzentriert es die Nachfrage auf die URLs, die sie verdienen. Facettierte Navigation, Session-IDs, unendliche Kalenderräume und andere Spider-Traps sind die klassischen Inventar-Aufbläher – und die klassischen Nachfrage-Unterdrücker.

Seitenumzüge und andere Nachfragespitzen

Ein Nachfragetreiber betrifft keine einzelne URL: “Additionally, site-wide events like site moves may trigger an increase in crawl demand in order to reprocess the content under the new URLs.” (Übersetzung) „Darüber hinaus können seitenweite Ereignisse wie Seitenumzüge einen Anstieg der Crawl-Nachfrage auslösen, um den Inhalt unter den neuen URLs erneut zu verarbeiten.“ Wenn Sie eine Domain-Migration oder eine große Replatformierung durchführen und bemerken, dass Googlebot Sie für ein paar Wochen weitaus stärker trifft als üblich, ist das zu erwarten – Google muss alles unter den neuen Adressen erneut abrufen und verarbeiten. Es ist eine vorübergehende Spitze, keine neue Baseline, und es ist ein Nachfrageereignis, das Konkurrenz-Guides fast nie erwähnen, obwohl es wörtlich in Googles eigener Dokumentation steht.

Wie Nachfrage und Host-Last interagieren: Warteschlangenreihenfolge vs. Kapazitätsgrenze

Hier ist ein mentales Modell, mit dem das gesamte Thema klarer wird – und ich möchte offen sein, dass es meine Synthese ist, nicht etwas, das Google als wörtlichen Algorithmus dokumentiert. Es basiert auf einem Gary-Illyes-Frage-und-Antwort, das hier über die Berichterstattung von Search Engine Roundtable zitiert wird: Host-Last “sets a bucket of URLs in importance order and GoogleBot will crawl in that order based on the schedule the host load decided. If Google thinks your server can handle it, it will crawl the whole bucket, if not, it will stop.” (Übersetzung) „Die Host-Last legt einen URL-Eimer in Wichtigkeitsreihenfolge fest, und GoogleBot crawlt ihn nach dem von der Host-Last bestimmten Zeitplan. Wenn Google der Ansicht ist, dass Ihr Server die Last bewältigen kann, crawlt es den gesamten Eimer; andernfalls stoppt es.“ Bemerkenswerterweise verfolgt die Host-Last laut derselben Frage-und-Antwort die Wichtigkeit Ihrer Seiten – nicht die rohe Anzahl der URLs, die Sie haben oder crawlen lassen möchten. Diese Seite blockiert automatisches Abrufen, daher konnte ich die genaue Formulierung in diesem Durchgang nicht direkt gegen die Live-Quelle erneut bestätigen – behandeln Sie es als gut bestätigte Paraphrase, nicht als wörtliches Primärquellen-Zitat.

Lesen Sie das sorgfältig, und eine Beziehung fällt heraus – wiederum, so verbinde ich die Teile, nicht ein Mechanismus, den Google Ende zu Ende ausbuchstabiert hat:

• Nachfrage bestimmt die Reihenfolge. Der „Eimer von URLs in der Reihenfolge der Wichtigkeit“ ist Crawl-Nachfrage – Beliebtheit und Veralterung entscheiden, welche URLs an der Spitze der Warteschlange stehen.
• Kapazität bestimmt, wie weit Google kommt. Host-Last / Crawl-Rate entscheidet, wie tief Googlebot an einem bestimmten Tag in diesen geordneten Eimer tatsächlich crawlt. „Wenn Ihr Server es bewältigen kann, crawlt es den gesamten Eimer; wenn nicht, stoppt es.“

Die beiden werden also nicht einfach multipliziert – sie spielen unterschiedliche Rollen. Ein gesunder, schneller Server erzeugt keine Nachfrage (er erhöht nur die Obergrenze dafür, wie viel Ihrer vorhandenen Nachfrage realisiert wird), und hohe Nachfrage kann dennoch kapazitätsgedrosselt werden (ein langsamer oder fehleranfälliger Server stoppt Googlebot mitten in der Warteschlange, egal wie sehr es crawlen möchte). Deshalb ist „Ich habe einen schnelleren Server gekauft und Google crawlt meine neuen Seiten immer noch nicht“ ein so häufiges, frustrierendes Ergebnis: Kapazität war nie die Einschränkung – Nachfrage war es.

Sie können die Nachfrage nicht direkt festlegen – aber der Scheduler hört zu

Kurzantwort: Sie legen Nachfrage nicht direkt fest. Sie verdienen sie sich indirekt durch echte Links und echte Qualitätsverbesserungen, die sich in Indexierungssignalen zeigen – nichts anderes bewegt sie.

Es gibt keine „Crawl mehr“-Anfrage für Nachfrage, ebenso wenig wie für Rate. Aber Nachfrage ist dynamisch, und Google war ungewöhnlich offen darüber, wie sie sich bewegt. Gary Illyes: “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (Übersetzung) „Wenn Sie die Crawling-Menge erhöhen wollen, müssen Sie die Suche irgendwie davon überzeugen, dass Ihre Inhalte das Abrufen wert sind – genau darauf hört der Scheduler im Grunde.“ Und die Feedback-Schleife ist nahezu in Echtzeit: “Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (Übersetzung) „Die Planung ist sehr dynamisch. Sobald wir von der Suchindexierung Signale erhalten, dass die Qualität der Inhalte über diese vielen URLs gestiegen ist, beginnen wir einfach, die Nachfrage zu erhöhen.“ Auch die Kehrseite: “If search demand goes down, then that also correlates to the crawl limit going down.” (Übersetzung) „Wenn die Suchnachfrage sinkt, korreliert das ebenfalls mit einem sinkenden Crawl-Limit.“ (Ich habe diese drei Zeilen in diesem Durchgang erneut mit der Berichterstattung von Search Engine Journal abgeglichen, und sie stimmen wörtlich überein; ich habe den eigenen Podcast-Audio/Transkript von Google immer noch nicht aufgespürt, um sie als Primärquelle zu bestätigen, also stufe ich die Passagen als gut bestätigte Sekundärzitate ein.)

Das rahmt „Wie erhöhe ich die Crawl-Nachfrage?“ neu, weg von Tricks. Gefälschte lastmod-Zeitstempel, Sitemap-Pings und Veröffentlichungsvolumen überzeugen den Scheduler nicht. Die zwei Dinge, die es tun, sind die zwei harten Dinge: echte Beliebtheit (Links) und echte Qualitätsverbesserungen, die sich in Indexierungssignalen zeigen und in den Scheduler zurückfließen. Alles andere ist Theater.

Google versucht, weniger zu crawlen, nicht mehr

Der frischeste Blickwinkel hier, den ältere Leitfäden völlig übersehen: Googles eigenes erklärtes Ziel ist es, das gesamte Crawl-Volumen zu reduzieren, nicht es zu erhöhen. In einem LinkedIn-Beitrag vom April 2024 schrieb Illyes: “My mission this year is to figure out how to crawl even less, and have fewer bytes on wire.” (Übersetzung) „Meine Mission in diesem Jahr ist es, herauszufinden, wie wir noch weniger crawlen und weniger Bytes über die Leitung schicken können.“ Er widersprach der Idee, dass Google das Crawling reduziert habe – “we’re crawling roughly as much as before, however scheduling got more intelligent” (Übersetzung) „Wir crawlen ungefähr so viel wie zuvor, aber die Planung ist intelligenter geworden“ – und formulierte das Ziel als gemeinsamen Gewinn: “Decreasing crawling without sacrificing crawl-quality would benefit everyone.” (Übersetzung) „Weniger zu crawlen, ohne die Crawl-Qualität zu opfern, würde allen zugutekommen.“ Die Mechanismen, auf die er hinwies, waren besseres Caching, Cache-Sharing über User-Agents hinweg und weniger übertragene Bytes – nicht „crawl meine Website mehr“.

Die Erkenntnis: Crawl-Nachfrage war nie etwas, das man maximieren sollte. Google optimiert aktiv für weniger Gesamt-Crawling bei gleicher oder besserer Crawl-Qualität und leitet die Nachfrage, die es hat, an URLs weiter, die sie eher verdienen. Ihr Ziel ist nicht mehr Nachfrage – es ist die korrekte Priorisierung der Nachfrage, die Sie sich verdient haben.

Haben Sie überhaupt ein Nachfrageproblem?

Die meisten Websites haben keins und sollten keine Minute dafür aufwenden. Googles eigene Deeskalation gilt direkt für die Nachfrage: “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (Übersetzung) „Wenn Ihre Website nicht sehr viele Seiten hat, die sich schnell ändern, oder wenn Ihre Seiten offenbar am selben Tag gecrawlt werden, an dem sie veröffentlicht wurden, müssen Sie diesen Leitfaden nicht lesen.“ John Mueller war ähnlich deutlich in Bezug auf den Umfang – laut der Berichterstattung von Search Engine Roundtable über seinen Tweet sind 100k URLs normalerweise nicht genug, um das Crawl-Budget zu beeinflussen, da das über drei Monate hinweg deutlich weniger als ein Crawl pro Minute ergibt.

Wenn Ihre Website groß genug ist, um sich darum zu kümmern, finden Sie hier eine Diagnose, die ein Nachfrageproblem von einem Kapazitätsproblem trennt – mit einem Vorbehalt vorweg: Sie erzeugt eine Hypothese zum Testen, keine Diagnose. Rufen Sie den Crawl-Statistik-Bericht in der GSC und Ihre Server-Logs auf. Wenn der Host-Status gesund ist und die durchschnittliche Antwortzeit in Ordnung ist, aber eine Reihe von URLs kaum gecrawlt wird – und die URLs in “Discovered – currently not indexed” (Übersetzung) „Entdeckt – derzeit nicht indexiert“ festhängen –, dann ist dieses Muster ein Hinweis, der auf Nachfrage hindeutet, kein Beweis dafür. Crawl-Statistiken zeigen Crawl-Aktivität (eine kapazitätsseitige Sicht), keinen Nachfrage-Score – es gibt nirgendwo einen öffentlichen „Crawl-Nachfrage-Score“ pro Website, also leiten Sie Nachfrage immer aus Aktivität plus Indexierungsstatus ab und lesen sie nie von einem Dashboard ab.

Bevor Sie auf „Es ist ein Nachfrageproblem“ reagieren, schließen Sie die anderen Ursachen aus, die dasselbe Symptom „gesunder Server, aber nicht gecrawlt“ hervorrufen: Google hat die URLs möglicherweise noch nicht entdeckt (kein Pfad hinein, kein Sitemap-Eintrag), Rendering könnte den Inhalt verbergen, den Googlebot sehen muss, Kanonisierung könnte Google woandershin führen, echte Qualitätsprobleme (dünn, dupliziert, geringwertig) können dazu führen, dass eine Seite gecrawlt, aber bewusst aus dem Index ausgelassen wird, und Googles eigene Indexierungsauswahl kann eine Seite aussetzen, selbst wenn Crawling und Qualität in Ordnung sind. Erst nachdem diese Ursachen geprüft wurden und das Phänomen nicht erklären, wird „geringe Nachfrage“ zur Arbeitshypothese – und auch dann sollten Sie diese Annahme als am besten gestützte Hypothese behandeln, nicht als bestätigte Ursache. Schnellere Hardware behebt kein echtes Nachfrageproblem; die Lösung liegt bei den Nachfrageeingaben: Links zu diesen Seiten, echte Gründe, sie erneut zu crawlen, und weniger Junk-Inventar, das sie übertönt.

Für verlässliche, URL-bezogene Crawl-Daten ist die Log-Analyse die Antwort. Ich werde im Tab „Tools“ ein aktuelles Tool nennen, das ich aus erster Hand kenne.

Crawl-Nachfrage vs. -Rate vs. -Budget vs. -Häufigkeit

Behalten Sie die Begriffe im Blick:

• Crawl-Nachfrage – wie sehr Google crawlen möchte (Popularität + Veralterung + wahrgenommenes Inventar). Diese Seite.
• Crawl-Rate – wie schnell es kann (Kapazität / Host-Last). Eine eigene Seite.
• Crawl-Budget – beides zusammen: „die Anzahl der URLs, die Googlebot crawlen kann und möchte.“
• Crawl-Häufigkeit – wie oft eine bestimmte URL erneut gecrawlt wird, was ein Nachfrage-Ergebnis ist (meist Veralterung).

Bing verwendet den Begriff „Crawl-Nachfrage“ nicht – es formuliert das Ganze als Crawl-Effizienz um: Fabrice Canel definiert sie als “how often we crawl and discover new and fresh content per page crawled,” (Übersetzung) „wie oft wir pro gecrawlter Seite neue und aktuelle Inhalte crawlen und entdecken“, und Bings Philosophie ist zuerst Inventarreduzierung, das nachfrageseitige Äquivalent zum wahrgenommenen Inventar. IndexNow ist Bings Weg, nachfragerelevante Änderungsereignisse zu signalisieren, statt darauf zu warten, dass der Scheduler Veralterung ableitet – aber beachten Sie: Google verwendet IndexNow nicht, daher wird es Googles Nachfrage nicht beeinflussen.

KI-Zusammenfassung

Eine komprimierte Darstellung der erweiterten Version:

• Crawl-Nachfrage = die „Wollen“-Seite des Crawl-Budgets; Crawl-Rate/Kapazität ist die „Können“-Seite. Budget ist „die Anzahl der URLs, die Googlebot crawlen kann und möchte.“
• Wesentliche Nachfragefaktoren – keine geschlossene Formel: Popularität (Links / PageRank), Veralterung (wie oft sich eine Seite ändert) und wahrgenommenes Inventar (wie viele URLs Google für existierend hält – Junk eingeschlossen; „der Faktor, den Sie am positivsten kontrollieren können“), plus Seitengröße, Aktualisierungshäufigkeit, Seitenqualität und vergleichbare Relevanz.
• Site-Umzüge erhöhen die Nachfrage vorübergehend, während Google Inhalte unter neuen URLs neu verarbeitet.
• Nachfrage- vs. Kapazitätsmodell (meine Synthese, kein dokumentierter Google-Algorithmus): Nachfrage legt die Prioritätsreihenfolge der URLs fest; Host-Last-Kapazität entscheidet, wie weit in dieser Warteschlange Googlebot kommt. Ein schneller Server erzeugt keine Nachfrage; hohe Nachfrage kann dennoch kapazitätsbedingt gedrosselt werden.
• Sie können die Nachfrage nicht direkt festlegen. Der Scheduler „erhöht die Nachfrage“, wenn sich Qualitätssignale aus der Indexierung verbessern – die einzigen echten Hebel sind also, Links zu verdienen und echte Qualitäts-/Frischeverbesserungen vorzunehmen. Gefälschtes lastmod, Sitemap-Pings und Veröffentlichungsvolumen bewegen sie nicht.
• Google versucht, weniger zu crawlen, nicht mehr (Illyes: „noch weniger crawlen… weniger Bytes über die Leitung“), und die Nachfrage präziser zu lenken. Das Ziel ist korrekte Priorisierung, nicht Volumen.
• Diagnose Nachfrage vs. Kapazität: gesunder Host-Status + geringes Crawl-Volumen + in „Entdeckt – derzeit nicht indexiert“ feststeckend ist eine Nachfrage-Hypothese, kein Beweis – schließen Sie zuerst Entdeckungs-, Rendering-, Kanonisierungs- und Indexierungsauswahl-Ursachen aus. Es gibt keinen öffentlichen „Crawl-Nachfrage-Score“.
• Bing formuliert es als Crawl-Effizienz um; IndexNow signalisiert Änderungen an Bing (nicht an Google). Die meisten Websites müssen dies nie verwalten.

Offizielle Dokumentation

Primärquellen-Dokumentation der Suchmaschinen.

Google

• Optimieren Sie Ihr Crawl-Budget – die Quelle, die Crawl-Nachfrage, ihre drei Eingaben (Popularität, Veralterung, wahrgenommener Bestand) und Nachfragespitzen bei Website-Umzügen definiert.
• Crawl-Budget-Verwaltung – die Aufteilung in Kapazität und Nachfrage samt den Crawl-Kapazitätsmechanismen, mit denen die Nachfrage zusammenwirkt.
• Was Crawl-Budget für Googlebot bedeutet (2017) – Gary Illyes’ ursprünglicher Beitrag definiert Crawl-Budget als das, was Googlebot „kann und will“, und beschreibt Kategorien geringwertiger URLs, durch welche die effektive Nachfrage sinkt.
• Mythen und Fakten über das Crawlen – bestätigt, dass die Crawl-Rate kein Ranking-Signal ist und dass die Servergesundheit, nicht der Wunsch, die Kapazitätsobergrenze setzt.
• Crawling-Dezember-Serie (2024) – Googlebot, HTTP-Caching, Facettennavigation und das Effizienzdenken hinter dem Crawlen von weniger.

Bing / Microsoft

• bingbot-Serie: Maximierung der Crawl-Effizienz – Bings “Crawl-Effizienz”-Rahmen, sein nachfrageseitiges Pendant.
• bingbot-Serie: Optimierung der Crawl-Häufigkeit – Bings Ansatz zur Wiederholungsrate, gesteuert durch die Häufigkeit von Inhaltsänderungen (sein “Veralterungs”-Pendant).
• IndexNow / indexnow.org – signalisieren Sie geänderte URLs an Bing und andere (nicht Google), anstatt auf abgeleitete Veralterung zu warten.

Zitate aus der Quelle

Aussagen von Google und Bing, die öffentlich dokumentiert sind. Jeder Link ist ein Deep-Link, der direkt zur zitierten Passage auf der Quellseite springt.

Google – die Nachfragedefinition und ihre Eingaben

• “The amount of time and resources that Google devotes to crawling a site is commonly called the site’s crawl budget and it’s determined by two main elements: crawl capacity limit and crawl demand.” (Übersetzung) „Die Menge an Zeit und Ressourcen, die Google für das Crawlen einer Website aufwendet, wird allgemein als Crawl-Budget der Website bezeichnet und wird durch zwei Hauptelemente bestimmt: Crawl-Kapazitätsgrenze und Crawl-Nachfrage.“ — Large Site Owner’s Guide to Managing Crawl Budget. Zum Zitat springen
• “Each crawler has its own ‘demand’ when it comes to crawling the web.” (Übersetzung) „Jeder Crawler hat seine eigene ‚Nachfrage‘, wenn es um das Crawlen des Webs geht.“ Zum Zitat springen
• “URLs that are more popular on the Internet tend to be crawled more often to keep them fresher in our systems.” (Übersetzung) „URLs, die im Internet beliebter sind, werden tendenziell häufiger gecrawlt, damit sie in unseren Systemen aktueller bleiben.“ (Popularität) Zum Zitat springen
• “Our systems want to recrawl documents frequently enough to pick up any changes.” (Übersetzung) „Unsere Systeme möchten Dokumente häufig genug erneut crawlen, um Änderungen zu erfassen.“ (Veralterung) Zum Zitat springen

Google – wahrgenommener Bestand und Website-Umzüge

• “If many of these URLs are duplicates, or you don’t want them crawled for some other reason (removed, unimportant, and so on), this wastes a lot of Google crawling time on your site. This is the factor that you can positively control the most.” (Übersetzung) „Wenn viele dieser URLs Duplikate sind oder Sie aus anderen Gründen nicht möchten, dass sie gecrawlt werden (entfernt, unwichtig usw.), verschwendet das viel Google-Crawling-Zeit auf Ihrer Website. Dies ist der Faktor, den Sie am positivsten kontrollieren können.“ Zum Zitat springen
• “Additionally, site-wide events like site moves may trigger an increase in crawl demand in order to reprocess the content under the new URLs.” (Übersetzung) „Darüber hinaus können siteweite Ereignisse wie Site-Umzüge einen Anstieg der Crawl-Nachfrage auslösen, um die Inhalte unter den neuen URLs erneut zu verarbeiten.“ Zum Zitat springen
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (Übersetzung) „Wenn Ihre Website nicht viele Seiten hat, die sich schnell ändern, oder wenn Ihre Seiten am selben Tag gecrawlt zu werden scheinen, an dem sie veröffentlicht werden, müssen Sie diesen Leitfaden nicht lesen.“ Zum Zitat springen

Gary Illyes, Google – wie sich die Nachfrage tatsächlich bewegt (via Search Engine Journal’s Berichterstattung über seinen Podcast-Auftritt)

• “If you want to increase how much we crawl, then you somehow have to convince search that your stuff is worth fetching, which is basically what the scheduler is listening to.” (Übersetzung) „Wenn Sie erhöhen möchten, wie viel wir crawlen, müssen Sie die Suche irgendwie davon überzeugen, dass Ihre Inhalte es wert sind, abgerufen zu werden, und genau darauf hört der Scheduler im Grunde.“ Berichterstattung lesen
• “Scheduling is very dynamic. As soon as we get the signals back from search indexing that the quality of the content has increased across this many URLs, we would just start turning up demand.” (Übersetzung) „Die Terminplanung reagiert sehr dynamisch. Sobald uns die Suchindexierung signalisiert, dass die Qualität der Inhalte über so viele URLs hinweg gestiegen ist, würden wir die Nachfrage unmittelbar erhöhen.“ Berichterstattung lesen
• “If search demand goes down, then that also correlates to the crawl limit going down.” (Übersetzung) „Wenn die Suchnachfrage sinkt, korreliert das auch mit einem sinkenden Crawl-Limit.“ Berichterstattung lesen

Gary Illyes, Google – die Mission „noch weniger crawlen“ (LinkedIn, April 2024 – Primärquelle, wörtlich verifiziert)

• “My mission this year is to figure out how to crawl even less, and have fewer bytes on wire.” (Übersetzung) „Meine Mission in diesem Jahr ist es, herauszufinden, wie wir noch weniger crawlen und weniger Bytes über die Leitung schicken können.“ Beitrag lesen
• “we’re crawling roughly as much as before, however scheduling got more intelligent” (Übersetzung) „Wir crawlen ungefähr so viel wie zuvor, aber die Planung ist intelligenter geworden“ und “Decreasing crawling without sacrificing crawl-quality would benefit everyone.” (Übersetzung) „Weniger zu crawlen, ohne die Crawl-Qualität zu opfern, würde allen zugutekommen.“ Beitrag lesen

Bing / Microsoft – Crawl-Effizienz (das nachfrageseitige Pendant)

• “The crawl efficiency is how often we crawl and discover new and fresh content per page crawled.” (Übersetzung) „Die Crawl-Effizienz gibt an, wie oft wir pro gecrawlter Seite neue und frische Inhalte crawlen und entdecken.“ — Fabrice Canel. Zum Zitat springen

Ist es ein Crawl-Nachfrage-Problem – und sollten Sie sich darum kümmern?

Arbeiten Sie von oben nach unten. Die meisten Websites steigen früh mit „in Ruhe lassen“ aus.

Mythen und Fehler zur Crawl-Nachfrage

Die Vermischungen, die Menschen auf den falschen Weg führen.

„Crawl-Demand und Crawl-Budget sind dasselbe.“ Warum es falsch ist: Demand ist eine von zwei Komponenten; Budget ist Kapazität × Demand zusammen – „die Anzahl der URLs, die Googlebot crawlen kann und will.“ Stattdessen: Halten Sie die Begriffe sauber. Budget ist das Ergebnis; Demand und Kapazität sind seine zwei Eingaben. Ein Budgetproblem ist immer wirklich ein Demandproblem, ein Kapazitätsproblem oder beides.

„Ein schnellerer Server erhöht die Crawl-Nachfrage.“ Warum es falsch ist: Die Servergeschwindigkeit erhöht nur die Kapazitäts-Obergrenze. Sie lässt Google mehr von der Nachfrage realisieren, die Sie bereits haben; sie bringt Google nicht dazu, mehr crawlen zu wollen. Die Nachfrage wird durch Popularität, Aktualität und wahrgenommenes Inventar bestimmt – nichts davon berührt Ihre Hardware. Stattdessen: Wenn ein gesunder Server Ihre Seiten immer noch nicht gecrawlt bekommt, hören Sie auf, Hardware zu kaufen, und arbeiten Sie an den Demand-Eingaben (Links, Aktualität, weniger Junk-Inventar).

„Häufigeres Veröffentlichen erhöht die Nachfrage.“ Warum es falsch ist: Veröffentlichungsvolumen ohne echte Bedeutung oder Änderung überzeugt den Scheduler nicht. Zehn dünne Beiträge pro Tag, auf die niemand verlinkt, bewegen nichts. Stattdessen: Veröffentlichen Sie Dinge, die Links verdienen und sich wirklich ändern/verbessern – das speist die Qualitätssignale, auf die der Scheduler hört. (Dies ist auch ein Crawl-Frequenz-Punkt; mehr Details finden Sie dort.)

„Das Blockieren von Junk-URLs in robots.txt leitet diese Nachfrage sofort auf meine guten Seiten um.“ Warum es falsch ist: Das Reduzieren des wahrgenommenen Inventars hilft der Nachfrage, sich im Laufe der Zeit zu konzentrieren, während Google die Website neu bewertet – aber es ist keine sofortige Umverteilung. Google wird nicht automatisch freigewordene Crawls auf Ihre guten Seiten lenken, sobald Sie den Junk disallowen. Stattdessen: Reduzieren Sie das Junk-Inventar für den langfristigen Konzentrationsvorteil und seien Sie geduldig. Es ist ein Trend, kein Schalter.

„Es gibt einen Crawl-Demand-Score, den ich in der Search Console prüfen kann.“ Warum es falsch ist: Es gibt keinen öffentlichen, seitenbezogenen Demand-Score. Crawl Stats zeigt Crawl-Aktivität – einen kapazitätsbezogenen Bericht – nicht eine Demand-Metrik. Stattdessen: Leiten Sie Demand aus Aktivität plus Indexierungsstatus ab (z. B. gesunder Host + niedriges Crawl-Volumen + „Entdeckt – derzeit nicht indexiert“ = ein Demand-Signal). Verwenden Sie Logdaten für die Ground Truth pro URL.

„IndexNow oder Sitemap-Pings erhöhen Googles Crawl-Nachfrage.“ Warum es falsch ist: Google nutzt IndexNow nicht und ignoriert changefreq/priority in Sitemaps. Google anzupingen bringt es nicht dazu, mehr von Ihnen crawlen zu wollen. Stattdessen: Verwenden Sie IndexNow für Bing und andere teilnehmende Suchmaschinen. Für Google hilft ein genaues lastmod bei der Planung, aber die Demand-Hebel bleiben Links, Aktualität und Inventar.

„Mehr Crawling ist immer besser – für mich und für Google.“ Warum es falsch ist: Mehr gecrawlt zu werden erhöht nicht das Ranking, und Google selbst versucht, “My mission this year is to figure out how to crawl even less, and have fewer bytes on wire” (Übersetzung) „Meine Mission in diesem Jahr ist es, herauszufinden, wie wir noch weniger crawlen und weniger Bytes über die Leitung schicken können“, während es die Nachfrage präziser lenkt. Stattdessen: Zielen Sie auf korrekte Priorisierung, nicht auf rohes Volumen. Das Ziel ist, dass die Nachfrage, die Sie haben, auf den richtigen URLs landet.

Runbook: „Google crawlt meine wichtigen Seiten nicht, und mein Server ist in Ordnung“

Ein linearer Pfad für einen Betreiber einer großen Website, der ein Demandproblem vermutet. Stoppen Sie, sobald ein Schritt es löst.

1. Bestätigen Sie, dass Sie groß genug sind, um sich darum zu kümmern. Wenn Seiten normalerweise am Tag der Veröffentlichung gecrawlt werden oder die Website normal groß ist, stoppen Sie – Sie haben kein Crawl-Demand-Problem. Dieses Runbook ist für Websites mit 1 Mio.+ Seiten oder sich schnell ändernde Websites oder Websites mit einem großen „Entdeckt – derzeit nicht indexiert“-Haufen gedacht.

2. Schließen Sie zuerst Kapazitätsprobleme aus. Öffnen Sie GSC Crawl Stats. Prüfen Sie den Hoststatus und die durchschnittliche Antwortzeit der letzten 90 Tage. Wenn Sie 5xx-/Timeout-Spitzen oder steigende Antwortzeiten sehen, ist dies ein Kapazitätsproblem – beheben Sie die Servergesundheit (siehe die Crawl-Rate-Seite) und führen Sie dieses Runbook danach erneut aus. Wenn der Server gesund aussieht, fahren Sie fort.

3. Ziehen Sie Ground-Truth-Daten pro URL aus den Logs. Besorgen Sie sich Server-Logs (oder einen Bot-Analytics-Feed) für die betroffene URL-Menge. Bestätigen Sie das Muster: Echte Googlebot-Treffer sind auf den Seiten, die Ihnen wichtig sind, spärlich oder gar nicht vorhanden, während Junk-/Parameter-URLs die Treffer verbrauchen. Spärliche Treffer auf Seiten mit gesundem Server sind eine Nachfragehypothese, noch keine bestätigte Ursache – bevor Sie sich auf „Nachfrage“ festlegen, schließen Sie die ähnlich aussehenden Fälle aus: Google hat die URL nicht entdeckt, ein Rendering-Fehler versteckt den Inhalt, die Kanonisierung zeigt von der Seite weg, echte Qualitäts-/Duplikationsprobleme und Googles eigene Auswahl bei der Indexierung. Prüfen Sie die URL-Inspektion und die gerenderte HTML-Ansicht in der Search Console für jede URL.

4. Prüfen Sie auf wahrgenommene Inventar-Inflation. Zählen Sie, wie viele URLs mit geringem Wert Google entdecken könnte: Facetten-Navigations-Kombinationen, Session-IDs, Sortier-/Filterparameter, Kalender-/Endlos-Räume, Duplikate auf der Website. Wenn diese Ihre echten Seiten in den Schatten stellen, wird die Nachfrage wahrscheinlich über nutzlose Inhalte verteilt.

5. Reduzieren Sie das Junk-Inventar. Verringern Sie den minderwertigen URL-Raum an der Quelle (Parameterbehandlung, robots.txt-Disallow für unendliche Räume, Behebung von Spider-Fallen, Konsolidierung von Duplikaten durch Kanonisierung). Erwarten Sie eine Konzentration über die Zeit, keine sofortige Umverteilung.

6. Arbeiten Sie am Popularitätsfaktor. Fügen Sie interne Links von starken Seiten zu den unterkrabbelten Seiten hinzu (beseitigen Sie Waisen) und verfolgen Sie externe Links. Popularität ist ein primärer Nachfragetreiber.

7. Arbeiten Sie am Qualitäts-/Frischefaktor. Verbessern und aktualisieren Sie die Seiten wirklich, damit die Signale, die von der Indexierung zurückkommen, dem Scheduler sagen, er solle die „Nachfrage erhöhen“. Ein genaues lastmod hilft Google bei der Planung; vorgetäuschte Frische nicht.

8. Geben Sie ihm Zeit und messen Sie dann erneut. Überprüfen Sie Crawl-Statistiken und Logs erneut, nachdem Google Zeit hatte, neu zu bewerten. Nachfrageverschiebungen sind allmählich. Wenn die Seiten jetzt gecrawlt und indexiert werden, sind Sie fertig. Wenn nicht, überprüfen Sie erneut, ob die Seiten wirklich das Crawlen wert sind – manchmal ist die ehrliche Antwort, dass sie es nicht sind, und dünne Seiten sollten nicht in den Index gezwungen werden.

Crawl-Nachfrage-Checkliste

Diagnose: Ist es Nachfrage oder Kapazität?

• Bestätigt, dass die Website tatsächlich groß/schnell genug ist, um relevant zu sein (sonst aufhören).
• GSC-Crawl-Statistiken: Host-Status gesund, durchschnittliche Antwortzeit stabil, keine 5xx-/Timeout-Spitzen.
• Server-Logs (oder Bot-Analytics) auf echte Googlebot-Treffer pro URL überprüft.
• Muster identifiziert: gesunder Server + niedriges Crawl-Volumen auf guten Seiten + „Entdeckt – derzeit nicht indexiert“ = eine Nachfragehypothese, kein Beweis – und kein Kapazitätsproblem.
• Die ähnlich aussehenden Fälle ausgeschlossen, bevor die Nachfrage beschuldigt wird: Entdeckung, Rendering, Kanonisierung, Qualitäts-/Duplikations- und Indexierungsauswahlprobleme.

Arbeiten Sie an den Nachfragefaktoren (es gibt kein direktes Regler)

• Popularität: Wichtige Seiten haben interne Links, die auf sie zeigen (keine Waisen); externer Linkaufbau läuft, wo es wichtig ist.
• Veralterung/Frische: Seiten, die oft neu gecrawlt werden sollten, werden tatsächlich aktualisiert; lastmod ist genau (nicht gefälscht).
• Wahrgenommenes Inventar: Facetten-Navigation, Parameter-, Session-ID- und unendliche URL-Räume sind kontrolliert; Spider-Fallen behoben; Duplikate konsolidiert.

Realitätschecks

• Erwarte nicht, dass ein schnellerer Server die Nachfrage erhöht (er erhöht nur die Kapazitätsobergrenze).
• Erwarte nicht, dass robots.txt-Disallow von Junk die Nachfrage sofort auf gute Seiten umleitet (sie konzentriert sich über die Zeit).
• Verlasse dich nicht auf IndexNow-/Sitemap-Pings, um Googles Nachfrage zu bewegen (Google ignoriert IndexNow und changefreq/priority).
• Behandle nach einem Website-Umzug den vorübergehenden Crawl-Anstieg als erwartet, nicht als Problem.
• Denke daran: Mehr Crawling ist nicht das Ziel – korrekte Priorisierung ist es; Crawl-Volumen ist kein Ranking-Faktor.

Crawl-Nachfrage – Spickzettel

Die zwei Seiten des Crawl-Budgets

Die drei am besten umsetzbaren Nachfrage-Eingaben (Google nennt diese sowie Website-Größe, Aktualisierungshäufigkeit, Seitenqualität und vergleichende Relevanz als bedeutende allgemeine Faktoren – keine geschlossene Formel)

Schnelle Fakten

• Crawl-Budget = “die Anzahl der URLs, die Googlebot kann und möchte crawlen.”
• Wahrgenommener Bestand ist “der Faktor, den Sie am positivsten kontrollieren können.”
• Website-Umzüge erhöhen die Nachfrage vorübergehend (Neuverarbeitung unter neuen URLs).
• Die Nachfrage legt die Prioritätsreihenfolge fest; die Host-Last-Kapazität entscheidet, wie tief Google crawlt – ein gesunder Server erzeugt keine Nachfrage.
• Der Scheduler “erhöht die Nachfrage”, wenn sich Indexierungsqualitätssignale verbessern – das ist der einzige echte Hebel neben Links.
• Googles Ziel ist es, insgesamt weniger zu crawlen, nicht mehr (Illyes, 2024). Das Crawl-Volumen ist kein Ranking-Faktor.
• Kein öffentlicher “Crawl-Demand-Score” – Crawl Stats zeigt Aktivität (Kapazitätsseite).
• Bing hat keinen Begriff “Crawl-Demand” – es ist Crawl-Effizienz; IndexNow signalisiert Änderungen an Bing, nicht an Google.

Tools zur Diagnose der Crawl-Nachfrage

Es gibt keinen “Nachfrage-Messer”, daher bedeutet die Diagnose der Nachfrage, die Crawl-Aktivität zu lesen und sie mit dem zu vergleichen, was Sie über die Seiten wissen.

• Google Search Console – Crawl Stats Bericht – Gesamte Crawl-Anfragen im Zeitverlauf, Host-Status, durchschnittliche Antwortzeit und Aufschlüsselungen nach Antwortcode, Dateityp, Zweck und Googlebot-Typ. Lesen Sie ihn als Kapazitäts-Ansicht: gesunder Host-Status + niedriges Crawl-Volumen auf guten Seiten ist Ihr Nachfrage-Indikator.
• GSC – Seitenindexierungsbericht – der “Entdeckt – derzeit nicht indexiert”-Bucket ist der klassische Fußabdruck eines Nachfrage-Defizits (Google kennt die URLs, kümmert sich aber noch nicht genug, um sie zu crawlen).
• URL Inspection (GSC) – prüfen Sie, wann eine bestimmte URL zuletzt gecrawlt wurde und ob sie indexiert ist; nützlich, um die Nachfrage-Geschichte einer einzelnen Seite zu bestätigen.
• Server-Logdatei-Analyse – die Grundwahrheit für echte, pro-URL-Googlebot-Treffer: welche URLs Bots tatsächlich abrufen, wie oft und wo Crawling für Junk-Bestand verschwendet wird. (Siehe Logdatei-Analyse.)
• Ahrefs Bot Analytics – ein Tool, von dem ich aus erster Hand sprechen kann. Wie ich es beschrieb, als wir es starteten: “Have y’all checked out Bot Analytics in Ahrefs yet? We released a new tool that shows how bots crawl your website. Bot Analytics collects data server-side via Cloudflare integration.” (Übersetzung) „Habt ihr euch Bot Analytics in Ahrefs schon angeschaut? Wir haben ein neues Tool veröffentlicht, das zeigt, wie Bots Ihre Website crawlen. Bot Analytics sammelt Daten serverseitig über die Cloudflare-Integration.“ Es zeigt jeden Bot, der Ihre Website crawlt, und die Seiten, die sie in 12 Kategorien besuchen – genau die pro-URL-, pro-Bot-Grundwahrheit, die Sie benötigen, um Googles “wahrgenommenen Bestand” und “Beliebtheit” mit der Realität abzugleichen. Ahrefs’ eigene Rahmung des Problems, das es löst: “uncontrolled bot traffic wastes crawl budget — bots crawling 404 pages or low-value URLs aren’t crawling the pages you need indexed,” (Übersetzung) „Unkontrollierter Bot-Traffic verschwendet das Crawl-Budget – Bots, die 404-Seiten oder URLs mit geringem Wert crawlen, crawlen nicht die Seiten, die Sie indexiert benötigen.“ und es zitiert die Schätzung, dass über die Hälfte des gesamten Crawler-Traffics verschwendete Mühe ist.
• Ahrefs Site Audit / Screaming Frog SEO Spider – simulieren Sie einen Crawl, um die Parameter-Vielfalt, Duplikate und fallenartige Muster aufzudecken, die den wahrgenommenen Bestand aufblähen und die Nachfrage unterdrücken.

Das Wichtigkeit × Änderung × Bestand-Framework

Verwenden Sie drei Fragen, um Änderungen in der Crawl-Nachfrage zu erklären:

1. Bedeutung: Haben interne oder externe Signale die URL mehr oder weniger wichtig gemacht?
2. Änderung: Hat sich die Seite inhaltlich geändert, und haben wahrheitsgemäße Sitemap-Signale das kommuniziert?
3. Inventar: Hat sich die dem Crawler bekannte Menge an Duplikaten, Parametern oder minderwertigen URLs erweitert?

Die Host-Gesundheit ist die Obergrenze, kein vierter Eingabefaktor. Wenn Logs Fehler oder Timeouts zeigen, diagnostizieren Sie die Crawl-Kapazität separat. Wenn der Server gesund ist, aber wertvolle URLs Crawl-Anteil verlieren, arbeiten Sie die Bedeutung, Änderung und das Inventar in dieser Reihenfolge ab.

Crawl-Anteil nach Verzeichnis vergleichen

Diese Shell-Pipeline fasst verifizierte Crawler-Anfragen nach dem ersten URL-Pfad-Verzeichnis in einem üblichen Access-Log zusammen:

awk 'BEGIN{IGNORECASE=1} /Googlebot/ {split($7,p,"/"); print "/" p[2] "/"}' access.log | sort | uniq -c | sort -nr

In PowerShell:

Select-String .\access.log -Pattern 'Googlebot' | ForEach-Object { if ($_.Line -match '"(?:GET|HEAD)\s+https?://[^/]+/([^/?\s]*)|"(?:GET|HEAD)\s+/([^/?\s]*)') { '/' + (($Matches[1],$Matches[2] | Where-Object { $_ })[0]) + '/' } } | Group-Object | Sort-Object Count -Descending

Vergleichen Sie gleich lange Zeitfenster vor und nach einer Änderung. Ein Verzeichnis, das Anteil gewinnt, ist ein Hinweis auf die Scheduler-Zuteilung, kein Beweis für höhere Qualität oder Rankings.

Kennzahlen für die Crawl-Nachfrage

Crawl-Anteil wertvoller Vorlagen

Kennzahl: Crawler-Anfragen an wichtige Vorlagen geteilt durch verifizierte Crawler-Anfragen. Was sie Ihnen sagt: ob die Nachfrage das Inventar erreicht, das Ihnen wichtig ist. So erheben Sie die Kennzahl: Klassifizieren Sie Access-Log-URLs nach Vorlage. Benchmark / realistischer Bereich: Definieren Sie die gewünschte Mischung aus Ihrem eigenen wertvollen Inventar und der Aktualisierungshäufigkeit; es gibt keinen universellen Prozentsatz. Häufigkeit: wöchentlich bei großen, sich ändernden Websites, sonst monatlich.

Recrawl-Verzögerung nach inhaltlichen Änderungen

Kennzahl: Zeit von einer echten Seitenaktualisierung bis zum nächsten verifizierten Crawler-Abruf. Was sie Ihnen sagt: ob der Scheduler die Bedeutung und das Änderungsmuster der Seite erkennt. So erheben Sie die Kennzahl: Verknüpfen Sie Bereitstellungs- oder Inhaltszeitstempel mit Access-Logs. Benchmark / realistischer Bereich: Baseline nach Vorlage; Nachrichten- und stabile Referenzseiten sollten kein gemeinsames Ziel haben. Häufigkeit: monatlich.

Anteil minderwertigen Inventars

Kennzahl: bekannte und gecrawlte Parameter-, Duplikat-, leere oder Soft-404-URLs im Verhältnis zu nützlichen URLs. Was sie Ihnen sagt: ob das wahrgenommene Inventar die Aufmerksamkeit verwässert. So erheben Sie die Kennzahl: Kombinieren Sie Crawl-Exporte, Sitemaps, Indexierbarkeitsregeln und Logs. Benchmark / realistischer Bereich: Trend abwärts von der Baseline der Website, ohne erforderliche Ressourcen zu blockieren. Häufigkeit: monatlich und nach Facettennavigation oder Plattformänderungen.

Ressourcen, die Ihre Zeit wert sind

Meine verwandten Artikel

• Wann sollten Sie sich um Crawl-Budget sorgen? — hier ordne ich Crawl-Budget als Nachfrage („wie viele Seiten eine Suchmaschine crawlen möchte“) plus Rate ein und behandle Popularität, den Staleness-Backoff sowie die Frage, wer sich tatsächlich darum kümmern muss.
• Was ist Googlebot und wie funktioniert er? — wie Googlebot entscheidet, was und wie viel er crawlt.
• Der Einsteigerleitfaden für technisches SEO — wo Crawling und Crawl-Budget in das größere Bild passen.

Meine Vorträge

• So funktioniert die Suche (SlideShare) — mein Durchgang durch das Crawling, einschließlich der Nachfragefaktoren (PageRank, Aktualität, Zeit seit dem letzten Crawl, größere Website-Änderungen) und der separaten Folie zu Kapazität/Host-Last. (Ständiger Haftungsausschluss: “This is my understanding of systems… not going to be 100% complete or accurate.” (Übersetzung) „Das ist mein Verständnis von Systemen … nicht vollständig oder zu 100 % korrekt.“)

Aus der Branche

• Googles Crawling-Prioritäten: Einblicke von Gary Illyes (Search Engine Journal) – die Zitate „convince search your stuff is worth fetching“, „turning up demand“ und „search demand goes down“ darüber, wie sich Nachfrage tatsächlich bewegt.
• Gary Illyes über noch weniger Crawling (LinkedIn, April 2024) – die Primärquelle für „crawl even less… fewer bytes on wire“ und „scheduling got more intelligent“.
• Google hat zwei Arten des Crawlings: Discovery & Refresh (Search Engine Journal) – John Mueller über Discovery- vs. Refresh-Crawls; die Refresh-Frequenz ist ein reines Nachfrageergebnis.
• Googles Gary Illyes über Crawl-Budget, Scheduling & Host-Last (Search Engine Roundtable) – der „bucket of URLs in importance order“-Rahmen zur Host-Last (in diesem Artikel paraphrasiert; die Seite blockiert automatisches Abrufen – gegen die Live-Seite prüfen).
• Google: 100k URLs haben keinen Einfluss auf das Crawl-Budget (Search Engine Roundtable) – John Muellers Größenordnung-Check (hier paraphrasiert; gegen die Live-Seite prüfen).
• Was ist Crawl-Budget? So funktioniert es + Optimierungstipps (Search Engine Land) – ein solider Crawl-Budget-Megaguide; nützlicher Hintergrund zu den drei Nachfragefaktoren.
• Ahrefs Bot Analytics – die Produktseite mit dem Rahmen „uncontrolled bot traffic wastes crawl budget“ und „over half… wasted effort“ zur Diagnose von Nachfrage vs. Kapazität anhand echter Bot-Daten.

Testen Sie sich: Crawl-Nachfrage

Fünf kurze Fragen zur „Wollen“-Seite des Crawl-Budgets. Wählen Sie für jede eine Antwort aus, und prüfen Sie dann.

Änderungsprotokoll