Sprachen

Webcrawler

Was ein Webcrawler (Spider, Bot) tatsächlich ist, wie die Schleife Abrufen → Parsen → Warteschlange funktioniert und warum Crawling nicht dasselbe wie Indexierung, Rendering oder Ranking ist.

Erstveröffentlicht: 24. Juni 2026 · Zuletzt aktualisiert: 17. Juli 2026 · Fortgeschritten
AIVerfasst vonAI v2
2 Evidenzsignale auf dieser Seite

Webcrawler — auch Spider oder Bots genannt — sind automatisierte Programme, die Seiten abrufen, Links extrahieren und neue URLs für spätere Besuche einreihen. Damit liefern sie das Material für den Suchmaschinenindex. Das Denkmodell lautet: entdecken → abrufen → parsen → planen, fortlaufend wiederholt. Crawling ist die erste von drei Phasen (Crawling → Indexierung → Auslieferung) und Voraussetzung für Rankings, aber kein Rankingfaktor: Häufigeres Crawling verbessert keine Positionen. Crawling unterscheidet sich außerdem von Indexierung und Rendering. Seriöse Crawler beachten robots.txt und drosseln sich; heute crawlen nicht nur Suchmaschinen — KI-Bots verursachen einen großen und wachsenden Teil des Traffics. Details zu einzelnen Engines stehen in den Artikeln zu Googlebot, Bingbot, KI-Crawlern und User-Agents.

TL;DR — Ein Crawler (Spider, Bot) ist ein automatisiertes Programm, das URLs in einer Schleife entdeckt, abruft, parst und neu einplant. Google formuliert es so: Er „downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.“ (Übersetzung: Er lädt mit automatisierten Programmen, sogenannten Crawlern, Text, Bilder und Videos von Seiten herunter, die er im Internet gefunden hat.) Die Mechanik besteht aus einer Frontier (URL-Warteschlange), einem Fetch (HTML herunterladen), einem Parse (Links und Inhalte extrahieren) und einem Scheduler, der entscheidet, was als Nächstes und wie schnell abgerufen wird — abhängig vom Zustand Ihres Servers gedrosselt. Das Rendern von JavaScript ist ein eigener Schritt. Crawling ist fürs Ranking nötig, aber kein Rankingsignal, und es ist nicht dasselbe wie Indexierung: Eine durch robots.txt gesperrte Seite kann trotzdem indexiert werden. Und 2026 crawlen längst nicht nur Suchmaschinen: KI-Bots verursachen einen großen und schnell wachsenden Anteil des Traffics.

Was ein Crawler tatsächlich ist

Googles Definition könnte kaum klarer sein: Er „downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.“ (Übersetzung: Google lädt mit automatisierten Programmen, sogenannten Crawlern, Text, Bilder und Videos von Seiten herunter, die es im Internet gefunden hat.) Das Google-Glossar formuliert noch allgemeiner: „a crawler is a generic term for any program that is used to automatically discover and scan websites.“ (Übersetzung: Crawler ist ein Oberbegriff für jedes Programm, das Websites automatisch entdeckt und durchsucht.) Crawler, Spider, Bot, Spiderbot: dasselbe Konzept, unterschiedliche Namen. Nachweis für diese Aussage Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Geltungsbereich: Google crawler terminology. Vertrauensniveau: hoch · Verifiziert: Google: Googlebot overview

Warum Crawling überhaupt wichtig ist, zeigt die Pipeline. Google sagt deutlich: „Google Search works in three stages, and not all pages make it through each stage“ (Übersetzung: Die Google-Suche arbeitet in drei Phasen, und nicht alle Seiten durchlaufen jede Phase.) — Crawling, Indexierung und Auslieferung. Crawling ist die erste Hürde. Eine nie gecrawlte Seite kann nicht indexiert werden, und eine nicht indexierte Seite kann nicht ranken.

Wie ein Crawler technisch funktioniert

Ohne Markennamen betrachtet durchlaufen die meisten linkfolgenden Crawler eine Variante derselben Schleife: entdecken → abrufen → parsen → planen → wiederholen. Das ist ein nützliches Denkmodell für das Verhalten von Crawlern — keine Garantie, dass jeder jemals gebaute Crawler exakt dieselben Phasen gleich implementiert.

Die Frontier (Warteschlange). Ein Crawler streift nicht zufällig umher. Er verwaltet eine Warteschlange bekannter, aber noch nicht besuchter URLs — die Crawl Frontier — sowie einen Scheduler, der die nächste URL auswählt. Der Crawler beginnt mit einer Ausgangsmenge bekannter URLs und erweitert die Warteschlange bei jeder Entdeckung. Google beschreibt dies so: „Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’“ (Übersetzung: Weitere Seiten werden entdeckt, wenn Google auf einer bekannten Seite einen Link zu einer neuen Seite extrahiert. Andere Seiten werden entdeckt, wenn Sie eine Seitenliste, also eine Sitemap, zum Crawlen einreichen. Dieser Vorgang heißt URL Discovery.) Nachweis für diese Aussage Google discovers URLs through links from known pages and through submitted sitemaps. Geltungsbereich: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Vertrauensniveau: hoch · Verifiziert: Google: How Search works

Fetch. Der Crawler sendet eine HTTP-Anfrage; der Server liefert die Seite. In diesem Schritt lädt er das rohe HTML herunter. Ressourcen wie JavaScript und CSS werden separat und oft später abgerufen. Fabrice Canel von Bing beschreibt das Ziel so: „Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.“ (Übersetzung: Crawling ist der Vorgang, mit dem Bingbot neue und aktualisierte Dokumente oder Inhalte entdeckt, die Bings durchsuchbarem Index hinzugefügt werden sollen.)

Parse. Das abgerufene HTML wird geparst, um Links, Text, Überschriften, Bilder und Metadaten zu extrahieren. Neu gefundene URLs werden normalisiert und wieder in die Frontier gelegt — dadurch läuft die Schleife weiter.

Schedule. Was wann, wie oft und in welchem Umfang abgerufen wird, entscheidet ein Algorithmus, nicht Sie. Google: „Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.“ (Übersetzung: Googlebot bestimmt algorithmisch, welche Websites wie oft und mit wie vielen Seiten pro Website gecrawlt werden.) Beliebte, häufig geänderte Seiten werden eher erneut besucht; unbekannte, statische Seiten seltener. Wie diese Planung entsteht — Crawl-Budget, Crawl-Rate und Crawl-Frequenz — wird jeweils in einem eigenen Artikel dieses Clusters erklärt.

Nachweis für diese Aussage Googlebot algorithmically determines which sites to crawl, how often, and how many pages to fetch. Geltungsbereich: web Vertrauensniveau: hoch · Verifiziert: In-Depth Guide to How Google Search Works

„Googlebot“ ist nicht ein einzelnes Programm

Diesen Punkt lassen viele Erklärungen aus. „Googlebot“ klingt nach einem Programm, ist aber keines. In meinem Vortrag How Search Works beschreibe ich mehr als 1000 Systeme, die eine Familie spezialisierter Crawler betreiben — Desktop, Mobile, Bilder, News, Video und Ads — und dabei aus demselben Crawl-Budget schöpfen. Gary Illyes hat aus interner Sicht denselben Punkt gemacht: Der Name ist im Grunde eine Fehlbezeichnung für eine zentrale Crawling-Plattform, über die viele Google-Produkte wie Shopping und AdSense ihre Anfragen unter verschiedenen User-Agent-Namen leiten. In Ihren Logs sehen Sie daher nicht einen Bot, sondern eine Flotte unter einem gemeinsamen Etikett. Die Engine-spezifischen Details stehen in den Artikeln zu Googlebot und Bingbot.

Höflichkeit — wie Crawler Ihren Server nicht lahmlegen

Ein gutartiger Crawler drosselt sich bewusst. Google: „They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).“ (Übersetzung: Sie versuchen, die Website nicht zu schnell zu crawlen, damit sie nicht überlastet wird. Der Mechanismus richtet sich nach den Antworten der Website; HTTP-500-Fehler bedeuten zum Beispiel „langsamer“.) Damit lässt sich Crawling vorübergehend verlangsamen: Anhaltende 5xx-/429-Antworten bewegen Googlebot zum Zurückfahren — für ein oder zwei Tage, nicht dauerhaft. Höflichkeit ist bei dieser Größenordnung keine optionale Nettigkeit, sondern verhindert, dass Crawler Server aus dem Netz hämmern.

Robots.txt — die Standardsteuerung fürs Crawling

robots.txt ist die De-facto-Konvention für Zugriffssteuerung. Google: „A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.“ (Übersetzung: Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, auf welche URLs Ihrer Website sie zugreifen dürfen.) Zwei Dinge müssen Sie auseinanderhalten:

  • Sie steuert Crawling, nicht Indexierung. Eine gesperrte Seite kann trotzdem indexiert werden, wenn andere Seiten auf sie verlinken — Google sieht dann nur den Inhalt und ein dort gesetztes noindex nicht. Wie ich es in Indexed, though blocked by robots.txt formuliert habe: „crawling and indexing are two different things.“ (Übersetzung: Crawling und Indexierung sind zwei verschiedene Dinge.) Um eine Seite wirklich zu entfernen, erlauben Sie Crawling und setzen noindex — sperren Sie sie nicht.
  • Seriöse Crawler beachten die Datei; bösartige Akteure nicht. Googlebot, Bingbot, Ahrefsbot und ähnliche Crawler respektieren robots.txt; viele Scraper und unseriöse Bots ignorieren sie. Es handelt sich um eine Konvention, nicht um einen technischen Schutzmechanismus.

Ich habe die Auswirkungen der Sperrung selbst getestet. In The Story of Blocking 2 High-Ranking Pages With Robots.txt habe ich zwei unserer rankenden Seiten fast fünf Monate lang gesperrt. Sie verloren alle Featured Snippets und ihre individuellen Titel; in den Ergebnissen stand „no information is available“. Die Klicks fielen stärker als allein durch die Position erklärbar — die Traffic-Schätzung bewegte sich jedoch kaum. Mein Fazit bleibt: Sperren Sie keine Seiten, die indexiert werden sollen. Es schadet. Nicht so stark, wie man vielleicht denkt — aber es schadet.

Crawling ≠ Indexierung ≠ Rendering ≠ Ranking

Diese Abgrenzungen verursachen die meiste Verwirrung:

  • Crawling ≠ Indexierung. Crawling ist Abrufen und Herunterladen; Indexierung bedeutet Verstehen und Speichern. Eine Seite kann gecrawlt, aber nicht indexiert werden, wenn Google sie nicht aufnimmt. Eine gesperrte Seite kann ohne gelesenen Inhalt indexiert werden. „Indexing isn’t guaranteed; not every page that Google processes will be indexed.“ (Übersetzung: Indexierung ist nicht garantiert; nicht jede von Google verarbeitete Seite wird indexiert.)
  • Crawling ≠ Rendering. HTML abzurufen und JavaScript auszuführen sind zwei verschiedene Schritte. „During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome,“ (Übersetzung: Während des Crawlings rendert Google die Seite und führt gefundenes JavaScript mit einer aktuellen Chrome-Version aus.) Dieses Rendering findet jedoch in einer eigenen Warteschlange statt, die dem ersten Abruf hinterherhinken kann. Inhalte, die erst durch JavaScript erscheinen, sind nicht im selben Durchlauf wie das HTML verfügbar.
  • Crawling ≠ Ranking. Häufigeres Crawling ist kein Rankingsignal. Die Crawl-Rate ist ausschließlich eine Effizienzfrage — deshalb müssen die meisten Websites ihr Crawl-Budget überhaupt nicht verwalten.

Arten von Crawlern im Überblick

Hier nur kurz; zu jeder Art gibt es einen ausführlichen Schwesterartikel:

  • Suchmaschinen-Crawler — Googlebot, Bingbot. Sie bauen die Indizes auf, die Suchergebnisse antreiben.
  • KI-/LLM-Crawler — GPTBot, ClaudeBot, CCBot und andere sammeln Webinhalte, um KI-Modelle zu trainieren oder zu versorgen. Ihr Anteil wächst schnell.
  • SEO-Audit-Crawler — Ahrefs Site Audit, Screaming Frog und ähnliche Tools simulieren einen Crawl, um technische Probleme sichtbar zu machen.
  • Vom Nutzer ausgelöste Fetcher — Tools, die auf Anforderung eine einzelne Anfrage senden, etwa Googles URL-Prüfung und Rich Results Test. Das sind keine autonomen Crawler.

Wer das Web heute crawlt

Es sind längst nicht mehr nur Suchmaschinen. In meiner Auswertung von Cloudflare- Radar-Daten (Meet the New Web Crawlers) crawlen Suchmaschinen-Bots weiterhin am meisten, aber KI-Bots liegen klar auf Platz zwei. Die Größenordnung ist kaum zu überschätzen: Allein Bing entdeckt laut Fabrice Canel jeden Tag zig Milliarden normalisierte URLs, die es nie zuvor gesehen hat — genau deshalb müssen Suchmaschinen aggressiv priorisieren, was sie wirklich abrufen.

So prüfen Sie, ob ein Crawler echt ist

Jeder Bot kann „Googlebot“ in seinen User-Agent schreiben. Vertrauen Sie deshalb nicht allein der Zeichenfolge. Die echte Prüfung besteht aus Reverse- und Forward-DNS (siehe Tab Scripts): Lösen Sie die IP aus Ihren Logs rückwärts auf, prüfen Sie eine Domain unter googlebot.com oder google.com, lösen Sie diesen Hostnamen anschließend vorwärts auf und vergewissern Sie sich, dass wieder dieselbe IP entsteht. Google veröffentlicht außerdem seine IP-Bereiche. Die Details zu User-Agents pro Engine stehen im Schwesterartikel User-Agent.

Wohin als Nächstes?

Dies ist die Seite zum allgemeinen Konzept. Für Details:

  • Googlebot — Googles Crawler: User-Agents, Mobile-First-Crawling, Rendering und Crawl-Statistiken in der Search Console.
  • Bingbot — Bings Crawler: Crawl Control und IndexNow.
  • KI-Crawler — GPTBot, ClaudeBot, CCBot und neuere agentische Bots.
  • User-Agent — was die User-Agent-Zeichenfolge ist und wie man sie liest.
  • Crawling-Hub — die gesamte Pipeline sowie Crawl-Budget, Crawl-Rate, Crawl-Frequenz, Crawl-Tiefe, Spider-Traps und Logfile-Analyse.

Expertennotiz hinzufügen

Expertenzitat anheften

Neue Person? Erstelle ihr nicht beanspruchtes Profil unter /admin/experts/ → Expertenzitat anheften zuerst.