URL-Erkennung

Kurz gesagt: URL-Erkennung bedeutet, dass eine Suchmaschine von der Existenz Ihrer Seite erfährt, bevor sie sie herunterlädt. Seiten werden hauptsächlich über Links und Sitemaps gefunden. Ohne Link und Sitemap kann eine Seite unentdeckt bleiben. Eine Einreichung hilft bei der Erkennung, garantiert aber keine Indexierung.

Was URL-Erkennung ist

Bevor eine Suchmaschine eine Seite anzeigen kann, lernt sie die URL kennen, crawlt die Seite und indexiert sie. Eine nie entdeckte Seite kann weder gecrawlt noch indexiert oder gerankt werden.

Dieses Hub trennt Entdecken → Crawlen → Indexieren → Ausliefern, weil sich Probleme so leichter diagnostizieren lassen. Googles offizielles Modell nennt nur Crawling, Indexierung und Auslieferung und ordnet „URL discovery“ dem Anfang des Crawlings zu. Die Abfolge ist dieselbe; nur die Benennung unterscheidet sich.

Wie Suchmaschinen Ihre Seiten finden

• Links: Ein Bot folgt Links von bekannten Seiten zu neuen URLs. Interne Links und Backlinks funktionieren dabei gleich.
• Sitemaps: XML-Sitemaps nennen URLs direkt; RSS- und Atom-Feeds melden vor allem neue oder geänderte Seiten.
• Push-Kanäle: IndexNow oder andere Benachrichtigungen können Änderungen melden, ersetzen Links und Sitemaps aber nicht.

Verwaiste Seiten: der klassische Erkennungsfehler

Eine verwaiste Seite besitzt keine eingehenden internen Links. Verlinken Sie sie von einem relevanten Hub oder einer Kategorieseite; eine Einreichung allein repariert keine schlechte Informationsarchitektur.

Der häufigste Irrtum

Einreichen bedeutet nicht indexieren. Eine Sitemap oder „Indexierung beantragen“ macht eine URL bekannt. Crawling und Indexierung bleiben getrennte Entscheidungen. „Gefunden – zurzeit nicht indexiert“ bedeutet entsprechend: bekannt, aber noch nicht abgerufen.

Kurz gesagt: Suchmaschinen erkennen URLs per Pull – Links, Backlinks, Sitemaps, RSS/Atom – oder per Push – IndexNow, die begrenzte Google Indexing API, lastmod, WebSub und URL Inspection. Google nutzt IndexNow nicht; die Indexing API gilt nur für JobPosting und BroadcastEvent. Kein Kanal garantiert Crawling oder Indexierung.

Was URL discovery bedeutet

Discovery ist der Findeschritt: Die Suchmaschine muss eine URL kennen, bevor sie sie abrufen kann. Google nennt Links von bekannten Seiten und eingereichte Sitemaps als direkte Quellen neuer URLs.

Das vierstufige Lehrmodell dieses Hubs trennt „gefunden“, „abgerufen“, „gespeichert“ und „ausgeliefert“. Google fasst die erste Phase in seinem dreistufigen Modell unter Crawling zusammen.

Discovery, Crawling und Indexierung

• Discovery: Die URL ist bekannt, Inhalte wurden noch nicht abgerufen.
• Crawling: Die URL wird heruntergeladen und gegebenenfalls gerendert; siehe Crawling.
• Indexierung: Die analysierte Seite wird gespeichert und kann ausgeliefert werden.

Keine dieser Voraussetzungen ist für sich ein Rankingfaktor.

Wie Suchmaschinen URLs entdecken: Pull und Push

Pull – die Suchmaschine findet eine URL selbst

Interne Links und Backlinks: Gut verlinkte Websites lassen neue Seiten automatisch in bekannte Crawlpfade einfließen. Neue Websites und große Sites mit nicht verlinkten Seiten haben höhere Lückenrisiken.

Sitemaps: Eine Sitemap unterstützt die URL-Erkennung, garantiert aber weder Crawling noch Indexierung. RSS/Atom ergänzt die vollständige Sitemap um kürzlich geänderte URLs.

Push – Sie melden eine Änderung

WebSub sendet Änderungen aus RSS-/Atom-Feeds. Ein korrektes Sitemap-lastmod signalisiert Aktualität; Bing gewichtet es stärker, Google nutzt es bei konsistenter Genauigkeit. Die Google Indexing API ist offiziell nur für JobPosting und Livestream-Seiten mit BroadcastEvent in VideoObject vorgesehen.

IndexNow teilt neue, geänderte oder entfernte URLs zwischen teilnehmenden Suchmaschinen. Laut aktueller Dokumentation gehören Bing, Yandex, Naver, Seznam.cz und Yep dazu; Google nicht. Prüfen Sie die aktuelle Liste, da sie sich ändern kann. Eine Meldung verpflichtet keinen Teilnehmer zum Crawling.

URL Inspection kann bei Google einen Einzelabruf anfordern. Kontingente gelten, und wiederholte Anfragen beschleunigen den Abruf nicht.

Wie Google und Bing Discovery beschreiben

Beide ordnen Discovery an den Anfang der Pipeline. Bing definiert Crawling ausdrücklich als Prozess, mit dem bingbot neue und aktualisierte Dokumente entdeckt. Das tägliche URL-Volumen ist enorm, weshalb Suchmaschinen priorisieren müssen.

Verwaiste Seiten: wenn Discovery scheitert

Ohne interne Links bleibt nur eine Sitemap, ein externer Link, eine Weiterleitung oder eine Canonical-/hreflang-Referenz. Die robuste Lösung ist ein echter interner Link aus relevantem Kontext, nicht ein Push-Trick.

„Gefunden – zurzeit nicht indexiert“ in der Search Console

Der Status bedeutet, dass Google die URL kennt, sie aber noch nicht gecrawlt hat. Er nennt keine einzige Ursache. Prüfen Sie in dieser Reihenfolge:

1. Sind wichtige Seiten intern gut verlinkt?
2. Ist die Sitemap korrekt und aktuell?
3. Gibt es zu viele schwache, doppelte oder parametrische URLs?
4. Ist der Server langsam, instabil oder für Googlebot eingeschränkt?
5. Ist die Seite neu und braucht schlicht Zeit?

Der gesonderte Artikel zu „Gefunden – zurzeit nicht indexiert“ behandelt die vollständige Diagnose. Verwechseln Sie den Status nicht mit „Gecrawlt – zurzeit nicht indexiert“, bei dem Inhalte bereits abgerufen wurden.

So unterstützen Sie die Erkennung

• Verlinken Sie jede wichtige Seite aus relevanten Hubs.
• Halten Sie XML-Sitemaps kanonisch, aktuell und frei von Fehler-URLs.
• Verwenden Sie aussagekräftiges lastmod statt pauschaler Aktualisierung.
• Bieten Sie RSS/Atom für häufige Veröffentlichungen an.
• Nutzen Sie IndexNow für teilnehmende Engines und die Google-API nur im erlaubten Umfang.
• Prüfen Sie Serverlogs, Search Console und Webmaster Tools gemeinsam.

Wie es weitergeht

Vertiefen Sie How Search Works, Crawling, Indexierung, XML-Sitemaps, Sitemap-Indizes und den speziellen Indexierungsstatus. Discovery endet, sobald eine URL bekannt ist; die nachgelagerten Systeme entscheiden danach über Abruf, Speicherung und Darstellung.

KI-Zusammenfassung

• URL-Erkennung ist der Findeschritt vor Crawling und Indexierung.
• Google nennt Links von bekannten Seiten und Sitemaps als direkte Wege.
• Pull umfasst Links, Sitemaps und Feeds; Push umfasst Benachrichtigungen.
• Google nutzt IndexNow nicht; seine Indexing API ist auf bestimmte Typen begrenzt.
• Verwaiste Seiten brauchen relevante interne Links.
• „Gefunden – zurzeit nicht indexiert“ heißt bekannt, aber noch nicht gecrawlt.
• Einreichung garantiert weder Crawling noch Indexierung.

Offizielle Dokumentation

• So funktioniert Google Search
• Sitemaps – Übersicht
• Sitemap erstellen und einreichen
• Google Indexing API – Quickstart
• Google um erneutes Crawling bitten
• Page Indexing Report
• Bingbot und Crawl-Effizienz
• Bing URL Submission API
• Bing: Sitemaps in AI-gestützter Suche
• Bing IndexNow

Zitate aus den Quellen

• “This process is called ‘URL discovery’.” Google Deutsche Übersetzung: „Dieser Prozess wird URL-Erkennung genannt.“
• “Google Search works in three stages, and not all pages make it through each stage.” Google Deutsche Übersetzung: „Google Search arbeitet in drei Stufen, und nicht alle Seiten durchlaufen jede Stufe.“
• “A sitemap helps search engines discover URLs on your site, but it doesn’t guarantee that all the items in your sitemap will be crawled and indexed.” Google Deutsche Übersetzung: „Eine Sitemap hilft Suchmaschinen, URLs zu entdecken, garantiert aber nicht deren Crawling und Indexierung.“
• “Google accepts RSS 2.0 and Atom 1.0 feeds.” Google Deutsche Übersetzung: „Google akzeptiert RSS-2.0- und Atom-1.0-Feeds.“
• “If you use Atom or RSS, you can use WebSub to broadcast your changes to search engines, including Google.” Google Deutsche Übersetzung: „Mit Atom oder RSS können Änderungen über WebSub an Suchmaschinen einschließlich Google gesendet werden.“
• “To request a crawl of individual URLs, use the URL Inspection tool.” Google Deutsche Übersetzung: „Fordern Sie das Crawling einzelner URLs mit dem URL-Prüftool an.“
• “There’s a quota for submitting individual URLs and requesting a recrawl multiple times for the same URL won’t get it crawled any faster.” Google Deutsche Übersetzung: „Ein Kontingent gilt; wiederholte Anfragen für dieselbe URL beschleunigen das Crawling nicht.“
• “Search engines adopting the IndexNow protocol agree that submitted URLs will be automatically shared with all other participating search engines.” IndexNow Deutsche Übersetzung: „IndexNow-Teilnehmer teilen eingereichte URLs automatisch mit den anderen teilnehmenden Suchmaschinen.“
• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” Bing Deutsche Übersetzung: „Beim Crawling entdeckt bingbot neue und aktualisierte Dokumente oder Inhalte für Bings durchsuchbaren Index.“
• “It’s completely normal that we don’t index everything.” Bericht Deutsche Übersetzung: „Es ist völlig normal, dass wir nicht alles indexieren.“
• “Instead of Bing continually monitoring RSS feeds to see if there are any new or updated pages, webmasters can now submit these pages directly to Bing.” Bing Deutsche Übersetzung: „Statt RSS-Feeds ständig zu überwachen, kann Bing neue oder aktualisierte Seiten direkt von Webmastern erhalten.“

Discovery-Checkliste

• Jede wichtige URL ist intern verlinkt und in der passenden Sitemap.
• Nur kanonische, indexierbare 200-URLs stehen in Sitemaps.
• lastmod ändert sich nur bei wesentlichen Inhaltsänderungen.
• RSS/Atom deckt neue Inhalte ab; WebSub ist bei Bedarf eingerichtet.
• IndexNow wird nur für teilnehmende Engines eingesetzt.
• Die Google Indexing API wird nur für erlaubte Inhaltstypen verwendet.
• Search Console, Bing Webmaster Tools und Serverlogs werden geprüft.

Die mentalen Modelle

Vier Schritte: entdecken, crawlen, indexieren, ausliefern. Zwei Wege: Pull und Push. Drei Fragen: Ist die URL bekannt? Wurde sie abgerufen? Wurde sie gespeichert? Diese Trennung verhindert, dass ein Indexierungsproblem mit immer neuen Einreichungen behandelt wird.

Discovery-Kanäle – Kurzübersicht

Häufige Discovery-Probleme

„Gefunden – zurzeit nicht indexiert“

Prüfen Sie interne Verlinkung, Sitemap-Qualität, URL-Überangebot, Serverzugriff und Zeit seit Veröffentlichung. Der Status ist eine Beobachtung, keine eindeutige Ursache.

Eine neue Seite erscheint nirgends in der Search Console

Verlinken Sie sie intern, nehmen Sie sie in eine valide Sitemap auf, prüfen Sie Robots-/Canonical-Signale und rufen Sie sie mit URL Inspection ab.

IndexNow-Pings ändern den Google-Traffic nicht

Google nimmt nicht an IndexNow teil. Verwenden Sie Links, Sitemaps und bei Einzeltests URL Inspection.

Die Indexing-API-Anfrage wird abgelehnt oder bleibt wirkungslos

Prüfen Sie, ob die Seite wirklich JobPosting oder ein zulässiges BroadcastEvent ist. Die API ist keine allgemeine URL-Einreichung.

Playbook: Eine neue Seite erscheint nicht in der Suche

1. Bestätigen Sie 200-Status, kanonische Selbstreferenz und fehlendes noindex.
2. Setzen Sie einen relevanten internen Link und prüfen Sie ihn im gerenderten HTML.
3. Ergänzen Sie die kanonische URL in der passenden XML-Sitemap.
4. Prüfen Sie Sitemap und robots.txt.
5. Kontrollieren Sie per URL Inspection, ob Google die URL kennt.
6. Vergleichen Sie Serverlogs mit Googlebot-/bingbot-Abrufen.
7. Reduzieren Sie schwache oder doppelte URL-Räume statt wiederholt zu pushen.
8. Beobachten Sie Discovery, Crawling und Indexierung als getrennte Zustände.

Werkzeuge zum Prüfen und Reparieren der URL-Erkennung

• XML-Sitemap-Generator
• Sitemap-Validator
• robots.txt-Tester
• Canonical-Checker
• Scout Site Audit Free
• Log File Analyzer
• GSC Workbench

Empfehlenswerte Ressourcen

• [Ahrefs: Google-Index] (https://ahrefs.com/blog/google-index/)
• Crawled – currently not indexed
• Googlebot
• IndexNow und Yep
• Technical SEO
• How Search Works – Vortrag
• TechSEO-Community
• Google Crawling Resources
• Search Engine Land: Discovery-Status
• Search Engine Journal: nicht indexierte Sites
• Search Engine Roundtable
• Bing: 10.000 URLs pro Tag
• Lumar: Crawling

Podcasts

• Search Off the Record: How Googlebot crawls the web

Videos

• Google Search Central auf YouTube

Selbsttest: URL-Erkennung

Änderungsprotokoll