Sprachen

robots.txt-Tester

1. robots.txt
2. Zu testende Seiten
3. Crawler

Beispieldaten — durch eigene Daten ersetzen

Wird vollständig in deinem Browser ausgeführt – nichts, was du einfügst, wird hochgeladen oder gespeichert. The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). Anonyme Ergebniszähler auf Ausführungsebene können für aggregierte Forschung verwendet werden; URLs, Domains, IP-Adressen und Kennungen werden nie einbezogen, und Statistiken werden erst ab 100 Ausführungen veröffentlicht.

Rückmeldung
Fehler melden

Funktioniert etwas in robots.txt-Tester nicht? Teile uns mit, was passiert ist — die Meldung geht direkt an eine private Prüfwarteschlange, nicht in eine öffentliche Liste.

Gesendete Angaben 
 Werkzeugeingaben, Uploads, eingefügte Quellen, vollständige Ergebnisse, Abfrageparameter und URL-Fragmente werden nicht automatisch angehängt. Du kannst die oben ausgewählte Passage bearbeiten oder entfernen. Browser- und Missbrauchsschutz-Metadaten werden zur Spamabwehr verarbeitet. 
  
 
  
 
 
  
 
 
   
      
 
       
     
        
 
     
    
    
 
Über dieses Werkzeug
Prüfe URLs gegen robots.txt-Regeln mit einem Matcher, der Googles Open-Source-Parser verwendet. Die Matrix zeigt für jede URL und jeden Bot, ob der Abruf erlaubt oder blockiert ist, und markiert die exakt gewinnende Regel.
Füge eine Datei ein, lade eine URL-Liste hoch oder rufe robots.txt live ab; die Auswertung läuft im Browser.
Funktionen
  • Google-genaues Longest-Match-Verhalten mit Wildcards und Fallback für User-Agents
  • Blockiert/erlaubt-Matrix mit hervorgehobener entscheidender Zeile
  • Linter für häufige Fehler, Sitemap-Konflikte und geplante Änderungen
  • Separater Live-Abruf von robots.txt je Ursprung sowie KI-Crawler-Audit
So funktioniert es
Der Matcher wertet User-Agent-Gruppen, Allow/Disallow-Pfade, Wildcards und die längste passende Regel aus. Jede Matrixzelle verweist auf die Datei und Zeile, die den Status bestimmt; Datei-Linting und Sitemap-Konflikte werden separat gemeldet.
Einschränkungen
  • Das Werkzeug prüft nur Google-artige robots.txt-Entscheidungen. Es bestimmt nicht, ob eine Seite indexierbar ist, und leitet kein Verhalten anderer Crawler ab.
  • robots.txt ist keine Zugriffskontrolle; die Einhaltung ist freiwillig. Konsultiere die Dokumentation des jeweiligen Crawlers.
  • Ein Disallow verhindert das Crawling, nicht unbedingt die Indexierung. Für noindex muss die Seite abrufbar bleiben und ein Meta- oder X-Robots-Tag liefern. Ein Staging-Template mit öffentlicher 200-Antwort wird daher als erreichbare Ressource geprüft.
Häufig gestellte Fragen
Verhindert robots.txt, dass eine Seite indexiert wird?
Nein. `Disallow` blockiert das Crawling, nicht die Indexierung. Wenn andere Seiten auf eine gesperrte URL verweisen, kann Google sie weiterhin indexieren, meist ohne Vorschautext. Um eine Seite aus dem Index fernzuhalten, erlaube das Crawling und füge ein noindex-Meta-Tag oder einen X-Robots-Tag-Header hinzu. Du darfst sie dann nicht zugleich sperren, sonst kann Google das noindex nie sehen.
Spielt die Reihenfolge der Regeln in robots.txt eine Rolle?
Für Google nicht. Google wendet unabhängig von der Position im Dokument die spezifischste Regel mit dem längsten passenden Pfad an; daher kann `Allow` ein früheres `Disallow` überschreiben. Dieses Tool arbeitet genauso. Manche anderen Crawler verwenden die erste passende Regel, halte die Regeln deshalb eindeutig.
Was ist der Unterschied zwischen `Disallow` und noindex?
`Disallow` in robots.txt weist Crawler an, eine URL nicht abzurufen. noindex in einem Meta-Tag oder HTTP-Header weist sie an, die Seite nicht im Index zu behalten. Beide lösen unterschiedliche Probleme; ihre Kombination wirkt kontraproduktiv, weil eine gesperrte Seite nicht abgerufen und ihr noindex daher nie gesehen wird.
Schadet das Blockieren von CSS oder JavaScript in robots.txt der SEO?
Das ist möglich. Google rendert Seiten, um sie zu verstehen. Kann es notwendiges CSS und JavaScript nicht abrufen, beurteilt es möglicherweise Gestaltung, Inhalt oder Mobilfreundlichkeit falsch. Erlaube die zum Rendern erforderlichen Ressourcen und sperre nur wirklich entbehrliche Pfade.
Wie blockiere ich KI-Crawler mit robots.txt?
Lege für jeden KI-Crawler, etwa `GPTCrawler`, `Google-Extended`, `ClaudeCrawler`, `CCCrawler` und `PerplexityCrawler`, eine `User-Agent`-Gruppe mit `Disallow`: / an. Lade sie über die Schaltfläche für das KI-Crawler-Prüfung und bestätige, dass deine Regeln passen. Die Befolgung von robots.txt ist freiwillig; seriöse Crawler halten sich daran, aber es ist keine Zugriffskontrolle.
 
Nächster Schrittrobots.txt-Generator — generate a replacement robots.txt with the directives you meant to ship.
Anleitung auf Englisch verfügbar.
Das könnte dich auch interessieren
Werkzeugrobots.txt-GeneratorWerkzeugLogdatei-AnalysatorWerkzeugPrüfer für KI-Crawler-Zugriff
       
 
Häufige Probleme und ihre Behebung
 
     
  •  Warnung Begriff ist Begriff Lösung: Korrekt die Begriff Begriff zu ein unterstützt Begriff also crawler nicht Begriff ist. 
  •  Warnung Begriff noindex Begriff ist verwendet Lösung: Entfernen noindex aus robots.txt und verwenden ein meta robots tag oder X-Robots-Tag auf crawlbar URLs stattdessen. 
  •  Information Crawl-delay ist Begriff durch Google Lösung: Entfernen Crawl-delay für Google und verwalten Googlebot crawl bewerten durch Suche Console oder server Begriff Steuerelemente. 
  •  Fehler Die deutsche Übersetzung lautet: Regel erscheint bevor jede user-agent Begriff Lösung: Verschieben die Regel unterhalb die User-agent zeile für die crawler Begriff das sollte Begriff ist. 
  •  Warnung Die deutsche Übersetzung lautet: Zeile hat keine Begriff Begriff Lösung: Hinzufügen die fehlend Begriff zwischen die Begriff Begriff und wert also Begriff kann lesen die zeile. 
  •  Information Begriff Begriff ist Begriff Lösung: Entfernen die Begriff Begriff oder ersetzen ist mit ein unterstützt robots.txt Begriff das Begriff die vorgesehen crawl Regel. 
  •  Information Crawler Begriff enthält kein Regeln Lösung: Hinzufügen die vorgesehen Erlauben oder Disallow Regeln zu dies Begriff, oder entfernen die Begriff also die crawler kann Begriff durch zu die Begriff Begriff. Allow 
  •  Fehler Regel Muster kann nie treffer Lösung: Begriff die pfad Muster mit / oder * also passend kann Begriff bei die Begriff von die URL pfad. 
  •  Warnung Begriff Begriff erscheint Begriff ein Muster Lösung: Verschieben $ zu die Begriff von die Muster wenn ist sollte Begriff die pfad, oder entfernen ist wenn ein Begriff Begriff Begriff war nicht vorgesehen. 
  •  Information User-agent ist aufgeteilt über Begriff Lösung: Begriff Regeln für die gleich user-agent in ein Begriff also die Begriff richtlinie ist löschen und Begriff. 
  •  Fehler Websitemap URL ist nicht absolut Lösung: Ersetzen die Begriff Websitemap Begriff mit ein Begriff Begriff URL einschließlich https:// und die Begriff. 
  •  Fehler Die robots.txt-Datei überschreitet 500 KiB Lösung: Begriff robots.txt unterhalb 500 KiB durch Begriff Begriff und Begriff Begriff Regeln bevor Google’s Begriff Punkt. 
  •  Information Robots Datei ist leer Lösung: Lassen die Datei leer wenn alle crawling ist Begriff erlaubt; Begriff hinzufügen ausdrücklich user-agent Begriff und die Begriff erforderlich Regeln. 
  •  Fehler Prüfung URL ist blockiert für die ausgewählt crawler Lösung: Entfernen oder Begriff die Begriff Disallow Regel, oder hinzufügen ein mehr spezifisch Erlauben Regel, wenn die Begriff URL sollte sein crawlbar. Allow 
    •