robots.txt-Generator
Datei erstellen
Wählen Sie die zu blockierenden Crawler-Gruppen. Suchmaschinen-Crawler bleiben erlaubt, solange Sie sie nicht ausdrücklich auswählen.
Diese nicht standardisierte Anweisung wird nur für Bingbot ausgegeben. Google verarbeitet sie nicht; Bing dokumentiert Werte von 1–20 Sekunden. Sie wird weggelassen, wenn Sie Bingbot blockieren.
Wird vollständig in deinem Browser ausgeführt – nichts, was du einfügst, wird hochgeladen oder gespeichert. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Anonyme Ergebniszähler auf Ausführungsebene können für aggregierte Forschung verwendet werden; URLs, Domains, IP-Adressen und Kennungen werden nie einbezogen, und Statistiken werden erst ab 100 Ausführungen veröffentlicht.
Erzeugte robots.txt
Blockieren ≠ aus dem Index entfernen. Disallow fordert regelkonforme Crawler auf, eine URL nicht abzurufen; es entfernt keine URL, die einer Suchmaschine bereits bekannt ist.
Live-Vorschau der Regelprüfung
Vollständige Bot-×-URL-Matrix benötigt? robots.txt-Tester öffnen →Über dieses Werkzeug
Erstelle eine kopierfertige robots.txt mit getrennten Presets für Such-Crawler, KI-Training, Assistenten und Archiv-Crawler. Ergänze optional einen dokumentierten Bingbot-Crawl-Delay und teste repräsentative URLs gegen die erzeugte Datei mit demselben Google-ähnlichen Matcher wie der robots.txt-Tester.
robots.txt ist eine öffentliche, freiwillige Crawl-Präferenz und weder Sicherheitskontrolle noch Deindexierungswerkzeug.
Funktionen
- Gruppierte User-Agent-Presets mit Allowed-/Blocked-Vorschau und Disallow: / Regeln
- Optionale Sitemap-Zeile sowie dokumentierter Bingbot-Crawl-Delay
- Google-ähnliches Longest-match-Verhalten für Bot- und URL-Testfälle
- Kopieren, Herunterladen und lokale Beispieltests vor dem Veröffentlichen
So funktioniert es
Wähle die zu blockierenden Crawler-Gruppen; Such-Crawler bleiben erlaubt, solange du sie nicht auswählst. Ergänze Sitemap-URL und optionalen Delay, generiere die Datei und teste Beispielpfade. Prüfe die gewinnende Regel und exportiere erst danach die Vorlage für deine Website.
Einschränkungen
- robots.txt schützt keine privaten Inhalte; nutze Authentifizierung, WAF oder Rate-Limits für Zugriffskontrolle.
- Ein Disallow verhindert Crawling, aber nicht zwingend die Indexierung; für Deindexierung brauchst du eine crawlbare noindex-Anweisung.
- Crawler können robots.txt ignorieren und User-Agents fälschen; teste reale Zugriffe zusätzlich in deiner Infrastruktur.
Häufig gestellte Fragen
Entfernt Disallow eine URL aus dem Index?
Nicht zuverlässig. Disallow verhindert das Abrufen, während noindex einer crawlbaren Seite ein Deindexierungssignal gibt. Nutze für Indexentfernung eine erreichbare Seite mit passendem noindex.
Kann ein Crawler die Datei ignorieren?
Ja. robots.txt ist eine freiwillige Präferenz. Für echte Durchsetzung brauchst du Regeln an CDN, `WAF` oder Server und solltest User-Agent- sowie IP-Nachweise prüfen.
Warum brauche ich eine Sitemap-Zeile?
Sie nennt Such-Crawlern die bevorzugte XML-Sitemap und erleichtert Discovery. Sie erlaubt oder blockiert keine URLs und ersetzt weder Canonical- noch Indexierungsprüfung.
Häufige Probleme und ihre Behebung
- Warnung Generiert richtlinie blockiert ein ausgewählt AI crawler Lösung: Entfernen die ausgewählt crawler’s Disallow Regel, oder Begriff ist zu nur die pfade das sollte bleiben nicht verfügbar zu das AI crawler.
- Warnung Generiert richtlinie blockiert ein suche crawler Lösung: Entfernen oder Begriff die Googlebot/Bingbot Disallow Regel also Seites vorgesehen für organisch suche sind crawlbar.
- Warnung Begriff pfad ist nicht Begriff Lösung: Hinzufügen ausdrücklich Disallow Regeln für Begriff-Begriff Begriff, Begriff, Begriff, oder Begriff-Begriff pfade, während Begriff Begriff Begriff daten mit Begriff statt als robots.txt.
- Information Generiert Datei hat keine Websitemap Begriff Lösung: Hinzufügen ein absolut Websitemap: https://…/sitemap.xml Begriff Begriff zu die kanonisch, Begriff Begriff Websitemap oder Websitemap index.
- Warnung Die deutsche Übersetzung lautet: Generiert Begriff enthalten Begriff Regeln Lösung: Begriff Regeln für die gleich Begriff-Begriff in ein Begriff und auflösen Begriff Erlauben/Disallow pfade zu Begriff ein beabsichtigt richtlinie.