Generator robots.txt
Build your file
Select crawler groups to block. Search crawlers remain allowed unless you explicitly select them.
This non-standard directive is emitted only for Bingbot. Google does not process it; Bing documents 1–20 second values. It is omitted if you block Bingbot.
Działa w całości w Twojej przeglądarce — nic, co wklejasz, nie jest przesyłane ani zapisywane. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Anonimowe liczniki wyników poszczególnych uruchomień mogą być wykorzystywane do badań zbiorczych; adresy URL, domeny, adresy IP i identyfikatory nigdy nie są uwzględniane, a statystyki nie są publikowane poniżej 100 uruchomień.
Generated robots.txt
Blocking ≠ deindexing. A Disallow asks compliant crawlers not to fetch a URL; it does not remove a URL already known to a search engine.
Live match preview
Need a full bot × URL matrix? Open robots.txt Tester →O tym narzędziu
Utwórz przejrzysty plik robots.txt przy użyciu gotowych ustawień robotów, dopasowania adresów URL w stylu Google, wiersza mapy witryny i wyniku gotowego do skopiowania.
Funkcje
- Oddzielne grupy user-agent oraz reguły Disallow: /, które ułatwiają kontrolę zamierzonej polityki indeksowania.
- Testowanie przykładowych adresów URL tym samym mechanizmem najdłuższego dopasowania co w Testerze robots.txt.
- Opcjonalny bezwzględny adres URL mapy XML Sitemap oraz ustawienie crawl-delay dla Bingbot od 1 do 20 pełnych sekund.
- Przetwarzanie lokalne w przeglądarce i wynik gotowy do zapisania jako /robots.txt w katalogu głównym witryny.
Jak to działa
Generator tworzy osobne grupy user-agent na podstawie wybranych kategorii robotów, dodaje reguły Disallow i opcjonalny wiersz Sitemap, a następnie sprawdza reprezentatywne adresy URL zgodnie z regułą najdłuższego dopasowania Google.
Ograniczenia
- Plik robots.txt steruje dobrowolnym indeksowaniem przez roboty, lecz nie jest zabezpieczeniem ani kontrolą dostępu.
- Zablokowanie robota nie usuwa adresu URL z indeksu; do usunięcia z indeksu potrzebna jest dyrektywa noindex na stronie dostępnej dla robota.
- Niestandardowa dyrektywa crawl-delay jest emitowana tylko dla Bingbot; Google jej nie obsługuje.
Częste pytania
Czy zablokowanie bota powoduje usunięcie moich stron z indeksu?
Nie. Plik robots.txt steruje crawlowaniem, a nie tym, czy adres URL pozostaje w indeksie. Jeśli potrzebujesz sygnału usunięcia z indeksu, użyj dyrektywy noindex na stronie dostępnej do crawlowania.
Czy każdy crawler będzie przestrzegał tego pliku?
Nie. Plik robots.txt jest publiczną i dobrowolną preferencją dotyczącą crawlowania, a nie mechanizmem kontroli dostępu. Do ochrony prywatnych treści użyj uwierzytelniania, WAF lub ograniczania częstotliwości żądań.
Dlaczego potrzebuję wiersza Sitemap?
Przekazuje crawlerom bezpośredni, bezwzględny adres URL mapy witryny XML. Jest opcjonalny, ale zwykle pomaga w wykrywaniu adresów.
Typowe problemy i sposoby ich naprawy
- Ostrzeżenie Wygenerowana polityka blokuje działanie wybranego robota sztucznej inteligencji Poprawka: Usuń regułę Disallow wybranego robota albo zawęź ją tylko do ścieżek, które mają pozostać niedostępne.
- Ostrzeżenie Wygenerowana polityka blokuje działanie wybranego robota wyszukiwarki Poprawka: Usuń lub zawęź regułę Disallow dla Googlebot/Bingbot, aby strony przeznaczone do wyszukiwania organicznego były dostępne.
- Ostrzeżenie Poufna ścieżka nie jest zablokowana Poprawka: Dodaj jawne reguły Disallow dla niepublicznych ścieżek administracyjnych, testowych, koszyka lub wyszukiwania, a poufne dane chroń uwierzytelnianiem.
- Informacja Wygenerowany plik nie zawiera deklaracji mapy witryny Poprawka: Dodaj bezwzględną deklarację Sitemap: https://…/sitemap.xml wskazującą kanoniczną, publicznie dostępną mapę witryny lub jej indeks.
- Ostrzeżenie Wygenerowane grupy zawierają sprzeczne reguły Poprawka: Połącz reguły tego samego identyfikatora użytkownika w jedną grupę i rozstrzygnij nakładające się ścieżki `Allow` oraz `Disallow`, aby wyrazić jedną zamierzoną politykę.