Generator robots.txt
Utwórz plik
Wybierz grupy robotów do zablokowania. Roboty wyszukiwarek pozostają dozwolone, dopóki ich wyraźnie nie wybierzesz.
Ta niestandardowa dyrektywa jest generowana tylko dla Bingbot. Google jej nie przetwarza; Bing dokumentuje wartości 1–20 sekund. Jest pomijana, jeśli zablokujesz Bingbot.
Działa w całości w Twojej przeglądarce — nic, co wklejasz, nie jest przesyłane ani zapisywane. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Anonimowe liczniki wyników poszczególnych uruchomień mogą być wykorzystywane do badań zbiorczych; adresy URL, domeny, adresy IP i identyfikatory nigdy nie są uwzględniane, a statystyki nie są publikowane poniżej 100 uruchomień.
Wygenerowany robots.txt
Blokowanie ≠ usunięcie z indeksu. Disallow prosi przestrzegające go roboty, aby nie pobierały adresu URL; nie usuwa adresu URL już znanego wyszukiwarce.
Podgląd dopasowania na żywo
Potrzebujesz pełnej macierzy bot × URL? Otwórz tester robots.txt →O tym narzędziu
Utwórz przejrzysty plik robots.txt przy użyciu gotowych ustawień robotów, dopasowania adresów URL w stylu Google, wiersza mapy witryny i wyniku gotowego do skopiowania.
Funkcje
- Oddzielne grupy user-agent oraz reguły Disallow: /, które ułatwiają kontrolę zamierzonej polityki indeksowania.
- Testowanie przykładowych adresów URL tym samym mechanizmem najdłuższego dopasowania co w Testerze robots.txt.
- Opcjonalny bezwzględny adres URL mapy XML Sitemap oraz ustawienie crawl-delay dla Bingbot od 1 do 20 pełnych sekund.
- Przetwarzanie lokalne w przeglądarce i wynik gotowy do zapisania jako /robots.txt w katalogu głównym witryny.
Jak to działa
Generator tworzy osobne grupy user-agent na podstawie wybranych kategorii robotów, dodaje reguły Disallow i opcjonalny wiersz Sitemap, a następnie sprawdza reprezentatywne adresy URL zgodnie z regułą najdłuższego dopasowania Google.
Ograniczenia
- Plik robots.txt steruje dobrowolnym indeksowaniem przez roboty, lecz nie jest zabezpieczeniem ani kontrolą dostępu.
- Zablokowanie robota nie usuwa adresu URL z indeksu; do usunięcia z indeksu potrzebna jest dyrektywa noindex na stronie dostępnej dla robota.
- Niestandardowa dyrektywa crawl-delay jest emitowana tylko dla Bingbot; Google jej nie obsługuje.
Częste pytania
Czy zablokowanie bota powoduje usunięcie moich stron z indeksu?
Nie. Plik robots.txt steruje crawlowaniem, a nie tym, czy adres URL pozostaje w indeksie. Jeśli potrzebujesz sygnału usunięcia z indeksu, użyj dyrektywy noindex na stronie dostępnej do crawlowania.
Czy każdy crawler będzie przestrzegał tego pliku?
Nie. Plik robots.txt jest publiczną i dobrowolną preferencją dotyczącą crawlowania, a nie mechanizmem kontroli dostępu. Do ochrony prywatnych treści użyj uwierzytelniania, WAF lub ograniczania częstotliwości żądań.
Dlaczego potrzebuję wiersza Sitemap?
Przekazuje crawlerom bezpośredni, bezwzględny adres URL mapy witryny XML. Jest opcjonalny, ale zwykle pomaga w wykrywaniu adresów.
Typowe problemy i sposoby ich naprawy
- Ostrzeżenie Wygenerowana polityka blokuje działanie wybranego robota sztucznej inteligencji Poprawka: Usuń regułę Disallow wybranego robota albo zawęź ją tylko do ścieżek, które mają pozostać niedostępne.
- Ostrzeżenie Wygenerowana polityka blokuje działanie wybranego robota wyszukiwarki Poprawka: Usuń lub zawęź regułę Disallow dla Googlebot/Bingbot, aby strony przeznaczone do wyszukiwania organicznego były dostępne.
- Ostrzeżenie Poufna ścieżka nie jest zablokowana Poprawka: Dodaj jawne reguły Disallow dla niepublicznych ścieżek administracyjnych, testowych, koszyka lub wyszukiwania, a poufne dane chroń uwierzytelnianiem.
- Informacja Wygenerowany plik nie zawiera deklaracji mapy witryny Poprawka: Dodaj bezwzględną deklarację Sitemap: https://…/sitemap.xml wskazującą kanoniczną, publicznie dostępną mapę witryny lub jej indeks.
- Ostrzeżenie Wygenerowane grupy zawierają sprzeczne reguły Poprawka: Połącz reguły tego samego identyfikatora użytkownika w jedną grupę i rozstrzygnij nakładające się ścieżki `Allow` oraz `Disallow`, aby wyrazić jedną zamierzoną politykę.