robots.txt Üreticisi
Dosyanızı oluşturun
Engellenecek tarayıcı gruplarını seçin. Arama tarayıcıları, açıkça seçmediğiniz sürece izinli kalır.
Bu standart dışı yönerge yalnızca Bingbot için oluşturulur. Google bunu işlemez; Bing, 1–20 saniyelik değerleri belgelendirir. Bingbot’u engellerseniz bu yönerge atlanır.
Tamamen tarayıcınızda çalışır; yapıştırdığınız hiçbir şey yüklenmez veya saklanmaz. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Anonim çalıştırma düzeyi sonuç sayaçları toplu araştırmalarda kullanılabilir; URL’ler, alan adları, IP’ler ve tanımlayıcılar asla dahil edilmez ve 100 çalıştırmanın altında istatistik yayımlanmaz.
Oluşturulan robots.txt
Engellemek ≠ dizinden kaldırmak. Disallow, buna uyan tarayıcılardan bir URL’yi getirmemelerini ister; bir arama motorunun zaten bildiği URL’yi kaldırmaz.
Canlı eşleşme önizlemesi
Tam bir bot × URL matrisi mi gerekiyor? robots.txt Test Aracını açın →Bu araç hakkında
Arama, AI eğitim, asistan ve arşiv tarayıcısı gruplarını içeren kopyalanmaya hazır bir robots.txt oluşturun; isteğe bağlı belgelenmiş Bingbot crawl-delay ekleyin ve örnek URL'lerle Google tarzı eşleştirmede bir botu test edin.
Ücretsizdir ve kayıt gerektirmez. Basit bir varsayılan politika seçin, engellenecek bot gruplarını belirleyin ve üretmeden önce temsilî URL'lerde dosyayı test edin.
Özellikler
- Ayrı kullanıcı-aracısı gruplarıyla arama, AI, asistan ve arşiv tarayıcısı ön ayarları.
- Canlı Google tarzı en uzun eşleşme kuralıyla URL sonucu test etme.
- İsteğe bağlı mutlak XML sitemap URL'si ve belgelenmiş Bingbot crawl-delay.
- Basit politikanın doğrudan kopyalanmaya hazır robots.txt çıktısı.
- Yayınlamadan önce örnek bot ve URL'lerle bulgu doğrulama akışı.
Nasıl çalışır
Varsayılan politikayı seçin ve taranmaması gereken bot kategorilerini işaretleyin. Varsa mutlak sitemap URL'sini ekleyin. Birkaç önemli URL ile bot adı girip beklenen sonucu test edin; ayrı kullanıcı-aracısı gruplarını, Disallow: / satırlarını ve en uzun eşleşme davranışını denetleyin. Dosyayı site köküne /robots.txt olarak kopyalayın; özel içerik ve noindex ihtiyaçları için ayrıca erişim kontrolü veya noindex kullanın.
Sınırlamalar
- robots.txt güvenlik veya erişim kontrolü değildir; dosya herkese açıktır ve gönüllü bir tarama tercihidir. Hassas yolları gizlemek için listelemeyin; özel içerik için kimlik doğrulama, WAF veya hız sınırlaması kullanın.
- Dosya taramayı yönlendirir, URL'nin dizinden çıkarılmasını sağlamaz. Google crawler'ları seçilmedikçe izinli kalır; Bingbot crawl-delay yalnızca Bingbot için gönderilir ve Google tarafından işlenmez.
Sık sorulan sorular
Bir botu engellemek sayfalarımı dizinden çıkarır mı?
Hayır. robots.txt bir URL'nin dizinde kalıp kalmayacağını değil, taramayı kontrol eder. Dizinden çıkarma sinyali gerektiğinde taranabilir bir sayfada noindex yönergesini kullanın.
Her tarayıcı bu dosyaya uyar mı?
Hayır. robots.txt erişim kontrolü değil, herkese açık ve gönüllü bir tarama tercihidir. Özel içeriği korumak için kimlik doğrulama, WAF veya hız sınırlama kullanın.
Neden bir Sitemap satırına ihtiyacım var?
Tarayıcılara XML sitemap'inizin açık bir mutlak URL'sini verir. İsteğe bağlıdır ancak keşfedilebilirlik için genellikle yararlıdır.
Yaygın sorunlar ve çözümleri
- Uyarı Oluşturulan politika bloklar bir seçilen AI tarayıcı Çözüm: Kaldır seçilen tarayıcının Izin verme kural, veya dar bu için yalnızca yollar bu -meli kalır kullanılamıyor için bu AI tarayıcı. Disallow
- Uyarı Oluşturulan politika bloklar bir arama tarayıcı Çözüm: Kaldır veya dar Googlebot/Bingbot Izin verme kural böylece sayfalar amaçlanan için organik arama olur taranabilir. Disallow
- Uyarı Hassas yol olur değil izin verilmeyen Çözüm: Ekleyin açık Izin verme kurallar için durum metin, hazırlama, sepet, veya unsur yollar, iken bilgi gerçekten hassas veri ile kimlik doğrulama yerine göre robotlar.TXT. Disallow
- Bilgi Oluşturulan dosya sahip yok site haritası bildirim Çözüm: Ekleyin bir mutlak Site haritası: https://…/sitemap.xml bildirim işaret eden için canonical, herkese açık biçimde getirilebilir site haritası veya site haritası dizin.
- Uyarı Oluşturulan gruplar içerir çakışan kurallar Çözüm: bölüm kurallar için aynı kullanıcı aracısı içine bir grup ve çözün örtüşen Izin verin/Disallow yollar için ifade edin bir kasıtlı politika.