robots.txt Testi

1. robots.txt

2. Test edilecek sayfalar

CSV/TXT yükle

3. Botlar

Fark modu: önerilen bir robots.txt ile karşılaştır

Örnek veri — kendi verinizle değiştirin

Tamamen tarayıcınızda çalışır; yapıştırdığınız hiçbir şey yüklenmez veya saklanmaz. The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). Anonim çalıştırma düzeyi sonuç sayaçları toplu araştırmalarda kullanılabilir; URL’ler, alan adları, IP’ler ve tanımlayıcılar asla dahil edilmez ve 100 çalıştırmanın altında istatistik yayımlanmaz.

Geri bildirim

Bu araç hakkında

robots.txt dosyanızın botlara hangi URL'leri tarayabileceğini söylediğini doğrulayın. Google tarzı en uzun eşleşme kuralını, joker karakterleri, alt kullanıcı aracısı geri dönüşünü ve durum kodu yönergelerini kullanarak URL listenizi test edin.

Taslak dosyayı yapıştırın veya her origin için sunulan canlı robots.txt dosyasını alın; eşleştirme tarayıcıda çalışır ve sonuç size karar veren satırı gösterir.

Özellikler

Birden çok URL ve bot için izin verilen/engellenen sonuç matrisi.
Her karar için dosyada vurgulanan tam eşleşme satırı.
robots.txt yazım hatalarını ve site haritası çakışmalarını bulan yerleşik lint denetimi.
GPTBot, ClaudeBot, Google-Extended ve diğer yapay zekâ tarayıcıları için tek tıklamalı denetim.

Nasıl çalışır

Taslak robots.txt dosyasını yapıştırın veya bir domain alın, ardından test edilecek URL'leri ve kullanıcı aracı gruplarını ekleyin. Her sonucu açarak kararı veren satırı inceleyin; lint ve site haritası bulgularını düzeltin, sonra aynı girdilerle yeniden test edin.

Sınırlamalar

Araç yalnızca Google tarzı robots.txt eşleştirmesini bildirir; sayfanın dizine eklenebilirliğini veya robots.txt uyumluluğunu garanti etmez.
Canlı alma, girilen origin başına sınırlıdır; Crawl-delay gibi tarayıcıya özgü yönergeler Google kararını değiştirmez.

Sık sorulan sorular

robots.txt bir sayfanın dizine eklenmesini engeller mi?

Hayır. Disallow dizine eklemeyi değil, taramayı engeller. Başka sayfalar izin verilmeyen bir URL'ye bağlantı verirse Google bu URL'yi, genellikle arama özeti olmadan, yine de dizine ekleyebilir. Bir sayfayı dizinin dışında tutmak için taranmasına izin verip noindex meta etiketi veya X-Robots-Tag üstbilgisi ekleyin. Aynı zamanda Disallow kullanırsanız Google noindex yönergesini göremez.

robots.txt dosyasında kuralların sırası önemli mi?

Google için önemli değildir. Google, dosyadaki konumundan bağımsız olarak en özgül kuralı, yani eşleşen en uzun yolu uygular; bu nedenle bir Allow önceki bir Disallow kuralını geçersiz kılabilir. Bu araç da aynı şekilde eşleştirir. Bazı diğer tarayıcılar ilk eşleşen kuralı uygular; bu yüzden kuralları belirsizliğe yer bırakmayacak biçimde yazın.

Disallow ile noindex arasındaki fark nedir?

Disallow, robots.txt üzerinden tarayıcıya URL'yi almamasını söyler. noindex ise sayfadaki bir meta etiket veya HTTP üstbilgisiyle URL'nin dizinde tutulmamasını ister. Amaçları farklıdır ve birlikte kullanılmaları ters tepebilir: Disallow uygulanan sayfa alınmadığı için noindex yönergesi de görülemez.

robots.txt ile CSS veya JavaScript'i engellemek SEO'ya zarar verir mi?

Verebilir. Google sayfayı anlayabilmek için oluşturur; gerekli CSS veya JS dosyalarını alamazsa düzeni, içeriği ya da mobil uyumluluğu yanlış değerlendirebilir. Sayfayı oluşturmak için gereken kaynaklara izin verin ve yalnızca gerçekten gereksiz yolları engelleyin.

AI tarayıcılarını robots.txt ile nasıl engellerim?

GPTBot, Google-Extended, ClaudeBot, CCBot ve PerplexityBot gibi her AI botu için bir user-agent grubu ekleyip Disallow: / kullanın. AI tarayıcı denetimi düğmesi bu botları yükleyerek kuralların eşleşip eşleşmediğini kontrol etmenizi sağlar. robots.txt uyumu isteğe bağlıdır: güvenilir botlar kurallara uyar, ancak bu bir erişim kontrolü değildir.

Sonraki adımrobots.txt Üreticisi — generate a replacement robots.txt with the directives you meant to ship. Rehber İngilizce olarak mevcut.

Yaygın sorunlar ve çözümleri

Uyarı Yönerge olur unsur Çözüm: Doğru yönerge yazım için bir desteklenen ad böylece tarayıcılar yapın değil yok sayın bu.
Uyarı Desteklenmeyen noindex yönerge olur kullanılan Çözüm: Kaldır noindex itibaren robotlar.TXT ve kullanın bir meta robotlar etiket veya X-Robots-Tag üzerinde taranabilir URL’ler yerine.
Bilgi kaynak olur yok sayıldı tarafından Google Crawl-delay Çözüm: Kaldır kaynak için Google ve durum Googlebot tarama oran üzerinden Arama Console veya sunucu kayıt denetimler. Crawl-delay
Hata Kural görünür önce herhangi bir kullanıcı aracısı grup user-agent Çözüm: Taşıyın kural aşağıda Kullanıcı aracısı satır için tarayıcı grup bu -meli uygulayın bu. User-agent
Uyarı Satır sahip yok metin ayraç Çözüm: Ekleyin eksik metin arasında yönerge ad ve değer böylece ayrıştırıcılar yapabilir okuyun satır.
Bilgi Bilinmeyen yönerge olur yok sayıldı Çözüm: Kaldır işlem yönerge veya değiştirin bu ile bir desteklenen robotlar.TXT yönerge bu değer amaçlanan tarama kural.
Bilgi Tarayıcı grup içerir yok kurallar Çözüm: Ekleyin amaçlanan Izin verin veya Izin verme kurallar için bu grup, veya kaldır grup böylece tarayıcı yapabilir düşmek üzerinden için joker karakter grup. Allow Disallow
Hata Kural kalıp yapabilir asla eşleşme Çözüm: Başlatın yol kalıp ile / veya * böylece eşleşen yapabilir içerik konumunda başlatın ile URL yol.
Uyarı Dolar çapa görünür içinde bir kalıp Çözüm: Taşıyın $ için son ile kalıp eğer bu -meli çapa yol, veya kaldır bu eğer bir değişmez dolar içerik oldu değil amaçlanan.
Bilgi Kullanıcı aracısı olur bölüm boyunca gruplar User-agent Çözüm: Birleştirin kurallar için aynı kullanıcı aracısı içine bir grup böylece etkili politika olur temizle ve kaynak. user-agent
Hata Site haritası URL olur değil mutlak Çözüm: Göreli site haritası konumunu, ana makine adını içeren tam nitelikli bir https:// URL'siyle değiştirin.
Hata Robotlar dosya aşar 500 KiB Çözüm: Azaltın robotlar.TXT aşağıda 500 KiB tarafından kayıt kalıplar ve kaldırma kaynak kurallar önce Google’ın kesme nokta.
Bilgi Robotlar dosya olur boş Çözüm: Bırakın dosya boş eğer tüm tarama olur kasıtlı olarak izin verilen; aksi halde ekleyin açık kullanıcı aracısı gruplar ve en az gerekli kurallar. user-agent
Hata deneme URL olur engellendi için seçilen tarayıcı Çözüm: Kaldır veya dar kazanan Izin verme kural, veya ekleyin bir daha fazla belirli Izin verin kural, ne zaman test edildi URL -meli olmak taranabilir. Allow Disallow