Permission
Is the crawler allowed?
Yapay Zekâ Tarayıcı Erişimi Denetleyicisi
Free, no signup. “Am I letting ChatGPT, Claude, Perplexity, and Google’s AI read this page — and did I mean to?” Enter a URL and get the answer for every major AI crawler, with the exact robots.txt rule that decided it.
Five separate tests · registry 2026-07-29
Crawler access is only the first layer
Extractability
Are useful facts present in raw HTML?
Renderability
Does JavaScript successfully expose them?
Operability
Can an agent identify and use semantic controls?
Commerce readiness
Do page, schema, feed and checkout facts agree?
HTML remains primary. llms.txt, UCP, and other protocol files are optional distribution layers and cannot compensate for inaccessible or unextractable HTML.
Validate a protocol response
Upload verified-bot log evidence
Expected columns: crawler, timestamp, url, status, verification. A user-agent string alone is never treated as verified identity.
No log evidence uploaded.
robots.txt is advisory, not a lock. It tells cooperating crawlers what you prefer — it does
not enforce anything. Some crawlers below are reported to ignore it (flagged ⚠). To actually stop a
crawler, block it at your CDN/WAF and verify it's genuine by IP.
Kontroller sunucumuzdan çalışır; girdiğiniz URL’yi getirir ve sonuçları saklamayız. Anonim çalıştırma düzeyi sonuç sayaçları toplu araştırmalarda kullanılabilir; URL’ler, alan adları, IP’ler ve tanımlayıcılar asla dahil edilmez ve 100 çalıştırmanın altında istatistik yayımlanmaz.
+ mevcut siteyi veya sayfayı kaydeder. Kaydedilmiş herhangi bir site, sayfa ya da listenin yanındaki ☆ işaretini kullanarak onu favorilere ekleyin. Son kontrollerin geçmişi aşağıda görünür.
Adlandırılmış liste oluştur
Hedef yerel seçimlerinizden dolduruldu.
Site pasaportu Bu kaydedilmiş site için yerel bağlam
Yerel veriler
Kaydedilen hedefler, adlandırılmış listeler ve son kontrol özetleri yalnızca bu tarayıcıda tutulur.
Google AI Overviews: there is no separate AI Overviews crawler and no full AI-Overviews-only opt-out that leaves ordinary Search unchanged. Blocking Googlebot prevents crawling but does not by itself guarantee that a known URL disappears from Search.
nosnippet, max-snippet, and data-nosnippet can limit preview/use but also affect normal Search snippets. Google-Extended only controls Gemini/Vertex training and grounding, not Search or Overviews.
Engine-specific limits: this checker evaluates the currently fetched file. Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days and may behave as if the file is absent when they cannot fetch it; a failed checker fetch is not proof that Amazon saw the same failure. Page-level controls are separate: Apple says
nosnippet can block content from generative-model context without preventing title-based discovery, while Bing documents AI-answer/training effects for noarchive and noindex. Use the page audit or extension to inspect those meta and HTTP-header directives.
Search & answer citation
These fetch pages to answer questions and cite sources. Blocking a cooperating crawler can prevent that crawler from accessing the page, but it does not guarantee absence from every answer or citation.
User-triggered assistant fetches
Model training
These collect pages for model training. A provider's documented robots control governs future crawling; it does not remove content already collected or guarantee deletion from an existing training dataset.
Bu aracı değerlendir
Set your posture → robots.txt block
Pick what to block; copy the generated rules into your robots.txt.
Blocking here means “documented posture,” not enforcement — a cooperating crawler will honor it; a hostile one may not.
Crawler roster last reviewed . Data is hand-maintained and editable (src/data/ai-crawlers.json).
Bu araç hakkında
Bir URL girin ve GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve diğer önemli AI tarayıcıları için robots.txt'nin izin veya engel kararını görün. Her sonuçta kazanan kuralı ve llms.txt varlığını gösterir; Google'ın açık kaynak robots.txt ayrıştırıcısından uyarlanan eşleştiriciyle çalışır.
Kopyalanabilir bir robots duruşu üretin ve Googlebot ile AI Overviews arasındaki bağı okuyun. Araç gözlemlenen dosya kurallarını raporlar; taramayı veya model kullanımını garanti etmez.
Özellikler
- Birçok AI tarayıcısı için izin verilen/engellenen kararı ve tam kazanan robots.txt satırı.
- GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve diğer kullanıcı aracılarında karşılaştırma.
- llms.txt varlığı kontrolü ve kopyala-yapıştır robots duruşu oluşturucu.
- Googlebot, AI Overviews ve robots.txt arasındaki kapsam sınırlarını açıkça açıklama.
Nasıl çalışır
Kontrol edilecek URL'yi girin ve robots.txt ile llms.txt alma durumunu bekleyin. Her kullanıcı aracısı için kazanan satırı ve izin kararını açın; kopyalanabilir duruşu gözden geçirin. İstediğiniz değişiklikleri dosyada uyguladıktan sonra aynı URL'yi yeniden kontrol edin ve sağlayıcının belgelenmiş davranışıyla karşılaştırın.
Sınırlamalar
- robots.txt gönüllü bir tarama yönergesidir, erişim kontrolü değildir; tarayıcı veya model uyumunu zorlayamaz.
- Araç herkese açık robots.txt ve llms.txt yanıtını eşleştirir. Google'ın veya bir AI sağlayıcısının gerçek tarama, eğitim ya da alıntı kararını göremez.
Sık sorulan sorular
GPTBot'u engellemek ChatGPT'nin sitemden alıntı yapmasını durdurur mu?
Tek başına durdurmaz. GPTBot OpenAI'ın eğitim tarayıcısıdır; engellemek gelecekteki sistem eğitiminden çıkmanızı sağlar, ancak yanıt ve alıntı için sayfa alan canlı erişim botlarını durdurmaz. Bunlar OAI-SearchBot ve kullanıcı bağlantı izlediğinde çalışan ChatGPT-kullanıcı'dır. ChatGPT yanıtlarından çıkmak için canlı getirme & yanıt alıntı altında ayrı listelenen bunları da engellemeniz gerekir.
robots.txt ile Google AI Overviews dışında kalabilir miyim?
Ayrı bir AI Overviews tarayıcısı yoktur ve Google, sayfayı arama'te değiştirmeden yalnızca AI Overviews dışında bırakan tam seçenek sunmaz. Googlebot'u engellemek taramayı önler, ancak bilinen URL'nin arama'ten kaybolmasını tek başına garanti etmez. arama özeti kontrolleri standart arama özetlerini de etkiler. Google-Extended ise arama veya AI Overviews'ı değil Gemini/Vertex eğitim ve dayanaklandırma kullanımını yönetir.
robots.txt bir AI tarayıcısını gerçekten durdurur mu?
robots.txt kilit değil tavsiyedir. Uyumlu tarayıcılar tercihinize uyar, bazıları yok sayabilir ve araç bunları ⚠ yok sayar robots etiketiyle gösterir. Gerçekten durdurmak için CDN veya WAF üzerinde engelleyin ve kullanıcı-aracı dizesine güvenmek yerine isteği IP ile doğrulayın.
Bir tarayıcı neden "doğrulanamaz" görünür?
Etiket, operatörün tarayıcı iddiasını kontrol etmek için güncel IP aralıkları veya FCrDNS yöntemi yayımlayıp yayımlamadığını gösterir; kullanıcı-aracı her zaman taklit edilebilir. Anthropic claude.com/crawling/bots.json adresinde resmi IP listesi yayımlar; Claude trafiği liste eşleşmesiyle kontrol edilebilir, ancak bu ters DNS doğrulaması değildir.
llms.txt dosyası bu kararlardan herhangi birini değiştirir mi?
Hayır. llms.txt önerilen topluluk kuralıdır ve hiçbir büyük AI tarayıcısının bunu okuduğu belgelenmemiştir; varlığı veya yokluğu tarayıcının izinli ya da engelli olmasını etkilemez. Araç llms.txt varlığını yalnızca bilgi için bildirir; erişim kararlarını yalnızca robots.txt belirler.
Yaygın sorunlar ve çözümleri
- Hata Seçilen AI tarayıcı olur engellendi Çözüm: Kaldır veya dar seçilen AI tarayıcının Izin verme kural için içerik siz öğe bu için erişim, ardından yeniden test edin bu tam kullanıcı aracısı ve yol. Disallow user-agent
- Uyarı Seçilen AI tarayıcı olur engellendi üzerinde bazı yollar Çözüm: Inceleme her engellendi yol ve dar tarayıcıya özgü Izin verme kalıplar böylece yalnızca kasıtlı olarak özel bölümler kalır hariç tutulan. Disallow
- Hata Joker karakter kurallar engelle AI tarayıcılar Çözüm: Ayarlayın Kullanıcı aracısı: * grup çünkü onun Izin verme kurallar ayrıca uygulayın için AI tarayıcılar olmadan bir daha fazla belirli uygulanabilir politika. User-agent: * Disallow
- Uyarı Belirli ve joker karakter tarayıcı alan çakışma Çözüm: Birleştirin joker karakter ve tarayıcıya özgü gruplar içine bir kasıtlı öğe politika, ardından deneme temsilci izin verilen ve engellendi yollar.
- Bilgi Tarayıcı olur değil içinde geçerli liste Çözüm: Doğrulayın durum yayımlandı kullanıcı aracısı ve işletici belgeleme önce ekleme bir özel grup veya değişen erişim kurallar. user-agent