Günlük Dosyası Analizcisi
Free, no signup. Server logs answer a question your analytics can't: what are crawlers actually doing on your site. Drop one in and see crawl budget by bot and by section, how much is wasted on 404s and redirects, how AI crawlers compare to search engines, and which requests are impostors faking a crawler user-agent.
Handles nginx / Apache (combined & common), IIS / W3C Extended, and JSON logs (incl. Cloudflare Logpush) — format auto-detected. Oldest successful crawler-list check: 2026-10-04. Latest recorded range change: 2026-10-04.
Tamamen tarayıcınızda çalışır; yapıştırdığınız hiçbir şey yüklenmez veya saklanmaz. Spot-checking a suspicious IP against the Googlebot Verifier sends only that IP to our server. Anonim çalıştırma düzeyi sonuç sayaçları toplu araştırmalarda kullanılabilir; URL’ler, alan adları, IP’ler ve tanımlayıcılar asla dahil edilmez ve 100 çalıştırmanın altında istatistik yayımlanmaz.
Oldest successful bot range check .
Site pasaportu Bu kaydedilmiş site için yerel bağlam
Yerel veriler
Kaydedilen hedefler, adlandırılmış listeler ve son kontrol özetleri yalnızca bu tarayıcıda tutulur.
Who's crawling you
Requests grouped by crawler type. AI crawlers and search engines want different things from your site. "Other / unclassified" is everything with no known crawler user-agent — human browsers and untracked tools.
Crawl over time
Daily crawl requests by crawler type across the log's date range.
Crawl budget by bot
Each crawler seen in the log: how many requests, how it was verified, and how much of its crawl hit redirects or errors (excluding 304 revalidation).
Spoofer report
Requests that sent a crawler's user-agent from an IP outside that operator's published ranges — likely impostors. robots.txt won't stop these (impostors ignore it); block by IP or ASN. Spot-check any IP for the real network owner via forward-confirmed reverse DNS — this is the one action that leaves your browser (a single lookup to our verifier API).
Crawler × page-type matrix
Where each recognized crawler concentrates requests across inferred page cohorts. Cell intensity represents request count; the label also shows wasted requests.
Crawl budget by section
Where crawlers spend their time on your site (bot traffic only). High waste in a section means crawlers are burning budget on broken or redirecting URLs there.
Most-wasted URLs
Individual URLs where crawlers hit redirects or errors most often (excluding 304 revalidation) — the highest-leverage fixes for crawl budget.
AI-invented URL candidates
Observed 404/410 requests with an AI crawler or known AI-assistant referrer. This is the primary evidence mode: a row is a candidate, not proof that a model invented it — it may be a deleted or migrated URL. Suggested destinations compare only against the sitemap/URL list you supplied above.
Optional URL probe simulation
Ask the site’s open-model simulator for plausible paths, then check their live status. This is explicitly a simulation, never observed assistant output; log evidence above is stronger.
Expected URLs vs crawler requests
Recommendations
Bu aracı değerlendir
Bu araç hakkında
Bir sunucu erişim günlüğünü bırakın; bot ve bölüm bazında tarama bütçesini, durum kodu israfını, AI ile arama botu ayrımını ve tarayıcı kullanıcı aracısını taklit edenleri bildiren spoofer raporunu görün. nginx, Apache, IIS/W3C ve JSON günlüklerini tarayıcınızda ayrıştırır; hiçbir veri yüklenmez.
Özellikler
- Bot, bölüm, durum kodu ve yanıt yolu başına istek ile tarama bütçesi dökümü.
- 4xx/5xx, yönlendirme ve gereksiz isteklerden kaynaklanan durum kodu israfı.
- AI tarayıcıları ile geleneksel arama tarayıcılarını ayrı karşılaştırma.
- İleri doğrulanmış DNS veya yayımlanmış aralıkla kullanıcı aracısını taklit eden spoofer raporu.
Nasıl çalışır
Günlük dosyanızı sürükleyin veya yükleyin ve biçimin nginx, Apache, IIS/W3C ya da JSON olduğunu doğrulayın. Önce toplam istekleri ve bot dağılımını, sonra bölüm ve durum kodu israfını inceleyin. AI ile arama ayrımını ve spoofer uyarılarını açın; gereksiz yolları düzeltip yeni günlükle sonucu yeniden karşılaştırın.
Sınırlamalar
- Analiz yalnızca sağladığınız günlük satırlarını görür; eksik günlük, proxy bilgisi veya yanlış saat dilimi sonucu etkileyebilir.
- Kullanıcı aracısı tek başına bot kimliği değildir. Araç kanıtı sınıflandırır, Google tarama kararını, crawl budget garantisini veya güvenlik hükmünü vermez.
Sık sorulan sorular
Günlük dosyalarım herhangi bir yere yükleniyor mu?
Hayır. Ayrıştırma ve analiz Web Worker aracılığıyla tamamen tarayıcıda çalışır; dosya diskten okunup yerel parçalar halinde aktarılır ve sunucuya gönderilmez. Yalnızca isteğe bağlı IP kontrolü tek bir IP'yi FCrDNS ve ASN sorgusu için doğrulama API'sine gönderir. Sekmeyi kapatınca ayrıştırılmış veriler silinir.
Hangi günlük biçimlerini destekler?
Biçim otomatik algılanır. nginx ve Apache combined/common, IIS/W3C Extended ve Cloudflare Logpush dahil JSON günlüklarını okur. Birden çok dosya bırakabilirsiniz; büyük günlükler parçalar halinde aktarıldığından çok gigabaytlık dosya sekmeyi kilitlemez.
Gerçek tarayıcıyı taklit edilenden nasıl ayırır?
Her istek, kullanıcı aracısına göre bilinen bir tarayıcıyla eşleştirilir; ardından kaynak IP, işletmenin yayımladığı IP aralıklarına karşı kontrol edilir — Googlebot Doğrulayıcı'nın kullandığı haftalık yenilenen listelerle. Örneğin Googlebot kullanıcı aracısı gönderen bir istek Google'ın aralıkları dışındaki bir IP'den gelirse olası bir sahteci olarak işaretlenir. ByteDance'in Bytespider'ı gibi bazı işletmeciler hiç aralık yayımlamaz; bu nedenle bu istekler sahte değil, doğrulanamaz olarak işaretlenir.
Boşa harcanan tarama bütçesi sayılan nedir?
Yararlı bir 304 yeniden doğrulaması dışındaki yönlendirmeler, 404 veya 410 gibi 4xx hataları ve 5xx sunucu hataları alan tarayıcı istekleri boşa harcanmış tarama bütçesi sayılır. Araç israfı robot, bölüm ve tek tek URL başına toplar; böylece en etkili düzeltmeleri görebilirsiniz.
Taklitçileri robots.txt ile engelleyebilir miyim?
Hayır. Sahteciler, robots.txt'yi yok sayabilmek için özellikle bir tarayıcı kullanıcı aracısı gönderir; bu nedenle Disallow satırı onlara hiçbir şey yapmaz — bunun yerine onları uçta veya güvenlik duvarında IP ya da ASN ile engelleyin. robots.txt, taranmasını istemediğiniz bölümlerde bütçe harcayan gerçek tarayıcılar için doğru araçtır; Öneriler bölümü tam bu durumlar için kopyalanmaya hazır Disallow satırları üretir.
Yaygın sorunlar ve çözümleri
- Uyarı Tarayıcı iddia olur dışında işletmenin yayımlandı aralık Çözüm: Ele alın tarayıcı olarak doğrulanmamış ve engelle veya araştırın bu kadar onun IP eşleşmeler işletmenin yayımlandı aralık.
- Uyarı Tarayıcı durum istekler üzerinde değer URL’ler Çözüm: Izin verme veya canonical hâle getirin düşük değerli parametre, filtre, arama, ve yinelenen URL’ler, ardından güçlendirin bağlantılar için URL’ler tarayıcılar -meli önceliklendirin.
- Uyarı Tarayıcı tekrar alır hata yanıtlar Çözüm: Onarım veya yönlendirme unsur tarayıcı URL’ler işlem 4xx/5xx yanıtlar ve kaldır dahili bağlantılar için URL’ler bu -meli kalın kaldırılmış.
- İnceleme gerekli Tarayıcı unsur bölüm yönlendirmeler Çözüm: Güncelleyin dahili bağlantılar ve site haritası girdiler için nokta doğrudan için son URL’ler, ve daraltma yönlendirme zincirler için bir atlama.
- İnceleme gerekli Tarayıcı ziyaretler URL dışında beklenen URL ayarlayın Çözüm: Tarayıcının keşfettiği URL'yi temel iç bağlantı ve site haritası kümesine ekleyin; istenmiyorsa ona yönlendirme uygulayın veya silin.
- İnceleme gerekli Beklenen önemli URL sahip yok tarayıcı unsur Çözüm: Ekleyin taranabilir dahili bağlantılar ve bir canonical site haritası girdi için beklenen URL, ardından denetleyin robotlar ve kimlik doğrulama engeller.
- Uyarı Tarayıcı etkinlik düşüşler maddi olarak Çözüm: Karşılaştırın bırakın tarih ile robotlar, durum, site haritası, dağıtım, ve unsur değişiklikler, ardından geri yükleyin etkilenen tarama yol.
- İnceleme gerekli Tarayıcı etkinlik içerik maddi olarak Çözüm: Tanımlayın URL kalıp değer kayıt ve içerir içerik açığa çıkarılmış parametreler, değer, yönlendirmeler, veya yinelenen tarama yollar.
- İnceleme gerekli Tarayıcı yanıt kez olur yavaş Çözüm: Önbellek veya kaynak durum tarayıcı işlem ve azaltın kaynak gecikme önce isteme bir güncel tarama.