Penganalisis Berkas Log
Free, no signup. Server logs answer a question your analytics can't: what are crawlers actually doing on your site. Drop one in and see crawl budget by bot and by section, how much is wasted on 404s and redirects, how AI crawlers compare to search engines, and which requests are impostors faking a crawler user-agent.
Handles nginx / Apache (combined & common), IIS / W3C Extended, and JSON logs (incl. Cloudflare Logpush) — format auto-detected. Oldest successful crawler-list check: 2026-10-04. Latest recorded range change: 2026-10-04.
Berjalan sepenuhnya di browser Anda—tidak ada yang Anda tempel yang diunggah atau disimpan. Spot-checking a suspicious IP against the Googlebot Verifier sends only that IP to our server. Penghitung hasil anonim per proses dapat digunakan untuk riset agregat; URL, domain, IP, dan pengenal tidak pernah disertakan, dan statistik tidak dirilis jika jumlah proses kurang dari 100.
Oldest successful bot range check .
Paspor situs Konteks lokal untuk situs tersimpan ini
Data lokal
Target tersimpan, daftar bernama, dan ringkasan pemeriksaan terbaru hanya tersimpan di browser ini.
Who's crawling you
Requests grouped by crawler type. AI crawlers and search engines want different things from your site. "Other / unclassified" is everything with no known crawler user-agent — human browsers and untracked tools.
Crawl over time
Daily crawl requests by crawler type across the log's date range.
Crawl budget by bot
Each crawler seen in the log: how many requests, how it was verified, and how much of its crawl hit redirects or errors (excluding 304 revalidation).
Spoofer report
Requests that sent a crawler's user-agent from an IP outside that operator's published ranges — likely impostors. robots.txt won't stop these (impostors ignore it); block by IP or ASN. Spot-check any IP for the real network owner via forward-confirmed reverse DNS — this is the one action that leaves your browser (a single lookup to our verifier API).
Crawler × page-type matrix
Where each recognized crawler concentrates requests across inferred page cohorts. Cell intensity represents request count; the label also shows wasted requests.
Crawl budget by section
Where crawlers spend their time on your site (bot traffic only). High waste in a section means crawlers are burning budget on broken or redirecting URLs there.
Most-wasted URLs
Individual URLs where crawlers hit redirects or errors most often (excluding 304 revalidation) — the highest-leverage fixes for crawl budget.
AI-invented URL candidates
Observed 404/410 requests with an AI crawler or known AI-assistant referrer. This is the primary evidence mode: a row is a candidate, not proof that a model invented it — it may be a deleted or migrated URL. Suggested destinations compare only against the sitemap/URL list you supplied above.
Optional URL probe simulation
Ask the site’s open-model simulator for plausible paths, then check their live status. This is explicitly a simulation, never observed assistant output; log evidence above is stronger.
Expected URLs vs crawler requests
Recommendations
Nilai alat ini
Tentang alat ini
Log akses server adalah sumber kebenaran tentang perilaku perayap di situs Anda: URL yang diminta, kode status yang diterima, dan bagian anggaran perayapan yang terbuang. Alat ini memisahkan perayap penelusuran tradisional seperti Googlebot dari perayap penelusuran dan pelatihan AI, lalu menandai agen pengguna yang mencurigakan dengan bukti IP dan DNS.
Format nginx, Apache, IIS/W3C, dan JSON (termasuk Cloudflare Logpush) dianalisis secara lokal di peramban; tidak ada yang diunggah. Hasilnya menjelaskan perilaku perayapan, bukan hasil pengindeksan.
Fitur
- Anggaran perayapan untuk setiap perayap, dengan jumlah permintaan terverifikasi, dipalsukan, dan tidak dapat diverifikasi, distribusi status, serta persentase pemborosan.
- Rincian perayap penelusuran, penelusuran AI, dan pelatihan menurut bagian, beserta tren harian dari waktu ke waktu.
- Laporan pemalsu dengan pemeriksaan DNS terbalik dan ASN untuk IP yang mencurigakan.
- Rekomendasi berperingkat dengan baris Disallow robots.txt yang siap disalin, serta ekspor CSV perayap dan URL yang paling boros.
Cara kerja
Letakkan satu atau beberapa berkas log di area unggah atau gunakan data contoh. Format dideteksi otomatis, berkas besar dialirkan dalam potongan, dan setiap baris diberi atribut perayap, IP, status, serta jalur. Penganalisis kemudian menghitung anggaran, pemborosan, dan tren, memeriksa IP mencurigakan secara langsung, lalu mengurutkan perbaikan konkret.
Batasan
- Alat ini hanya melihat permintaan yang dicatat server Anda; alat ini tidak dapat menjelaskan alasan perayap memilih URL atau membuktikan bahwa URL telah diindeks.
- Perayap tanpa rentang IP yang dipublikasikan tetap tidak dapat diverifikasi; alat ini tidak mengklasifikasikannya sebagai asli atau palsu.
- Bagian disimpulkan dari jalur URL; pengelompokan ini adalah tampilan log, bukan laporan lengkap tentang status situs.
Pertanyaan umum
Apakah berkas catatan saya diunggah ke mana pun?
Tidak. Penguraian dan analisis berjalan sepenuhnya di peramban melalui Web Worker: berkas dibaca dari penyimpanan dan dialirkan dalam potongan secara lokal, tanpa mengirim apa pun ke server. Satu-satunya pengecualian adalah pemeriksaan per alamat IP secara opsional dalam laporan pemalsuan, yang mengirim satu alamat IP (bukan berkas Anda) ke API pemverifikasi untuk menjalankan pencarian DNS terbalik yang dikonfirmasi maju dan ASN. Tutup halaman peramban, dan seluruh data yang telah diurai akan hilang.
Jenis catatan apa saja yang didukung?
Jenisnya dideteksi otomatis. Alat ini membaca jenis nginx dan Apache combined serta common, IIS / W3C Extended, serta catatan JSON termasuk Cloudflare Logpush. Anda dapat meletakkan beberapa berkas sekaligus; catatan besar dialirkan dalam potongan sehingga catatan akses berukuran beberapa gigabita tidak membuat halaman peramban macet.
Bagaimana cara membedakan perayap asli dari perayap palsu?
Setiap permintaan dicocokkan dengan perayap yang dikenal berdasarkan `user-agent`, lalu IP sumber dibandingkan dengan rentang IP yang diterbitkan operator—daftar yang diperbarui setiap minggu dan digunakan `Googlebot Verifier`. Permintaan yang mengirim `user-agent` Googlebot dari IP di luar rentang Google ditandai sebagai kemungkinan pemalsuan. Beberapa operator, seperti ByteDance dengan Bytespider, tidak menerbitkan rentang, sehingga kunjungan itu ditandai tidak dapat diverifikasi, bukan dipalsukan.
Apa yang dihitung sebagai anggaran perayapan yang terbuang?
Setiap permintaan perayap yang menerima pengalihan (kecuali validasi ulang `304 Not Modified` yang bermanfaat), galat 4xx seperti 404 atau 410, atau galat server 5xx. Alat ini menjumlahkan pemborosan per perayap, per bagian, dan per URL agar Anda dapat melihat perbaikan dengan dampak terbesar.
Bisakah saya memblokir pemalsu dengan robots.txt?
Tidak. Pemalsu mengirim `user-agent` perayap agar dapat mengabaikan robots.txt, sehingga baris Disallow tidak berpengaruh—blokir berdasarkan IP atau ASN pada lapisan tepi atau `firewall`. robots.txt tepat untuk perayap asli yang membuang anggaran pada bagian yang tidak ingin Anda rayapi, dan bagian Rekomendasi membuat baris Disallow yang siap disalin.
Masalah umum dan cara memperbaikinya
- Peringatan Klaim perayap berada di luar rentang yang dipublikasikan operator Perbaikan: Anggap perayap belum terverifikasi dan blokir atau selidiki sampai IP-nya cocok dengan rentang operator.
- Peringatan Perayap menghabiskan permintaan pada URL yang tidak berguna Perbaikan: Larang atau jadikan kanonis URL bernilai rendah dengan argumen kueri, penyaring, pencarian, atau duplikasi, lalu perkuat tautan ke URL yang harus diprioritaskan perayap.
- Peringatan Perayap berulang kali menerima respons kesalahan Perbaikan: Perbaiki atau alihkan URL perayap yang paling sering diminta dan mengembalikan respons 4xx/5xx, lalu hapus tautan internal ke URL yang harus tetap dihapus.
- Perlu ditinjau Perayap ini mengalami terlalu banyak pengalihan Perbaikan: Perbarui tautan internal dan entri sitemap agar langsung menunjuk ke URL akhir, lalu satukan rantai pengalihan menjadi satu lompatan.
- Perlu ditinjau Perayap mengunjungi URL di luar kumpulan URL yang diharapkan Perbaikan: Tambahkan URL yang ditemukan perayap ke kumpulan tautan internal kanonis dan sitemap, atau alihkan/hapus jika tidak diinginkan.
- Perlu ditinjau URL penting yang diharapkan tidak menerima kunjungan perayap Perbaikan: Tambahkan tautan internal yang dapat dirayapi dan entri sitemap kanonis untuk URL tersebut, lalu periksa penghalang robots dan autentikasi.
- Peringatan Aktivitas perayap ini menurun secara signifikan Perbaikan: Bandingkan tanggal penurunan dengan perubahan robots, status, sitemap, penerapan, dan kapasitas server, lalu pulihkan jalur perayapan yang terdampak.
- Perlu ditinjau Aktivitas perayap ini melonjak secara signifikan Perbaikan: Identifikasi pola URL yang menyebabkan lonjakan dan batasi parameter, jebakan, pengalihan, atau jalur perayapan duplikat yang baru terbuka.
- Perlu ditinjau Waktu respons perayap ini lambat Perbaikan: Simpan hasil atau optimalkan titik akses perayap yang paling lambat dan kurangi latensi sumber sebelum meminta perayapan baru.