Analizzatore di file di log
Free, no signup. Server logs answer a question your analytics can't: what are crawlers actually doing on your site. Drop one in and see crawl budget by bot and by section, how much is wasted on 404s and redirects, how AI crawlers compare to search engines, and which requests are impostors faking a crawler user-agent.
Handles nginx / Apache (combined & common), IIS / W3C Extended, and JSON logs (incl. Cloudflare Logpush) — format auto-detected. Oldest successful crawler-list check: 2026-10-04. Latest recorded range change: 2026-10-04.
Viene eseguito interamente nel browser: nulla di ciò che incolli viene caricato o memorizzato. Spot-checking a suspicious IP against the Googlebot Verifier sends only that IP to our server. I conteggi anonimi degli esiti per singola esecuzione possono essere utilizzati per ricerche aggregate; URL, domini, IP e identificatori non sono mai inclusi e nessuna statistica viene pubblicata sotto le 100 esecuzioni.
Oldest successful bot range check .
Passaporto del sito Contesto locale per questo sito salvato
Dati locali
Le destinazioni salvate, gli elenchi denominati e i riepiloghi dei controlli recenti restano solo in questo browser.
Who's crawling you
Requests grouped by crawler type. AI crawlers and search engines want different things from your site. "Other / unclassified" is everything with no known crawler user-agent — human browsers and untracked tools.
Crawl over time
Daily crawl requests by crawler type across the log's date range.
Crawl budget by bot
Each crawler seen in the log: how many requests, how it was verified, and how much of its crawl hit redirects or errors (excluding 304 revalidation).
Spoofer report
Requests that sent a crawler's user-agent from an IP outside that operator's published ranges — likely impostors. robots.txt won't stop these (impostors ignore it); block by IP or ASN. Spot-check any IP for the real network owner via forward-confirmed reverse DNS — this is the one action that leaves your browser (a single lookup to our verifier API).
Crawler × page-type matrix
Where each recognized crawler concentrates requests across inferred page cohorts. Cell intensity represents request count; the label also shows wasted requests.
Crawl budget by section
Where crawlers spend their time on your site (bot traffic only). High waste in a section means crawlers are burning budget on broken or redirecting URLs there.
Most-wasted URLs
Individual URLs where crawlers hit redirects or errors most often (excluding 304 revalidation) — the highest-leverage fixes for crawl budget.
AI-invented URL candidates
Observed 404/410 requests with an AI crawler or known AI-assistant referrer. This is the primary evidence mode: a row is a candidate, not proof that a model invented it — it may be a deleted or migrated URL. Suggested destinations compare only against the sitemap/URL list you supplied above.
Optional URL probe simulation
Ask the site’s open-model simulator for plausible paths, then check their live status. This is explicitly a simulation, never observed assistant output; log evidence above is stronger.
Expected URLs vs crawler requests
Recommendations
Valuta questo strumento
Informazioni sullo strumento
Un log di accesso del server mostra come i crawler si comportano davvero sul tuo sito. Analizza il budget di scansione per bot e sezione, lo spreco su 404 e reindirizzamenti, il confronto tra crawler IA e ricerca e le richieste che imitano un user-agent.
Funzionalità
- Riconosce automaticamente i formati nginx/Apache, IIS/W3C e JSON direttamente nel browser.
- Mostra il budget di scansione per bot e sezione, i codici di stato e le richieste sprecate.
- Confronta crawler IA e ricerca, con conteggi di IP verificati, contraffatti e non verificabili, inclusi i controlli Googlebot.
- Genera raccomandazioni, rapporto sulle contraffazioni ed esportazioni CSV senza caricare né archiviare il log.
Come funziona
Trascina uno o più file o incolla le righe. Il parser riconosce il formato, raggruppa bot, URL e codici di stato, quindi calcola lo spreco e segnala gli user-agent sospetti; i dati restano locali.
Limitazioni
- Il log descrive il comportamento osservato, non i risultati di indicizzazione.
- La verifica dipende dagli intervalli pubblicati dagli operatori e dalla qualità delle righe del log.
- Le sezioni sono dedotte dai percorsi URL e le richieste che il server non ha registrato restano invisibili.
Domande frequenti
I miei documenti di registro vengono caricati altrove?
No. L’analisi e l’elaborazione si svolgono interamente nel navigatore tramite un Web Worker: il documento viene letto dal disco e trasmesso a blocchi localmente, senza inviare nulla a un server. L’unica eccezione è il controllo facoltativo per IP nel rapporto sulle contraffazioni, che invia un singolo indirizzo IP (non il tuo registro) all’API di verifica per eseguire una ricerca DNS inversa con conferma diretta e una ricerca ASN. Chiudi la scheda e tutti i dati analizzati scompaiono.
Quali formati di registro supporta?
Il formato viene rilevato automaticamente. Legge i formati combined e common di nginx e Apache, IIS / W3C Extended e i registri JSON, inclusi quelli di Cloudflare Logpush. Puoi trascinare più documenti alla volta e i registri grandi vengono trasmessi a blocchi, così un registro di accesso di grandi dimensioni non blocca la scheda.
Come distingue un crawler autentico da uno contraffatto?
Ogni richiesta viene associata a un crawler noto tramite l’identificatore, poi l’IP di origine viene confrontato con gli intervalli IP pubblicati dall’operatore — gli stessi elenchi aggiornati ogni settimana usati dal Verificatore Googlebot. Una richiesta che invia, per esempio, un identificatore Googlebot da un IP esterno agli intervalli di Google viene segnalata come probabile contraffazione. Alcuni operatori, come ByteDance con Bytespider, non pubblicano intervalli: questi accessi restano non verificabili invece di essere contraffatti.
Che cosa conta come spreco del budget di scansione?
Qualsiasi richiesta del crawler che riceva un reindirizzamento, salvo una riconvalida utile 304, un errore 4xx come 404 o 410 oppure un errore del server 5xx. Lo strumento aggrega lo spreco per crawler, sezione e singolo URL, così puoi vedere dove intervenire con il maggiore impatto.
Posso bloccare le contraffazioni con robots.txt?
No. Gli impostori inviano un identificatore di crawler proprio per ignorare robots.txt, quindi una riga Disallow non serve — blocca per IP o ASN al bordo della rete o nel filtro. robots.txt è invece lo strumento giusto per i crawler autentici che sprecano budget nelle sezioni da escludere; il pannello Raccomandazioni genera proprio queste righe Disallow.
Problemi comuni e come risolverli
- Avviso La dichiarazione del crawler è fuori dall’intervallo pubblicato dall’operatore Correzione: Tratta il crawler come non verificato e bloccalo o analizzalo finché il suo IP non corrisponde all’intervallo pubblicato dall’operatore.
- Avviso Il crawler spende richieste su URL non utili Correzione: Disabilita o canonizza URL di parametri, filtri, ricerca e duplicati a basso valore, poi rafforza i link verso gli URL che i crawler devono prioritizzare.
- Avviso Il crawler riceve ripetutamente risposte di errore Correzione: Ripara o reindirizza gli URL dei crawler più richiesti che restituiscono risposte 4xx/5xx e rimuovi i link interni agli URL che devono restare rimossi.
- Da verificare Il crawler incontra troppi reindirizzamenti Correzione: Aggiorna link interni e voci della sitemap per puntare direttamente agli URL finali e riduci le catene di reindirizzamento a un solo passaggio.
- Da verificare Il crawler visita un URL fuori dall’insieme di URL atteso Correzione: Aggiungi l’URL scoperto dal crawler all’insieme canonico di link interni e sitemap oppure reindirizzalo o rimuovilo se non è previsto.
- Da verificare L’URL importante atteso non riceve accessi dai crawler Correzione: Aggiungi link interni scansionabili e una voce canonica nella sitemap per l’URL atteso, poi controlla robots e le barriere di autenticazione.
- Avviso L’attività dei crawler diminuisce in modo significativo Correzione: Confronta la data del calo con robots, stato, sitemap, distribuzione e capacità del server, poi ripristina il percorso di scansione interessato.
- Da verificare L’attività dei crawler aumenta improvvisamente Correzione: Identifica il modello di URL che causa il picco e limita i parametri, le trappole, i reindirizzamenti o i percorsi duplicati di scansione appena esposti.
- Da verificare I tempi di risposta dei crawler sono lenti Correzione: Metti in memoria temporanea o ottimizza gli endpoint più lenti dei crawler e riduci la latenza dell’origine prima di richiedere una nuova scansione.