Analisador de arquivos de log
Free, no signup. Server logs answer a question your analytics can't: what are crawlers actually doing on your site. Drop one in and see crawl budget by bot and by section, how much is wasted on 404s and redirects, how AI crawlers compare to search engines, and which requests are impostors faking a crawler user-agent.
Handles nginx / Apache (combined & common), IIS / W3C Extended, and JSON logs (incl. Cloudflare Logpush) — format auto-detected. Oldest successful crawler-list check: 2026-10-04. Latest recorded range change: 2026-10-04.
Executado inteiramente no seu navegador — nada do que você cola é enviado ou armazenado. Spot-checking a suspicious IP against the Googlebot Verifier sends only that IP to our server. Contadores anônimos de resultados por execução podem ser usados em pesquisas agregadas; URLs, domínios, IPs e identificadores nunca são incluídos, e nenhuma estatística é divulgada com menos de 100 execuções.
Oldest successful bot range check .
Passaporte do site Contexto local deste site salvo
Dados locais
Alvos salvos, listas nomeadas e resumos de verificações recentes permanecem apenas neste navegador.
Who's crawling you
Requests grouped by crawler type. AI crawlers and search engines want different things from your site. "Other / unclassified" is everything with no known crawler user-agent — human browsers and untracked tools.
Crawl over time
Daily crawl requests by crawler type across the log's date range.
Crawl budget by bot
Each crawler seen in the log: how many requests, how it was verified, and how much of its crawl hit redirects or errors (excluding 304 revalidation).
Spoofer report
Requests that sent a crawler's user-agent from an IP outside that operator's published ranges — likely impostors. robots.txt won't stop these (impostors ignore it); block by IP or ASN. Spot-check any IP for the real network owner via forward-confirmed reverse DNS — this is the one action that leaves your browser (a single lookup to our verifier API).
Crawler × page-type matrix
Where each recognized crawler concentrates requests across inferred page cohorts. Cell intensity represents request count; the label also shows wasted requests.
Crawl budget by section
Where crawlers spend their time on your site (bot traffic only). High waste in a section means crawlers are burning budget on broken or redirecting URLs there.
Most-wasted URLs
Individual URLs where crawlers hit redirects or errors most often (excluding 304 revalidation) — the highest-leverage fixes for crawl budget.
AI-invented URL candidates
Observed 404/410 requests with an AI crawler or known AI-assistant referrer. This is the primary evidence mode: a row is a candidate, not proof that a model invented it — it may be a deleted or migrated URL. Suggested destinations compare only against the sitemap/URL list you supplied above.
Optional URL probe simulation
Ask the site’s open-model simulator for plausible paths, then check their live status. This is explicitly a simulation, never observed assistant output; log evidence above is stronger.
Expected URLs vs crawler requests
Recommendations
Avaliar esta ferramenta
Sobre esta ferramenta
Grátis, sem cadastro. Os logs do servidor respondem a uma pergunta que o analytics não consegue: o que os rastreadores realmente fazem no seu site. Solte um log e veja o orçamento de rastreamento por bot e seção, quanto é desperdiçado em 404s e redirecionamentos, como os rastreadores de IA se comparam à busca e quem está falsificando um rastreador.
Recursos
- Orçamento de rastreamento por bot, com contagens verificadas, falsificadas e não verificáveis, IPs únicos, distribuição de status e percentual de desperdício.
- Divisão entre IA e busca para mostrar quanto do orçamento é consumido por rastreadores de IA em comparação com a pesquisa tradicional.
- Importe um log de acesso do servidor, CDN ou Cloudflare Logpush; os formatos nginx/Apache, IIS/W3C e JSON são detectados automaticamente, e CSV está disponível para exportação.
- Relatório de falsificadores com verificação de DNS reverso e ASN para IPs suspeitos, além de recomendações classificadas e linhas de robots.txt prontas para copiar.
Como funciona
Solte um ou mais arquivos ou carregue os dados de demonstração. O formato é detectado automaticamente; um Web Worker transmite arquivos grandes em blocos e analisa cada linha para extrair bot, IP, status e caminho. Em seguida, o analisador agrupa solicitações por bot e seção, calcula orçamento, desperdício e tendências, compara IPs com intervalos publicados, permite verificações de DNS reverso/ASN e ordena recomendações. Os resultados descrevem comportamento de rastreamento, não indexação; use o Search Console para relacionar uma URL rastreada ao ranking.
Limitações
- A análise mostra apenas o que está no log: não enxerga solicitações que o servidor nunca registrou e não informa se uma URL foi indexada. Combine os resultados com o Search Console.
- Rastreadores cujos operadores não publicam intervalos de IP, como Bytespider, permanecem não verificáveis; a ferramenta não os classifica como genuínos ou falsificados.
- As seções são inferidas pelos caminhos das URLs, e a correspondência de listas não prova a identidade de um rastreador; use verificações de DNS/ASN quando disponíveis.
Perguntas frequentes
Meus arquivos de registro são enviados para algum lugar?
Não. O processamento e a análise ocorrem inteiramente no navegador por meio de um Web Worker — o arquivo é lido do disco e processado localmente em blocos, sem ser enviado a um servidor. A única exceção é a verificação pontual opcional por IP no relatório de falsificadores, que envia um único endereço IP (não o seu arquivo) à API de verificação para executar uma consulta `forward-confirmed reverse-DNS` e ASN. Feche a aba e todos os dados processados desaparecerão.
Quais formatos de registro são compatíveis?
O formato é detectado automaticamente. A ferramenta lê os formatos `combined` e `common` do nginx e Apache, IIS / W3C Extended e arquivos JSON, inclusive Cloudflare Logpush. Você pode soltar vários arquivos de uma vez, e arquivos grandes são processados em blocos para que um arquivo de acesso com vários gigabytes não trave a aba.
Como a ferramenta distingue um rastreador legítimo de um falsificado?
Cada solicitação é associada a um rastreador conhecido pelo `user-agent`; depois, o IP de origem é comparado com os intervalos de IP publicados por esse operador — as mesmas listas atualizadas semanalmente usadas pelo Verificador do Googlebot. Uma solicitação que envie, por exemplo, um `user-agent` Googlebot a partir de um IP fora dos intervalos do Google é sinalizada como provável falsificação. Alguns operadores, como o Bytespider da ByteDance, não publicam intervalos, então essas ocorrências são marcadas como não verificáveis, não como falsificadas; uma consulta `forward-confirmed reverse-DNS` e ASN pode ajudar na verificação.
O que é considerado desperdício de orçamento de rastreamento?
Qualquer solicitação de rastreador que receba um redirecionamento (exceto uma revalidação útil `304 Not Modified`), um erro 4xx como 404 ou 410, ou um erro de servidor 5xx. A ferramenta consolida o desperdício por robô, por seção e por URL específica para mostrar onde estão as correções de maior impacto.
Posso bloquear falsificadores com robots.txt?
Não. Os impostores enviam um `user-agent` de rastreador justamente para ignorar robots.txt; portanto, uma linha `Disallow` não tem efeito sobre eles — bloqueie-os por IP ou ASN na borda ou no `firewall`. O robots.txt é adequado para rastreadores genuínos que desperdiçam orçamento em seções que você não quer rastreadas, e o painel Recomendações gera linhas `Disallow` prontas para copiar e colar exatamente nesses casos.
Problemas comuns e como corrigi-los
- Aviso A alegação do rastreador está fora do intervalo publicado pelo operador Correção: Trate o rastreador como não verificado e bloqueie-o ou investigue-o até que o IP corresponda ao intervalo publicado pelo operador.
- Aviso O rastreador desperdiça solicitações em URLs sem utilidade Correção: Proíba com `Disallow` ou torne canônicas as URLs de baixo valor de parâmetros, filtros, pesquisa e duplicatas; depois reforce os links para as URLs que os rastreadores devem priorizar.
- Aviso O rastreador recebe respostas de erro repetidamente Correção: Corrija ou redirecione as URLs de rastreador mais solicitadas que retornam respostas 4xx/5xx e remova links internos para URLs que devem permanecer removidas.
- Precisa de revisão O rastreador encontra redirecionamentos em excesso na página Correção: Atualize os links internos e as entradas do sitemap para apontar diretamente para as URLs finais e reduza as cadeias de redirecionamento a um único salto.
- Precisa de revisão O rastreador visita uma URL fora do conjunto esperado Correção: Inclua a URL encontrada pelo rastreador no conjunto canônico de ligações internas e no mapa do sítio. Caso ela não seja intencional, redirecione-a ou remova-a.
- Precisa de revisão A URL importante esperada não recebeu acessos de rastreadores Correção: Adicione links internos rastreáveis e uma entrada canônica no sitemap para a URL esperada; depois verifique as barreiras de robots e autenticação.
- Aviso A atividade do rastreador cai de forma significativa Correção: Compare a data da queda com alterações em robots, status, sitemap, implantação e capacidade do servidor; depois restaure o caminho de rastreamento afetado.
- Precisa de revisão A atividade do rastreador aumenta de forma significativa Correção: Identifique o padrão de URL que causa o pico e contenha parâmetros, armadilhas, redirecionamentos ou caminhos duplicados de rastreamento recém-expostos.
- Precisa de revisão Os tempos de resposta do rastreador são lentos Correção: Armazene em `cache` ou otimize os `endpoints` mais lentos do rastreador e reduza a latência da origem antes de solicitar um novo rastreamento.