Rastreadores da web

TL;DR — Um rastreador da web é um programa automatizado que visita páginas, baixa seu conteúdo e segue os links para encontrar mais páginas. “Crawler”, “spider” e “bot” significam a mesma coisa. Os mecanismos de busca usam rastreadores para encontrar suas páginas e poder exibi-las na busca — mas uma página precisa ser rastreada antes de ser indexada e ranquear, e ser rastreada com mais frequência não melhora seu ranking.

O que é um rastreador

Um rastreador da web é um software que navega automaticamente pela web. Ele visita uma página, baixa o que há nela, coleta os links e depois visita esses links também — repetidamente, em bilhões de páginas.

Você ouvirá três nomes para exatamente a mesma coisa: crawler, spider e bot. Eles são intercambiáveis. O rastreador do Google é o Googlebot; o do Bing é o Bingbot. Evidência desta afirmação Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Escopo: Google crawler terminology. Confiança: alta · Verificado: 2026-07-14 Google: Googlebot overview

Os mecanismos de busca precisam de rastreadores porque não podem exibir uma página nos resultados sem antes encontrá-la e baixá-la. O rastreador reúne a matéria-prima; o índice do mecanismo de busca é o enorme banco de dados consultado quando você digita uma busca.

Um rastreador não é a mesma coisa que um scraper. A função do rastreador é descobrir em grande escala — seguindo links por uma grande parte da web (ou por toda ela). A função do scraper é extrair — coletar dados específicos de páginas para as quais já foi direcionado. Na prática, a fronteira se confunde: muitas ferramentas fazem os dois, rastreando para encontrar páginas e depois extraindo os dados necessários de cada uma.

Como um rastreador encontra suas páginas

Principalmente de duas maneiras:

• Seguindo links. Quando um rastreador baixa uma página, lê os links nela e adiciona essas novas URLs à sua lista de tarefas. Uma boa vinculação interna é como novas páginas são descobertas.
• Sitemaps. Um sitemap XML é uma lista de URLs entregue diretamente aos mecanismos de busca, o que pode ajudá-los a descobrir URLs. Evidência desta afirmação Google discovers URLs through links from known pages and through submitted sitemaps. Escopo: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Confiança: alta · Verificado: 2026-07-14 Google: How Search works

As três etapas que importam

A busca funciona em uma ordem fixa:

1. Rastrear — um bot encontra uma URL e baixa a página.
2. Indexar — o mecanismo processa essa página e a armazena em seu banco de dados.
3. Exibir (ranquear) — quando alguém pesquisa, o mecanismo recupera as melhores correspondências e as coloca em ordem.

O rastreamento é a primeira etapa. Se uma página nunca for rastreada, não poderá ser indexada; se não for indexada, não poderá ranquear. Portanto, o rastreamento é uma barreira que você precisa superar — mas não é um placar. Ser rastreado mais vezes não eleva sua posição nos resultados.

O erro mais comum

Bloquear uma página no robots.txt não a remove do Google. O robots.txt apenas diz ao rastreador “não leia isto”. A página ainda pode aparecer nos resultados se outros sites apontarem links para ela. Se você realmente quiser remover uma página, permita o rastreamento e adicione uma tag noindex.

Quer a versão mecânica — a fila de rastreamento, busca e análise, por que a renderização é uma etapa separada e como distinguir um rastreador real de um falso? Acesse a aba Avançado.

TL;DR — Um rastreador (spider, bot) é um programa automatizado que descobre, busca, analisa e reagenda URLs em um ciclo. Nas palavras do Google, ele “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” Tradução: “baixa textos, imagens e vídeos de páginas que encontrou na internet com programas automatizados chamados rastreadores.” A mecânica envolve uma fronteira (a fila de URLs), uma busca (baixar o HTML), uma análise (extrair links e conteúdo) e um agendador que decide o que buscar em seguida e com que velocidade — reduzindo o ritmo conforme a saúde do seu servidor. Renderizar JavaScript é uma etapa separada. O rastreamento é necessário para ranquear, mas não é um sinal de ranqueamento, e é diferente da indexação — uma página bloqueada por robots ainda pode ser indexada. E, em 2026, não são apenas mecanismos de busca que rastreiam: bots de IA representam uma parcela grande e em rápido crescimento do tráfego.

O que um rastreador realmente é

A definição do Google é bastante direta: ele “downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” Tradução: “baixa textos, imagens e vídeos de páginas que encontrou na internet com programas automatizados chamados rastreadores.” A formulação do próprio glossário do Google é ainda mais ampla — “a crawler is a generic term for any program that is used to automatically discover and scan websites.” Tradução: “rastreador é um termo genérico para qualquer programa usado para descobrir e examinar sites automaticamente.” Crawler, spider, bot, spiderbot: o mesmo conceito, com nomes diferentes. Evidência desta afirmação Google defines a crawler as an automated program that discovers and scans websites and describes Googlebot as its web crawler. Escopo: Google crawler terminology. Confiança: alta · Verificado: 2026-07-14 Google: Googlebot overview

O rastreamento importa por causa do pipeline. O Google é direto: “Google Search works in three stages, and not all pages make it through each stage” Tradução: “A Pesquisa Google funciona em três etapas, e nem todas as páginas passam por cada uma delas” — rastreamento, indexação e exibição. O rastreamento é a primeira barreira. Uma página que nunca é rastreada não pode ser indexada, e uma página não indexada não pode ranquear.

Como um rastreador funciona, mecanicamente

Deixando as marcas de lado, a maioria dos rastreadores que seguem links executa alguma versão do mesmo ciclo: descobrir → buscar → analisar → agendar → repetir. É um modelo mental útil para entender o comportamento do rastreador — não uma garantia de que todo rastreador já criado implemente exatamente essas etapas da mesma maneira.

A fronteira (a fila). Um rastreador não vagueia ao acaso. Ele mantém uma fila de URLs que conhece, mas ainda não visitou — a fronteira de rastreamento — e um agendador que decide qual URL retirar em seguida. Ele começa com um conjunto inicial de URLs conhecidas e amplia a fila conforme descobre outras. O Google descreve a descoberta assim: “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery.’” Tradução: “Outras páginas são descobertas quando o Google extrai um link de uma página conhecida para uma nova página… Outras ainda são descobertas quando você envia uma lista de páginas (um sitemap) para o Google rastrear. Esse processo é chamado de ‘descoberta de URL’.” Evidência desta afirmação Google discovers URLs through links from known pages and through submitted sitemaps. Escopo: Google URL discovery; sitemap submission does not guarantee crawling or indexing. Confiança: alta · Verificado: 2026-07-14 Google: How Search works

Busca. O rastreador envia uma solicitação HTTP; o servidor devolve a página. Nessa etapa, ele baixa o HTML bruto (recursos como JavaScript e CSS são buscados separadamente, muitas vezes depois). Fabrice Canel, do Bing, resume claramente o objetivo desse processo: “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” Tradução: “Rastreamento é o processo pelo qual o bingbot descobre documentos ou conteúdos novos e atualizados para adicioná-los ao índice pesquisável do Bing.”

Análise. O HTML obtido é analisado para extrair links, texto, cabeçalhos, imagens e metadados. As URLs recém-encontradas são normalizadas e recolocadas na fronteira — o que mantém o ciclo em funcionamento.

Agendamento. O que é buscado, com que frequência e quantas páginas por visita são decisões algorítmicas, não suas. Google: “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” Tradução: “O Googlebot usa um processo algorítmico para determinar quais sites rastrear, com que frequência e quantas páginas buscar de cada site.” Páginas populares e que mudam com frequência são revisitadas mais cedo; páginas obscuras e estáticas são revisitadas raramente. (A definição desse cronograma — orçamento de rastreamento, taxa de rastreamento e frequência de rastreamento — tem análises próprias neste cluster.)

”Googlebot” não é um único programa

Este é o ponto que a maioria das explicações ignora. “Googlebot” soa como um único programa; não é. Na minha apresentação Como a busca funciona, eu o descrevo como mais de mil sistemas que executam uma família de rastreadores especializados — desktop, mobile, imagem, notícias, vídeo e anúncios — todos consumindo o mesmo conjunto de orçamento de rastreamento. Gary Illyes destacou o mesmo ponto por dentro: o nome é essencialmente inadequado para uma plataforma central de rastreamento pela qual muitos produtos do Google (Shopping, AdSense e outros) encaminham suas solicitações, com diferentes nomes de user-agent. Portanto, ao ler seus logs, você não está observando um bot — está observando uma frota que compartilha um rótulo. (Os detalhes de cada mecanismo estão nos conteúdos relacionados sobre Googlebot e Bingbot.)

Cortesia — como rastreadores evitam derrubar seu site

Um rastreador bem-comportado reduz deliberadamente seu ritmo. Google: “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” Tradução: “Eles tentam não rastrear o site rápido demais para evitar sobrecarregá-lo. Esse mecanismo se baseia nas respostas do site (por exemplo, erros HTTP 500 significam ‘reduza a velocidade’).” Essa também é a forma de desacelerar temporariamente um rastreamento — respostas 5xx/429 prolongadas fazem o Googlebot recuar (por um ou dois dias, não para sempre). A cortesia não é opcional; na escala em que os rastreadores operam, é a única coisa que evita que eles sobrecarreguem servidores até tirá-los do ar.

Robots.txt — o controle padrão de rastreamento

robots.txt é a convenção de controle de acesso de fato. Google: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” Tradução: “Um arquivo robots.txt informa aos rastreadores dos mecanismos de busca quais URLs eles podem acessar em seu site.” Dois pontos precisam ficar claros:

• Ele controla o rastreamento, não a indexação. Uma página bloqueada ainda pode ser indexada se outras páginas apontarem links para ela — o Google apenas não consegue ver o conteúdo (nem qualquer tag noindex nela). Como escrevi em Indexada, embora bloqueada pelo robots.txt: “crawling and indexing are two different things.” Tradução: “rastreamento e indexação são duas coisas diferentes.” Para realmente remover uma página, permita o rastreamento e adicione noindex — não a bloqueie.
• Rastreadores confiáveis obedecem; agentes mal-intencionados, não. Googlebot, Bingbot, Ahrefsbot e semelhantes respeitam o robots.txt; muitos scrapers e bots não confiáveis o ignoram por completo. É uma convenção, não um mecanismo de aplicação.

Testei diretamente o efeito do bloqueio. Em A história de bloquear duas páginas bem ranqueadas com o Robots.txt, bloqueei duas páginas nossas que ranqueavam por quase cinco meses. Elas perderam todos os featured snippets e títulos personalizados (os resultados exibiam “no information is available” Tradução: “nenhuma informação está disponível”), e os cliques caíram mais do que apenas a posição explicaria — mas a estimativa de tráfego quase não mudou. Minha conclusão continua válida: não bloqueie páginas que você quer indexar. Isso prejudica. Não tanto quanto você talvez imagine — mas ainda prejudica.

Rastrear ≠ indexar ≠ renderizar ≠ ranquear

As distinções que causam mais confusão:

• Rastreamento ≠ indexação. Rastrear é buscar e baixar; indexar é entender e armazenar. Uma página pode ser rastreada e não indexada (o Google optou por não incluí-la), e uma página bloqueada pode ser indexada sem jamais ser lida. “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” Tradução: “A indexação não é garantida; nem todas as páginas processadas pelo Google serão indexadas.”
• Rastreamento ≠ renderização. Buscar o HTML e executar seu JavaScript são duas etapas diferentes. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome,” Tradução: “Durante o rastreamento, o Google renderiza a página e executa todo JavaScript que encontra usando uma versão recente do Chrome”, mas essa renderização ocorre em uma fila separada que pode ficar atrás da busca inicial. Se seu conteúdo só aparece depois que o JavaScript é executado, ele não fica disponível na mesma passagem do HTML.
• Rastreamento ≠ ranqueamento. Ser rastreado com mais frequência não é um sinal de ranqueamento. A taxa de rastreamento é apenas uma questão de eficiência — por isso a maioria dos sites nunca precisa gerenciar orçamento de rastreamento.

Tipos de rastreadores (visão geral)

Esta seção é breve — cada tipo tem um conteúdo relacionado detalhado:

• Rastreadores de mecanismos de busca — Googlebot, Bingbot. Eles criam os índices que alimentam os resultados de busca.
• Rastreadores de IA/LLM — GPTBot, ClaudeBot, CCBot e outros, que coletam conteúdo da web para treinar ou alimentar modelos de IA. Crescem rapidamente (veja abaixo).
• Rastreadores de auditoria de SEO — Ahrefs Site Audit, Screaming Frog e ferramentas semelhantes que simulam um rastreamento para encontrar problemas técnicos.
• Buscadores acionados pelo usuário — ferramentas que fazem uma única solicitação sob demanda (ferramenta de inspeção de URL do Google, teste de pesquisa aprimorada). Não são rastreadores autônomos.

Quem está rastreando a web atualmente

Não são mais apenas os mecanismos de busca. Na minha análise dos dados do Cloudflare Radar (Conheça os novos rastreadores da web), os bots de mecanismos de busca ainda rastreiam mais, mas os bots de IA estão firmemente em segundo lugar. É difícil exagerar a escala: somente o Bing descobre dezenas de bilhões de URLs normalizadas que nunca viu todos os dias (Fabrice Canel) — exatamente por isso os mecanismos precisam priorizar agressivamente o que realmente buscam.

Como verificar se um rastreador é quem afirma ser

Qualquer bot pode colocar “Googlebot” em sua string de user-agent, portanto não confie apenas nela. A verificação real é uma consulta DNS reversa e direta (consulte a aba Scripts): faça o DNS reverso do IP nos logs, confirme que ele resolve para um hostname googlebot.com/ google.com, depois faça o DNS direto desse hostname e confirme que ele retorna ao mesmo IP. O Google também publica suas faixas de IP. Os detalhes completos de user-agent de cada mecanismo estão no conteúdo relacionado sobre user-agent.

Próximos passos

Esta é a página do conceito geral. Para detalhes:

• Googlebot — o rastreador do Google: user-agents, rastreamento mobile-first, renderização e Estatísticas de rastreamento do Search Console.
• Bingbot — o rastreador do Bing: Controle de Rastreamento e IndexNow.
• Rastreadores de IA — GPTBot, ClaudeBot, CCBot e os bots agênticos mais recentes.
• User-agent — o que é a string de user-agent e como interpretá-la.
• Hub de rastreamento — todo o pipeline, além de orçamento de rastreamento, taxa de rastreamento, frequência de rastreamento, profundidade de rastreamento, armadilhas para spiders e análise de arquivos de log.

Resumo por IA

Uma versão condensada da seção Avançado:

• Crawler = spider = bot. Os três nomes significam a mesma coisa: um programa automatizado que “automatically discover[s] and scan[s] websites,” Tradução: “descobre e examina sites automaticamente”, baixando páginas para que os mecanismos de busca possam indexá-las e ranqueá-las.
• O ciclo mecânico é descobrir → buscar → analisar → agendar → repetir. Uma fronteira (fila de URLs conhecidas, mas ainda não visitadas) alimenta um agendador; cada busca baixa o HTML, a análise extrai links e conteúdo, e novas URLs voltam para a fila. O Google chama essa descoberta de “URL discovery” Tradução: “descoberta de URL” (links e sitemaps).
• O rastreamento é a primeira de três etapas (rastrear → indexar → exibir), e “not all pages make it through each stage.” Tradução: “nem todas as páginas passam por cada etapa.” É necessário para ranquear, mas não é um sinal de ranqueamento.
• Rastrear ≠ indexar ≠ renderizar ≠ ranquear. A indexação não é garantida; renderizar JavaScript é uma etapa posterior e separada; uma página bloqueada por robots ainda pode ser indexada por meio de links.
• “Googlebot” é uma frota, não um único programa — uma plataforma central de rastreamento pela qual muitos produtos do Google encaminham solicitações sob diferentes user-agents.
• Rastreadores confiáveis são corteses e obedecem ao robots.txt (reduzem o ritmo diante de 5xx/429 — “slow down” Tradução: “reduza a velocidade”); agentes mal-intencionados e muitos scrapers não.
• Não são mais apenas mecanismos de busca. Bots de IA são claramente o segundo maior grupo em volume e se aproximam dos bots de busca; somente o Bing vê dezenas de bilhões de novas URLs por dia.
• Verifique um rastreador com DNS reverso e direto, não pela string de user-agent.

Documentação oficial

Documentação de fontes primárias dos mecanismos de busca.

Google

• Guia detalhado sobre como a Pesquisa Google funciona — visão geral de rastrear → indexar → exibir, descoberta de URL e agendador de rastreamento.
• Visão geral dos rastreadores e buscadores do Google — a definição de rastreador, todos os user-agents do Google e as faixas de IP publicadas.
• Googlebot — as duas variantes do Googlebot (Smartphone e Desktop) e seu comportamento técnico.
• Introdução ao robots.txt — o que o robots.txt faz (e não faz).
• Otimize seu orçamento de rastreamento — capacidade e demanda de rastreamento e quem realmente precisa disso.

Bing/Microsoft

• Série bingbot: maximizando a eficiência do rastreamento — a definição de rastreamento do Bing e seu “crawl efficiency north star” Tradução: “princípio norteador da eficiência do rastreamento”.

Citações das fontes

Declarações públicas do Google e do Bing. Cada link leva diretamente ao trecho citado na página de origem.

Google — o que é um rastreador e como ele funciona

• “Google downloads text, images, and videos from pages it found on the internet with automated programs called crawlers.” Tradução: “O Google baixa textos, imagens e vídeos de páginas que encontrou na internet com programas automatizados chamados rastreadores.” — Documentação do Google Search Central. Ir para a citação
• “Google Search works in three stages, and not all pages make it through each stage.” Tradução: “A Pesquisa Google funciona em três etapas, e nem todas as páginas passam por cada uma delas.” Ir para a citação
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery’.” Tradução: “Outras páginas são descobertas quando o Google extrai um link de uma página conhecida para uma nova página… Outras ainda são descobertas quando você envia uma lista de páginas (um sitemap) para o Google rastrear. Esse processo é chamado de ‘descoberta de URL’.” Ir para a citação
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” Tradução: “O Googlebot usa um processo algorítmico para determinar quais sites rastrear, com que frequência e quantas páginas buscar de cada site.” Ir para a citação
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” Tradução: “Eles tentam não rastrear o site rápido demais para evitar sobrecarregá-lo. Esse mecanismo se baseia nas respostas do site (por exemplo, erros HTTP 500 significam ‘reduza a velocidade’).” Ir para a citação
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” Tradução: “Durante o rastreamento, o Google renderiza a página e executa todo JavaScript que encontra usando uma versão recente do Chrome.” Ir para a citação

Google — arquivo robots.txt

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” Tradução: “Um arquivo robots.txt informa aos rastreadores dos mecanismos de busca quais URLs eles podem acessar em seu site.” — Documentação do Google Search Central. Ir para a citação

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” Tradução: “Rastreamento é o processo pelo qual o bingbot descobre documentos ou conteúdos novos e atualizados para adicioná-los ao índice pesquisável do Bing.” Ir para a citação
• “Our crawl efficiency north star is to crawl an URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” Tradução: “Nosso princípio norteador da eficiência do rastreamento é rastrear uma URL somente quando o conteúdo tiver sido adicionado (URL não rastreada antes) ou atualizado (novo contexto na página ou links externos úteis).” Ir para a citação

Garanta que os rastreadores consigam trabalhar — checklist

Uma verificação rápida para confirmar que os bots conseguem encontrar, buscar e ler o que importa:

• Páginas importantes recebem links de algum lugar rastreável (sem órfãs) — links são como rastreadores descobrem URLs.
• Um sitemap XML é enviado para que a descoberta não dependa apenas de links.
• O robots.txt não bloqueia nada que você queira indexar (e bloqueia espaços de baixo valor que você nunca quer que sejam rastreados).
• Você não usa robots.txt para tentar desindexar — esse é o trabalho do noindex (com rastreamento permitido).
• O servidor retorna respostas rápidas e estáveis — bots reduzem o ritmo diante de 5xx/429 (“slow down” Tradução: “reduza a velocidade”).
• O conteúdo dependente de JS é acessível por links <a href> reais, não por navegação que depende apenas de cliques (a renderização é uma etapa posterior e separada).
• Os bots nos logs foram verificados como genuínos (DNS reverso e direto), não apenas considerados confiáveis pela string de user-agent.

Os modelos mentais

1. O ciclo — descobrir → buscar → analisar → agendar → repetir. A maioria dos rastreadores que segue links executa alguma versão desse ciclo. Uma fronteira armazena URLs conhecidas; um agendador escolhe a próxima; uma busca a baixa; uma análise extrai links que retornam à fronteira. Se uma página não está sendo rastreada, pergunte qual etapa está falhando: ela foi descoberta (entrou na fronteira)? Está sendo despriorizada pelo agendador?

2. O pipeline — rastrear → indexar → exibir. Cada etapa é um filtro, e “not all pages make it through each stage.” Tradução: “nem todas as páginas passam por cada etapa.” Quando uma página tem desempenho ruim, descubra em qual etapa ela está falhando antes de mudar qualquer coisa.

3. O conjunto de desigualdades. Mantenha estes quatro conceitos separados e a maior parte da confusão sobre rastreadores desaparecerá:

• Rastrear ≠ indexar (uma página bloqueada ainda pode ser indexada por links)
• Rastrear ≠ renderizar (o JavaScript é executado em uma etapa posterior e separada)
• Rastrear ≠ ranquear (a taxa de rastreamento não é um sinal de ranqueamento)
• “Googlebot” ≠ um único programa (é uma frota encaminhada por uma plataforma)

4. A regra de decisão para remover uma página. Quer tirá-la da busca? Permita o rastreamento + noindex. Quer que os bots ignorem um espaço inteiro (e não se importa com a indexação)? Bloqueie no robots.txt. Nunca use disallow para desindexar.

Rastreador — referência rápida

Três nomes, uma coisa: crawler = spider = bot (spiderbot). Intercambiáveis.

O ciclo: descobrir (fronteira) → buscar (baixar HTML) → analisar (extrair links e conteúdo) → agendar (decidir o próximo) → repetir.

O pipeline: rastrear → indexar → exibir. O rastreamento é a primeira barreira; “not all pages make it through each stage.” Tradução: “nem todas as páginas passam por cada etapa.”

As desigualdades:

Cortesia: rastreadores reduzem seu ritmo; 5xx/429 prolongados = “slow down.” Tradução: “reduza a velocidade.”

Controle: o robots.txt controla o rastreamento, não a indexação — não o use para desindexar. Rastreadores confiáveis obedecem; muitos scrapers, não.

Verifique um rastreador: DNS reverso e direto; nunca apenas a string de user-agent.

O cenário (2026): bots de mecanismos de busca são os que mais rastreiam, bots de IA são o segundo grupo em rápida ascensão, e somente o Bing descobre dezenas de bilhões de novas URLs por dia.

Verifique se um bot realmente é o rastreador que afirma ser

Uma string de user-agent é trivial de falsificar, portanto a única verificação confiável é o DNS. Para o Googlebot, confirme que uma consulta DNS reversa e direta resolve para um domínio do Google e retorna ao mesmo IP.

macOS/Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

Se a consulta reversa não terminar em um domínio do Google ou se a consulta direta não corresponder ao IP original, não é realmente o Googlebot. Você também pode comparar o IP com as faixas publicadas pelo Google (googlebot.json). O mesmo padrão reverso-e-depois-direto serve para verificar outros rastreadores confiáveis com base nos hostnames que eles publicam.

Ferramentas para inspecionar acesso e atividade de rastreadores

• Testador de Robots.txt — teste se um rastreador específico tem permissão para solicitar uma URL antes de tratar uma lacuna de rastreamento como um problema de agendamento.
• Analisador de arquivos de log — veja quais rastreadores realmente acessam o servidor, quais URLs solicitam e quais códigos de status recebem.
• Verificador de cabeçalhos HTTP — inspecione a resposta que um rastreador recebe, incluindo redirecionamentos e diretivas enviadas nos cabeçalhos.
• Analisador de diferenças de renderização — compare o HTML bruto e renderizado quando um rastreador consegue buscar uma página, mas o conteúdo importante depende de renderização client-side.

Teste seus conhecimentos: rastreadores da web

Recursos que valem seu tempo

Meus textos relacionados

• O que é o Googlebot e como ele funciona? — uma análise detalhada da frota específica de rastreadores do Google.
• Indexada, embora bloqueada pelo robots.txt — por que páginas bloqueadas ainda são indexadas (rastrear ≠ indexar).
• A história de bloquear duas páginas bem ranqueadas com o Robots.txt — meu experimento direto sobre rastreamento vs. ranking.
• Quando você deve se preocupar com o orçamento de rastreamento? — quando a eficiência do rastreamento realmente importa.
• Conheça os novos rastreadores da web: bots de IA se aproximam dos bots de mecanismos de busca — o elenco de rastreadores em transformação.

Minhas palestras

• Como a busca funciona (SlideShare) — minha explicação sobre rastreamento, renderização, indexação e ranking. (Aplica-se o aviso habitual: “This is my understanding of systems… not going to be 100% complete or accurate.” Tradução: “Este é o meu entendimento dos sistemas… não será 100% completo nem preciso.”)

De outras fontes

• Podcast do Google — O que é, de fato, um rastreador da web? — Gary Illyes e Lizzi Sassman explicam o que é um rastreador e por que “Googlebot” é um nome inadequado.
• Podcast do Google — Rastrear de forma mais inteligente, não mais difícil (ep. 79) — Gary Illyes e John Mueller falam sobre orçamento de rastreamento, agendador e por que mais de 90% dos sites não precisam se preocupar com isso.
• Blog do Google Search Central — recursos de dezembro sobre rastreamento (2024) — a série detalhada selecionada pelo Google sobre fundamentos do rastreamento.
• Search Engine Journal — prioridades de rastreamento do Google: observações de Gary Illyes — aborda a missão declarada por Illyes de reduzir o rastreamento sem sacrificar a qualidade.
• Search Engine Land — Google explica o que “orçamento de rastreamento” significa para webmasters — a cobertura original de 2017, quando o Google definiu capacidade e demanda de rastreamento pela primeira vez.
• Wikipédia — rastreador web — uma boa fonte para a terminologia formal de ciência da computação (fronteira, política de cortesia) e a história.
• r/TechSEO — a comunidade para depuração de rastreamento e indexação.

Estatísticas que vale a pena citar

• Bots de IA estão se aproximando dos bots de busca. Segundo minha análise do Cloudflare Radar, rastreadores de mecanismos de busca ainda rastreiam mais, mas bots de IA são claramente o segundo grupo em volume. Fonte
• Dezenas de bilhões de URLs normalizadas nunca vistas são descobertas pelo Bing todos os dias — a escala do problema de descoberta que os mecanismos filtram agressivamente (Fabrice Canel, Microsoft Bing, 2022). Cobertura

Registro de alterações