Rastreamento

TL;DR — Crawling é a forma como os mecanismos de busca encontram e baixam suas páginas. Um bot (Googlebot no Google, Bingbot no Bing) segue links e lê sitemaps para descobrir URLs e então buscá-las. Uma página precisa ser rastreada antes de aparecer na busca — mas ser rastreada muitas vezes não faz com que ela ranqueie melhor.

O que é crawling

Os mecanismos de busca não navegam na web como você. Eles enviam programas automatizados — chamados crawlers, bots ou spiders — que visitam páginas, baixam o que está nelas e seguem os links para encontrar mais páginas. O crawler do Google é o Googlebot; o do Bing é o Bingbot.

Pense em três etapas, nesta ordem:

1. Crawl — o bot descobre uma URL e baixa a página.
2. Index — o mecanismo processa essa página e a arquiva em um enorme banco de dados com tudo o que pode exibir nos resultados.
3. Serve (rank) — quando alguém pesquisa, o mecanismo seleciona as melhores correspondências do índice e as ordena.

Crawling é a primeira etapa. Se uma página nunca for rastreada, não poderá ser indexada; se não for indexada, não poderá ranquear. Por isso o crawling importa — mas ele é um portão de entrada, não um placar.

Como os crawlers encontram suas páginas

Há duas formas principais:

• Seguindo links. Quando um bot rastreia uma página, ele coleta os links nela e adiciona essas URLs à lista de próximas páginas. Uma boa ligação interna é como páginas novas são encontradas.
• Sitemaps. Um sitemap XML é uma lista de suas URLs que você entrega diretamente aos mecanismos de busca, para que eles não precisem descobrir tudo pelos links.

Também há opções de “push”, nas quais você informa ativamente ao mecanismo que uma página mudou — falaremos mais delas abaixo —, mas links e sitemaps fazem a maior parte do trabalho.

Como ajudar os mecanismos de busca a rastrear seu site

• Crie links para suas páginas importantes a partir de outras páginas, especialmente da home e da navegação principal.
• Envie um sitemap XML no Google Search Console e no Bing Webmaster Tools.
• Não bloqueie por acidente páginas que você quer que sejam encontradas (verifique seu robots.txt).
• Mantenha o servidor rápido e saudável — se ele estiver lento ou apresentando erros, os bots recuam e rastreiam menos.

O que a maioria das pessoas entende errado

Crawling não é ranking. Ser rastreado com mais frequência não fará você subir nos resultados. E bloquear uma página no robots.txt não a remove do Google — apenas impede o Google de lê-la. Evidência desta afirmação robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. Escopo: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. Confiança: alta · Verificado: 2026-07-14 Google Search Central: Introduction to robots.txt Se você realmente quer remover uma página, permita que ela seja rastreada e adicione uma tag noindex. (Eu mesmo testei o efeito de bloquear páginas — veja a versão Avançada.)

Quer a versão mais profunda, com o funcionamento do agendador de crawling, limites de bytes e a diferença entre crawl, indexação e ranking? Mude para a aba Avançado.

TL;DR — Crawling é a primeira das três etapas da busca (crawl → index → serve). Os bots descobrem URLs por pull (links + sitemaps) e push (IndexNow, Indexing API), depois as buscam em um cronograma algorítmico que reduz o ritmo conforme a saúde do seu servidor. Renderizar JavaScript é uma etapa separada. O crawling é necessário para ranquear, mas não é um sinal de ranking por si só e é diferente da indexação — uma página bloqueada por robots ainda pode ser indexada. A maioria dos sites não precisa gerenciar o crawl budget; os logs mostram o que realmente aconteceu.

Crawling é a primeira de três etapas

O Google é direto sobre o pipeline: “Google Search works in three stages, and not all pages make it through each stage” (tradução) «A Pesquisa Google funciona em três etapas, e nem todas as páginas passam por cada etapa.» — crawling, indexação e veiculação. Evidência desta afirmação Google describes Search as three stages: crawling, indexing, and serving results. Escopo: Google Search's documented processing model; it does not guarantee that a page reaches every stage. Confiança: alta · Verificado: 2026-07-14 Google Search Central: In-depth guide to how Google Search works Essa parte de “nem todas as páginas passam” é o ponto central do SEO técnico. Uma página pode ser rastreada, mas não indexada; ou indexada, mas nunca veiculada para uma consulta. Separar mentalmente essas etapas é o modelo mais útil desta página.

Quem realmente faz o crawling

“Googlebot” parece ser um único programa, mas não é. No meu deck How Search Works, descrevo-o como mais de 1.000 sistemas executando uma família de crawlers especializados — desktop, celular, imagens, notícias, vídeos e anúncios —, com as requisições originadas principalmente em Mountain View. Todos usam o mesmo pool de crawl budget, por isso um crawling descontrolado de imagens ou parâmetros pode consumir o rastreamento do seu conteúdo real.

E não são mais apenas os mecanismos de busca. Na minha análise de dados do Cloudflare Radar (Meet the New Web Crawlers), os bots de mecanismos de busca ainda rastreiam mais, mas os bots de IA estão firmemente em segundo lugar e a caminho de ultrapassá-los nos próximos anos. Se você está lendo seus logs, o elenco mudou.

Como os crawlers descobrem URLs

A descoberta é tanto pull quanto push:

• Pull — links. O Google diz: “Other pages are discovered when Google extracts a link from a known page to a new page.” (tradução) «Outras páginas são descobertas quando o Google extrai um link de uma página conhecida para uma página nova.» É por isso que páginas órfãs (sem links apontando para elas) têm dificuldade para ser encontradas.
• Pull — sitemaps. “Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl.” (tradução) «Outras páginas ainda são descobertas quando você envia uma lista de páginas (um sitemap) para o Google rastrear.»
• Push — notificações de mudança. Em vez de esperar um novo rastreamento, você informa ao mecanismo que algo mudou: IndexNow (Bing, Yandex e outros — o Google não o usa para páginas gerais) e a Indexing API do Google (oficialmente apenas para páginas JobPosting e BroadcastEvent). O lastmod dos sitemaps, RSS e WebSub completam as opções de push.

O Google chama todo esse processo de “URL discovery.” (tradução) «descoberta de URL.»

Como os crawlers buscam páginas

• O cronograma é algorítmico. “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (tradução) «O Googlebot usa um processo algorítmico para determinar quais sites rastrear, com que frequência e quantas páginas buscar de cada site.» Você pode influenciá-lo, mas não defini-lo.
• O crawling é educado. Os bots reduzem o ritmo para não derrubar seu site: “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down.’” (tradução) «Eles tentam não rastrear o site rápido demais para evitar sobrecarregá-lo… erros HTTP 500 significam ‘desacelerar’.» Esse é o mecanismo por trás da redução temporária do crawl — retorne 503/429 e o Googlebot diminui o ritmo (por um ou dois dias, não para sempre).
• Há um limite de bytes. Desde a atualização Inside Googlebot de março de 2026 do Google, o Googlebot busca aproximadamente 2 MB por URL (abaixo do antigo limite de 15 MB), com PDFs permitidos até 64 MB. Se você ultrapassar o limite, a busca é truncada, não rejeitada — apenas a parte baixada é encaminhada para indexação. Se seu conteúdo essencial fica abaixo de 2 MB de excesso, isso importa.
• O cache reduz o custo de novos crawls. Os crawlers do Google usam requisições condicionais e cache para não buscar novamente recursos inalterados a cada visita. O Google não publica uma duração exata do cache dos recursos de renderização; portanto, não presuma uma janela fixa de atualização para uma mudança de código — espere algum atraso, não um reflexo instantâneo.

Renderização não é crawling

Isso confunde muita gente. “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (tradução) «Durante o crawling, o Google renderiza a página e executa todo JavaScript que encontra usando uma versão recente do Chrome.» A renderização é uma etapa distinta da busca do HTML. O renderizador (o Web Rendering Service) é stateless — armazenamento e cookies são limpos entre os carregamentos, solicitações de permissão são negadas e service workers são rejeitados. Se seu conteúdo só aparece depois de um clique ou de uma navegação conduzida por JS que não seja um link <a href> real, espere problemas de descoberta e renderização. (O tratamento completo está em JavaScript SEO.)

Crawling, indexação e ranking

As distinções mais importantes desta página:

• Crawling ≠ ranking. O crawling é necessário para aparecer nos resultados, mas não é um sinal de ranking. Uma taxa de crawl maior não melhora suas posições. Crawl budget é uma questão de eficiência, ponto final.
• Crawling ≠ indexação. Uma página bloqueada no robots.txt ainda pode ser indexada se outras páginas apontarem para ela — o Google simplesmente não consegue ver o conteúdo nem a tag noindex que você colocou nela. Como explico em Indexed, though blocked by robots.txt, “crawling e indexação são duas coisas diferentes.” Para remover uma página de fato, permita o crawling e adicione noindex — não a bloqueie.

Eu testei diretamente o efeito do bloqueio. Em The Story of Blocking 2 High-Ranking Pages With Robots.txt, bloqueei duas páginas que ranqueavam. O resultado foi: “We lost a position here or there and all of the featured snippets for the pages… I expected a lot more impact, but the world didn’t end.” (tradução) «Perdemos uma posição aqui ou ali e todos os featured snippets das páginas… Eu esperava um impacto muito maior, mas o mundo não acabou.» Minha conclusão continua a mesma: “Don’t block pages you want indexed. It hurts. Not as bad as you might think it does — but it still hurts.” (tradução) «Não bloqueie páginas que você quer indexar. Isso prejudica. Não tanto quanto você talvez imagine — mas ainda prejudica.»

Como controlar o crawling

• robots.txt controla o crawling, não a indexação. “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (tradução) «Um arquivo robots.txt informa aos crawlers dos mecanismos de busca quais URLs o crawler pode acessar no seu site.» Evidência desta afirmação robots.txt controls crawler access and is not a reliable way to keep a URL out of Google. Escopo: Google Search behavior for URLs blocked by robots.txt; blocked URLs may still be indexed when discovered elsewhere. Confiança: alta · Verificado: 2026-07-14 Google Search Central: Introduction to robots.txt Use-o para manter bots fora de áreas de baixo valor — não como ferramenta de desindexação.
• Arquitetura do site e links internos determinam a profundidade das páginas e se elas serão descobertas (veja crawl depth).
• Controles da taxa de crawl. O Google aposentou o controle manual de taxa no Search Console (no início de 2024) — agora considera as respostas do servidor e um limite mínimo automático mais baixo. O Bing ainda oferece uma grade manual de Crawl Control no Bing Webmaster Tools (veja crawl rate).

Eficiência do crawl e crawl budget

Os dois mecanismos tratam o crawling como uma questão de eficiência. Gary Illyes descreve o lado do Google como limite da taxa de crawl + demanda de crawl (popularidade e atualização). Fabrice Canel, do Bing, chama isso de sua “crawl efficiency north star … to crawl a URL only when the content has been added … updated.” (tradução) «estrela-guia da eficiência de crawl … rastrear uma URL apenas quando o conteúdo foi adicionado … atualizado.»

A parte tranquilizadora: a maioria dos sites não precisa se preocupar com isso. O Google é claro: se o site não tem muitas páginas que mudam rapidamente, ou se suas páginas são rastreadas no mesmo dia em que são publicadas, “you don’t need to read this guide.” (tradução) «você não precisa ler este guia.» Isso começa a importar por volta de 1 milhão ou mais de páginas mudando semanalmente, ou 10 mil ou mais mudando diariamente (veja crawl budget e crawl frequency).

Quando o crawling dá errado — como enxergar o problema

Antes de tentar uma correção, descubra qual etapa está quebrada — os sintomas e as soluções são diferentes em cada uma:

• Não foi descoberta de jeito nenhum? Nada aponta para a página e ela não está no sitemap. Corrija os links internos e a cobertura do sitemap — veja crawl depth e crawl frequency.

• Foi descoberta, mas nunca buscada? Erros do servidor, timeouts ou um bloqueio no robots.txt estão afastando os bots. Confira o Crawl Stats do GSC e seus logs — veja crawl budget e crawl rate.

• Foi buscada, mas renderizada incorretamente? O conteúdo depende de um clique ou de uma navegação exclusiva de JS que o Googlebot não executará, ou o WRS excede o tempo limite. Veja JavaScript SEO para os modos de falha específicos da renderização.

• Foi buscada e renderizada, mas ainda não foi indexada? Essa é uma decisão separada que o índice toma — consulte o hub de Indexação, em vez de tratar isso como um problema de crawl.

• A análise de arquivos de log é a fonte verdadeira. Seus logs mostram exatamente quais URLs os bots acessaram, com que frequência e quais códigos de status receberam — a melhor forma de encontrar crawling desperdiçado e páginas que os bots nunca alcançam (veja análise de arquivos de log).

• Spider traps — espaços infinitos de URLs gerados por calendários, navegação facetada, IDs de sessão ou explosões de links relativos — consomem silenciosamente seu crawl budget com URLs inúteis (veja spider traps).

Para onde ir agora: o cluster de crawling

Este hub é o mapa. Cada tópico abaixo tem seu próprio aprofundamento:

Eficiência do crawl — quanto e com que frequência

• Crawl budget — o que é (capacidade + demanda), o que o desperdiça e quem realmente precisa se preocupar.
• Crawl rate — a velocidade com que os bots buscam páginas, por que o controle de taxa do GSC desapareceu e como acelerar ou desacelerar um crawl hoje.
• Crawl frequency — o que faz o Google rastrear uma página novamente mais cedo (popularidade, desatualização e lastmod correto) e o que não faz.
• Crawl depth — profundidade de cliques versus profundidade de percurso do crawl, e por que páginas importantes devem ficar perto da home.

Conheça os crawlers — quem realmente busca suas páginas

• Crawler — o que é um crawler da web (bot, spider) e o ciclo buscar → analisar → seguir que todos executam.
• User agent — a string de user-agent e o token de robots.txt que um bot usa para se identificar, e por que não se deve confiar apenas na string.
• Googlebot — o crawler do Google: Smartphone versus Desktop, renderização e como verificá-lo.
• Bingbot — o crawler da Microsoft, como ele difere e quais superfícies além do Bing ele alimenta.
• Crawlers de IA — os bots de empresas de IA (treinamento versus busca com IA versus buscadores acionados pelo usuário) e como controlá-los.

Diagnóstico de problemas de crawl

• Análise de arquivos de log — verificar bots reais e ler o que eles rastrearam.
• Spider traps (armadilhas de crawler) — os padrões que geram URLs infinitas e como corrigi-los.

Cada tópico acima tem seu próprio aprofundamento dentro deste hub — eles também aparecem na barra lateral.

Qualificar seus links externos é um controle de on-page relacionado que se sobrepõe ao crawling — ele informa ao Google como tratar um link, não se deve rastreá-lo: nofollow (o antigo recurso genérico, hoje uma dica), além de rel=sponsored e rel=ugc para links pagos/publicitários e gerados por usuários. Os três ficam no cluster de meta tags on-page.

Ser encontrado em primeiro lugar é uma etapa relacionada, mas separada. Como os mecanismos de busca descobrem suas URLs — links internos, sitemaps (XML, índice de sitemap, imagem e vídeo) e os protocolos de push IndexNow e a Google Indexing API (para que cada um realmente serve e por que o Google não usa IndexNow) — agora vive no próprio hub de Descoberta. Para o tema mais amplo, veja Como funciona a Pesquisa Google.

Resumo de IA

Uma versão condensada da versão Avançada:

• Crawling = primeira etapa da busca (crawl → index → serve). Ele é necessário para ranquear, mas não é um sinal de ranking e é diferente da indexação e da renderização.
• A descoberta é pull + push: links e sitemaps (pull); IndexNow e a Indexing API (push). O Google chama isso de “URL discovery”.
• A busca é algorítmica e educada: o Google decide o quê, com que frequência e quantas páginas buscar, e reduz o ritmo diante de 5xx/429 (“slow down”). Em 2026, o Googlebot busca cerca de 2 MB por URL (PDFs de até 64 MB) e trunca o que exceder esse limite.
• A renderização é separada: o JS roda em um Chrome headless sem estado; o Google armazena recursos em cache para reduzir o custo de novos crawls, mas não publica uma duração exata, então as mudanças podem demorar.
• Crawl ≠ índice: uma página bloqueada por robots ainda pode ser indexada por links; use noindex (com o crawling permitido) para remover uma página. Meu experimento de bloqueio mostrou que as páginas bloqueadas mantiveram em grande parte suas posições — “but it still hurts.” (tradução) «mas ainda prejudica.»
• Crawl budget = capacidade + demanda (popularidade + desatualização). A maioria dos sites não precisa gerenciá-lo.
• Diagnostique com logs; fique atento a spider traps que desperdiçam o budget. Os bots de IA agora representam uma parcela grande e crescente do tráfego de crawl.

Documentação oficial

Documentação de fonte primária dos mecanismos de busca.

Google

• Guia detalhado de como funciona a Pesquisa Google — visão geral de crawl → índice → veiculação, descoberta de URLs e o agendador de crawling.
• Crawling e indexação — o hub de robots, sitemaps, canonicalização e controles de crawl.
• Introdução ao robots.txt — o que o robots.txt faz (e não faz).
• Otimize seu crawl budget — capacidade + demanda de crawl; quem precisa disso.
• Visão geral dos crawlers e buscadores do Google — cada user-agent do Google e os intervalos de IP publicados.
• Inside Googlebot (março de 2026) — os limites atuais de bytes e a arquitetura de crawling.
• Googlebot e o limite de 15 MB (2022) — o limite antigo, útil para mostrar a mudança.
• Série Crawling December (2024) — Googlebot, cache HTTP, navegação facetada e CDNs.

Bing / Microsoft

• Série bingbot: maximizando a eficiência do crawl — a definição de crawling do Bing e sua “estrela-guia da eficiência do crawl”.
• Bing Webmaster Tools — Crawl Control — configure a velocidade e o ritmo do Bingbot.
• IndexNow / indexnow.org — o protocolo de push para sinalizar instantaneamente URLs alteradas.

Citações da fonte

Declarações registradas do Google e do Bing. Cada link é profundo e salta para o trecho citado na página de origem.

Google — como funciona o crawling

• “Google Search works in three stages, and not all pages make it through each stage.” (tradução) «A Pesquisa Google funciona em três etapas, e nem todas as páginas passam por cada etapa.» — documentação do Google Search Central. Ir para a citação
• “Other pages are discovered when Google extracts a link from a known page to a new page… Still other pages are discovered when you submit a list of pages (a sitemap) for Google to crawl. This process is called ‘URL discovery’.” (tradução: “Outras páginas são descobertas quando o Google extrai um link de uma página conhecida para uma página nova… Outras ainda são descobertas quando você envia uma lista de páginas (um sitemap) para o Google rastrear. Esse processo se chama ‘descoberta de URL’.”) Ir para a citação
• “Googlebot uses an algorithmic process to determine which sites to crawl, how often, and how many pages to fetch from each site.” (tradução: “O Googlebot usa um processo algorítmico para determinar quais sites rastrear, com que frequência e quantas páginas buscar de cada site.”) Ir para a citação
• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” (tradução: “Eles tentam não rastrear o site rápido demais para evitar sobrecarregá-lo. Esse mecanismo se baseia nas respostas do site (por exemplo, erros HTTP 500 significam ‘desacelerar’).”) Ir para a citação
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” (tradução: “Durante o crawling, o Google renderiza a página e executa todo JavaScript que encontra usando uma versão recente do Chrome.”) Ir para a citação

Google — robots.txt e crawl budget

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” (tradução: “Um arquivo robots.txt informa aos crawlers dos mecanismos de busca quais URLs o crawler pode acessar no seu site.”) — documentação do Google Search Central. Ir para a citação
• “Taking crawl capacity and crawl demand together, Google defines a site’s crawl budget as the set of URLs that Google can and wants to crawl.” (tradução: “Considerando em conjunto a capacidade e a demanda de crawl, o Google define o crawl budget de um site como o conjunto de URLs que o Google pode e quer rastrear.”) Ir para a citação
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (tradução: “Se seu site não tem muitas páginas que mudam rapidamente, ou se suas páginas parecem ser rastreadas no mesmo dia em que são publicadas, você não precisa ler este guia.”) Ir para a citação

Gary Illyes, Google (via reprodução literal do post de 2017 sobre crawl budget pelo Search Engine Land)

• O limite da taxa de crawl é “the number of simultaneous parallel connections Googlebot may use to crawl the site, as well as the time it has to wait between the fetches.” (tradução: “o número de conexões paralelas simultâneas que o Googlebot pode usar para rastrear o site, além do tempo que deve esperar entre as buscas.”) A demanda de crawl é impulsionada por popularidade e desatualização. Ler a cobertura

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” (tradução: “Crawling é o processo pelo qual o bingbot descobre documentos ou conteúdos novos e atualizados para adicionar ao índice pesquisável do Bing.”) Ir para a citação
• “Our crawl efficiency north star is to crawl a URL only when the content has been added (URL not crawled before), updated (fresh on-page context or useful outbound links).” (tradução: “Nossa estrela-guia da eficiência de crawl é rastrear uma URL somente quando o conteúdo foi adicionado (URL ainda não rastreada) ou atualizado (contexto on-page novo ou links externos úteis).”) Ir para a citação

Checklist de saúde do crawl

Uma verificação rápida para confirmar que os mecanismos de busca conseguem encontrar e buscar o que importa:

• Páginas importantes têm links a partir de algum lugar rastreável (não são órfãs).
• O robots.txt não bloqueia nada que você queira indexar (e bloqueia áreas de baixo valor, como resultados de busca interna).
• O sitemap XML foi enviado ao Google Search Console e ao Bing Webmaster Tools, lista apenas URLs canônicas e indexáveis e tem um lastmod preciso.
• O servidor retorna respostas rápidas e estáveis — com o mínimo de 5xx/timeouts (os bots reduzem o ritmo quando o servidor sofre).
• Você não usa robots.txt para tentar desindexar — essa é a função de noindex (com o crawling permitido).
• Não há spider traps gerando URLs infinitas (calendários, facetas, IDs de sessão).
• O Crawl Stats do GSC foi revisado em busca de picos nos códigos de resposta e no tempo médio de resposta.
• Os logs do servidor foram verificados quanto a desperdício de crawl e URLs importantes não rastreadas.
• O conteúdo que depende de JS pode ser alcançado por links <a href> reais, não por navegação que exige apenas um clique.

Os modelos mentais

1. O pipeline — crawl → renderização → índice → veiculação. Cada etapa é um filtro, e “nem todas as páginas passam por cada etapa”. Quando uma página não tem o desempenho esperado, descubra em qual etapa ela falha antes de mudar qualquer coisa: ela foi rastreada? Renderizada? Indexada? Veiculada para a consulta?

2. Os três “não é igual”. Mantenha estas diferenças separadas e a maior parte da confusão sobre crawl desaparece:

• Crawling ≠ indexação (páginas bloqueadas ainda podem ser indexadas por links)
• Crawling ≠ ranking (a taxa de crawl não é um sinal de ranking)
• Crawling ≠ renderização (o JS roda em uma etapa separada, com cache)

3. Descoberta = pull + push. Pull: links + sitemaps. Push: IndexNow / Indexing API / lastmod. Se uma página não está sendo encontrada, pergunte qual canal deveria transportá-la — e se há algum link apontando para ela.

4. Crawl budget = capacidade + demanda. Capacidade é o que seu servidor suporta; demanda é popularidade + desatualização. Você aumenta o budget efetivo removendo desperdício (armadilhas, duplicatas e parâmetros inúteis), muito mais do que tentando fazer o Google rastrear “mais”.

5. A regra de decisão para remover uma página. Quer tirá-la da busca? Permita o crawling + noindex. Quer que os bots ignorem uma área inteira (e não se importa com a indexação)? Bloqueie no robots.txt. Nunca use o bloqueio para desindexar.

Controlando o crawling — guia rápido

O que cada controle realmente faz

Códigos de status que importam para os bots

• 200 — buscado corretamente.
• 301/308 — redirecionamento permanente (consolida).
• 404/410 — ausente; sai do índice com o tempo (410 um pouco mais rápido).
• 429 / 500 / 503 — “desacelerar” / tentar depois; se persistir, o crawl diminui.

Fatos rápidos

• Limite de busca do Googlebot: cerca de 2 MB por URL (PDFs 64 MB), com truncamento do excedente.
• Controle manual da taxa de crawl no GSC: removido (jan. de 2024) — agora valem os sinais do servidor.
• Equivalente no Bing: grade de Crawl Control no Bing Webmaster Tools.
• IndexNow: Bing/Yandex/outros — não o Google. Indexing API: Google, somente JobPosting + BroadcastEvent.

Verifique se um bot é realmente o Googlebot

Muitos acessos dizem ser do Googlebot. Confirme com uma consulta DNS reversa + direta (o Google não publica nenhum atalho — user-agents falsos são comuns).

Ou faça a mesma verificação manualmente:

macOS / Linux

# 1) Reverse DNS the IP from your logs — it should end in googlebot.com or google.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

Se a consulta reversa não terminar em um domínio do Google, ou se a consulta direta não corresponder ao IP original, não é o Googlebot. Você também pode comparar com os intervalos de IP publicados pelo Google (googlebot.json).

Um ponto de partida seguro para o robots.txt

User-agent: *
Disallow: /search           # internal search result pages
Disallow: /*?*sort=         # sort-order parameter spaces
Allow: /

Sitemap: https://example.com/sitemap.xml

Lembre-se: Disallow bloqueia o crawling, não a indexação — não o use para remover uma página dos resultados.

Ferramentas para observar e gerenciar o crawling

• Google Search Console — relatório Crawl Stats — a visão do próprio Google sobre como ele rastreia seu site: requisições ao longo do tempo, códigos de resposta, tempo médio de resposta, por tipo de arquivo e de Googlebot.
• Bing Webmaster Tools — informações de crawl, Crawl Control e Site Scan.
• Análise de arquivos de log do servidor — a fonte verdadeira. Ferramentas: Screaming Frog Log File Analyser, ou envie os logs para o BigQuery / uma plataforma de logs. (Veja análise de arquivos de log.)
• Crawlers / auditorias de site — Ahrefs Site Audit e Screaming Frog SEO Spider simulam um crawl e mostram profundidade, cadeias de redirecionamento, URLs bloqueadas e padrões semelhantes a armadilhas.
• Ahrefs Webmaster Tools — crawl + auditoria gratuitos para sites que você verifica.
• URL Inspection (GSC) — verifique como uma única URL foi rastreada, renderizada e indexada.

Recursos que valem seu tempo

Meus textos relacionados

• Guia para iniciantes de SEO técnico — onde o crawling se encaixa no panorama geral.
• A história de bloquear 2 páginas com alto ranking usando Robots.txt — meu experimento próprio sobre crawl versus ranking.
• Indexada, embora bloqueada pelo robots.txt — por que páginas bloqueadas ainda são indexadas.
• Robots.txt e SEO: tudo o que você precisa saber.
• Problemas e boas práticas de SEO para JavaScript — o lado da renderização.
• Conheça os novos crawlers da web: bots de IA estão se aproximando dos bots de busca.

Minhas palestras

• Como funciona a busca (SlideShare) — minha explicação de crawling, renderização, indexação e ranking. (Aplica-se meu aviso padrão: “This is my understanding of systems… not going to be 100% complete or accurate.” (tradução: “Este é o meu entendimento dos sistemas… não será 100% completo ou preciso.”))

De outras pessoas

• r/TechSEO — a comunidade para diagnosticar problemas de crawl/índice.
• Série Crawling December do Google (oficial e o melhor conjunto concentrado de explicações sobre crawl).
• Google explica o crawl budget para webmasters (Search Engine Land) — reprodução literal do post original de Gary Illyes sobre crawl budget, com as definições de limite da taxa e demanda de crawl.
• Crawl budget do Googlebot explicado (Search Engine Journal) — explicação em linguagem simples do modelo de capacidade e demanda de crawl.
• Google explica os limites de bytes do Googlebot e a arquitetura de crawling (Search Engine Journal) — cobertura da atualização Inside Googlebot de março de 2026; 2 MB por URL, PDFs de 64 MB e comportamento de truncamento.
• Como o Bingbot funciona: descoberta, crawling, extração e indexação (Search Engine Journal) — o lado do Bing no pipeline de crawl, com o contexto de Fabrice Canel.
• Limite de tamanho de arquivo do Googlebot (DebugBear) — explica o que acontece quando uma página excede o limite de busca do Googlebot (truncamento, não rejeição).

Podcasts

• Search Off the Record (Google Search Relations) — Como o Googlebot rastreia a web. Gary Illyes e Martin Splitt falam sobre o passado, o presente e o futuro do Googlebot: infraestrutura de crawling unificada, HTTP/1.1 versus HTTP/2, requisições condicionais e limites de bytes. Ouça

Vídeos

• Google Search Central (YouTube) — a série Como funciona a Pesquisa Google e as explicações de crawling/renderização de Martin Splitt, incluindo os vídeos de SEO para JavaScript. Canal

Estatísticas que vale citar

• Bots de IA estão se aproximando dos bots de busca. Segundo minha análise do Cloudflare Radar, os crawlers de mecanismos de busca ainda rastreiam mais, mas os bots de IA estão claramente em segundo lugar e a caminho de ultrapassá-los em alguns anos. Fonte
• Dezenas de bilhões de URLs normalizadas nunca vistas antes são descobertas pelo Bing todos os dias — a escala do problema de descoberta que os mecanismos filtram agressivamente (Fabrice Canel, Microsoft Bing, 2022). Cobertura
• Quais crawlers são mais bloqueados por cerca de 140 milhões de sites — dados da taxa de bloqueio no robots.txt do meu estudo com Xibeijia Guan; úteis para entender como a web aberta controla os bots. Fonte
• Limite de bytes: cerca de 2 MB por URL (PDFs de 64 MB) — limite documentado pelo Google para as buscas do Googlebot em março de 2026 (abaixo dos 15 MB). Fonte

Teste seus conhecimentos: Crawling

Cinco perguntas rápidas sobre como os mecanismos de busca descobrem e buscam páginas. Escolha uma resposta para cada pergunta e confira o resultado.

Registro de alterações