Orçamento de rastreamento

Resumo — Orçamento de rastreamento é o quanto um mecanismo de busca está disposto a rastrear o seu site. São duas coisas multiplicadas: o quanto o seu servidor aguenta e o quanto o Google quer rastrear. Rastrear mais não faz você rankear mais alto — e, para a maioria dos sites, isso não é um problema. Se as suas páginas são rastreadas no mesmo dia em que você as publica, você não tem um problema de orçamento de rastreamento.

O que é orçamento de rastreamento

Quando um mecanismo de busca rastreia o seu site, ele não rastreia para sempre. Ele rastreia um certo número de URLs suas em uma janela de tempo e depois segue em frente. Esse volume é o que os profissionais de SEO chamam de orçamento de rastreamento.

Tudo se resume a duas perguntas que o mecanismo de busca responde o tempo todo:

• Quanto consigo rastrear? O seu servidor aguenta só até certo ponto antes de ficar lento ou começar a dar erros. O Google fica de olho nisso e recua. Isso é a capacidade de rastreamento (a documentação antiga chamava de limite de taxa de rastreamento).
• Quanto eu quero rastrear? Páginas populares e páginas que mudam com frequência são rastreadas mais vezes. Páginas sem links, ou que nunca mudam, são rastreadas raramente. Isso é a demanda de rastreamento.

Multiplique os dois e você tem o seu orçamento de rastreamento: aproximadamente, o número de URLs que o Google consegue e quer rastrear. Evidência desta afirmação Google defines crawl budget using crawl capacity limit and crawl demand. Escopo: Google Search crawling for larger sites. Confiança: alta · Verificado: 2026-07-14 Google: Large site crawl budget guide

Uma distinção importante logo de início: orçamento de rastreamento diz respeito a se o Google faz o fetch de uma URL ou não. Se ele indexa o que encontra é uma decisão separada e posterior. Uma página pode ser rastreada e mesmo assim não ser indexada — rastrear não garante indexação; é só o portão pelo qual você precisa passar primeiro.

A primeira coisa a entender: você provavelmente não precisa se preocupar com isso

Esta é a parte que a maioria dos artigos esconde. A maioria dos sites não tem problema de orçamento de rastreamento. O Google diz isso diretamente — se as suas páginas são rastreadas no mesmo dia em que são publicadas, ou se o seu site não é enorme e não muda rapidamente, você pode pular o assunto inteiro. Evidência desta afirmação Google says sites without many rapidly changing pages, or whose pages are crawled the day they publish, generally do not need crawl-budget guidance. Escopo: Google's rough applicability guidance, not a guarantee for every site. Confiança: alta · Verificado: 2026-07-14 Google: Large site crawl budget guide

Um teste rápido: pesquise algumas das suas URLs no Google ou use a ferramenta URL Inspection (Inspeção de URL) no Search Console. Se as suas páginas novas aparecem dentro de um ou dois dias, o seu orçamento de rastreamento está bem. Gaste seu tempo com conteúdo e links em vez disso.

O orçamento de rastreamento começa a importar quando um site tem centenas de milhares ou milhões de páginas, principalmente se muitas delas mudam constantemente (pense em uma grande loja de e-commerce ou em um grande portal de notícias).

Rastrear mais não significa melhores posições

Aqui vai um mito que vale a pena acabar logo: rastrear uma página com mais frequência não a eleva nos resultados. O rastreamento é apenas como o mecanismo encontra e baixa a sua página. É um portão pelo qual você precisa passar para ranquear — mas, uma vez que você passou, a frequência com que você é rastreado novamente não é um fator de ranqueamento.

Portanto, o objetivo não é “ser rastreado mais”. O objetivo é garantir que as páginas com as quais você se importa sejam rastreadas e que o mecanismo não esteja perdendo tempo com URLs inúteis.

O que desperdiça o orçamento de rastreamento

Se você tem um site grande, o orçamento é drenado por:

• URLs de filtro e ordenação (navegação facetada) — cada combinação de filtro em uma loja de e-commerce pode gerar milhares de URLs quase idênticas.
• Páginas duplicadas — o mesmo conteúdo acessível em várias URLs (com e sem www, com parâmetros acrescentados, etc.).
• Soft 404s — páginas de “não encontrado” que retornam um status 200 OK, então o mecanismo continua rastreando-as.
• Cadeias de redirect quebradas e páginas lentas — elas fazem cada rastreamento custar mais.

A correção quase sempre é remover o desperdício para que o orçamento chegue às páginas reais — não tentar convencer o Google a rastrear “mais”.

Quer o modelo completo — capacidade de rastreamento vs. demanda, os limites exatos de tamanho, o que fazer com a navegação facetada, como o Bing lida com isso de forma diferente e como medir — alterne para a aba Avançado.

TL;DR — O orçamento de rastreamento = limite de capacidade de rastreamento (o que seu servidor suporta) × demanda de rastreamento (popularidade + defasagem + inventário percebido). É uma questão de eficiência, não um sinal de ranqueamento. Internamente, é um agendamento por importância limitado pela carga do host, não uma cota fixa por site. A maioria dos sites pode ignorar isso — Mueller considera 100 mil URLs como “geralmente não é suficiente”, e o Google diz a sites rastreados no mesmo dia para pular o guia. O problema aparece com ~1 milhão+ de páginas (mudança semanal), 10 mil+ de páginas (mudança diária) ou quando o status “Discovered – currently not indexed” aumenta. A ação de maior alavancagem é cortar o desperdício — navegação facetada, duplicatas, soft 404s, espaços infinitos — para que o orçamento se concentre nas URLs que importam.

O modelo de dois fatores

O Google define isso claramente: “A quantidade de tempo e recursos que o Google dedica ao rastreamento de um site costuma ser chamada de orçamento de rastreamento do site, e é determinada por dois elementos principais: limite de capacidade de rastreamento e demanda de rastreamento.” A definição de 2017 de Gary Illyes é a frase curta que eu ainda uso: o orçamento de rastreamento é “o número de URLs que o Googlebot pode e quer rastrear.” Evidência desta afirmação Google defines crawl budget using crawl capacity limit and crawl demand. Escopo: Google Search crawling for larger sites. Confiança: alta · Verificado: 2026-07-14 Google: Large site crawl budget guide Mantenha isso no escopo: o orçamento de rastreamento governa a busca, não a indexação. Uma URL rastreada ainda passa por uma decisão separada de indexação — juntar os dois exagera o que o orçamento de rastreamento controla.

Limite de capacidade de rastreamento (o lado da oferta). Isto é “o número máximo de conexões paralelas simultâneas que o Google pode usar para rastrear um site, bem como o atraso entre as buscas.” Ele muda de acordo com a saúde do seu servidor. Responda rápido e limpo e o limite aumenta; sirva respostas lentas, erros 5xx ou códigos 429 e o Googlebot recua. No meu Como funciona a Pesquisa deck listo os mesmos gatilhos de limite de taxa de rastreamento: estabilidade do servidor, respostas lentas, erros de servidor 5xx e 429 (muitas solicitações). Isto é o “pode”.

Demanda de rastreamento (o lado da demanda). Impulsionada pela popularidade (o quanto uma URL é linkada / importante) e pela defasagem (há quanto tempo ela foi rastreada, com que frequência ela muda). Esse mesmo deck divide a demanda em PageRank, frequência de mudança da página, tempo desde o último rastreamento e grandes mudanças no site. Criticamente, o Google destaca o inventário percebido como a alavanca que você mais controla: “Sem orientação sua, o Google tenta rastrear todas ou a maioria das URLs que conhece no seu site. Se muitas dessas URLs forem duplicadas, ou se você não quiser que elas sejam rastreadas por algum outro motivo… isso desperdiça muito do tempo de rastreamento do Google no seu site. Este é o fator que você pode controlar de forma mais positiva.”

Dois fatos estruturais que pegam muita gente:

• O crawl budget é por hostname. “https://www.example.com/ e https://code.example.com/ são dois hostnames diferentes e, portanto, têm orçamentos de rastreamento separados.” Os subdomínios não compartilham.
• Os diferentes tipos de Googlebot provavelmente usam o mesmo pool. Nos meus próprios relatórios, imagem, notícias, vídeo, anúncios e o restante parecem puxar do mesmo orçamento por site — não tenho uma fonte primária atual do Google que confirme isso exatamente, então trate como observação de profissional, e não como política documentada. De todo modo, vale conferir o detalhamento por tipo de crawler no Crawl Stats report se você suspeitar que um tipo está empurrando os outros para fora.

O que é de verdade internamente: agendamento por importância

“Crawl budget” é um termo guarda-chuva cunhado pela indústria de SEO. Internamente, está mais para agendamento condicionado à carga do servidor. Como Illyes descreveu, o agendador do Google “define um lote de URLs em ordem de importância e o GoogleBot rastreará nessa ordem com base no cronograma decidido pela carga do servidor. Se o Google achar que o seu servidor aguenta, ele rastreará o lote inteiro; se não, ele vai parar.”

Isso reformula todo o assunto. Não é uma cota fixa do tipo “você recebe N páginas por dia” — é uma fila priorizada, e o rastreamento acompanha a demanda de busca. Illyes de novo: “Se a demanda de busca cai, isso também se correlaciona com a queda do limite de rastreamento”, e “se você quiser aumentar o quanto rastreamos, você precisa, de alguma forma, convencer a busca de que vale a pena buscar o seu conteúdo, que é basicamente o que o agendador está ouvindo”. A equipe Search Relations chamou explicitamente a ideia de “cota fixa diária de páginas” de equívoco.

O seu site realmente tem um problema de crawl budget?

Esta é a seção mais valiosa, então vou ser direto: a maioria dos sites não precisa se preocupar com crawl budget. O próprio guia do Google abre com o aviso: “Se o seu site não tem um grande número de páginas que mudam rapidamente, ou se as suas páginas parecem ser rastreadas no mesmo dia em que são publicadas, você não precisa ler este guia. Especificamente para a Pesquisa Google, basta manter o seu sitemap atualizado e verificar a cobertura do índice regularmente.” Evidência desta afirmação Google says sites without many rapidly changing pages, or whose pages are crawled the day they publish, generally do not need crawl-budget guidance. Escopo: Google's rough applicability guidance, not a guarantee for every site. Confiança: alta · Verificado: 2026-07-14 Google: Large site crawl budget guide

John Mueller deu o número concreto: “100 mil URLs geralmente não é suficiente para afetar o crawl budget (é menos de 1 por minuto ao longo de 3 meses).” Se você tem menos de seis dígitos de URLs e as páginas são rastreadas rapidamente, siga em frente.

Quando faz diferença, os limites aproximados do Google são:

• Sites grandes — 1 milhão+ de páginas únicas com conteúdo que muda com frequência moderada (aproximadamente semanal).
• Sites médios ou maiores — 10 000+ de páginas únicas com conteúdo que muda muito rapidamente (diariamente).
• Sites com uma grande parcela de URLs classificadas como “Discovered – currently not indexed” no Search Console — esse é o sinal de alerta de que o Google conhece URLs que não está conseguindo alcançar.

O Google acrescenta o aviso de que “os números aqui são uma estimativa aproximada… não são limites exatos.” E mesmo em sites grandes, a nuance do meu próprio trabalho continua valendo: geralmente são páginas novas, mal linkadas ou estáticas que ficam para trás — não as suas páginas populares.

O crawl budget afeta o ranqueamento? Não.

Rastrear é necessário para rankear, mas não é um sinal de ranking. O Google, em 2017: “Um aumento na taxa de rastreamento não levará necessariamente a melhores posições nos resultados de pesquisa. O Google usa centenas de sinais para classificar os resultados e, embora o rastreamento seja necessário para estar nos resultados, ele não é um sinal de ranking.” Eu disse o mesmo no meu guia da Ahrefs: “Mais rastreamento não significa que você vai ranquear melhor, mas, se suas páginas não forem rastreadas e indexadas, elas não vão ranquear de jeito nenhum.” Trate o crawl budget como um problema de eficiência, e ponto final.

O que desperdiça o crawl budget

Illyes publicou a lista canônica de URLs de baixo valor agregado “em ordem de importância”:

1. Navegação facetada e identificadores de sessão — o vilão nº 1, especialmente combinações de filtro/ordenação de ecommerce que multiplicam URLs de forma combinatória.
2. Conteúdo duplicado no site — as variantes técnicas clássicas: HTTP vs HTTPS, non-www vs www, trailing slash ou não, maiúsculas vs minúsculas, páginas padrão/index e parâmetros de URL. (Cerca de 60 % da web é conteúdo duplicado, segundo a estimativa interna do próprio Google.)
3. Páginas de soft error — soft 404s que retornam 200 continuam sendo rastreados.
4. Páginas hackeadas.
5. Espaços infinitos e proxies — calendários, paginação com rolagem infinita que duplica, combinações facetadas; os clássicos padrões de armadilha para spiders.
6. Conteúdo de baixa qualidade e spam.

O custo é concreto: “Desperdiçar recursos do servidor com páginas assim vai drenar a atividade de rastreamento de páginas que realmente têm valor, o que pode causar um atraso significativo na descoberta de ótimos conteúdos em um site.” Além da lista, cadeias de redirect longas “têm um efeito negativo no rastreamento” e páginas lentas e pesadas tornam cada requisição mais cara.

Como otimizar

A jogada toda é consolidar o crawl budget nas URLs que importam:

• Consolide duplicatas. Google: “Consolide o conteúdo duplicado para focar o rastreamento em conteúdo único, em vez de URLs únicas.” Escolha um host, um protocolo, uma convenção de trailing slash; faça a canonicalização; trate os parâmetros.
• Bloqueie caminhos realmente inúteis com robots.txt — mas apenas caminhos que você nunca quer que sejam rastreados. Para navegação facetada, as opções usuais são bloquear os caminhos de parâmetros no robots.txt ou usar # em vez de ? para que as URLs não sejam rastreáveis em primeiro lugar.
• Não use noindex para economizar crawl budget. Google: “Não use noindex, pois o Google ainda fará a requisição, mas depois descartará a página ao ver uma meta tag ou cabeçalho noindex na resposta HTTP, desperdiçando tempo de rastreamento.” A requisição ainda custa para você. Bloqueie no robots.txt se você nunca quiser que ela seja buscada.
• Não espere que o robots.txt realoque o crawl budget. “O Google não vai deslocar esse crawl budget recém-disponível para outras páginas, a menos que já esteja atingindo o limite de atendimento do seu site.” Bloquear lixo é uma boa higiene, mas isso não entrega os rastreamentos liberados para suas boas páginas, a menos que você esteja no limite de capacidade.
• Corrija soft 404s; retorne 404/410 reais para páginas que não existem mais. “Um código de status 404 é um forte sinal para não rastrear aquela URL novamente.”
• Encurte cadeias de redirect, mantenha os sitemaps atualizados (lastmod honesto) e melhore a velocidade do servidor.
• Fortaleça os links internos para páginas importantes e novas — mais fácil do que qualquer outra coisa, porque você tem controle total disso.

E as duas — apenas duas — formas que o Google diz que você pode realmente aumentar o crawl budget: “Adicione mais recursos de servidor… [e] otimize a qualidade do conteúdo.” Note a armadilha aí: um servidor mais rápido eleva o teto de capacidade, mas, se a demanda for baixa, o Google continua rastreando menos. Você precisa dos dois.

Como medir

• GSC > Settings > Crawl Stats report — total de requisições de rastreamento ao longo do tempo, tempo médio de resposta, host status e detalhamentos por código de resposta, tipo de arquivo e tipo de Googlebot. Esta é a visão do próprio Google sobre como ele rastreia você.
• Análise de arquivos de log do servidor — a fonte da verdade. Acessos reais do Googlebot por padrão de URL, para você ver desperdício de rastreamento e páginas importantes não rastreadas. Verifique se o bot é genuinamente o Googlebot por DNS reverso + direto ou pelas faixas de IP publicadas pelo Google — muitos bots falsos falsificam o user-agent.
• “Discovered – currently not indexed” no GSC — trate um acúmulo crescente disso como uma luz de alerta de crawl budget: o Google conhece as URLs, mas não está chegando até elas.

Bing e outros mecanismos: “eficiência de rastreamento”

Bing reformula o tópico como eficiência de rastreamento em vez de um orçamento de rastreamento. Definição de Fabrice Canel: “A eficiência de rastreamento é a frequência com que rastreamos e descobrimos conteúdo novo e atualizado por página rastreada.” O objetivo é “rastrear uma URL somente quando o conteúdo foi adicionado (URL ainda não rastreada), atualizado (contexto novo na página ou links externos úteis).” A filosofia direta da Bing: “Menos é mais para SEO. Nunca se esqueça disso. Menos URLs para rastrear é melhor para SEO.”

A correção preferida da Bing é o IndexNow — enviar as URLs alteradas para que o bingbot não precise fazer rastreamentos exploratórios — e o Crawl Control no Bing Webmaster Tools, que permite agendar, por hora, quando o bingbot rastreia, para proteger a carga do servidor. Essa é uma divergência real entre Google e Bing que vale destacar: o Google descontinuou o antigo limitador de taxa de rastreamento no Search Console, enquanto a Bing ainda permite moldar ativamente a programação de rastreamento.

Mitos sobre crawl budget, corrigidos

• “Todo site deveria otimizar o crawl budget.” Não — a maioria não deveria. Rastreamento no mesmo dia e menos de 100 mil URLs significam que você está bem.
• “Mais rastreamento = melhores posições.” Não. Rastrear é necessário, mas não é um sinal de ranking.
• “É uma cota fixa diária de páginas.” Não — é um agendamento orientado por importância, limitado pela carga do servidor.
• “Use noindex para economizar orçamento.” Não — o Google ainda solicita a página primeiro.
• “Bloqueie páginas no robots.txt para dar mais orçamento a outras páginas.” Em geral, não, a menos que você já esteja no limite de serviço.
• “Um servidor mais rápido, sozinho, aumenta seu orçamento.” Ele apenas eleva o teto de capacidade; demanda baixa ainda significa menos rastreamentos.

Para o pipeline mais amplo do qual isto faz parte — descoberta, o agendador de rastreamento, renderização e como o rastreamento difere da indexação — veja o hub de rastreamento. Os tópicos relacionados (crawl rate, crawl frequency, spider traps e log file analysis) aprofundam cada um uma parte disso.

Resumo de IA

Uma visão condensada da versão avançada:

• Crawl budget = limite de capacidade de rastreamento × demanda de rastreamento. Capacidade é o que o servidor aguenta (aumenta com respostas rápidas/limpas, cai com 5xx/429); demanda é popularidade + desatualização + inventário percebido. A frase-resumo do Google: “o número de URLs que o Googlebot pode e quer rastrear.”
• Não é um fator de ranking. Rastrear é necessário para rankear, mas rastrear mais não melhora posições — é puramente uma questão de eficiência.
• Internamente, é um agendamento por importância, limitado pela carga do servidor — uma fila priorizada, não uma cota fixa diária de páginas. O rastreamento acompanha a demanda de busca.
• A maioria dos sites não precisa gerenciar isso. Mueller: 100 mil URLs geralmente não é suficiente para fazer diferença. Google: se as páginas são rastreadas no mesmo dia, ignore o guia. Isso pesa a partir de ~1 milhão de páginas (mudança semanal), mais de 10 mil (mudança diária) ou um grande acúmulo de “Discovered – currently not indexed”.
• O que desperdiça (na ordem do Google): navegação facetada / IDs de sessão, conteúdo duplicado, soft 404s, páginas invadidas, espaços infinitos, conteúdo de baixa qualidade — além de cadeias de redirect e páginas lentas.
• Otimize removendo desperdícios: consolide duplicatas, bloqueie caminhos sem valor no robots.txt (não com noindex — o Google ainda solicita primeiro), corrija soft 404s, encurte redirects, mantenha sitemaps limpos e fortaleça links internos. Só há duas maneiras de realmente aumentar o crawl budget: mais capacidade de servidor e maior qualidade de conteúdo.
• Meça com GSC Crawl Stats, análise de logs do servidor e o relatório “Discovered – currently not indexed”.
• A Bing chama isso de eficiência de rastreamento (“menos é mais”), e promove IndexNow + Crawl Control em vez da abordagem não intervencionista do Google.

Documentação oficial

Documentação de fonte primária dos mecanismos de busca.

Google

• Optimize your crawl budget — o documento canônico (migrou da antiga URL “large site owner’s guide” na documentação de infraestrutura de rastreamento do Google, última atualização em dezembro de 2025): capacidade de rastreamento + demanda, quem precisa, a lista de desperdícios e como otimizar. Comece por aqui.
• What Crawl Budget Means for Googlebot (Gary Illyes, 2017) — o enquadramento original: limite de taxa de rastreamento + demanda de rastreamento e as categorias de URLs de baixo valor agregado.
• Crawling and Indexing — o hub para robots.txt, sitemaps, canonicalização e controles de rastreamento.
• Crawling December series (2024) — Googlebot, cache HTTP, navegação facetada e CDNs.

Bing / Microsoft

• bingbot Series: Maximizing Crawl Efficiency — o novo enquadramento de eficiência de rastreamento da Bing e seu norte.
• bingbot Series: Optimizing Crawl Frequency — como a Bing decide a cadência de re-rastreamento.
• Bing Webmaster Tools — Crawl Control — agende quando o bingbot rastreia, por hora.
• IndexNow / indexnow.org — envie URLs alteradas para que os mecanismos não precisem de rastreamentos exploratórios.

Citações da fonte

Declarações oficiais do Google e do Bing. Cada link é um link profundo que leva ao trecho citado na página de origem.

Google — a definição

• “A quantidade de tempo e recursos que o Google dedica ao rastreamento de um site é comumente chamada de orçamento de rastreamento do site e é determinada por dois elementos principais: limite de capacidade de rastreamento e demanda de rastreamento.” — Google Search Central docs. Ir para a citação
• “Os crawlers do Google calculam um limite de capacidade de rastreamento, que é o número máximo de conexões paralelas simultâneas que o Google pode usar para rastrear um site, bem como o intervalo entre as buscas.” Ir para a citação
• “Considerando a taxa de rastreamento e a demanda de rastreamento juntas, definimos orçamento de rastreamento como o número de URLs que o Googlebot consegue e quer rastrear.” — Gary Illyes, Google (2017). Ir para a citação

Google — quando você não precisa se preocupar

• “Se o seu site não tem um grande número de páginas que mudam rapidamente, ou se as suas páginas parecem ser rastreadas no mesmo dia em que são publicadas, você não precisa ler este guia.” Ir para a citação
• “100 mil URLs geralmente não é suficiente para afetar o orçamento de rastreamento (menos de 1 por minuto ao longo de 3 meses).” — John Mueller, Google (2021). Leia a cobertura

Google — o que você controla, e rastreamento versus ranking

• “Se muitas dessas URLs forem duplicadas, ou se você não quiser que elas sejam rastreadas por algum outro motivo (removidas, sem importância etc.), isso desperdiça muito do tempo de rastreamento do Google no seu site. Este é o fator que você pode controlar de forma mais positiva.” Ir para a citação
• “Um aumento na taxa de rastreamento não levará necessariamente a melhores posições nos resultados de busca. O Google usa centenas de sinais para classificar os resultados e, embora o rastreamento seja necessário para estar nos resultados, ele não é um sinal de ranking.” — Gary Illyes, Google (2017). Ir para a citação

Google — a lista de desperdícios e o que não fazer

• “Navegação facetada e identificadores de sessão / Conteúdo duplicado no site / Páginas de erro suave / Páginas invadidas / Espaços infinitos e proxies / Conteúdo de baixa qualidade e spam” — as categorias de baixo valor agregado, em ordem de importância. — Gary Illyes, Google (2017). Ir para a citação
• “Consolide o conteúdo duplicado para focar o rastreamento em conteúdo único, em vez de URLs únicas.” Ir para a citação
• “Não use noindex, pois o Google ainda fará a solicitação, mas depois descartará a página ao ver uma meta tag noindex ou um cabeçalho na resposta HTTP, desperdiçando tempo de rastreamento.” Ir para a citação
• “O Google não transferirá esse orçamento de rastreamento recém-disponível para outras páginas, a menos que já esteja atingindo o limite de atendimento do seu site.” Ir para a citação

Gary Illyes, Google — agendamento e carga do servidor (via cobertura do Search Engine Roundtable de um Q&A do Stone Temple)

• “A carga do servidor meio que define um conjunto de URLs em ordem de importância, e o Googlebot rastreará nessa ordem com base no cronograma que a carga do servidor decidiu. Se o Google achar que seu servidor suporta, ele rastreará todo o conjunto; se não, ele vai parar.” Ir para a citação

Fabrice Canel, Microsoft Bing

• “A eficiência do rastreamento é a frequência com que rastreamos e descobrimos conteúdo novo e atualizado por página rastreada.” Ir para a citação
• “Menos é mais em SEO. Nunca se esqueça disso. Menos URLs para rastrear, melhor para o SEO.” Ir para a citação

Checklist de otimização do orçamento de rastreamento

Só vale a pena seguir se você confirmou que realmente tem um problema de orçamento (site grande, demora no rastreamento de páginas publicadas no mesmo dia ou um acúmulo crescente de “Discovered – currently not indexed”). Então:

• Confirmou que o problema é real — verificou o relatório Crawl Stats do GSC e as páginas “Discovered – currently not indexed” antes de otimizar qualquer coisa.
• Escolheu uma convenção canônica (domínio, protocolo, barra final, maiúsculas/minúsculas) e consolidou as duplicatas nela.
• Tratou os parâmetros de URL — canonicalizou ou bloqueou os que só criam variantes duplicadas ou de baixo valor.
• Domou a navegação facetada — bloqueou combinações de filtro/ordenação sem valor em robots.txt ou as moveu para depois de um # para que não possam ser rastreadas.
• Corrigiu soft 404s; retornando 404/410 reais para páginas removidas permanentemente.
• Removeu ou encurtou cadeias de redirecionamento.
• Os sitemaps listam apenas URLs canônicas e indexáveis, com lastmod preciso.
• Não usou noindex para “economizar” orçamento (o Google rastreia mesmo assim) e não esperou que bloqueios em robots.txt realocassem orçamento para outras páginas.
• Fortaleceu os links internos para páginas importantes e recém-publicadas.
• Melhorou o tempo de resposta do servidor e a eficiência do carregamento das páginas.
• (Bing) Adotou o IndexNow para enviar alterações; usou o Crawl Control se a carga do servidor for a restrição.

Os modelos mentais

1. Orçamento = capacidade × demanda. A capacidade de rastreamento é o que seu servidor aguenta; a demanda de rastreamento é popularidade + obsolescência + estoque percebido. Os dois precisam existir: um servidor rápido com baixa demanda ainda é menos rastreado, e uma demanda alta esbarra em um servidor sobrecarregado. Para aumentar o orçamento efetivo, você quase sempre remove desperdício, em vez de “pedir mais”.

2. O filtro “será que eu tenho um problema?” Execute isto antes de mexer em qualquer coisa:

• Páginas rastreadas no mesmo dia em que são publicadas? → Sem problema. Pare por aqui.
• Menos de ~100 mil URLs (a regra prática do Mueller)? → Quase certamente sem problema.
• Mais de 1 milhão de páginas mudando semanalmente, ou mais de 10 mil mudando diariamente, ou um grande acúmulo de “Discovered – currently not indexed”? → Agora vale o seu tempo.

3. Remova o desperdício antes de pedir ao Google para rastrear mais. A ideia de maior impacto desta página. O Google tenta rastrear tudo o que conhece; se metade disso são duplicatas, facetas e soft 404s, ele está gastando seu orçamento com lixo. Corte o lixo e o orçamento se concentra nas páginas que importam — esse é “o fator que você pode controlar positivamente com mais facilidade”.

4. Rastreamento ≠ ranking. Rastreamento é uma porta de entrada, não um placar. Rastrear mais não vai melhorar posições. Portanto, o objetivo é cobertura das URLs certas, nunca o volume bruto de rastreamento.

5. É uma fila de prioridades, não uma cota. Internamente, é um agendamento por importância limitado pela carga do servidor — um balde priorizado de URLs, não um simples “N páginas por dia.” Você sobe na fila sendo mais importante (links, demanda) e não desperdiçando buscas.

Crawl budget — resumo rápido

O que o desperdiça (ordem de importância do Google)

Além disso: cadeias de redirect longas e páginas lentas/pesadas fazem cada requisição custar mais.

Você precisa mesmo se preocupar?

• Crawling no mesmo dia → não.
• < ~100 mil URLs (Mueller) → quase certamente não.
• Mais de 1 milhão de páginas mudando semanalmente, ou mais de 10 mil mudando diariamente, ou muitos “Discovered – currently not indexed” → sim.

Correções que funcionam

• Consolide duplicatas / defina canônicas.
• Bloqueie caminhos inúteis no robots.txt (facets, parâmetros) — nunca use noindex para “economizar” orçamento.
• Corrija soft 404s; retorne 404/410 reais.
• Encurte cadeias de redirect; acelere o servidor.
• Limpe os sitemaps; fortaleça os links internos.

Apenas duas maneiras de aumentar o orçamento (Google): mais capacidade do servidor e maior qualidade do conteúdo. Uma sem a outra não basta.

Bing: é “crawl efficiency” — envie com o IndexNow, agende com o Crawl Control.

Ferramentas para medir e gerenciar o crawl budget

• Google Search Console — Crawl Stats report (Settings → Crawl Stats) — a visão do próprio Google: total de solicitações ao longo do tempo, tempo médio de resposta, host status e detalhamentos por código de resposta, tipo de arquivo e tipo de Googlebot. Comece aqui.
• GSC “Discovered – currently not indexed” (relatório de Páginas) — o sinal de alerta para URLs que o Google conhece, mas não está rastreando.
• Server log file analysis — a verdade absoluta sobre quais URLs os bots realmente acessam e com que frequência. Ferramentas: Screaming Frog Log File Analyser, ou envie os logs para o BigQuery / uma plataforma de logs. (Veja log file analysis.)
• Ahrefs Site Audit / Screaming Frog SEO Spider — simule um crawl para identificar URLs duplicadas, redirect chains, soft 404s, URLs bloqueadas e espaços facetados que funcionam como armadilhas.
• Ahrefs Webmaster Tools — crawl e auditoria gratuitos para sites que você verifica.
• URL Inspection (GSC) — verificação rápida de rastreamento no mesmo dia para uma única URL.
• Bing Webmaster Tools — Crawl Control — agende o crawl do bingbot por hora se a carga do servidor for a restrição.

Você tem um problema de crawl budget?

Check-up mensal do crawl budget

1. Exporte as solicitações de crawlers de busca dos logs do servidor para a mesma janela de relatório todos os meses.
2. Divida as solicitações por código de status, diretório, tipo de página e se a URL é indexável.
3. Revise padrões de parâmetros de alto volume, caminhos duplicados, redirecionamentos, soft 404s e erros de servidor.
4. Compare a participação no rastreamento de templates valiosos com o período anterior e registre lançamentos ou migrações.
5. Atribua a cada novo padrão de desperdício um responsável e um controle: links, parâmetros, redirecionamentos, canonicalização, remoção ou reparo de servidor.
6. Reavalie o padrão afetado na próxima janela de log; o POP está concluído quando URLs valiosas mantêm acesso e o desperdício diminui em relação à linha de base do site.

Erros de crawl budget

• Buscar um volume maior de requisições. Mais rastreamento não melhora posições. Em vez disso, acompanhe se URLs importantes são rastreadas quando necessário.
• Bloquear desperdício apenas no robots.txt. Isso pode interromper a coleta sem remover URLs descobertas ou corrigir os links que as criam. Remova os caminhos de rastreamento e consolide o inventário quando apropriado.
• Atualizar o lastmod de todos os sitemaps em todo build. Falsa atualização ensina os rastreadores a não confiar no sinal. Altere apenas para atualizações significativas de página.
• Ignorar erros de servidor ao ajustar padrões de URL. Um problema de capacidade limita o rastreamento útil. Repare timeouts e respostas 5xx primeiro.
• Tratar toda URL excluída como desperdício. Alguns recursos não indexados dão suporte à renderização ou à descoberta. Classifique a finalidade antes de bloquear qualquer coisa.

Prompt: classifique o desperdício no log de rastreamento

Cole um CSV extraído do log com URL, template, status, bot, hits, bytes e indexabilidade. Remova primeiro os valores de query ou dados do usuário.

Act as a technical SEO analyst. Classify each URL pattern as valuable crawling, necessary support crawling, redirect/error waste, duplicate/parameter waste, or unclear. Do not infer intent from the URL alone: list the evidence needed for every unclear row. Rank patterns by crawler requests and bytes, propose the safest control, and state what could break if that control is wrong. Return a table plus a short validation plan.

Prompt: questione um diagnóstico de crawl budget

Review the crawl-budget diagnosis below. Separate evidence of capacity, demand, discovery, and URL-inventory problems. Flag claims that confuse crawling with indexing or rankings. Then give the three smallest tests that would confirm or reject the diagnosis. Do not invent thresholds; use changes against the site's own baseline.

[PASTE DIAGNOSIS AND OBSERVATIONS]

Resuma os códigos de status do crawler a partir de um log de acesso

Execute isto em um log no estilo nginx/Apache após ajustar o padrão de bot para o tráfego de crawler verificado:

awk 'BEGIN{IGNORECASE=1} /Googlebot|bingbot/ {print $9}' access.log | sort | uniq -c | sort -nr

No PowerShell:

Select-String -Path .\access.log -Pattern 'Googlebot|bingbot' | ForEach-Object { if ($_.Line -match '"\s(\d{3})\s') { $Matches[1] } } | Group-Object | Sort-Object Count -Descending

Extraia famílias de parâmetros de query

Use este regex em uma exportação do crawler ou em um editor de texto para capturar o primeiro nome de parâmetro de query:

\?([^=&]+)(?:=[^&]*)?

O Grupo 1 é o nome do parâmetro. Contagens altas de requisições identificam padrões a investigar, não URLs a bloquear automaticamente.

Teste-se: Orçamento de rastreamento

Recursos que valem o seu tempo

Meus artigos relacionados

• When Should You Worry About Crawl Budget? — meu guia completo da Ahrefs sobre este tópico, com os detalhes de otimização e as decisões de navegação facetada.
• How to Fix “Discovered – currently not indexed” — o sinal do GSC que também serve como luz de alerta para o orçamento de rastreamento.
• The Beginner’s Guide to Technical SEO — onde o orçamento de rastreamento se encaixa no panorama geral.
• Enterprise SEO Strategies — para a minoria de sites grandes que realmente precisa disso.

Minhas apresentações

• How Search Works (SlideShare) — minha explicação do modelo de demanda de rastreamento versus limite de taxa de rastreamento. (Aviso permanente: “Esta é a minha compreensão dos sistemas… não será 100 % completa ou precisa.”)

Da indústria

• A série Crawling December do Google (oficial, mas o melhor conjunto concentrado de explicações sobre rastreamento, incluindo navegação facetada).
• Google explains what “crawl budget” means for webmasters (Barry Schwartz, Search Engine Land, 2017) — resumo em linguagem simples do post original do Google sobre orçamento de rastreamento; bom para o contexto de “a maioria dos sites não precisa se preocupar”.
• Gary Illyes Explains The Difference Between Crawl Budget, Scheduling & Host Load (Search Engine Roundtable) — a fonte para o enquadramento de “categoria de ordem de importância”/carga do host, que mostra que é uma fila de prioridades, não uma cota fixa.
• Google: 100,000 URLs Usually Won’t Impact Crawl Budget (Search Engine Roundtable, 2021) — o ponto de referência concreto de Mueller de 100k e o contexto de <1/minuto ao longo de 3 meses.
• Google’s Crawling Priorities: Insights From Analyst Gary Illyes (Search Engine Journal) — cobre a desmistificação da “cota fixa diária de páginas” e o ângulo de “convencer a busca de que o seu conteúdo vale a pena ser buscado”.
• The five infrastructure gates behind crawl, render, and index (Search Engine Land) — fonte da citação de Fabrice Canel: “Menos é mais para SEO” — e da filosofia de eficiência de rastreamento do Bing.
• bingbot Series: Optimizing Crawl Frequency (Bing Webmaster Blog, Fabrice Canel) — como o Bing decide a cadência de novos rastreamentos; o complemento do post Maximizing Crawl Efficiency.
• r/TechSEO — a comunidade para depuração de rastreamento/indexação.

Estatísticas que valem a pena citar

• 100k URLs geralmente não é suficiente para causar impacto. O ponto de referência concreto de John Mueller: “100 mil URLs geralmente não são suficientes para afetar o orçamento de rastreamento (é menos de 1 por minuto ao longo de 3 meses).” O número mais útil para reduzir a preocupação com orçamento de rastreamento. Fonte
• Os limites em que isso começa a importar: 1 milhão+ de páginas mudando aproximadamente por semana, ou 10 000+ páginas mudando diariamente (estimativas aproximadas do Google, não limites exatos). Fonte
• Cerca de 60 % da web é conteúdo duplicado — estimativa interna do Google, e é por isso que URLs duplicadas são um dreno tão confiável do orçamento de rastreamento. Fonte

O KPI de referência para eficiência de rastreamento

O orçamento de rastreamento não é um número que o Google entrega a você — você o infere de onde o Googlebot realmente gasta suas solicitações. O KPI é a divisão: quanto do rastreamento recai em páginas que você quer indexar versus páginas que são puro desperdício. (Primeiro, o esclarecimento honesto: isso só importa em escala — o Google diz que o orçamento de rastreamento é uma preocupação principalmente para sites com cerca de 1 milhão+ de páginas, ou sites de médio porte que geram muitas URLs criadas automaticamente. Um site estático pequeno pode pular essa métrica por completo.)

Alocação de rastreamento — solicitações valiosas versus desperdiçadas

• Métrica — A parcela de solicitações do Googlebot verificado que atinge URLs importantes e indexáveis versus as desperdiçadas (duplicatas, URLs de parâmetros/facetas, variantes não canônicas, redirects em cadeia, 4xx/5xx).
• O que ela indica — Se a sua capacidade de rastreamento está sendo gasta em páginas que podem rankear. Uma parcela crescente de desperdício é um indicador antecedente de atraso na descoberta/indexação antes mesmo de aparecer como um problema de ranking.
• Como extrair — Processe os logs do servidor com o Log File Analyzer e segmente as solicitações do Googlebot verificado por classe de URL; confirme com o relatório Crawl Stats do GSC (total de solicitações, por resposta, por finalidade do arquivo, status do host).
• Referência / faixa realista — Situacional — não existe um “percentual de desperdício” universal honesto, porque isso depende da arquitetura de URLs. Estabeleça sua própria linha de base e reduza a parcela desperdiçada ao longo do tempo; a tendência é o sinal, não um número absoluto inventado.
• Periodicidade — Mensal, e com mais frequência logo após uma mudança estrutural (novas facetas, uma migração) ou quando o Crawl Stats mostra um pico repentino de solicitações ou de respostas 4xx/5xx. Rastreamento desperdiçado é uma métrica antecedente; as contagens de páginas indexadas ficam atrás dela.

Registro de alterações