Idiomas

Velocidade de rastreamento

Quão rápido os mecanismos de busca buscam suas páginas — o que é crawl rate, por que o Google aposentou o slider de rate do Search Console, como desacelerar o Googlebot com segurança hoje, por que você não pode forçar um aumento e como o Crawl Control manual do Bing é diferente.

Publicado pela primeira vez: 22 de jun. de 2026 · Última atualização: 3 de ago. de 2026 · Avançado
Idiomas
AIEscrito porAI v2

Crawl rate é a velocidade com que um crawler busca páginas do seu servidor — o lado da oferta do crawl budget (o lado da demanda é quanto o mecanismo quer rastrear). Hoje, o Google o define automaticamente com base na saúde do seu servidor: o slider manual de rate do Search Console foi removido em 8 de janeiro de 2024. Para desacelerar o Googlebot hoje, sinalize por meio de códigos de status HTTP — retorne 500/503/429 por um ou dois dias, nunca 403/404, e crawl-delay é ignorado pelo Google. Você não pode solicitar um aumento permanente; melhore-o indiretamente com um servidor mais rápido, sitemaps limpos e menos URLs desperdiçadas. O Bing ainda oferece uma grade manual do Crawl Control. Crawl rate não é fator de ranking, e a maioria dos sites nunca precisa gerenciá-lo.

TL;DR — Crawl rate é o lado da oferta do crawl budget — a velocidade com que um crawler busca páginas, definida pelo que o Google chama de limite de capacidade de rastreamento (conexões paralelas + intervalo entre buscas). É automático e reage à saúde do servidor; o slider manual do GSC foi removido em 8 de janeiro de 2024. Para desacelerar o Googlebot agora, sinalize por HTTP: 500/503/429 por no máximo 1–2 dias, nunca 401/403/404, e crawl-delay é ignorado pelo Google (respeitado pelo Bing). Você não pode solicitar um aumento — melhore-o indiretamente. O Bing ainda tem uma grade manual do Crawl Control. Crawl rate não é fator de ranking, e a maioria dos sites nunca precisa mexer nele.

O que crawl rate realmente é

Crawl rate é a velocidade com que um crawler busca páginas do seu servidor — o número de solicitações simultâneas que faz e o intervalo entre elas. O nome do Google para isso é limite de capacidade de rastreamento: “the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: Google: Large site crawl budget guide

É uma metade do crawl budget. Como explico no meu guia de crawl budget da Ahrefs, crawl budget se divide em “crawl demand which is how many pages a search engine wants to crawl on your site and crawl rate which is how fast they can crawl.” Crawl rate é o lado da oferta (a velocidade que você permite); crawl demand é o lado da demanda (quanto eles querem). Crawl budget é onde os dois se encontram — e os rankings ficam completamente fora desse ciclo.

Na minha apresentação How Search Works, descrevo o limite de crawl rate simplesmente como o que seu site consegue suportar — ele é impulsionado pela estabilidade do servidor e pela saúde do rastreamento, por respostas lentas, erros 5xx (servidor) e respostas 429 (solicitações demais). O Google recua quando seu servidor começa a ter dificuldades porque não quer derrubar seu site. Um detalhe que as pessoas deixam passar: todos os Googlebots compartilham um único pool de rastreamento — os bots de busca, imagens, anúncios e assim por diante usam a mesma taxa. Portanto, um rastreamento descontrolado de um tipo de recurso consome o rastreamento de todo o resto.

Crawl rate is the capacity gate. It can constrain demand, but increasing capacity does not manufacture demand or rankings. Fonte: Google Search Central

Crawl demand orders URLs using popularity, genuine change, and useful inventory. Crawl capacity is shaped by server response speed, stability, and errors. The capacity gate determines how far Googlebot proceeds through the ordered queue. A faster, healthier server can raise the ceiling, but it does not create crawl demand and is not a ranking signal.

© Patrick Stox LLC · CC BY 4.0 ·

O que define o crawl rate

O limite de capacidade é automático e reage ao seu servidor em tempo real. Google: “If the site responds quickly for a while, the limit goes up, meaning more connections can be used to crawl. If the site slows down or responds with server errors, the limit goes down and Google crawls less.”

Há uma segunda alavanca que você não controla: os próprios recursos do Google. “Google has a lot of machines, but not infinite machines. We still need to make choices with the resources that we have.” Portanto, a saúde do seu servidor define o teto que o Google está disposto a usar, mas a própria capacidade do Google e a demanda de rastreamento do seu site decidem quanto desse teto é efetivamente usado.

O documento de mitos confirma que a relação com a saúde do servidor funciona nos dois sentidos: “A speedy site is a sign of healthy servers, so it can get more content over the same number of connections,” enquanto “a significant number of 5xx HTTP response status codes (server errors) or connection timeouts signal the opposite, and crawling slows down.”

Crawl rate afeta rankings? Não.

Desfaça este mito primeiro, porque ele impulsiona muito esforço equivocado. Rastrear é necessário para aparecer na busca, mas não é um sinal de ranking. O Google é explícito: “Improving your crawl rate won’t necessarily lead to better positions in Google Search results.” Rastrear mais rápido ou com mais frequência proporciona descoberta e indexação mais recentes, não posições mais altas. Crawl rate é uma questão de eficiência e saúde do servidor — ponto final. Evidence for this claim Improving crawl rate does not itself improve ranking positions; crawling is necessary for eligibility but is not a ranking signal. Scope: websites Confidence: high · Verified: Myths and facts about crawling

Como reduzir o crawl rate do Googlebot

Em ordem, da correção real à alavanca de emergência:

1. Corrija o servidor (a correção real). Acelere-o ou adicione recursos. Como o limite de capacidade acompanha o tempo de resposta e os erros, um servidor mais saudável é a maneira duradoura de manter o rastreamento em uma faixa confortável — e é a única que não coloca sua indexação em risco.

2. A alavanca de emergência — 500/503/429. Google: “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” Seus crawlers “treat the 429 status code as a signal that the server is overloaded,” e “5xx and 429 server errors prompt Google’s crawlers to temporarily slow down with crawling.” Gary Illyes concretizou a velocidade disso: “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” Prefira 429 quando puder — ele significa explicitamente “too many requests” e pode carregar um cabeçalho Retry-After.

A ressalva é que isso é estritamente temporário. Google: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” Deixe ativo e o custo será real — se esses códigos persistirem na mesma URL por vários dias, “the URL may be dropped from Google’s index” e, para o Google Ads, “your campaigns may be cancelled or paused, and your ads may not serve.”

3. O que NÃO fazer. Não use 4xx para limitar o ritmo. “The 4xx status codes, except 429, have no effect on crawl rate,” e o Google diz claramente “Don’t use 401 and 403 status codes for limiting the crawl rate.” Em uma publicação específica de 2023 sobre pessoas fazendo exatamente isso, o Google escreveu: “Over the last few months we noticed an uptick in website owners and some content delivery networks (CDNs) attempting to use 404 and other 4xx client errors (but not 429) to attempt to reduce Googlebot’s crawl rate. The short version of this blog post is: please don’t do that…” E não recorra a robots.txt crawl-delay: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” Evidence for this claim Google's crawlers do not process the non-standard crawl-delay robots.txt rule. Scope: websites Confidence: high · Verified: Myths and facts about crawling

4. A solicitação não emergencial. Para um problema contínuo que não é um incêndio, você pode “file a special request to report a problem with unusually high crawl rate, mentioning the optimal rate for your site.” É lento e só funciona em uma direção (veja abaixo).

É possível aumentar o crawl rate? Não — não diretamente.

Não existe aumento manual. Google: “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” O que você pode fazer é melhorá-lo indiretamente. Do meu guia de crawl budget, as alavancas que realmente movem a eficiência do rastreamento: acelere seu servidor / adicione recursos; mantenha páginas importantes em sitemaps limpos; elimine conteúdo duplicado; conquiste mais links (externos e internos); corrija links redirecionados; use GET em vez de POST quando possível; e use a Indexing API quando for elegível. Observe que “a speedy site… can get more content over the same number of connections” — portanto, a saúde do servidor é a alavanca que aparece tanto no lado da redução quanto no do aumento.

Como controlar o crawl rate do Bingbot

Aqui está o contraste nítido entre mecanismos. Enquanto o Google aposentou o controle manual, o Bing o manteve. O Bing Webmaster Tools tem o Crawl Control (em Configuration): uma grade hora a hora em que cada hora mostra blocos que representam a velocidade de rastreamento — mais blocos significa rastreamento mais rápido, menos significa mais lento. Você pode escolher uma predefinição baseada no seu horário de pico de negócios ou selecionar “Custom” e desenhar seu próprio padrão ao longo do dia. O Bing também ainda respeita crawl-delay em robots.txt — a diretiva exata que o Google ignora. Portanto, a regra prática para os dois mecanismos: para o Google, sinalize por meio das respostas do servidor; para o Bing, você tem um controle de verdade.

O que aconteceu com a ferramenta de crawl rate do Search Console?

A linha do tempo, porque muitos conselhos ainda fazem referência a uma ferramenta que não existe mais:

  • Dez. de 2008 — o Google introduz o controle de crawl rate do usuário no Webmaster Tools.
  • Fev. de 2023 — o Google publica “don’t use 403s or 404s for rate limiting.”
  • 24 de nov. de 2023 — o Google anuncia a descontinuação da ferramenta Crawl Rate Limiter. O raciocínio de Illyes: “with the improvements we’ve made to our crawling logic and other tools available to publishers, its usefulness has dissipated.” A ferramenta antiga era lenta e pouco usada — tinha “a much slower effect” e “would have taken over a day for the new limits to be applied on crawling,” e era usada “rarely,” com aqueles que *“in many cases set the crawling speed to the bare minimum.”
  • 8 de jan. de 2024 — a ferramenta é removida. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: Google: Crawl rate limiter deprecation O Google também reduziu o piso: “With the deprecation of the crawl limiter tool, we’re also setting the minimum crawling speed to a lower rate, comparable to the old crawl rate limits.”

O resultado prático: o slider manual antigo já tinha um atraso de mais de 24 horas; a abordagem atual baseada em sinais do servidor (5xx/429) desacelera o Googlebot quase imediatamente, o que é estritamente melhor para uma emergência de verdade.

Como monitorar o crawl rate

O relatório de estatísticas de rastreamento do GSC é sua janela para saber o que o Google está realmente fazendo: total de solicitações de rastreamento ao longo do tempo, tamanho total do download, tempo médio de resposta e uma visão do status do host sobre a disponibilidade do seu site para o Google nos últimos ~90 dias, além de uma divisão por código de resposta, tipo de arquivo, finalidade do rastreamento e tipo de Googlebot. Observe o tempo médio de resposta e os sinais de status do host — um tempo de resposta crescente ou uma onda de 5xx é exatamente o que faz o Googlebot limitar você, então é nesse relatório que você verá uma desaceleração causada por você mesmo antes de procurar outra explicação. No Bing, o Crawl Control e as informações de rastreamento no Bing Webmaster Tools são os equivalentes.

Crawl rate versus crawl budget versus crawl frequency

Mantenha estas diferenças claras:

  • Crawl rate = quão rápido (oferta / capacidade).
  • Crawl demand = quanto eles querem rastrear (popularidade + desatualização).
  • Crawl budget = a interação dos dois — “the amount of time and resources a search engine allows for crawling a website.”
  • Crawl frequency = com que frequência uma determinada página é rastreada novamente, o que é principalmente uma questão de crawl demand (popularidade e o quanto a página está atualizada/desatualizada).

E a parte tranquilizadora, que é minha posição constante: a maioria dos sites não precisa se preocupar com nada disso. “Most sites don’t need to worry about crawl budget, but there are few cases where you may want to take a look” — sites novos com muitas páginas, sites muito grandes ou que mudam rapidamente e sites com um acúmulo de URLs “Discovered – currently not indexed” no GSC. Se não é o seu caso, deixe o crawl rate em paz e permita que a automação do Google faça seu trabalho.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.