Rastreador Googlebot

TL;DR — O Googlebot é o rastreador da web do Google — o programa que visita suas páginas, baixa o conteúdo e as entrega para que o Google possa indexá-las e ranqueá-las. Existem dois deles (um para smartphone e um para desktop), e o de smartphone faz a maior parte do trabalho. Ser rastreado é um requisito para aparecer na pesquisa — mas ser rastreado mais não faz você ranquear melhor.

O que é o Googlebot

O Google não navega na web como você. Ele envia um programa automatizado — um rastreador, ou bot — que visita páginas, baixa o conteúdo e segue links para encontrar mais páginas. Esse programa é o Googlebot. (O equivalente do Bing é o Bingbot.)

Eu o descrevo simplesmente no meu guia da Ahrefs sobre o Googlebot: “Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web.” (tradução) «O Googlebot é o rastreador da web usado pelo Google para coletar as informações necessárias e construir um índice pesquisável da web.» Tudo o que o Google mostra nos resultados de pesquisa começou com o Googlebot buscando a página.

Na verdade, existem dois Googlebots

O Googlebot vem em duas versões:

• Googlebot Smartphone — finge ser alguém em um telefone. Este é o principal. O Google olha principalmente para a versão móvel do seu site (isso é chamado de indexação mobile-first), então a maioria dos rastreamentos vem do bot de smartphone.
• Googlebot Desktop — finge ser alguém em um computador desktop. Ele faz uma parte menor do rastreamento.

Aqui está o problema: no seu arquivo robots.txt (o arquivo que diz aos bots onde eles podem ir), ambos compartilham o mesmo nome — Googlebot. Então você não pode dizer ao robots.txt “deixe o de desktop entrar, mas não o de mobile.” É tudo ou nada.

O Googlebot executa JavaScript?

Sim. O Googlebot usa uma versão recente do Chrome internamente, então ele pode ler sites modernos e com muito JavaScript. Como eu disse no meu guia do Googlebot: “Googlebot is evergreen, meaning it sees websites as users would in the latest Chrome browser.” (tradução) «O Googlebot é evergreen, ou seja, ele vê os sites como os usuários veriam no navegador Chrome mais recente.» Mas executar esse JavaScript acontece um pouco depois, em uma etapa separada — não no instante em que sua página é buscada pela primeira vez.

As duas coisas que as pessoas erram

1. Rastreamento não é ranqueamento. Ser rastreado com mais frequência não vai te mover para cima nos resultados. Rastreamento é apenas como o Google encontra e baixa sua página — é um portão pelo qual você precisa passar, não um placar.
2. Bloquear o Googlebot no robots.txt não te remove do Google. Isso apenas impede o Google de ler a página. Se outros sites linkarem para ela, a URL pode ainda aparecer nos resultados (apenas sem uma descrição útil). Para realmente manter uma página fora, você deixa o Google rastreá-la e adiciona uma tag noindex.

Quer a versão técnica — as strings exatas de user-agent, como verificar um Googlebot real, limites de bytes e a fila de renderização? Mude para a aba Avançado.

TL;DR — O Googlebot é o rastreador do Google Search, dividido em Smartphone (principal, mobile-first) e Desktop, que compartilham um único token Googlebot no robots.txt — você não pode segmentá-los separadamente. Ele executa um Chromium evergreen e renderiza JavaScript em uma fila separada e posterior (rastreamento ≠ renderização). O rastreamento é necessário para ranquear, mas não é um sinal de ranqueamento, e uma URL bloqueada por robots pode ainda ser indexada apenas com URL. Verifique-o por DNS reverso + direto para um domínio do Google ou contra as faixas de IP publicadas do Google — o user-agent é trivialmente falsificado. E “Googlebot” é na verdade apenas a parte voltada para a Pesquisa de uma plataforma de rastreamento muito maior.

O que o Googlebot realmente é

O Google é preciso sobre o nome: “Googlebot is the generic name for two types of web crawlers used by Google Search.” (tradução) «O Googlebot é o nome genérico para dois tipos de rastreadores da web usados pelo Google Search.» Esses dois tipos são Googlebot Smartphone (“um rastreador móvel que simula um usuário em um dispositivo móvel”) e Googlebot Desktop (“um rastreador de desktop que simula um usuário em desktop”).

Não é um pequeno programa rodando em uma máquina. “O Googlebot roda em milhares de máquinas,” como descrevo no meu guia do Googlebot, “elas determinam a velocidade e o que rastrear em sites,” distribuídas em datacenters pelo mundo, mas saindo principalmente de endereços IP dos EUA. A descoberta acontece principalmente por meio de links — o Google encontra novas URLs “principalmente a partir de links incorporados em páginas já rastreadas” — além de sitemaps. (Para o quadro completo de descoberta e agendamento, essa é a função do hub de rastreamento.)

Smartphone vs Desktop — e por que é “smartphone-first”

Sob a indexação mobile-first, o rastreador de smartphone é o principal. Google: “Para a maioria dos sites, o Google Search indexa principalmente a versão mobile do conteúdo. Como tal, a maioria das solicitações de rastreamento do Googlebot será feita usando o rastreador mobile, e uma minoria usando o rastreador desktop.” A indexação mobile-first está completa para todos os sites desde outubro de 2023, então a regra prática é: se o conteúdo não está visível para o agente de smartphone, ele não é indexado. Alinhe seu conteúdo, dados estruturados, metadados e tags de robots entre mobile e desktop.

A pegadinha do robots.txt: “Ambos os tipos de rastreador obedecem ao mesmo token de produto (token de user agent) no robots.txt, e portanto você não pode segmentar seletivamente o Googlebot Smartphone ou o Googlebot Desktop usando robots.txt.” A única forma de diferenciar é ler o cabeçalho de solicitação HTTP user-agent na sua própria lógica de servidor. (Para os detalhes desse formato de cabeçalho, veja indexação mobile-first e user-agent.)

As strings de user-agent

O token de produto robots.txt para ambos é apenas Googlebot. As strings completas de UA diferem:

Googlebot Desktop:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Googlebot Smartphone:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

W.X.Y.Z é um espaço reservado para a versão atual do Chrome, que muda conforme o Chromium evergreen do Googlebot é atualizado. Mas não confie na string sozinha — ela é trivialmente falsificável (veja a verificação abaixo).

Chromium evergreen e a fila de renderização

Esta é a distinção que mais confunde as pessoas: rastreamento e renderização são etapas separadas. O Googlebot roda “uma versão evergreen do Chromium,” e se tornou evergreen em maio de 2019 (pulando do antigo Chrome 41 para o estável atual), por isso agora ele lida com ES6+, IntersectionObserver, Web Components e CSS moderno. Mas ele não executa seu JavaScript no momento em que busca o HTML.

Google: “O Googlebot coloca todas as páginas com código de status HTTP 200 na fila para renderização, a menos que uma meta tag robots ou um cabeçalho diga ao Google para não indexar a página. A página pode permanecer nessa fila por alguns segundos, mas pode levar mais tempo. Quando os recursos do Google permitem, um Chromium headless renderiza a página e executa o JavaScript.” O serviço de renderização (WRS) se comporta como um navegador moderno, mas com peculiaridades que vale a pena conhecer: ele é efetivamente sem estado — armazenamento local/sessão e cookies são limpos entre carregamentos de página — ele não busca imagens ou vídeos (para economizar largura de banda), armazena em cache agressivamente (e pode ignorar seus cabeçalhos de cache), e não suporta WebSockets ou WebRTC. Se o seu conteúdo só aparece após um clique ou uma navegação dirigida por JS que não é um link real <a href>, espere problemas de renderização. (A profundidade vive no irmão renderização.)

Limites de bytes

O Googlebot não baixa uma quantidade ilimitada por URL. A partir da atualização de março de 2026 do Inside Googlebot do Google, ele busca aproximadamente os primeiros 2 MB de qualquer URL individual (incluindo o cabeçalho HTTP) e até 64 MB para um PDF. O número é um alvo móvel — o próprio Google afirma que “este limite não é fixo e pode mudar ao longo do tempo, à medida que a web evolui e as páginas HTML crescem em tamanho,” e documentos anteriores listavam 15 MB (que acabou sendo o padrão mais amplo da infraestrutura, não o número do Search). O ponto prático permanece independentemente disso: qualquer coisa além do corte simplesmente não é buscada — “para o Googlebot, eles simplesmente não existem.” Mantenha conteúdo e marcação críticos acima do excesso.

Falha trabalhada: a canônica existe, mas o Googlebot nunca a recebe

Imagine um template de produto retornando 2,4 MB de HTML. Um aplicativo serializa um enorme objeto de estado do produto e um payload de recomendações perto do topo do documento; a canônica, a descrição do produto, os dados estruturados e os links de produtos relacionados não aparecem até aproximadamente o byte 2.180.000. Um navegador baixa a resposta inteira, então o View Source parece correto. O Googlebot Search para em torno do seu limite documentado de 2 MB, então esses sinais posteriores não existem no recurso buscado.

Diagnostique a resposta em ordem de bytes, não apenas no DOM renderizado:

curl -sS -D response-headers.txt -o page.html https://example.com/product
wc -c response-headers.txt page.html
LC_ALL=C grep -abo 'rel="canonical"' page.html
LC_ALL=C grep -abo 'application/ld+json' page.html

As contagens de bytes locais são uma aproximação porque intermediários de entrega e o manuseio da resposta podem diferir, mas elas respondem à primeira pergunta útil: os sinais críticos estão confortavelmente cedo, ou estão próximos ou além do limite? A correção é remover ou adiar dados inline superdimensionados e emitir metadados essenciais, conteúdo primário e links rastreáveis cedo — não mover o mesmo excesso e esperar que o corte mude.

Como o Googlebot busca — educadamente

• A taxa de rastreamento é algorítmica e auto-regulada. “Para a maioria dos sites, o Googlebot não deve acessar seu site mais do que uma vez a cada poucos segundos, em média.” Ele acelera ou recua com base na saúde do seu servidor.
• Os códigos de status são a alavanca. Retornar 429, 500 ou 503 diz ao Googlebot para desacelerar — mas isso afeta o hostname inteiro, não apenas as URLs com erro, e só funciona por um ou dois dias antes que erros sustentados comecem a derrubar páginas do índice. John Mueller: “Eu só esperaria que a taxa de rastreamento reagisse tão rapidamente se eles estivessem retornando 429 / 500 / 503 / timeouts,” e “404s são geralmente ok e, uma vez descobertos, o Googlebot os tentará novamente de qualquer forma.”
• crawl-delay é ignorado. O Google não processa a diretiva não padrão crawl-delay do robots.txt de forma alguma. (O Bing honra isso — uma das divergências reais entre Googlebot/Bingbot.)
• O rastreamento segue a demanda de rastreamento, não uma cota fixa — capacidade (o que seu servidor pode suportar) mais demanda (popularidade e desatualização). Para a maioria dos sites, isso não é um problema; só afeta em escala real. O tratamento completo está em crawl budget.

Verificando se é realmente o Googlebot

O cabeçalho user-agent é “frequentemente falsificado por outros rastreadores” — então ele sozinho não prova nada. Os rastreadores do Google se identificam de três maneiras: o cabeçalho user-agent, o IP de origem e o hostname de DNS reverso desse IP. Dois métodos reais de verificação:

1. Manual (pontual). Faça o DNS reverso do IP de origem; confirme que ele resolve para um hostname terminando em googlebot.com, google.com ou googleusercontent.com (a máscara parece crawl-***-***-***-***.googlebot.com); então faça o DNS direto desse hostname e confirme que ele retorna o IP original.
2. Automático (em escala). Compare o IP com as faixas CIDR publicadas pelo Google. O Google dividiu essas faixas do antigo googlebot.json único em vários arquivos JSON por categoria de rastreador — o do Googlebot é https://www.gstatic.com/ipranges/common-crawlers.json (a URL legada googlebot.json ainda redireciona para os mesmos dados).

Ambos estão na aba Scripts, para macOS/Linux e Windows. Por que se importar? Muito tráfego finge ser Googlebot, então logs que “mostram Googlebot” podem ser em grande parte impostores — verifique antes de confiar.

Googlebot é um bot em uma frota

“Googlebot” é realmente um pouco impróprio. Gary Illyes, março de 2026: “Quero dizer, chamá-lo de Googlebot é um equívoco,” e “Googlebot não é nossa infraestrutura de rastreamento.” A infraestrutura subjacente, nas palavras dele, é “software como serviço, se você quiser. SaaS” — uma plataforma compartilhada da qual muitos produtos do Google extraem. O que você vê nos seus logs é a fatia de Pesquisa: “Quando você vê Googlebot nos seus logs de servidor, você está apenas olhando para a Pesquisa Google.” Ele também observa que existem “dezenas, se não centenas de rastreadores diferentes,” a maioria pequenos demais para se preocupar em documentar.

Os nomeados que você realmente encontrará ao lado do Googlebot incluem Googlebot-Image, Googlebot-Video e Googlebot-News (que compartilham as strings/tokens do Googlebot), Storebot-Google e Google-InspectionTool (alimenta as ferramentas de Inspeção de URL e Resultados Rich). Dois se comportam de forma incomum: AdsBot ignora a regra global * do robots.txt (um Disallow: / sob User-agent: * ainda não o impedirá), e Google-Safety ignora robots.txt completamente. Os rastreadores relacionados à IA — Google-Extended (controla o treinamento do Gemini; não é um sinal de ranqueamento) e GoogleOther (rastreios de P&D, descarregados do Googlebot) — também existem, mas o irmão rastreadores de IA cobre isso em profundidade, então apontarei para lá em vez de duplicar.

Como controlar o Googlebot

Três controles, três efeitos diferentes:

• robots.txt impede o rastreamento, não a indexação. Use-o para manter bots fora de espaços de URL de baixo valor — nunca como ferramenta de desindexação.
• noindex impede a indexação — mas o Googlebot deve ser permitido a rastrear a página para ver a tag em primeiro lugar.
• Proteção por senha bloqueia o acesso completamente.

O que nos leva ao fato mais mal compreendido sobre o Googlebot: “Há uma diferença entre rastreamento e indexação; bloquear o Googlebot de rastrear uma página não impede que a URL da página apareça nos resultados de pesquisa.” Uma URL bloqueada por robots ainda pode ser indexada apenas com URL se algo linkar para ela. Para realmente remover uma página, permita o rastreamento e adicione noindex. Escrevi isso em detalhes em Indexado, embora bloqueado por robots.txt.

Para o pipeline mais amplo em que o Googlebot está inserido — descoberta de URL, agendador de rastreamento, renderização e as distinções entre rastrear vs. indexar vs. ranquear — veja o hub de rastreamento e Como o Search funciona.

Resumo de IA

Uma visão condensada da versão Avançada:

• Googlebot = o rastreador web do Google Search, em duas variantes: Smartphone (principal, sob indexação mobile-first) e Desktop. Elas compartilham um único token Googlebot no robots.txt, então você não pode segmentá-las separadamente — apenas via cabeçalho HTTP user-agent.
• Mobile-first desde outubro de 2023: se o conteúdo não estiver visível para o agente smartphone, ele não é indexado.
• Chromium evergreen, fila de renderização separada: o Googlebot executa o Chromium atual, mas executa JavaScript mais tarde, em uma etapa de renderização sem estado (storage/cookies limpos; nenhuma imagem/vídeo buscado; cache agressivo). Rastreamento ≠ renderização.
• Limite de bytes ~2 MB por URL (PDFs 64 MB) a partir de 2026 — conteúdo além do corte não é buscado. O valor exato é “não definido em pedra”.
• Busca educada e algorítmica: 429/5xx dizem “desacelere” (em todo o hostname, curto prazo); crawl-delay é ignorado (o Bing o respeita).
• Rastreamento ≠ ranqueamento, e bloqueio por robots ≠ desindexação — uma URL bloqueada ainda pode ser indexada apenas como URL. Remova páginas com noindex (rastreamento permitido), não com robots.txt.
• Verifique por DNS reverso + direto para *.googlebot.com/*.google.com/ *.googleusercontent.com, ou contra as faixas de IP publicadas do Google (common-crawlers.json) — o user-agent é trivialmente falsificado.
• “Googlebot” é uma frota, não um programa — a fatia voltada para a Busca de uma plataforma de rastreamento maior, ao lado de Googlebot-Image/Video/News, Google-InspectionTool, AdsBot (ignora *), Google-Safety (ignora robots.txt) e os rastreadores de IA (Google-Extended, GoogleOther — veja o artigo irmão sobre rastreadores de IA).

Documentação oficial

Documentação de fonte primária dos mecanismos de busca.

Google

• Googlebot — o documento canônico: os dois tipos de rastreador, strings de UA, limites de bytes e controles de rastreamento/indexação. Comece aqui.
• Visão geral dos rastreadores e buscadores do Google — cada user-agent do Google, as três categorias de rastreadores e as faixas de IP publicadas.
• Rastreadores comuns do Google — a referência completa de strings de UA e tokens de robots para o Googlebot e seus irmãos.
• Verifique rastreadores e buscadores do Google — DNS reverso/direto e os arquivos JSON de faixas de IP.
• Práticas recomendadas de indexação mobile-first — por que o Smartphone é o principal e o que manter consistente.
• Noções básicas de SEO para JavaScript — o renderizador Chromium evergreen e a fila de renderização.
• Como os códigos de status HTTP afetam os rastreadores do Google — como 2xx/3xx/4xx/429/5xx mudam o comportamento de rastreamento.
• Dentro do Googlebot (março de 2026) — os limites de bytes atuais e o enquadramento “Googlebot é apenas o Google Search”.

Bing / Microsoft (para contraste)

• Controle de rastreamento do Bingbot — o agendamento manual de rastreamento do Bing e seu suporte a crawl-delay, que o Googlebot não tem.

Citações da fonte

Declarações registradas do Google. Cada link é um link profundo que salta para a passagem citada na página de origem.

Google — o que é o Googlebot

• “Googlebot is the generic name for two types of web crawlers used by Google Search.” — Google Search Central docs. Ir a la cita
• “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” Ir a la cita
• “Google uses the mobile version of a site’s content, crawled with the smartphone agent, for indexing and ranking.” Ir a la cita

Google — limites de renderização e bytes

• “While Google Search runs JavaScript with an evergreen version of Chromium, there are a few things that you can optimize.” Ir a la cita
• “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page.” Ir a la cita
• “Googlebot crawls the first 2MB of a supported file type, and the first 64MB of a PDF file.” Ir a la cita

Google — rastreamento vs indexação

• “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” — Google Search Central docs. Ir a la cita

Gary Illyes, Google (relatado via Search Engine Journal e postagem no blog de março de 2026 do Google)

• “I mean, calling it Googlebot, that’s a misnomer.” … “Googlebot is not our crawler infrastructure.” … “it’s software as a service, if you like. SaaS.” Leia a cobertura
• “When you see Googlebot in your server logs, you are just looking at Google Search.” Leia a cobertura

John Mueller, Google (via cobertura do Reddit do Search Engine Journal)

• “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts.” … “404s are generally fine & once discovered, Googlebot will retry them anyway.” Leia a cobertura

Lista de verificação de prontidão do Googlebot

Uma verificação rápida para confirmar que o Googlebot pode encontrar, buscar, renderizar e lidar corretamente com suas páginas:

• O conteúdo importante é acessível por meio de links <a href> reais (não apenas clicáveis ou navegação por JS que o renderizador não consegue seguir).
• As versões para celular e desktop correspondem — mesmo conteúdo, dados estruturados, metadados e tags de robots (mobile-first significa que a visualização do agente de smartphone é o que conta).
• O conteúdo crítico e a marcação ficam acima do limite de busca de ~2 MB; PDFs abaixo de 64 MB.
• O robots.txt não bloqueia nada que você queira indexar — e você não está usando-o para tentar desindexar (essa é a função do noindex, com o rastreamento permitido).
• O servidor retorna respostas rápidas e estáveis — mínimo de 5xx/429/timeouts, já que eles limitam o rastreamento em todo o hostname.
• Você não está contando com crawl-delay (o Google ignora isso).
• Os logs do servidor são verificados com o Googlebot verificado (DNS reverso + direto ou faixas de IP) — não correspondências brutas de user-agent, que impostores falsificam.
• Você entende que uma URL bloqueada por robots ainda pode ser indexada apenas por URL se houver links para ela.

Googlebot — folha de referência

Os dois tipos de rastreador

Token de produto do robots.txt (ambos): Googlebot

Outros rastreadores do Google que você verá nos logs

Fatos rápidos

• Limite de busca: ~2 MB por URL (PDFs 64 MB), a partir de 2026 — além disso não é buscado. (“Não é algo fixo.”)
• Renderiza com Chromium evergreen, em uma fila separada e posterior (rastreamento ≠ renderização).
• crawl-delay: ignorado pelo Google (o Bing respeita isso).
• 429/5xx: “desacelere” temporário — afeta o hostname inteiro.
• Verifique com DNS reverso + direto ou faixas de IP publicadas — nunca apenas a string de UA.
• Rastreamento não é um fator de ranqueamento; bloqueio por robots não é desindexação.

Verifique se um bot é realmente o Googlebot

O cabeçalho user-agent é trivialmente falsificado, então confirme com uma consulta de DNS reverso (que deve terminar em um domínio do Google) seguida por uma consulta de DNS direto (que deve resolver de volta para o mesmo IP).

macOS / Linux

# 1) Reverse-DNS the IP from your logs — it should end in
#    googlebot.com, google.com, or googleusercontent.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

Se a consulta reversa não terminar em um domínio do Google, ou a consulta direta não corresponder ao IP original, não é o Googlebot.

Verifique em escala contra as faixas de IP do Google

Para verificações em grande escala, compare os IPs de origem com as faixas CIDR publicadas do Google em vez de fazer DNS por solicitação. O Google dividiu o antigo googlebot.json único em vários arquivos por categoria — o Googlebot está em common-crawlers.json:

# Fetch the current Googlebot (common crawlers) ranges
curl -s https://www.gstatic.com/ipranges/common-crawlers.json
# The legacy URL still works and redirects to the same data:
# https://developers.google.com/static/search/apis/ipranges/googlebot.json

Carregue os prefixos CIDR desse JSON e teste cada IP registrado para verificar se pertence antes de confiar em qualquer ocorrência de “Googlebot”.

Recursos que valem seu tempo

Meus escritos relacionados

• What Is Googlebot & How Does It Work? — meu guia completo da Ahrefs sobre o Googlebot, com detalhes de rastreamento/controle/verificação.
• Meet the New Web Crawlers: AI Bots Are Closing in on Search Engine Bots — como o Googlebot se compara aos rastreadores de IA em participação e velocidade.
• JavaScript SEO Issues & Best Practices — o lado da renderização do que o Googlebot faz.
• Indexed, though blocked by robots.txt — por que uma URL bloqueada por robots.txt ainda pode ser indexada.
• The Beginner’s Guide to Technical SEO — onde o Googlebot se encaixa no panorama geral.

Minhas palestras

• How Search Works (SlideShare) — minha explicação sobre rastreamento, renderização, indexação e ranqueamento. (Aviso permanente se aplica: “This is my understanding of systems… not going to be 100% complete or accurate.”) (tradução) «Esta é a minha compreensão dos sistemas… não será 100% completa ou precisa.»

De outros

• A série Crawling December do Google — o melhor conjunto concentrado de explicações oficiais sobre rastreamento.
• r/TechSEO — a comunidade para depuração de rastreamento/índice.
• Googlebot: What it is, how it works & how to optimize (Search Engine Land) — guia prático completo com a profundidade editorial da SEL; bom para uma segunda opinião sobre o básico.
• Google explains how crawling works in 2026 (Barry Schwartz, Search Engine Land) — ótima cobertura do post Inside Googlebot de Gary Illyes de março de 2026, incluindo o esclarecimento do limite de 2 MB.
• Google Says They Deploy Hundreds of Undocumented Crawlers (Search Engine Journal) — cobre em profundidade os comentários de Gary Illyes de que “calling it Googlebot is a misnomer”.
• Is Google’s Two Waves of Indexing Over? (Onely) — conversa registrada de Martin Splitt sobre a fila de rastrear-depois-renderizar e como a lacuna está diminuindo; ainda é o tratamento mais claro da indústria sobre o timing do WRS.
• Google Reveals JavaScript Rendering Secrets at Chrome Dev Summit 2018 (Lumar) — notas detalhadas sobre o comportamento sem estado do WRS (cookies/localStorage limpos, sem buscas de imagens, WebSockets não suportados) que ainda são relevantes hoje.
• From Googlebot to GPTBot: Who’s crawling your site? (blog da Cloudflare) — dados do Cloudflare Radar sobre participação e velocidade de rastreadores mostrando o Googlebot liderando o tráfego de “good bot”.
• Was That Really a Google Bot Crawling My Site? (Imperva Research) — análise baseada em dados sobre a personificação do Googlebot; contexto para entender por que a verificação de DNS é importante.

Estatísticas que valem citar

• O Googlebot é o crawler mais rápido da web. Pela minha leitura dos dados do Cloudflare Radar: “Googlebot is the fastest crawler on the web according to Cloudflare Radar, with Ahrefsbot being the 2nd fastest.” (tradução) «O Googlebot é o crawler mais rápido da web de acordo com o Cloudflare Radar, sendo o Ahrefsbot o 2º mais rápido.» Fonte
• Os bots de IA estão se aproximando dos bots de busca. Pela minha análise do Cloudflare Radar, os crawlers de mecanismos de busca (incluindo o Googlebot) ainda rastreiam mais, mas os bots de IA são um claro nº 2 e estão no ritmo para ultrapassá-los em alguns anos. Fonte
• Limite de bytes: ~2 MB por URL (PDFs 64 MB) — o limite de busca do Googlebot documentado pelo Google em 2026, com a ressalva explícita de que o valor não é fixo. Fonte

Erros do Googlebot a evitar

Usar robots.txt para tentar desindexar uma página. O robots.txt impede o rastreamento, não a indexação. Uma URL bloqueada por robots ainda pode aparecer nos resultados (indexada apenas por URL) se algo linkar para ela. Em vez disso, faça: deixe o Google rastrear a página e adicione uma tag noindex — essa é a única maneira confiável de removê-la.

Tentar segmentar o crawler de desktop ou de smartphone separadamente no robots.txt. Ambos compartilham o mesmo token de produto Googlebot, então uma regra escrita para um se aplica a ambos. Em vez disso, faça: se você precisar de comportamentos diferentes por dispositivo, leia o cabeçalho de requisição HTTP user-agent na sua própria lógica de servidor — o robots.txt não consegue fazer essa distinção.

Deixar as versões mobile e desktop de uma página divergirem. Com a indexação mobile-first, a visão do agente de smartphone é o que é indexado e ranqueado. Conteúdo, dados estruturados, metadados ou tags de robots que só existem no desktop são efetivamente invisíveis para o Google. Em vez disso, faça: mantenha ambas as versões em sincronia e verifique o que o agente de smartphone realmente vê.

Depender de crawl-delay para desacelerar o Googlebot. O Google não processa a diretiva não padrão crawl-delay — é uma alavanca exclusiva do Bing. Em vez disso, faça: retorne 429/500/503 se você realmente precisar que o Google recue, entendendo que isso limita todo o hostname e só dura um dia ou dois antes que erros sustentados comecem a remover páginas do índice.

Confiar na string de user-agent Googlebot nos seus logs pelo valor de face. O cabeçalho UA é trivialmente falsificado, e muito tráfego que afirma ser Googlebot não é. Em vez disso, faça: verifique com DNS reverso + direto ou contra as faixas de IP publicadas pelo Google antes de tratar o tráfego “Googlebot” nas suas análises como real.

Presumir que a navegação somente com JavaScript (manipuladores de clique, sem <a href> real) será descoberta e renderizada como um link normal. O Googlebot descobre URLs principalmente por meio de links, e a renderização acontece depois, em uma fila separada e sem estado que não dispara interações arbitrárias de UI. Em vez disso, faça: exponha cada caminho importante como um link <a href> real que funcione sem JavaScript.

Tratar a frequência de rastreamento como uma alavanca de ranqueamento. Ser rastreado com mais frequência não é um placar — é apenas o portão pelo qual você precisa passar para ser elegível a ranquear. Em vez disso, faça: invista esforço em conteúdo e saúde técnica, não em tentar atrair mais rastreamentos por si só.

Problemas comuns do Googlebot

Uma página está bloqueada no robots.txt, mas ainda aparece na busca

• Causa: o robots.txt só impede o rastreamento, não a indexação. Se outras páginas linkarem para a URL bloqueada, o Google ainda pode indexá-la apenas por URL (geralmente sem snippet/descrição).
• Correção: se você realmente quiser tirá-la dos resultados, permita o rastreamento no robots.txt e adicione uma tag noindex — o Googlebot precisa conseguir ler a página para ver a tag. Confirme a correção com a ferramenta robots-txt-tester e verifique novamente o status da URL depois que ela for rastreada novamente.

O conteúdo renderizado por JavaScript não aparece no índice

• Causa: rastreamento e renderização são etapas separadas. O HTML buscado é colocado na fila para renderização — geralmente segundos, às vezes muito mais — antes de um Chromium headless executar o JavaScript. Conteúdo que depende de navegação apenas por clique ou por links que não são <a href> pode nunca ser renderizado, já que o Web Rendering Service não dispara interações arbitrárias de interface.
• Correção: verifique se o conteúdo existe na resposta HTML bruta versus apenas após a execução do JS, e garanta que caminhos importantes sejam links <a href> reais. A ferramenta render-gap foi criada exatamente para essa verificação — ela mostra a diferença entre o que é buscado e o que realmente é renderizado.

Os logs do servidor mostram muito tráfego “Googlebot” que parece suspeito

• Causa: a string de user-agent Googlebot é trivialmente falsificada. Uma parcela significativa do tráfego que se diz Googlebot nos logs brutos é de impostores.
• Correção: verifique com DNS reverso (deve resolver para um hostname terminando em googlebot.com, google.com ou googleusercontent.com) seguido de DNS direto de volta para o mesmo IP, ou compare com as faixas de IP publicadas pelo Google (common-crawlers.json) para verificações em massa de logs — veja a aba Scripts para ambos os métodos, ou execute uma extração de logs pela ferramenta log-file-analyzer, que sinaliza acessos falsificados de Googlebot automaticamente.

A taxa de rastreamento caiu de repente

• Causa: a taxa de rastreamento do Googlebot é algorítmica e se autorregula — respostas sustentadas de 429, 500, 503 ou timeout fazem ele recuar, e esse limite se aplica a todo o hostname, não apenas às URLs com erro.
• Correção: verifique as taxas de erro recentes e os códigos de resposta do servidor com a ferramenta http-status-checker ou seus logs de servidor. Se os erros persistirem por mais de um ou dois dias, espere que páginas comecem a sair do índice, não apenas um rastreamento mais lento. Corrigir a fonte subjacente de 5xx/429 é o que restaura a taxa de rastreamento — não existe uma alavanca separada de “deslimitar”.

Conteúdo que só existe no desktop não está ranqueando

• Causa: com a indexação mobile-first, a visão do agente de smartphone é o que é indexado e ranqueado. Se conteúdo, dados estruturados ou metadados só existem na versão desktop, eles ficam efetivamente invisíveis para o Google.
• Correção: compare o que as versões mobile e desktop servem — use a ferramenta mobile-friendly-tester para ver o que o agente de smartphone renderiza, e coloque as duas versões de volta em sincronia.

Ferramentas para trabalhar com o Googlebot

• robots-txt-tester — verifique se uma URL específica está permitida ou bloqueada para Googlebot antes de assumir que seu robots.txt está fazendo o que você pensa.
• log-file-analyzer — analise seus logs de servidor para ver a atividade real de rastreamento do Googlebot e sinalize tráfego que se diz Googlebot, mas falha na verificação de IP/DNS.
• render-gap — compare o que o Googlebot busca versus o que realmente é renderizado após a execução do JavaScript, diretamente útil para a distinção rastreamento-vs-renderização que este artigo aborda.
• mobile-friendly-tester — verifique o que o rastreador de smartphone (o principal na indexação mobile-first) vê em uma página.
• http-status-checker — confirme os códigos de status que seu servidor está retornando, já que respostas sustentadas de 429/5xx são o que realmente limita a taxa de rastreamento do Googlebot.

Terceiros: a ferramenta Google Search Console’s URL Inspection mostra como o Googlebot rastreou e renderizou uma URL específica pela última vez, incluindo qual rastreador (mobile ou desktop) a buscou. O Screaming Frog pode rastrear um site renderizando como Googlebot para comparar HTML bruto com a saída renderizada em escala.

Quiz

Cinco perguntas para verificar o que ficou sobre o Googlebot.

Registro de alterações