Bloqueada devido a uma solicitação não autorizada (401)
O que significa o status “Bloqueada devido a uma solicitação não autorizada (401)” do relatório de indexação de páginas do Google Search Console, como ele difere de 403 na RFC 9110, as causas comuns, como diagnosticá-lo como um bot e a correção certa conforme o tipo de página — pública, privada, falso positivo de WAF ou paywall.
Idiomas
2 sinais de evidência nesta página
- Dados de origem vinculadosIntervalos de IP do Googlebot (googlebot.json)
- Ferramenta relacionada ativaGooglebot Verifier
“Bloqueada devido a uma solicitação não autorizada (401)” é um status de indexação de páginas do Google Search Console que significa que o Googlebot recebeu um HTTP 401 (autenticação necessária) ao tentar rastrear a URL. O Google nunca fornece credenciais, então não consegue ver a página — ela não será indexada e uma URL antes indexada que retorna 401 acaba sendo removida. Pela RFC 9110, 401 significa que a solicitação não tem credenciais válidas (nenhuma foi enviada ou as enviadas foram recusadas); 403 significa que o servidor entendeu a solicitação e a recusou por razões que nem sempre têm relação com credenciais. O Google trata todos os 4xx, exceto 429, da mesma forma para indexação, então o resultado coincide, mas causa e correção dependem do que a página é: remova a exigência de autenticação em uma página pública bloqueada por acidente; permita o Googlebot verificado por IP/reverse-DNS (não por user-agent falsificável) em uma página pública bloqueada pela segurança de bots; mantenha a autenticação em conteúdo genuinamente privado ou de staging em vez de abri-lo para limpar o relatório; use os dados estruturados de paywall do Google em vez de um 401 genérico em conteúdo de assinatura indexável. "Loads fine in my browser" _(tradução)_ «Carrega no meu navegador» é uma armadilha — você está autenticado; o Googlebot não. Não use 401/403 para limitar o rastreamento. Diagnostique com o Teste ao vivo da Inspeção de URL e curl -I (um cabeçalho WWW-Authenticate ausente significa que a resposta está malformada, não que um WAF a produziu). Teste ao vivo e Validar correção confirmam acesso, não indexação — não há cadência publicada de novas tentativas.
TL;DR — “Bloqueada devido a uma solicitação não autorizada (401)” significa que o Googlebot tentou ler sua página e recebeu um pedido de login. O Google não tem uma senha para o seu site, então desiste e a página não pode ser indexada. Se você quer essa página no Google, algo está bloqueando-a indevidamente — normalmente uma proteção de login esquecida, uma senha de site de staging ou uma regra de segurança que está bloqueando o Google por engano. Se a página foi feita para ser privada, isso é normal e não há nada a corrigir.
O que este status significa
Este rótulo do relatório significa que o Google recebeu uma resposta de autorização HTTP 401 para a URL. Evidence for this claim The Page Indexing report identifies URLs where Google encountered an authorization request. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Page indexing report O Google trata uma resposta 4xx persistente, exceto 429, como conteúdo indisponível para indexação. Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist for indexing. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: HTTP status codes
Quando você vê “Bloqueada devido a uma solicitação não autorizada (401)” no relatório de indexação de páginas do Google Search Console, a mensagem é esta: o Googlebot tentou rastrear a URL e o servidor respondeu com HTTP 401, o código que significa “autenticação necessária” — basicamente, “você precisa fazer login para ver isto”. Evidence for this claim Google's Blocked due to unauthorized request (401) Page indexing reason means the page was blocked to Googlebot by an authorization request returning HTTP 401. Scope: verified Search Console properties Confidence: high · Verified: Page indexing report
O Googlebot não tem nome de usuário nem senha para o seu site, e nunca terá. Portanto, quando uma página exige login, o Googlebot não consegue entrar, ler o conteúdo nem indexar a página. Se a página estava no Google e passou a retornar 401, com o tempo o Google a remove da busca.
Isso é um problema?
Depende de você querer ou não essa página no Google:
- Você quer que ela seja indexada → sim, é um problema. Algo colocou uma barreira de login diante de uma página que deveria ser pública. Você precisa descobrir o que está bloqueando e abrir o acesso.
- A página é privada/de staging → não, ela está funcionando como planejado. Um 401 é uma forma perfeitamente válida de manter uma área privada fora do Google, e você não deve enfraquecer essa barreira apenas para limpar esta linha do relatório. A única verificação é se essa URL deveria sequer estar vinculada, incluída em sitemap ou enviada para esta propriedade do Search Console.
“Mas a página carrega normalmente para mim!”
Esta é a confusão mais comum. Você abre a URL no navegador e ela funciona — então como o Google pode dizer que está bloqueada? Porque você está conectado (ou o IP do seu escritório está em uma allowlist) e o Googlebot não está. Você está vendo a página depois da barreira; o Googlebot está batendo nela. Para ver o que o Google vê, teste a página como visitante anônimo — a aba Avançado mostra como.
O que normalmente causa isso
- Um site de staging ou teste que ficou protegido por senha.
- Uma proteção de login deixada acidentalmente em uma seção que deveria ser pública.
- Uma ferramenta de segurança ou CDN (como Cloudflare) bloqueando o Googlebot por engano.
- Uma verdadeira barreira de login em conteúdo que você pretendia restringir (somente para membros e similares).
Quer as etapas reais de diagnóstico, a diferença entre 401 e 403 e as correções exatas? Mude para a aba Advanced.
TL;DR — “Bloqueada devido a uma solicitação não autorizada (401)” significa que o Googlebot recebeu um 401 (Unauthorized) HTTP — uma barreira de autenticação que ele não consegue atravessar. O Google nunca fornece credenciais, então o conteúdo nunca é visto: a página não será indexada, e uma URL antes indexada que passe a retornar 401 será removida com o tempo. 401 versus 403, com precisão (RFC 9110): 401 = a solicitação não tem credenciais válidas (nenhuma foi enviada ou as enviadas foram recusadas); 403 = o servidor entendeu a solicitação e a recusou, por razões que nem sempre têm relação com credenciais. O Google trata todos os 4xx, exceto 429, da mesma forma para indexação, então o resultado converge — mas causa e correção são diferentes, e a correção depende do que a página realmente é: remova a exigência de autenticação em uma página pública bloqueada por acidente; permita a passagem de um Googlebot verificado por IP/reverse-DNS (nunca por user-agent falsificável) quando uma página for bloqueada indevidamente pela segurança de bots; mantenha a autenticação em conteúdo genuinamente privado ou de staging; use os dados estruturados de paywall do Google, não um 401 genérico, em conteúdo de assinatura que deve ser indexável. “Carrega no meu navegador” é uma armadilha — você está autenticado; o Googlebot não. Diagnostique como um bot (teste ao vivo da Inspeção de URL,
curl -I) — a ausência do cabeçalhoWWW-Authenticatesignifica que a resposta está malformada, não que um WAF a causou. O teste ao vivo e Validar correção confirmam acesso, não indexação, e não existe uma cadência de novas tentativas publicada.
O que o Google está realmente informando
O rótulo de indexação de páginas informa a resposta observada pelo Google; ele não identifica qual regra de autenticação, CDN ou aplicação a produziu. Evidence for this claim The Page Indexing report identifies URLs where Google encountered an authorization request. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: Page indexing report O comportamento de indexação subjacente vem do tratamento documentado pelo Google para respostas 4xx. Evidence for this claim Google treats 4xx responses other than 429 as if the content does not exist for indexing. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: Google: HTTP status codes
O status vem diretamente do código de resposta do servidor. O Googlebot solicitou a URL e recebeu um HTTP 401, o status “Unauthorized” — a página está atrás de uma barreira de autenticação (HTTP Basic Auth, uma tela de login ou uma regra de controle de acesso). A definição do próprio Google no relatório de indexação de páginas diz que a página foi bloqueada para o Googlebot por uma solicitação de autorização e que, se você quiser indexá-la, deve remover a exigência de autorização ou deixar o Googlebot passar verificando sua identidade.
No meu texto Códigos de status HTTP e seu impacto em SEO, descrevo 401 como o cliente não ter se identificado ou verificado quando necessário — um modelo mental útil, mas não a definição completa do protocolo. A regra precisa, da RFC 9110, é que 401 significa que a solicitação não tem credenciais de autenticação válidas para o recurso; também pode ocorrer depois que o servidor recusa as credenciais. Portanto, 401 nem sempre significa que o Googlebot (ou o navegador) não enviou nada, apenas que o que foi apresentado não era válido. De qualquer forma, o resultado prático para o Googlebot é o mesmo: ele não tem credenciais para oferecer e nunca passa da barreira.
O que o Google faz com um 401
Nada de bom, se você queria a página indexada. A documentação do Google sobre status HTTP é explícita: todos os erros 4xx, exceto 429, são tratados da mesma forma — os rastreadores informam ao próximo sistema de processamento que o conteúdo não existe. Assim, um 401 efetivamente diz ao Google “não há nada aqui”. As consequências são:
- A página não será indexada. O Google nunca viu o conteúdo, portanto não há nada para indexar.
- Uma página antes indexada é removida. Isso não é exclusivo de 401 — é o comportamento da família 4xx. Como escrevi no texto da Ahrefs sobre códigos de status HTTP, 4xx fazem páginas saírem do índice. Um 401 que aparece em uma página já indexada pelo Google fará, após rastreamentos repetidos, a URL cair do índice.
- Ele não limita o rastreamento. O Google diz claramente: não use códigos de status 401 e 403 para limitar a taxa de rastreamento. Um 4xx (exceto 429) não produz efeito na taxa de rastreamento, então você não pode usar 401 como alavanca de “diminua a velocidade” — para isso existem
503/429.
Uma coisa que não vou fornecer é uma cadência específica de novas tentativas. O Google volta a rastrear com o tempo, mas a documentação não publica um cronograma garantido do tipo “o Googlebot tenta um 401 novamente a cada N dias”, então não vou fingir que ele existe. Trate o novo rastreamento como “ele voltará em algum momento”, não como um cronômetro.
401 versus 403 versus outros 4xx — a parte que importa
Esta é a distinção que a maioria dos textos mistura e é onde está o valor real. Para indexação, o Google trata 401 e 403 de forma idêntica (a regra de 4xx exceto 429). Mas a causa e a correção são diferentes porque os códigos significam coisas diferentes:
- 401 Unauthorized, pela definição da RFC 9110 — a solicitação não tem credenciais de autenticação válidas para o recurso de destino. Isso abrange dois casos: nenhuma credencial foi enviada, ou as credenciais foram enviadas e o servidor as recusou. Uma resposta 401 em conformidade deve trazer um cabeçalho
WWW-Authenticatenomeando pelo menos um desafio. Minha versão compacta — “o cliente não se identificou ou verificou quando necessário” — é um resumo útil do caso comum, mas trate-a como modelo mental, não como a regra exaustiva. - 403 Forbidden, pela mesma RFC — o servidor entendeu a solicitação, mas se recusa a atendê-la. Credenciais são um motivo possível, mas a especificação explicita que uma solicitação “pode ser proibida por razões não relacionadas às credenciais”. Portanto, 403 não significa sempre “o cliente é conhecido/autenticado, mas não tem direitos” — esse é um padrão comum no mundo real, não uma garantia. Especificamente no relatório de indexação de páginas do Google, um 403 para o Googlebot (que nunca envia credenciais) normalmente significa que o servidor está retornando o erro de forma incorreta — muitas vezes por firewall, WAF ou regra de bot mal configurado. Existe um status irmão, Bloqueada devido a acesso proibido (403), para esse caso; o fluxo de diagnóstico se sobrepõe bastante.
O atalho mental prático ainda serve para a triagem: 401 ≈ “uma barreira de autenticação que esqueci de remover” (site de staging, autenticação HTTP esquecida), enquanto 403 ≈ “uma regra de segurança bloqueando o Googlebot por engano”. O resultado de indexação é o mesmo, mas a causa raiz é diferente — apenas não trate nenhum dos atalhos como o limite real do protocolo. A tabela de decisão está na aba Cheat Sheets.
Por que você está vendo isso — as causas comuns
Em uma página que você realmente quer indexar, um 401 quase sempre é uma destas situações:
- Um site de staging ou desenvolvimento protegido por Basic Auth. Você protegeu o ambiente de staging com senha (o instinto correto), mas o Google descobriu a URL de alguma forma — um link interno, um sitemap ou uma referência vazada — e agora informa o 401. Se a URL de staging genuinamente não deve ser pública, isso é esperado (veja a seção sobre 401 intencional).
- Autenticação HTTP acidental em uma seção pública. Uma regra
.htpasswd, um plugin de “em breve” ou uma barreira de modo de manutenção ficou ativada em um diretório que deveria estar no ar. - Um WAF / CDN / allowlist de IP bloqueando o Googlebot. Este é o caso sorrateiro. Cloudflare, Akamai, Sucuri ou uma allowlist geográfica/de IP retorna 401 (ou 403) aos IPs do Googlebot enquanto atende as pessoas normalmente. A página “funciona para todos” porque todos que a testam estão vindo de um IP permitido.
- Uma barreira de login em conteúdo de assinatura ou paywall que você realmente quer indexar. Um 401 genérico impede completamente a entrada do Googlebot — a correção não é enfraquecer a barreira, mas usar os dados estruturados de paywall compatíveis do Google (veja o quarto ramo abaixo).
Como diagnosticar — teste como um bot, não como um navegador
A maior armadilha aqui é “funciona para mim”. É claro que funciona — você está autenticado, seu IP está na allowlist ou seu navegador tem um cookie de sessão. O Googlebot não tem nada disso. Portanto, faça o diagnóstico como um bot:
-
Inspeção de URL → Teste ao vivo (GSC). É o mais próximo que você chegará de ver a resposta real que o Googlebot recebe. Execute-o na URL afetada; se ele não puder buscar por causa da autorização, você confirmou que o 401 é real e reproduzível.
-
curl -Iem um contexto não autenticado. Solicite a URL sem cookies nem credenciais e leia a linha de status:curl -I https://www.example.com/page/ # Look for: HTTP/1.1 401 Unauthorized # and a WWW-Authenticate: header confirming an auth gate
Se curl (que não envia sessão nem autenticação) recebe 401 enquanto o navegador recebe 200, essa diferença é o problema — seu navegador está autenticado e o Googlebot não. A RFC 9110 exige que um 401 em conformidade traga um cabeçalho WWW-Authenticate; a presença dele confirma um desafio de autenticação real. Sua ausência, porém, não entrega a resposta: informa que a resposta está malformada ou incompleta, não qual camada a produziu. Não conclua imediatamente “deve ser o WAF” apenas pela ausência do cabeçalho.
- Verifique se o bloqueio é específico de IP. Se
curlna sua máquina retorna 200, mas o teste ao vivo do GSC falha, isso é um sinal real de que algo depende do IP de origem ou do roteamento da solicitação — mas confirme comparando logs da borda/CDN, do origin, da aplicação e de qualquer provedor de identidade antes de atribuir a causa ao WAF. Uma solicitação HEAD (quecurl -Ienvia) também pode ser roteada ou armazenada em cache de modo diferente de uma solicitação GET, então confira também com um GET anônimo.
Como corrigir — quatro ramos, conforme o que a página realmente é
Não há uma única correção — há quatro, e escolher a errada ou expõe conteúdo que você pretendia proteger ou deixa uma página indexável bloqueada permanentemente. Classifique a URL em um destes ramos antes de tocar em qualquer configuração:
1. Conteúdo genuinamente privado ou de staging → mantenha a autenticação, não mexa nela. Se a URL realmente não deve ser pública, o 401 está funcionando como projetado — a autenticação do lado do servidor é uma forma legítima e recomendada pelo Google de manter conteúdo longe de todos, inclusive do Googlebot. John Mueller destacou isso para sites de staging: a forma correta de ocultar um site é a autenticação do lado do servidor, por IP, cookie ou autenticação normal do servidor, para que usuários normais — incluindo o Googlebot — sejam impedidos de ver o conteúdo. Não permita que o Googlebot atravesse uma barreira que protege conteúdo genuinamente privado apenas para limpar esta linha do relatório; isso derrota a finalidade da barreira. A correção aqui é higiene de descoberta, não acesso: confirme que a URL não está vinculada, incluída em sitemap ou enviada para esta propriedade do Search Console e mantenha a autenticação.
2. Uma página pública bloqueada por acidente → remova a exigência de autorização. Se a página deve ser indexada e a barreira ficou para trás — Basic Auth, tela de login ou plugin de modo de manutenção — desative-a para esse caminho. Este é o caso direto: quando uma solicitação anônima recebe 200, a página fica aberta ao Googlebot.
3. Uma página pública bloqueada indevidamente pela segurança de bots → admita o Googlebot verificado, não o user-agent literal. Quando um WAF, CDN ou allowlist de IP rejeita o Googlebot em uma página que você quer que seja pública, coloque em allowlist o Googlebot verificado por IP / reverse-DNS. O user-agent é trivialmente falsificável; qualquer pessoa pode alegar ser Googlebot. O caminho recomendado pelo Google é verificar o rastreador pelos intervalos de IP publicados ou por uma verificação de DNS reverso e direto e, então, deixar essas solicitações específicas atravessarem a barreira — você não remove a regra de segurança, apenas abre uma exceção verificada para ela. Para corrigir o falso positivo:
- Identifique a regra que retorna 401/403 ao Googlebot (Cloudflare Firewall Events, logs do Akamai/Sucuri ou logs da borda/origin/aplicação).
- Coloque em allowlist os intervalos de IP verificados do Google (ou a categoria de bot), em vez de desativar toda a proteção.
- Teste novamente com o Teste ao vivo da Inspeção de URL até que o Google consiga buscar a página.
4. Conteúdo de assinatura ou paywall que você quer indexar → não use um 401 genérico. Se a página é protegida por cadastro ou assinatura, mas você quer que ela seja descoberta na busca, um 401 rígido é a ferramenta errada — o Googlebot ainda não consegue buscá-la. O Google documenta uma implementação de paywall compatível: sirva a página com os dados estruturados apropriados de conteúdo pago (isAccessibleForFree, hasPart e propriedades relacionadas) para que o Google possa indexar a parte de prévia gratuita sem que você precise abrir a página inteira.
Valide a correção e ajuste as expectativas
Depois de abrir genuinamente a página (e confirmar com ⟦curl⟧/Teste ao vivo que uma solicitação não autenticada agora retorna 200), seja preciso sobre o que cada etapa confirma:
- O teste ao vivo confirma acesso, não indexação. A documentação do próprio Google para Inspeção de URL diz que o teste ao vivo apenas confirma se o Google-InspectionTool consegue atualmente acessar e analisar a página — não há teste que garanta que a página entrará no índice ou aparecerá na busca. Um Teste ao vivo aprovado significa que a barreira está aberta; não promete o que acontece depois.
- Validar correção é opcional, não obrigatório. O Google atualiza a contagem do problema sempre que rastreia a página novamente, independentemente de você clicar em Validar correção. Use isso para acompanhar uma correção real — não valide uma URL que deveria permanecer privada e não trate a validação como algo que acelera a reindexação.
- Não espere reindexação instantânea. Novo rastreamento e nova indexação levam tempo e — como observado acima — não há uma cadência publicada de novas tentativas que eu possa citar. Monitore o resultado realmente indexado e o desempenho na busca separadamente do status do relatório; nem o Teste ao vivo nem Validar correção garantem escolha de canonical ou aparição na busca.
- Um mito para abandonar: um 401 no GSC não é uma penalidade nem uma ação manual. É um status de acesso de rastreamento. Ele não prejudica os rankings das suas outras páginas nem coloca seu site em uma “lista negra” — apenas mantém a página bloqueada fora do índice.
Onde isso se encaixa
Este é um dos status de status HTTP do relatório de indexação de páginas — os irmãos incluem Bloqueada devido a acesso proibido (403), os outros status 4xx e 404 e o status de erro de servidor 5xx. Para o relatório em si e como ler a tabela “Por que as páginas não estão indexadas”, consulte o hub do relatório de indexação de páginas. A mecânica subjacente — como o Googlebot busca e o que os códigos de status significam para ele — é coberta por rastreamento e indexação.
Resumo de IA
Uma versão condensada do conteúdo Avançado:
- O que é. Um status de indexação de páginas do GSC que significa que o Googlebot recebeu um HTTP 401 (Unauthorized) — uma barreira de autenticação que ele não consegue atravessar. O Google não fornece credenciais, então ele nunca vê o conteúdo.
- O que o Google faz. A página não é indexada; uma URL antes indexada que retorna 401 é removida com o tempo. Todos os 4xx, exceto 429, são tratados da mesma forma — o Google recebe a informação de que “o conteúdo não existe”. Os 4xx não têm efeito na taxa de rastreamento, então não use 401/403 para desacelerar o Googlebot.
- 401 versus 403, com precisão. Pela RFC 9110: 401 = a solicitação não tem credenciais válidas (nenhuma foi enviada ou as enviadas foram recusadas); 403 = o servidor entendeu a solicitação e a recusou, por razões que nem sempre têm relação com credenciais. “401 = barreira de autenticação, 403 = regra de segurança bloqueando o Googlebot” é um atalho útil para a triagem, não a regra exaustiva do protocolo.
- Causas comuns (em páginas que você quer indexar): site de staging atrás de Basic Auth, autenticação HTTP acidental em uma seção pública, WAF/CDN/allowlist de IP excluindo o Googlebot ou barreira de login em conteúdo de assinatura/paywall.
- “Carrega para mim” é uma armadilha. Você está autenticado ou em uma allowlist de IP; o Googlebot não. Diagnostique como um bot: Teste ao vivo da Inspeção de URL e
curl -I(sem cookies nem autenticação) — um 401 ali confirma o problema. Um cabeçalhoWWW-Authenticateconfirma uma barreira de autenticação real (a RFC 9110 o exige em um 401 em conformidade); sua ausência significa apenas que a resposta está malformada — confira os logs da borda, do origin, da aplicação e do provedor de identidade antes de culpar um WAF. - Corrija conforme o que a página é, não com uma correção universal. Página pública bloqueada por acidente → remova a exigência de autorização. Página pública bloqueada indevidamente pela segurança de bots → coloque em allowlist o Googlebot verificado por IP/reverse-DNS (nunca pelo user-agent falsificável), sem desativar toda a regra. Conteúdo genuinamente privado/de staging → mantenha a autenticação; nunca o abra apenas para limpar esta linha do relatório — limpe apenas sua descoberta (sitemaps/links/propriedade). Conteúdo indexável de assinatura/paywall → use os dados estruturados de paywall do Google em vez de um 401 genérico.
- Valide e espere, sem prometer demais. O Teste ao vivo confirma apenas o acesso atual, não a indexação. Validar correção é opcional — o Google atualiza a contagem no próximo rastreamento de qualquer maneira. A reindexação leva tempo, não há uma cadência publicada de novas tentativas e nenhuma das duas etapas garante indexação, escolha de canonical ou aparição na busca. Um 401 não é uma penalidade.
Documentação oficial
Documentação de fontes primárias dos mecanismos de busca.
- Relatório de indexação de páginas — o relatório e a definição do status “Blocked due to unauthorized request (401)” (tradução) «Bloqueada devido a uma solicitação não autorizada (401)», além do irmão 403 e dos outros status HTTP.
- Como códigos de status HTTP e erros de rede e DNS afetam a Pesquisa Google — o que o Googlebot faz com um 401: tratamento de 4xx exceto 429 e a regra “não use 401/403 para limitar a taxa de rastreamento”.
- Como verificar o Googlebot e outros rastreadores do Google — a forma recomendada de colocar o Googlebot em allowlist: verificar por IP/reverse-DNS, não por user-agent.
- Intervalos de IP do Googlebot (googlebot.json) — os intervalos de IP publicados para liberar no WAF/CDN.
Bing / Microsoft
- Ajuda do Bing Webmaster Tools — o Bing não exibe uma string de status idêntica, mas uma URL que retorna 401/403 também é tratada como inacessível e não será indexada; o bingbot também precisa acessar a página anonimamente e publica intervalos de IP verificados/verificação por reverse-DNS para a mesma correção de allowlist.
Citações da fonte
Declarações registradas. Cada link é um deep link que salta para a passagem citada na página de origem.
Google — o que significa o status 401 (relatório de indexação de páginas)
- “The page was blocked to Googlebot by a request for authorization (401 response). If you do want Googlebot to be able to index this page, either remove authorization requirements for this page, or else allow Googlebot to access your pages by verifying its identity.” (tradução) «A página foi bloqueada para o Googlebot por uma solicitação de autorização (resposta 401). Se você quiser que o Googlebot possa indexar esta página, remova as exigências de autorização ou permita que o Googlebot acesse suas páginas verificando sua identidade.» — Ajuda do Google Search Console, relatório de indexação de páginas. Ir para a citação
Google — o que o Googlebot faz com um 401 (documento de status HTTP)
- “All 4xx errors, except 429, are treated the same: Google crawlers inform the next processing system that the content doesn’t exist.” (tradução) «Todos os erros 4xx, exceto 429, são tratados da mesma forma: os rastreadores do Google informam ao próximo sistema de processamento que o conteúdo não existe.» — Documentação do Google Search Central. Ir para a citação
- “Don’t use 401 and 403 status codes for limiting the crawl rate.” (tradução) «Não use os códigos de status 401 e 403 para limitar a taxa de rastreamento.» Ir para a citação
Patrick Stox — minhas próprias definições de 401/403 e o impacto de 4xx no índice
- “The client hasn’t identified or verified itself when needed.” (tradução) «O cliente não se identificou ou verificou quando necessário.» (401) — Patrick Stox, Códigos de status HTTP e seu impacto em SEO, Ahrefs. Ir para a citação
- “The client is known but doesn’t have access rights.” (tradução) «O cliente é conhecido, mas não tem direitos de acesso.» (403) Ir para a citação
- “4xxs will cause pages to drop from the index.” (tradução) «Os 4xx farão as páginas saírem do índice.» Ir para a citação
John Mueller, Google — autenticação no lado do servidor é a forma correta de proteger um site
- “Ideally, what you would want to do is provide some kind of server side authentication on the server so that normal users when they go there they would get blocked from being able to see the content; that would include GoogleBot.” (tradução) «Idealmente, o que você deveria fazer é fornecer algum tipo de autenticação no lado do servidor para que usuários normais, quando chegassem ali, fossem impedidos de ver o conteúdo; isso incluiria o GoogleBot.» (Webmaster Hangout, 25 de setembro de 2019, reproduzido via Search Engine Journal.) Leia a cobertura
Checklist de diagnóstico e correção de 401
Use isto quando o GSC sinalizar “Bloqueada devido a uma solicitação não autorizada (401)”:
- Decida a intenção primeiro — você realmente quer esta URL indexada? Se ela é genuinamente privada/de ambiente de teste, o 401 está correto; pule para o último item. Se é conteúdo de assinatura que você quer indexar, pule as etapas de remoção de autenticação e use a correção de dados estruturados de paywall.
- Reproduza como um bot — execute o Teste ao vivo da Inspeção de URL na URL e confirme a falha de autorização (não confie no navegador conectado).
-
curl -Isem cookies/credenciais — confirme que retorna401e procure um cabeçalhoWWW-Authenticate. Um 401 aqui enquanto o navegador recebe 200 é o problema. Um cabeçalho confirma uma barreira de autenticação real; a ausência sinaliza uma resposta malformada, não a camada que a produziu. - Identifique a barreira — confira os logs da borda/CDN, do origin, da aplicação e da identidade para localizá-la: Basic Auth (
.htpasswd), plugin de manutenção/“em breve”, tela de login ou regra de WAF/CDN/allowlist de IP. - Quando a barreira vier de um WAF/CDN — confira os eventos do firewall para a regra que bloqueia o Google; coloque em allowlist intervalos de IP verificados do Googlebot, não desative toda a proteção.
- Corrija pelo método certo — remova a exigência de autenticação em uma página pública bloqueada por acidente ou permita o Googlebot verificado por IP / reverse-DNS (nunca pelo user-agent falsificável) em um falso positivo de segurança de bot. Não abra para o Googlebot uma barreira que mantém conteúdo genuinamente privado protegido.
- Teste novamente —
curl -I(ainda não autenticado) retorna200e o Teste ao vivo da Inspeção de URL consegue buscar. - Validar correção (opcional) no relatório de indexação de páginas e inspecionar novamente uma amostra de URLs — o Google atualiza a contagem no próximo rastreamento de qualquer modo; um Teste ao vivo aprovado confirma acesso, não indexação.
- Ajuste as expectativas — novo rastreamento/reindexação leva tempo; não há cadência garantida de novas tentativas nem garantia de indexação ou aparição na busca. Não é uma penalidade.
- No caso de um bloqueio intencional — confirme que a URL privada/de ambiente de teste não deveria estar nesta propriedade (pare de criar links/enviá-la) e mantenha a barreira.
401 versus 403 versus outros 4xx — cheat sheet
O que cada código realmente significa (e a causa típica)
| Código | Significado na RFC 9110 | Estado de autenticação | Causa típica em uma página que você quer indexar |
|---|---|---|---|
| 401 Unauthorized | A solicitação não tem credenciais de autenticação válidas — nenhuma foi enviada ou as enviadas foram recusadas | Nenhuma credencial válida (ausente ou recusada) | Basic Auth de staging, autenticação HTTP acidental, tela de login |
| 403 Forbidden | O servidor entendeu a solicitação, mas a recusa; a RFC permite explicitamente razões não relacionadas a credenciais | Não definido apenas pelo código — “conhecido, mas sem direitos” é comum, não universal | WAF/CDN/regra de bot bloqueando o Googlebot por engano |
| 404 / 410 | “Não encontrado / gone.” | n/a | Remoção real (410 sai um pouco mais rápido) |
| 5xx | “Erro de servidor / tente novamente.” | n/a | Saúde do servidor — desacelera o rastreamento, mas não desindexa permanentemente por si só |
Como o Google os trata para indexação
| Código | Resultado de indexação | Efeito na taxa de rastreamento |
|---|---|---|
401 / 403 | Conteúdo “não existe” → não indexado; URLs antes indexadas são removidas com o tempo | Nenhum — não os use para limitar a velocidade |
Outros 4xx (exceto 429) | Igual ao anterior | Nenhum |
429 | Tratado de forma diferente (sinal de taxa) | Desacelera o rastreamento |
503 | Temporário | Desacelera o rastreamento |
Mapa de correção
| Sintoma | Causa provável | Correção |
|---|---|---|
| 401 no GSC, página carrega no navegador | Você está autenticado / em allowlist de IP; o Googlebot não | Teste com curl -I (sem cookies); corrija a barreira, não o GSC |
| 401 em uma página pública | Basic Auth/barreira de manutenção esquecida | Remova a exigência de autorização |
| 401/403 apenas para os IPs do Googlebot | WAF/CDN/allowlist de IP excluindo o Google | Coloque em allowlist intervalos de IP verificados do Googlebot |
| 401 em uma URL de staging no GSC de produção | Barreira intencional, propriedade errada | Mantenha a barreira; pare de enviar/criar links para essa URL |
| 401 em conteúdo de assinatura/paywall que você quer indexar | Barreira de autenticação genérica em conteúdo que deveria ser descoberto | Use os dados estruturados de conteúdo pago do Google, não um 401 rígido |
Duas correções oficiais para uma página pública bloqueada por engano (formulação do Google)↵1. Remova a exigência de autorização para a página.↵2. Deixe o Googlebot passar verificando sua identidade — permita por IP/reverse-DNS, não pelo user-agent (falsificável).
Nenhuma das duas se aplica a conteúdo genuinamente privado/de staging (mantenha a barreira) ou a conteúdo de paywall indexável (use a marcação de paywall em vez de abrir a barreira).
Os modelos mentais
1. Barreira versus conteúdo. Um 401 não é um problema de conteúdo — o Googlebot nunca chegou ao conteúdo. É um problema da barreira. Portanto, você não edita a página; muda o que a barreira faz com um bot não autenticado. Separe sempre “a página é boa?” de “o Googlebot consegue passar pela porta?”.
2. A intenção decide tudo. Antes de qualquer correção, responda a uma pergunta: esta URL deve ser indexada? Se sim, o 401 é uma configuração incorreta que deve ser removida. Se não, o 401 está funcionando como planejado, e a pergunta real é por que essa URL está nesta propriedade do Search Console. Não corrija um 401 que está cumprindo sua função.
3. Teste como um bot, não como você mesmo. “Funciona para mim” é o erro de julgamento padrão aqui. Você carrega uma sessão, um cookie e um IP em allowlist. O Googlebot não carrega nada disso. Todo diagnóstico começa removendo essas condições — curl -I sem credenciais ou o Teste ao vivo da Inspeção de URL.
4. 401 versus 403 — mesmo resultado, porta diferente. Para indexação eles são idênticos (4xx exceto 429). Pela RFC, 401 = a solicitação não tem credenciais válidas (nenhuma foi enviada ou as enviadas foram recusadas); 403 = o servidor entendeu a solicitação e a recusou, por razões que podem ou não ter relação com credenciais. Trate “401 = barreira de autenticação que controlo, 403 = regra de segurança falhando” como atalho prático de triagem, não como o limite real do protocolo — é certo vezes suficientes para ser útil, mas a formulação da RFC é o que realmente vale. Diagnostique em direção à porta: 401 → examine autenticação/staging; 403 → examine WAF/firewall.
5. Verifique o bot, não confie no nome. A correção que costuma morder depois é “colocar o user-agent Googlebot em allowlist”. Essa string é gratuita para qualquer pessoa alegar. A correção durável é a identidade por IP / reverse-DNS — permita o bot que você consegue provar que é o Googlebot, não o que apenas diz ser.
Diagnosticando um 401: barreira intencional ou configuração incorreta?
A primeira bifurcação é a intenção, não a tecnologia — decida se a URL deve ser indexada antes de tocar em qualquer configuração. Depois de saber que se trata de uma configuração incorreta real, a segunda bifurcação é identificar se você está olhando para uma tela de login que esqueceu de abrir ou para uma regra de WAF/CDN bloqueando o Googlebot por acidente. Clique para avançar.
Should I fix this 401, and if so, which gate is it?
Acompanhe o grupo de 401, não apenas sua existência
O único número que vale acompanhar é quantas URLs estão na linha “Bloqueada devido a uma solicitação não autorizada (401)” do relatório de indexação de páginas ao longo do tempo, não apenas se a linha existe — uma fotografia isolada não informa se você está resolvendo o problema ou acumulando mais URLs bloqueadas.
Contagem do grupo de 401 ao longo do tempo
- Métrica — A quantidade de URLs sob “Bloqueada devido a uma solicitação não autorizada (401)” no relatório de indexação de páginas do GSC, acompanhada semana a semana.
- O que informa — Se uma correção realmente funcionou e se novos 401 estão surgindo. Depois de remover uma exigência de autenticação ou colocar o Googlebot verificado em allowlist, essa contagem deve cair em direção a zero para as URLs corrigidas. Para URLs que são intencionalmente bloqueadas (staging, seções privadas), a contagem deve permanecer estável — uma alta nesse grupo normalmente significa que novas URLs de staging/privadas estão sendo vinculadas ou incluídas em sitemap nesta propriedade por engano.
- Como obter — Relatório de indexação de páginas do GSC, filtrado pela linha 401; faça verificações individuais com Inspeção de URL → Teste ao vivo para confirmar que não é uma fotografia antiga.
- Referência / faixa realista — Não há uma meta universal — depende inteiramente de quantas páginas você bloqueia de propósito. O padrão honesto é: zero 401 entre as URLs que você quer indexar e uma contagem estável (não crescente) para URLs que deliberadamente mantém atrás de autenticação. Estabeleça sua própria contagem de base antes de julgar a direção da tendência.
- Cadência — Semanalmente logo após uma correção, até a contagem estabilizar; depois, mensalmente como verificação de regressão.
Runbook: diagnosticar, corrigir, validar
O fluxo de 401 é um ciclo curto e ordenado — não pule diretamente para “corrigir” antes de confirmar a intenção e reproduzir o bloqueio como um bot.
1. Decida a intenção primeiro. Esta URL realmente deve ser indexada? Se é genuinamente privada ou de staging, pare aqui — o 401 está correto, e o único acompanhamento é garantir que a URL não esteja vinculada ou incluída em sitemap nesta propriedade; não enfraqueça a barreira. Se é conteúdo de assinatura/paywall que você quer indexar, pule para a correção de dados estruturados de paywall em vez de tocar na barreira de autenticação.
2. Reproduza como um bot, não como você mesmo.
Execute o Teste ao vivo da Inspeção de URL no GSC e, separadamente, solicite a URL com curl -I sem cookies nem credenciais. Se curl recebe um 401 enquanto o navegador conectado recebe 200, essa diferença é o problema — você está autenticado ou em allowlist de IP; o Googlebot não.
3. Identifique a barreira.
Verifique se a resposta anônima traz um cabeçalho WWW-Authenticate — um 401 em conformidade deve incluir um, então sua presença confirma uma barreira de autenticação real (Basic Auth, tela de login, modo de manutenção). A ausência não revela a causa; significa que a resposta está malformada, portanto compare os logs da borda/CDN, do origin, da aplicação e do provedor de identidade antes de concluir que é uma regra de WAF/CDN/allowlist.
4. Corrija pela causa. Barreira de autenticação em uma página acidentalmente pública → remova a exigência de autorização para esse caminho. Regra de WAF/CDN bloqueando falsamente uma página pública → coloque o Googlebot verificado em allowlist por IP ou reverse-DNS no firewall, nunca apenas pelo user-agent falsificável. Nunca coloque o Googlebot em allowlist através de uma barreira que protege conteúdo genuinamente privado.
5. Valide.
Execute novamente o mesmo curl -I anônimo e confirme que agora retorna 200. Validar correção no relatório de indexação de páginas é um acompanhamento opcional — o Google atualiza a contagem no próximo rastreamento de qualquer modo — e o Teste ao vivo da Inspeção de URL apenas confirma que o Google-InspectionTool consegue acessar a página neste momento, não que ela será indexada.
6. Ajuste as expectativas e pare. Novo rastreamento e nova indexação levam tempo, não há uma cadência publicada de novas tentativas e nem o Teste ao vivo nem Validar correção garantem indexação ou aparição na busca — não “corrija” a mesma URL duas vezes enquanto espera. Se a contagem do grupo de 401 no GSC não estiver caindo depois de algumas semanas, volte à etapa 2 e reproduza novamente em vez de adivinhar uma nova causa.
Prompts de IA prontos para uso
Prompts para copiar e colar e classificar um 401 a partir de dados brutos de diagnóstico. Eles ajudam a fazer uma triagem rápida da causa provável — confirme sempre a conclusão na configuração real do servidor/firewall antes de alterar qualquer coisa.
Classifique a causa provável a partir da saída do curl
I'm diagnosing a "Blocked due to unauthorized request (401)" status in Google
Search Console. Below is the raw output of an unauthenticated request to the
URL (curl -I, no cookies, no credentials). Based on this output alone,
classify the most likely cause as one of: (1) staging/dev site behind Basic
Auth, (2) accidental HTTP auth or maintenance-mode gate left on a public
section, (3) WAF/CDN/IP-allowlist blocking Googlebot, (4) a login wall on
content that's meant to be gated. Explain which specific header or detail in
the output pointed you to that answer, and tell me what's missing if you
can't tell for sure.
CURL OUTPUT:
[paste]Classifique a causa a partir de uma linha de log do WAF/firewall
I'm investigating why Googlebot is getting a 401 or 403 on a page I want
indexed. Below is a log line (or a few) from my WAF/CDN showing a blocked
request. Tell me whether this looks like a bot-identity rule (blocking by
user-agent or IP range), a rate-limit/challenge rule, or something else, and
what I'd need to allowlist — by IP range or reverse-DNS — to let verified
Googlebot through without disabling the rule entirely.
LOG LINE(S):
[paste]Faça uma verificação de sanidade de uma correção antes de colocá-la em produção
I'm about to remove an authorization requirement from a URL that's currently
returning 401 to Googlebot, because I want it indexed. Here's a short
description of the current gate and what I'm about to change: [describe].
Point out anything I might be missing — e.g. whether this could accidentally
expose a section I meant to keep private, or whether I should allowlist
verified Googlebot instead of removing the auth requirement outright. Teste seus conhecimentos: “Bloqueada devido a uma solicitação não autorizada (401)”
Cinco perguntas sobre o que significa um 401, como ele difere de um 403 e como diagnosticá-lo e corrigi-lo. Escolha uma resposta para cada pergunta e depois confira.
Reproduza o 401 como uma solicitação anônima
O objetivo destas verificações é o mesmo da aba Avançado: seu navegador está autenticado, o Googlebot não. Remova cookies e credenciais completamente e veja o que um cliente anônimo realmente recebe.
# Fetch headers only, with no cookies and no credentials
curl -sI https://www.example.com/page/
# Look for:
# HTTP/1.1 401 Unauthorized
# WWW-Authenticate: Basic realm="..." <- confirms a real auth gate# -SkipHttpErrorCheck so PowerShell shows the 401 instead of throwing
Invoke-WebRequest -Uri "https://www.example.com/page/" -Method Head `
-SkipHttpErrorCheck | Select-Object StatusCode, Headers
# Check the Headers output for WWW-AuthenticateSe isto retorna 401 com um cabeçalho WWW-Authenticate, você confirmou uma barreira de autenticação real (Basic Auth, tela de login) — a RFC 9110 exige que um 401 em conformidade envie esse cabeçalho. Se retorna 401/403 sem WWW-Authenticate, isso informa que a resposta está malformada ou incompleta, não qual camada a produziu — a ausência do cabeçalho, sozinha, não prova um WAF ou CDN. Se o bloqueio também ocorre apenas fora da sua rede, essa delimitação por IP é a pista mais forte para uma regra de WAF/CDN/allowlist de IP; confirme nos logs do firewall/CDN, teste de outra rede ou use o Teste ao vivo da Inspeção de URL do GSC, que solicita como o próprio Googlebot.
Verifique se um bot é realmente Googlebot (antes de colocá-lo em allowlist)
Antes de abrir uma regra do WAF para permitir uma solicitação de “Googlebot”, confirme que o IP é realmente do Google — muito tráfego falsifica a string de user-agent.
# 1) Reverse DNS the IP from your logs — must end in googlebot.com / google.com
host 66.249.66.1
# → ... domain name pointer crawl-66-249-66-1.googlebot.com
# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.comSe a consulta reversa não terminar em um domínio do Google ou a consulta direta não corresponder ao IP original, não coloque o IP em allowlist — ele não é Googlebot. Você também pode verificar o IP nos intervalos publicados do Google (googlebot.json) ou verificá-lo diretamente com a ferramenta Googlebot Verifier. Faça a allowlist pela identidade verificada, nunca apenas pela string de user-agent.
Ferramentas para diagnosticar e corrigir um 401
- HTTP Status Checker — cole a URL afetada (ou um lote) para confirmar o código de status, ver a cadeia completa de resposta e detectar qualquer redirecionamento que ocorra antes da barreira de autenticação.
- Googlebot Verifier — confira se um IP que afirma ser Googlebot é genuíno (intervalos de IP publicados e confirmação por reverse-DNS) antes de colocá-lo em allowlist no WAF ou firewall.
- Google Search Console — Inspeção de URL → Teste ao vivo — o mais próximo que você chegará de ver a resposta exata que o Googlebot recebe, inclusive se está bloqueado por autorização.
curl -I— a forma mais rápida de solicitar uma URL sem cookies ou credenciais e ler a linha de status e os cabeçalhos brutos, incluindoWWW-Authenticate.- Log de eventos do firewall do seu WAF/CDN (Cloudflare, Akamai, Sucuri etc.) — encontre a regra específica que retorna 401/403 aos intervalos de IP do Googlebot.
Prove que a correção realmente funcionou
Depois de remover uma exigência de autenticação ou colocar o Googlebot verificado em allowlist, estas são as verificações que separam “a configuração mudou” de “o Google agora consegue realmente alcançar a página”. Execute-as em ordem.
Teste 1 — Uma solicitação anônima agora retorna 200
- Teste a executar — Execute
curl -Isem cookies ou credenciais na URL afetada (ou confira-a com o HTTP Status Checker). - Resultado esperado — A linha de status informa
HTTP/1.1 200 OKsem um cabeçalhoWWW-Authenticate. - Interpretação da falha — Continuar em
401significa que a exigência de autenticação não foi realmente removida para esse caminho ou que você está testando a URL/ambiente errado. Um403em vez de401significa que você trocou uma barreira por outra — confira a regra do WAF/CDN. - Janela de monitoramento — Imediata — o servidor responde assim que a mudança entra no ar.
- Gatilho de rollback — Se remover a barreira expuser conteúdo que você pretendia manter privado, reative imediatamente a exigência de autenticação e coloque o Googlebot verificado em allowlist por IP/reverse-DNS.
Teste 2 — O Google confirma que consegue alcançar a página
- Teste a executar — Execute Inspeção de URL → Testar URL ao vivo no Google Search Console para a URL afetada.
- Resultado esperado — O teste ao vivo é bem-sucedido e mostra o conteúdo da página — sem falha de autorização. Isso confirma que o Google-InspectionTool consegue acessar e analisar a página neste momento — é um resultado de acesso, não uma garantia de indexação; a própria documentação do Google diz que o teste ao vivo não verifica todas as condições de indexação e que uma aprovação não garante inclusão no índice.
- Interpretação da falha — Se o Teste ao vivo ainda informa um bloqueio de autorização depois que o teste anônimo com
curlpassa, suspeite de uma regra especificamente limitada aos intervalos do Googlebot (um problema de allowlist do WAF/CDN), não de uma barreira de autenticação geral. - Janela de monitoramento — Imediata a alguns minutos depois da correção.
- Gatilho de rollback — N/A — este é um teste somente de leitura; se continuar falhando, volte ao ramo de falha do Teste 1 em vez de fazer rollback.
Teste 3 — O status 401 desaparece do relatório de indexação de páginas
- Teste a executar — Use Validar correção (opcional — o Google atualiza a contagem no próximo rastreamento de qualquer modo) no problema “Bloqueada devido a uma solicitação não autorizada (401)” do relatório de indexação de páginas e acompanhe a contagem do grupo nas semanas seguintes (veja a aba How to Measure).
- Resultado esperado — A URL sai do grupo 401 e — se antes estava indexada — reaparece no índice com o tempo. Nem Validar correção nem um Teste ao vivo aprovado garantem indexação, escolha de canonical ou aparição na busca — acompanhe separadamente o estado realmente indexado e o desempenho na busca.
- Interpretação da falha — Não existe uma cadência publicada de novas tentativas, então não interprete uma validação lenta como uma nova falha; se a contagem do grupo 401 não estiver caindo depois de algumas semanas, execute novamente o Teste 1 para confirmar que a correção continua em vigor (um redeploy ou cache de CDN pode reintroduzir a barreira silenciosamente).
- Janela de monitoramento — De dias a algumas semanas, acompanhada pela contagem do grupo 401.
- Gatilho de rollback — Só volte à própria barreira se o Teste 1 começar a falhar novamente — não persiga o tempo do relatório de indexação de páginas.
Registro de alterações
Atualizado em 8 de ago. de 2026.
Resumo editorial e detalhes registrados da alteração.Detalhes da alteração
-
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
Não é possível fazer a comparação completa — nenhum instantâneo anterior foi arquivado para esta revisão.
Atualizado em 8 de ago. de 2026.
Resumo editorial e detalhes registrados da alteração.Detalhes da alteração
-
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
Não é possível fazer a comparação completa — nenhum instantâneo anterior foi arquivado para esta revisão.
Atualizado em 17 de jul. de 2026.
Resumo editorial e detalhes registrados da alteração.Detalhes da alteração
-
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
-
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
-
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
Não é possível fazer a comparação completa — nenhum instantâneo anterior foi arquivado para esta revisão.