401 Não Autorizado

TL;DR — Um 401 Unauthorized significa que o servidor quer que você faça login antes de entregar a página — suas credenciais estão ausentes, erradas ou expiradas. Mecanismos de busca nunca fazem login; portanto, se uma página retorna 401 ao Googlebot, o Google não consegue vê-la e não a colocará nos resultados de busca. Isso é exatamente o que você quer para páginas privadas (staging, áreas exclusivas para membros) — e um problema somente quando acontece em uma página que você realmente quer que as pessoas encontrem.

O que significa 401

Quando seu navegador (ou o rastreador de um mecanismo de busca) pede uma página ao servidor, o servidor responde com um código de status. 401 Unauthorized é a forma de o servidor dizer: “I’m not going to show you this until you prove who you are.” (tradução) «Não vou mostrar isto até você provar quem é.» As credenciais enviadas estavam ausentes, inválidas ou expiradas — então você precisa fazer login. Evidence for this claim A 401 response means the request lacks valid authentication credentials and the response must include a WWW-Authenticate challenge. Scope: RFC 9110 defines the status semantics and required challenge header; it does not prescribe a site's authentication product or login flow. Confidence: high · Verified: 2026-07-14 IETF: RFC 9110 §15.5.2 — 401 Unauthorized

Você já viu isso acontecer quando uma página exibe uma caixa de usuário/senha ou o encaminha para uma tela de login. Nos bastidores, isso costuma ser um 401.

Por que isso importa para SEO

Eis o problema: Googlebot e Bingbot nunca fazem login. Eles não têm nome de usuário e senha do seu site, nem digitam em caixas de login. Assim, quando um rastreador encontra um 401, simplesmente não consegue passar pelo portão. Para o Google, o conteúdo dessa página efetivamente não existe.

O resultado prático:

• Uma página que retorna 401 não será indexada — não pode aparecer na busca.
• Uma página que ranqueava e agora retorna 401 sairá do índice com o tempo. Evidence for this claim Google does not index 4xx URLs and removes already-indexed 4xx URLs over time. Scope: Google's crawler documentation supports the Search indexing outcome for 401 responses; it does not address access decisions for private users. Confidence: high · Verified: 2026-07-14 Google: How HTTP status codes affect Google's crawlers

Quando um 401 está correto (e quando é um problema)

Um 401 não é automaticamente um bug a ser corrigido. É a resposta certa para páginas que devem ser privadas:

• 401 bom: seu site de staging, uma área exclusiva para membros, uma ferramenta administrativa interna ou um portal de cliente. Você quer que essas páginas fiquem ocultas do Google, e uma barreira de login cumpre esse papel.
• 401 ruim: uma publicação de blog, página de produto ou landing page que deveria ser pública e de repente pede login — geralmente por causa de um firewall mal configurado, proteção por senha deixada para trás, token expirado ou conflito entre plugins.

O falso alarme mais comum é “but it loads fine for me!” — (tradução) «mas para mim carrega normalmente!» — isso acontece porque você está conectado e o rastreador não. Para ver o que o Googlebot vê, abra a página em uma janela privada/anônima ou use a ferramenta de inspeção de URL no Google Search Console.

401 vs. 403 — a versão rápida

Você verá 401 frequentemente ao lado de 403 Forbidden. Eles parecem semelhantes, mas significam coisas diferentes:

• 401 = “Who are you?” (tradução) «Quem é você?» Credenciais ausentes — faça login.
• 403 = “I know who you are, and no.” (tradução) «Eu sei quem você é, e não.» O servidor entendeu a solicitação, mas está recusando o acesso mesmo assim.

Para o Google, porém, o resultado é o mesmo: nenhum dos dois é indexado, porque o rastreador não consegue chegar ao conteúdo de qualquer maneira.

Quer os detalhes técnicos — o cabeçalho exato que um 401 deve enviar, o que a documentação do Google realmente diz e como corrigir um 401 indesejado? Mude para a aba Avançado.

TL;DR — 401 Unauthorized é um erro do cliente (RFC 9110 §15.5.2, que substituiu a RFC 7235) e significa que a solicitação não tem credenciais de autenticação válidas — incluindo credenciais que foram enviadas mas rejeitadas, não apenas credenciais que nunca foram enviadas; um 401 compatível com a especificação também envia um cabeçalho WWW-Authenticate que nomeia o esquema esperado. Ele difere de 403 (uma recusa que não exige esse desafio e pode não ter nenhuma relação com credenciais), mas o Google trata todos os 4xx, exceto 429, da mesma forma para indexação: o conteúdo “não existe”, portanto não é indexado e URLs antes indexadas caem com o tempo. Como o Googlebot comum nunca envia credenciais, um 403 para o Googlebot é — nas próprias palavras do Google — geralmente uma configuração incorreta do servidor. 401/403 não têm efeito sobre a taxa de rastreamento do site inteiro (um mito repetido muitas vezes), embora uma URL individual que continue retornando 4xx seja rastreada novamente com menos frequência ao longo do tempo. Um 401 é a forma correta, endossada pelo Google, de proteger conteúdo realmente privado; só é um problema quando atinge uma página que você quer indexar. Para conteúdo pago, existe um caminho aprovado que não é um 401 indiscriminado.

O que 401 realmente é

401 Unauthorized é uma resposta de erro do cliente. A definição da MDN é a formulação técnica mais clara:

“The HTTP 401 Unauthorized client error response status code indicates that a request was not successful because it lacks valid authentication credentials for the requested resource. This status code is sent with an HTTP WWW-Authenticate response header that contains information on the authentication scheme the server expects the client to include to make the request successfully.” (tradução) «O código de status de resposta de erro do cliente 401 Unauthorized do HTTP indica que uma solicitação não foi bem-sucedida porque não contém credenciais de autenticação válidas para o recurso solicitado. Esse código de status é enviado com um cabeçalho de resposta HTTP WWW-Authenticate que contém informações sobre o esquema de autenticação que o servidor espera que o cliente inclua para realizar a solicitação com sucesso.»

Vale destacar duas coisas. Primeiro, “autenticação” — o solicitante ainda não provou quem é. Isso geralmente significa credenciais ausentes, inválidas ou expiradas — mas um 401 também pode vir depois que credenciais foram enviadas e rejeitadas; portanto, não presuma “nenhum cabeçalho de autenticação” sem verificar a solicitação. Segundo, um 401 compatível com a especificação deve trazer um cabeçalho WWW-Authenticate — conforme a RFC 9110 §15.5.2, que substituiu a RFC 7235 — informando ao cliente quais esquemas ele espera (HTTP Basic Auth, um token Bearer, um fluxo com cookie de sessão e assim por diante). Ao depurar um 401, esse é o primeiro cabeçalho a inspecionar: se está presente e qual esquema nomeia. Evidence for this claim A 401 response means the request lacks valid authentication credentials and the response must include a WWW-Authenticate challenge. Scope: RFC 9110 defines the status semantics and required challenge header; it does not prescribe a site's authentication product or login flow. Confidence: high · Verified: 2026-07-14 IETF: RFC 9110 §15.5.2 — 401 Unauthorized

No meu próprio guia de códigos de status, resumo 401 assim: “the client hasn’t identified or verified itself when needed.” (tradução) «o cliente não se identificou ou verificou quando necessário.» Essa é a ideia toda — ainda ninguém disse quem é.

401 vs. 403 Forbidden — a distinção que importa

É aqui que muita gente se confunde, então vou deixar a diferença nítida. Em uma linha:

• 401 = “Who are you?” (tradução) «Quem é você?» — as credenciais estão ausentes ou inválidas; autentique-se e tente novamente.
• 403 = “I know who you are, but no.” (tradução) «Eu sei quem você é, mas não.» — a solicitação foi entendida, mas o acesso é negado independentemente das credenciais.

A MDN apresenta a mesma ideia:

“A 401 Unauthorized is similar to the 403 Forbidden response, except that a 403 is returned when a request contains valid credentials, but the client does not have permissions to perform a certain action.” (tradução) «Um 401 Unauthorized é semelhante à resposta 403 Forbidden, exceto que um 403 é retornado quando uma solicitação contém credenciais válidas, mas o cliente não tem permissão para executar determinada ação.»

Eu faço o mesmo contraste no meu guia: 401 é “the client hasn’t identified or verified itself when needed,” (tradução) «o cliente não se identificou ou verificou quando necessário», enquanto 403 é “the client is known but doesn’t have access rights.” (tradução) «o cliente é conhecido, mas não tem direitos de acesso.» Autenticação versus autorização.

Essa frase curta é o resumo confiável, mas aqui está o teste de protocolo mais preciso se você precisar escolher entre os dois no código ou em uma regra de WAF: 401 exige o desafio WWW-Authenticate — a RFC 9110 o torna obrigatório —, enquanto 403 não o exige, porque uma recusa 403 pode ter motivos sem nenhuma relação com credenciais (bloqueio de IP, regra de permissão, política de limite de taxa). Portanto, “havia credenciais?” não é suficiente para distingui-los — um 401 pode seguir credenciais rejeitadas, não apenas ausentes. Ao decidir qual código retornar, pergunte: estou emitindo um desafio de autenticação (401) ou uma recusa simples (403)?

Eis a reviravolta de SEO que não é óbvia, e é o próprio ponto do Google sobre 403. O Googlebot comum nunca envia credenciais. Portanto, um 403 servido especificamente ao Googlebot significa, nas próprias palavras do Google, que o servidor está errando:

“HTTP 403 means that the user agent provided credentials, but was not granted access. However, Googlebot never provides credentials, so your server is returning this error incorrectly. The page will not be indexed.” (tradução) «O usuário apresentou credenciais, mas não recebeu autorização; como o Googlebot nunca se autentica, um servidor que lhe entrega esse erro está configurado de maneira incorreta. Essa página não entrará no índice.»

Esse é um diagnóstico útil. Um 401 para o Googlebot pode ser intencional (a página está protegida por projeto). Um 403 para o Googlebot geralmente aponta para uma configuração incorreta — o Googlebot não enviou credenciais, portanto nada deveria acionar para ele uma resposta de “credenciais foram negadas”. Se você está vendo 403 em páginas que o Googlebot deveria alcançar, suspeite primeiro da configuração da sua CDN, WAF ou servidor. (Isso descreve os rastreadores comuns do Google. O Google documenta rastreadores especiais e buscadores acionados pelo usuário como categorias separadas, com comportamentos próprios; não generalize a regra “nunca envia credenciais” para toda integração de produto do Google sem verificar.)

A última linha é a conclusão: para indexação, o Google trata os dois de forma idêntica.

Como o Google trata páginas 401

A documentação de códigos de status HTTP do Google é direta sobre a família 4xx:

“Google doesn’t use the content from URLs that return 4xx status codes. If a URL was previously used but is now returning 4xx status code, Google systems will stop using the URL over time. In the case of Google Search, Google doesn’t index URLs that return a 4xx status code, and URLs that are already indexed and return a 4xx status code are removed from the index.” (tradução) «O Google não usa o conteúdo de URLs que retornam códigos de status 4xx. Se uma URL era usada anteriormente, mas agora retorna um código de status 4xx, os sistemas do Google deixarão de usar a URL com o tempo. No caso da Pesquisa Google, o Google não indexa URLs que retornam um código de status 4xx, e URLs que já estão indexadas e retornam um código de status 4xx são removidas do índice.» Evidence for this claim Google does not index 4xx URLs and removes already-indexed 4xx URLs over time. Scope: Google's crawler documentation supports the Search indexing outcome for 401 responses; it does not address access decisions for private users. Confidence: high · Verified: 2026-07-14 Google: How HTTP status codes affect Google's crawlers

E 401 não é uma exceção dentro dessa família. Na tabela da documentação, 401 (unauthorized) e 403 (forbidden) aparecem em linhas separadas, mas compartilham uma única explicação:

“All 4xx errors, except 429, are treated the same: Google crawlers inform the next processing system that the content doesn’t exist.” (tradução) «Todos os erros 4xx, exceto 429, são tratados da mesma forma: os rastreadores do Google informam ao próximo sistema de processamento que o conteúdo não existe.»

Assim, o resultado é binário, não uma queda de posição. Uma página que retorna 401 não “ranqueia mais baixo” — ela não é indexada ou é removida por completo se já estava indexada. Não há penalidade parcial. Isso corresponde à afirmação básica do meu guia de que 4xx fazem páginas saírem do índice. Este artigo é o aprofundamento específico de 401 sobre essa base.

Uma nuance sobre o tempo: a remoção acontece “over time” (tradução) «com o tempo», não na primeira busca malsucedida. A documentação do Google descreve um processo gradual, e historicamente o sistema de rastreamento foi descrito como tolerante a erros de curta duração antes de considerar uma URL realmente desaparecida.

O mito da taxa de rastreamento — 401 NÃO limita o rastreamento

Esse ponto confunde muitos artigos que, de resto, são bons, então quero ser preciso. Um 401 (ou 403) não reduz a taxa de rastreamento do Google. O Google diz isso diretamente:

“Don’t use 401 and 403 status codes for limiting the crawl rate. The 4xx status codes, except 429, have no effect on crawl rate.” (tradução) «Não use códigos de status 401 e 403 para limitar a taxa de rastreamento. Os códigos de status 4xx, exceto 429, não têm efeito sobre a taxa de rastreamento.»

Isso importa porque você verá conselhos de que proteger páginas atrás de um 401 “economiza orçamento de rastreamento” ou “desperdiça orçamento de rastreamento” — ambas as interpretações estão erradas. Somente 429 (e sinais no estilo 5xx, como 503) fazem o Googlebot recuar. Um 401 não é um limitador; é um sinal de “o conteúdo não existe” para indexação, ponto final. Se você realmente quer desacelerar um rastreamento temporariamente, use 429/503 — não 401/403.

Uma observação de escopo, pois é fácil confundir essas duas afirmações: “sem efeito sobre a taxa de rastreamento” diz respeito à taxa de rastreamento geral do seu site. Separadamente, o Google diz que uma URL individual que continua retornando 4xx é rastreada novamente com menos frequência ao longo do tempo — sua própria frequência de novas tentativas diminui gradualmente. São escopos diferentes: o orçamento de rastreamento do site inteiro não é limitado, mas uma URL que persiste em retornar 401 especificamente passa a ser verificada com menos frequência à medida que o Google reduz sua prioridade.

Há também um caso especial que vale conhecer: um 401 em uma página comum e um 401 no próprio /robots.txt não são tratados da mesma forma. Se seu arquivo robots.txt retornar um 4xx diferente de 429 (incluindo 401), o Google trata isso como se nenhum robots.txt existisse — presume que não há restrições de rastreamento desse arquivo, não que o site inteiro ficou inacessível. Não coloque /robots.txt atrás da mesma barreira de autenticação das suas páginas privadas.

Um 401 é sempre um problema? Não.

Um 401 só é um bug quando é não intencional em uma página que você quer tornar pública. Quando a página é genuinamente privada, um 401 é a forma correta de mantê-la fora da busca — e é isso que o Google recomenda. John Mueller explicou de forma simples (relatado pelo Search Engine Journal): a abordagem ideal é uma autenticação no servidor que impeça usuários comuns de verem o conteúdo — “that would include GoogleBot.” (tradução) «isso incluiria o GoogleBot.» (Relatado pelo Search Engine Journal a partir de um hangout do Google de 2019; trate como uma declaração de representante parafraseada com precisão, não como uma citação literal verificada por fragmento.)

A autenticação no servidor (que é o que produz um 401) é o mecanismo recomendado por ele para ocultar conteúdo não público — antes de robots.txt — precisamente porque bloqueia o acesso em vez de apenas pedir aos bots que fiquem fora.

Portanto, a estrutura de decisão é simples:

• Deve continuar como 401: ambientes de staging, áreas exclusivas para membros, ferramentas internas e qualquer coisa genuinamente privada. Funciona como projetado. Não “corrija”.
• Precisa ser corrigido: uma página pública e indexável que retorna 401 por acidente — um falso positivo da CDN/WAF, Basic Auth deixado para trás, token expirado ou conflito entre plugin e middleware.

Implicações de SEO e a armadilha do “para mim funciona”

Os modos práticos de falha:

• Páginas que você quer indexar permanecem invisíveis até que a barreira seja removida.
• Páginas que antes ranqueavam desaparecem se começarem a retornar 401.
• A armadilha do “para mim funciona”: a pessoa que testa está autenticada, conectada ou em um IP permitido — o rastreador não. A orientação do próprio Google para o caso 401 é: “You can verify this error by visiting the page in incognito mode.” (tradução) «Você pode verificar este erro visitando a página no modo anônimo.» Melhor ainda: teste sem autenticação com curl -I https://example.com/page ou use a inspeção de URL/teste ao vivo do Search Console.

Quando você precisar deixar um rastreador real passar, verifique-o por IP/DNS reverso, nunca confiando apenas na string de user-agent — strings de user-agent são trivialmente falsificáveis, então permitir “Googlebot” pelo nome é uma falha de segurança, não uma correção.

E quanto a conteúdo pago ou exclusivo para assinantes?

Um 401 indiscriminado para todos (incluindo o Googlebot) não é sua única opção se você quer que conteúdo protegido ainda ranqueie. O Google aceita indexar conteúdo pago por meio dos dados estruturados isAccessibleForFree, combinados com a concessão de acesso às identidades de rastreadores dedicados do Google para conteúdo de assinantes/usuários registrados. O objetivo da marcação é:

“This structured data helps Google differentiate paywalled content from the practice of cloaking, which violates spam policies.” (tradução) «Esses dados estruturados ajudam o Google a diferenciar conteúdo pago da prática de cloaking, que viola as políticas contra spam.»

O alerta embutido nisso é: servir silenciosamente o conteúdo completo apenas ao Googlebot, sem a divulgação por dados estruturados, é cloaking — um risco para as políticas contra spam. Se você quer que conteúdo protegido seja indexado, faça isso da maneira aprovada (marcação + acesso do rastreador), não por um desvio silencioso.

Como corrigir um 401 indesejado

1. Confirme que ele é realmente indesejado. Esta página deveria ser pública? Se é de staging ou exclusiva para membros, não há nada a corrigir.
2. Remova a exigência de autenticação das páginas públicas — retire o Basic Auth restante (.htaccess/nginx), corrija tokens expirados e resolva conflitos de plugin/middleware.
3. Verifique sua CDN/WAF — e não presuma que já sabe qual camada emitiu o 401. A resposta (e seu cabeçalho WWW-Authenticate) informa que ocorreu um desafio; não informa de onde ele veio — seu aplicativo, um proxy de identidade/autenticação, as regras de gerenciamento de bots da CDN ou WAF e o servidor de origem podem gerar um. Falsos positivos das regras de gerenciamento de bots da edge são uma causa comum; inspecione os logs de cada camada e verifique o Googlebot por DNS reverso antes de permitir qualquer coisa.
4. Deixe rastreadores verificados passarem por IP/DNS reverso, não por user-agent.
5. Não use 401 para tirar do índice uma página que você poderia tornar pública — use noindex (com rastreamento permitido). Uma barreira de login é para conteúdo que precisa ser genuinamente privado.
6. Valide a correção com o teste ao vivo da inspeção de URL — mas trate um resultado aprovado como confirmação da busca atual, não como garantia. O Google não promete um prazo fixo de novo rastreamento, reindexação ou recuperação de ranking depois que você corrige um 401; um teste ao vivo aprovado mostra que a busca ao vivo do Google passou, não que o rastreamento programado ou a indexação já alcançaram a mudança. Dê tempo e verifique novamente o relatório de indexação de páginas, em vez de esperar uma reversão instantânea.

Para o fluxo completo de diagnosticar-corrigir-validar no Google Search Console, especificamente para o status de indexação “Blocked due to unauthorized request (401)” (tradução) «Bloqueada devido a uma solicitação não autorizada (401)», consulte o artigo complementar dedicado — este texto permanece no nível de protocolo/conceito.

Bing

O Bing se comporta funcionalmente da mesma maneira: uma URL que retorna 401 (ou 403) ao Bingbot fica inacessível e não será indexada. O Bingbot precisa de acesso sem autenticação, assim como o Googlebot, e você deve verificá-lo pelas faixas de IP publicadas para permitir a passagem, não pelo user-agent.

Resumo de IA

Uma versão condensada do conteúdo avançado:

• 401 = credenciais ausentes, inválidas ou rejeitadas (“quem é você?”). A RFC 9110 §15.5.2 (que substituiu a RFC 7235) exige um cabeçalho WWW-Authenticate que nomeie o esquema a ser usado pelo cliente — e um 401 não prova que nenhuma credencial foi enviada; ele pode vir depois que credenciais foram enviadas e recusadas.
• 401 vs. 403, o teste confiável: 401 exige o desafio WWW-Authenticate; 403 não, porque uma recusa 403 pode não ter nenhuma relação com credenciais (bloqueio de IP, regra de permissão, limite de taxa). Como o Googlebot comum nunca envia credenciais, um 403 ao Googlebot é, segundo o Google, geralmente uma configuração incorreta do servidor — o Google documenta outras identidades de rastreadores/buscadores separadamente, portanto não generalize isso para todo cliente do Google.
• O resultado da indexação é idêntico: o Google trata todos os 4xx, exceto 429, da mesma forma — o conteúdo “não existe”, portanto não é indexado, e URLs antes indexadas caem com o tempo. É binário, não uma queda de posição.
• Sem efeito na taxa de rastreamento do site inteiro, mas a frequência por URL ainda cai: 401/403 não limitam a taxa geral — somente sinais 429/5xx fazem isso. Separadamente, uma URL individual que continua retornando 4xx é rastreada novamente com menos frequência ao longo do tempo. Além disso, um 401 no próprio /robots.txt é tratado como “nenhum robots.txt existe”, não como bloqueio.
• Um 401 costuma estar correto: autenticação no servidor é a forma endossada pelo Google de ocultar páginas de staging, membros ou privadas. Só é um problema quando atinge uma página que você quer indexar — e a resposta sozinha não informa qual camada (aplicação, proxy de identidade, CDN/WAF ou origem) a produziu.
• Armadilha do “para mim funciona”: você está autenticado; o rastreador não. Teste em modo anônimo, com curl -I ou pela inspeção de URL — um teste ao vivo aprovado só confirma a busca atual, não garante prazo de novo rastreamento/recuperação.
• Paywalls: use a marcação isAccessibleForFree + acesso do rastreador, não um 401 indiscriminado. Servir silenciosamente o conteúdo completo ao Googlebot é cloaking.
• Correção: remova a exigência de autenticação / verifique rastreadores por IP/DNS reverso (nunca user-agent) / use noindex — não 401 — para tirar do índice uma página que você poderia tornar pública.

Documentação oficial

Documentação de fontes primárias do Google e da especificação HTTP.

Google

• Como códigos de status HTTP, erros de rede e DNS afetam a Pesquisa Google — o tratamento da família 4xx, a regra de “tratados da mesma forma” e o alerta sobre taxa de rastreamento para 401/403.
• Relatório de indexação de páginas — as definições dos status “Blocked due to unauthorized request (401)” e “Blocked due to access forbidden (403)”.
• Dados estruturados para conteúdo de assinatura e pago — isAccessibleForFree e a alternativa aprovada a um 401 indiscriminado.
• Verificação do Googlebot e de outros rastreadores do Google — verifique por IP/DNS reverso, não pelo user-agent, antes de permitir a passagem.

Padrões / referência

• RFC 9110 §15.5.2 — Semântica HTTP: 401 Unauthorized — a especificação atual de 401 + WWW-Authenticate (substitui a RFC 7235).
• MDN — 401 Unauthorized — a definição técnica voltada a desenvolvedores (secundária, não específica de SEO).

Citações da fonte

Declarações registradas. Cada link é um link profundo que salta até a passagem citada na página de origem.

Google — como 4xx (incluindo 401) é tratado

• “Google doesn’t use the content from URLs that return 4xx status codes… Google doesn’t index URLs that return a 4xx status code, and URLs that are already indexed and return a 4xx status code are removed from the index.” (tradução) «O Google não usa o conteúdo de URLs que retornam códigos de status 4xx… O Google não indexa URLs que retornam um código de status 4xx, e URLs que já estão indexadas e retornam um código de status 4xx são removidas do índice.» — Documentação do Google Search Central. Ir para a citação
• “All 4xx errors, except 429, are treated the same: Google crawlers inform the next processing system that the content doesn’t exist.” (tradução) «Todos os erros 4xx, exceto 429, são tratados da mesma forma: os rastreadores do Google informam ao próximo sistema de processamento que o conteúdo não existe.» Ir para a citação
• “Don’t use 401 and 403 status codes for limiting the crawl rate. The 4xx status codes, except 429, have no effect on crawl rate.” (tradução) «Para controlar a velocidade de rastreamento, não recorra aos status 401 e 403: exceto 429, os códigos 4xx não alteram essa taxa.» Ir para a citação

Google — Ajuda do Search Console, entradas 401 e 403

• “The page was blocked to Googlebot by a request for authorization (401 response)… You can verify this error by visiting the page in incognito mode.” (tradução) «A página foi bloqueada para o Googlebot por uma solicitação de autorização (resposta 401)… Você pode verificar este erro visitando a página no modo anônimo.» — Ajuda do Google Search Console, relatório de indexação de páginas. Ir para a citação
• “HTTP 403 means that the user agent provided credentials, but was not granted access. However, Googlebot never provides credentials, so your server is returning this error incorrectly. The page will not be indexed.” (tradução) «HTTP 403 significa que o user agent forneceu credenciais, mas não recebeu acesso. No entanto, o Googlebot nunca fornece credenciais, então o servidor está retornando este erro incorretamente. A página não será adicionada ao índice.» Ir para a citação

Google — conteúdo pago

• “This structured data helps Google differentiate paywalled content from the practice of cloaking, which violates spam policies.” (tradução) «Esses dados estruturados ajudam o Google a diferenciar conteúdo pago da prática de cloaking, que viola as políticas contra spam.» — Documentação do Google Search Central. Ir para a citação

MDN — a definição técnica

• “The HTTP 401 Unauthorized client error response status code indicates that a request was not successful because it lacks valid authentication credentials for the requested resource.” (tradução) «O código de status de resposta de erro do cliente HTTP 401 Unauthorized indica que uma solicitação não foi bem-sucedida porque não contém credenciais de autenticação válidas para o recurso solicitado.» — MDN Web Docs (referência técnica secundária, não específica de SEO). Ir para a citação
• “A 401 Unauthorized is similar to the 403 Forbidden response, except that a 403 is returned when a request contains valid credentials, but the client does not have permissions to perform a certain action.” (tradução) «Um 401 Unauthorized é semelhante à resposta 403 Forbidden, exceto que um 403 é retornado quando uma solicitação contém credenciais válidas, mas o cliente não tem permissão para executar determinada ação.» Ir para a citação

John Mueller, Google (relatado pelo Search Engine Journal)

• Sobre ocultar conteúdo não público: a autenticação no servidor que impede usuários comuns de verem o conteúdo — “that would include GoogleBot” (tradução) «isso incluiria o GoogleBot» — é a abordagem ideal. Relatado pelo Search Engine Journal a partir de um hangout do Google de 2019; trate como uma declaração de representante parafraseada com precisão, não como uma citação literal verificada por fragmento.

401 vs. 403 — qual deles estou realmente vendo e preciso corrigi-lo?

As duas perguntas que os leitores realmente têm são: isto é um 401 ou um 403? e isso é um problema? Clique para percorrer o diagnóstico.

Prompt: diagnosticar um 401 não intencional

Cole os cabeçalhos de resposta anônima de uma URL afetada e a configuração relevante de autenticação, CDN ou middleware. Remova tokens, cookies e segredos primeiro.

Diagnose why this public URL returns HTTP 401 to an unauthenticated client. Check for
a valid WWW-Authenticate challenge, separate origin authentication from CDN/WAF and
application middleware, and distinguish an intentional private gate from a public-page
regression. Return: evidence, likely issuing layer, minimum safe fix, and exact
anonymous validation requests. Do not recommend user-agent-only bot allowlisting.

[PASTE SANITIZED HEADERS, LOG EVENT, AND CONFIG]

Prompt: revisar uma exceção de autenticação

Review this proposed crawler-access rule for a gated site. Identify whether it relies
only on a spoofable user-agent, whether crawler identity is verified by published IP
ranges or reverse-and-forward DNS, and whether serving different content would create
a cloaking risk. Give a least-privilege alternative and a rollback test.

[PASTE SANITIZED RULE]

Shell: inspecionar o desafio anônimo

Execute isto em um terminal sem cookies de navegador ou credenciais.

URL='https://example.com/private'
curl -sS -D - -o /dev/null "$URL"

Para um 401 real, inspecione WWW-Authenticate. Uma URL pública que retorna 401 anonimamente, mas 200 no seu navegador conectado, é a armadilha do estado de autenticação descrita acima.

PowerShell: inspecionar a mesma resposta anônima

$response = Invoke-WebRequest -Uri 'https://example.com/private' -SkipHttpErrorCheck
$response.StatusCode
$response.Headers['WWW-Authenticate']

Shell: comparar user agents genérico e de bot declarado

URL='https://example.com/page'
curl -sS -o /dev/null -w 'generic %{http_code}\n' "$URL"
curl -sS -o /dev/null -w 'claimed-bot %{http_code}\n' -A 'Googlebot' "$URL"

A comparação pode revelar uma regra baseada em user-agent, mas não verifica o Googlebot; qualquer cliente pode enviar essa string. Confirme o tráfego real do rastreador separadamente por IP ou DNS reverso e direto antes de alterar as regras de acesso.

Ferramentas para encontrar a camada que retorna 401

• Bulk HTTP Status Code Checker: confirme quais URLs públicas retornam 401 sem a sua sessão de navegador e exporte o conjunto afetado.
• HTTP Header Checker: inspecione WWW-Authenticate, cabeçalhos de cache/CDN e saltos de redirecionamento em busca de pistas sobre a camada emissora.
• Googlebot Verifier: valide evidências de IP do rastreador antes de criar uma exceção de acesso; uma string de user-agent sozinha não prova nada.
• Inspeção de URL do Search Console, teste ao vivo: confirme o que a busca ao vivo do Google consegue acessar depois da correção.
• Eventos de segurança da CDN/WAF e logs da origem: correlacione o ID e o horário da solicitação para determinar se a edge, a aplicação ou a origem gerou o 401.

Teste seus conhecimentos: 401 Unauthorized

Cinco perguntas rápidas sobre o significado de 401 e como os mecanismos de busca lidam com ele. Escolha uma resposta para cada uma e depois confira.

Registro de alterações