Why can a robots.txt-blocked URL remain indexed even when its HTML contains noindex?

The crawler cannot fetch the page to discover the noindex rule

Noindex only works on home pages

Robots.txt always overrides noindex by indexing the URL

Noindex is only supported in HTTP headers

Tag Meta Robots

TL;DR — A tag meta robots é uma linha de HTML inserida no <head> de uma página para informar aos mecanismos de busca como tratar aquela página. O uso mais comum é <meta name="robots" content="noindex">, que a retira dos resultados de busca. O detalhe que costuma causar problemas: o Google precisa conseguir rastrear a página para ler a tag. Se a página também estiver bloqueada no robots.txt, o Google não verá a tag, e a URL poderá continuar aparecendo na busca. Sem nenhuma tag, o padrão é indexar a página e seguir os links.

O que é a tag meta robots

A tag meta robots é um pequeno elemento HTML que fica no <head> de uma página:

<meta name="robots" content="noindex">

Ela informa aos mecanismos de busca como tratar essa página específica: se devem exibi-la nos resultados, seguir os links nela, mostrar um snippet e assim por diante. A parte name="robots" se aplica a todos os mecanismos que reconhecem a tag. É possível usar o nome de um rastreador, como name="googlebot", para direcionar a instrução a um único mecanismo.

Quando uma página não tem tag meta robots, o padrão é index, follow: ela pode aparecer na busca e seus links podem ser seguidos. Portanto, a tag só é necessária quando você quer alterar esse comportamento padrão. Evidence for this claim For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Scope: Google-supported robots meta rules; other crawlers publish their own support and defaults. Confidence: high · Verified: 2026-07-14 Google Search Central: Robots meta tag specifications

O ponto essencial: não bloqueie a página que você quer remover com noindex

Esse é o erro que vejo com mais frequência. Para retirar uma página do Google, muita gente faz duas coisas ao mesmo tempo:

Adiciona noindex à página, e
Bloqueia a página no robots.txt.

A segunda medida impede que a primeira funcione. Bloquear uma URL no robots.txt diz ao Google para não buscar a página. Assim, ele não baixa o conteúdo, não lê o noindex, e a URL pode permanecer no índice. A solução é manter a página rastreável para que o Google consiga ler o noindex.

Pense nisso como duas tarefas diferentes:

robots.txt controla o rastreamento: se os robôs podem buscar a página.
A tag meta robots controla a indexação e a exibição: o que acontece depois que a página é buscada.

Os dois controles não são intercambiáveis. Se o objetivo é remover a URL da busca, não use ambos nela.

Noindex is crawl-then-obey: keep the URL crawlable long enough for the search engine to fetch and process the directive. Fonte: Google Search Central

The same page contains a meta robots noindex directive. In the first path, crawling is allowed, so the crawler fetches the page, reads noindex, and can remove the URL from results after processing. In the second path, robots.txt blocks crawling, so the crawler cannot fetch the page or see noindex, and the URL may remain in results. Crawl control and index control are separate jobs.

As diretivas mais comuns

Estas são algumas das que você realmente usará:

noindex — impede que a página apareça nos resultados de busca.
nofollow — impede o rastreador de seguir os links da página. É diferente de aplicar rel="nofollow" a um único link: aqui, a regra vale para todos os links da página.
none — forma abreviada de noindex, nofollow.
nosnippet — impede a exibição de um snippet de texto para a página nos resultados.

As diretivas podem ser combinadas com vírgula: <meta name="robots" content="noindex, nofollow">.

Algumas armadilhas importantes

noindex não torna a página privada. Ela continua pública e rastreável; apenas deixa de aparecer na busca. Para privacidade real, exija autenticação.
noindex não economiza orçamento de rastreamento. O Google ainda precisa buscar a página para ver a tag.
Não é possível adicionar uma tag <meta> a um PDF ou a uma imagem, pois esses recursos não têm um <head> HTML. Para isso existe o cabeçalho HTTP X-Robots-Tag, explicado na versão avançada.
Não há prazo fixo para uma página com noindex sair do Google. Segundo o Google, uma página de baixa prioridade pode levar meses para ser rastreada e processada novamente. Não prometa a um cliente um prazo de “2 a 4 semanas”.

Quer ver a lista completa de diretivas, a forma como o Google resolve conflitos, o caso específico de googlebot versus robots e os detalhes do cabeçalho X-Robots-Tag? Abra a guia Avançado.

Teste seus conhecimentos: diretivas meta robots

Escolha o controle de acordo com o objetivo

Which robots control should I use?

Controles de robots que não cumprem o objetivo

Combinar noindex com um bloqueio no robots.txt. O bloqueio impede o rastreador de ver a diretiva de remoção.
Usar disallow como garantia de desindexação. Ele impede a busca do conteúdo, mas uma URL que recebe links ainda pode ser indexada sem o conteúdo da página.
Presumir que uma tag meta robots no corpo será ignorada. O Google afirma que respeita a tag no corpo; portanto, um modelo que a injeta ali ainda funciona no Google. Mesmo assim, mantenha a tag no <head>, pois esse é o único local que outros rastreadores e validadores certamente esperam.
Usar um token de rastreador que o Google não reconhece, como name="bingbot", e supor que ele também delimita a regra para o Google. O Google reconhece apenas googlebot e googlebot-news; qualquer outro valor em name é completamente ignorado por ele.
Usar uma tag meta HTML em um PDF. Para arquivos não HTML, envie X-Robots-Tag na resposta HTTP.
Tratar nofollow como noindex. Controlar os links não remove a página atual dos resultados.
Publicar tags genéricas e específicas sem resolver o conjunto de regras. Audite em conjunto todas as diretivas em robots, googlebot e cabeçalhos; a regra restritiva pode continuar ativa em outro local.
Usar regras de robots para manter segredo. Qualquer pessoa pode solicitar uma URL pública ou ler o robots.txt; conteúdo confidencial exige autenticação.

Como implantar noindex com segurança

Confirmei que o objetivo é remover da busca, e não reduzir rastreamento, consolidar sinais em uma URL preferencial ou controlar acesso.
Usei <meta name="robots" content="noindex"> em HTML ou o cabeçalho de resposta X-Robots-Tag: noindex em um recurso não HTML.
Mantive a URL rastreável e acessível ao rastreador-alvo.
Removi diretivas contraditórias do modelo, CMS, CDN e de rastreadores específicos.
Verifiquei o head renderizado e a resposta ao vivo, não apenas o modelo-fonte.
Testei tanto a URL preferencial quanto variantes ou redirecionamentos relevantes.
Registrei o conjunto de URLs afetadas e o horário da implantação para comparação posterior.
Confirmei a regra na Inspeção de URL e monitorei o relatório Indexação de páginas após um novo rastreamento.
Usei autenticação quando o conteúdo precisava ser privado.

Inspecione meta tags, cabeçalhos e acesso de rastreamento

Substitua a URL nesta auditoria no shell:

url="https://example.com/page/"
curl -sSI "$url" | grep -iE '^(HTTP/|x-robots-tag:|location:)'
curl -sS "$url" | grep -oiE '<meta[^>]+name=["'"'](robots|googlebot)["'"'][^>]*>'
curl -sS "https://example.com/robots.txt"

No Console do DevTools, liste todas as tags de robots analisadas em vez de parar na primeira correspondência:

console.table([...document.querySelectorAll('meta[name]')]
  .filter((meta) => /^(robots|googlebot|bingbot)$/i.test(meta.name))
  .map((meta) => ({ crawler: meta.name, content: meta.content })));

Os cabeçalhos não aparecem no DOM; por isso, compare o resultado do console com a resposta HTTP real. Siga também os redirecionamentos: uma diretiva em uma resposta intermediária não prova que o destino envia a mesma regra.

Teste cada camada separadamente

HTTP Header Checker — inspecione o status, os redirecionamentos e todos os cabeçalhos X-Robots-Tag enviados, inclusive para PDFs.
Robots.txt Tester — verifique se o rastreador-alvo pode buscar a URL e, portanto, descobrir uma diretiva de robots.

Use as duas ferramentas ao diagnosticar uma URL que insiste em permanecer no índice. Uma resposta noindex correta não produz efeito se o robots.txt impede a busca; da mesma forma, permitir o rastreamento não prova que a página realmente envia noindex.

Comprove que a diretiva funciona depois da implantação

Teste 1 — Entrega ao vivo

Hipótese: todas as URLs pretendidas enviam uma regra efetiva de noindex.
Método: obtenha uma amostra do conjunto de URLs, siga os redirecionamentos e inspecione tanto a meta tag renderizada quanto os cabeçalhos de resposta.
Condição de aprovação: a resposta final pode ser rastreada e apresenta noindex ao rastreador pretendido, sem uma forma de entrega conflitante.
Condição de reprovação: um redirecionamento, cabeçalho de CDN ou tag específica de rastreador altera a regra.
Próxima ação: corrija a camada responsável e repita a mesma amostra.

Teste 2 — Processamento pelo mecanismo de busca

Hipótese: o Google consegue rastrear a página e processou a regra de remoção.
Método: execute o teste ao vivo da Inspeção de URL e, depois, monitore o relatório Indexação de páginas após um novo rastreamento.
Condição de aprovação: o teste ao vivo detecta noindex, e a URL passa a constar como não indexada por esse motivo.
Condição de reprovação: a URL está bloqueada, a diretiva não existe ou o estado antigo do índice persiste sem novo rastreamento.
Próxima ação: restaure o acesso de rastreamento ou solicite um novo rastreamento; não acrescente um disallow.

Meça a intenção, não um benchmark universal

Cobertura pretendida de noindex

URLs serving the intended noindex ÷ URLs in the approved noindex set

Monte o denominador com seu próprio inventário de remoção e compare os rastreamentos anteriores e posteriores à implantação. A meta é cobrir por completo o conjunto aprovado, e não atingir uma porcentagem do setor.

Conflitos não pretendidos de controle de indexação

Acompanhe quantas URLs que deveriam ter noindex continuam indexadas, bloqueadas no robots.txt ou enviando regras contraditórias em meta tags e cabeçalhos. Segmente por modelo, regra de CDN e tipo de arquivo, para que uma falha de implementação não se esconda em um total do site inteiro.

Use o relatório Indexação de páginas e a Inspeção de URL do Google Search Console como evidências do processamento, lembrando que a desindexação depende de um novo rastreamento. Preserve a contagem anterior à mudança e a data da implantação; sem isso, a redução no total não tem uma linha de base confiável.

TL;DR — A tag <meta name="robots" content="…"> no <head> controla como uma página é indexada e exibida; sem a tag, o padrão é index, follow. A lógica é rastrear antes de obedecer: “these settings can be read and followed only if crawlers are allowed to access the pages” (tradução) pt-BR: essas configurações só podem ser lidas e seguidas se os rastreadores tiverem permissão para acessar as páginas. Portanto, uma URL bloqueada no robots.txt não é buscada, e seu noindex não é visto — tenho dados próprios que demonstram o outro lado desse mecanismo. Em caso de conflito, prevalece a regra mais restritiva; ao combinar uma tag googlebot com a tag genérica robots, o Googlebot recebe a soma das regras negativas. A tag funciona somente em HTML; use o cabeçalho X-Robots-Tag para conteúdo não HTML e regras em escala. O Google reconhece somente dois tokens de rastreador, googlebot e googlebot-news, e ignora todos os demais valores, inclusive tokens de outros mecanismos, como bingbot.

O que é, onde fica e qual é o padrão

Nas palavras do Google, a tag meta robots permite “use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” (tradução) pt-BR: usar uma abordagem granular, específica por página, para controlar como uma página HTML deve ser indexada e exibida aos usuários nos resultados da Pesquisa Google. O local convencional e compatível entre mecanismos é o <head>:

<meta name="robots" content="noindex, nofollow">

Todos os mecanismos esperam a tag no <head>, mas o Google deixa claro que essa posição não é uma exigência rígida da Pesquisa Google: “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” (tradução) pt-BR: a Pesquisa Google não exige que a meta robots esteja no head do HTML e também respeita tags meta robots colocadas no body de um documento HTML. Trate isso como uma tolerância específica do Google, não como orientação portável. Continue inserindo a tag no <head> para que todo rastreador e validador que espera o posicionamento padrão consiga lê-la.

O atributo name define o público da regra, e é aqui que muitos guias exageram o suporte do Google. name="robots" se dirige a todos os rastreadores que reconhecem a tag. Além disso, o Google aceita exatamente dois tokens de rastreador e ignora qualquer outro valor: “Google supports two user agent tokens in the robots meta tag; other values are ignored: googlebot for all text results, and googlebot-news for news results.” (tradução) pt-BR: o Google aceita dois tokens de agente do usuário na tag meta robots; os demais valores são ignorados: googlebot para todos os resultados de texto e googlebot-news para resultados de notícias. Uma tag com name="bingbot" não é um controle documentado do Google: o Bing interpreta seu token conforme suas próprias regras, mas o Google ignora qualquer valor de name que não reconheça. Para o Google, os atributos name e content não diferenciam maiúsculas de minúsculas; o mesmo vale para nomes e valores do cabeçalho X-Robots-Tag.

Quando não há tag meta robots, o padrão é index, follow — a regra all, que, segundo o Google, “has no effect if explicitly listed.” (tradução) pt-BR: não produz efeito quando declarada explicitamente.

A tag só é necessária para alterar o padrão.

É possível combinar regras de duas formas: separadas por vírgula na mesma tag (noindex, nofollow) ou distribuídas em várias tags <meta>. Segundo o Google, você pode “create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” (tradução) pt-BR: criar uma instrução com várias regras combinando as regras da tag meta robots com vírgulas ou usando várias tags meta.

A regra que muda tudo: o Google precisa rastrear a página para ver a tag

Este é o ponto central do artigo. A tag meta robots segue a lógica rastrear antes de obedecer. O Google precisa buscar a página para ler a tag; qualquer barreira à busca impede a aplicação da regra. Nas palavras da especificação:

“Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” (tradução) pt-BR: lembre-se de que essas configurações só podem ser lidas e seguidas se os rastreadores tiverem permissão para acessar as páginas que as contêm.

A consequência também está explícita:

“If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” (tradução) pt-BR: se o rastreamento de uma página for impedido pelo arquivo robots.txt, as informações sobre regras de indexação ou exibição não serão encontradas e, por isso, serão ignoradas.

Assim, o erro clássico — usar Disallow no robots.txt e noindex na mesma URL — impede silenciosamente o funcionamento do noindex. O Google não rastreia a página, não vê a tag, e a URL pode permanecer no índice, muitas vezes como resultado sem snippet se receber links. A documentação complementar do Google afirma que a página “must not be blocked by a robots.txt file… If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results.” (tradução) pt-BR: não pode estar bloqueada por um arquivo robots.txt; se a página estiver bloqueada ou o rastreador não conseguir acessá-la, ele nunca verá a regra noindex, e a página ainda poderá aparecer nos resultados.

Observei o outro lado desse mecanismo em dados reais. No experimento A história do bloqueio de 2 páginas bem posicionadas com robots.txt, bloqueei deliberadamente duas de nossas páginas bem posicionadas no robots.txt. Como o Google não podia mais rastreá-las, não conseguia atualizar as informações sobre elas, e as páginas conservaram a maior parte de suas posições: “We lost a position here or there and all of the featured snippets for the pages.” (tradução) pt-BR: perdemos uma posição aqui ou ali e todos os featured snippets dessas páginas. Minha conclusão foi: “Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” (tradução) pt-BR: bloquear por engano, via robots.txt, o rastreamento de páginas que o Google já posiciona provavelmente não terá grande impacto nas posições, e elas provavelmente continuarão aparecendo nos resultados. É o outro lado do problema de noindex: uma URL bloqueada fica congelada. Bloquear não é remover. Para retirar de fato uma página, use um noindex rastreável.

Essa é também a divisão que defendo publicamente entre os controles. Quando me perguntaram se o Google deveria aceitar noindex no robots.txt, respondi: “Google was clear they want robots.txt for crawl control only.” (tradução) pt-BR: o Google deixou claro que quer o robots.txt apenas para controle de rastreamento. Rastreamento é responsabilidade do robots.txt; indexação, da meta tag ou do cabeçalho. As funções não se sobrepõem. A diretiva noindex em robots.txt nunca teve suporte oficial, e o Google deixou de processá-la em 1º de setembro de 2019.

Todas as diretivas meta robots

Valores aceitos pelo Google, acompanhados pelas descrições exatas da especificação e por glossas naturais em pt-BR.

Indexação

all — “There are no restrictions for indexing or serving. This rule is the default value and has no effect if explicitly listed.” (tradução) pt-BR: não há restrições de indexação ou exibição; essa é a regra padrão e não produz efeito quando declarada explicitamente.
noindex — “Do not show this page, media, or resource in search results.” (tradução) pt-BR: não mostre esta página, mídia ou recurso nos resultados.
none — “Equivalent to noindex, nofollow.” (tradução) pt-BR: equivale a noindex, nofollow.
indexifembedded — “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” (tradução) pt-BR: o Google pode indexar o conteúdo de uma página quando ele está incorporado a outra página por iframe ou tag HTML semelhante, apesar de uma regra noindex. É a diretiva que pode prevalecer sobre noindex para conteúdo incorporado.

Links

nofollow — “Do not follow the links on this page.” (tradução) pt-BR: não siga os links desta página. A regra vale para a página inteira, diferentemente de rel="nofollow" em um link específico.

Exibição e snippets

nosnippet — “Do not show a text snippet or video preview in the search results for this page.” (tradução) pt-BR: não mostre snippet de texto nem prévia de vídeo nos resultados para esta página. O alcance é mais amplo que o snippet clássico. Segundo o Google, a regra “applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.” (tradução) pt-BR: aplica-se a todas as formas de resultados do Google e também impede o uso direto do conteúdo como entrada para AI Overviews e AI Mode.
max-snippet:[number] — “Use a maximum of [number] characters as a textual snippet for this search result.” (tradução) pt-BR: use no máximo [number] caracteres no snippet de texto deste resultado. A regra tem o mesmo alcance ampliado de nosnippet: ela “applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” (tradução) pt-BR: aplica-se a todas essas formas de resultado e limita quanto conteúdo pode ser usado diretamente como entrada para AI Overviews e AI Mode. Isso controla a elegibilidade de entrada direta nos recursos de busca com IA do Google; não é uma exclusão geral de treinamento. Google-Extended e o controle separado de IA generativa da Pesquisa no Search Console têm escopos próprios. Não trate nosnippet nem max-snippet como se abrangessem esses dois sistemas.
max-image-preview:[setting] — “Set the maximum size of an image preview for this page in search results.” (tradução) pt-BR: defina o tamanho máximo da prévia de imagem desta página nos resultados. Valores: none, standard e large; para este último, “A larger image preview, up to the width of the viewport, may be shown.” (tradução) pt-BR: pode ser exibida uma prévia maior, até a largura da viewport.
max-video-preview:[number] — “Use a maximum of [number] seconds as a video snippet for videos on this page in search results.” (tradução) pt-BR: use no máximo [number] segundos como snippet de vídeo para os vídeos desta página nos resultados.
notranslate — “Don’t offer translation of this page in search results.” (tradução) pt-BR: não ofereça a tradução desta página nos resultados.
noimageindex — “Do not index images on this page.” (tradução) pt-BR: não indexe as imagens desta página.
unavailable_after:[date/time] — “Do not show this page in search results after the specified date/time.” (tradução) pt-BR: não mostre esta página nos resultados depois da data e hora especificadas.

Históricas — não são mais controles ativos do Google

Algumas diretivas ainda citadas em guias antigos deixaram de ser usadas pelo Google. Não as adicione esperando algum efeito:

noarchive — “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” (tradução) pt-BR: a Pesquisa Google não usa mais a regra noarchive para controlar a exibição de links em cache, pois esse recurso não existe mais.
nocache — sinônimo de noarchive em alguns mecanismos: “The nocache rule isn’t used by Google Search.” (tradução) pt-BR: a regra nocache não é usada pela Pesquisa Google.
nositelinkssearchbox — “The nositelinkssearchbox rule is no longer used by Google Search to control whether the sitelink search box is shown for a given page, as the feature no longer exists.” (tradução) pt-BR: a Pesquisa Google não usa mais essa regra para controlar a caixa de pesquisa de sitelinks, pois o recurso não existe mais.

No nível do trecho, fora da meta tag

O atributo data-nosnippet permite controlar partes da página. Segundo o Google, é possível “designate textual parts of an HTML page not to be used as a snippet… on span, div, and section elements.” (tradução) pt-BR: indicar partes textuais de uma página HTML que não devem ser usadas como snippet em elementos span, div e section. As regras na meta tag abrangem a página inteira; data-nosnippet retira apenas um trecho do snippet.

Como combinar diretivas e resolver conflitos

Duas regras determinam o resultado quando as diretivas entram em conflito.

1. Prevalece a regra mais restritiva. “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” (tradução) pt-BR: quando regras de robots entram em conflito, aplica-se a mais restritiva; se a página tiver um limite de cinquenta caracteres e nosnippet, valerá nosnippet. Como nosnippet restringe mais que um limite de 50 caracteres, ele prevalece.

2. googlebot versus robots: soma das regras negativas. Uma tag com googlebot não substitui simplesmente a tag genérica robots; para o Googlebot, vale a união das restrições. O Google diz: “For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” (tradução) pt-BR: quando vários rastreadores são especificados com regras diferentes, o mecanismo usa a soma das regras negativas. O exemplo oficial é:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

“The page containing these meta tags will be interpreted as having a noindex, nofollow rule when crawled by Googlebot.” (tradução) pt-BR: quando rastreada pelo Googlebot, a página que contém essas tags será interpretada como tendo a regra noindex, nofollow. O nofollow de robots somado ao noindex de googlebot resulta em noindex, nofollow. Quando as tags definem de modo diferente a mesma diretiva, prevalece para aquele rastreador a tag que o nomeia.

Tag meta robots versus X-Robots-Tag — o cabeçalho HTTP

A tag meta robots funciona somente em HTML, pois precisa de um <head>. Para conteúdo não HTML, use X-Robots-Tag, que entrega o mesmo vocabulário de regras no cabeçalho HTTP. O Google afirma: “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” (tradução) pt-BR: a X-Robots-Tag pode fazer parte do cabeçalho de resposta HTTP de uma URL, e qualquer regra aceita na tag meta robots também pode ser especificada nela. A justificativa é direta: “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” (tradução) pt-BR: use X-Robots-Tag em arquivos não HTML, como imagens, nos quais não é possível usar tags meta robots no HTML.

Portanto:

PDF, imagem ou outro recurso não HTML? Não é possível adicionar uma tag <meta>; use o cabeçalho, por exemplo X-Robots-Tag: noindex.
Diretórios ou padrões inteiros? Configure o cabeçalho no servidor ou CDN para abranger caminhos inteiros com uma única regra.
Um mecanismo específico? O cabeçalho também pode nomear um rastreador: X-Robots-Tag: googlebot: noindex, nofollow; vários cabeçalhos X-Robots-Tag podem coexistir na mesma resposta.

São as mesmas regras em dois meios de entrega: meta tag para páginas HTML e cabeçalho para todo o restante ou para aplicação em escala.

Quais diretivas o Bing e outros mecanismos aceitam

Não presuma que o conjunto de diretivas seja universal. O Bing aceita as regras centrais de indexação e exibição: noindex, nofollow, noarchive (nocache como sinônimo) e nosnippet; também respeita X-Robots-Tag em recursos não HTML. O Bing não aceita a forma abreviada none. Para compatibilidade entre mecanismos, escreva noindex, nofollow por extenso. A família de controles de snippet e prévia — max-snippet, max-image-preview, max-video-preview — junto com noimageindex, notranslate, indexifembedded e unavailable_after, é na prática específica do Google. Na dúvida, escreva cada diretiva explicitamente e trate os controles max-* como recursos do Google.

Erros comuns e como corrigi-los

Disallow e noindex na mesma URL. O noindex não é visto. Mantenha a página rastreável e apenas o noindex.
noindex com rel=canonical apontando para outra URL. Os sinais conflitam: você pede ao Google que remova a página e, ao mesmo tempo, consolide seus sinais em outra. Escolha um objetivo. Veja mais em canonicalização.
Um noindex de todo o ambiente de homologação enviado para produção. Isso pode desindexar o site inteiro. Verifique antes do lançamento.
noindex injetado somente por JavaScript no cliente. O Google precisa renderizar a página para vê-lo; se o HTML renderizado diferir do esperado, o comportamento também será diferente. Prefira a tag no HTML bruto ou no cabeçalho.
Esperar que o Bing respeite diretivas específicas do Google, como none e a família max-*.
Esperar que uma diretiva de robots execute uma tarefa que não lhe pertence. noindex ou nosnippet, isoladamente, não garante economia de rastreamento, sigilo, mudança de posição, comportamento igual entre mecanismos, prazo fixo de remoção nem exclusão de toda superfície de IA ou busca. Use autenticação para sigilo, robots.txt para rastreamento e os controles próprios de cada mecanismo para os demais objetivos. O Google não dá prazo fixo para uma página com noindex sair dos resultados; conforme a prioridade de rastreamento, isso “may take months”. (tradução) pt-BR: pode levar meses.

No quadro geral, robots.txt e rastreamento cuidam do acesso do robô; noindex e indexação, da presença no índice; nosnippet, data-nosnippet, max-snippet e max-image-preview, de como uma página indexada aparece. X-Robots-Tag é o equivalente em cabeçalho HTTP da tag meta robots para conteúdo não HTML.

Resumo por IA

Uma síntese da versão avançada:

A tag meta robots — <meta name="robots" content="…"> no <head> — controla como uma página HTML é indexada e exibida. Sem a tag, o padrão é index, follow.
A lógica é rastrear antes de obedecer. O Google precisa rastrear a página para ler a tag: “these settings can be read and followed only if crawlers are allowed to access the pages.” (tradução) pt-BR: essas configurações só podem ser lidas e seguidas se os rastreadores puderem acessar as páginas. Assim, o noindex de uma URL bloqueada no robots.txt nunca é visto. O experimento de Patrick com páginas bloqueadas demonstra o mecanismo: elas permaneceram indexadas e conservaram a maior parte das posições. Bloquear não é remover.
robots.txt controla o rastreamento; meta robots ou X-Robots-Tag controlam indexação e exibição. Os controles não são intercambiáveis. O Google deixou de processar noindex em robots.txt em 1º de setembro de 2019.
Diretivas: indexação (noindex, none, indexifembedded), links (nofollow, para a página inteira), exibição (nosnippet, max-snippet, max-image-preview, max-video-preview, notranslate, noimageindex, unavailable_after) e o atributo data-nosnippet no nível do trecho. noarchive, nocache e nositelinkssearchbox são históricos e não são mais usados pelo Google.
nosnippet e max-snippet também alcançam AI Overviews e AI Mode. Eles controlam se e quanto conteúdo da página pode ser usado diretamente como entrada nesses recursos, e não apenas o snippet clássico. Não são uma exclusão geral de treinamento; Google-Extended e o controle separado de IA generativa da Pesquisa são outros sistemas.
Em conflitos, prevalece a regra mais restritiva. nosnippet supera max-snippet:50. Ao combinar uma tag googlebot com a genérica robots, o Googlebot recebe a soma das regras negativas: robots: nofollow + googlebot: noindex resulta em noindex, nofollow. O Google reconhece somente googlebot e googlebot-news; valores como bingbot são ignorados por ele.
A convenção portável é colocar a meta tag no <head>. O Google também tolera a tag no body, mas essa tolerância não é portável. O cabeçalho X-Robots-Tag leva as mesmas regras para PDFs, imagens, outros recursos não HTML e diretórios inteiros.
Entre mecanismos: o Bing aceita noindex, nofollow, noarchive (nocache) e nosnippet, mas não none. A família max-* é, na prática, específica do Google; escreva as diretivas por extenso.
Sem garantias indevidas: uma diretiva de robots não assegura economia de rastreamento, sigilo, mudança de posição, paridade entre mecanismos nem prazo fixo de remoção. O Google não define quanto tempo noindex leva para surtir efeito.

Documentação oficial

Documentação primária dos mecanismos de busca.

Google

Especificações da tag meta robots, data-nosnippet e X-Robots-Tag — especificação oficial com todas as diretivas, combinações, resolução de conflitos, união de googlebot e robots e o cabeçalho X-Robots-Tag.
Bloquear a indexação com noindex — funcionamento de noindex, as duas formas de entrega e a dependência do rastreamento.
Introdução ao robots.txt — o controle correspondente de rastreamento, para não confundir as duas funções.
Rastreamento e indexação — central de robots, sitemaps, canonicalização e controles de rastreamento.

Bing / Microsoft

Tags e atributos meta robots aceitos pelo Bing — lista de diretivas aceitas pelo Bing; confirme a relação exata na página ao vivo, que é renderizada por JavaScript.

Referência

MDN — <meta name="robots"> — referência entre mecanismos, incluindo quais usam noarchive e nocache.

Citações da fonte

Declarações oficiais do Google. Cada link leva diretamente ao trecho citado na página de origem. As citações permanecem em inglês e são seguidas por uma glossa natural identificada em pt-BR.

Google — o que é a tag e qual é o padrão

“The robots meta tag lets you use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” (tradução) pt-BR: a tag meta robots permite uma abordagem granular, específica por página, para controlar como uma página HTML deve ser indexada e exibida aos usuários nos resultados da Pesquisa Google. — Documentação da Central da Pesquisa Google. Ir para a citação

Google — dependência de rastrear antes de obedecer

“Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” (tradução) pt-BR: lembre-se de que essas configurações só podem ser lidas e seguidas se os rastreadores puderem acessar as páginas que as contêm. Ir para a citação
“If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” (tradução) pt-BR: se o rastreamento de uma página for impedido pelo arquivo robots.txt, as informações sobre regras de indexação ou exibição não serão encontradas e, por isso, serão ignoradas. Ir para a citação
“For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” (tradução) pt-BR: para a regra noindex produzir efeito, a página ou o recurso não pode estar bloqueado pelo robots.txt e precisa estar acessível ao rastreador de outra forma. — Google, “Bloquear a indexação com noindex”. Ir para a citação

Google — descrições exatas das diretivas

“Do not show this page, media, or resource in search results.” (tradução) pt-BR: não mostre esta página, mídia ou recurso nos resultados de busca. — noindex. Ir para a citação
“Equivalent to noindex, nofollow.” (tradução) pt-BR: equivale às diretivas noindex, nofollow; esta é a forma abreviada representada por none. Ir para a citação
“Do not show a text snippet or video preview in the search results for this page.” (tradução) pt-BR: não mostre snippet de texto nem prévia de vídeo nos resultados para esta página. — nosnippet. Ir para a citação
“Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” (tradução) pt-BR: o Google pode indexar o conteúdo de uma página quando ele está incorporado a outra por iframe ou tag HTML semelhante, apesar de uma regra noindex. — indexifembedded. Ir para a citação
“A larger image preview, up to the width of the viewport, may be shown.” (tradução) pt-BR: pode ser exibida uma prévia maior da imagem, até a largura da viewport. — max-image-preview:large. Ir para a citação
“Do not index images on this page.” (tradução) pt-BR: não indexe as imagens desta página. — noimageindex. Ir para a citação
“You can designate textual parts of an HTML page not to be used as a snippet.” (tradução) pt-BR: você pode indicar partes textuais de uma página HTML que não devem ser usadas como snippet. — data-nosnippet. Ir para a citação

Google — combinação e resolução de conflitos

“You can create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” (tradução) pt-BR: você pode criar uma instrução com várias regras combinando as regras da tag meta robots com vírgulas ou usando várias tags meta. Ir para a citação
“In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” (tradução) pt-BR: quando regras de robots entram em conflito, aplica-se a mais restritiva; por exemplo, se uma página tiver uma regra que limita o snippet a cinquenta caracteres e nosnippet, valerá nosnippet. Ir para a citação
“For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” (tradução) pt-BR: quando vários rastreadores são especificados com regras diferentes, o mecanismo usa a soma das regras negativas. Ir para a citação

Google — posicionamento, tokens de rastreador e distinção entre maiúsculas e minúsculas

“Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” (tradução) pt-BR: a Pesquisa Google não exige que a meta robots esteja no head do HTML e também respeita tags meta robots no body de um documento HTML. Ir para a citação
“Google supports two user agent tokens in the robots meta tag; other values are ignored.” (tradução) pt-BR: o Google aceita dois tokens de agente do usuário na tag meta robots; os demais valores são ignorados. Ir para a citação
“Both the name and the content attributes are case-insensitive.” (tradução) pt-BR: os atributos name e content não diferenciam maiúsculas de minúsculas. Ir para a citação

Google — noarchive e outras diretivas históricas

“The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” (tradução) pt-BR: a Pesquisa Google não usa mais noarchive para controlar a exibição de links em cache, pois esse recurso não existe mais. Ir para a citação
“The nocache rule isn’t used by Google Search.” (tradução) pt-BR: a regra nocache não é usada pela Pesquisa Google. Ir para a citação

Google — nosnippet e max-snippet em AI Overviews e AI Mode

“[nosnippet] applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.” (tradução) pt-BR: nosnippet aplica-se a todas as formas de resultados do Google e também impede o uso direto do conteúdo como entrada para AI Overviews e AI Mode. Ir para a citação
“[max-snippet] applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” (tradução) pt-BR: essa diretiva aplica-se a todas essas formas de resultados e também limita quanto conteúdo pode ser usado diretamente como entrada para AI Overviews e AI Mode. Ir para a citação

Google — não há prazo fixo para noindex surtir efeito

“If a page is still appearing in results, it’s probably because we haven’t crawled the page since you added the noindex rule. Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.” (tradução) pt-BR: se a página ainda aparece nos resultados, é provável que não tenha sido rastreada desde a adição de noindex; dependendo da importância da página na internet, o Googlebot pode levar meses para revisitá-la. — Google, “Bloquear a indexação com noindex”. Ir para a citação

Google — X-Robots-Tag

“The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” (tradução) pt-BR: X-Robots-Tag pode fazer parte do cabeçalho de resposta HTTP de uma URL, e qualquer regra aceita na tag meta robots também pode ser especificada nela. Ir para a citação
“You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” (tradução) pt-BR: use X-Robots-Tag em arquivos não HTML, como imagens, nos quais não é possível usar tags meta robots em HTML. Ir para a citação

Patrick Stox — robots.txt serve apenas para controle de rastreamento

“Google was clear they want robots.txt for crawl control only. The biggest downside will probably be all the people who accidentally take their entire site out of the index.” (tradução) pt-BR: o Google deixou claro que quer o robots.txt apenas para controle de rastreamento. O maior problema provavelmente serão todas as pessoas que, por engano, retirarem o site inteiro do índice. — Patrick Stox, sobre o Google aceitar noindex em robots.txt, no Search Engine Land. Ir para a citação

Patrick Stox — bloqueio de páginas posicionadas no robots.txt (a comprovação da diferença entre rastreamento e indexação)

“Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” (tradução) pt-BR: bloquear por engano, via robots.txt, o rastreamento de páginas que o Google já posiciona provavelmente não terá grande impacto nas posições, e elas provavelmente continuarão aparecendo nos resultados. Ir para a citação
“We lost a position here or there and all of the featured snippets for the pages.” (tradução) pt-BR: perdemos uma posição aqui ou ali e todos os featured snippets dessas páginas. Ir para a citação

Nota sobre fontes retransmitidas: a orientação de John Mueller “use noindex, not robots.txt” (tradução) pt-BR: use noindex, não robots.txt — é relatada pelo Search Engine Roundtable, cuja página resiste à coleta automatizada; a lista de diretivas aceitas pelo Bing, na ajuda do Bing Webmaster Tools, é renderizada por JavaScript. Esses pontos são parafraseados aqui sem aspas e devem ser confirmados nas páginas ao vivo antes de serem tratados como citações literais.

Todas as diretivas meta robots — referência rápida

Conjunto de valores de content aceitos pelo Google, a função de cada um e o padrão.

Diretiva	O que faz	Padrão?
`all`	Sem restrições de indexação ou exibição; é o padrão implícito	Sim (sem tag)
`index`	Permite a página nos resultados; é o padrão e raramente precisa ser escrito	Implícito
`noindex`	Mantém a página, mídia ou recurso fora dos resultados	Não
`follow`	Segue os links da página; é o padrão e raramente precisa ser escrito	Implícito
`nofollow`	Não segue nenhum link da página; vale para a página inteira	Não
`none`	Forma abreviada de `noindex, nofollow`; o Bing não aceita	Não
`nosnippet`	Não mostra snippet de texto nem prévia de vídeo; também bloqueia o uso direto da página em AI Overviews e AI Mode	Não
`max-snippet:[n]`	Limita o snippet de texto a `[n]` caracteres (`0` = nenhum, `-1` = sem limite) e limita o uso direto em AI Overviews e AI Mode	Não
`max-image-preview:[setting]`	Limita a prévia de imagem: `none`, `standard` ou `large`	Não
`max-video-preview:[n]`	Limita a prévia de vídeo a `[n]` segundos (`0` = nenhuma, `-1` = sem limite)	Não
`notranslate`	Não oferece tradução da página nos resultados	Não
`noimageindex`	Não indexa as imagens da página	Não
`unavailable_after:[date/time]`	Retira a página dos resultados após a data e hora informadas	Não
`indexifembedded`	Permite indexar conteúdo incorporado por iframe mesmo com `noindex`	Não

Históricas — o Google não usa mais:

Diretiva	Status
`noarchive`	Não é mais usada; o recurso de link em cache deixou de existir
`nocache`	Não é usada pela Pesquisa Google; alguns mecanismos a tratavam como sinônimo de `noarchive`
`nositelinkssearchbox`	Não é mais usada; a caixa de pesquisa de sitelinks deixou de existir

No nível do trecho — atributo HTML, não valor de content:

Atributo	O que faz	Onde
`data-nosnippet`	Mantém um trecho específico fora do snippet	Em `span`, `div` ou `section`

Sintaxe

<!-- one tag, comma-separated -->
<meta name="robots" content="noindex, nofollow">

<!-- target one engine -->
<meta name="googlebot" content="noindex">

<!-- the HTTP-header equivalent, for non-HTML / at scale -->
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: noindex, nofollow

Fatos rápidos

Sem tag → padrão index, follow.
none = noindex, nofollow, mas o Bing não aceita none; escreva por extenso.
max-*, noimageindex, notranslate, indexifembedded e unavailable_after são, na prática, específicas do Google.
A tag funciona somente em HTML; a X-Robots-Tag leva as mesmas regras a PDFs, imagens e diretórios inteiros.
O Google lê exatamente dois tokens de rastreador: googlebot e googlebot-news; todo o restante, inclusive bingbot, é ignorado por ele.
O head é a convenção portável, embora o Google também respeite uma meta robots no <body>.
Para o Google, name, content e os valores de X-Robots-Tag não diferenciam maiúsculas de minúsculas.

Modelos mentais

1. Rastrear antes de obedecer: a tag só funciona se a página puder ser buscada. O Google precisa rastrear a página para ler a tag. Qualquer barreira à busca — Disallow no robots.txt, autenticação ou erro do servidor — impede que a regra seja vista. Antes de confiar em noindex, confirme que a URL é rastreável. Logo, nunca use Disallow em uma URL que você pretende retirar com noindex.

2. Três ferramentas, três tarefas: não as confunda.

robots.txt = controle de rastreamento; define se os robôs buscam a página.
Tag meta robots / X-Robots-Tag = controle de indexação e exibição; define o que acontece depois que o recurso é buscado.
Autenticação = sigilo; uma página com noindex continua pública. Associe cada tarefa ao controle correto. O erro mais comum é tentar desindexar com robots.txt, uma função da meta tag.

3. Regra de decisão para remover uma página. Quer a página fora da busca? Mantenha-a rastreável e adicione noindex; não a bloqueie também no robots.txt nem aponte sua canonical para outra URL. Quer que os robôs ignorem todo um espaço de URLs, sem se importar com indexação? Use disallow no robots.txt. Os controles não são intercambiáveis.

4. Resolução de conflitos: prevalece a regra mais restritiva. Quando as regras colidem, vale a mais rígida: nosnippet supera max-snippet:50. Não tente produzir uma exceção com combinações; suponha que a restrição mais severa será aplicada.

5. googlebot versus robots: soma das regras negativas, não substituição. Para o Googlebot, as restrições da tag genérica robots são somadas às da tag googlebot. robots: nofollow + googlebot: noindex resulta em noindex, nofollow. Quando ambas definem de modo diferente a mesma diretiva, prevalece a tag que nomeia o rastreador, mas a união das restrições é a regra que você deve lembrar.

6. Página HTML → meta tag; todo o restante → cabeçalho. Se o recurso tem <head>, use a tag <meta>. Para PDF, imagem, qualquer arquivo não HTML ou um diretório inteiro, use o cabeçalho X-Robots-Tag: o mesmo vocabulário de regras em outro meio de entrega.

Registro de alterações

Atualizado em 13 de ago. de 2026.

Resumo editorial e detalhes registrados da alteração.

Detalhes da alteração

As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.

Não é possível fazer a comparação completa — nenhum instantâneo anterior foi arquivado para esta revisão.

Atualizado em 18 de jul. de 2026.

Resumo editorial e detalhes registrados da alteração.

Detalhes da alteração

As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.
As notas detalhadas sobre as alterações estão disponíveis atualmente em inglês.

Não é possível fazer a comparação completa — nenhum instantâneo anterior foi arquivado para esta revisão.

Tag Meta Robots

O que é a tag meta robots

O ponto essencial: não bloqueie a página que você quer remover com noindex

As diretivas mais comuns

Algumas armadilhas importantes

Teste seus conhecimentos: diretivas meta robots

Escolha o controle de acordo com o objetivo

Controles de robots que não cumprem o objetivo

Como implantar noindex com segurança

Inspecione meta tags, cabeçalhos e acesso de rastreamento

Teste cada camada separadamente

Comprove que a diretiva funciona depois da implantação

Meça a intenção, não um benchmark universal

O que é, onde fica e qual é o padrão

A regra que muda tudo: o Google precisa rastrear a página para ver a tag

Todas as diretivas meta robots

Como combinar diretivas e resolver conflitos

Tag meta robots versus X-Robots-Tag — o cabeçalho HTTP

Quais diretivas o Bing e outros mecanismos aceitam

Erros comuns e como corrigi-los

Resumo por IA

Documentação oficial

Citações da fonte

Todas as diretivas meta robots — referência rápida

Modelos mentais

Registro de alterações

Atualizado em 13 de ago. de 2026.

Detalhes da alteração

Atualizado em 18 de jul. de 2026.

Detalhes da alteração

Add an expert note

Pin an expert quote