Idiomas

Testador de robots.txt

1. robots.txt
2. Páginas para testar
3. Rastreadores

Dados de exemplo — substitua pelos seus

Executado inteiramente no seu navegador — nada do que você cola é enviado ou armazenado. The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). Contadores anônimos de resultados por execução podem ser usados em pesquisas agregadas; URLs, domínios, IPs e identificadores nunca são incluídos, e nenhuma estatística é divulgada com menos de 100 execuções.

Comentários
Relatar um erro

Algo não está funcionando no Testador de robots.txt? Conte o que aconteceu — o relato vai direto para uma fila privada de triagem, não para uma lista pública.

O que será enviado 
 Entradas da ferramenta, uploads, fonte colada, resultados completos, parâmetros de consulta e fragmentos de URL não são anexados automaticamente. Você pode editar ou remover o trecho selecionado acima. Metadados do navegador e de proteção contra abuso são processados para prevenir spam. 
  
 
  
 
 
  
 
 
   
      
 
       
     
        
 
     
    
    
 
Sobre esta ferramenta
Audite em um clique o acesso de rastreadores de IA, LLMs e bots de pesquisa importantes.
Pesquise um domínio, envie uma lista de URLs ou carregue URLs de um sitemap — incluindo um robots.txt ativo separado para cada subdomínio informado, com até 10 origens por execução.
Recursos
  • Correspondência compatível com o Google: vence a regra mais específica, com curingas, fallback de subagente e regras por código de status.
  • Adicione um grupo de user-agent para cada bot de IA — como GPTBot, Google-Extended, ClaudeBot, CCBot e PerplexityBot — com Disallow: /. Use o botão de auditoria de rastreadores de IA para carregá-los e confirmar a correspondência das regras. A conformidade com robots.txt é voluntária; bots confiáveis a respeitam, mas isso não é controle de acesso.
  • O Google renderiza páginas para entendê-las. Se não conseguir buscar o CSS e o JavaScript necessários, pode interpretar incorretamente o layout, o conteúdo ou a compatibilidade móvel. Permita os recursos necessários para renderização e bloqueie apenas caminhos genuinamente dispensáveis.
  • O robots.txt não avisa quando um Disallow colocado incorretamente oculta metade de um site do Google. Teste as URLs com um comparador baseado no parser do próprio Google.
Como funciona
O comparador usa o parser de robots.txt de código aberto do Google: a regra mais específica vence, com curingas, fallback de subagente e regras por código de status. Ele compara cada URL com cada grupo de user-agent e mostra a regra vencedora, conflitos e avisos de lint.
Limitações
  • A comparação é totalmente executada no navegador: arquivos colados nunca saem da sua máquina.
  • O comportamento de rastreadores que não são do Google não é inferido aqui; consulte a documentação do rastreador antes de interpretar o resultado.
Perguntas frequentes
O robots.txt.txt impede que uma página seja indexada?
Não. Disallow bloqueia o rastreamento, não uma indexação. Se outras páginas apontarem para uma URL bloqueada, o Google ainda poderá índiceá-la, normalmente sem trecho. Para manter uma página fora do índice, permita o rastreamento e adicione uma meta tag noindex ou um cabeçalho X-robots.txt-Tag. Isso significa que você não deve também bloqueá-la, pois o Google nunca verá o noindex.
uma ordem das regras não robots.txt.txt importa?
Não para o Google. Ele aplica uma regra mais específica, ou seja, o caminho correspondente mais longo, independentemente da posição não arquivo. Assim, um permita pode substituir um Disallow anterior. Esta ferramenta faz uma correspondência da mesma forma. Alguns outros rastreadores usam uma primeira regra correspondente, portanto mantenha as regras inequívocas.
Qual é uma diferençuma entre Disallow e noindex?
Disallow não robots.txt.txt orienta os rastreadores uma não buscar uma URL. noindex, em uma meta tag ou cabeçalho HTTP da página, orienta que ela não seja mantida não índice. Eles resolvem problemas diferentes, e combiná-los é contraproducente: uma página bloqueada nunca é buscada, então seu noindex nunca é visto.
Bloquear CSS ou JavaScript não robots.txt.txt prejudica o SEO?
Pode prejudicar. O Google renderiza páginas para entendê-las; se não conseguir buscar o CSS e o JS necessários, poderá avaliar incorretamente o estrutura, o conteúdo ou uma compatibilidade com dispositivos móveis. Permita os recursos necessários à renderização e bloqueie apenas caminhos realmente dispensáveis.
Como bloquear rastreadores de IA com robots.txt.txt?
Adicione um grupo usuário-agente para cada robô de IA, como GPTBot, Google-Extended, ClaudeBot, CCBot e PerplexityBot, com Disallow: /. use o robôão de auditoria de rastreadores de IA para carregá-los e confirmar que as regras correspondem. observe que o cumprimento do robots.txt.txt é voluntário: robôs confiáveis o respeitam, mas ele não é um controle de acesso.
 
Próxima etapaGerador de robots.txt — generate a replacement robots.txt with the directives you meant to ship.
Orientações disponíveis em inglês.
As pessoas também exploram
FerramentaGerador de robots.txtFerramentaAnalisador de arquivos de logFerramentaVerificador de acesso de rastreadores de IA
       
 
Problemas comuns e como corrigi-los
 
     
  •  Aviso A diretiva está escrita incorretamente Correção: Corrija a grafia da diretiva para um nome compatível, evitando que os rastreadores a descartem. 
  •  Aviso A diretiva noindex não compatível foi usada Correção: Resultado da análise: remova noindex de robots.txt.txt e use uma meta robots.txt tag ou X-robots.txt-Tag em rastreável URLs em vez disso. 
  •  Informação Crawl-delay é ignorado pelo Google Correção: Remova Crawl-delay para o Google e gerencie a taxa de rastreamento do Googlebot pelo Search Console ou pelos controles de capacidade do servidor. 
  •  Erro A regra aparece antes de qualquer grupo de user-agent Correção: Mova a regra para baixo da linha User-agent do grupo de rastreadores ao qual ela deve se aplicar. 
  •  Aviso Resultado da análise: linha tem não dois-pontos separador Correção: Resultado da análise: adicione ausente dois-pontos entre diretiva nome e valor so analisadores pode leia linha. 
  •  Informação A diretiva desconhecida é ignorada Correção: Resultado da análise: remova não padrão diretiva ou substitua it com uma compatível robots.txt.txt diretiva isso expressa pretendido rastreie regra. 
  •  Informação Resultado da análise: rastreador grupo contém não regras Correção: Adicione as regras Allow ou Disallow pretendidas a este grupo, ou remova o grupo para que o rastreador avance até o grupo curinga. 
  •  Erro O padrão da regra nunca pode corresponder Correção: Resultado da análise: emício caminho padrão com / ou * so correspondência pode começar em emício de URL caminho. 
  •  Aviso Resultado da análise: dólar âncora aparece dentro uma padrão Correção: Mova $ para o fim do padrão se ele deve ancorar o caminho, ou remova-o se um cifrão exato não era pretendido. 
  •  Informação O User-agent está dividido entre vários grupos Correção: Una as regras do mesmo user-agent em um único grupo para que a política efetiva fique clara e fácil de manter. 
  •  Erro Resultado da análise: sitemap URL é não absoluto Correção: Resultado da análise: substitua relativo sitemap não navegador com uma totalmente qualificado URL incluindo HTTPS:// e nome do host. 
  •  Erro O arquivo robots excede 500 KiB Correção: Resultado da análise: reduza robots.txt.txt abaixo 500 KiB por consolidando padrões e removendo redundantes regras antes Google’s truncamento ponto. 
  •  Informação O arquivo robots está vazio Correção: Deixe o arquivo vazio quando todo rastreamento for permitido intencionalmente; caso contrário, adicione grupos explícitos de user-agent e apenas as regras necessárias. 
  •  Erro Resultado da análise: teste URL é bloqueado para selecionado rastreador Correção: Remova ou restrinja a regra Disallow vencedora, ou adicione uma regra Allow mais específica, quando a URL testada deve ser rastreável. 
    •