Gerador de robots.txt
Crie seu arquivo
Selecione os grupos de rastreadores para bloquear. Os de busca continuam permitidos, a menos que você os selecione explicitamente.
Esta diretiva não padrão é gerada apenas para Bingbot. O Google não a processa; O Bing documenta valores de 1–20 segundos. Ela é omitida se você bloquear o Bingbot.
Executado inteiramente no seu navegador — nada do que você cola é enviado ou armazenado. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Contadores anônimos de resultados por execução podem ser usados em pesquisas agregadas; URLs, domínios, IPs e identificadores nunca são incluídos, e nenhuma estatística é divulgada com menos de 100 execuções.
robots.txt gerado
Bloquear ≠ remover do índice. Disallow pede aos rastreadores que o respeitam que não acessem uma URL; ele não remove uma URL que um mecanismo de busca já conhece.
Prévia de correspondência ao vivo
Precisa de uma matriz completa de bots × URL? Abra o testador de robots.txt →Sobre esta ferramenta
Grátis, sem cadastro. Set um simple default policy, escolha o bot groups para bloquear, então test representative URLs against o gerado file antes publicação isso.
Build um claro robots.txt com rastreador presets, ativo Google-style URL correspondente, um sitemap line, e copy-ready saída.
Recursos
- Selecione rastreador groups para bloquear. Pesquisa rastreadores permanecem allowed unless você explicitly selecione them.
- Escolha que bot categories deve não rastreamento o site. Adicione seu absolute sitemap URL if você têm um. Paste um few importante URLs e um bot nome para confirm o pretendido resultado. Copy o file para o site root como /robots.txt .
- Isso gives rastreadores um explicit absolute URL para seu XML sitemap. Isso é optional, but usually useful para discoverability.
- O saída usa separate user-agent groups e Disallow: / rules, so o intention é easy para auditar. Isso usa o mesmo Google-style matcher como o robots.txt Tester , including longest-match-wins comportamento.
Como funciona
O saída usa separate user-agent groups e Disallow: / rules, so o intention é easy para auditar. Isso usa o mesmo Google-style matcher como o robots.txt Tester , including longest-match-wins comportamento.
Limitações
- robots.txt é não security, e isso é não um deindexing ferramenta. Faça não listar sensitive caminhos expecting them para stay secret; o file é público. Usar access controls para privado material e noindex para índice removal.
- Não. robots.txt é um público, voluntary rastreamento preference, não access control. Usar autenticação, um WAF, ou taxa limiting para proteger privado conteúdo.
Perguntas frequentes
Bloquear um robô remova minhas páginas do índice?
Não. O robots.txt.txt controla o rastreamento, não se uma URL permanece indexada. use uma diretiva noindex em uma página rastreável quando precisar de um sinal de desindexação.
Todos os crawlers obedecerão a este arquivo?
Não. O robots.txt é uma preferência pública e voluntária de rastreamento, não um controle de acesso. Use autenticação, um WAF ou limitação de taxa para proteger conteúdo privado.
Por que preciso de uma linha sitemap?
Ela fornece aos rastreadores uma URL absoluta e explícita para seu sitemap XML. É opcional, mas geralmente útil para descoberta.
Problemas comuns e como corrigi-los
- Aviso Resultado da análise: gerado política bloqueia uma selecionado AI rastreador Correção: Resultado da análise: remova selecionado rastreador’s Disallow regra, ou restrito it para apenas caminhos isso deve permanecem indisponível para isso AI rastreador.
- Aviso Resultado da análise: gerado política bloqueia uma pesquisa rastreador Correção: Resultado da análise: remova ou restrito Googlebot/Bingbot Disallow regra so páginas pretendido para orgânico pesquisa são rastreável.
- Aviso Resultado da análise: sensível caminho é não não permitido Correção: Resultado da análise: adicione explícito Disallow regras para não-público administração, ambiente de teste, carrinho, ou interno-pesquisa caminhos, enquanto protegendo realmente sensível dados com autenticação em vez de do que robots.txt.txt.
- Informação Resultado da análise: gerado arquivo tem não sitemap declaração Correção: Resultado da análise: adicione uma absoluto sitemap: HTTPS://…/sitemap.XML declaração apontando para canonical, publicamente acessível sitemap ou sitemap índice.
- Aviso Resultado da análise: gerado grupos contenham conflitantes regras Correção: Una as regras do mesmo agente de usuário em um único grupo e resolva caminhos de permissão e bloqueio sobrepostos para expressar uma política intencional. <!-- User-agent Allow Disallow -->