Permission
Is the crawler allowed?
Verificador de acesso de rastreadores de IA
Free, no signup. “Am I letting ChatGPT, Claude, Perplexity, and Google’s AI read this page — and did I mean to?” Enter a URL and get the answer for every major AI crawler, with the exact robots.txt rule that decided it.
Five separate tests · registry 2026-07-29
Crawler access is only the first layer
Extractability
Are useful facts present in raw HTML?
Renderability
Does JavaScript successfully expose them?
Operability
Can an agent identify and use semantic controls?
Commerce readiness
Do page, schema, feed and checkout facts agree?
HTML remains primary. llms.txt, UCP, and other protocol files are optional distribution layers and cannot compensate for inaccessible or unextractable HTML.
Validate a protocol response
Upload verified-bot log evidence
Expected columns: crawler, timestamp, url, status, verification. A user-agent string alone is never treated as verified identity.
No log evidence uploaded.
robots.txt is advisory, not a lock. It tells cooperating crawlers what you prefer — it does
not enforce anything. Some crawlers below are reported to ignore it (flagged ⚠). To actually stop a
crawler, block it at your CDN/WAF and verify it's genuine by IP.
As verificações são executadas em nosso servidor; buscamos a URL informada e não guardamos os resultados. Contadores anônimos de resultados por execução podem ser usados em pesquisas agregadas; URLs, domínios, IPs e identificadores nunca são incluídos, e nenhuma estatística é divulgada com menos de 100 execuções.
+ salva o site ou a página atual. Use ☆ ao lado de qualquer site, página ou lista salva para adicioná-la aos favoritos. O histórico de verificações recentes aparece abaixo.
Criar uma lista nomeada
Alvo preenchido a partir das suas escolhas locais.
Passaporte do site Contexto local deste site salvo
Dados locais
Alvos salvos, listas nomeadas e resumos de verificações recentes permanecem apenas neste navegador.
Google AI Overviews: there is no separate AI Overviews crawler and no full AI-Overviews-only opt-out that leaves ordinary Search unchanged. Blocking Googlebot prevents crawling but does not by itself guarantee that a known URL disappears from Search.
nosnippet, max-snippet, and data-nosnippet can limit preview/use but also affect normal Search snippets. Google-Extended only controls Gemini/Vertex training and grounding, not Search or Overviews.
Engine-specific limits: this checker evaluates the currently fetched file. Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days and may behave as if the file is absent when they cannot fetch it; a failed checker fetch is not proof that Amazon saw the same failure. Page-level controls are separate: Apple says
nosnippet can block content from generative-model context without preventing title-based discovery, while Bing documents AI-answer/training effects for noarchive and noindex. Use the page audit or extension to inspect those meta and HTTP-header directives.
Search & answer citation
These fetch pages to answer questions and cite sources. Blocking a cooperating crawler can prevent that crawler from accessing the page, but it does not guarantee absence from every answer or citation.
User-triggered assistant fetches
Model training
These collect pages for model training. A provider's documented robots control governs future crawling; it does not remove content already collected or guarantee deletion from an existing training dataset.
Avaliar esta ferramenta
Set your posture → robots.txt block
Pick what to block; copy the generated rules into your robots.txt.
Blocking here means “documented posture,” not enforcement — a cooperating crawler will honor it; a hostile one may not.
Crawler roster last reviewed . Data is hand-maintained and editable (src/data/ai-crawlers.json).
Sobre esta ferramenta
Grátis e sem cadastro. “Estou permitindo que o ChatGPT, Claude, Perplexity e a IA do Google leiam esta página — e essa era a minha intenção?” Informe uma URL e obtenha a resposta para cada grande rastreador de IA, com a regra exata do robots.txt que determinou o resultado.
Veja se o ChatGPT, Claude, Perplexity e a IA do Google podem ler uma página — e se você pretendia permitir isso — com a regra exata do robots.txt que decidiu o resultado.
Recursos
- Os rastreadores são divididos entre recuperação ativa e citação de respostas, para bots que buscam páginas agora para responder e citar, e treinamento de modelos, para bots que coletam páginas para treinar modelos.
- Não existe um rastreador separado para as Visões Gerais Criadas por IA, e o Google não oferece uma desativação completa apenas para esse recurso que mantenha a página inalterada na Busca. Bloquear o Googlebot impede o rastreamento, mas não garante por si só que uma URL conhecida desapareça da Busca. Os controles de snippets também afetam os snippets comuns da Busca. O Google-Extended controla separadamente o treinamento e a fundamentação do Gemini/Vertex, não a Busca nem as Visões Gerais Criadas por IA.
- Sinaliza rastreadores relatados como ignorando robots.txt e identifica cada um como verificável ou não verificável por IP, com referência cruzada ao cadastro do Verificador de bots.
- Assim, você pode definir deliberadamente a postura para cada tipo de modelo.
Como funciona
Como funciona: a correspondência é executada no navegador com um comparador adaptado do analisador de robots.txt de código aberto do Google. O servidor apenas busca o robots.txt do site e verifica se existe um llms.txt, pois o navegador não pode solicitar diretamente arquivos de outro domínio por causa do CORS.
Limitações
- robots.txt é uma orientação, não um bloqueio. Ele informa aos rastreadores cooperativos o que você prefere, mas não impõe nada. Alguns rastreadores abaixo são relatados como ignorando o arquivo, e a ferramenta os sinaliza com ⚠. Para realmente impedir um rastreador, bloqueie-o na CDN ou no WAF e verifique pelo IP se a solicitação é genuína.
- O arquivo robots.txt não impõe bloqueios. Operadores responsáveis o respeitam, mas um rastreador hostil pode ignorá-lo; a aplicação efetiva exige controles na CDN ou no WAF e verificação da identidade da solicitação.
Perguntas frequentes
Bloquear o GPTBot impede o ChatGPT de citar meu site?
Não por si só. O GPTBot é o rastreador de treinamento da OpenAI — bloqueá-lo exclui seu conteúdo de futuros treinamentos de modelos, mas não impede os robôs de recuperação em tempo real que buscam páginas para responder perguntas e citar fontes. Esses robôs são o OAI-SearchBot (resultados e citações da pesquisa do ChatGPT) e o ChatGPT-User (uma página buscada quando um usuário segue um link). Para ficar fora das respostas do ChatGPT, você teria que bloqueá-los também; o verificador os lista separadamente em “Recuperação em tempo real e citação de respostas”.
Posso excluir meu site das AI Overviews do Google com o robots.txt?
Não existe um rastreador separado para AI Overviews, e o Google não oferece uma exclusão completa exclusiva para AI Overviews que mantenha a página inalterada no restante da Pesquisa. Bloquear o Googlebot impede o rastreamento, mas por si só não garante que uma URL conhecida desapareça da Pesquisa. Os controles de trechos também afetam os trechos comuns da Pesquisa. O Google-Extended controla separadamente o treinamento e a fundamentação do Gemini/Vertex, não a Pesquisa nem as AI Overviews.
O robots.txt realmente impede um rastreador de IA?
O robots.txt é uma orientação, não uma trava. Ele informa suas preferências aos rastreadores cooperativos; não impõe nada tecnicamente. Operadores bem-comportados o respeitam, mas há relatos de rastreadores que o ignoram — o verificador os sinaliza com a etiqueta “⚠ ignora robots”. Para realmente impedir um rastreador, bloqueie-o na CDN ou no WAF e confirme a solicitação pelo IP, em vez de confiar na sequência do agente de usuário.
Por que um rastreador aparece como “não verificável”?
A etiqueta “verificável” / “não verificável” indica se o operador publica uma forma de validar a alegação do rastreador — faixas de IP atuais ou DNS reverso com confirmação direta (FCrDNS), consultadas no cadastro do Verificador de Bots. Um agente de usuário isolado sempre pode ser falsificado. A Anthropic agora publica uma lista oficial de IPs de rastreadores em claude.com/crawling/bots.json, portanto o tráfego do Claude pode ser comparado com uma faixa publicada; isso não é o mesmo que confirmação por DNS reverso.
Um arquivo llms.txt altera algum desses veredictos?
Não. O llms.txt é uma convenção proposta pela comunidade, e nenhum grande rastreador de IA documenta sua leitura. Por isso, a presença ou ausência do arquivo não altera se um rastreador é permitido ou bloqueado. O verificador informa a existência de um llms.txt no domínio apenas como dado complementar — todos os veredictos de acesso são determinados exclusivamente pelo robots.txt.
Problemas comuns e como corrigi-los
- Erro O rastreador de IA selecionado está bloqueado Correção: Remova ou restrinja a regra Disallow do rastreador de IA selecionado para o conteúdo que você pretende permitir que ele acesse e teste novamente esse user-agent e caminho exatos.
- Aviso O rastreador de IA selecionado está bloqueado em alguns caminhos Correção: Revise cada caminho bloqueado e restrinja os padrões Disallow específicos do rastreador para que apenas as seções deliberadamente privadas permaneçam excluídas.
- Erro Resultado: Regras curinga bloqueiam rastreadores de IA Correção: Ajuste o grupo User-agent: *, pois suas regras Disallow também se aplicam a rastreadores de IA sem uma política específica mais aplicável.
- Aviso As políticas específica e curinga do rastreador entram em conflito Correção: Consolide os grupos curinga e específicos do rastreador em uma política deliberada com precedência segura e teste caminhos representativos permitidos e bloqueados.
- Informação O rastreador não está no cadastro atual Correção: Confirme o user-agent publicado do bot e a documentação do operador antes de adicionar um grupo específico ou alterar as regras de acesso.