Permission
Is the crawler allowed?
Controllo accesso crawler AI
Free, no signup. “Am I letting ChatGPT, Claude, Perplexity, and Google’s AI read this page — and did I mean to?” Enter a URL and get the answer for every major AI crawler, with the exact robots.txt rule that decided it.
Five separate tests · registry 2026-07-29
Crawler access is only the first layer
Extractability
Are useful facts present in raw HTML?
Renderability
Does JavaScript successfully expose them?
Operability
Can an agent identify and use semantic controls?
Commerce readiness
Do page, schema, feed and checkout facts agree?
HTML remains primary. llms.txt, UCP, and other protocol files are optional distribution layers and cannot compensate for inaccessible or unextractable HTML.
Validate a protocol response
Upload verified-bot log evidence
Expected columns: crawler, timestamp, url, status, verification. A user-agent string alone is never treated as verified identity.
No log evidence uploaded.
robots.txt is advisory, not a lock. It tells cooperating crawlers what you prefer — it does
not enforce anything. Some crawlers below are reported to ignore it (flagged ⚠). To actually stop a
crawler, block it at your CDN/WAF and verify it's genuine by IP.
I controlli vengono eseguiti dal nostro server; recuperiamo l’URL inserito e non conserviamo i risultati. I conteggi anonimi degli esiti per singola esecuzione possono essere utilizzati per ricerche aggregate; URL, domini, IP e identificatori non sono mai inclusi e nessuna statistica viene pubblicata sotto le 100 esecuzioni.
+ salva il sito o la pagina correnti. Usa ☆ accanto a qualsiasi sito, pagina o elenco salvato per aggiungerlo ai preferiti. La cronologia dei controlli recenti appare sotto.
Crea un elenco denominato
Target compilato dalle tue scelte locali.
Passaporto del sito Contesto locale per questo sito salvato
Dati locali
Le destinazioni salvate, gli elenchi denominati e i riepiloghi dei controlli recenti restano solo in questo browser.
Google AI Overviews: there is no separate AI Overviews crawler and no full AI-Overviews-only opt-out that leaves ordinary Search unchanged. Blocking Googlebot prevents crawling but does not by itself guarantee that a known URL disappears from Search.
nosnippet, max-snippet, and data-nosnippet can limit preview/use but also affect normal Search snippets. Google-Extended only controls Gemini/Vertex training and grounding, not Search or Overviews.
Engine-specific limits: this checker evaluates the currently fetched file. Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days and may behave as if the file is absent when they cannot fetch it; a failed checker fetch is not proof that Amazon saw the same failure. Page-level controls are separate: Apple says
nosnippet can block content from generative-model context without preventing title-based discovery, while Bing documents AI-answer/training effects for noarchive and noindex. Use the page audit or extension to inspect those meta and HTTP-header directives.
Search & answer citation
These fetch pages to answer questions and cite sources. Blocking a cooperating crawler can prevent that crawler from accessing the page, but it does not guarantee absence from every answer or citation.
User-triggered assistant fetches
Model training
These collect pages for model training. A provider's documented robots control governs future crawling; it does not remove content already collected or guarantee deletion from an existing training dataset.
Valuta questo strumento
Set your posture → robots.txt block
Pick what to block; copy the generated rules into your robots.txt.
Blocking here means “documented posture,” not enforcement — a cooperating crawler will honor it; a hostile one may not.
Crawler roster last reviewed . Data is hand-maintained and editable (src/data/ai-crawlers.json).
Informazioni sullo strumento
Inserisci un URL e verifica per ogni crawler AI principale — GPTBot, ClaudeBot, PerplexityBot, Google-Extended e altri — se robots.txt lo consente, quale regola vince e se esiste llms.txt.
Funzionalità
- Matcher robots accurato secondo il parser open source di Google.
- Verdetto Allow/Disallow e regola vincente esatta.
- Controllo dell’esistenza di llms.txt.
- Generator di posture da copiare e spiegazione del rapporto Googlebot/AI Overviews.
Come funziona
Inserisci l’URL. Il checker recupera robots.txt e llms.txt, applica la semantica Google per ogni user-agent AI e mostra la regola vincente, il percorso e lo stato verificabile.
Limitazioni
- robots.txt è consultivo, non un blocco: crawler non cooperativi possono ignorarlo.
- Il controllo identifica regole e file osservati, ma non garantisce l’identità di ogni richiesta reale.
Domande frequenti
Bloccare il crawler di addestramento impedisce a un assistente di citare il mio sito?
Non da solo. Il crawler di addestramento serve ai modelli futuri ma non ferma quelli di recupero che rispondono e citano fonti. Il servizio distingue il crawler per risultati e citazioni da quello che recupera una pagina seguita dall’utente. Per restare fuori dalle risposte dovresti bloccare anche questi.
Posso escludermi dalle panoramiche IA di Google tramite robots.txt?
Non esiste un crawler separato e Google non offre un’esclusione completa dalle sole panoramiche mantenendo invariata la Ricerca. Bloccare il crawler principale impedisce la scansione ma non garantisce la scomparsa di un URL noto. I controlli degli estratti influenzano anche i risultati ordinari; un crawler separato regola invece addestramento e contestualizzazione dei prodotti generativi.
robots.txt fermerà davvero un crawler di IA?
È una raccomandazione, non un blocco. Gli operatori corretti lo rispettano, ma alcuni crawler possono ignorarlo. Per fermarli davvero occorre bloccarli sulla rete di distribuzione o sul sistema di protezione e verificare la richiesta tramite IP, non fidarsi soltanto della stringa identificativa.
Perché un crawler risulta «non verificabile»?
L’etichetta indica se l’operatore pubblica un metodo di controllo, come intervalli IP o verifica inversa confermata in avanti. Una sola stringa identificativa è sempre imitabile. Un elenco ufficiale consente di verificare l’appartenenza all’intervallo, non una conferma tramite nomi di dominio.
Il documento comunitario modifica uno di questi verdetti?
No. È una convenzione proposta e nessun grande crawler è documentato come lettore, quindi presenza o assenza non cambia l’autorizzazione. Lo strumento ne segnala l’esistenza solo a titolo informativo; ogni verdetto deriva dalle regole di scansione.
Problemi comuni e come risolverli
- Errore Selezionati AI crawler è bloccato Correzione: Rimuovere o termine il selezionati AI crawler’s Disallow regola per contenuti tu termine esso a accesso, poi termine che esatto user-agent e percorso.
- Avviso Selezionati AI crawler è bloccato su alcuni percorsi Correzione: Revisione ogni bloccato percorso e termine il crawler-specifico Disallow termine so solo intenzionalmente privati termine restano termine.
- Errore La traduzione italiana è: Carattere jolly regole termine AI crawler Correzione: termine il User-agent: * gruppo perché suo Disallow regole anche applicarsi a AI crawler senza un più specifico termine termine.
- Avviso La traduzione italiana è: Specifico e carattere jolly crawler termine termine Correzione: Consolida carattere jolly e crawler-specifico gruppi in un intenzionali termine-termine termine, poi testa termine consentito e bloccato percorsi.
- Informazione Crawler è non in il termine termine Correzione: termine il bot’s pubblicati user-agent e termine termine prima termine un termine gruppo o termine accesso regole.