Verifica del file robots.txt
Dati di esempio — sostituiscili con i tuoi
Viene eseguito interamente nel browser: nulla di ciò che incolli viene caricato o memorizzato. The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). I conteggi anonimi degli esiti per singola esecuzione possono essere utilizzati per ricerche aggregate; URL, domini, IP e identificatori non sono mai inclusi e nessuna statistica viene pubblicata sotto le 100 esecuzioni.
+ salva il sito o la pagina correnti. Usa ☆ accanto a qualsiasi sito, pagina o elenco salvato per aggiungerlo ai preferiti. La cronologia dei controlli recenti appare sotto.
Crea un elenco denominato
Target compilato dalle tue scelte locali.
Passaporto del sito Contesto locale per questo sito salvato
Dati locali
Le destinazioni salvate, gli elenchi denominati e i riepiloghi dei controlli recenti restano solo in questo browser.
Identical rows are grouped — click a row's count to expand. Click any cell to see the exact rule that decided it. On mobile, scroll the table sideways.
Why this verdict and how to verify it
Valuta questo strumento
Informazioni sullo strumento
Verifica elenchi di URL contro robots.txt con un matcher accurato secondo Google, controlla i crawler AI, analizza gli errori comuni e confronta le modifiche proposte. Il test resta nel browser; il recupero live è limitato alle origini che inserisci.
Funzionalità
- Matcher Google-accurato con regola vincente e riga esatta per ogni cella URL × crawler.
- Audit per crawler AI con gruppi GPTBot, ClaudeBot, Google-Extended e altri bot principali.
- Lint dei file robots.txt, rilevamento dei conflitti sitemap e modalità diff per le modifiche.
- Recupero per dominio e controllo di più origini, con risultati e limiti dichiarati chiaramente.
Come funziona
Il parser applica la semantica Google: la corrispondenza di percorso più lunga vince, i wildcard vengono normalizzati e il gruppo user-agent effettua il fallback quando necessario. Ogni risultato conserva la regola determinante, mentre il recupero live resta separato dal test del testo incollato.
Limitazioni
- Il matcher descrive decisioni Allow/Disallow; non misura l’indicizzazione e non trasforma Crawl-delay in un verdetto Google.
- Le verifiche live usano richieste limitate e dipendono dalle risposte dei domini inseriti; la conformità robots.txt è volontaria e non sostituisce un controllo degli accessi.
Domande frequenti
robots.txt impedisce l’indicizzazione di una pagina?
No. la regola di esclusione blocca la scansione, non l’indicizzazione. Se altre pagine rimandano a un URL non consentito, Google può comunque indicizzarlo, di solito senza estratto. Per escludere una pagina dall’indice, consentine la scansione e aggiungi un meta tag noindex o un’inprovaazione X-Robots-Tag: non usare anche la regola di esclusione, altrimenti Google non potrà vedere noindex.
L’ordine delle regole in robots.txt è importante?
Non per Google. Google applica la regola più specifica, cioè il percorso corrispondente più lungo, indipendentemente dalla posizione nel documento; quindi la regola di autorizzazione può prevalere su un la regola di esclusione precedente. Questo strumento usa lo stesso criterio. Alcuni altri crawler applicano la prima corrispondenza, perciò mantieni le regole prive di ambiguità.
Qual è la differenza tra la regola di esclusione e noindex?
la regola di esclusione, in robots.txt, indica ai crawler di non recuperare un URL. noindex, in un meta tag o in un’inprovaazione HTTP della pagina, indica di non mantenerlo nell’indice. Risolvono problemi diversi e usarli insieme è controproducente: una pagina non consentita non viene recuperata, quindi noindex non viene visto.
Bloccare CSS o JavaScript in robots.txt danneggia la SEO?
Può farlo. Google esegue il rendering delle pagine per comprenderle; se non può recuperare i CSS e il codice JavaScript necessari, può valutare male il impaginazione, i contenuti o la compatibilità con i dispositivi mobili. Consenti le risorse necessarie al rendering e blocca soltanto i percorsi davvero non essenziali.
Come posso bloccare i crawler di IA con robots.txt?
Aggiungi un gruppo specifico per ciascun crawler di IA e blocca il percorso radice. Usa il pulsante di verifica dedicato per caricare l’elenco e confermare che le regole corrispondano. Il rispetto di robots.txt è volontario: i crawler affidabili lo rispettano, ma non è un controllo degli accessi.
Problemi comuni e come risolverli
- Avviso Direttiva è termine Correzione: Corretto il direttiva termine a un supportato nome so crawler do non termine esso.
- Avviso Non supportato noindex direttiva è usati Correzione: Rimuovere noindex da robots.txt e usa un meta robots tag o X-Robots-Tag su scansionabile URL invece.
- Informazione Scansiona-delay è termine da Google Crawl-delay Correzione: Rimuovere Scansiona-delay per Google e termine Googlebot scansiona frequenza attraverso Cerca Console o server capacità termine. Crawl-delay
- Errore Regola appare prima qualsiasi user-agent gruppo Correzione: Sposta il regola sotto il User-agent riga per il crawler gruppo che dovrebbe applicarsi esso.
- Avviso La traduzione italiana è: Riga ha nessun termine termine Correzione: Aggiungi il mancanti termine tra il direttiva nome e valore so termine può leggi il riga.
- Informazione termine direttiva è termine Correzione: Rimuovere il non standard direttiva o sostituisci esso con un supportato robots.txt direttiva che termine il prevista scansiona regola.
- Informazione La traduzione italiana è: Crawler gruppo termine nessun regole Correzione: Aggiungi il prevista Consenti o Disallow regole a questo gruppo, o rimuovere il gruppo so il crawler può ricadere attraverso a il carattere jolly gruppo. Allow
- Errore Regola termine può mai corrispondenza Correzione: Avvio il percorso termine con / o * so corrispondente può termine a il avvio di il URL percorso.
- Avviso termine termine appare termine un termine Correzione: Sposta $ a il termine di il termine se esso dovrebbe termine il percorso, o rimuovere esso se un termine termine termine era non prevista.
- Informazione User-agent è dividi attraverso gruppi Correzione: Unisci regole per il stesso user-agent in una gruppo so il effettiva termine è cancella e termine.
- Errore Sitemap URL è non assoluto Correzione: Sostituisci il relativo sitemap posizione con un completamente qualificato URL termine https:// e il nome host.
- Errore La traduzione italiana è: Robots termine supera 500 KiB Correzione: Riduci robots.txt sotto 500 KiB da consolidando termine e rimuovendo ridondante regole prima Google’s termine punto.
- Informazione Robots termine è vuoto Correzione: Lascia il termine vuoto se tutti scansione è intenzionalmente consentito; altrimenti aggiungi esplicito user-agent gruppi e il minimo necessario regole.
- Errore Testa URL è bloccato per il selezionati crawler Correzione: Rimuovere o termine il vincente Disallow regola, o aggiungi un più specifico Consenti regola, quando il termine URL dovrebbe essere scansionabile. Allow