Generatore robots.txt
Crea il tuo file
Seleziona i gruppi di crawler da bloccare. I crawler di ricerca restano consentiti, a meno che tu non li selezioni esplicitamente.
Questa direttiva non standard viene generata solo per Bingbot. Google non la elabora; Bing documenta valori di 1–20 secondi. Viene omessa se blocchi Bingbot.
Viene eseguito interamente nel browser: nulla di ciò che incolli viene caricato o memorizzato. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. I conteggi anonimi degli esiti per singola esecuzione possono essere utilizzati per ricerche aggregate; URL, domini, IP e identificatori non sono mai inclusi e nessuna statistica viene pubblicata sotto le 100 esecuzioni.
robots.txt generato
Bloccare ≠ rimuovere dall’indice. Disallow chiede ai crawler che lo rispettano di non recuperare un URL; non rimuove un URL già noto a un motore di ricerca.
Anteprima delle corrispondenze
Serve una matrice completa bot × URL? Apri il tester robots.txt →Informazioni sullo strumento
Crea un robots.txt pronto da copiare con preset per crawler di ricerca, training AI, assistenti e archivi, un crawl-delay Bingbot documentato e un matcher in stile Google.
Funzionalità
- Preset raggruppati per crawler di ricerca, AI, assistenti e archivi.
- Crawl-delay Bingbot opzionale con spiegazione.
- Matcher per testare un bot contro URL di esempio.
- Output copiabile e controlli locali nel browser.
Come funziona
Seleziona i gruppi da bloccare, aggiungi eventuale crawl-delay e genera il file. Prova poi user-agent e URL di esempio con il matcher prima di pubblicare.
Limitazioni
- robots.txt controlla il crawling, non garantisce la rimozione dall’indice.
- Le regole generate vanno verificate con il comportamento del tuo server e dei crawler.
Domande frequenti
Bloccare un crawler rimuove le pagine dall’indice?
No. robots.txt controlla la scansione, non la permanenza di un URL nell’indice. Per richiedere la rimozione usa una direttiva noindex su una pagina scansionabile.
Ogni crawler rispetterà questo documento?
No. robots.txt è una preferenza pubblica e volontaria, non un controllo degli accessi. Usa autenticazione, protezione perimetrale o limiti di frequenza per i contenuti privati.
Perché serve una riga Sitemap?
Fornisce ai crawler l’URL assoluto esplicito della sitemap XML. È facoltativa ma generalmente utile per la scoperta.
Problemi comuni e come risolverli
- Avviso termine termine termine un selezionati AI crawler Correzione: Rimuovere il selezionati crawler’s Disallow regola, o termine esso a solo il percorsi che dovrebbe restano non disponibile a che AI crawler.
- Avviso termine termine termine un cerca crawler Correzione: Rimuovere o termine il Googlebot/Bingbot Disallow regola so pagine prevista per termine cerca sono scansionabile.
- Avviso termine percorso è non termine Correzione: Aggiungi esplicito Disallow regole per non-pubblico termine, ambiente di prova, termine, o termine-cerca percorsi, mentre termine termine termine dati con termine piuttosto di robots.txt.
- Informazione La traduzione italiana è: termine termine ha nessun sitemap termine Correzione: Aggiungi un assoluto Sitemap: https://…/sitemap.xml termine termine a il canonico, termine termine sitemap o sitemap indice.
- Avviso La traduzione italiana è: termine gruppi termine termine regole Correzione: termine regole per il stesso termine-termine in una gruppo e termine termine Consenti/Disallow percorsi a termine una intenzionali termine.