Lingue

Tag meta robots

Il meta tag robots controlla come una pagina viene indicizzata e servita — ogni direttiva, la regola crawl-then-obey, la risoluzione dei conflitti, e il meta tag vs X-Robots-Tag.

Prima pubblicazione: 23 giu 2026 · Ultimo aggiornamento: 13 ago 2026 · Advanced
Lingue
AIScritto daAI v2
1 segnale di evidenza in questa pagina

Il meta tag robots — <meta name="robots" content="noindex"> nel <head> — dice ai motori di ricerca come indicizzare e servire una singola pagina. La regola che rompe tutto: è crawl-then-obey, quindi una pagina bloccata in robots.txt non viene mai recuperata e il suo noindex non viene mai visto. Senza tag, il default è index, follow. Le regole in conflitto si risolvono con la più restrittiva; per un tag nominato googlebot contro il tag robots generico, Googlebot prende la somma delle regole negative. Il tag è solo HTML — usa l'header X-Robots-Tag per PDF, immagini e altri non-HTML.

TL;DR — <meta name="robots" content="…"> nel <head> controlla come una singola pagina viene indicizzata e servita; senza tag il default è index, follow. È prima la scansione, poi l’obbedienza: “queste impostazioni possono essere lette e seguite solo se ai crawler è consentito accedere alle pagine” — quindi un URL bloccato da robots.txt non viene mai recuperato e il suo noindex non viene mai visto (ho dati di prima mano sul lato opposto di questo). Le regole in conflitto si risolvono con la più restrittiva; tra un tag googlebot e il tag generico robots, Googlebot prende la somma delle regole negative. Il tag è solo HTML — usa l’header X-Robots-Tag per contenuti non HTML e su larga scala. Google legge solo due token con nome di crawler — googlebot e googlebot-news — e ignora ogni altro valore, inclusi i token di altri motori come bingbot.

Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications

Cos’è, dove va, e il default

Il meta tag robots ti permette, secondo le parole di Google, di “use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” (traduzione) «usare un approccio granulare e specifico per pagina per controllare come una singola pagina HTML debba essere indicizzata e servita agli utenti nei risultati di Google Search». Il posto convenzionale e portabile è il <head>:

<meta name="robots" content="noindex, nofollow">

La posizione nel head è la convenzione di authoring che ogni motore si aspetta, ma Google è esplicito che non è un requisito rigido per Google Search in particolare: “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” (traduzione) «Google Search non impone il posizionamento dei meta robots nell’head HTML e rispetta i meta tag robots anche nel body di un documento HTML». Trattalo come tolleranza per Google, non come consiglio portabile — scrivilo comunque nel <head> così ogni crawler e validatore che si aspetta la posizione standard lo legge correttamente.

L’attributo name è il pubblico, ed è qui che la maggior parte delle guide esagera il supporto di Google. name="robots" si rivolge a ogni crawler che legge il tag. Oltre a questo, Google supporta esattamente due token con nome di crawler e ignora ogni altro valore: “Google supports two user agent tokens in the robots meta tag; other values are ignored: googlebot for all text results, and googlebot-news for news results.” (traduzione) «Google supporta due token user agent nel tag meta robots; gli altri valori vengono ignorati: googlebot per tutti i risultati testuali e googlebot-news per i risultati di notizie». Un tag con name="bingbot" non è un controllo Google documentato — Bing legge il proprio token alle proprie condizioni, ma Google salta qualsiasi valore name che non riconosce. Sia l’attributo name che content sono case-insensitive per Google, e lo sono anche i nomi e i valori dell’header X-Robots-Tag.

Quando non è presente alcun meta tag robots, il default è index, follow (la regola all, che Google nota “non ha effetto se elencata esplicitamente”). Evidence for this claim For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Scope: Google-supported robots meta rules; other crawlers publish their own support and defaults. Confidence: high · Verified: Google Search Central: Robots meta tag specifications Hai bisogno del tag solo per cambiare quel default.

Puoi combinare le regole in due modi: separate da virgola in un unico tag (noindex, nofollow) o come più tag <meta>. Google: puoi “create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” (traduzione) «creare un’istruzione con più regole combinando le direttive del tag meta robots con virgole oppure usando più tag meta».

La regola che rompe tutto: Google deve scansionare la pagina per vedere il tag

Questo è l’intero articolo. Il tag meta robots è scansiona-poi-obbedisci. Google deve recuperare la pagina per leggere il tag — quindi qualsiasi cosa blocchi il recupero impedisce l’applicazione del tag. Direttamente dalla specifica:

“Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” (traduzione) «Tieni presente che queste impostazioni possono essere lette e seguite solo se ai crawler è consentito accedere alle pagine che le includono».

Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications

E la conseguenza, esplicitata:

“If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” (traduzione) «Se la scansione di una pagina è vietata tramite il file robots.txt, le informazioni sulle regole di indicizzazione o pubblicazione non verranno trovate e saranno quindi ignorate».

Quindi l’errore classico — Disallow in robots.txt più noindex sulla stessa URL — sconfigge silenziosamente il noindex. Google non scansiona mai la pagina, non vede mai il tag, e l’URL può rimanere nell’indice (spesso come risultato nudo, senza snippet, se qualcosa vi collega). Il documento complementare di Google «Bloccare l’indicizzazione nella Ricerca» dice la stessa cosa in un linguaggio più semplice: affinché la regola noindex funzioni, la pagina “must not be blocked by a robots.txt file… If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results.” (traduzione) «non deve essere bloccata da un file robots.txt… Se la pagina è bloccata da un file robots.txt o il crawler non può accedervi, il crawler non vedrà mai la regola noindex e la pagina può ancora apparire nei risultati di ricerca».

Ho osservato il lato opposto di questo meccanismo con dati reali. Nel mio esperimento La storia del blocco di due pagine ben posizionate con robots.txt, ho bloccato deliberatamente due delle nostre pagine in classifica in robots.txt. Poiché Google non poteva più scansionarle, non poteva aggiornare nulla su di esse — e le pagine hanno per lo più mantenuto il ranking: “We lost a position here or there and all of the featured snippets for the pages.” (traduzione) «Abbiamo perso qualche posizione e tutti i featured snippet delle pagine». La mia conclusione: “Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” (traduzione) «Bloccare accidentalmente con robots.txt la scansione di pagine già posizionate da Google probabilmente non avrà un grande impatto sul ranking e le pagine continueranno verosimilmente a comparire nei risultati». È la stessa medaglia del problema noindex — un URL bloccato è congelato. Bloccare ≠ rimuovere. Se vuoi davvero che una pagina sparisca, hai bisogno di un noindex scansionabile, che è l’intero scopo di questo tag.

Questa è la linea che ho tracciato pubblicamente su dove appartiene ogni strumento. Alla domanda se Google dovrebbe aggiungere il supporto noindex a robots.txt, ho detto: “Google was clear they want robots.txt for crawl control only.” (traduzione) «Google è stato chiaro: vuole robots.txt solo per il controllo della scansione.» La scansione è il compito di robots.txt; l’indicizzazione è del tag meta (o dell’header). Non si sovrappongono, e la direttiva noindex in robots.txt non è mai stata supportata ufficialmente — Google ha smesso di analizzarla il 1° settembre 2019.

Ogni direttiva meta robots (il riferimento)

I valori supportati da Google, con le descrizioni verbatim dalla specifica:

Indicizzazione

  • all — “There are no restrictions for indexing or serving. This rule is the default value and has no effect if explicitly listed.” (traduzione) «Non ci sono restrizioni per l’indicizzazione o il servizio. Questa regola è il valore predefinito e non ha effetto se elencata esplicitamente.»
  • noindex — “Do not show this page, media, or resource in search results.” (traduzione) «Non mostrare questa pagina, media o risorsa nei risultati di ricerca.»
  • none — “Equivalent to noindex, nofollow.” (traduzione) «Equivalente a noindex, nofollow.»
  • indexifembedded — “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” (traduzione) «Google può indicizzare il contenuto di una pagina se è incorporato in un’altra pagina tramite iframe o tag HTML simili, nonostante una regola noindex.» (L’unica direttiva che sovrascrive un noindex, per contenuti incorporati.)

Link

  • nofollow — “Do not follow the links on this page.” (traduzione) «Non seguire i link su questa pagina.» Questo è a livello di pagina — scope diverso da un rel="nofollow" per link, che si applica a un singolo link.

Servizio e snippet

  • nosnippet — “Do not show a text snippet or video preview in the search results for this page.” (traduzione) «Non mostrare uno snippet di testo o un’anteprima video nei risultati di ricerca per questa pagina». Questo ambito è più ampio del classico frammento di testo: Google afferma che “applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.” (traduzione) «si applica a tutte le forme di risultati di ricerca — su Google: ricerca web, Google Immagini, Discover, AI Overviews e AI Mode — e impedisce anche l’uso del contenuto come input diretto per AI Overviews e AI Mode».
  • max-snippet:[number] — “Use a maximum of [number] characters as a textual snippet for this search result.” (traduzione) «Usa al massimo [numero] caratteri come snippet testuale per questo risultato di ricerca». Stesso ambito ampliato di nosnippet: “applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” (traduzione) «si applica a tutte le forme di risultati di ricerca, come ricerca web Google, Google Immagini, Discover, Assistant, AI Overviews e AI Mode, e limita anche quanto contenuto può essere usato come input diretto per AI Overviews e AI Mode». Questo è un controllo di idoneità per l’input diretto per le funzionalità di ricerca AI di Google — non è un’opzione generale di esclusione dall’addestramento AI. Tenere il tuo contenuto fuori dall’addestramento dei modelli (ad es. Google-Extended) o fuori dal controllo separato a livello di proprietà per l’AI generativa in Search Console sono sistemi diversi con ambiti diversi; non trattare nosnippet/max-snippet come se coprissero entrambi.
  • max-image-preview:[setting] — “Set the maximum size of an image preview for this page in search results.” (traduzione) «Imposta la dimensione massima dell’anteprima immagine per questa pagina nei risultati di ricerca». Impostazioni: none, standard o large (“A larger image preview, up to the width of the viewport, may be shown.” (traduzione) «Può essere mostrata un’anteprima immagine più grande, fino alla larghezza del viewport»).
  • max-video-preview:[number] — “Use a maximum of [number] seconds as a video snippet for videos on this page in search results.” (traduzione) «Usa al massimo [numero] secondi come snippet video per i video di questa pagina nei risultati di ricerca».
  • notranslate — “Don’t offer translation of this page in search results.” (traduzione) «Non offrire la traduzione di questa pagina nei risultati di ricerca».
  • noimageindex — “Do not index images on this page.” (traduzione) «Non indicizzare le immagini di questa pagina».
  • unavailable_after:[date/time] — “Do not show this page in search results after the specified date/time.” (traduzione) «Non mostrare questa pagina nei risultati di ricerca dopo la data e l’ora specificate».

Storico — controlli Google non più attivi

Alcune direttive che circolano ancora nelle guide più vecchie sono quelle che Google afferma di non utilizzare più. Non aggiungerle aspettandoti che facciano qualcosa:

  • noarchive — “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” (traduzione) «Google Search non usa più la regola noarchive per controllare la visualizzazione di un link memorizzato nella cache, perché questa funzionalità non esiste più».
  • nocache (un sinonimo che alcuni motori usavano per noarchive) — “The nocache rule isn’t used by Google Search.” (traduzione) «Google Search non usa la regola nocache».
  • nositelinkssearchbox — “The nositelinkssearchbox rule is no longer used by Google Search to control whether the sitelink search box is shown for a given page, as the feature no longer exists.” (traduzione) «Google Search non usa più la regola nositelinkssearchbox per controllare la visualizzazione della casella di ricerca dei sitelink, perché la funzionalità non esiste più».

A livello di paragrafo (non nel meta tag)

C’è un controllo a livello di sottopagina: l’attributo data-nosnippet. Google: puoi “designate textual parts of an HTML page not to be used as a snippet… on span, div, and section elements.” (traduzione) «designare parti testuali di una pagina HTML da non usare come snippet sugli elementi span, div e section». Tutto nel meta tag è a livello di pagina; nosnippet / data-nosnippet è il modo per escludere un singolo passaggio dal frammento senza toccare il resto.

Combinare le direttive e risolvere i conflitti

Due regole governano ciò che accade quando le direttive entrano in conflitto.

1. La regola più restrittiva vince. “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” (traduzione) «In caso di regole robots in conflitto si applica quella più restrittiva; per esempio, con max-snippet:50 e nosnippet prevale nosnippet». nosnippet è più severo di un limite di 50 caratteri, quindi ottieni nosnippet.

2. googlebot vs robots — la somma delle regole negative. Questo è il punto che la maggior parte delle guide sbaglia. Un tag con nome googlebot non sostituisce semplicemente il tag generico robots — per la sovrapposizione, Googlebot prende l’unione delle restrizioni. Google: “For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” (traduzione) «Quando sono specificati più crawler con regole diverse, il motore di ricerca usa la somma delle regole negative». Il loro esempio pratico:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

“The page containing these meta tags will be interpreted as having a noindex, nofollow rule when crawled by Googlebot.” (traduzione) «Quando Googlebot esegue la scansione, la pagina con questi meta tag viene interpretata come soggetta alla regola noindex, nofollow». Il nofollow di robots più il noindex di googlebot equivalgono a noindex, nofollow per Googlebot. (Dove un tag googlebot e un tag robots impostano la stessa direttiva in modo diverso, quello nominato per il crawler è quello che si applica a quel crawler.)

Meta tag robots vs X-Robots-Tag (l’header HTTP)

Il meta tag robots è solo HTML — richiede un <head>. Per qualsiasi cosa che non sia HTML, si usa l’X-Robots-Tag, che fornisce lo stesso identico vocabolario di regole nell’header della risposta HTTP. Google: “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” (traduzione) «L’X-Robots-Tag può essere inserito nell’header della risposta HTTP di un URL e può specificare qualsiasi regola disponibile nel tag meta robots». E il motivo per cui esiste: “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” (traduzione) «Puoi usare l’X-Robots-Tag per file non HTML, come le immagini, nei quali non è possibile usare tag meta robots in HTML».

Quindi:

  • PDF, immagine o altro non-HTML? Non puoi aggiungere un tag <meta> — usa l’header, es. X-Robots-Tag: noindex.
  • Intere directory o pattern? L’header è impostato a livello di server/CDN, quindi si adatta a interi percorsi con una sola regola di configurazione.
  • Un solo motore? L’header può anche mirare a un crawler: X-Robots-Tag: googlebot: noindex, nofollow, e più header X-Robots-Tag possono essere combinati in una singola risposta.

Stesse regole, due meccanismi di consegna: il meta tag per le pagine HTML, l’header per tutto il resto e per la scalabilità.

Quali direttive supportano Bing e altri motori

Non dare per scontato che il set di direttive sia universale — non lo è. Bing supporta le regole principali di indicizzazione e servizio — noindex, nofollow, noarchive (con nocache come sinonimo) e nosnippet — e onora l’X-Robots-Tag per risorse non HTML. Ma Bing non supporta la scorciatoia none, quindi per sicurezza tra motori, scrivi noindex, nofollow esplicitamente piuttosto che affidarti a none. La famiglia di controllo di snippet e anteprime — max-snippet, max-image-preview, max-video-preview — insieme a noimageindex, notranslate, indexifembedded e unavailable_after, è effettivamente solo Google. In caso di dubbio, scrivi le direttive per esteso e tratta i controlli max-* come funzionalità di Google.

Errori comuni (e le correzioni)

  • Disallow + noindex sullo stesso URL. Il noindex non viene mai visto. Correzione: lascia la pagina indicizzabile; mantieni solo il noindex.
  • noindex più un rel=canonical che punta altrove. Segnali contrastanti — stai dicendo a Google sia “elimina questa pagina” sia “consolidala in un’altra”. Scegline uno. (Maggiori dettagli in canonicalizzazione.)
  • Un noindex a livello di staging pubblicato in produzione. Deindicizzazione catastrofica a livello di sito. Controlla prima del lancio.
  • Un noindex iniettato solo da JavaScript lato client. Google deve rendere la pagina per vederlo, e se l’HTML renderizzato differisce da quello che ti aspetti, anche il comportamento differisce. Preferisci il tag nell’HTML grezzo o nell’header. (Vedi rendering.)
  • Aspettarsi che Bing onori direttive solo Google (none, la famiglia max-*).
  • Aspettarsi che una direttiva robots faccia un lavoro che non le appartiene. Una regola noindex o nosnippet non garantisce da sola risparmio di crawl budget, segretezza, un cambiamento di ranking, comportamento identico tra motori di ricerca, una tempistica di rimozione specifica o l’esclusione da ogni superficie AI/search — ciascuno di questi risultati appartiene a un controllo diverso (autenticazione per la segretezza, robots.txt per il crawl, documentazione di ciascun motore per la parità, Search Console o Google-Extended per ambiti specifici AI). Google non fornisce una tempistica fissa per quando una pagina noindexed esce effettivamente — dipende dalla priorità di re-crawl e “può richiedere mesi” per una pagina di importanza minore.

Per capire dove si colloca nel quadro generale: robots.txt e crawling sono il lato del controllo della scansione; noindex e indicizzazione sono il lato del controllo dell’indicizzazione; e nosnippet / data-nosnippet, max-snippet e max-image-preview sono i controlli di visualizzazione a cui ricorri quando vuoi che una pagina sia indicizzata ma vuoi modellarne l’aspetto. X-Robots-Tag è l’equivalente in intestazione HTTP di questo stesso tag per i contenuti non HTML.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.