Guide : Meta Robots Tag

TL;DR — Le robots meta balise est un line de HTML vous put dans une page’s <head> à tell moteur de recherches comment handle que un page — la plupart souvent <meta name="robots" content="noindex"> à garder il out de recherche. Le catch que trips everyone up: Google a à être able à explorer lune page à lire le balise. Si vous aussi bloquer lune page dans robots.txt, Google jamais voit le balise, et lune page peut stay dans recherche. Avec aucun balise à tout, le par défaut est “indexer il et suivre le liens.”

Ce que the robots meta tag is

Le robots meta balise est un petit HTML element que sits dans le <head> de une page:

<meta name="robots" content="noindex">

Il indique moteur de recherches comment treat ce spécifique page — si à montrer il dans résultats, si à suivre le liens sur il, si à montrer un extrait, et donc sur. Le name="robots" partie signifie “tous moteurs de recherche ce lire ce balise.” Vous peut swap dans un robot’s nom, comme name="googlebot", à talk à simplement un moteur.

Si il y un aucun robots meta balise sur une page, le par défaut est index, follow — montrer il dans recherche et suivre son liens. Donc vous seulement besoin le balise quand vous vouloir à modifier que par défaut. Preuve à l’appui de cette affirmation For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Portée : Google-supported robots meta rules; other crawlers publish their own support and defaults. Niveau de confiance : élevé · Vérifié : 2026-07-14 Google Search Central: Robots meta tag specifications

The un chose to obtenir correct: don’t block lune page you’re trying to noindex

Ce is the mistake I voir la plupart souvent. Personnes vouloir une page out of Google, so ils do les deux choses at une fois:

1. Ajouter noindex to lune page, and
2. Block lune page in robots.txt.

«That second step defeats the first. Blocking a URL in robots.txt tells Google “don’t even fetch this page.” So Google never downloads it, never reads the noindex, and the page can stay in the index. The fix is to leave the page crawlable and let Google read the noindex. Preuve à l’appui de cette affirmation Google can read and follow page-level robots rules only when it is allowed to access the page. Portée : Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Niveau de confiance : élevé · Vérifié : 2026-07-14 Google Search Central: Robots meta tag specifications » (Traduction) (Résumé en français de la section treize, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Think of it as two différent jobs:

• robots.txt contrôle exploration — si bots récupérer lune page à tout.
• Le robots meta balise contrôle indexation et diffusion — ce que se produit une fois le page est récupéré.

ils sont pas interchangeable, et vous ne pas vouloir les deux sur le même URL quand votre goal est à supprimer il depuis recherche.

The courant directives

A few you’ll en réalité utiliser:

• noindex — garder ce page out de résultats de recherche.
• nofollow — ne pas suivre le liens sur ce page. (Différent depuis putting rel="nofollow" sur un unique lien — ce un s’applique à chaque lien sur le page.)
• none — shorthand pour noindex, nofollow.
• nosnippet — ne pas montrer un texte extrait pour ce page dans résultats.

Vous pouvez combine les with a comma: <meta name="robots" content="noindex, nofollow">.

A few honest gotchas

• noindex ne fait pas faire une page privé. Lune page est encore public et crawlable — il simplement ne va pas montrer dans recherche. Pour réel privacy, utiliser un login.
• noindex ne fait pas enregistrer budget d’exploration. Google encore a à récupérer lune page à voir le balise.
• Pour un PDF ou un image, vous pouvez’t ajouter un <meta> balise — il y un aucun HTML <head>. c’est ce que le X-Robots-Balise HTTP header est pour (plus sur que dans le Avancé version).
• il y un aucun fixed timeline pour un noindexed page à drop out de Google. Google dit il peut prendre months pour un lower-priority page à obtenir recrawled et processed — ne pas promise un client “2-4 weeks.”

Vouloir le complet directive liste, comment Google resolves conflicting règles, le googlebot-vs-robots edge cas, et le X-Robots-Balise header dans detail? Switch à le Avancé tab.

Testez vos connaissances: robots meta directives

Choisir the contrôler by outcome

Robots contrôle que échouer leur intended job

• Combining noindex avec un robots.txt bloquer. Le bloquer empêche le robot d’exploration depuis seeing le removal directive.
• En utilisant disallow comme un deindexing guarantee. Il arrête fetching, mais un lié URL peut encore être indexé sans page contenu.
• Assuming un body-placed robots meta balise est silently ignored. Google dit il va respect un robots meta balise dans le corps, donc un template que injects il là encore fonctionne pour Google — mais stick à <head> placement anyway, since c’est le seulement placement autre robots d’exploration et validators sont guaranteed à expect.
• En utilisant un robot-name token Google ne fait pas lire (e.g. name="bingbot") et assuming il aussi scopes le règle pour Google. Google recognizes seulement googlebot et googlebot-news; quelconque autre nom valeur est ignored par Google entirely.
• En utilisant un HTML meta balise pour un PDF. Servir X-Robots-Tag dans le HTTP réponse pour non-HTML fichiers.
• Treating nofollow comme noindex. Lien handling ne fait pas supprimer le actuel page depuis résultats.
• Publishing générique et robot-spécifique balises sans resolving le sum. Audit chaque robots, googlebot, et header directive ensemble; le restrictive règle peut survive dans un deuxième emplacement.
• En utilisant robots règles pour secrecy. Anyone peut requête un public URL ou lire robots.txt; confidential contenu nécessite authentication.

Deploy a noindex safely

• Confirmed removal depuis recherche—pas explorer reduction, canonical consolidation, ou accès contrôler—est le prévu résultat.
• Utilisé <meta name="robots" content="noindex"> pour HTML ou un X-Robots-Tag: noindex réponse header pour un non-HTML resource.
• Kept l’URL crawlable et accessible à le cible robot d’exploration.
• Supprimé contradictory template, CMS, CDN, et robot-spécifique directives.
• Vérifié le rendu head et actif réponse, pas seulement le source template.
• Testé les deux l’URL canonique et meaningful variants ou redirections.
• Recorded le affected URL définir et deployment temps pour plus tard comparaison.
• Verified le règle dans Inspection d’URL et monitored lune page Indexation rapport après recrawl.
• Utilisé authentication à la place si le contenu doit être privé.

Inspect meta, headers, and explorer accès

Replace l’URL in ce shell audit:

url="https://example.com/page/"
curl -sSI "$url" | grep -iE '^(HTTP/|x-robots-tag:|location:)'
curl -sS "$url" | grep -oiE '<meta[^>]+name=["'"'](robots|googlebot)["'"'][^>]*>'
curl -sS "https://example.com/robots.txt"

In DevTools Console, inventory every parsed robots tag plutôt que stopping at the premier match:

console.table([...document.querySelectorAll('meta[name]')]
  .filter((meta) => /^(robots|googlebot|bingbot)$/i.test(meta.name))
  .map((meta) => ({ crawler: meta.name, content: meta.content })));

Headers ne sont pas visible dans le DOM, donc comparer le console résultat avec le réel réponse. Aussi suivre redirections: un directive sur un intermediate réponse ne fait pas prove le destination sert le même règle.

Tester chaque couche separately

• HTTP Header Checker — inspect status, redirections, et chaque actif X-Robots-Tag header, notamment pour PDFs.
• Robots.txt Tester — vérifier si le cible robot d’exploration est allowed à récupérer l’URL et therefore able à découvrir un robots directive.

Utiliser les deux quand diagnosing un stubborn indexé URL. Un correct noindex réponse n’est pas actionable si robots.txt empêche le récupérer, et un allowed explorer ne fait pas prove lune page en réalité sert noindex.

Prove the directive fonctionne après deployment

Tester 1 — Live delivery

• Hypothesis: Chaque prévu URL sert un effective noindex règle.
• Méthode: Sample l’URL définir, suivre redirections, et inspect rendu meta plus réponse headers.
• Réussir condition: Le final réponse est crawlable et exposes noindex à le prévu robot d’exploration avec aucun conflicting delivery chemin.
• Échouer condition: Un redirection, CDN header, ou robot-spécifique balise changements il.
• Suivant action: Corriger le responsible couche et repeat le même sample.

Tester 2 — Search-engine processing

• Hypothesis: Google peut explorer lune page et a processed le removal règle.
• Méthode: Exécuter Inspection d’URL’s actif tester, alors monitor lune page Indexation rapport après recrawl.
• Réussir condition: Le actif tester detects noindex et l’URL becomes non indexée pour que raison.
• Échouer condition: L’URL est bloqué, le directive est absent, ou le old indexer state persists sans un nouveau explorer.
• Suivant action: Restore explorer accès ou requête recrawl; ne faites pas ajouter un disallow.

Mesurer intent, pas a universal benchmark

Intended-noindex coverage

URLs serving the intended noindex ÷ URLs in the approved noindex set

Construire le denominator depuis votre propre removal inventory, alors comparer explore avant et après deployment. Le cible est complet coverage de que approved définir—pas un industry percentage.

Unintended index-control conflicts

Track counts de prévu-noindex URLs que sont encore indexé, robots.txt-bloqué, ou diffusion contradictory meta/header règles. Segment par template, CDN règle, et fichier type donc un implementation fault ne fait pas hide à l’intérieur un sitewide total.

Utiliser Recherche Google Console’s Page Indexation rapport et Inspection d’URL comme processing evidence, pendant que recognizing que deindexing dépend sur recrawl. Preserve le pre-modifier count et deployment date; sinon un falling total a aucun fiable baseline.

TL;DR — <meta name="robots" content="…"> dans le <head> contrôle comment un unique page est indexé et servi; avec aucun balise le par défaut est indexer, suivre. c’est explorer-alors-obey: “ces paramètres peut être lire et followed seulement si robots d’exploration sont allowed à accès lune pages” — donc un robots.txt-bloqué URL est jamais récupéré et son noindex est jamais vu (Je ont premier-party données sur le flip side de ce). Conflicting règles resolve à le la plupart restrictive; à travers un googlebot balise et le générique robots balise, Googlebot takes le sum de le negative règles. Le balise est HTML-seulement — utiliser le X-Robots-Balise header pour non-HTML et à scale. Google lit seulement deux robot-named tokens — googlebot et googlebot-news — et ignores chaque autre valeur, notamment autre moteurs’ tokens comme bingbot.

Ce que c’est, où il goes, et le par défaut

Le robots meta balise lets vous, dans Google’s words, “utiliser un granular, page-spécifique approche à controlling comment un individual HTML page devrait être indexé et servi à utilisateurs dans la recherche Google résultats.” Le conventional, portable placer pour il est le <head>:

<meta name="robots" content="noindex, nofollow">

«Head placement is the authoring convention every engine expects, but Google is explicit that it isn’t a hard requirement for Google Search specifically: “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” Treat that as tolerance for Google, not portable advice — still author it in the <head> so every crawler and validator that expects standard placement reads it correctly. » (Traduction) (Résumé en français de la section soixante-seize, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«The name attribute is the audience, and this is where most guides overstate Google’s support. name="robots" addresses every crawler that reads the tag. Beyond that, Google supports exactly two crawler-named tokens, and ignores every other value: “Google supports two user agent tokens in the robots meta tag; other values are ignored: googlebot for all text results, and googlebot-news for news results.” A tag named name="bingbot" isn’t a documented Google control — Bing reads its own token on its own terms, but Google skips any name value it doesn’t recognize. Both the name and content attributes are case-insensitive to Google, and so are X-Robots-Tag header names and values. » (Traduction) (Résumé en français de la section soixante-dix-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«When no robots meta tag is present, the default is index, follow (the all rule, which Google notes “has no effect if explicitly listed”). Preuve à l’appui de cette affirmation For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Portée : Google-supported robots meta rules; other crawlers publish their own support and defaults. Niveau de confiance : élevé · Vérifié : 2026-07-14 Google Search Central: Robots meta tag specifications You only need the tag to change that default. » (Traduction) (Résumé en français de la section soixante-dix-huit, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Vous combine règles deux façons: comma-separated dans un balise (noindex, nofollow) ou comme plusieurs <meta> balises. Google: vous pouvez “créer un multi-règle instruction par combining robots meta balise règles avec commas ou par en utilisant plusieurs meta balises.”

Le règle que breaks tout: Google doit explorer lune page à voir le balise

Ce est le entier article. Le robots meta balise est explorer-alors-obey. Google a à récupérer lune page à lire le balise — donc n’importe quoi que arrête le récupérer arrête le balise depuis ever étant applied. Straight depuis le spec:

“Gardez à l’esprit que ces paramètres peut être lire et followed seulement si robots d’exploration sont allowed à accès lune pages que inclure ces paramètres.”

Et le consequence, spelled out:

“Si une page est disallowed depuis exploration via le robots.txt fichier, alors quelconque information à propos de indexation ou diffusion règles ne va pas être trouvé et va therefore être ignored.”

«So the classic mistake — Disallow in robots.txt plus noindex on the same URL — silently defeats the noindex. Google never crawls the page, never sees the tag, and the URL can linger in the index (often as a bare, snippet-less result if something links to it). Google’s companion “Block Search Indexing” doc says the same thing in plainer language: for the noindex rule to work, the page “must not be blocked by a robots.txt file… If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results.” » (Traduction) (Résumé en français de la section quatre-vingt-cinq, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

j’ai watched le flip side de ce mechanism se produire avec réel données. Dans mon experiment Le Story de Blocking 2 Élevé-Classement Pages Avec Robots.txt, Je deliberately bloqué deux de notre classement pages dans robots.txt. Parce que Google pourrait ne … plus explorer les, il ne pouvait pas refresh n’importe quoi à propos de les — et le pages mostly kept classement: “Nous lost un position ici ou là et tout de le featured extraits pour lune pages.” Mon takeaway: “Accidentally blocking pages (que Google déjà se classe) depuis étant exploré en utilisant robots.txt probably n’est pas going à ont beaucoup impact sur votre rankings, et ils va probable encore montrer dans le résultats de recherche.” c’est le même coin comme le noindex problème — un bloqué URL est frozen. Bloquer ≠ supprimer. Si vous en réalité vouloir une page gone, vous besoin un crawlable noindex, qui est le entier point de ce balise.

«This is the line I’ve drawn publicly on where each tool belongs. Asked whether Google should add noindex support to robots.txt, I said: “Google was clear they want robots.txt for crawl control only.” Crawling is robots.txt’s job; indexing is the meta tag’s (or the header’s). They don’t overlap, and the noindex directive in robots.txt was never officially supported — Google dropped parsing of it on September 1, 2019. » (Traduction) (Résumé en français de la section quatre-vingt-huit, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Chaque robots meta directive (le référence)

Google’s pris en charge valeurs, avec le verbatim descriptions depuis le spec:

Indexation

«- all — “There are no restrictions for indexing or serving. This rule is the default value and has no effect if explicitly listed.” » (Traduction) (Résumé en français de la section quatre-vingt-douze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- noindex — “Do not show this page, media, or resource in search results.” » (Traduction) (Résumé en français de la section quatre-vingt-douze, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- none — “Equivalent to noindex, nofollow.” » (Traduction) (Résumé en français de la section quatre-vingt-douze, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- indexifembedded — “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” (The one directive that overrides a noindex, for embedded content.) » (Traduction) (Résumé en français de la section quatre-vingt-douze, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.)

Liens

«- nofollow — “Do not follow the links on this page.” This is page-level — different scope from a per-link rel="nofollow", which applies to one link. » (Traduction) (Résumé en français de la section quatre-vingt-quatorze, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Serving and snippets

«- nosnippet — “Do not show a text snippet or video preview in the search results for this page.” This scope is broader than the classic text snippet: Google says it “applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.” » (Traduction) (Résumé en français de la section quatre-vingt-seize, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- max-snippet:[number] — “Use a maximum of [number] characters as a textual snippet for this search result.” Same broadened scope as nosnippet: it “applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” That’s a direct-input eligibility control for Google’s own AI search features — it is not a general AI-training opt-out. Keeping your content out of model training (e.g. Google-Extended) or out of Search’s separate generative-AI property-level control in Search Console are different systems with different scopes; don’t treat nosnippet/max-snippet as covering either. » (Traduction) (Résumé en français de la section quatre-vingt-seize, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- max-image-preview:[setting] — “Set the maximum size of an image preview for this page in search results.” Settings: none, standard, or large (“A larger image preview, up to the width of the viewport, may be shown.”). » (Traduction) (Résumé en français de la section quatre-vingt-seize, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- max-video-preview:[number] — “Use a maximum of [number] seconds as a video snippet for videos on this page in search results.” » (Traduction) (Résumé en français de la section quatre-vingt-seize, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.) «- notranslate — “Don’t offer translation of this page in search results.” » (Traduction) (Résumé en français de la section quatre-vingt-seize, sous-partie cinq : le texte source est conservé pour vérification lors de la relecture francophone.) «- noimageindex — “Do not index images on this page.” » (Traduction) (Résumé en français de la section quatre-vingt-seize, sous-partie six : le texte source est conservé pour vérification lors de la relecture francophone.) «- unavailable_after:[date/time] — “Do not show this page in search results after the specified date/time.” » (Traduction) (Résumé en français de la section quatre-vingt-seize, sous-partie sept : le texte source est conservé pour vérification lors de la relecture francophone.)

Historical — ne … plus active Google contrôle

Un quelques directives que encore circulate dans older guides sont ones Google dit il aucun plus long utilise. ne pas ajouter ces expecting les à faire n’importe quoi:

«- noarchive — “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” » (Traduction) (Résumé en français de la section quatre-vingt-dix-neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- nocache (a synonym some engines used for noarchive) — “The nocache rule isn’t used by Google Search.” » (Traduction) (Résumé en français de la section quatre-vingt-dix-neuf, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- nositelinkssearchbox — “The nositelinkssearchbox rule is no longer used by Google Search to control whether the sitelink search box is shown for a given page, as the feature no longer exists.” » (Traduction) (Résumé en français de la section quatre-vingt-dix-neuf, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Paragraph-level (pas in the meta tag)

il y un un sub-page contrôler: le data-nosnippet attribut. Google: vous pouvez “designate textual parties de un HTML page pas à être utilisé comme un extrait… sur span, div, et section elements.” Tout dans le meta balise est page-wide; nosnippet / données-nosnippet est comment vous garder un passage out de le extrait sans touching le rest.

Combining directives et resolving conflicts

Two rules govern ce que se produit quand directives collide.

1. Le plus restrictive règle wins. “Dans le cas de conflicting robots règles, le plus restrictive règle s’applique. Par exemple, si une page a les deux max-snippet:50 et nosnippet règles, le nosnippet règle va appliquer.” nosnippet est stricter que un 50-character cap, donc nosnippet est ce que vous obtenir.

2. googlebot vs robots — le sum de le negative règles. Ce est le un la plupart guides obtenir incorrect. Un googlebot-named balise fait pas simplement remplacer le générique robots balise — pour le overlap, Googlebot takes le union de le restrictions. Google: “Pour situations où plusieurs robots d’exploration sont specified along avec différent règles, le moteur de recherche va utiliser le sum de le negative règles.” Leur worked exemple:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

“Lune page containing ces meta balises va être interpreted comme having un noindex, nofollow rule when crawled by Googlebot.” The nofollow from robots plus le noindex depuis googlebot ajouter up à noindex, nofollow pour Googlebot. (Où un googlebot balise et un robots balise définir le même directive differently, le robot-named un est le un que s’applique à que robot d’exploration.)

Meta robots balise vs X-Robots-Balise (le HTTP header)

«The robots meta tag is HTML-only — it needs a <head>. For anything that isn’t HTML, you use the X-Robots-Tag, which delivers the exact same rule vocabulary in the HTTP response header. Google: “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” And the reason it exists: “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” » (Traduction) (Résumé en français de la section cent neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

So:

• PDF, image, ou autre non-HTML? Vous pouvez’t ajouter un <meta> balise — utiliser le header, e.g. X-Robots-Tag: noindex.
• Entier directories ou patterns? Le header est définir à le serveur/CDN level, donc il scales à entier paths dans un config règle.
• Un moteur? Le header peut cible un robot d’exploration aussi: X-Robots-Tag: googlebot: noindex, nofollow, et plusieurs X-Robots-Balise headers peut être combined dans un réponse.

Même règles, deux delivery mechanisms: le meta balise pour HTML pages, le header pour tout sinon et pour scale.

Qui directives Bing and autre engines prise en charge

ne pas assume le directive définir est universal — il n’est pas. Bing prend en charge le core indexation et diffusion règles — noindex, nofollow, noarchive (avec nocache comme son synonym), et nosnippet — et il honors le X-Robots-Balise pour non-HTML resources. Mais Bing fait pas prise en charge le none shorthand, donc pour cross-moteur safety, écrire noindex, nofollow out explicitly plutôt que relying sur none. Le extrait- et preview-contrôle family — max-snippet, max-image-preview, max-video-preview — along avec noimageindex, notranslate, indexifembedded, et unavailable_after, est effectively Google-seulement. Quand dans doubt, spell directives out et treat le max-* contrôle comme Google fonctionnalités.

Erreurs fréquentes (and the fixes)

• Disallow + noindex sur le même URL. Le noindex est jamais vu. Corriger: laisser lune page crawlable; garder simplement le noindex.
• noindex plus un rel=canonical pointing elsewhere. Conflicting signaux — vous êtes telling Google les deux “drop this page” et “consolidate il dans un autre un.” Pick un. (Plus dans canonicalization.)
• Un staging-wide noindex shipped à production. Catastrophic, sitewide deindex. Vérifier avant launch.
• Un noindex injected seulement par client-side JavaScript. Google a à rendre lune page à voir il, et si le rendu HTML differs depuis ce que vous expect, behavior differs aussi. Préférer le balise dans le raw HTML ou le header. (Voir rendu.)
• Expecting Bing à honor Google-seulement directives (none, le max-* family).
• Expecting un robots directive à faire un job il ne fait pas propre. Un noindex ou nosnippet règle ne fait pas par itself guarantee explorer-budget savings, secrecy, un classement modifier, identical behavior à travers moteur de recherches, un spécifique removal timeline, ou exclusion depuis chaque AI/recherche surface — chaque de ceux résultats belongs à un différent contrôler (authentication pour secrecy, robots.txt pour explorer, chaque moteur’s propre docs pour parity, Search Console ou Google-Extended pour AI-spécifique scopes). Google donne aucun fixed timeframe pour quand un noindexed page en réalité drops out — il dépend sur recrawl priority et “may take months” pour un lower-importance page.

Pour où ce sits dans le bigger picture: robots.txt et exploration sont le explorer-contrôle side; noindex et indexation sont le indexer-contrôle side; et nosnippet / données-nosnippet, max-extrait, et max-image-preview sont le diffusion contrôle vous reach pour quand vous vouloir une page indexé mais vouloir à shape comment il apparaît. Le X-Robots-Balise est ce même balise’s HTTP-header equivalent pour non-HTML.

AI summary

A condensed prendre on the Avancé version:

• Le robots meta balise — <meta name="robots" content="…"> dans le <head> — contrôle comment un unique HTML page est indexé et servi. Avec aucun balise, le par défaut est index, follow.
• c’est explorer-alors-obey. Google doit explorer lune page à lire le balise: “ces paramètres peut être lire et followed seulement si robots d’exploration sont allowed à accès le pages.” Donc un robots.txt-bloqué URL jamais obtient son noindex vu — le classic mistake. Patrick’s bloqué-pages experiment proves le mechanism: bloqué pages stayed indexé et mostly kept classement. Bloquer ≠ supprimer.
• robots.txt = explorer contrôler; le meta balise (ou X-Robots-Balise) = indexer/servir contrôler. Pas interchangeable. noindex dans robots.txt était dropped Sept 1, 2019.
• Directives: indexation (noindex, none, indexifembedded), liens (nofollow, page-wide), diffusion (nosnippet, max-snippet, max-image-preview, max-video-preview, notranslate, noimageindex, unavailable_after), plus le paragraph-level data-nosnippet attribut. noarchive, nocache, et nositelinkssearchbox sont historical — Google dit il ne … plus utilise les.
• nosnippet/max-snippet aussi gate AI Overviews et AI Mode — Google dit ils contrôler si lune page’s contenu peut être utilisé comme un direct entrée pour ceux fonctionnalités, pas simplement le classic texte extrait. c’est pas un general AI-training opt-out; Google-Extended et Recherche’s séparé generative-AI property contrôler sont différent systèmes.
• Conflicts resolve à le la plupart restrictive (nosnippet beats max-snippet:50). À travers un googlebot balise et le générique robots balise, Googlebot takes le sum de le negative règles — robots: nofollow + googlebot: noindex ⇒ noindex, nofollow. Google recognizes seulement le googlebot/googlebot-news nom tokens; autre valeurs (comme bingbot) sont ignored par Google.
• Meta balise est conventionally <head>-seulement (Google aussi tolerates corps placement, mais c’est Google-spécifique, pas portable); le X-Robots-Balise carries le même règles dans le HTTP header pour PDFs, images, non-HTML, et entier directories.
• Cross-moteur: Bing prend en charge noindex/nofollow/noarchive(nocache)/ nosnippet mais pas none; le max-* family est effectively Google-seulement — écrire directives out explicitly.
• Aucun guarantees: un robots directive alone ne fait pas promise explorer-budget savings, secrecy, un classement modifier, cross-moteur parity, ou un fixed removal timeline — Google donne aucun définir timeframe pour noindex à prendre effect.

Documentation officielle

Primary-source documentation from the moteur de recherches.

Google

• Robots meta balise, données-nosnippet, et X-Robots-Balise specifications — le authoritative spec: chaque directive, combining règles, conflict resolution, le googlebot-vs-robots union, et le X-Robots-Balise header. Commencer ici.
• Bloquer Recherche Indexation avec noindex — comment noindex fonctionne, le deux delivery mechanisms (meta balise et header), et le explorer dependency dans plain langue.
• Introduction à robots.txt — le explorer-contrôle counterpart, donc vous ne pas confuse le deux jobs.
• Exploration et Indexation — le hub pour robots, sitemaps, canonicalization, et explorer contrôle.

Bing / Microsoft

• Robots meta balises et attributs que Bing prend en charge — Bing’s pris en charge directives (confirmer le exact liste sur le actif page; c’est JavaScript-rendu).

Référence

• MDN — <meta name="robots"> — cross-engine directive référence, notamment qui engines utiliser noarchive/nocache.

Quotes from the source

Sur-le-record statements depuis Google. Chaque lien est un deep lien que jumps à le quoted passage sur le page source.

Google — ce que le balise est et le par défaut

«- “The robots meta tag lets you use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” — Google Search Central docs. Jump to quote » (Traduction) (Résumé en français de la section cent trente-cinq, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Google — the crawl-then-obey dependency

«- “Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” Jump to quote » (Traduction) (Résumé en français de la section cent trente-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” Jump to quote » (Traduction) (Résumé en français de la section cent trente-sept, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” — Google, “Block Search Indexing with noindex.” Jump to quote » (Traduction) (Résumé en français de la section cent trente-sept, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Google — le directives (verbatim descriptions)

«- “Do not show this page, media, or resource in search results.” — noindex. Jump to quote » (Traduction) (Résumé en français de la section cent trente-neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Equivalent to noindex, nofollow.” — none. Jump to quote » (Traduction) (Résumé en français de la section cent trente-neuf, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Do not show a text snippet or video preview in the search results for this page.” — nosnippet. Jump to quote » (Traduction) (Résumé en français de la section cent trente-neuf, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” — indexifembedded. Jump to quote » (Traduction) (Résumé en français de la section cent trente-neuf, sous-partie quatre : le texte source est conservé pour vérification lors de la relecture francophone.) «- “A larger image preview, up to the width of the viewport, may be shown.” — max-image-preview:large. Jump to quote » (Traduction) (Résumé en français de la section cent trente-neuf, sous-partie cinq : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Do not index images on this page.” — noimageindex. Jump to quote » (Traduction) (Résumé en français de la section cent trente-neuf, sous-partie six : le texte source est conservé pour vérification lors de la relecture francophone.) «- “You can designate textual parts of an HTML page not to be used as a snippet.” — data-nosnippet. Jump to quote » (Traduction) (Résumé en français de la section cent trente-neuf, sous-partie sept : le texte source est conservé pour vérification lors de la relecture francophone.)

Google — combining et resolving conflicts

«- “You can create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante et un, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante et un, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante et un, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Google — placement, robot d’exploration tokens, and cas sensitivity

«- “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Google supports two user agent tokens in the robots meta tag; other values are ignored.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante-trois, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.) «- “Both the name and the content attributes are case-insensitive.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante-trois, sous-partie trois : le texte source est conservé pour vérification lors de la relecture francophone.)

Google — noarchive and autre historical directives

«- “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante-cinq, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “The nocache rule isn’t used by Google Search.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante-cinq, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.)

Google — nosnippet et max-extrait reach AI Overviews et AI Mode

• “[nosnippet] s’applique à tous forms de résultats de recherche (à Google: web recherche, Google Images, Discover, AI Overviews, AI Mode) et va aussi empêcher le contenu depuis étant utilisé comme un direct entrée pour AI Overviews et AI Mode.” Jump à citation
• “[max-extrait] s’applique à tous forms de résultats de recherche (such comme Google web recherche, Google Images, Discover, Assistant, AI Overviews, AI Mode) et va aussi limit comment beaucoup de le contenu peut être utilisé comme un direct entrée pour AI Overviews et AI Mode.” Jump à citation

Google — aucun fixed timeframe pour noindex to prendre effect

«- “If a page is still appearing in results, it’s probably because we haven’t crawled the page since you added the noindex rule. Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.” — Google, “Block Search Indexing with noindex.” Jump to quote » (Traduction) (Résumé en français de la section cent quarante-neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Google — X-Robots-Tag

«- “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” Jump to quote » (Traduction) (Résumé en français de la section cent cinquante et un, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” Jump to quote » (Traduction) (Résumé en français de la section cent cinquante et un, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.)

Patrick Stox — robots.txt is pour explorer contrôler seulement

«- “Google was clear they want robots.txt for crawl control only. The biggest downside will probably be all the people who accidentally take their entire site out of the index.” — Patrick Stox, on whether Google should add noindex to robots.txt, in Search Engine Land. Jump to quote » (Traduction) (Résumé en français de la section cent cinquante-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Patrick Stox — blocking classement pages avec robots.txt (le explorer-vs-indexer proof)

«- “Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” Jump to quote » (Traduction) (Résumé en français de la section cent cinquante-cinq, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.) «- “We lost a position here or there and all of the featured snippets for the pages.” Jump to quote » (Traduction) (Résumé en français de la section cent cinquante-cinq, sous-partie deux : le texte source est conservé pour vérification lors de la relecture francophone.)

«Note on relayed sources: John Mueller’s “use noindex, not robots.txt” line is reported by Search Engine Roundtable, whose page resists automated fetching; and Bing’s supported-directive list (Bing Webmaster Tools help) is JavaScript-rendered. Those points are paraphrased here without quotation marks and should be confirmed against the live pages before being treated as verbatim. » (Traduction) (Résumé en français de la section cent cinquante-six, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Chaque robots meta directive — cheat sheet

Le complet définir de Google-pris en charge content valeurs, ce que chaque fait, et le par défaut.

Historical — Google ne … plus uses ces:

Paragraph-level (an HTML attribute, pas a content valeur):

The syntax

<!-- one tag, comma-separated -->
<meta name="robots" content="noindex, nofollow">

<!-- target one engine -->
<meta name="googlebot" content="noindex">

<!-- the HTTP-header equivalent, for non-HTML / at scale -->
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: noindex, nofollow

Rapide facts

• Aucun balise à tout → par défaut index, follow.
• none = noindex, nofollow — mais Bing ne fait pas prise en charge none; écrire il out.
• max-*, noimageindex, notranslate, indexifembedded, unavailable_after sont effectively Google-seulement.
• Le balise est HTML-seulement; le X-Robots-Tag header carries le même règles pour PDFs, images, et entier directories.
• Google lit exactly deux robot-name tokens — googlebot et googlebot-news — et ignores tout sinon, notamment autre moteurs’ tokens comme bingbot.
• Head placement est le portable convention, mais Google précisément aussi respects un robots meta balise placed dans le <body>.
• name/content et X-Robots-Tag valeurs sont case-insensitive à Google.

The mental models

1. Explorer-alors-obey — le balise seulement fonctionne si lune page est fetchable. Google a à explorer lune page à lire le balise. N’importe quoi que bloque le récupérer (robots.txt disallow, auth, un erreur serveur) signifie le balise est jamais vu. Donc avant vous confiance un noindex, confirmer l’URL est crawlable. Le corollary: jamais Disallow une URL vous êtes trying à noindex.

2. Three outils, three jobs — ne pas mix les up.

• robots.txt = explorer contrôler (si bots récupérer lune page).
• Robots meta balise / X-Robots-Balise = indexer & servir contrôler (ce que se produit une fois c’est récupéré).
• Authentication = secrecy (un noindex page est encore public). Match le job à le outil. Le la plupart courant échec est en utilisant robots.txt à essayer à deindex — c’est le meta balise’s job.

3. Le décision règle pour removing une page. Vouloir il out de recherche? Laisser il crawlable et ajouter noindex — et ne pas aussi bloquer il dans robots.txt, et ne pas aussi canonical il à un différent URL. Vouloir bots à skip un space entirely (et vous ne pas care à propos de indexation)? robots.txt disallow. Le deux ne sont pas interchangeable.

4. Conflict resolution — la plupart restrictive wins. Quand règles collide, le stricter un s’applique (nosnippet beats max-snippet:50). ne pas essayer à out-clever ce avec combinations; assume le tightest règle est le un que takes effect.

5. googlebot vs robots — sum de le negatives, pas override. Pour le overlap, Googlebot ajoute up le restrictions depuis le générique robots balise et le googlebot-named balise plutôt que picking un. robots: nofollow + googlebot: noindex ⇒ Googlebot obtient noindex, nofollow. (Un robot-named balise fait prendre precedence over le générique balise où ils définir le même directive differently — mais le union est le règle à remember.)

6. HTML page → meta balise; tout sinon → header. Si il a un <head>, utiliser le <meta> balise. Si c’est un PDF, un image, quelconque non-HTML fichier, ou vous devez cover un entier directory, utiliser le X-Robots-Balise header — même règle vocabulary, différent delivery.

Journal des modifications