Sprachen

Meta-Robots-Tag

The robots meta tag controls wie ein Seite ist indexed und served — every directive, the crawlen-then-obey rule, conflict resolution, und meta tag vs X-Robots-Tag.

Erstveröffentlicht: 23. Juni 2026 · Zuletzt aktualisiert: 3. Aug. 2026 · Fortgeschritten
Sprachen
AIVerfasst vonAI v2
1 Evidenzsignal auf dieser Seite

The robots meta tag — <meta name="robots" content="noindex"> in the <head> — tells Suchmaschinen wie zu index und serve ein single Seite. The rule that breaks everything: es ist crawlen-then-obey, so ein Seite blocked in robots.txt ist never fetched und its noindex ist never seen. mit kein tag, the Standard ist index, folgen. Conflicting rules lösen zu the meisten restrictive; für ein googlebot-named tag against the generic robots tag, Googlebot takes the sum von the negative rules. The tag ist HTML-nur — verwenden the X-Robots-Tag header für PDFs, images, und other non-HTML.

TL;DR — <meta name="robots" content="…"> in the <head> controls wie ein single Seite ist indexed und served; mit kein tag the Standard ist index, folgen. es ist crawlen-then-obey: “these settings kann sein lesen und followed nur wenn crawlers sind allowed zu access the Seiten” — so ein robots.txt-blocked URL ist never fetched und its noindex ist never seen (I haben Erstanbieter- Daten auf the flip side von dies). Conflicting rules lösen zu the meisten restrictive; across ein googlebot tag und the generic robots tag, Googlebot takes the sum von the negative rules. The tag ist HTML-nur — verwenden the X-Robots-Tag header für non-HTML und im großen Maßstab. Google reads nur two crawler-named tokens — googlebot und googlebot-news — und ignores every other Wert, einschließlich other Engines’ tokens like bingbot.

Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications

war es ist, wo es goes, und the Standard

The robots meta tag lets Sie, in Google’s words, “verwenden ein granular, Seite-specific approach zu controlling wie ein individual HTML Seite sollte sein indexed und served zu users in Google Suchergebnisse.” The conventional, portable place für es ist the <head>:

<meta name="robots" content="noindex, nofollow">

Head placement ist the authoring convention every Engine expects, aber Google ist explicit that es ist nicht ein hard requirement für Google Suche specifically: “Google Suche tut nicht enforce placement von meta robots in the HTML head und will respect robots meta tags in the body section von ein HTML Dokument als well.” Treat that als tolerance für Google, nicht portable advice — still author es in the <head> so every crawler und validator that expects standard placement reads es correctly.

The name attribute ist the audience, und dies ist wo meisten Leitfäden overstate Google’s unterstützen. name="robots" addresses every crawler that reads the tag. Beyond that, Google supports exactly two crawler-named tokens, und ignores every other Wert: “Google supports two user agent tokens in the robots meta tag; other Werte sind ignored: googlebot für alle text Ergebnisse, und googlebot-news für news Ergebnisse.” ein tag named name="bingbot" ist nicht ein dokumentiert Google Steuerung — Bing reads its own token auf its own Begriffe, aber Google skips any name Wert es tut nicht recognize. Both the name und content attributes sind case-insensitive zu Google, und so sind X-Robots-Tag header names und Werte.

wenn kein robots meta tag ist present, the Standard ist index, follow (the all rule, welche Google notes “hat kein effect wenn explicitly listed”). Evidence for this claim For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Scope: Google-supported robots meta rules; other crawlers publish their own support and defaults. Confidence: high · Verified: Google Search Central: Robots meta tag specifications Sie nur benötigen the tag zu ändern that Standard.

Sie combine rules two ways: comma-separated in one tag (noindex, nofollow) oder als multiple <meta> tags. Google: Sie kann “erstellen ein multi-rule instruction durch combining robots meta tag rules mit commas oder durch Verwendung multiple meta tags.”

The rule that breaks everything: Google must crawlen the Seite zu sehen the tag

dies ist the whole article. The robots meta tag ist crawlen-then-obey. Google hat zu fetch the Seite zu lesen the tag — so anything that stops the fetch stops the tag aus ever being applied. Straight aus the spec:

“behalten Sie im Hinterkopf that these settings kann sein lesen und followed nur wenn crawlers sind allowed zu access the Seiten that enthalten these settings.”

Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications

und the consequence, spelled out:

“wenn ein Seite ist disallowed aus crawling durch the robots.txt file, then any Informationen über indexing oder serving rules will nicht sein gefunden und will therefore sein ignored.”

So the classic mistake — Disallow in robots.txt plus noindex auf the gleich URL — silently defeats the noindex. Google never crawls the Seite, never sees the tag, und the URL kann linger in the index (häufig als ein bare, snippet-weniger Ergebnis wenn something Links zu es). Google’s companion “Block Suche Indexing” doc says the gleich thing in plainer Sprache: für the noindex rule zu arbeiten, the Seite “must nicht sein blocked durch ein robots.txt file… wenn the Seite ist blocked durch ein robots.txt file oder the crawler kann nicht access the Seite, the crawler will never sehen the noindex rule, und the Seite kann still erscheinen in Suchergebnisse.”

I’ve watched the flip side von dies mechanism happen mit real Daten. in my experiment The Story of Blocking 2 High-Ranking Pages With Robots.txt, I deliberately blocked two von unser Ranking Seiten in robots.txt. weil Google could kein longer crawlen them, es couldn’t refresh anything über them — und the Seiten mostly kept Ranking: “wir lost ein position hier oder dort und alle von the featured snippets für the Seiten.” My takeaway: “Accidentally blocking Seiten (that Google already ranks) aus being crawled Verwendung robots.txt probably ist nicht going zu haben much impact auf Ihre Rankings, und they will likely still zeigen in the Suchergebnisse.” das ist the gleich coin als the noindex problem — ein blocked URL ist frozen. Block ≠ entfernen. wenn Sie tatsächlich wollen ein Seite gone, Sie benötigen ein crawlable noindex, welche ist the entire point von dies tag.

dies ist the line I’ve drawn publicly auf wo jede Tool belongs. Asked whether Google sollte hinzufügen noindex unterstützen zu robots.txt, I said: “Google war klar they wollen robots.txt für crawlen Steuerung nur.” Crawling ist robots.txt’s job; indexing ist the meta tag’s (oder the header’s). They don’t overlap, und the noindex directive in robots.txt war never officially supported — Google dropped parsing von es auf September 1, 2019.

Jede Robots-Meta-Direktive (die Referenz)

Google’s supported Werte, mit the verbatim descriptions aus the spec:

Indexing

  • all — “dort sind kein restrictions für indexing oder serving. dies rule ist the Standard Wert und hat kein effect wenn explicitly listed.”
  • noindex — “nicht zeigen dies Seite, media, oder resource in Suchergebnisse.”
  • none — “Equivalent zu noindex, nofollow.”
  • indexifembedded — “Google ist allowed zu index the Inhalt von ein Seite wenn es ist embedded in another Seite durch iframes oder similar HTML tags, in spite von ein noindex rule.” (The one directive that overrides ein noindex, für embedded Inhalt.)

Links

  • nofollow — “nicht folgen the Links auf dies Seite.” dies ist Seite-level — different scope aus ein per-Link rel="nofollow", welche applies zu one Link.

Serving und snippets

  • nosnippet — “nicht zeigen ein text snippet oder video preview in the Suche Ergebnisse für dies Seite.” dies scope ist broader than the classic text snippet: Google says es “applies zu alle forms von Suchergebnisse (bei Google: Web Suche, Google Images, Discover, AI Overviews, AI Mode) und will auch verhindern the Inhalt aus being verwendet als ein direct input für AI Overviews und AI Mode.”
  • max-snippet:[number] — “verwenden ein maximum von [number] characters als ein textual snippet für dies Suche Ergebnis.” gleich broadened scope als nosnippet: es “applies zu alle forms von Suchergebnisse (such als Google Web Suche, Google Images, Discover, Assistant, AI Overviews, AI Mode) und will auch limit wie much von the Inhalt may sein verwendet als ein direct input für AI Overviews und AI Mode.” das ist ein direct-input eligibility Steuerung für Google’s own AI search features — es ist nicht ein general AI-training opt-out. Keeping Ihre Inhalt out von model training (e.g. Google-Extended) oder out von Suche’s separate generative-AI property-level Steuerung in Search Console sind different Systeme mit different scopes; don’t treat nosnippet/max-snippet als covering either.
  • max-image-preview:[setting] — “festlegen the maximum size von ein image preview für dies Seite in Suchergebnisse.” Settings: none, standard, oder large (“ein larger image preview, bis zu the width von the viewport, may sein shown.”).
  • max-video-preview:[number] — “verwenden ein maximum von [number] seconds als ein video snippet für videos auf dies Seite in Suchergebnisse.”
  • notranslate — “Don’t offer translation von dies Seite in Suchergebnisse.”
  • noimageindex — “nicht index images auf dies Seite.”
  • unavailable_after:[date/time] — “nicht zeigen dies Seite in Suchergebnisse after the specified date/time.”

Historical — kein longer active Google controls

ein few directives that still circulate in older Leitfäden sind ones Google says es kein longer uses. Don’t hinzufügen these expecting them zu tun anything:

  • noarchive — “The noarchive rule ist kein longer verwendet durch Google Suche zu Steuerung whether ein cached Link ist shown in Suchergebnisse, als the cached Link feature kein longer exists.”
  • nocache (ein synonym einige Engines verwendet für noarchive) — “The nocache rule ist nicht verwendet durch Google Suche.”
  • nositelinkssearchbox — “The nositelinkssearchbox rule ist kein longer verwendet durch Google Suche zu Steuerung whether the sitelink Suche box ist shown für ein given Seite, als the feature kein longer exists.”

Paragraph-level (nicht in the meta tag)

es gibt one sub-Seite Steuerung: the data-nosnippet attribute. Google: Sie kann “designate textual parts von ein HTML Seite nicht zu sein verwendet als ein snippet… auf span, div, und section elements.” Everything in the meta tag ist Seite-wide; nosnippet / Daten-nosnippet ist wie Sie halten one passage out von the snippet ohne touching the rest.

Combining directives und resolving conflicts

Two rules govern war happens wenn directives collide.

1. The mehr restrictive rule wins. “in the case von conflicting robots rules, the mehr restrictive rule applies. zum Beispiel, wenn ein Seite hat both max-snippet:50 und nosnippet rules, the nosnippet rule will anwenden.” nosnippet ist stricter than ein 50-character cap, so nosnippet ist war Sie erhalten.

2. googlebot vs robots — the sum von the negative rules. dies ist the one meisten Leitfäden erhalten wrong. ein googlebot-named tag tut nicht simply ersetzen the generic robots tag — für the overlap, Googlebot takes the union von the restrictions. Google: “für situations wo multiple crawlers sind specified along mit different rules, the Suchmaschine will verwenden the sum von the negative rules.” Their worked Beispiel:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

“The Seite containing these meta tags will sein interpreted als having ein noindex, nofollow rule when crawled by Googlebot.” The nofollow from robots plus the noindex aus googlebot hinzufügen bis zu noindex, nofollow für Googlebot. (wo ein googlebot tag und ein robots tag festlegen the gleich directive differently, the crawler-named one ist the one that applies zu that crawler.)

Meta-Robots-Tag vs. X-Robots-Tag (der HTTP-Header)

The robots meta tag ist HTML-nur — es benötigt ein <head>. für anything that ist nicht HTML, Sie verwenden the X-Robots-Tag, welche delivers the exact gleich rule vocabulary in the HTTP response header. Google: “The X-Robots-Tag kann sein verwendet als ein element von the HTTP header response für ein given URL. Any rule that kann sein verwendet in ein robots meta tag kann auch sein specified als ein X-Robots-Tag.” und the Grund es exists: “Sie kann verwenden the X-Robots-Tag für non-HTML files like image files wo the usage von robots meta tags in HTML ist nicht possible.”

So:

  • PDF, image, oder other non-HTML? Sie kann nicht hinzufügen ein <meta> tag — verwenden the header, e.g. X-Robots-Tag: noindex.
  • Whole directories oder patterns? The header ist festlegen bei the server/CDN level, so es scales zu entire paths in one config rule.
  • One Engine? The header kann target ein crawler too: X-Robots-Tag: googlebot: noindex, nofollow, und multiple X-Robots-Tag headers kann sein combined in one response.

gleich rules, two delivery mechanisms: the meta tag für HTML Seiten, the header für everything else und für scale.

welche directives Bing und other Engines unterstützen

Don’t assume the directive festlegen ist universal — es ist nicht. Bing supports the core indexing und serving rules — noindex, nofollow, noarchive (mit nocache als its synonym), und nosnippet — und es honors the X-Robots-Tag für non-HTML resources. aber Bing tut nicht unterstützen the none shorthand, so für cross-Engine safety, schreiben noindex, nofollow out explicitly anstatt relying auf none. The snippet- und preview-Steuerung family — max-snippet, max-image-preview, max-video-preview — along mit noimageindex, notranslate, indexifembedded, und unavailable_after, ist effectively Google-nur. wenn in doubt, spell directives out und treat the max-* controls als Google features.

Common mistakes (und the fixes)

  • Disallow + noindex auf the gleich URL. The noindex ist never seen. Fix: leave the Seite crawlable; halten just the noindex.
  • noindex plus ein rel=canonical pointing elsewhere. Conflicting signals — Sie sind telling Google both “drop dies Seite” und “consolidate es into another one.” Pick one. (mehr in canonicalization.)
  • ein staging-wide noindex shipped zu production. Catastrophic, sitewide deindex. prüfen vor launch.
  • ein noindex injected nur durch client-side JavaScript. Google hat zu render the Seite zu sehen es, und wenn the rendered HTML differs aus war Sie expect, behavior differs too. Prefer the tag in the raw HTML oder the header. (sehen rendering.)
  • Expecting Bing zu honor Google-nur directives (none, the max-* family).
  • Expecting ein robots directive zu tun ein job es tut nicht own. ein noindex oder nosnippet rule tut nicht durch itself guarantee crawlen-budget savings, secrecy, ein Ranking ändern, identical behavior across Suchmaschinen, ein specific removal timeline, oder exclusion aus every AI/search surface — jede von diese outcomes belongs zu ein different Steuerung (authentication für secrecy, robots.txt für crawlen, jede Engine’s own docs für parity, Search Console oder Google-Extended für AI-specific scopes). Google gives kein fixed timeframe für wenn ein noindexed Seite tatsächlich drops out — es depends auf recrawl priority und “may nehmen months” für ein lower-importance Seite.

für wo dies sits in the bigger picture: robots.txt und crawling sind the crawlen-Steuerung side; noindex und indexing sind the index-Steuerung side; und nosnippet / Daten-nosnippet, max-snippet, und max-image-preview sind the serving controls Sie reach für wenn Sie wollen ein Seite indexed aber wollen zu shape wie es erscheint. The X-Robots-Tag ist dies gleich tag’s HTTP-header equivalent für non-HTML.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.