Meta-Robots-Tag

TL;DR — Der Meta-Robots-Tag ist eine HTML-Zeile im <head> einer Seite, die Suchmaschinen den Umgang mit dieser einen Seite vorgibt. Häufig lautet sie <meta name="robots" content="noindex">, um die Seite aus den Suchergebnissen herauszuhalten. Google muss die Seite jedoch crawlen können, um den Tag zu lesen. Wird sie zugleich in robots.txt gesperrt, bleibt der Tag unsichtbar und die Seite kann indexiert bleiben. Ohne Tag gilt standardmäßig: indexieren und Links folgen.

Was der Meta-Robots-Tag ist

Der Meta-Robots-Tag ist ein kleines HTML-Element im <head> einer Seite:

<meta name="robots" content="noindex">

Er teilt Suchmaschinen mit, wie sie diese konkrete Seite behandeln sollen: ob sie in Ergebnissen erscheinen, ob Links verfolgt und ob ein Snippet gezeigt werden darf. Der Teil name="robots" richtet sich an alle Suchmaschinen, die den Tag lesen. Mit einem Crawler-Namen wie name="googlebot" lässt sich nur eine Suchmaschine ansprechen.

Ohne Meta-Robots-Tag gilt standardmäßig index, follow: Die Seite darf in der Suche erscheinen und ihre Links dürfen verfolgt werden. Sie benötigen den Tag also nur, wenn Sie dieses Standardverhalten ändern möchten. Nachweis für diese Aussage For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Geltungsbereich: Google-supported robots meta rules; other crawlers publish their own support and defaults. Vertrauensniveau: hoch · Verifiziert: 2026-07-14 Google Search Central: Robots meta tag specifications

Entscheidend: Eine Seite mit noindex nicht zugleich sperren

Das ist der häufigste Fehler. Wer eine Seite aus Google entfernen möchte, tut oft beides:

1. noindex zur Seite hinzufügen, und
2. die Seite in robots.txt sperren.

Der zweite Schritt vereitelt den ersten. Die Sperre in robots.txt verhindert den Abruf. Google lädt die Seite nicht herunter, liest noindex nicht und kann die URL im Index belassen. Lassen Sie die Seite daher crawlbar, damit Google noindex verarbeiten kann.

Die beiden Steuerungen haben unterschiedliche Aufgaben:

• robots.txt steuert das Crawlen, also ob Bots die Seite abrufen dürfen.
• Der Meta-Robots-Tag steuert Indexierung und Darstellung, nachdem die Seite abgerufen wurde.

Sie sind nicht austauschbar. Wenn eine URL aus der Suche entfernt werden soll, dürfen Sie nicht beide Steuerungen gleichzeitig auf sie anwenden.

Die gängigen Direktiven

Einige Direktiven werden besonders häufig verwendet:

• noindex – Seite aus den Suchergebnissen heraushalten.
• nofollow – Links auf dieser Seite nicht folgen. Anders als rel="nofollow" an einem einzelnen Link gilt diese Direktive für alle Links der Seite.
• none – Kurzform für noindex, nofollow.
• nosnippet – kein Text-Snippet für die Seite in Suchergebnissen zeigen.

Mehrere Werte lassen sich mit Kommas verbinden: <meta name="robots" content="noindex, nofollow">.

Wichtige Einschränkungen

• noindex macht eine Seite nicht privat. Sie bleibt öffentlich und crawlbar und erscheint lediglich nicht in der Suche. Für echte Vertraulichkeit ist eine Anmeldung nötig.
• noindex spart kein Crawl-Budget. Google muss die Seite weiterhin abrufen, um den Tag zu sehen.
• Ein PDF oder Bild kann keinen <meta>-Tag enthalten, weil es keinen HTML-<head> gibt. Dafür dient der HTTP-Header X-Robots-Tag; mehr dazu auf der Leseebene Fortgeschritten.
• Für das Verschwinden einer Seite mit noindex gibt es keinen festen Zeitraum. Bei Seiten niedriger Priorität können erneutes Crawlen und Verarbeitung laut Google Monate dauern. Versprechen Sie Kunden daher keine Frist von „zwei bis vier Wochen“.

Die vollständige Direktivenliste, Googles Konfliktauflösung, der Sonderfall von googlebot gegenüber robots und der X-Robots-Tag-Header werden auf der Leseebene Fortgeschritten behandelt.

Testen Sie sich selbst: Meta-Robots-Direktiven

Die Steuerung nach dem gewünschten Ergebnis wählen

Robots-Steuerungen, die ihren Zweck verfehlen

• noindex mit einer robots.txt-Sperre verbinden. Die Sperre verhindert, dass der Crawler die Entfernungsdirektive sieht.
• disallow als garantierte Deindexierung verwenden. Es stoppt den Abruf, doch eine verlinkte URL kann weiterhin ohne Seiteninhalt indexiert sein.
• Annehmen, ein Meta-Robots-Tag im body werde stillschweigend ignoriert. Google berücksichtigt einen solchen Tag. Eine Vorlage, die ihn dort einfügt, wirkt daher für Google. Platzieren Sie ihn trotzdem im <head>, denn nur diese Position ist für andere Crawler und Validatoren portabel.
• Einen Crawler-Namen verwenden, den Google nicht liest, etwa name="bingbot", und annehmen, die Regel gelte dadurch auch für Google. Google erkennt nur googlebot und googlebot-news; alle anderen name-Werte werden ignoriert.
• Einen HTML-Meta-Tag für ein PDF verwenden. Liefern Sie für Nicht-HTML-Dateien den HTTP-Header X-Robots-Tag aus.
• nofollow wie noindex behandeln. Die Behandlung von Links entfernt die aktuelle Seite nicht aus den Suchergebnissen.
• Allgemeine und crawler-spezifische Tags veröffentlichen, ohne ihre Summe zu prüfen. Prüfen Sie robots, googlebot und Header-Direktiven gemeinsam; eine restriktive Regel kann an einer zweiten Stelle bestehen bleiben.
• Robots-Regeln als Geheimhaltung einsetzen. Jeder kann eine öffentliche URL abrufen oder robots.txt lesen. Vertrauliche Inhalte brauchen eine Zugriffskontrolle.

noindex sicher bereitstellen

• Bestätigen, dass die Entfernung aus der Suche das Ziel ist – nicht weniger Crawlen, Canonical-Konsolidierung oder Zugriffskontrolle.
• Für HTML <meta name="robots" content="noindex"> oder für eine Nicht-HTML-Ressource den Response-Header X-Robots-Tag: noindex verwenden.
• Die URL für den betreffenden Crawler crawlbar und erreichbar lassen.
• Widersprüchliche Direktiven aus Vorlagen, CMS, CDN und crawler-spezifischen Regeln entfernen.
• Den gerenderten head und die Live-Antwort prüfen, nicht nur die Quellvorlage.
• Sowohl die kanonische URL als auch relevante Varianten und Weiterleitungen testen.
• Betroffene URLs und Bereitstellungszeit für spätere Vergleiche festhalten.
• Die Regel in der URL-Prüfung bestätigen und nach dem erneuten Crawlen den Seitenindexierungsbericht beobachten.
• Stattdessen Authentifizierung verwenden, wenn der Inhalt privat bleiben muss.

Meta-Tags, Header und Crawl-Zugriff prüfen

Ersetzen Sie die URL in dieser Shell-Prüfung:

url="https://example.com/page/"
curl -sSI "$url" | grep -iE '^(HTTP/|x-robots-tag:|location:)'
curl -sS "$url" | grep -oiE '<meta[^>]+name=["'"'](robots|googlebot)["'"'][^>]*>'
curl -sS "https://example.com/robots.txt"

Erfassen Sie in der DevTools-Konsole alle geparsten Robots-Tags, statt beim ersten Treffer zu stoppen:

console.table([...document.querySelectorAll('meta[name]')]
  .filter((meta) => /^(robots|googlebot|bingbot)$/i.test(meta.name))
  .map((meta) => ({ crawler: meta.name, content: meta.content })));

Header sind im DOM nicht sichtbar. Vergleichen Sie das Konsolenergebnis daher mit der tatsächlichen Antwort und folgen Sie Weiterleitungen. Eine Direktive in einer Zwischenantwort beweist nicht, dass das Ziel dieselbe Regel ausliefert.

Jede Ebene getrennt testen

• HTTP Header Checker – prüft Status, Weiterleitungen und alle live ausgelieferten X-Robots-Tag-Header, auch bei PDFs.
• Robots.txt Tester – prüft, ob der Ziel-Crawler die URL abrufen und damit eine Robots-Direktive entdecken darf.

Verwenden Sie beide Tools bei hartnäckig indexierten URLs. Eine korrekte noindex-Antwort bleibt wirkungslos, wenn robots.txt den Abruf verhindert; erlaubtes Crawlen beweist umgekehrt nicht, dass die Seite tatsächlich noindex ausliefert.

Nach der Bereitstellung beweisen, dass die Direktive wirkt

Test 1 – Live-Auslieferung

• Hypothese: Jede vorgesehene URL liefert genau eine wirksame noindex-Regel aus.
• Methode: Eine Stichprobe der URL-Menge ziehen, Weiterleitungen folgen und gerenderte Meta-Tags sowie Response-Header prüfen.
• Bestanden: Die endgültige Antwort ist crawlbar und zeigt dem vorgesehenen Crawler noindex, ohne dass ein anderer Auslieferungsweg widerspricht.
• Fehlgeschlagen: Eine Weiterleitung, ein CDN-Header oder ein crawler-spezifischer Tag verändert die Regel.
• Nächster Schritt: Die verantwortliche Ebene korrigieren und dieselbe Stichprobe wiederholen.

Test 2 – Verarbeitung durch die Suchmaschine

• Hypothese: Google kann die Seite crawlen und hat die Entfernungsregel verarbeitet.
• Methode: Den Live-Test der URL-Prüfung ausführen und nach erneutem Crawlen den Seitenindexierungsbericht beobachten.
• Bestanden: Der Live-Test erkennt noindex und die URL ist aus diesem Grund nicht indexiert.
• Fehlgeschlagen: Die URL ist gesperrt, die Direktive fehlt oder der alte Indexstatus besteht ohne erneutes Crawlen fort.
• Nächster Schritt: Crawl-Zugriff wiederherstellen oder erneutes Crawlen anfordern; keine disallow-Regel ergänzen.

Die beabsichtigte Wirkung messen, nicht einen allgemeinen Richtwert

Abdeckung des beabsichtigten noindex

URLs serving the intended noindex ÷ URLs in the approved noindex set

Bilden Sie den Nenner aus Ihrem eigenen Entfernungsinventar und vergleichen Sie Crawls vor und nach der Bereitstellung. Ziel ist die vollständige Abdeckung dieser genehmigten Menge, nicht ein Branchenprozentsatz.

Unintended index-Steuerung conflicts

Verfolgen Sie die Anzahl vorgesehener noindex-URLs, die weiterhin indexiert, durch robots.txt gesperrt oder mit widersprüchlichen Meta- beziehungsweise Header-Regeln ausgeliefert werden. Segmentieren Sie nach Vorlage, CDN-Regel und Dateityp, damit ein Implementierungsfehler nicht in einer websiteweiten Summe verborgen bleibt.

Nutzen Sie den Seitenindexierungsbericht und die URL-Prüfung der Google Search Console als Verarbeitungsbelege und berücksichtigen Sie, dass die Deindexierung erneutes Crawlen voraussetzt. Halten Sie Ausgangswert und Bereitstellungsdatum fest; andernfalls fehlt einer sinkenden Gesamtsumme eine belastbare Basis.

TL;DR — <meta name="robots" content="…"> im <head> steuert, wie eine einzelne Seite indexiert und dargestellt wird; ohne Tag gilt index, follow. Die Direktive folgt dem Prinzip erst crawlen, dann befolgen. Eine in robots.txt gesperrte URL wird nicht abgerufen, sodass ihr noindex ungesehen bleibt. Bei Konflikten gilt die restriktivste Regel; aus einem googlebot-Tag und dem allgemeinen robots-Tag bildet Googlebot die Summe der negativen Regeln. Der Meta-Tag gilt nur für HTML. Für Nicht-HTML und eine skalierte Auslieferung dient der Header X-Robots-Tag. Google liest nur die crawler-spezifischen Tokens googlebot und googlebot-news und ignoriert andere Werte wie bingbot.

Funktionsweise, Platzierung und Standardverhalten

Mit dem Meta-Robots-Tag lässt sich auf Seitenebene steuern, wie eine einzelne HTML-Seite in Google-Suchergebnissen indexiert und dargestellt wird. Die übliche, portable Position ist der <head>:

<meta name="robots" content="noindex, nofollow">

Diese Position erwartet jede Suchmaschine. Google selbst toleriert Meta-Robots-Tags auch im body eines HTML-Dokuments. Das ist jedoch eine Google-spezifische Toleranz und keine portable Empfehlung. Verwenden Sie weiterhin den <head>, damit Crawler und Validatoren mit Standarderwartungen den Tag zuverlässig lesen.

Das name-Attribut bestimmt die Zielgruppe. name="robots" richtet sich an alle Crawler, die den Tag lesen. Darüber hinaus unterstützt Google genau zwei crawler-spezifische Tokens: googlebot für Textergebnisse und googlebot-news für Nachrichtenergebnisse. Andere Werte werden ignoriert. name="bingbot" ist daher keine Google-Steuerung, auch wenn Bing sein eigenes Token auswertet. Groß- und Kleinschreibung spielt für Google weder bei name und content noch bei Namen und Werten des X-Robots-Tag-Headers eine Rolle.

Ohne Meta-Robots-Tag gilt standardmäßig index, follow. Die ausdrückliche Regel all ändert nichts. Nachweis für diese Aussage For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Geltungsbereich: Google-supported robots meta rules; other crawlers publish their own support and defaults. Vertrauensniveau: hoch · Verifiziert: 2026-07-14 Google Search Central: Robots meta tag specifications Ein Tag ist nur nötig, um den Standard zu ändern.

Regeln lassen sich entweder kommasepariert in einem Tag (noindex, nofollow) oder über mehrere <meta>-Tags kombinieren.

Die entscheidende Regel: Google muss die Seite crawlen, um den Tag zu sehen

Der Meta-Robots-Tag wird erst gecrawlt und dann befolgt. Google muss die Seite abrufen, um den Tag zu lesen. Alles, was diesen Abruf verhindert, verhindert auch die Anwendung der Direktive. Die Spezifikation fasst es so zusammen:

Crawler können diese Einstellungen nur lesen und befolgen, wenn sie auf die Seiten mit diesen Einstellungen zugreifen dürfen.

Und die Folge, ausdrücklich formuliert:

Ist eine Seite durch robots.txt vom Crawlen ausgeschlossen, werden ihre Indexierungs- und Darstellungsregeln nicht gefunden und deshalb ignoriert.

Der klassische Fehler – Disallow in robots.txt plus noindex auf derselben URL – setzt noindex damit stillschweigend außer Kraft. Google crawlt die Seite nicht, sieht den Tag nicht und kann die URL im Index belassen, oft als nacktes Ergebnis ohne Snippet, wenn Links auf sie verweisen. Damit noindex wirkt, darf die Seite nicht durch robots.txt gesperrt sein und muss für den Crawler erreichbar bleiben.

Die Kehrseite dieses Mechanismus habe ich mit eigenen Daten beobachtet. In meinem Versuch The Story of Blocking 2 High-Ranking Pages With Robots.txt sperrte ich zwei rankende Seiten absichtlich in robots.txt. Weil Google sie nicht mehr crawlen konnte, wurden die Informationen nicht aktualisiert. Die Rankings blieben größtenteils bestehen; verloren gingen nur einzelne Positionen und die Featured Snippets. Meine Schlussfolgerung: Eine versehentliche robots.txt-Sperre für bereits rankende Seiten hat wahrscheinlich nur geringe Rankingauswirkungen, und die Seiten können weiterhin in Suchergebnissen erscheinen. Das ist die Kehrseite des noindex-Problems: Eine gesperrte URL ist eingefroren. Sperren ist nicht Entfernen. Für eine tatsächliche Entfernung brauchen Sie ein crawlbares noindex.

Diese Aufgabentrennung vertrete ich auch öffentlich: Google will robots.txt ausschließlich für die Crawl-Steuerung. Crawlen ist die Aufgabe von robots.txt; Indexierung ist die Aufgabe des Meta-Tags oder Headers. noindex in robots.txt wurde nie offiziell unterstützt, und Google stellte das Parsen dieser Direktive am 1. September 2019 ein.

Jede Robots-Meta-Direktive (die Referenz)

Googles unterstützte Werte, mit sinngemäß übersetzten Beschreibungen aus der Spezifikation:

Indexierung

• all – keine Einschränkungen für Indexierung oder Darstellung; Standardwert ohne Wirkung, wenn er ausdrücklich angegeben wird.
• noindex – Seite, Medium oder Ressource nicht in Suchergebnissen zeigen.
• none – entspricht noindex, nofollow.
• indexifembedded – Google darf den Inhalt trotz noindex indexieren, wenn er über einen iframe oder ein ähnliches HTML-Element in eine andere Seite eingebettet ist. Das ist die einzige Direktive, die noindex für eingebettete Inhalte übersteuert.

Links

• nofollow – Links auf dieser Seite nicht folgen. Die Direktive gilt seitenweit und unterscheidet sich von rel="nofollow" an einem einzelnen Link.

Darstellung und Snippets

• nosnippet – kein Text-Snippet oder keine Videovorschau für die Seite zeigen. Das gilt für Websuche, Google Bilder, Discover, AI Overviews und AI Mode und verhindert zugleich, dass der Inhalt als direkte Eingabe für AI Overviews und AI Mode verwendet wird.
• max-snippet:[number] – höchstens die angegebene Zeichenanzahl als Text-Snippet verwenden. Die Direktive gilt ebenfalls für alle genannten Ergebnisformen und begrenzt die direkte Eingabe für AI Overviews und AI Mode. Sie ist keine allgemeine Abwahl von KI-Training. Google-Extended und die separaten eigenschaftsweiten Einstellungen für generative KI in der Search Console sind andere Systeme mit anderem Geltungsbereich.
• max-image-preview:[setting] – maximale Größe einer Bildvorschau bestimmen. Erlaubt sind none, standard und large; bei large kann die Vorschau bis zur Viewportbreite reichen.
• max-video-preview:[number] – maximale Sekundenanzahl eines Video-Snippets festlegen.
• notranslate – keine Übersetzung dieser Seite in Suchergebnissen anbieten.
• noimageindex – Bilder auf dieser Seite nicht indexieren.
• unavailable_after:[date/time] – die Seite nach dem angegebenen Zeitpunkt nicht mehr in Suchergebnissen zeigen.

Historisch – keine aktiven Google-Steuerungen mehr

Einige Direktiven aus älteren Leitfäden werden von Google nicht mehr verwendet:

• noarchive – steuert keinen Cache-Link mehr, weil diese Funktion nicht mehr existiert.
• nocache – von einigen Suchmaschinen als Synonym für noarchive verwendet, wird von Google Suche nicht ausgewertet.
• nositelinkssearchbox – steuert kein Sitelinks-Suchfeld mehr, weil die Funktion nicht mehr existiert.

Auf Absatzebene statt im Meta-Tag

Das Attribut data-nosnippet kann Textbereiche in span, div und section von Snippets ausschließen. Meta-Tag-Regeln gelten für die gesamte Seite; mit data-nosnippet halten Sie nur eine bestimmte Passage aus dem Snippet heraus.

Direktiven kombinieren und Konflikte auflösen

Zwei Regeln bestimmen das Ergebnis bei widersprüchlichen Direktiven.

1. Die restriktivere Regel gewinnt. Bei max-snippet:50 und nosnippet gilt nosnippet, weil ein vollständiger Ausschluss strenger als die Begrenzung auf 50 Zeichen ist.

2. googlebot gegenüber robots: die Summe der negativen Regeln. Ein googlebot-spezifischer Tag ersetzt den allgemeinen robots-Tag nicht einfach. Für Googlebot gilt die Vereinigung der Einschränkungen. Beispiel:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Für Googlebot wird die Seite als noindex, nofollow interpretiert: nofollow aus robots plus noindex aus googlebot. Wenn crawler-spezifischer und allgemeiner Tag dieselbe Direktive unterschiedlich setzen, gilt für den betreffenden Crawler sein eigener Tag.

Meta-Robots-Tag vs. X-Robots-Tag (der HTTP-Header)

Der Meta-Robots-Tag funktioniert nur in HTML und benötigt einen <head>. Für andere Ressourcen liefert der X-Robots-Tag dasselbe Regelvokabular im HTTP-Response-Header. Jede im Meta-Tag mögliche Regel kann auch dort angegeben werden.

Das bedeutet:

• PDF, Bild oder andere Nicht-HTML-Ressource? Verwenden Sie beispielsweise X-Robots-Tag: noindex statt eines <meta>-Tags.
• Ganze Verzeichnisse oder Muster? Der Header lässt sich auf Server- oder CDN-Ebene für vollständige Pfade skalieren.
• Nur eine Suchmaschine? Auch der Header kann Crawler adressieren, etwa X-Robots-Tag: googlebot: noindex, nofollow. Mehrere Header dürfen kombiniert werden.

Es sind dieselben Regeln über zwei Auslieferungswege: Meta-Tag für HTML-Seiten, Header für alle anderen Ressourcen und eine skalierte Konfiguration.

Unterstützung bei Bing und anderen Suchmaschinen

Der Direktivenumfang ist nicht universell. Bing unterstützt die zentralen Indexierungs- und Darstellungsregeln noindex, nofollow, noarchive beziehungsweise nocache und nosnippet sowie X-Robots-Tag für Nicht-HTML. Die Kurzform none unterstützt Bing jedoch nicht. Schreiben Sie für suchmaschinenübergreifende Sicherheit noindex, nofollow aus. Die Familie max-snippet, max-image-preview und max-video-preview sowie noimageindex, notranslate, indexifembedded und unavailable_after sind im Wesentlichen Google-spezifisch.

Häufige Fehler und Korrekturen

• Disallow und noindex auf derselben URL. noindex bleibt unsichtbar. Lassen Sie die Seite crawlbar und behalten Sie nur noindex.
• noindex plus ein auf eine andere URL zeigendes rel=canonical. Diese Signale widersprechen sich: entfernen oder konsolidieren. Wählen Sie ein Ziel.
• Ein websiteweites noindex aus der Staging-Umgebung gelangt in Produktion. Das kann die gesamte Website deindexieren. Prüfen Sie es vor dem Start.
• noindex wird nur per clientseitigem JavaScript eingefügt. Google muss die Seite rendern, um es zu sehen. Bevorzugen Sie den Tag im Roh-HTML oder den Header.
• Von Bing die Beachtung Google-spezifischer Direktiven erwarten, etwa none und max-*.
• Von einer Robots-Direktive eine fremde Aufgabe erwarten. noindex oder nosnippet garantiert weder Crawl-Budget-Einsparungen noch Geheimhaltung, Rankingänderung, suchmaschinenübergreifend identisches Verhalten, eine feste Entfernungsfrist oder den Ausschluss aus jeder KI- und Suchoberfläche. Diese Ziele gehören zu anderen Steuerungen. Google nennt keine feste Frist; bei Seiten niedriger Priorität kann die Wirkung Monate dauern.

Im Gesamtbild steuern robots.txt und Crawlen den Abruf, noindex und Indexierung die Aufnahme in den Index und nosnippet, data-nosnippet, max-snippet und max-image-preview die Darstellung. Der X-Robots-Tag ist das HTTP-Header-Gegenstück des Meta-Tags für Nicht-HTML.

KI-Zusammenfassung

Kurzfassung der fortgeschrittenen Leseebene:

• Der Meta-Robots-Tag <meta name="robots" content="…"> im <head> steuert Indexierung und Darstellung einer einzelnen HTML-Seite. Ohne Tag gilt index, follow.
• Er folgt dem Prinzip „erst crawlen, dann befolgen“. Eine durch robots.txt gesperrte URL kann ihren noindex-Tag nicht vermitteln. Patricks Experiment mit gesperrten Seiten zeigt die Kehrseite: Gesperrte Seiten blieben indexiert und behielten meist ihre Rankings.
• robots.txt steuert Crawlen; Meta-Robots-Tag oder X-Robots-Tag steuern Indexierung und Darstellung. noindex in robots.txt wurde am 1. September 2019 eingestellt.
• Direktiven: noindex, none, indexifembedded, das seitenweite nofollow, nosnippet, die max-*-Familie, notranslate, noimageindex, unavailable_after und auf Absatzebene data-nosnippet. Google verwendet noarchive, nocache und nositelinkssearchbox nicht mehr.
• nosnippet und max-snippet gelten auch für AI Overviews und AI Mode. Sie steuern direkte Eingaben für diese Funktionen, sind aber keine allgemeine Abwahl von KI-Training.
• Bei Konflikten gilt die restriktivste Regel. Für googlebot und robots bildet Googlebot die Summe negativer Regeln. Google erkennt nur googlebot und googlebot-news.
• Der Meta-Tag gehört portabel in den <head>. Google toleriert ihn auch im body. Der X-Robots-Tag liefert dieselben Regeln per HTTP-Header für Nicht-HTML und ganze Pfade.
• Suchmaschinenübergreifend: Bing unterstützt zentrale Regeln, aber nicht none; max-* ist im Wesentlichen Google-spezifisch. Schreiben Sie Regeln ausdrücklich aus.
• Keine Garantien: Eine Robots-Direktive verspricht weder Crawl-Budget-Einsparungen, Geheimhaltung, Rankingänderung, gleiche Wirkung in allen Suchmaschinen noch eine feste Frist.

Offizielle Dokumentation

Primärdokumentation der Suchmaschinen.

Google

• Robots meta tag, data-nosnippet, and X-Robots-Tag specifications – maßgebliche Spezifikation aller Direktiven, Kombinations- und Konfliktregeln sowie des X-Robots-Tag-Headers.
• Block Search Indexing with noindex – erklärt noindex, beide Auslieferungswege und die Abhängigkeit vom Crawlen.
• Introduction to robots.txt – Gegenstück für die Crawl-Steuerung.
• Crawling and Indexing – Übersichtsseite zu Robots, Sitemaps, Kanonisierung und Crawl-Steuerungen.

Bing / Microsoft

• Robots meta tags and attributes that Bing supports – Bings unterstützte Direktiven; die genaue Liste sollte auf der per JavaScript gerenderten Live-Seite bestätigt werden.

Reference

• MDN — <meta name="robots"> – suchmaschinenübergreifende Referenz einschließlich noarchive und nocache.

Zitate aus den Quellen

Offizielle Aussagen von Google. Jeder Link führt direkt zur zitierten Passage.

Google — Funktion und Standard des Tags

• “The robots meta tag lets you use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” Übersetzung: „Mit dem robots-meta-Tag können Sie detailliert und seitenspezifisch steuern, wie eine einzelne HTML-Seite indexiert und Nutzern in Google-Suchergebnissen angezeigt werden soll.“ — Google Search Central. Direkt zum Zitat

Google — Abhängigkeit vom Crawlen

• “Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” Übersetzung: „Beachten Sie, dass diese Einstellungen nur gelesen und befolgt werden können, wenn Crawler auf die Seiten mit diesen Einstellungen zugreifen dürfen.“ Direkt zum Zitat
• “If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” Übersetzung: „Wenn eine Seite durch die robots.txt-Datei vom Crawlen ausgeschlossen ist, werden Informationen über Indexierungs- oder Darstellungsregeln nicht gefunden und deshalb ignoriert.“ Direkt zum Zitat
• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” Übersetzung: „Damit die noindex-Regel wirkt, darf die Seite oder Ressource nicht durch eine robots.txt-Datei gesperrt sein und muss für den Crawler anderweitig erreichbar sein.“ — Google, „Block Search Indexing with noindex“. Direkt zum Zitat

Google — die Direktiven (wörtliche Beschreibungen)

• “Do not show this page, media, or resource in search results.” — noindex. Übersetzung: „Diese Seite, dieses Medium oder diese Ressource nicht in Suchergebnissen zeigen.“ Direkt zum Zitat
• “Equivalent to noindex, nofollow.” — none. Übersetzung: „Entspricht noindex, nofollow.“ Direkt zum Zitat
• “Do not show a text snippet or video preview in the search results for this page.” — nosnippet. Übersetzung: „Für diese Seite kein Text-Snippet und keine Videovorschau in den Suchergebnissen zeigen.“ Direkt zum Zitat
• “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” — indexifembedded. Übersetzung: „Google darf den Inhalt einer Seite trotz einer noindex-Regel indexieren, wenn er über iframes oder ähnliche HTML-Tags in eine andere Seite eingebettet ist.“ Direkt zum Zitat
• “A larger image preview, up to the width of the viewport, may be shown.” — max-image-preview:large. Übersetzung: „Eine größere Bildvorschau bis zur Breite des Viewports kann angezeigt werden.“ Direkt zum Zitat
• “Do not index images on this page.” — noimageindex. Übersetzung: „Bilder auf dieser Seite nicht indexieren.“ Direkt zum Zitat
• “You can designate textual parts of an HTML page not to be used as a snippet.” — data-nosnippet. Übersetzung: „Sie können Textteile einer HTML-Seite kennzeichnen, die nicht als Snippet verwendet werden sollen.“ Direkt zum Zitat

Google — Regeln kombinieren und Konflikte auflösen

• “You can create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” Übersetzung: „Sie können eine Anweisung mit mehreren Regeln erstellen, indem Sie robots-meta-Tag-Regeln mit Kommas verbinden oder mehrere meta-Tags verwenden.“ Direkt zum Zitat
• “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” Übersetzung: „Bei widersprüchlichen Robots-Regeln gilt die restriktivere Regel. Hat eine Seite beispielsweise max-snippet:50 und nosnippet, gilt nosnippet.“ Direkt zum Zitat
• “For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” Übersetzung: „Wenn mehrere Crawler mit unterschiedlichen Regeln angegeben sind, verwendet die Suchmaschine die Summe der negativen Regeln.“ Direkt zum Zitat

Google — Platzierung, Crawler-Tokens und Großschreibung

• “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” Übersetzung: „Google Suche erzwingt die Platzierung von Meta-Robots-Tags im HTML-head nicht und berücksichtigt sie auch im body eines HTML-Dokuments.“ Direkt zum Zitat
• “Google supports two user agent tokens in the robots meta tag; other values are ignored.” Übersetzung: „Google unterstützt im robots-meta-Tag zwei User-Agent-Tokens; andere Werte werden ignoriert.“ Direkt zum Zitat
• “Both the name and the content attributes are case-insensitive.” Übersetzung: „Sowohl beim name- als auch beim content-Attribut wird Groß- und Kleinschreibung nicht unterschieden.“ Direkt zum Zitat

Google — noarchive und andere historische Direktiven

• “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” Übersetzung: „Die noarchive-Regel wird von Google Suche nicht mehr zur Steuerung eines Cache-Links verwendet, weil diese Funktion nicht mehr existiert.“ Direkt zum Zitat
• “The nocache rule isn’t used by Google Search.” Übersetzung: „Die nocache-Regel wird von Google Suche nicht verwendet.“ Direkt zum Zitat

Google — nosnippet und max-snippet reach AI Overviews und AI Mode

• “[nosnippet] applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.” Übersetzung: „[nosnippet] gilt für alle Ergebnisformen und verhindert außerdem, dass der Inhalt als direkte Eingabe für AI Overviews und AI Mode verwendet wird.“ Direkt zum Zitat
• “[max-snippet] applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” Übersetzung: „[max-snippet] gilt für alle Ergebnisformen und begrenzt außerdem, wie viel des Inhalts als direkte Eingabe für AI Overviews und AI Mode verwendet werden darf.“ Direkt zum Zitat

Google — kein fixed timeframe für noindex zu nehmen effect

• “If a page is still appearing in results, it’s probably because we haven’t crawled the page since you added the noindex rule. Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.” Übersetzung: „Wenn eine Seite weiterhin in Ergebnissen erscheint, haben wir sie wahrscheinlich seit dem Hinzufügen von noindex nicht erneut gecrawlt. Abhängig von ihrer Bedeutung kann es Monate dauern, bis Googlebot sie wieder besucht.“ — Google, „Block Search Indexing with noindex“. Direkt zum Zitat

Google — X-Robots-Tag

• “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” Übersetzung: „Der X-Robots-Tag kann Bestandteil der HTTP-Header-Antwort einer URL sein. Jede im robots-meta-Tag mögliche Regel kann auch als X-Robots-Tag angegeben werden.“ Direkt zum Zitat
• “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” Übersetzung: „Sie können den X-Robots-Tag für Nicht-HTML-Dateien wie Bilder verwenden, bei denen robots-meta-Tags nicht möglich sind.“ Direkt zum Zitat

Patrick Stox — robots.txt ist für crawlen Steuerung nur

• “Google was clear they want robots.txt for crawl control only. The biggest downside will probably be all the people who accidentally take their entire site out of the index.” Übersetzung: „Google hat klargestellt, dass robots.txt nur der Crawl-Steuerung dienen soll. Der größte Nachteil wären wahrscheinlich all die Menschen, die versehentlich ihre gesamte Website aus dem Index nehmen.“ — Patrick Stox in Search Engine Land zur Frage, ob Google noindex in robots.txt unterstützen sollte. Direkt zum Zitat

Patrick Stox — rankende Seiten mit robots.txt sperren (Nachweis für Crawlen gegenüber Indexierung)

• “Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” Übersetzung: „Wenn bereits rankende Seiten versehentlich per robots.txt vom Crawlen ausgeschlossen werden, hat das wahrscheinlich kaum Auswirkungen auf ihre Rankings, und sie werden vermutlich weiterhin in Suchergebnissen erscheinen.“ Direkt zum Zitat
• “We lost a position here or there and all of the featured snippets for the pages.” Übersetzung: „Wir verloren hier oder dort eine Position und alle Featured Snippets der Seiten.“ Direkt zum Zitat

Jede Robots-Meta-Direktive — Spickzettel

Vollständige Übersicht der von Google unterstützten content-Werte, ihrer Wirkung und des Standards.

Historisch – Google verwendet diese Direktiven nicht mehr:

Auf Absatzebene (HTML-Attribut statt content-Wert):

Syntax

<!-- one tag, comma-separated -->
<meta name="robots" content="noindex, nofollow">

<!-- target one engine -->
<meta name="googlebot" content="noindex">

<!-- the HTTP-header equivalent, for non-HTML / at scale -->
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: noindex, nofollow

Kurzfakten

• Kein Tag → Standard index, follow.
• none = noindex, nofollow; Bing unterstützt none nicht, daher besser ausschreiben.
• max-*, noimageindex, notranslate, indexifembedded, unavailable_after sind im Wesentlichen Google-spezifisch.
• Der Meta-Tag gilt nur für HTML; der X-Robots-Tag-Header trägt dieselben Regeln für PDFs, Bilder und ganze Verzeichnisse.
• Google liest genau zwei Crawler-Namen: googlebot und googlebot-news. Andere Werte wie bingbot werden ignoriert.
• Der <head> ist die portable Standardposition; Google respektiert den Tag auch im <body>.
• Google unterscheidet bei name, content und X-Robots-Tag-Werten nicht nach Großschreibung.

Die mentalen Modelle

1. Erst crawlen, dann befolgen. Google muss die Seite abrufen, um den Tag zu lesen. Eine robots.txt-Sperre, Authentifizierung oder ein Serverfehler macht ihn unsichtbar. Prüfen Sie vor dem Vertrauen auf noindex, dass die URL crawlbar ist. Sperren Sie niemals eine URL, die Sie mit noindex entfernen möchten.

2. Drei Werkzeuge, drei Aufgaben.

• robots.txt steuert das Crawlen.
• Meta-Robots-Tag / X-Robots-Tag steuern Indexierung und Darstellung nach dem Abruf.
• Authentifizierung schützt Vertraulichkeit; eine noindex-Seite bleibt öffentlich. Der häufigste Fehler ist der Versuch, mit robots.txt zu deindexieren.

3. Entscheidungsregel zum Entfernen einer Seite. Soll sie aus der Suche verschwinden, lassen Sie sie crawlbar und fügen noindex hinzu. Sperren Sie sie nicht zugleich in robots.txt und setzen Sie sie nicht per canonical auf eine andere URL. Sollen Bots einen Bereich unabhängig von der Indexierung meiden, verwenden Sie disallow.

4. Konfliktauflösung: Die restriktivste Regel gewinnt. Bei einem Konflikt gilt die strengere Regel; nosnippet schlägt max-snippet:50.

5. googlebot gegenüber robots: Summe der negativen Regeln. Googlebot addiert Einschränkungen aus dem allgemeinen und dem crawler-spezifischen Tag. robots: nofollow plus googlebot: noindex ergibt noindex, nofollow. Bei widersprüchlicher Setzung derselben Direktive hat der crawler-spezifische Tag Vorrang.

6. HTML-Seite → Meta-Tag; alles andere → Header. Für HTML mit <head> verwenden Sie den <meta>-Tag. Für PDFs, Bilder, andere Nicht-HTML-Dateien oder ganze Verzeichnisse verwenden Sie den X-Robots-Tag-Header.

Änderungsprotokoll