llms.txt und SEO

llms.txt ist ein Community-Vorschlag für eine Markdown-Datei unter /llms.txt, kein verabschiedeter Webstandard. Evidence for this claim llms.txt is a community proposal for a Markdown file at /llms.txt that offers LLM-friendly site information; it is not a web standard. Scope: The proposal's own specification and stated purpose. Confidence: high · Verified: 2026-07-14 llms.txt proposal Die veröffentlichten Crawler-Kontrollen von OpenAI verwenden robots.txt und dokumentieren llms.txt nicht als Kontrolle. Evidence for this claim OpenAI documents robots.txt controls for its declared crawlers and does not list llms.txt as a crawler control. Scope: OpenAI's published crawler controls; absence is not proof that no internal system ever fetches the file. Confidence: high · Verified: 2026-07-14 OpenAI: Crawlers

Kurz gesagt: llms.txt ist eine Markdown-Datei unter /llms.txt, die KI-Systemen eine kurze, kuratierte Liste Ihrer wichtigsten Seiten anbietet. Der Entwickler Jeremy Howard schlug sie 2024 vor. Die Idee klingt sinnvoll, doch in der Praxis liest die Datei fast niemand: Google ignoriert sie vollständig, und vor allem KI-Codierungsassistenten nutzen sie – nicht die Suchbots, die viele Website-Betreiber erreichen möchten. Sie lässt sich mit wenig Aufwand hinzufügen, wird Ihre Sichtbarkeit in KI-Antworten aber wahrscheinlich nicht verändern.

Was llms.txt ist

llms.txt ist eine einfache Markdown-Datei, die Sie im Stammverzeichnis Ihrer Website platzieren – yoursite.com/llms.txt. Darin nennen Sie Ihre Website, beschreiben sie in einer Zeile und führen anschließend Ihre wichtigsten Seiten mit jeweils einem kurzen Hinweis zum Inhalt auf. Ein KI-System soll anhand dieser einen Datei sofort verstehen, wofür die Website steht und wo ihre wichtigsten Inhalte zu finden sind, statt jede Seite crawlen und parsen zu müssen.

Vorgeschlagen wurde sie von Jeremy Howard – der Person hinter fast.ai (einem beliebten Deep-Learning-Kurs) und Answer.AI – im September 2024.

Was sie tun soll vs. was sie tatsächlich tut

Der Pitch: KI-Tools haben begrenzte “Kontextfenster” (sie können nur so viel auf einmal lesen), und es ist schwierig, unübersichtliches HTML in sauberen Text zu verwandeln. Warum also nicht dem Website-Besitzer erlauben, dem Modell eine ordentliche, vorgefertigte Karte zu übergeben?

Die Realität ist ernüchternder. Die großen KI-Suchanbieter haben sie nicht übernommen. Google hat klar gesagt, dass es sie nicht verwendet. Und als Ahrefs 137 000 Websites untersuchte, erhielten 97 % der veröffentlichten llms.txt-Dateien in einem Monat null Anfragen – das heißt, nichts hat sie überhaupt abgerufen.

Tatsächlich genutzt wird die Datei vor allem von KI-Codierungsassistenten wie Claude Code, mit denen Entwickler Software schreiben. Diese lesen llms.txt, um sich schnell in technischer Dokumentation zurechtzufinden. Das ist der ursprüngliche Anwendungsfall, und er funktioniert. Davon grundverschieden ist die Behauptung “this will get my business cited in ChatGPT.” (Übersetzung) „Damit wird mein Unternehmen in ChatGPT zitiert.“

Ist es wie robots.txt?

Viele Leute nehmen an, llms.txt sei “robots.txt für KI.” Das ist es nicht.

• robots.txt kontrolliert den Zugriff – es sagt Crawlern, was sie abrufen dürfen, und wohlerzogene Bots befolgen es.
• llms.txt bietet Orientierung – es schlägt vor, was lesenswert ist, und nichts ist verpflichtet, darauf zu hören. Es kann nichts blockieren.

Wenn Ihr Ziel ist, KI-Bots fernzuhalten, bewirkt llms.txt nichts – das ist eine Aufgabe für robots.txt und Ihr CDN.

Sollten Sie sich die Mühe machen?

Wenn Sie Entwicklerdokumentation betreiben, die Codierungsagenten lesen, sicher – es ist günstig und hilft ihnen. Wenn Sie ein normales Unternehmen sind, das hofft, dass llms.txt Ihre Sichtbarkeit in KI-Antworten erhöht, ist die ehrliche Antwort heute: Erwarten Sie keine Ergebnisse. Investieren Sie diese Zeit stattdessen in klare Inhalte und Struktur.

Möchten Sie die Spezifikation, die Anbieter-für-Anbieter-Aufschlüsselung, die Adoptionsdaten und den Sicherheitsaspekt? Wechseln Sie zum Erweitert-Tab.

Die Spezifikation beschreibt eine freiwillige LLM-freundliche Website-Zusammenfassung; sie etabliert kein Crawler-Compliance- oder Indexierungsverhalten. Evidence for this claim llms.txt is a community proposal for a Markdown file at /llms.txt that offers LLM-friendly site information; it is not a web standard. Scope: The proposal's own specification and stated purpose. Confidence: high · Verified: 2026-07-14 llms.txt proposal OpenAI dokumentiert derzeit benannte Bots und unabhängige robots.txt-Einstellungen stattdessen. Evidence for this claim OpenAI documents robots.txt controls for its declared crawlers and does not list llms.txt as a crawler control. Scope: OpenAI's published crawler controls; absence is not proof that no internal system ever fetches the file. Confidence: high · Verified: 2026-07-14 OpenAI: Crawlers

TL;DR — llms.txt ist ein Vorschlag (Jeremy Howard, Answer.AI, 3. September 2024), kein anerkannter Standard. Es ist ein kuratierter Markdown-Index unter /llms.txt, mit einer optionalen Volltext-Version /llms-full.txt. Die Bots, von denen man hofft, dass sie es für die KI-Suche lesen — OAI-SearchBot, PerplexityBot — spielen kaum eine Rolle; der dominierende Nutzer ist Claude Code und andere Coding-Agenten. Google ignoriert es (Illyes bestätigt; Mueller verglich es mit dem Keywords-Meta-Tag). In Ahrefs’ Studie mit 137 000 Websites erhielten 97 % der Dateien null Anfragen, und SE Ranking fand heraus, dass das Entfernen von llms.txt aus einem Zitationsmodell dessen Genauigkeit verbesserte. Es lohnt sich für Entwicklerdokumentationen, die von Coding-Agenten konsumiert werden; für GEO/AEO auf einer normalen Website stützen die Daten es nicht. Es gibt auch ein reales Prompt-Injection-Risiko.

Was llms.txt tatsächlich ist

llms.txt ist ein Vorschlag — ich möchte mit diesem Wort beginnen, weil es die ganze Geschichte erzählt. Es gibt keine RFC, keinen W3C-Segen, keinen IETF- Prozess. Es ist eine gut durchdachte Empfehlung von Jeremy Howard (Mitbegründer von Answer.AI und fast.ai), veröffentlicht am 3. September 2024, die in der Welt der Entwicklerdokumentation starken Anklang fand und von einer Community, die nach einer Abkürzung für KI-Sichtbarkeit suchte, auf SEO übertragen wurde.

Das zugrunde liegende Designproblem ist real. Die Spezifikation formuliert es so: “Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety.” (Übersetzung) „Große Sprachmodelle stützen sich zunehmend auf Informationen von Websites, stehen jedoch vor einer entscheidenden Einschränkung: Ihre Kontextfenster sind zu klein, um die meisten Websites vollständig zu verarbeiten.“ Auch die Umwandlung von HTML in sauberen, LLM-freundlichen Text sei “difficult and imprecise.” (Übersetzung) „schwierig und ungenau“. Howards Lösung: Website-Autoren sollen die Inhalte, die Modelle sehen sollen, vorab als kuratiertes Markdown bereitstellen können.

Das Format

/llms.txt ist ein geordnetes Markdown-Dokument:

1. H1 (erforderlich) — Projekt- oder Websitename.
2. Blockquote — eine kurze Zusammenfassung mit den wichtigsten Informationen.
3. Optionale Prosa/Listen — Absätze oder Aufzählungen, aber hier keine Überschriften.
4. Durch H2-Überschriften getrennte Linklisten — - [name](url): optional notes.
5. Ein ## Optional-Abschnitt — sekundäre Links, die ein Modell überspringen kann, wenn der Kontext knapp ist.

Ein minimales Beispiel aus der Spezifikation:

# FastHTML

> FastHTML is a python library which brings together Starlette, Uvicorn, HTMX,
> and fastcore's FT...

## Docs

- [FastHTML quick start](url): A brief overview of many features

## Optional

- [Starlette documentation](url): A subset useful for FastHTML development.

Es gibt zwei begleitende Konventionen:

• /llms-full.txt — der gesamte Website-Inhalt in einer einzigen Markdown-Datei. Anthropic, Perplexity und Stripe veröffentlichen sowohl diese als auch die Kurzform.
• Die .md-URL-Konvention — bietet page.md-Versionen einzelner Seiten an, damit sie ohne den vollständigen Dump LLM-bereit sind.

Eine neuere Variante verzichtet vollständig auf statische Dateien: Edge-ausgeliefertes Markdown per Content-Negotiation. Cloudflares Markdown for Agents konvertiert jede HTML-Seite spontan in sauberes Markdown, wenn ein Client Accept: text/markdown sendet — keine .md-Dateien pro Seite, kein /llms-full.txt zum Regenerieren, keine Vorlagenänderungen, weil das CDN die Konvertierung am Edge durchführt (Cloudflare nennt ~80 % weniger Tokens für den Agenten). Es ist eine kostenpflichtige Funktion — Pro-Plan und höher, nicht im kostenlosen Tarif — also ist es auf dieser Website nur ein Cloudflare-Upgrade davon entfernt, aktiviert zu werden, statt dass ich es manuell gebaut habe. Ob es sich lohnt, es zu aktivieren, ist dieselbe offene Frage, die über llms.txt selbst schwebt: Crawlern eine parallele Markdown-Kopie jeder Seite zu servieren, ist praktisch, aber es ist eine weitere Darstellung, die synchron gehalten werden muss, und Bings Fabrice Canel hat die verdoppelte Crawl-Last und das Cloaking-ähnliche Risiko von Edge-ausgelieferten alternativen Inhalten hervorgehoben. Prüfen Sie Ihre Logs auf echte Agenten-Nachfrage, bevor Sie es aktivieren.

llms.txt vs. robots.txt — sie sind nicht dasselbe

Das häufigste Missverständnis ist, dass llms.txt “robots.txt für KI” sei. Das ist es nicht, und die Gleichsetzung führt zu schlechten Entscheidungen.

robots.txt ist ein echter, durchgesetzter Standard. llms.txt ist ein Vorschlagskasten, den die meisten Systeme noch nicht lesen. Wenn Sie den Zugriff von KI-Crawlern kontrollieren möchten – was ein separates, legitimes Ziel ist –, gehört das in robots.txt und KI-Crawler, nicht hierher.

Wer es tatsächlich liest

Dies ist der Abschnitt, der zählt, denn hier weichen die Daten am stärksten vom Hype ab. In Ahrefs’ Studie über 137 210 Domains (Mai 2026 Traffic):

• 97 % der veröffentlichten llms.txt-Dateien erhielten null Anfragen. Nur etwa 3 % (ungefähr 1 100 Domains) verzeichneten überhaupt Traffic.
• Von den Dateien, die doch angefordert wurden: 96 % der Anfragen kamen von Bots, 4 % von Menschen.
• Von den Bot-Anfragen stammten 77 % von Nicht-KI-Tools – SEO-Auditoren (Ahrefs selbst darunter), anonyme Crawler, Tech-Profiling-Bots. Die SEO-Ironie schreibt sich von selbst.
• Nur ~19,5 % kamen von KI-Tools, und wenn man das weiter aufschlüsselt, wird es für die GEO-Theorie noch schlechter:
  • KI-Agenten & Infrastruktur (Codierungsagenten): ~10,5 %
  • Trainingscrawler (GPTBot führte mit 4,51 %): ~5,3 %
  • KI-Assistenten: ~2,5 %
  • KI-Retrieval-Bots – diejenigen, die Zitationsindizes aufbauen: 1,1 %.

Lesen Sie die letzte Zeile zweimal. OAI-SearchBot und PerplexityBot – also genau die Bots, derentwegen viele Website-Betreiber llms.txt hinzufügen – waren laut Studie “barely registered.” (Übersetzung) Sie waren „kaum messbar“. Der dominierende KI-Verbraucher ist Claude Code, der Codierungsagent von Anthropic. Er “outperformed every AI retrieval bot, assistant, and training crawler except GPTBot.” (Übersetzung) Er „übertraf jeden KI-Retrieval-Bot, Assistenten und Trainingscrawler außer GPTBot“. GPTBot wiederum ist ein Trainingscrawler, der ohnehin umfassend crawlt; seine Präsenz beweist nicht, dass er llms.txt gezielt parst.

Andere unabhängige Messungen kommen zum gleichen Ergebnis. OtterlyAI beobachtete eine Website 90 Tage lang: Von über 62 100 KI-Bot-Besuchen trafen genau 84 auf /llms.txt – etwa 0,1 %, was „3x schlechter als durchschnittliche Seiten“ abschneidet. Eine separate Analyse von über 515 Mio. LLM-Bot-Ereignissen über 90 Tage fand 408 Anfragen insgesamt, die auf /llms.txt abzielten – „statistisch vernachlässigbar.“

Entscheidend ist die Trennung zwischen Entwicklerdokumentation und GEO: llms.txt funktioniert für Howards ursprünglichen Zweck – Codierungsagenten durch API-Dokumentationen zu führen. Die Bots für Suchzitate, welche die SEO-Community erreichen möchte, greifen dagegen kaum darauf zu.

Was die Anbieter gesagt haben

Google – nein, und keine Pläne. Gary Illyes bestätigte bei Search Central Live (Juli 2025), dass Google llms.txt nicht unterstützt und dies auch nicht plant. John Mueller, die hier am häufigsten zitierte Stimme, verglich die Datei im April 2025 mit dem Keywords-Meta-Tag und nannte sie eine “temporary crutch, perhaps to save some tokens” (Übersetzung) „vorübergehende Krücke, vielleicht um einige Tokens zu sparen“ für KI-Codierungstools – ausdrücklich keinen Mechanismus für Suchsichtbarkeit. Googles Leitfaden vom Mai 2026 stellte fest, dass maschinenlesbare Dateien wie llms.txt für AI Overviews oder AI Mode nicht notwendig sind; diese “continue to rely on traditional SEO signals.” (Übersetzung) Sie „stützen sich weiterhin auf traditionelle SEO-Signale“. (Google veröffentlichte am 3. Dezember 2025 kurzzeitig eine llms.txt in seiner Entwicklerdokumentation, zog sie aber noch am selben Tag zurück. Später wurde dies einem CMS-Update zugeschrieben, nicht einem Strategiewechsel.)

OpenAI – nichts. Es gibt keine Ankündigung, dass ChatGPT, GPTBot oder OAI-SearchBot die Datei parsen. Die Serverprotokolle sprechen gegen eine nennenswerte Nutzung; OAI-SearchBot war “barely registered.” (Übersetzung) Der Bot war „kaum messbar“. Für die Crawler-Steuerung verweist OpenAI auf robots.txt.

Anthropic – der interessante Fall. Anthropic veröffentlicht sowohl llms.txt als auch llms-full.txt unter docs.anthropic.com/llms.txt, und Claude Code ruft nachweislich llms.txt-Dateien anderer Websites ab – es ist der größte KI-Verbraucher in den Daten. Aber das ist eine Coding-Tool-Geschichte. Es gibt keine Bestätigung, dass die Such- oder Zitationsschicht von Claude.ai llms.txt berücksichtigt. „Anthropics Coding-Agent liest es“ und „Anthropics Suchindex vertraut ihm“ sind unterschiedliche Behauptungen, und nur die erste ist belegt.

Perplexity – laut eigener Aussage ja, den Daten zufolge selten. Perplexity hat angegeben, dass es llms.txt abruft und verwendet, um “prioritize page selection.” (Übersetzung) die „Seitenauswahl zu priorisieren“. Der Haken ist der proaktive Abruf: PerplexityBot war in den Anfragedaten “barely registered” (Übersetzung) „kaum messbar“, und es gab “almost zero activity from PerplexityBot requesting llms.txt files proactively.” (Übersetzung) „fast keine Aktivität von PerplexityBot beim proaktiven Anfordern von llms.txt-Dateien“. Fügen Sie eine llms.txt-URL in Perplexity ein, und es liest sie problemlos; autonome, proaktive Nutzung ist die Lücke zwischen Politik und Praxis.

Bing/Microsoft, Apple, Meta – keine öffentliche Position. Als unbestätigt behandeln.

Bewegt es KI-Zitationen?

Kein nachgewiesener Nutzen. SE Ranking modellierte 300 000 Domains mit einer XGBoost- Regression + SHAP-Analyse und fand heraus, dass das Entfernen von llms.txt aus dem Modell dessen Genauigkeit verbesserte – ihre Schlussfolgerung: „LLMs.txt scheint die KI-Zitationshäufigkeit nicht direkt zu beeinflussen. Zumindest noch nicht.“ Eine Search Engine Land-Studie über 10 Websites und 180 Tage zeigte bei 8 von 10 Websites keine messbare Veränderung, und die beiden „Gewinner“ hatten störende Änderungen (PR-Berichterstattung, neue FAQ-Seiten, technische Korrekturen), die Sie nicht vom llms.txt selbst trennen können.

Der Meta-Keywords-Vergleich – fair oder nicht?

Muellers Analogie zum Keywords-Meta-Tag hält bei den Punkten, die zählen: Beides sind Selbstbeschreibungen des Website-Betreibers, keines ist verifiziert, und beide sind offen für Gaming/Cloaking – Sie könnten in llms.txt etwas anderes zeigen als auf der Seite. Diese Manipulierbarkeit ist genau der Grund, warum ein ernsthaftes KI-Suchprodukt einer Selbstbeschreibung nicht mehr vertrauen wird als den tatsächlichen Seiten. Das Gegenargument (Carolyn Shelby) ist, dass llms.txt zumindest auf echte URLs verweist, die liefern müssen – es ist „ein Scheinwerfer, keine Wunschliste.“ Beide haben recht, und das praktische Ergebnis ist dasselbe: KI-Suchsysteme stützen sich nicht darauf.

Wann es sich lohnt, es hinzuzufügen – und wann Sie es weglassen sollten

Fügen Sie es hinzu, wenn Sie Entwicklerdokumentation oder eine API-Referenz betreiben, deren primäre Zielgruppe KI-Coding-Agenten sind (Claude Code, Cursor, Copilot, Codeium). Das ist der Anwendungsfall, für den es entwickelt wurde, und es funktioniert.

Lassen Sie es weg – oder erwarten Sie zumindest keine KI-Sichtbarkeitsrenditen – für Inhaltsseiten, Medien, E-Commerce und normale Geschäftsseiten. Die Kosten betragen etwa 20 Minuten; der GEO- Nutzen heute ist nahezu null; und diese 20 Minuten sind besser investiert in Inhalts- struktur, FAQ-Abdeckung und die KI-Suchoptimierung-Grundlagen, die tatsächlich die KI-Sichtbarkeit bewegen. Die Schlagzeilen über hohe Akzeptanz (BuiltWiths 844K+- Zahl) sind durch automatische Plattform-Bereitstellung aufgebläht – Mintlify rollte llms.txt auf alle seine gehosteten Dokumentationsseiten auf einmal aus. Akzeptanz ist nicht Nutzung; 97 % der Dateien erhalten null Anfragen.

Der Sicherheitsaspekt

Dies wird unterberichtet und ist real: Da KI-Agenten dazu entwickelt wurden, dem zu vertrauen, was in llms.txt steht, ist die Datei eine natürliche Angriffsfläche. Die Ahrefs-Studie wies auf böswillige Akteure hin, die llms.txt-Dateien auf Prompt-Injection-Schwachstellen untersuchen. Wenn Sie eine veröffentlichen, behandeln Sie die Datei als sicherheitsrelevant: Versionieren Sie die Datei, warnen Sie bei unautorisierten Änderungen und geben Sie niemals etwas hinein, das Sie nicht öffentlich zeigen würden.

Implementierung (falls Sie sich dafür entscheiden)

• Platzierung: /llms.txt im Domain-Root, ausgeliefert als text/plain oder text/markdown, HTTP 200.
• Kuratieren, nicht alles auflisten: 20–50 Ihrer wichtigsten Links. Wenn Sie alles auflisten, könnte ein Modell genauso gut direkt crawlen – Kuratierung ist der eigentliche Sinn.
• Optional /llms-full.txt bereitstellen für Kontexte, die den gesamten Inhalt möchten.
• Validieren: Laden Sie die Datei in Claude, ChatGPT oder Perplexity und bitten Sie es, Ihre Website zusammenzufassen; prüfen Sie dann nach einigen Wochen die Server-Logs auf echte Anfragen.
• Generatoren existieren für VitePress (vitepress-plugin-llms), Docusaurus (docusaurus-plugin-llms), WordPress (“Website LLMs.txt”), Drupal, plus ein Python CLI (llms_txt2ctx).

Das Fazit: geringe Kosten, aktuell nahezu null GEO-Nutzen, wirklich nützlich für den Coding-Agent-Anwendungsfall, für den es entwickelt wurde. Prüfen Sie Ihre eigenen Server-Logs, bevor Sie entscheiden – wenn Sie Claude-Code/Cursor-Traffic sehen, könnte llms.txt ihnen helfen; wenn Sie OAI-SearchBot und PerplexityBot verfolgen, ist es nicht der Hebel.

KI-Zusammenfassung

Eine komprimierte Darstellung der erweiterten Version:

• llms.txt ist ein Vorschlag, kein Standard – Jeremy Howard (Answer.AI/fast.ai), 3. September 2024. Ein kuratierter Markdown-Index unter /llms.txt; optional vollständiger Inhalt /llms-full.txt.
• Es ist nicht robots.txt für KI. robots.txt kontrolliert den Zugriff und wird durchgesetzt; llms.txt ist beratend und kann nichts blockieren.
• Fast niemand liest es. Ahrefs (137K Websites): 97 % der Dateien erhielten null Anfragen. Von den angeforderten Dateien waren 77 % der Bot-Treffer Nicht-KI-Tools (SEO-Auditoren), und KI-Retrieval-Bots – die Zitations-Ersteller – waren nur 1,1 %.
• Claude Code ist der dominante KI-Konsument, nicht Such-Bots. OAI-SearchBot und PerplexityBot “kaum registriert.”
• Google ignoriert es. Illyes bestätigte keine Unterstützung/Pläne; Mueller verglich es mit dem Keywords-Meta-Tag. OpenAI: nichts. Perplexity: behauptet Unterstützung, aber proaktives Abrufen ist minimal. Anthropic veröffentlicht sein eigenes + Claude Code liest es, aber Such-Ebenen-Nutzung ist unbestätigt.
• Kein Zitationsvorteil gezeigt. SE Ranking (300K Domains): Entfernen von llms.txt aus dem Modell verbesserte die Genauigkeit.
• Wertvoll für Entwicklerdokumentation, die von Coding-Agenten konsumiert wird; überspringen Sie es als GEO-Strategie für normale Websites. Prompt-Injection-Risiko – behandeln Sie es als sicherheitsrelevant.

Offizielle Dokumentation

Primärquellen-Material – die Spezifikation, der Vorschlag und die eigenen Dateien und Aussagen der Anbieter.

Die Spezifikation & der Vorschlag

• llmstxt.org – die Spezifikation: Dateiformat, /llms.txt vs. /llms-full.txt, und die Begründung zur Inferenzzeit.
• Der ursprüngliche Vorschlag (Jeremy Howard, 3. September 2024) – Answer.AIs Ankündigungsbeitrag.
• AnswerDotAI/llms-txt auf GitHub – das Repository, Tooling und die llms_txt2ctx-CLI.

Eigene Dateien der Anbieter

• Anthropics llms.txt – ein Live-Beispiel (Anthropic veröffentlicht auch llms-full.txt).
• Perplexitys llms.txt – ein weiteres Live- Beispiel.

Googles offizielle Position

• Google hat erklärt, dass maschinenlesbare Dateien wie llms.txt nicht notwendig sind für KI-Übersichten oder den KI-Modus, die auf traditionelle SEO-Signale setzen (Mai 2026 Leitfaden); Gary Illyes bestätigte keine Unterstützung und keine Pläne bei Search Central Live (Juli 2025). Siehe die Search Engine Journal-Berichterstattung zu John Muellers Aussage für die am häufigsten zitierte Formulierung.

Zitate aus der Quelle

Aussagen auf dem Record zu llms.txt – von Google, dem Ersteller der Spezifikation und den Forschern, die es gemessen haben.

John Mueller, Google Search Advocate (17. April 2025)

• “AFAIK none of the AI services have said they’re using LLMs.TXT (and you can tell when you look at your server logs that they don’t even check for it). To me, it’s comparable to the keywords meta tag – this is what a site-owner claims their site is about … (Is the site really like that? well, you can check it. At that point, why not just check the site directly?)” (Übersetzung) „Meines Wissens hat keiner der KI-Dienste gesagt, dass sie LLMs.TXT verwenden (und man kann es erkennen, wenn man in den Server-Logs nachsieht, dass sie nicht einmal danach suchen). Für mich ist das vergleichbar mit dem Keywords-Meta-Tag – das ist, wofür ein Website-Besitzer behauptet, dass seine Website steht … (Ist die Website wirklich so? Nun, man kann es überprüfen. Warum nicht einfach die Website direkt überprüfen?)“ Coverage

Gary Illyes, Google Search Central (Search Central Live, Juli 2025)

• Bestätigt, dass Google llms.txt nicht unterstützt und keine Pläne dazu hat. (Vom Event berichtet; keine primäre Transkript-URL identifiziert – vor der Behandlung als endgültig bestätigen.)

Jeremy Howard, Entwickler (Answer.AI)

• “A proposal to standardise on using an /llms.txt file to provide information to help LLMs use a website at inference time.” (Übersetzung) „Ein Vorschlag zur Standardisierung der Verwendung einer llms.txt-Datei, um Informationen bereitzustellen, die LLMs bei der Inferenzzeit helfen, eine Website zu nutzen.“ llmstxt.org
• Aus der Spezifikation zum Kernproblem: “Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety.” (Übersetzung) „Große Sprachmodelle verlassen sich zunehmend auf Website-Informationen, stehen jedoch vor einer kritischen Einschränkung: Die Kontextfenster sind zu klein, um die meisten Websites in ihrer Gesamtheit zu verarbeiten.“ llmstxt.org

Brett Tabke, Pubcon / WebmasterWorld (März 2025)

• “we just don’t need people thinking they are different from any other spider.” (Übersetzung) „Wir brauchen einfach nicht, dass die Leute denken, sie seien anders als jeder andere Spider.“ Search Engine Land

Carolyn Shelby, Search Engine Land (9. Juli 2025 – die abweichende Meinung)

• “Llms.txt curates a list of real URLs, and the content has to exist – and deliver – when the model gets there.” (Übersetzung) „Llms.txt kuratiert eine Liste echter URLs, und der Inhalt muss vorhanden sein und funktionieren, wenn das Modell dort ankommt.“ und “Think of llms.txt like a treasure map for AI systems – one you draw yourself. It’s not a wish list. It’s a spotlight.” (Übersetzung) „Stellen Sie sich llms.txt wie eine Schatzkarte für KI-Systeme vor – eine, die Sie selbst zeichnen. Es ist keine Wunschliste, sondern ein Scheinwerfer.“ Search Engine Land

Sollten Sie llms.txt implementieren? – Eine Entscheidungs-Checkliste

Arbeiten Sie von oben nach unten. Das erste „Ja“, das passt, entscheidet in der Regel.

• Ist Ihre primäre Zielgruppe KI-Codierungsagenten (Claude Code, Cursor, Copilot, Codeium), die Entwicklerdokumentation / eine API-Referenz lesen? → Ja, fügen Sie es hinzu. Dies ist der Anwendungsfall, für den es entwickelt wurde, und er funktioniert.
• Fügen Sie es rein, um KI-Suchzitate zu verbessern für eine Content-, Medien-, E-Commerce- oder allgemeine Geschäftswebsite? → Erwarten Sie keine Ergebnisse. Die Daten zeigen keinen Zitiernutzen; investieren Sie die Zeit stattdessen in die Inhaltsstruktur.
• Haben Sie zuerst Ihre Server-Logs überprüft? Suchen Sie nach Claude-Code/Cursor Traffic (llms.txt kann ihnen helfen) vs. OAI-SearchBot/PerplexityBot (es wird diese Messgröße nicht bewegen).
• Behandeln Sie es als robots.txt für KI? → Hören Sie auf. Es blockiert nichts. Verwenden Sie robots.txt + Ihr CDN für die Zugriffskontrolle.

Wenn Sie eine veröffentlichen:

• Platzieren Sie die Datei unter /llms.txt (Root), servieren Sie text/plain/text/markdown, HTTP 200.
• Kuratieren Sie 20–50 Ihrer wichtigsten URLs – werfen Sie nicht die Sitemap hinein.
• Halten Sie die Datei unter Versionskontrolle und warnen Sie bei unbefugten Änderungen (Prompt-Injection-Risiko – Agenten sind darauf ausgelegt, ihr zu vertrauen).
• Geben Sie nichts hinein, das Sie nicht öffentlich zeigen würden.
• Optional /llms-full.txt für Volltext-Kontexte servieren.
• Validieren Sie: Laden Sie die URL in Claude/ChatGPT/Perplexity, bitten Sie um eine Website- Zusammenfassung; überprüfen Sie die Server-Logs nach einigen Wochen auf echte Anfragen.

Anbieterunterstützung – Spickzettel

Wer unterstützt llms.txt tatsächlich (Stand Mitte 2026)

Schnelle Fakten

• Vorgeschlagen: Jeremy Howard (Answer.AI/fast.ai), 3. September 2024. Ein Vorschlag, kein angenommener Standard.
• Dateien: /llms.txt (kurz, kuratiert) und optional /llms-full.txt (vollständiger Inhalt als Markdown).
• Format: H1-Name → Blockquote-Zusammenfassung → H2-Linklisten (- [name](url): note) → ## Optional-Abschnitt.
• vs. robots.txt: robots.txt = Zugriffskontrolle, durchgesetzt. llms.txt = Leitfaden, empfehlend, blockiert nichts.
• Die Zahl: 97 % der veröffentlichten Dateien erhalten null Anfragen (Ahrefs, 137 000 Websites).
• Dominanter KI-Leser: Claude Code, nicht Such-Bots.
• Zitationsvorteil: keiner nachgewiesen (SE Ranking: Entfernen verbesserte die Modellgenauigkeit).
• Sicherheit: Prompt-Injection-Risiko – versionieren Sie es, warnen Sie bei Änderungen.

llms.txt-Fehler, die Sie vermeiden sollten

Die Datei als Zugriffskontrollstandard behandeln

llms.txt erlaubt oder blockiert kein Crawling. Verwenden Sie robots.txt, Authentifizierung und andere echte Zugriffskontrollen für diese Aufgabe.

Einen KI-Sichtbarkeits-Boost versprechen

Die Unterstützung durch Anbieter und das beobachtete Abrufen sind begrenzt. Beschreiben Sie die Datei als optionale Navigationshilfe, nicht als Ranking- oder Zitationshebel.

Sensible oder private URLs veröffentlichen

Die Datei ist öffentlich und leicht zu finden. Nehmen Sie nur Ressourcen auf, die für die öffentliche Nutzung bestimmt sind; nutzen Sie niemals Unauffindbarkeit als Schutz.

Eine unkuratierte Sitemap in Markdown generieren

Der Vorschlag ist am nützlichsten als kurzer, menschenlesbarer Leitfaden zu wichtigen Ressourcen. Ein riesiger Datenabwurf erhöht die Wartungskosten, ohne zu klären, welche Seiten wichtig sind.

Häufige llms.txt-Probleme

Die Datei gibt HTML statt Markdown zurück

Symptom: /llms.txt zeigt eine Anwendungs-Shell, einen gebrandeten 404 oder ein Redirect-Ziel. Wahrscheinliche Ursache: Eine Catch-all-Route oder CDN-Regel fängt den Textpfad ab. Lösung: Servieren Sie die Datei direkt im Root mit einer erfolgreichen Antwort und reinem Text- oder Markdown- Inhalt, und fordern Sie die Datei anschließend ohne Cookies an.

Links in der Datei schlagen fehl oder leiten wiederholt um

Symptom: Ein Leser kann aufgeführte Ressourcen unter ihren kanonischen URLs nicht abrufen. Wahrscheinliche Ursache: Die Datei wurde aus veralteter Navigation oder relativen Pfaden generiert. Lösung: Validieren Sie jede URL, ersetzen Sie entfernte Standorte und bevorzugen Sie stabile kanonische HTTPS-URLs.

Keine Bots fordern die Datei an

Symptom: Logs zeigen keinen Traffic auf /llms.txt. Wahrscheinliche Ursache: Die Systeme, die Ihnen wichtig sind, unterstützen oder entdecken den Vorschlag nicht. Lösung: Bestätigen Sie die Log-Abdeckung und lassen Sie die Datei als kostengünstiges Experiment; fügen Sie keine crawler-spezifischen Tricks hinzu und schließen Sie nicht auf ein Website-Problem aus null Anfragen.

Prompts zur Kuratierung von llms.txt

Build a proposed llms.txt outline from this public URL inventory. Keep only canonical,
durable resources that help an agent understand the site or complete a task. Group them
under short Markdown headings, write one factual description per link, and flag URLs
that redirect, duplicate another page, require authentication, or may expose sensitive
information. Do not claim the file affects rankings or citations.

[paste inventory]

Review this llms.txt file against the supplied crawl results. Report broken or
redirecting URLs, non-canonical links, descriptions unsupported by the destination,
missing high-value documentation, and sections that are too broad to be useful. Return
a corrected draft using only public URLs from the inputs.

[paste file and crawl results]

Frameworks zur Entscheidung, ob llms.txt verwendet werden soll

Der Kosten-Konsument-Inhalt-Test

1. Kosten: Kann das Team die Datei mit wenig laufendem Aufwand erstellen und pflegen?
2. Konsument: Gibt es einen identifizierten Agenten oder Workflow, der sie tatsächlich liest?
3. Inhalt: Hat die Website stabile öffentliche Dokumentation, die es wert ist, kuratiert zu werden?

Implementieren Sie, wenn alle drei glaubwürdig sind. Wenn der Konsument hypothetisch ist, behandeln Sie die Datei als Experiment und begrenzen Sie das Wartungsbudget.

Die Rollen getrennt halten

• robots.txt: Anleitung für Crawler-Zugriff.
• XML-Sitemap: URL-Erkennung für Suchmaschinen.
• llms.txt: vorgeschlagener kuratierter Leseführer für KI-Systeme.
• MCP: Laufzeitprotokoll, über das ein Agent Ressourcen oder Tools entdecken und aufrufen kann.

Eine Datei sollte nicht so bewertet werden, als ob sie die Aufgabe eines anderen Systems erfüllt.

Tools für llms.txt

• llms.txt Generator + Validator: Erstellen Sie eine kuratierte Datei und prüfen Sie deren Struktur und verlinkte Ressourcen vor der Veröffentlichung.
• AI-Crawler Access Checker: Prüfen Sie die tatsächlichen Crawler-Zugriffskontrollen separat; llms.txt ist kein Ersatz für diese Prüfung.
• curl: Überprüfen Sie Status, Weiterleitungen, Inhaltstyp und Inhalt am exakten Root-Pfad.
• Server- oder CDN-Logs: Stellen Sie fest, ob benannte User-Agents die Datei anfordern; deren Fehlen ist eine Beobachtung, kein Beweis für ein Ranking-Problem.
• Ein Link-Checker: Überprüfen Sie jedes kuratierte Ziel regelmäßig erneut, damit der Leitfaden nicht veraltet.

Eine llms.txt-Veröffentlichung validieren

Die Root-Antwort testen

Durchzuführender Test: Fordern Sie /llms.txt direkt ohne Cookies an und folgen Sie keinen Weiterleitungen. Erwartetes Ergebnis: Eine erfolgreiche Antwort enthält das beabsichtigte Markdown im Root-Pfad. Fehlerinterpretation: Routing oder Deployment macht die Datei nicht verfügbar. Überwachungszeitraum: Sofort. Rollback-Auslöser: Der Pfad liefert eine HTML-Hülle, ein Fehlerdokument oder eine unzusammenhängende Weiterleitung.

Jede aufgeführte Ressource testen

Durchzuführender Test: Crawlen Sie die URLs in der Datei und vergleichen Sie jedes Ziel mit seiner Beschreibung. Erwartetes Ergebnis: Öffentliche kanonische Ressourcen werden erfolgreich aufgelöst und entsprechen dem angegebenen Zweck. Fehlerinterpretation: Der Leitfaden ist veraltet oder irreführend. Überwachungszeitraum: Sofort, dann im Rhythmus der Dokumentationsaktualisierung. Rollback-Auslöser: Eine aufgeführte URL legt privates Material offen oder schlägt dauerhaft fehl.

Das angegebene Experimentergebnis ehrlich testen

Durchzuführender Test: Fragen Sie Server-Logs nach /llms.txt nach User-Agent nach der Veröffentlichung ab. Erwartetes Ergebnis: Anfragen, falls vorhanden, werden protokolliert und sind zurechenbar; null ist ebenfalls ein gültiges Ergebnis. Fehlerinterpretation: Die Protokollierung kann unvollständig sein oder Verbraucher unterstützen den Vorschlag möglicherweise nicht. Überwachungszeitraum: Mehrere normale Crawl-Zyklen. Rollback-Auslöser: Keiner allein bei null Traffic; entfernen Sie nur, wenn Wartungs- oder Offenlegungsrisiko den Wert der Datei übersteigt.

Testen Sie sich selbst: llms.txt

Ressourcen, die Ihre Zeit wert sind

Die ursprüngliche Quelle

• llmstxt.org — die Spezifikation.
• Jeremy Howards Vorschlagsbeitrag (3. September 2024) — die Begründung, direkt vom Ersteller.
• AnswerDotAI/llms-txt — das Repository und die Werkzeuge.

Die Daten (lesen Sie diese, bevor Sie etwas implementieren)

• Was ist llms.txt – und ist es relevant? — Ahrefs — Ryans Laws Überblick; der Rahmen von 28 % Veröffentlichung / 97 % null Anfragen.
• Die llms.txt-Adoptionsstudie — Ahrefs — Louise Linehan & Xibeijia Guan, 137 210 Domains: wer die Dateien tatsächlich anfordert (Claude Code dominiert KI; Retrieval-Bots sind kaum registriert) und die Prompt-Injection-Erkenntnis.
• Ist llms.txt relevant? Wir haben 10 Websites beobachtet — Search Engine Land — 180-Tage-Studie; 8 von 10 Websites zeigten keine messbare Veränderung.
• Das llms.txt-Experiment — OtterlyAI — 90 Tage, eine Website: 84 von 62 100+ KI-Bot-Besuchen trafen auf /llms.txt.

Die Debatte

• Nein, llms.txt sind nicht die „neuen Meta-Keywords“ — Carolyn Shelby, Search Engine Land — die stärkste Verteidigung von llms.txt.
• llms.txt: ein vorgeschlagener Standard — Search Engine Land — die Pro/Contra-Zusammenfassung und Brett Tabkes Kritik.

Meine weiteren Beiträge auf dieser Website

• AI-Crawler – Kontrolle der Bots (wofür llms.txt nicht gedacht ist) und wo die Zugriffskontroll-Geschichte tatsächlich stattfindet.

Aus der Branche

• SE Ranking: Der Stand von llms.txt – Studie über 300 000 Domains mit XGBoost/SHAP, die ergab, dass das Entfernen von llms.txt aus dem Zitationsmodell die Genauigkeit verbesserte; enthält auch eine Aufschlüsselung der Adoptionsrate nach Traffic-Stufe.
• Wix AI Search Lab – llms.txt-Mythen (Crystal Carter, Juni 2026) – optimistischere Lesart; über 1 400 Dateien geprüft, argumentiert, dass llms.txt-Dateien selbst in KI-Ergebnissen auftauchen, auch wenn die Adoption lückenhaft ist.
• Google vergleicht LLMs.txt mit dem Keywords-Meta-Tag – Search Engine Journal – vollständiges John-Mueller-Zitat und Kontext vom April 2025.
• presenc.ai: State of llms.txt 2026 – Anbieter-für-Anbieter-Support-Matrix; behandeln Sie Anthropic/Perplexity-”bestätigte” Behauptungen mit Vorsicht (Primärquellen nicht immer zitiert).
• llms.txt ist tot. Genauer gesagt: ein Rohrkrepierer. – Kai Spriestersbach (Medium) – fasst OtterlyAI-90-Tage-Daten, Gary-Illyes-Bestätigung und den 24-Stunden-Vorfall bei Google zu einer skeptischen Zusammenfassung zusammen.

Statistiken, die sich zu zitieren lohnen

• 97 % der veröffentlichten llms.txt-Dateien erhielten in einem Monat null Anfragen (Ahrefs-Studie, 137 210 Domains, Mai 2026). Nur etwa 3 % verzeichneten überhaupt Traffic. Quelle
• Claude Code ist der dominierende KI-Konsument von llms.txt – es “übertraf jeden KI-Abrufbot, Assistenten und Trainings-Crawler außer GPTBot” (den Trainingsbot). Die Abruf-Bots, die Zitationsindizes aufbauen, machten nur 1,1 % der Anfragen aus. Quelle
• 77 % der Bot-Anfragen an llms.txt-Dateien stammten von Nicht-KI-Tools – SEO-Auditoren, anonyme Crawler, Technik-Profiling-Bots – also gar nicht von KI. Quelle
• 84 von 62 100+ KI-Bot-Besuchen trafen über 90 Tage auf einer überwachten Website auf /llms.txt (ca. 0,1 %) und schnitten dabei “3x schlechter ab als durchschnittliche Seiten.” Quelle
• Das Entfernen von llms.txt aus einem Zitationsmodell verbesserte dessen Genauigkeit – SE Ranking, 300 000 Domains, XGBoost + SHAP-Analyse. Kein nachgewiesener Zitationsnutzen, “zumindest noch nicht.” Quelle
• Adoption ≠ Nutzung. BuiltWith zählte 844 000+ Websites mit llms.txt (Okt. 2025), aber vieles davon ist automatische Plattform-Bereitstellung (Mintlify hat es auf allen gehosteten Dokumentationsseiten auf einmal ausgerollt), nicht informierte Einzelentscheidungen.
• Nur 408 Anfragen zielten auf /llms.txt bei über 515 Millionen analysierten KI-Bot-Traffic-Ereignissen über 90 Tage (limy.ai-Analyse) – beschrieben als “statistisch vernachlässigbar.”
• 10,13 % der Websites haben llms.txt adoptiert in einer Stichprobe von 300 000 Domains (SE-Ranking-Studie, 2026) – etwa 1 von 10, ohne nennenswerten Unterschied nach Traffic-Stufe (niedriger Traffic 9,88 %, hoher Traffic 8,27 %). Quelle

Änderungsprotokoll