Langues

Guide : llms.txt

llms.txt est a proposed Markdown fichier à /llms.txt pour guiding AI systèmes. Google ignores il, 97% de fichiers obtenir zero requêtes, et Claude Code est le réel lecteur.

Première publication : 24 juin 2026 · Dernière mise à jour : 3 août 2026 · Avancé
AIRédigé parAI v2
1 indice probant sur cette page

llms.txt est a proposal par Jeremy Howard (Réponse.AI) pour helping AI agents navigate sites — 97% de publié fichiers obtenir zero requêtes, Google ignores il, et Claude Code est le principal consumer, pas recherche bots.

Le specification décrit a voluntary LLM-friendly site summary; il ne fait pas establish robot d’exploration compliance or indexation behavior. Preuve à l’appui de cette affirmation llms.txt is a community proposal for a Markdown file at /llms.txt that offers LLM-friendly site information; it is not a web standard. Portée : The proposal's own specification and stated purpose. Niveau de confiance : élevé · Vérifié : llms.txt proposal OpenAI currently documents named bots et independent robots.txt paramètres à la place. Preuve à l’appui de cette affirmation OpenAI documents robots.txt controls for its declared crawlers and does not list llms.txt as a crawler control. Portée : OpenAI's published crawler controls; absence is not proof that no internal system ever fetches the file. Niveau de confiance : élevé · Vérifié : OpenAI: Crawlers

TL;DR — llms.txt est a proposal (Jeremy Howard, Réponse.AI, Sept 3, 2024), pas an adopted standard. c’est a curated Markdown indexer à /llms.txt, avec an optional complet-contenu /llms-full.txt. Le bots personnes hope sont reading il pour AI recherche — OAI-SearchBot, PerplexityBot — barely register; le dominant consumer est Claude Code et autre coding agents. Google ignores il (Illyes confirmed; Mueller comparé il à le mots-clés meta balise). Dans Ahrefs’ 137K-site study, 97% de fichiers obtenu zero requêtes, et SE Classement trouvé que removing llms.txt depuis a citation model improved son accuracy. c’est worth ajout pour developer docs consumed par coding agents; pour GEO/AEO on a normal site, le données ne fait pas prise en charge il. il y a aussi a réel prompt-injection risque.

«## What llms.txt actually is » (Traduction) (Résumé en français de la section vingt-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«llms.txt is a proposal — I want to lead with that word because it’s the whole story. There’s no RFC, no W3C blessing, no IETF process. It’s one well-reasoned suggestion from Jeremy Howard (co-founder of Answer.AI and fast.ai), published September 3, 2024, that caught on hard in the developer-documentation world and got grafted onto SEO by a community hungry for an AI-visibility shortcut. » (Traduction) (Résumé en français de la section vingt-quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«The design problem it targets is legitimate. As the spec puts it, “Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety.” And converting HTML to clean, LLM-friendly text is, in the spec’s words, “difficult and imprecise.” Howard’s fix is to let the site author pre-flatten the content they want models to see into curated Markdown. » (Traduction) (Résumé en français de la section vingt-cinq, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«## The format » (Traduction) (Résumé en français de la section vingt-six, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«/llms.txt is an ordered Markdown document: » (Traduction) (Résumé en français de la section vingt-sept, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«1. H1 (required) — project or site name. 2. Blockquote — a short summary with the key information. 3. Optional prose/lists — paragraphs or bullets, but no headings here. 4. H2-delimited link lists — - [name](url): optional notes. 5. An ## Optional section — secondary links a model can skip when context is tight. » (Traduction) (Résumé en français de la section vingt-huit, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«A minimal example, from the spec: » (Traduction) (Résumé en français de la section vingt-neuf, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

# FastHTML

> FastHTML is a python library which brings together Starlette, Uvicorn, HTMX,
> and fastcore's FT...

## Docs

- [FastHTML quick start](url): A brief overview of many features

## Optional

- [Starlette documentation](url): A subset useful for FastHTML development.

«Two companion conventions exist: » (Traduction) (Résumé en français de la section trente et un, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

  • /llms-full.txt — le entier site contenu flattened dans un Markdown fichier. Anthropic, Perplexity, et Stripe publish les deux ce et le court formulaire.
  • Le .md URL convention — offering page.md versions de individual pages donc ils sont LLM-ready sans le complet dump.

A newer variant skips le static fichiers entirely: edge-servi Markdown via contenu negotiation. Cloudflare’s Markdown pour Agents converts quelconque HTML page à clean Markdown on le fly quand a client sends Accept: text/markdown — aucun per-page .md fichiers, aucun /llms-full.txt à regenerate, aucun template changements, parce que le CDN fait le conversion à le edge (Cloudflare cites ~80% fewer tokens pour le agent). c’est a payant fonctionnalité — Pro plan et up, pas le gratuit tier — donc on ce site c’est un Cloudflare upgrade away depuis étant switched on plutôt que quelque chose j’ai hand-built. Si c’est worth switching on est le même ouvrir question que hangs over llms.txt itself: diffusion robots d’exploration a parallel Markdown copy de chaque page est convenient, mais c’est un autre representation à garder dans sync, et Bing’s Fabrice Canel a flagged le doubled explorer charger et cloaking-adjacent risque de edge-servi alternate contenu. Vérifier votre logs pour réel agent demand avant flipping il.

llms.txt vs robots.txt — ils ne sont pas the même chose

Le unique la plupart courant misconception est que llms.txt est “robots.txt pour AI.” Il n’est pas, et conflating les leads à mauvais decisions.

robots.txtllms.txt
ObjectifAccès contrôler — ce que robots d’exploration peut récupérerContent guidance — what’s utile to lire
FormatDirectives (User-agent:, Disallow:)Markdown liens + descriptions
Enforced?Yes, by compliant robots d’explorationAucun — advisory seulement
TimingExplorer temps, avant fetchingInference temps, assembling context
A standard?Yes, decades old, universalAucun — a proposal
Peut it block?YesAucun

robots.txt is a réel, enforced standard. llms.txt is a suggestion box que la plupart systems aren’t reading yet. Si vous vouloir to contrôler AI robot d’exploration accès — qui is a separate, legitimate goal — que lives in robots.txt and AI robots d’exploration, pas ici.

Who en réalité reads it

Ce est le section que matters, parce que c’est où le données diverges hardest depuis le hype. Dans Ahrefs’ study de 137 210 domains (Peut 2026 trafic):

  • 97% de publié llms.txt fichiers reçu zero requêtes. Seulement ~3% (à propos de 1 100 domains) saw quelconque trafic à tout.
  • De le fichiers que a fait obtenir requested: 96% de requêtes came depuis bots, 4% depuis humans.
  • De le bot requêtes, 77% came depuis non-AI outils — SEO auditors (Ahrefs itself parmi les), anonymous robots d’exploration, tech-profiling bots. Le SEO irony écrit itself.
  • Seulement ~19,5% came depuis AI outils, et une fois vous break que bas il obtient pire pour le GEO theory:
    • AI agents & infrastructure (coding agents): ~10,5%
    • Training robots d’exploration (GPTBot led à 4,51%): ~5,3%
    • AI assistants: ~2,5%
    • AI retrieval bots — le ones que construire citation indexes: 1,1%.

Lire que dernier line twice. Le bots la plupart personnes ajouter llms.txt pour — OAI-SearchBot, PerplexityBot — “barely registered.” Le dominant AI consumer est Claude Code, Anthropic’s coding agent, qui le study trouvé “outfetched chaque AI retrieval bot, assistant, et training robot d’exploration except GPTBot.” Et GPTBot est a training robot d’exploration que explore tout regardless — son presence n’est pas evidence de intentional llms.txt parsing.

Autre independent measurements land in the même placer. OtterlyAI watched un site pour 90 days: of 62 100+ AI bot visits, exactly 84 hit /llms.txt — à propos de 0,1%, performing “3x worse than average pages.” A separate analysis of 515M+ LLM bot events over 90 days trouvé 408 requêtes total targeting /llms.txt — “statistically negligible.”

«The takeaway is the developer-docs-vs-GEO split: llms.txt works for what Howard built it for (coding agents navigating API docs), and it largely doesn’t get touched by the search-citation bots the SEO community wants it to reach. » (Traduction) (Résumé en français de la section quarante-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«## What the providers have said » (Traduction) (Résumé en français de la section quarante-quatre, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«Google — no, and no plans. Gary Illyes confirmed at Search Central Live (July 2025) that Google doesn’t support llms.txt and isn’t planning to. John Mueller, the most-quoted voice here, compared it to the keywords meta tag (April 2025) and called it a “temporary crutch, perhaps to save some tokens” for AI coding tools — explicitly not a search-visibility mechanism. Google’s May 2026 guidance stated machine-readable files like llms.txt aren’t necessary for AI Overviews or AI Mode, which “continue to rely on traditional SEO signals.” (Google did briefly publish an llms.txt on its dev docs on December 3, 2025, then pulled it the same day — later attributed to a CMS update, not a strategy shift.) » (Traduction) (Résumé en français de la section quarante-cinq, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«OpenAI — nothing. No announcement that ChatGPT, GPTBot, or OAI-SearchBot parse it. Server logs contradict meaningful usage; OAI-SearchBot “barely registered.” OpenAI points people to robots.txt for crawler control. » (Traduction) (Résumé en français de la section quarante-six, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Anthropic — le interesting un. Anthropic publishes les deux llms.txt et llms-full.txt à docs.anthropic.com/llms.txt, et Claude Code demonstrably récupère autre sites’ llms.txt fichiers — c’est le largest AI consumer dans le données. Mais c’est a coding-outil story. il y a aucun confirmation que Claude.ai’s recherche or citation couche honors llms.txt. “Anthropic’s coding agent reads it” et “Anthropic’s search index trusts it” sont différent claims, et seulement le premier est pris en charge.

Perplexity — claims oui, données dit rarely. Perplexity a stated il retrieves llms.txt et utilise il à “prioritize page selection.” Mais proactive fetching est le catch: PerplexityBot “barely registered” dans la requête données, et il y a “presque zero activity depuis PerplexityBot requesting llms.txt fichiers proactively.” Paste an llms.txt URL dans Perplexity et il lit il fine; autonomous, proactive utiliser est le gap entre policy et pratique.

Bing/Microsoft, Apple, Meta — aucun public position. Treat as unconfirmed.

«## Does it move AI citations? » (Traduction) (Résumé en français de la section cinquante, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«No demonstrated benefit. SE Ranking modeled 300,000 domains with an XGBoost regression + SHAP analysis and found that removing llms.txt from the model improved its accuracy — their conclusion: “LLMs.txt doesn’t seem to directly impact AI citation frequency. At least not yet.” A Search Engine Land 10-site, 180-day study saw 8 of 10 sites show no measurable change, and the two “winners” had confounding changes (PR coverage, new FAQ pages, technical fixes) you can’t separate from the llms.txt itself. » (Traduction) (Résumé en français de la section cinquante et un, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«## The meta-keywords comparison — fair or not? » (Traduction) (Résumé en français de la section cinquante-deux, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

«Mueller’s keywords-meta-tag analogy holds on the points that matter: both are site-owner self-descriptions, neither is verified, and both are open to gaming/cloaking — you could show one thing in llms.txt and another on the page. That manipulability is exactly why a serious AI search product won’t trust a self-description over the actual pages. The counter-argument (Carolyn Shelby) is that llms.txt at least points to real URLs that have to deliver — it’s “a spotlight, not a wish list.” Both are right, and the practical result is the same: AI search systems don’t lean on it. » (Traduction) (Résumé en français de la section cinquante-trois, sous-partie un : le texte source est conservé pour vérification lors de la relecture francophone.)

Quand it’s worth ajout — and quand to skip it

Ajouter il si vous exécuter developer documentation or an API référence whose principal public est AI coding agents (Claude Code, Cursor, Copilot, Codeium). c’est le utiliser cas il était construit pour, et il fonctionne.

Skip il — or au moins ne pas expect AI-visibility renvoie — pour contenu sites, media, ecommerce, et ordinary entreprise sites. Le coût est ~20 minutes; le GEO avantage aujourd’hui est near-zero; et que 20 minutes est meilleur spent on contenu structure, FAQ coverage, et le AI recherche optimization fundamentals que en réalité déplacer AI visibility. Le élevé adoption headlines (BuiltWith’s 844K+ figure) sont inflated par plateforme auto-deployment — Mintlify rolled llms.txt out à tout son hosted docs sites à une fois. Adoption n’est pas usage; 97% de fichiers obtenir zero requêtes.

The security angle

Ce est underreported et réel: parce que AI agents sont designed à confiance qu’est-ce que dans llms.txt, le fichier est a natural attack surface. Le Ahrefs study flagged mauvais actors probing llms.txt fichiers pour prompt-injection vulnerabilities. Si vous faire publish un, treat il as security-sensitive: garder il dans version contrôler, alert on unauthorized changements, et jamais put n’importe quoi dans il vous ne ferait pas montrer publicly.

Implementing it (si vous decide to)

  • Placement: /llms.txt à le domain root, servi as text/plain or text/markdown, HTTP 200.
  • Curate, ne pas dump: 20–50 de votre la plupart important liens. Si vous liste tout, a model pourrait as bien explorer directement — curation est le entier point.
  • Optionally servir /llms-full.txt pour contexts que vouloir tout votre contenu.
  • Valider: charger le fichier dans Claude, ChatGPT, or Perplexity et demander il à summarize votre site; alors vérifier serveur logs après a quelques weeks pour réel requêtes.
  • Generators exist pour VitePress (vitepress-plugin-llms), Docusaurus (docusaurus-plugin-llms), WordPress (“Website LLMs.txt”), Drupal, plus a Python CLI (llms_txt2ctx).

L’essentiel: faible coût, currently near-zero GEO avantage, genuinely utile pour le coding-agent utiliser cas il était born pour. Vérifier votre propre serveur logs avant vous decide — si vous êtes seeing Claude-Code/Cursor trafic, llms.txt peut aider les; si vous êtes chasing OAI-SearchBot et PerplexityBot, il n’est pas le lever.

Ajouter une note d’expert

Épingler une citation d’expert

Nouvelle personne ? Créez son profil non revendiqué à /admin/experts/ → Épingler une citation d’expert d’abord.