Bahasa

Panduan llms.txt

llms.txt adalah sebuah proposed Markdown file di /llms.txt untuk guiding AI sistem. Google ignores ini, 97% dari files get zero permintaan, dan Claude Code adalah nyata reader.

Pertama kali diterbitkan: 24 Jun 2026 · Terakhir diperbarui: 3 Agu 2026 · Advanced
Bahasa
AIDitulis olehAI v2
1 sinyal bukti di halaman ini

llms.txt adalah sebuah proposal oleh Jeremy Howard (jawaban.AI) untuk helping AI agents navigate situs — 97% dari published files get zero permintaan, Google ignores ini, dan Claude Code adalah primary consumer, not search bot.

specification describes sebuah voluntary LLM-friendly situs summary; ini melakukan not establish crawler compliance atau pengindeksan perilaku. Evidence for this claim llms.txt is a community proposal for a Markdown file at /llms.txt that offers LLM-friendly site information; it is not a web standard. Scope: The proposal's own specification and stated purpose. Confidence: high · Verified: llms.txt proposal OpenAI currently documents named bot dan independent robots.txt settings instead. Evidence for this claim OpenAI documents robots.txt controls for its declared crawlers and does not list llms.txt as a crawler control. Scope: OpenAI's published crawler controls; absence is not proof that no internal system ever fetches the file. Confidence: high · Verified: OpenAI: Crawlers

TL;DR — llms.txt adalah sebuah proposal (Jeremy Howard, jawaban.AI, Sept 3, 2024), not sebuah adopted standard. ini adalah sebuah curated Markdown indeks di /llms.txt, dengan sebuah optional full-konten /llms-full.txt. bot people hope adalah reading ini untuk AI search — OAI-SearchBot, PerplexityBot — barely register; dominant consumer adalah Claude Code dan lainnya coding agents. Google ignores ini (Illyes confirmed; Mueller compared ini untuk keywords meta tag). di Ahrefs’ 137K-situs study, 97% dari files got zero permintaan, dan SE peringkat ditemukan itu menghapus llms.txt dari sebuah citation model ditingkatkan -nya accuracy. ini adalah worth menambahkan untuk developer docs consumed oleh coding agents; untuk GEO/AEO pada sebuah normal situs, data doesn’t mendukung ini. There’s juga sebuah nyata prompt-injection risk.

What llms.txt actually adalah

llms.txt adalah sebuah proposal — I ingin untuk lead dengan itu kata because ini adalah whole story. There’s no RFC, no W3C blessing, no IETF process. ini adalah one well-reasoned suggestion dari Jeremy Howard (co-founder dari jawaban.AI dan fast.ai), published September 3, 2024, itu caught pada hard di developer-documentation world dan got grafted onto SEO oleh sebuah community hungry untuk sebuah AI-visibilitas shortcut.

design masalah ini targets adalah legitimate. sebagai spec puts ini, “Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety.” (terjemahan) “besar language models increasingly rely pada situs web informasi, tetapi face sebuah critical limitation: context windows adalah too kecil untuk handle sebagian besar situs web di mereka entirety.” dan converting HTML untuk clean, LLM-friendly text adalah, di spec’s kata, “difficult and imprecise.” (terjemahan) “difficult dan imprecise.” Howard’s fix adalah untuk let situs author pre-flatten konten mereka ingin models untuk see ke curated Markdown.

format

/llms.txt adalah sebuah ordered Markdown document:

  1. H1 (diperlukan) — project atau situs name.
  2. Blockquote — sebuah pendek summary dengan key informasi.
  3. Optional prose/lists — paragraphs atau bullets, tetapi no heading here.
  4. H2-delimited tautan lists — - [name](url): optional notes.
  5. sebuah ## Optional bagian — secondary tautan sebuah model dapat skip when context adalah tight.

sebuah minimal contoh, dari spec:

# FastHTML

> FastHTML is a python library which brings together Starlette, Uvicorn, HTMX,
> and fastcore's FT...

## Docs

- [FastHTML quick start](url): A brief overview of many features

## Optional

- [Starlette documentation](url): A subset useful for FastHTML development.

Two companion conventions exist:

  • /llms-full.txt — entire situs konten flattened ke one Markdown file. Anthropic, Perplexity, dan Stripe publish both ini dan pendek form.
  • ** .md URL convention** — offering page.md versi dari individual halaman so mereka’re LLM-ready without full dump.

sebuah newer variant skips static files entirely: edge-disajikan Markdown via konten negotiation. Cloudflare’s Markdown untuk Agents converts apa pun HTML halaman untuk clean Markdown pada fly when sebuah client mengirim Accept: text/markdown — no per-halaman .md files, no /llms-full.txt untuk regenerate, no template perubahan, because CDN melakukan conversion di edge (Cloudflare cites ~80% fewer tokens untuk agent). ini adalah sebuah paid fitur — Pro plan dan up, not free tier — so pada ini situs ini adalah one Cloudflare upgrade away dari menjadi switched pada alih-alih something I’ve hand-dibangun. Whether ini adalah worth switching pada adalah sama open pertanyaan itu hangs di atas llms.txt itself: serving crawler sebuah parallel Markdown copy dari setiap halaman adalah convenient, tetapi ini adalah lainnya representation untuk pertahankan di sync, dan Bing’s Fabrice Canel memiliki flagged doubled crawl muat dan cloaking-adjacent risk dari edge-disajikan alternate konten. periksa Anda logs untuk nyata agent demand sebelum flipping ini.

llms.txt vs robots.txt — mereka adalah not yang sama thing

single sebagian besar umum misconception adalah itu llms.txt adalah “robots.txt for AI.” (terjemahan) “robots.txt untuk AI.” ini isn’t, dan conflating them leads untuk buruk decisions.

robots.txtllms.txt
PurposeAccess control — what crawler dapat fetchkonten guidance — what’s berguna untuk read
FormatDirectives (User-agent:, Disallow:)Markdown tautan + deskripsi
Enforced?Yes, oleh compliant crawlerNo — advisory hanya
Timingcrawl time, sebelum fetchingInference time, assembling context
sebuah standard?Yes, decades old, universalNo — sebuah proposal
dapat ini block?YesNo

robots.txt adalah sebuah nyata, enforced standard. llms.txt adalah sebuah suggestion box itu sebagian besar sistem aren’t reading yet. jika Anda ingin control AI crawler access — which adalah sebuah separate, legitimate goal — itu lives di robots.txt dan AI crawler, not here.

Who actually reads ini

ini adalah bagian itu penting, because ini adalah where data diverges hardest dari hype. di Ahrefs’ study dari 137 210 domains (dapat 2026 traffic):

  • 97% dari published llms.txt files diterima zero permintaan. hanya ~3% (tentang 1 100 domains) saw apa pun traffic di semua.
  • dari files itu melakukan get requested: 96% dari permintaan came dari bot, 4% dari humans.
  • dari bot permintaan, 77% came dari non-AI alat — SEO auditors (Ahrefs itself among them), anonymous crawler, tech-profiling bot. SEO irony writes itself.
  • hanya ~19,5% came dari AI alat, dan setelah Anda break itu down ini gets worse untuk GEO theory:
  • AI agents & infrastructure (coding agents): ~10,5%
  • Training crawler (GPTBot led di 4,51%): ~5,3%
  • AI assistants: ~2,5%
  • AI retrieval bot — ones itu bangun citation indeks: 1,1%.

Read itu last line twice. bot sebagian besar people tambahkan llms.txt untuk — OAI-SearchBot, PerplexityBot — “barely registered.” (terjemahan) “barely registered.” dominant AI consumer adalah Claude Code, Anthropic’s coding agent, which study ditemukan “outfetched every AI retrieval bot, assistant, and training crawler except GPTBot.” (terjemahan) “outfetched setiap AI retrieval bot, assistant, dan training crawler except GPTBot.” dan GPTBot adalah sebuah training crawler itu melakukan crawl everything regardless — -nya presence isn’t evidence dari intentional llms.txt parsing.

lainnya independent measurements land di yang sama place. OtterlyAI watched one situs untuk 90 days: dari 62 100+ AI bot visits, exactly 84 hit /llms.txt — tentang 0,1%, performing “3x worse than average pages.” (terjemahan) “3x worse daripada average halaman.” sebuah separate analysis dari 515M+ LLM bot events di atas 90 days ditemukan 408 permintaan total targeting /llms.txt — “statistically negligible.” (terjemahan) “statistically negligible.”

takeaway adalah developer-docs-vs-GEO split: llms.txt berfungsi untuk what Howard dibangun ini untuk (coding agents navigating API docs), dan ini largely doesn’t get touched oleh search-citation bot SEO community ingin ini untuk reach.

What providers memiliki said

Google — no, dan no plans. Gary Illyes confirmed di Search Central Live (July 2025) itu Google doesn’t mendukung llms.txt dan isn’t planning untuk. John Mueller, paling-quoted voice here, compared ini untuk keywords meta tag (April 2025) dan called ini sebuah “temporary crutch, perhaps to save some tokens” (terjemahan) “temporary crutch, perhaps untuk save beberapa tokens” untuk AI coding alat — explicitly not sebuah search-visibilitas mechanism. Google’s dapat 2026 guidance stated machine-readable files like llms.txt aren’t necessary untuk AI Overviews atau AI Mode, which “continue to rely on traditional SEO signals.” (terjemahan) “continue untuk rely pada traditional SEO signals.” (Google melakukan briefly publish sebuah llms.txt pada -nya dev docs pada December 3, 2025, lalu pulled ini yang sama day — later attributed untuk sebuah CMS update, not sebuah strategy shift.)

OpenAI — nothing. No announcement itu ChatGPT, GPTBot, atau OAI-SearchBot parse ini. server logs contradict meaningful usage; OAI-SearchBot “barely registered.” (terjemahan) “barely registered.” OpenAI poin people untuk robots.txt untuk crawler control.

Anthropic — interesting one. Anthropic publishes both llms.txt dan llms-full.txt di docs.anthropic.com/llms.txt, dan Claude Code demonstrably fetches lainnya situs’ llms.txt files — ini adalah largest AI consumer di data. tetapi itu’s sebuah coding-alat story. There’s no confirmation itu Claude.ai’s search atau citation layer honors llms.txt. “Anthropic’s coding agent reads it” (terjemahan) “Anthropic’s coding agent reads ini” dan “Anthropic’s search index trusts it” (terjemahan) “Anthropic’s search indeks trusts ini” adalah berbeda claims, dan hanya pertama adalah didukung.

Perplexity — claims yes, data says rarely. Perplexity memiliki stated ini retrieves llms.txt dan menggunakan ini untuk “prioritize page selection.” (terjemahan) “prioritize halaman selection.” tetapi proactive fetching adalah catch: PerplexityBot “barely registered” (terjemahan) “barely registered” di permintaan data, dan there’s “almost zero activity from PerplexityBot requesting llms.txt files proactively.” (terjemahan) “almost zero activity dari PerplexityBot requesting llms.txt files proactively.” Paste sebuah llms.txt URL ke Perplexity dan ini reads ini fine; autonomous, proactive gunakan adalah gap antara policy dan practice.

Bing/Microsoft, Apple, Meta — no public position. Treat sebagai unconfirmed.

melakukan ini move AI citations?

No demonstrated benefit. SE peringkat modeled 300 000 domains dengan sebuah XGBoost regression + SHAP analysis dan ditemukan itu menghapus llms.txt dari model ditingkatkan -nya accuracy — mereka conclusion: “LLMs.txt doesn’t seem to directly impact AI citation frequency. At least not yet.” (terjemahan) “LLMs.txt doesn’t seem untuk directly impact AI citation frequency. setidaknya not yet.” sebuah mesin pencari Land 10-situs, 180-day study saw 8 dari 10 situs tampilkan no measurable perubahan, dan two “winners” (terjemahan) “winners” memiliki confounding perubahan (PR coverage, baru FAQ halaman, technical fixes) Anda dapat’t separate dari llms.txt itself.

meta-keywords comparison — fair atau not?

Mueller’s keywords-meta-tag analogy holds pada poin itu penting: both adalah situs-owner self-deskripsi, neither adalah verified, dan both adalah open untuk gaming/cloaking — Anda dapat tampilkan one thing di llms.txt dan lainnya pada halaman. itu manipulability adalah exactly why sebuah serious AI search product won’t trust sebuah self-deskripsi di atas actual halaman. counter-argument (Carolyn Shelby) adalah itu llms.txt setidaknya poin untuk nyata URLs itu memiliki untuk deliver — ini adalah “a spotlight, not a wish list.” (terjemahan) “sebuah spotlight, not sebuah wish list.” Both adalah right, dan practical hasil adalah yang sama: AI search sistem don’t lean pada ini.

When ini adalah worth menambahkan — dan when untuk skip ini

tambahkan ini jika Anda run developer documentation atau sebuah API reference whose primary audience adalah AI coding agents (Claude Code, Cursor, Copilot, Codeium). itu’s gunakan case ini adalah dibangun untuk, dan ini berfungsi.

Skip ini — atau setidaknya don’t expect AI-visibilitas mengembalikan — untuk konten situs, media, ecommerce, dan ordinary business situs. cost adalah ~20 minutes; GEO benefit today adalah near-zero; dan itu 20 minutes adalah better spent pada konten structure, FAQ coverage, dan AI search optimization fundamentals itu actually move AI visibilitas. tinggi adoption headlines (BuiltWith’s 844K+ figure) adalah inflated oleh platform auto-deployment — Mintlify rolled llms.txt out untuk semua -nya hosted docs situs di once. Adoption adalah not usage; 97% dari files get zero permintaan.

security angle

ini adalah underreported dan nyata: because AI agents adalah designed untuk trust what’s di llms.txt, file adalah sebuah natural attack surface. Ahrefs study flagged buruk actors probing llms.txt files untuk prompt-injection vulnerabilities. jika Anda melakukan publish one, treat ini sebagai security-sensitive: pertahankan ini di versi control, alert pada tidak terotorisasi perubahan, dan tidak pernah put anything di ini Anda wouldn’t tampilkan publicly.

Implementing ini (jika Anda decide untuk)

  • Placement: /llms.txt di domain root, disajikan sebagai text/plain atau text/markdown, HTTP 200.
  • Curate, don’t dump: 20–50 dari Anda sebagian besar penting tautan. jika Anda list everything, sebuah model mungkin sebagai well crawl directly — curation adalah entire poin.
  • Optionally sajikan /llms-full.txt untuk contexts itu ingin semua Anda konten.
  • Validate: muat file ke Claude, ChatGPT, atau Perplexity dan tanyakan ini untuk summarize Anda situs; lalu periksa server logs setelah sebuah few weeks untuk nyata permintaan.
  • Generators exist untuk VitePress (vitepress-plugin-llms), Docusaurus (docusaurus-plugin-llms), WordPress (“Website LLMs.txt” (terjemahan) “situs web LLMs.txt”), Drupal, plus sebuah Python CLI (llms_txt2ctx).

intinya: rendah cost, currently near-zero GEO benefit, genuinely berguna untuk coding-agent gunakan case ini adalah born untuk. periksa Anda own server logs sebelum Anda decide — jika Anda’re seeing Claude-Code/Cursor traffic, llms.txt dapat help them; jika Anda’re chasing OAI-SearchBot dan PerplexityBot, ini isn’t lever.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.