Bahasa

Panduan llms.txt

llms.txt adalah sebuah proposed Markdown file di /llms.txt untuk guiding AI sistem. Google ignores ini, 97% dari files mendapatkan zero permintaan, dan Claude Code adalah nyata reader.

Pertama kali diterbitkan: 24 Jun 2026 · Terakhir diperbarui: 3 Agu 2026 · Lanjutan
AIDitulis olehAI v2
1 sinyal bukti di halaman ini

llms.txt adalah sebuah proposal oleh Jeremy Howard (jawaban.AI) untuk helping AI agents navigate situs — 97% dari published files mendapatkan zero permintaan, Google ignores ini, dan Claude Code adalah utama consumer, tidak penelusuran bot.

specification mendeskripsikan sebuah voluntary LLM-friendly situs summary; ini melakukan tidak establish crawler compliance atau pengindeksan perilaku. Bukti untuk klaim ini llms.txt is a community proposal for a Markdown file at /llms.txt that offers LLM-friendly site information; it is not a web standard. Cakupan: The proposal's own specification and stated purpose. Tingkat keyakinan: tinggi · Diverifikasi: llms.txt proposal OpenAI saat ini documents named bot dan independent robots.txt settings alih-alih. Bukti untuk klaim ini OpenAI documents robots.txt controls for its declared crawlers and does not list llms.txt as a crawler control. Cakupan: OpenAI's published crawler controls; absence is not proof that no internal system ever fetches the file. Tingkat keyakinan: tinggi · Diverifikasi: OpenAI: Crawlers

TL;DR — llms.txt adalah sebuah proposal (Jeremy Howard, jawaban.AI, Sept 3, 2024), tidak sebuah adopted standard. ini adalah sebuah curated Markdown indeks di /llms.txt, dengan sebuah opsional penuh-konten /llms-full.txt. bot orang hope adalah reading ini untuk AI penelusuran — OAI-SearchBot, PerplexityBot — barely register; dominant consumer adalah Claude Code dan lainnya coding agents. Google ignores ini (Illyes confirmed; Mueller compared ini untuk keywords meta tag). di Ahrefs’ 137K-situs study, 97% dari files mendapat zero permintaan, dan SE peringkat ditemukan itu menghapus llms.txt dari sebuah citation model ditingkatkan -nya accuracy. ini adalah worth menambahkan untuk developer docs consumed oleh coding agents; untuk GEO/AEO pada sebuah wajar situs, data tidak mendukung ini. ada juga sebuah nyata prompt-injection risk.

Apa llms.txt sebenarnya adalah

llms.txt adalah sebuah proposal — I ingin untuk lead dengan itu kata karena ini adalah seluruh story. ada Tidak RFC, Tidak W3C blessing, Tidak IETF proses. ini adalah satu well-reasoned suggestion dari Jeremy Howard (co-founder dari jawaban.AI dan fast.ai), published September 3, 2024, itu caught pada hard di developer-documentation world dan mendapat grafted onto SEO oleh sebuah community hungry untuk sebuah AI-visibilitas shortcut.

design masalah ini targets adalah legitimate. sebagai spec puts ini, “Large language models increasingly rely pada website information, tetapi face a critical limitation: context windows adalah too small untuk tangani paling websites di mereka entirety.” (terjemahan) “besar language models increasingly rely pada situs web informasi, tetapi face sebuah critical limitation: context windows adalah too kecil untuk tangani sebagian besar situs web di mereka entirety.” dan converting HTML untuk bersih, LLM-friendly text adalah, di spec’s kata, “difficult dan imprecise.” (terjemahan) “difficult dan imprecise.” Howard’s perbaiki adalah untuk let situs author pre-flatten konten mereka ingin models untuk see ke curated Markdown.

format

/llms.txt adalah sebuah ordered Markdown document:

  1. H1 (diperlukan) — project atau situs name.
  2. Blockquote — sebuah pendek summary dengan key informasi.
  3. Opsional prose/lists — paragraphs atau bullets, tetapi Tidak heading di sini.
  4. H2-delimited tautan lists — - [name](url): optional notes.
  5. sebuah ## Optional bagian — sekunder tautan sebuah model dapat skip ketika context adalah tight.

sebuah minimal contoh, dari spec:

# FastHTML

> FastHTML is a python library which brings together Starlette, Uvicorn, HTMX,
> and fastcore's FT...

## Docs

- [FastHTML quick start](url): A brief overview of many features

## Optional

- [Starlette documentation](url): A subset useful for FastHTML development.

Dua companion conventions exist:

  • /llms-full.txt — entire situs konten flattened ke satu Markdown file. Anthropic, Perplexity, dan Stripe publish keduanya ini dan pendek form.
  • ** .md URL convention** — offering page.md versi dari individual halaman so mereka’re LLM-ready tanpa penuh dump.

sebuah newer variant skips static files entirely: edge-disajikan Markdown melalui konten negotiation. Cloudflare’s Markdown untuk Agents converts apa pun HTML halaman untuk bersih Markdown pada fly ketika sebuah client mengirim Accept: text/markdown — Tidak per-halaman .md files, Tidak /llms-full.txt untuk regenerate, Tidak template perubahan, karena CDN melakukan conversion di edge (Cloudflare cites ~80% fewer tokens untuk agent). ini adalah sebuah paid fitur — Pro plan dan up, tidak free tier — so pada ini situs ini adalah satu Cloudflare upgrade away dari menjadi switched pada alih-alih sesuatu I’ve hand-dibangun. Apakah ini adalah worth switching pada adalah sama open pertanyaan itu hangs di atas llms.txt itself: serving crawler sebuah parallel Markdown copy dari setiap halaman adalah convenient, tetapi ini adalah lainnya representation untuk pertahankan di sync, dan Bing’s Fabrice Canel memiliki flagged doubled crawl muat dan cloaking-berdekatan risk dari edge-disajikan alternate konten. periksa Anda logs untuk nyata agent demand sebelum flipping ini.

llms.txt vs robots.txt — mereka adalah tidak yang sama hal

single sebagian besar umum misconception adalah itu llms.txt adalah “robots.txt for AI.” (terjemahan) “robots.txt untuk AI.” ini tidak, dan conflating them leads untuk buruk decisions.

robots.txtllms.txt
PurposeAccess control — apa crawler dapat fetchkonten guidance — apa berguna untuk baca
FormatDirectives (User-agent:, Disallow:)Markdown tautan + deskripsi
Enforced?Ya, oleh compliant crawlerTidak — advisory hanya
Timingcrawl time, sebelum fetchingInference time, assembling context
sebuah standard?Ya, decades old, universalTidak — sebuah proposal
dapat ini block?YaTidak

robots.txt adalah sebuah nyata, enforced standard. llms.txt adalah sebuah suggestion box itu sebagian besar sistem tidak reading namun. jika Anda ingin control AI crawler access — yang adalah sebuah terpisah, legitimate goal — itu lives di robots.txt dan AI crawler, tidak di sini.

Siapa sebenarnya membaca ini

ini adalah bagian itu penting, karena ini adalah di mana data diverges hardest dari hype. di Ahrefs’ study dari 137 210 domains (dapat 2026 traffic):

  • 97% dari published llms.txt files diterima zero permintaan. hanya ~3% (tentang 1 100 domains) saw apa pun traffic di semua.
  • dari files itu melakukan mendapatkan requested: 96% dari permintaan came dari bot, 4% dari humans.
  • dari bot permintaan, 77% came dari non-AI alat — SEO auditors (Ahrefs itself among them), anonymous crawler, tech-profiling bot. SEO irony menulis itself.
  • hanya ~19,5% came dari AI alat, dan setelah Anda break itu down ini mendapatkan worse untuk GEO theory:
  • AI agents & infrastructure (coding agents): ~10,5%
  • Training crawler (GPTBot led di 4,51%): ~5,3%
  • AI assistants: ~2,5%
  • AI retrieval bot — ones itu bangun citation indeks: 1,1%.

Baca itu terakhir line twice. bot sebagian besar orang tambahkan llms.txt untuk — OAI-SearchBot, PerplexityBot — “barely registered.” (terjemahan) “barely registered.” dominant AI consumer adalah Claude Code, Anthropic’s coding agent, yang study ditemukan “outfetched every AI retrieval bot, assistant, and training crawler except GPTBot.” (terjemahan) “outfetched setiap AI retrieval bot, assistant, dan training crawler except GPTBot.” dan GPTBot adalah sebuah training crawler itu melakukan crawl semuanya regardless — -nya presence tidak evidence dari intentional llms.txt parsing.

«Other independent measurements land in the same place. OtterlyAI watched one site for 90 days: of 62,100+ AI bot visits, exactly 84 hit /llms.txt — about 0.1%, performing “3x worse than average pages.” A separate analysis of 515M+ LLM bot events over 90 days found 408 requests total targeting /llms.txt — “statistically negligible.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian empat puluh dua, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

takeaway adalah developer-docs-vs-GEO split: llms.txt berfungsi untuk apa Howard dibangun ini untuk (coding agents navigating API docs), dan ini largely tidak mendapatkan touched oleh penelusuran-citation bot SEO community ingin ini untuk reach.

Apa providers memiliki mengatakan

Google — Tidak, dan Tidak plans. Gary Illyes confirmed di Penelusuran Central Langsung (July 2025) itu Google tidak mendukung llms.txt dan tidak planning untuk. John Mueller, paling-quoted voice di sini, compared ini untuk keywords meta tag (April 2025) dan called ini sebuah “temporary crutch, perhaps to save some tokens” (terjemahan) “temporary crutch, perhaps untuk save beberapa tokens” untuk AI coding alat — explicitly tidak sebuah penelusuran-visibilitas mechanism. Google’s dapat 2026 guidance stated machine-readable files like llms.txt tidak necessary untuk AI Overviews atau AI Mode, yang “continue to rely on traditional SEO signals.” (terjemahan) “continue untuk rely pada tradisional SEO sinyal.” (Google melakukan briefly publish sebuah llms.txt pada -nya dev docs pada December 3, 2025, lalu pulled ini yang sama day — kemudian attributed untuk sebuah CMS perbarui, tidak sebuah strategy shift.)

OpenAI — tidak ada apa pun. Tidak announcement itu ChatGPT, GPTBot, atau OAI-SearchBot parse ini. server logs contradict bermakna usage; OAI-SearchBot “barely registered.” (terjemahan) “barely registered.” OpenAI poin orang untuk robots.txt untuk crawler control.

Anthropic — interesting satu. Anthropic publishes keduanya llms.txt dan llms-full.txt di docs.anthropic.com/llms.txt, dan Claude Code demonstrably fetches lainnya situs’ llms.txt files — ini adalah largest AI consumer di data. tetapi itu’s sebuah coding-alat story. ada Tidak konfirmasi itu Claude.ai’s penelusuran atau citation layer honors llms.txt. “Anthropic’s coding agent reads it” (terjemahan) “Anthropic’s coding agent membaca ini” dan “Anthropic’s search index trusts it” (terjemahan) “Anthropic’s penelusuran indeks trusts ini” adalah berbeda claims, dan hanya pertama adalah didukung.

Perplexity — claims Ya, data says rarely. Perplexity memiliki stated ini retrieves llms.txt dan menggunakan ini untuk “prioritize page selection.” (terjemahan) “prioritize halaman selection.” tetapi proactive fetching adalah catch: PerplexityBot “barely registered” (terjemahan) “barely registered” di permintaan data, dan ada “almost zero activity from PerplexityBot requesting llms.txt files proactively.” (terjemahan) “hampir zero activity dari PerplexityBot requesting llms.txt files proactively.” Paste sebuah llms.txt URL ke Perplexity dan ini membaca ini fine; autonomous, proactive gunakan adalah kesenjangan antara policy dan practice.

Bing/Microsoft, Apple, Meta — Tidak publik position. Treat sebagai unconfirmed.

melakukan ini move AI citations?

Tidak demonstrated benefit. SE peringkat modeled 300 000 domains dengan sebuah XGBoost regression + SHAP analysis dan ditemukan itu menghapus llms.txt dari model ditingkatkan -nya accuracy — mereka conclusion: “LLMs.txt doesn’t seem to directly impact AI citation frequency. At least not yet.” (terjemahan) “LLMs.txt tidak seem untuk secara langsung impact AI citation frequency. setidaknya belum.” sebuah mesin pencari Land 10-situs, 180-day study saw 8 dari 10 situs tampilkan Tidak measurable perubahan, dan dua “winners” (terjemahan) “winners” memiliki confounding perubahan (PR coverage, baru FAQ halaman, teknis memperbaiki) Anda dapat’t terpisah dari llms.txt itself.

meta-keywords perbandingan — fair atau tidak?

Mueller’s keywords-meta-tag analogy holds pada poin itu penting: keduanya adalah situs-owner self-deskripsi, neither adalah verified, dan keduanya adalah open untuk gaming/cloaking — Anda dapat tampilkan satu hal di llms.txt dan lainnya pada halaman. itu manipulability adalah persis mengapa sebuah serious AI penelusuran product tidak akan trust sebuah self-deskripsi di atas sebenarnya halaman. counter-argument (Carolyn Shelby) adalah itu llms.txt setidaknya poin untuk nyata URLs itu memiliki untuk deliver — ini adalah “a spotlight, tidak a wish list.” (terjemahan) “sebuah spotlight, tidak sebuah wish list.” Keduanya adalah right, dan practical hasil adalah yang sama: AI penelusuran sistem jangan lean pada ini.

Ketika ini adalah worth menambahkan — dan ketika untuk skip ini

tambahkan ini jika Anda jalankan developer documentation atau sebuah API reference milik siapa utama audience adalah AI coding agents (Claude Code, Cursor, Copilot, Codeium). itu’s gunakan case ini adalah dibangun untuk, dan ini berfungsi.

Skip ini — atau setidaknya jangan expect AI-visibilitas mengembalikan — untuk konten situs, media, ecommerce, dan ordinary business situs. cost adalah ~20 minutes; GEO benefit hari ini adalah near-zero; dan itu 20 minutes adalah better spent pada konten structure, FAQ coverage, dan AI penelusuran optimization fundamentals itu sebenarnya move AI visibilitas. tinggi adoption headlines (BuiltWith’s 844K+ figure) adalah inflated oleh platform auto-deployment — Mintlify rolled llms.txt out untuk semua -nya hosted docs situs di setelah. Adoption adalah tidak usage; 97% dari files mendapatkan zero permintaan.

security angle

ini adalah underreported dan nyata: karena AI agents adalah designed untuk trust apa di llms.txt, file adalah sebuah natural attack surface. Ahrefs study flagged buruk actors probing llms.txt files untuk prompt-injection vulnerabilities. jika Anda melakukan publish satu, treat ini sebagai security-sensitive: pertahankan ini di versi control, alert pada tidak terotorisasi perubahan, dan tidak pernah put apa pun di ini Anda tidak akan tampilkan publicly.

Implementing ini (jika Anda decide untuk)

  • Placement: /llms.txt di domain root, disajikan sebagai text/plain atau text/markdown, HTTP 200.
  • Curate, jangan dump: 20–50 dari Anda sebagian besar penting tautan. jika Anda list semuanya, sebuah model mungkin sebagai well crawl secara langsung — curation adalah entire poin.
  • Secara opsional sajikan /llms-full.txt untuk contexts itu ingin semua Anda konten.
  • Validate: muat file ke Claude, ChatGPT, atau Perplexity dan tanyakan ini untuk summarize Anda situs; lalu periksa server logs setelah sebuah sedikit weeks untuk nyata permintaan.
  • Generators exist untuk VitePress (vitepress-plugin-llms), Docusaurus (docusaurus-plugin-llms), WordPress (“Website LLMs.txt” (terjemahan) “situs web LLMs.txt”), Drupal, plus sebuah Python CLI (llms_txt2ctx).

intinya: rendah cost, saat ini near-zero GEO benefit, genuinely berguna untuk coding-agent gunakan case ini adalah born untuk. periksa Anda own server logs sebelum Anda decide — jika Anda’re seeing Claude-Code/Cursor traffic, llms.txt dapat help them; jika Anda’re chasing OAI-SearchBot dan PerplexityBot, ini tidak lever.

Tambahkan catatan pakar

Sematkan kutipan pakar

Orang baru? Buat profilnya yang belum diklaim di /admin/experts/ → Sematkan kutipan pakar terlebih dahulu.