言語

llms.txt ファイル

llms.txtは、AIシステムを導くための提案されたMarkdownファイル（/llms.txt）です。Googleはこれを無視し、ファイルの97%はリクエストがゼロで、実際に読むのはClaude Codeです。

初回公開：2026年6月24日 · 最終更新：2026年8月20日 · Advanced
言語
AI執筆者：AI v2
このページには証拠シグナルが1件あります

llms.txtは、Jeremy Howard（Answer.AI）による提案で、AIエージェントがサイトをナビゲートするのを助けるためのものです。公開されたファイルの97%はリクエストがゼロで、Googleは無視し、主な利用者は検索ボットではなくClaude Codeです。

仕様は、自発的な LLM 向けサイト概要を説明していますが、クローラーの準拠やインデックス動作を確立するものではありません。 Evidence for this claim llms.txt is a community proposal for a Markdown file at /llms.txt that offers LLM-friendly site information; it is not a web standard. Scope: The proposal's own specification and stated purpose. Confidence: high · Verified: llms.txt proposal OpenAI は現在、名前付きボットと独立した robots.txt 設定を文書化しています。 Evidence for this claim OpenAI documents robots.txt controls for its declared crawlers and does not list llms.txt as a crawler control. Scope: OpenAI's published crawler controls; absence is not proof that no internal system ever fetches the file. Confidence: high · Verified: OpenAI: Crawlers

TL;DR — llms.txt は 提案（Jeremy Howard、Answer.AI、2024年9月3日）であり、 採用された標準ではありません。これは /llms.txt にあるキュレーションされた Markdown インデックスで、 オプションで全コンテンツを含む /llms-full.txt もあります。AI検索のためにこれを読んでくれると人々が期待するボット — OAI-SearchBot、PerplexityBot — はほとんど利用しておらず、 主要な利用者は Claude Code やその他のコーディングエージェントです。Google はこれを無視しています（Illyes が確認済み、Mueller は keywords メタタグに例えました）。Ahrefs の137 000サイト調査では、97%のファイルがゼロリクエストで、SE Ranking は引用モデルから llms.txt を 削除 すると精度が 向上 することを発見しました。コーディングエージェントが利用する開発者向けドキュメントには追加する価値がありますが、通常のサイトの GEO/AEO に関しては、データはそれを支持していません。また、実際のプロンプトインジェクションのリスクもあります。

llms.txt が実際に何であるか

llms.txt は 提案 です — この言葉を最初に述べたいのは、それがすべてを物語っているからです。RFC も、W3C の承認も、IETF のプロセスもありません。これは、2024年9月3日に公開された Jeremy Howard（Answer.AI と fast.ai の共同創設者）による、よく考え抜かれた一つの提案であり、開発者向けドキュメントの世界で強く支持され、AI可視性の近道を求めるコミュニティによって SEO に移植されました。

それが対象とする設計上の問題は正当です。仕様書が述べるように、“Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety.” (日本語訳) 「大規模言語モデルはウェブサイトの情報への依存を強めていますが、重大な制約があります。コンテキストウィンドウが小さすぎて、大半のウェブサイトを全体として処理できません。」 そして、HTML をクリーンで LLM に適したテキストに変換することは、仕様書の言葉を借りれば「困難で不正確」です。Howard の解決策は、サイトの作成者がモデルに見せたいコンテンツを、キュレーションされた Markdown にあらかじめフラット化できるようにすることです。

形式

/llms.txt は順序付けられた Markdown ドキュメントです：

  1. H1（必須）— プロジェクト名またはサイト名。
  2. 引用ブロック — 重要な情報をまとめた短い要約。
  3. 任意の本文やリスト — 段落または箇条書き。ただし、ここには見出しを置きません。
  4. H2 ごとのリンクリスト — - [name](url): optional notes。
  5. ## Optional セクション — コンテキストが限られるときにモデルが省略できる補足リンク。

仕様書からの最小限の例：

# FastHTML

> FastHTML is a python library which brings together Starlette, Uvicorn, HTMX,
> and fastcore's FT...

## Docs

- [FastHTML quick start](url): A brief overview of many features

## Optional

- [Starlette documentation](url): A subset useful for FastHTML development.

2つの付随する慣例があります：

  • /llms-full.txt — サイト全体のコンテンツを1つの Markdown ファイルにフラット化したもの。 Anthropic、Perplexity、Stripe は、この短い形式と両方を公開しています。
  • .md URL の慣例 — 個々のページの page.md バージョンを提供し、完全なダンプなしで LLM 対応にします。

新しいバリアントは静的ファイルを完全にスキップします：コンテンツネゴシエーションによるエッジ配信の Markdown。 Cloudflare の Markdown for Agents は、クライアントが Accept: text/markdown を送信すると、任意の HTML ページをその場でクリーンな Markdown に変換します — ページごとの .md ファイルも、再生成する /llms-full.txt も、テンプレートの変更も不要です。CDN がエッジで変換を行うためです（Cloudflare はエージェントのトークンを約80%削減すると述べています）。これは有料機能です — Pro プラン以上で、無料ティアではありません — そのため、このサイトでは、私が手作りしたものではなく、Cloudflare のアップグレード1つでオンにできる状態です。オンにする 価値 があるかどうかは、llms.txt 自体に付きまとう同じ未解決の疑問です：クローラーにすべてのページの並行した Markdown コピーを提供することは便利ですが、同期を保つ別の表現であり、Bing の Fabrice Canel は、エッジ配信の代替コンテンツによるクロール負荷の倍増とクローキングに近いリスクを指摘しています。切り替える前に、ログで実際のエージェント需要を確認してください。

llms.txt と robots.txt — これらは同じものではありません

最も一般的な誤解は、llms.txt が「AI のための robots.txt」であるということです。それは違います。この2つを混同すると、誤った判断につながります。

robots.txtllms.txt
目的アクセス制御 — クローラーが取得できるものコンテンツのガイダンス — 役立つ読み物
形式ディレクティブ（User-agent:、Disallow:）Markdownリンク＋説明
強制される？はい、準拠するクローラーによるいいえ — 助言のみ
タイミングクロール時、取得前推論時、コンテキスト組み立て時
標準？はい、数十年の歴史があり、普遍的いいえ — 提案
ブロックできる？はいいいえ

robots.txtは実際に強制される標準です。llms.txtは、ほとんどのシステムがまだ読んでいない提案箱です。AIクローラーのアクセスを制御したい場合 — これは別の正当な目標ですが — それは robots.txtとAIクローラー にあり、ここではありません。

実際に誰が読んでいるのか

ここが重要なセクションです。なぜなら、データが誇大広告から最も乖離している場所だからです。Ahrefsの137 210ドメインを対象とした調査（2026年5月のトラフィック）によると：

  • 公開されたllms.txtファイルの97%がゼロリクエストでした。 約3%（約 1 100ドメイン）だけが何らかのトラフィックを見ました。
  • 実際にリクエストされたファイルのうち：リクエストの96%はボットから、4%は 人間からでした。
  • ボットリクエストのうち、77%は非AIツールから — SEO監査ツール（Ahrefs 自身も含む）、匿名クローラー、技術プロファイリングボット。SEOの皮肉は 自ずと明らかです。
  • AIツールからのリクエストは約19,5%のみで、さらに分解するとGEO理論にとって 悪化します：
    • AIエージェント＆インフラ（コーディングエージェント）：約10,5%
    • トレーニングクローラー（GPTBotが4,51%でトップ）：約5,3%
    • AIアシスタント：約2,5%
    • AI検索ボット — 引用インデックスを構築するもの：1,1%。

最後の行を二度読んでください。ほとんどの人がllms.txtを追加する目的のボット — OAI-SearchBot、PerplexityBot — は「かろうじて記録された」だけでした。主要なAI消費者は Claude Code、Anthropicのコーディングエージェントで、調査によると「すべての AI検索ボット、アシスタント、トレーニングクローラーをGPTBotを除いて上回って 取得しました」。そしてGPTBotは、何であれすべてをクロールするトレーニング クローラーです — その存在は意図的なllms.txt解析の証拠ではありません。

他の独立した測定も同じ結論です。OtterlyAIが1サイトを90日間監視したところ、62 100件を超えるAIボット訪問のうち、84件が /llms.txt にアクセスしました。約0,1%で、「平均的なページより3倍悪い」結果です。別の分析では、90日間に5億1 500万件を超えるLLMボット通信があったにもかかわらず、/llms.txt を対象としたリクエストは合計408件で、「統計的に無視できる」とされました。

要点は、開発者ドキュメントとGEOの分裂です：llms.txtはHowardが構築した目的 （APIドキュメントをナビゲートするコーディングエージェント）には機能し、 SEOコミュニティが到達させたい検索引用ボットにはほとんど触れられていません。

プロバイダーが述べたこと

Google — いいえ、そして計画もありません。 Gary IllyesはSearch Central Live（2025年 7月）で、Googleはllms.txtをサポートしておらず、計画もないと確認しました。 最も引用される声であるJohn Muellerは、これをキーワードmetaタグ（2025年4月）に例え、 AIコーディングツールにとっての「一時的な支え、おそらくトークンを節約するためのもの」 と呼びました — 明示的に検索可視性メカニズムではないと。Googleの2026年5月のガイダンスでは、 llms.txtのような機械可読ファイルはAI OverviewsやAI Modeに必要ではなく、 それらは「従来のSEOシグナルに依存し続ける」と述べられました。（Googleは2025年12月3日に 開発者ドキュメントにllms.txtを一時的に公開しましたが、同日に削除しました — 後に CMSアップデートによるもので、戦略転換ではないとされました。）

OpenAI — 何もありません。 ChatGPT、GPTBot、またはOAI-SearchBotがそれを解析するという 発表はありません。サーバーログは意味のある使用と矛盾しています。OAI-SearchBotは 「かろうじて記録された」だけでした。OpenAIはクローラー制御についてrobots.txtを 指し示しています。

Anthropic — 注目すべき事例。 Anthropic は llms.txt と llms-full.txt の両方を docs.anthropic.com/llms.txt で公開しています。また、Claude Code が他サイトの llms.txt を実際に取得することも確認されており、調査データでは最大のAI利用者です。ただし、これはコーディングツールの話です。Claude.ai の検索・引用レイヤーが llms.txt に従うという確認はありません。「Anthropic のコーディングエージェントが読む」ことと「Anthropic の検索インデックスが信頼する」ことは別の主張であり、裏付けがあるのは前者だけです。

Perplexity — 主張はあるが、データはほとんど使われていないことを示す。 Perplexity は llms.txt を取得し、「ページ選択を優先する」ために使用すると述べています。しかし、問題はプロアクティブな取得です。リクエストデータでは PerplexityBot は「ほとんど記録されておらず」、PerplexityBot が llms.txt ファイルをプロアクティブに要求する「アクティビティはほぼゼロ」です。llms.txt の URL を Perplexity に貼り付けると正常に読み取りますが、自律的でプロアクティブな使用がポリシーと実践の間のギャップです。

Bing/Microsoft、Apple、Meta — 公式の立場なし。 未確認として扱ってください。

AI の引用に影響するか？

実証された効果はありません。SE Ranking は300 000ドメインを XGBoost 回帰と SHAP で分析し、モデルから llms.txt を除くと精度が向上することを確認しました。結論は “LLMs.txt doesn’t seem to directly impact AI citation frequency. At least not yet.” (日本語訳: 「LLMs.txt がAIの引用頻度に直接影響しているようには見えない。少なくとも現時点では」) というものです。Search Engine Land が10サイトを180日間追跡した調査では、8サイトに測定可能な変化がなく、残る2サイトにもPR掲載、新しいFAQページ、技術修正という交絡要因がありました。llms.txt だけの効果とは切り分けられません。

メタキーワードとの比較 — 公平か？

Mueller のキーワードメタタグの類推は、重要な点で成り立ちます。両方ともサイト所有者の自己記述であり、どちらも検証されておらず、どちらもゲーミング/クローキングに対して開かれています — llms.txt で一つのことを示し、ページでは別のことを示すことができます。その操作可能性こそが、真面目な AI 検索製品が実際のページよりも自己記述を信頼しない理由です。反論（Carolyn Shelby）は、llms.txt は少なくとも 配信しなければならない実際の URL を指している — 「願望リストではなくスポットライト」であるというものです。両方とも正しく、実際の結果は同じです。AI 検索システムはそれに依存していません。

追加する価値がある場合 — そしてスキップすべき場合

追加する — 開発者向けドキュメントや API リファレンスを運営しており、主な対象読者が AI コーディングエージェント（Claude Code、Cursor、Copilot、Codeium）である場合。それがこのファイルが作られたユースケースであり、機能します。

スキップする — または少なくとも AI 可視性への効果を期待しない — コンテンツサイト、メディア、Eコマース、一般的なビジネスサイトの場合。コストは約 20 分です。今日の GEO の効果はほぼゼロです。その 20 分は、コンテンツ構造、FAQ カバレッジ、そして実際に AI の可視性を動かす AI 検索最適化 の基本に費やす方が良いでしょう。高い導入率の見出し（BuiltWith の 84 万以上の数字）は、プラットフォームの自動デプロイによって水増しされています — Mintlify はホストされているすべてのドキュメントサイトに llms.txt を一度に展開しました。導入は使用ではありません。ファイルの 97% はリクエストがゼロです。

セキュリティの観点

これは過小報告されており、現実的です。AI エージェントは llms.txt の内容を 信頼するように設計されている ため、このファイルは自然な攻撃対象です。Ahrefs の調査では、悪意のある行為者が プロンプトインジェクション の脆弱性を探して llms.txt ファイルを調べていることが指摘されました。公開する場合は、セキュリティ上重要として扱ってください。バージョン管理に保持し、不正な変更を警告し、公に公開したくないものは絶対に含めないでください。

実装する場合（実装すると決めたら）

  • 配置: /llms.txt をドメインルートに置き、text/plain または text/markdown として配信し、HTTP 200 を返します。
  • 精選する、ダンプしない: 最も重要なリンクを20〜50個に絞ります。すべてを列挙すると、モデルが直接クロールするのと同じになり、精選こそが要点です。
  • 必要に応じて /llms-full.txt を提供 し、すべてのコンテンツを必要とするコンテキストに対応します。
  • 検証: ファイルを Claude、ChatGPT、Perplexity に読み込ませ、サイトの要約を依頼します。数週間後にサーバーログを確認し、実際のリクエストを確認します。
  • ジェネレーターが存在します: VitePress (vitepress-plugin-llms)、Docusaurus (docusaurus-plugin-llms)、WordPress (“Website LLMs.txt”)、Drupal、さらに Python CLI (llms_txt2ctx) があります。

結論: 低コスト、現時点ではGEO効果はほぼゼロ、生まれた目的であるコーディングエージェントのユースケースには真に有用です。決定する前に自分のサーバーログを確認してください — Claude-Code/Cursor のトラフィックが見られるなら、llms.txt は役立つかもしれません。OAI-SearchBot や PerplexityBot を追っているなら、それはレバーではありません。

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.