مولّد ومدقّق llms.txt

Free, no signup. Build a clean llms.txt that points LLMs at your key pages, or paste one you already have and check that it's well-formed.

llms.txt structural rubric
CheckStatus when healthy
H1 One site-name H1
Summary A short blockquote is recommended
Links Grouped, absolute HTTPS URLs
Size Keep the map concise (under ~20 KiB)

Source: llmstxt.org proposal; not a crawler-consumption guarantee

Heads up: llms.txt is a community proposal (llmstxt.org), not an official standard. No major AI crawler is documented to read it today. Treat it as low-effort, low-risk housekeeping — not a ranking lever. If you want to influence what AI systems can access, that's robots.txt and your on-page content, not this file. More on how AI crawlers actually work →
Want evidence instead of assumptions?

Upload your own access log to the Log File Analyzer. Its browser-local /llms.txt report distinguishes verified AI crawler requests, unverifiable crawler claims, spoofed claims, other traffic, and no observation in the supplied period. A request is retrieval evidence only—not proof of rankings, citations, or broad provider adoption.

The Optional section (a crawler may skip it) is emitted last automatically — just name a section “Optional”.

Output — llms.txt

يعمل بالكامل في متصفحك — لا يُرفع أو يُخزّن أي شيء تلصقه. قد تُستخدم عدادات النتائج المجهولة على مستوى التشغيل لأغراض البحث التجميعي؛ ولا تتضمن أبدًا عناوين URL أو النطاقات أو عناوين IP أو المعرّفات، ولا تُنشر أي إحصائية لأقل من 100 عملية تشغيل.

Where this is heading: serving Markdown to LLMs

Looking ahead — not something to do today. llms.txt and per-page Markdown are proposals no major AI crawler is documented to consume yet.

llms.txt is a directory — one file pointing at your key pages. The more interesting idea, once AI clients adopt it, is content negotiation: same URL, two representations. Serve HTML to browsers and a clean Markdown rendering to LLM clients, and decide which at the edge.

A Cloudflare Worker picks the representation from the request — either Accept: text/markdown or a known AI user-agent — and emits Vary: Accept (or Vary: User-Agent) so shared caches don't hand the wrong variant to the wrong client.

It's exactly the move behind this site's hybrid /robots.txt — same bytes, only the Content-Type label negotiated — just extended to actual content, and to a real body difference rather than only a header.

حول هذه الأداة

أنشئ ملف llms.txt منظمًا يوجّه نماذج LLM إلى صفحاتك الأساسية، أو ألصق ملفًا موجودًا وتحقق من بنيته — مجانًا وبصدق: فهو ليس معيارًا رسميًا بعد.

الميزات

  • مولّد قائم على نموذج لإضافة الأقسام وصفوف الروابط أو حذفها، مع معاينة مباشرة والتحقق من الصحة أثناء الكتابة.
  • املأه مسبقًا من sitemap.xml: ارفع خريطة موقع لتجميع عناوين URL وفق أول مقطع من المسار في أقسام جاهزة للتحرير.
  • يتعامل تلقائيًا مع قسم `Optional` ويصدره دائمًا في النهاية.
  • انسخ الملف ونزّله وشارك رابطًا يضم المسودة في جزء من عنوان URL (مضغوطًا ولا يُرسل إلى أي مكان).

كيفية العمل

يعمل المحرك (src/lib/tools/llms-txt.ts) بالكامل بـ TypeScript من دون DOM أو استدعاءات شبكة، لذلك تتم عمليات الإنشاء واللصق محليًا في متصفحك ولا تغادر المسودة الصفحة. يقرأ المدقق الملف سطرًا سطرًا: يتعرف على عنوان #، واقتباس > للملخص، وعناوين أقسام ##، وعناصر قوائم روابط Markdown، ويتجاوز كتل الشيفرة المحاطة بـ``` حتى لا يخطئ في قراءتها كتوجيهات. ثم يجري فحوصًا على مستوى الملف للعناوين والملخص والروابط المطلقة وHTTPS والحجم، ويجمع النتائج في مستويات خطأ/تحذير/معلومات. الاستدعاء الوحيد للخادم هو جلب llms.txt بعنوان URL: لا تستطيع المتصفحات الجلب عبر المصادر بسبب CORS، لذلك يطلب وكيل SSRF محمي ومخزن مؤقتًا (/api/llms-fetch) ذلك المسار المحدد فقط، ولا شيء آخر من النطاق، ثم يعيد النص للتحقق.

القيود

  • يتحقق المدقق من بنية الملف وفق اقتراح llms.txt، لكنه لا يستطيع إخبارك إن كان أي زاحف للذكاء الاصطناعي يقرؤه؛ فلا توجد طريقة موثقة لذلك. ويتحقق من بنية الروابط (مطلقة، HTTPS، Markdown سليمة) لكنه لا يزحف إليها لتأكيد أنها تعمل أو تعيد المحتوى الذي تصفه. كما أن الملء المسبق من sitemap.xml نقطة بداية لا خطوة تنسيق نهائية؛ اجعل llms.txt خريطة موجزة للصفحات المهمة، لا نسخة أكبر من محتواك. ولا يضمن ظهورًا في الذكاء الاصطناعي: ما يمكن لأنظمة الذكاء الاصطناعي الوصول إليه تحكمه robots.txt ومحتوى الصفحة.
  • إنشاء الملف من sitemap.xml نقطة بداية لا خطوة تنسيق نهائية؛ اجعل llms.txt خريطة موجزة للصفحات المهمة، لا نسخة أكبر من محتواك.
  • لا يضمن الملف ظهورًا في الذكاء الاصطناعي: ما يمكن لأنظمة الذكاء الاصطناعي الوصول إليه تحكمه robots.txt ومحتوى الصفحة.

الأسئلة الشائعة

هل تقرأ زواحف AI ملف llms.txt فعلًا؟

لا توجد طريقة موثقة لذلك. llms.txt مقترح مجتمعي من llmstxt.org وليس معيارًا رسميًا، ولم يعلن أي زاحف AI رئيسي من OpenAI أو Google أو Anthropic أو Perplexity دعمه. تعامل معه كتنظيم منخفض الجهد والمخاطر لخريطة أفضل صفحاتك، لا عامل ترتيب. ما تستطيع أنظمة AI الوصول إليه تحكمه robots.txt ومحتوى الصفحة.

ماذا يوضع في ملف llms.txt؟

يبدأ الملف بعنوان H1 مطلوب بصيغة `# ` ويحمل اسم الموقع، يليه ملخص من سطر واحد بصيغة `> `، ثم عناوين أقسام بصيغة `## ` مثل `Docs` و`Guides` و`Blog`، يحتوي كل منها على عناصر روابط `Markdown` بالصيغة `- [title](url): optional notes`. يحتفظ قسم `## Optional` بالروابط التي قد يتخطاها الزاحف. ينبغي أن يكون كل عنوان `URL` مطلقًا يبدأ بـ`https://` ويمكن لـ`LLM` جلبه مباشرة.

أين يوضع ملف llms.txt في موقعي؟

في جذر النطاق عند https://site.example/llms.txt، وفق اتفاقية الموقع نفسها لـrobots.txt. يستطيع المدقق جلب هذا المسار لأي نطاق عبر وكيل صغير في الخادم لأن المتصفحات لا تجلب عبر المصادر، مما يسمح بفحص ملف مباشر من دون لصقه.

ماذا يفحص المدقق؟

يفحص شكل الملف مقابل المقترح، لا ما إذا كان أحد يقرأه. يعلّم غياب عنوان H1 كخطأ، وغياب الملخص كتحذير، وعناوين الروابط المشوهة أو النسبية، وروابط http://، والعناوين المكررة، والروابط السابقة لأي قسم، وعناوين "### " العميقة غير التابعة للبنية، والروابط خارج الموقع، والملفات التي لم تعد خريطة موجزة. ولا يضمن استهلاك أي نظام AI للملف.

ما الحجم المناسب لـllms.txt؟

صغير. إنه دليل روابط لا نسخة من المحتوى. يرفع المدقق ملاحظة معلوماتية بعد نحو 20 KiB لأن الملف غالبًا يتوقف عندها عن كونه خريطة موجزة ويبدأ بتكرار الصفحات. ولتقديم محتوى كامل ونظيف إلى LLM، استخدم Markdown لكل صفحة والتفاوض على المحتوى، لا ملف llms.txt أكبر.

الخطوة التاليةمقدّر حجم البحث بالذكاء الاصطناعي — score it against a calibrated model. الإرشادات متاحة باللغة الإنجليزية.