اللغات

robots.txt Generator

Free, no signup. Set a simple default policy, choose the bot groups to block, then test representative URLs against the generated file before publishing it.

Built by Patrick Stox

Build your file

Select crawler groups to block. Search crawlers remain allowed unless you explicitly select them.

This non-standard directive is emitted only for Bingbot. Google does not process it; Bing documents 1–20 second values. It is omitted if you block Bingbot.

Open in robots.txt Tester

Runs entirely in your browser — nothing you paste is uploaded or stored. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Anonymous run-level outcome counters may be used for aggregate research; URLs, domains, IPs, and identifiers are never included, and no statistic is released below 100 runs.

Generated robots.txt

Blocking ≠ deindexing. A Disallow asks compliant crawlers not to fetch a URL; it does not remove a URL already known to a search engine.

Live match preview

Need a full bot × URL matrix? Open robots.txt Tester →

How to use it

  1. Choose which bot categories should not crawl the site.
  2. Add your absolute sitemap URL if you have one.
  3. Paste a few important URLs and a bot name to confirm the intended result.
  4. Copy the file to the site root as /robots.txt.

How it works

The output uses separate user-agent groups and Disallow: / rules, so the intention is easy to audit. It uses the same Google-style matcher as the robots.txt Tester, including longest-match-wins behavior.

What this generator does not do

robots.txt is not security, and it is not a deindexing tool. Do not list sensitive paths expecting them to stay secret; the file is public. Use access controls for private material and noindex for index removal.

Frequently asked questions

Does blocking a bot deindex my pages?

No. robots.txt controls crawling, not whether a URL remains indexed. Use a noindex directive on a crawlable page when you need a deindexing signal.

Will every crawler obey this file?

No. robots.txt is a public, voluntary crawl preference, not access control. Use authentication, a WAF, or rate limiting to protect private content.

Why do I need a Sitemap line?

It gives crawlers an explicit absolute URL for your XML sitemap. It is optional, but usually useful for discoverability.

Local data

Saved targets, named lists, and recent check summaries remain only in this browser.

Next steprobots.txt Tester — verify it with a direct check.

People also explore
ToolAI-Crawler Access CheckerToolLog File AnalyzerToolGooglebot VerifierArticleAI CrawlersArticleUser AgentArticlellms.txt

Feature requests for Robots Txt Generator

Upvote what you want most. New ideas can be submitted from the floating Feedback menu; requests appear here once approved, and the most-wanted rise to the top.

Loading…

➕ Request a feature

New requests are reviewed before they appear here.

Feedback
Report a bug

Found something broken in Robots Txt Generator? Let us know what happened — this goes straight to a private triage queue, not a public list.

What will be sent 
 No tool inputs, uploads, pasted source, complete results, query parameters, or URL fragments are attached automatically. You can edit or remove the selected passage above. Browser and anti-abuse metadata is processed for spam prevention. 
  
 
  
 
 
  
 
 
         
حول الأداة
بناء واحد مسح Robots.txt مع زاحف presets, حي Google-style عنوان URL مطابق, واحد خريطة الموقع سطر, و جاهز للنسخ مخرجات.
مجاني, من دون تسجيل. مجموعة واحد بسيط افتراضي سياسة, اختر ال bot مجموعات إلى حظر, ثم اختبار تمثيلي عناوين عنوان URL مقابل ال منشأ ملف قبل نشر إنه.
الميزات
  • مجمّع بحث, تدريب الذكاء الاصطناعي, مساعد, و archive-crawler presets.
  • حي Google-style عنوان URL مطابق مقابل عينة عناوين عنوان URL و واحد bot اسم.
  • اختياري مطلق خريطة الموقع عنوان URL و موثق Bingbot crawl-delay.
  • جاهز للنسخ Robots.txt مخرجات مع واحد تسليم إلى ال Robots.txt فاحص.
كيفية العمل
ال مخرجات يستخدم منفصل user-agent مجموعات و منع: / قواعد, لذلك ال intention هو سهل إلى تدقيق. إنه يستخدم ال نفس مطابق بأسلوب محرك Google باعتباره ال Robots.txt فاحص, بما في ذلك longest-match-wins سلوك.
القيود
  • Robots.txt هو ليس الأمان, و إنه هو ليس واحد deindexing الأداة. يفعل ليس قائمة sensitive مسارات expecting هم إلى يبقى سر; ال ملف هو عام. استخدم وصول ضوابط من أجل خاص مادة و Noindex من أجل فهرس إزالة.
الأسئلة الشائعة
يفعل حظر واحد bot deindex my صفحات?
لا. Robots.txt ضوابط زحف, ليس ما إذا واحد عنوان URL يبقى مفهرس. استخدم واحد Noindex توجيه على واحد قابل للزحف صفحة عندما أنت يحتاج واحد deindexing إشارة.
سوف كل زاحف obey هذا ملف?
لا. Robots.txt هو واحد عام, voluntary زحف تفضيل, ليس وصول ضابط. استخدم مصادقة, واحد WAF, أو معدل limiting إلى حماية خاص محتوى.
لماذا يفعل I يحتاج واحد خريطة الموقع سطر?
إنه gives زواحف واحد صريح مطلق عنوان URL من أجل الخاص بك XML خريطة الموقع. إنه هو اختياري, لكن عادةً مفيد من أجل discoverability.