robots.txt Generator
Free, no signup. Set a simple default policy, choose the bot groups to block, then test representative URLs against the generated file before publishing it.
Build your file
Select crawler groups to block. Search crawlers remain allowed unless you explicitly select them.
This non-standard directive is emitted only for Bingbot. Google does not process it; Bing documents 1–20 second values. It is omitted if you block Bingbot.
Runs entirely in your browser — nothing you paste is uploaded or stored. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Anonymous run-level outcome counters may be used for aggregate research; URLs, domains, IPs, and identifiers are never included, and no statistic is released below 100 runs.
Generated robots.txt
Blocking ≠ deindexing. A Disallow asks compliant crawlers not to fetch a URL; it does not remove a URL already known to a search engine.
Live match preview
Need a full bot × URL matrix? Open robots.txt Tester →How to use it
- Choose which bot categories should not crawl the site.
- Add your absolute sitemap URL if you have one.
- Paste a few important URLs and a bot name to confirm the intended result.
- Copy the file to the site root as
/robots.txt.
How it works
The output uses separate user-agent groups and Disallow: / rules, so the intention is easy to audit. It uses the same Google-style matcher as the robots.txt Tester, including longest-match-wins behavior.
What this generator does not do
robots.txt is not security, and it is not a deindexing tool. Do not list sensitive paths expecting them to stay secret; the file is public. Use access controls for private material and noindex for index removal.
Frequently asked questions
Does blocking a bot deindex my pages?
No. robots.txt controls crawling, not whether a URL remains indexed. Use a noindex directive on a crawlable page when you need a deindexing signal.
Will every crawler obey this file?
No. robots.txt is a public, voluntary crawl preference, not access control. Use authentication, a WAF, or rate limiting to protect private content.
Why do I need a Sitemap line?
It gives crawlers an explicit absolute URL for your XML sitemap. It is optional, but usually useful for discoverability.
Site passport Local context for this saved site
Local data
Saved targets, named lists, and recent check summaries remain only in this browser.
Rate this tool
Feature requests for Robots Txt Generator
Upvote what you want most. New ideas can be submitted from the floating Feedback menu; requests appear here once approved, and the most-wanted rise to the top.
You won't be emailed about that request anymore.
Loading…
➕ Request a feature
New requests are reviewed before they appear here.
Araç hakkında
Arama, AI eğitim, asistan ve arşiv tarayıcısı gruplarını içeren kopyalanmaya hazır bir robots.txt oluşturun; isteğe bağlı belgelenmiş Bingbot crawl-delay ekleyin ve örnek URL'lerle Google tarzı eşleştirmede bir botu test edin.
Ücretsizdir ve kayıt gerektirmez. Basit bir varsayılan politika seçin, engellenecek bot gruplarını belirleyin ve üretmeden önce temsilî URL'lerde dosyayı test edin.
Özellikler
- Ayrı kullanıcı-aracısı gruplarıyla arama, AI, asistan ve arşiv tarayıcısı ön ayarları.
- Canlı Google tarzı en uzun eşleşme kuralıyla URL sonucu test etme.
- İsteğe bağlı mutlak XML sitemap URL'si ve belgelenmiş Bingbot crawl-delay.
- Basit politikanın doğrudan kopyalanmaya hazır robots.txt çıktısı.
- Yayınlamadan önce örnek bot ve URL'lerle bulgu doğrulama akışı.
Nasıl çalışır
Varsayılan politikayı seçin ve taranmaması gereken bot kategorilerini işaretleyin. Varsa mutlak sitemap URL'sini ekleyin. Birkaç önemli URL ile bot adı girip beklenen sonucu test edin; ayrı kullanıcı-aracısı gruplarını, Disallow: / satırlarını ve en uzun eşleşme davranışını denetleyin. Dosyayı site köküne /robots.txt olarak kopyalayın; özel içerik ve noindex ihtiyaçları için ayrıca erişim kontrolü veya noindex kullanın.
Sınırlamalar
- robots.txt güvenlik veya erişim kontrolü değildir; dosya herkese açıktır ve gönüllü bir tarama tercihidir. Hassas yolları gizlemek için listelemeyin; özel içerik için kimlik doğrulama, WAF veya hız sınırlaması kullanın.
- Dosya taramayı yönlendirir, URL'nin dizinden çıkarılmasını sağlamaz. Google crawler'ları seçilmedikçe izinli kalır; Bingbot crawl-delay yalnızca Bingbot için gönderilir ve Google tarafından işlenmez.
Sık sorulan sorular
Bir botu engellemek sayfalarımı dizinden çıkarır mı?
Hayır. robots.txt taramayı kontrol eder, URL'nin dizinde kalıp kalmadığını değil. Dizinden çıkarma sinyali gerektiğinde taranabilir sayfada noindex yönergesi kullanın.
Sitemap satırına neden ihtiyacım var?
Tarayıcılara XML sitemap'inizin mutlak URL'sini verir. İsteğe bağlıdır ancak keşfedilebilirlik için genellikle yararlıdır; sitemap yayınlamaz veya doğrulamaz.
Her tarayıcı bu dosyaya uyar mı?
Hayır. robots.txt herkese açık ve gönüllü bir tarama tercihidir, erişim kontrolü değildir. Özel içeriği authentication, WAF veya rate limiting ile koruyun.
Bingbot crawl-delay nasıl çalışır?
Bu standart dışı yönerge yalnızca Bingbot için oluşturulur. Google işlemez; 1–20 tam saniye aralığındaki değerler belgelenmişse gönderilir ve Bingbot'u engellerseniz satır çıkarılır.
robots.txt dosyasındaki yolları gizli tutabilir miyim?
Hayır. Dosya herkese açıktır ve listelenen yolları görünür kılar. Gizli içerik için kimlik doğrulama veya erişim kontrolü kullanın; dizinden çıkarma için crawl edilebilir sayfaya noindex ekleyin.