robots.txt Generator
Free, no signup. Set a simple default policy, choose the bot groups to block, then test representative URLs against the generated file before publishing it.
Build your file
Select crawler groups to block. Search crawlers remain allowed unless you explicitly select them.
This non-standard directive is emitted only for Bingbot. Google does not process it; Bing documents 1–20 second values. It is omitted if you block Bingbot.
Runs entirely in your browser — nothing you paste is uploaded or stored. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Anonymous run-level outcome counters may be used for aggregate research; URLs, domains, IPs, and identifiers are never included, and no statistic is released below 100 runs.
Generated robots.txt
Blocking ≠ deindexing. A Disallow asks compliant crawlers not to fetch a URL; it does not remove a URL already known to a search engine.
Live match preview
Need a full bot × URL matrix? Open robots.txt Tester →How to use it
- Choose which bot categories should not crawl the site.
- Add your absolute sitemap URL if you have one.
- Paste a few important URLs and a bot name to confirm the intended result.
- Copy the file to the site root as
/robots.txt.
How it works
The output uses separate user-agent groups and Disallow: / rules, so the intention is easy to audit. It uses the same Google-style matcher as the robots.txt Tester, including longest-match-wins behavior.
What this generator does not do
robots.txt is not security, and it is not a deindexing tool. Do not list sensitive paths expecting them to stay secret; the file is public. Use access controls for private material and noindex for index removal.
Frequently asked questions
Does blocking a bot deindex my pages?
No. robots.txt controls crawling, not whether a URL remains indexed. Use a noindex directive on a crawlable page when you need a deindexing signal.
Will every crawler obey this file?
No. robots.txt is a public, voluntary crawl preference, not access control. Use authentication, a WAF, or rate limiting to protect private content.
Why do I need a Sitemap line?
It gives crawlers an explicit absolute URL for your XML sitemap. It is optional, but usually useful for discoverability.
Site passport Local context for this saved site
Local data
Saved targets, named lists, and recent check summaries remain only in this browser.
Rate this tool
Feature requests for Robots Txt Generator
Upvote what you want most. New ideas can be submitted from the floating Feedback menu; requests appear here once approved, and the most-wanted rise to the top.
You won't be emailed about that request anymore.
Loading…
➕ Request a feature
New requests are reviewed before they appear here.
Tentang alat
Tidak. robots.txt kontrol perayapan, tidak apakah URL tetap diindeks. Gunakan noindex direktif pada dapat dirayapi halaman ketika Anda perlu deindexing sinyal.
Pilih perayap groups untuk block. Pencarian perayap tetap diizinkan kecuali Anda secara eksplisit pilih mereka.
robots.txt tidak keamanan, dan ini tidak deindexing alat. tidak daftar sensitive jalur expecting mereka untuk stay secret; berkas adalah publik. Gunakan akses kontrol untuk privat material dan noindex untuk indeks removal.
Fitur
- Tidak. robots.txt adalah publik, voluntary rayapi preferensi, tidak akses kontrol. Gunakan authentication, WAF, atau nilai limiting untuk protect privat konten.
- Pilih yang bot kategori seharusnya tidak rayapi situs. Tambah Anda absolut sitemap URL jika Anda memiliki satu. Tempel sedikit penting URLs dan bot nama untuk konfirmasi dimaksud hasil. Salin berkas untuk situs root sebagai /robots.txt.
- Melakukan memblokir bot deindex my halaman?
- Bingbot rayapi-delay opsional, 1–20 seluruh seconds
- Ini memberikan perayap eksplisit absolut URL untuk Anda XML sitemap. Ini adalah opsional, tetapi biasanya berguna untuk discoverability.
Cara kerja
Apa ini generator tidak keluaran menggunakan terpisah pengguna-agen groups dan Larang: / aturan, so intention adalah mudah untuk audit. Ini menggunakan sama Google-style matcher sebagai robots.txt Penguji, termasuk longest-cocok-wins perilaku. Gratis, tanpa pendaftaran. Atur simple bawaan kebijakan, pilih bot groups untuk block, lalu uji perwakilan URLs terhadap dihasilkan berkas sebelum publishing ini. Mengapa I perlu Sitemap baris?
Batasan
- Bangun Anda berkas
- Ini non-standar direktif adalah dihasilkan hanya untuk Bingbot. Google tidak memproses ini; Bing documents 1–20 second nilai. Ini adalah dihilangkan jika Anda block Bingbot.
- Akan setiap perayap obey ini berkas?
- Bangun jelas robots.txt dengan perayap presets, langsung Google-style URL mencocokkan, sitemap baris, dan salin-ready keluaran.
Pertanyaan umum
Ini non-standar direktif adalah dihasilkan hanya untuk Bingbot. Google tidak memproses ini; Bing documents 1–20 second nilai. Ini adalah dihilangkan jika Anda block Bingbot.
Akan setiap perayap obey ini berkas?
Bangun jelas robots.txt dengan perayap presets, langsung Google-style URL mencocokkan, sitemap baris, dan salin-ready keluaran.
Apa ini generator tidak
keluaran menggunakan terpisah pengguna-agen groups dan Larang: / aturan, so intention adalah mudah untuk audit. Ini menggunakan sama Google-style matcher sebagai robots.txt Penguji, termasuk longest-cocok-wins perilaku.
Gratis, tanpa pendaftaran. Atur simple bawaan kebijakan, pilih bot groups untuk block, lalu uji perwakilan URLs terhadap dihasilkan berkas sebelum publishing ini.
Mengapa I perlu Sitemap baris?
Sitemap URL opsional