Generator robots.txt
Buat file Anda
Pilih kelompok perayap yang ingin diblokir. Perayap pencarian tetap diizinkan kecuali Anda memilihnya secara eksplisit.
Direktif nonstandar ini hanya disertakan untuk Bingbot. Google tidak memprosesnya; Bing mendokumentasikan nilai 1–20 detik. Direktif ini dihilangkan jika Anda memblokir Bingbot.
Berjalan sepenuhnya di browser Anda—tidak ada yang Anda tempel yang diunggah atau disimpan. Everything here, including matching and copy output, runs in your browser. Nothing is uploaded. Penghitung hasil anonim per proses dapat digunakan untuk riset agregat; URL, domain, IP, dan pengenal tidak pernah disertakan, dan statistik tidak dirilis jika jumlah proses kurang dari 100.
robots.txt yang dibuat
Memblokir ≠ menghapus dari indeks. Disallow meminta crawler yang mematuhinya agar tidak mengambil URL; ini tidak menghapus URL yang sudah diketahui mesin pencari.
Pratinjau pencocokan langsung
Perlu matriks lengkap bot × URL? Buka Penguji robots.txt →Tentang alat ini
Tidak. robots.txt kontrol perayapan, tidak apakah URL tetap diindeks. Gunakan noindex direktif pada dapat dirayapi halaman ketika Anda perlu deindexing sinyal.
Pilih perayap groups untuk block. Pencarian perayap tetap diizinkan kecuali Anda secara eksplisit pilih mereka.
robots.txt tidak keamanan, dan ini tidak deindexing alat. tidak daftar sensitive jalur expecting mereka untuk stay secret; berkas adalah publik. Gunakan akses kontrol untuk privat material dan noindex untuk indeks removal.
Fitur
- Tidak. robots.txt adalah publik, voluntary rayapi preferensi, tidak akses kontrol. Gunakan authentication, WAF, atau nilai limiting untuk protect privat konten.
- Pilih yang bot kategori seharusnya tidak rayapi situs. Tambah Anda absolut sitemap URL jika Anda memiliki satu. Tempel sedikit penting URLs dan bot nama untuk konfirmasi dimaksud hasil. Salin berkas untuk situs root sebagai /robots.txt.
- Melakukan memblokir bot deindex my halaman?
- Bingbot rayapi-delay opsional, 1–20 seluruh seconds
- Ini memberikan perayap eksplisit absolut URL untuk Anda XML sitemap. Ini adalah opsional, tetapi biasanya berguna untuk discoverability.
Cara kerja
Generator ini membuat grup User-agent terpisah dan aturan Allow: / serta Disallow: / sehingga maksud kebijakan mudah diaudit. Generator memakai pencocok bergaya Google yang sama seperti alat uji robots.txt, termasuk perilaku kecocokan terpanjang yang menang. Gratis, tanpa pendaftaran: atur kebijakan bawaan, pilih grup perayap yang akan diblokir, lalu uji URL perwakilan terhadap berkas yang dihasilkan sebelum menerbitkannya.
Batasan
- Bangun Anda berkas
- Ini non-standar direktif adalah dihasilkan hanya untuk Bingbot. Google tidak memproses ini; Bing documents 1–20 second nilai. Ini adalah dihilangkan jika Anda block Bingbot.
- Akan setiap perayap obey ini berkas?
- Bangun jelas robots.txt dengan perayap presets, langsung Google-style URL mencocokkan, sitemap baris, dan salin-ready keluaran.
Pertanyaan umum
Apakah memblokir perayap menghapus halaman saya dari indeks?
Tidak. robots.txt mengatur perayapan, bukan apakah URL tetap diindeks. Gunakan arahan noindex pada halaman yang dapat dirayapi ketika Anda memerlukan tanda penghapusan dari indeks.
Apakah setiap perayap mematuhi berkas ini?
Tidak. robots.txt adalah preferensi perayapan yang bersifat publik dan sukarela, bukan kontrol akses. Gunakan autentikasi, WAF, atau pembatasan laju untuk melindungi konten privat.
Mengapa saya memerlukan baris Sitemap?
Baris tersebut memberi crawler URL absolut yang jelas untuk sitemap XML Anda. Baris ini opsional, tetapi biasanya berguna untuk penemuan.
Masalah umum dan cara memperbaikinya
- Peringatan Kebijakan yang dibuat memblokir perayap AI pilihan Perbaikan: Hapus aturan Disallow untuk perayap AI yang dipilih, atau persempit hanya ke jalur yang harus tetap tidak tersedia bagi perayap tersebut.
- Peringatan Kebijakan yang dibuat memblokir perayap penelusuran Perbaikan: Hapus atau persempit aturan Disallow Googlebot/Bingbot agar halaman untuk penelusuran organik tetap dapat dirayapi.
- Peringatan Jalur yang sensitif belum dilarang Perbaikan: Tambahkan aturan Disallow yang tegas untuk jalur pengelola, pengujian, keranjang, atau pencarian internal yang tidak publik; lindungi data yang benar-benar sensitif dengan autentikasi, bukan robots.txt.
- Informasi Berkas yang dibuat tidak memiliki deklarasi sitemap Perbaikan: Tambahkan deklarasi absolut Sitemap: https://…/sitemap.xml yang menunjuk ke sitemap kanonis yang dapat diambil publik atau ke indeks sitemap.
- Peringatan Grup yang dibuat berisi aturan yang bertentangan Perbaikan: Gabungkan aturan untuk agen pengguna yang sama ke dalam satu grup dan selesaikan tumpang tindih jalur Izinkan/Disallow agar kebijakannya menyatakan satu maksud.