Bahasa

Penguji robots.txt

1. robots.txt
2. Halaman yang akan diuji
3. Bot

Data contoh — ganti dengan data Anda sendiri

Berjalan sepenuhnya di browser Anda—tidak ada yang Anda tempel yang diunggah atau disimpan. The server is only used to fetch a site's robots.txt or sitemap (browsers can't — no CORS). Penghitung hasil anonim per proses dapat digunakan untuk riset agregat; URL, domain, IP, dan pengenal tidak pernah disertakan, dan statistik tidak dirilis jika jumlah proses kurang dari 100.

Masukan
Laporkan bug

Ada yang rusak di Penguji robots.txt? Beri tahu kami apa yang terjadi—laporan ini langsung masuk ke antrean triase privat, bukan daftar publik.

Yang akan dikirim 
 Input alat, unggahan, sumber yang ditempel, hasil lengkap, parameter kueri, dan fragmen URL tidak dilampirkan secara otomatis. Anda dapat mengedit atau menghapus kutipan yang dipilih di atas. Metadata browser dan antipenyalahgunaan diproses untuk mencegah spam. 
  
 
  
 
 
  
 
 
   
      
 
       
     
        
 
     
    
    
 
Tentang alat ini
Uji kumpulan URL terhadap robots.txt dengan matcher yang mengikuti perilaku parser robots.txt sumber terbuka Google. Matriks menunjukkan apakah setiap URL diizinkan atau diblokir, aturan yang menang, dan alasan keputusan. Anda juga dapat melint lint berkas, membandingkan sitemap, membandingkan perubahan yang diusulkan, serta mengambil robots.txt langsung per origin.
Fitur
  • Matcher robots.txt dengan aturan Allow/Disallow dan urutan yang benar.
  • Matriks keputusan untuk banyak URL dan user-agent.
  • Lint untuk kesalahan umum robots.txt dan konflik dengan sitemap.
  • Mode perbandingan untuk perubahan robots.txt yang diusulkan.
  • Pengambilan robots.txt langsung per origin dengan hasil yang dapat ditinjau.
Cara kerja
Parser membaca grup user-agent, aturan Allow dan Disallow, wildcard, serta akhir grup sesuai sintaks robots.txt. Untuk setiap URL, aturan yang paling spesifik menentukan hasil; ketika panjangnya sama, Allow mengalahkan Disallow. Hasil lint dan matriks mempertahankan aturan pemenang agar keputusan dapat diverifikasi, bukan sekadar label blokir.
Batasan
  • Penguji ini menilai berkas dan respons yang dapat diamati; ia tidak menjamin keputusan perayapan atau pengindeksan Google. Respons dapat berbeda menurut origin, user-agent, wilayah, cache, atau waktu pengambilan. Direktif noindex bukan pengganti robots.txt dan harus dinilai terpisah.
Pertanyaan umum
Pertanyaan: Apakah robots.txt mencegah halaman diindeks?
Jawaban: Tidak. Disallow memblokir perayapan, bukan pengindeksan. Jika halaman lain menautkan ke URL yang tidak boleh di-crawl, Google masih dapat mengindeksnya, biasanya tanpa cuplikan. Agar halaman tidak masuk indeks, izinkan perayapan lalu tambahkan tag meta noindex atau header X-Robots-Tag. Artinya, Anda tidak boleh sekaligus memblokirnya, karena Google tidak akan pernah melihat noindex tersebut.
Apakah urutan aturan dalam robots.txt berpengaruh?
Tidak bagi Google. Google menerapkan aturan yang paling spesifik, yaitu jalur cocok yang paling panjang, tanpa memandang posisinya di dalam berkas. Karena itu, Allow dapat mengesampingkan Disallow yang lebih awal. Alat ini mencocokkan dengan cara yang sama. Sebagian crawler lain menggunakan aturan pertama yang cocok, jadi buatlah aturan yang tidak ambigu.
Apa perbedaan antara Disallow dan noindex?
Disallow dalam robots.txt memberi tahu crawler agar tidak mengambil URL. noindex, berupa tag meta atau header HTTP pada halaman, memberi tahu crawler agar tidak menyimpannya di indeks. Keduanya menyelesaikan masalah yang berbeda, dan menggabungkannya justru berbalik merugikan: halaman yang diblokir tidak pernah diambil, sehingga noindex tidak pernah terlihat.
Apakah memblokir CSS atau JavaScript di robots.txt merugikan SEO?
Bisa. Google merender halaman untuk memahaminya. Jika Google tidak dapat mengambil CSS dan JS yang diperlukan halaman, Google mungkin salah menilai tata letak, konten, atau keramahan selulernya. Izinkan sumber daya yang diperlukan untuk merender halaman dan blokir hanya jalur yang benar-benar tidak penting.
Pertanyaan: Bagaimana cara memblokir perayap AI dengan robots.txt?
Jawaban: Tambahkan grup user-agent untuk setiap robot AI, seperti GPTBot, Google-Extended, ClaudeBot, CCBot, dan PerplexityBot, dengan Disallow: /. Gunakan tombol pemeriksaan perayap AI untuk memuat robot-robot tersebut dan memastikan aturan Anda cocok. Perhatikan bahwa kepatuhan terhadap robots.txt bersifat sukarela; robot tepercaya menghormatinya, tetapi robots.txt bukan kontrol akses.
 
Langkah berikutnyaGenerator robots.txt — generate a replacement robots.txt with the directives you meant to ship.
Panduan tersedia dalam bahasa Inggris.
Orang lain juga menjelajahi
AlatGenerator robots.txtAlatPenganalisis Berkas LogAlatPemeriksa Perayap AI
       
 
Masalah umum dan cara memperbaikinya
 
     
  •  Peringatan Hasil pengujian robots.txt: Direktif adalah salah eja Perbaikan: Perbaiki ejaan direktif ke nama yang didukung agar crawler tidak mengabaikannya. 
  •  Peringatan Tidak didukung noindex direktif adalah digunakan Perbaikan: Hapus noindex dari robots.txt dan gunakan meta robots tag atau X-Robots-Tag pada dapat dirayapi URLs alih-alih. 
  •  Informasi Hasil pengujian robots.txt: Crawl-delay diabaikan oleh Google Perbaikan: Hapus Crawl-delay untuk Google dan atur laju perayapan Googlebot melalui Search Console atau kontrol kapasitas server. 
  •  Kesalahan Hasil pengujian robots.txt: Hasil pengujian robots.txt: Aturan tampak sebelum apa pun pengguna-agen kelompokkan (user-agent) Perbaikan: Hasil pengujian robots.txt: Hasil pengujian robots.txt: pindahkan aturan di bawah Pengguna-agen baris untuk perayap kelompokkan yang seharusnya terapkan ini. (User-agent) 
  •  Peringatan Hasil pengujian robots.txt: Baris tidak memiliki titik dua pemisah Perbaikan: Tambahkan titik dua yang hilang antara nama direktif dan nilainya agar parser dapat membaca baris tersebut. 
  •  Informasi Tidak diketahui direktif adalah diabaikan Perbaikan: Hasil pengujian robots.txt: Hapus tidak standar direktif atau ganti ini dengan didukung robots.txt direktif yang menyatakan dimaksud rayapi aturan. 
  •  Informasi Perayap kelompokkan berisi tidak ada aturan Perbaikan: Hasil pengujian robots.txt: Hasil pengujian robots.txt: Tambahkan aturan Izinkan atau Disallow yang dimaksud ke grup ini, atau hapus grup agar perayap dapat jatuh ke grup pola bebas. (Allow) 
  •  Kesalahan Aturan Pola dapat tidak pernah cocok Perbaikan: Mulai pola jalur dengan / atau * agar pencocokan dapat dimulai dari awal jalur URL. 
  •  Peringatan Hasil pengujian robots.txt: dolar jangkar tampak di dalam Pola Perbaikan: Hasil pengujian robots.txt: pindahkan $ untuk sisi dari Pola jika ini seharusnya jangkar jalur, atau hapus ini jika harfiah dolar tanda tidak dimaksud. 
  •  Informasi Hasil pengujian robots.txt: Hasil pengujian robots.txt: Pengguna-agen adalah pisahkan di seluruh kelompok (User-agent) Perbaikan: Gabungkan aturan untuk user-agent yang sama ke satu grup agar kebijakan efektif tetap jelas dan mudah dipelihara. 
  •  Kesalahan Hasil pengujian robots.txt: URL sitemap bukan URL absolut Perbaikan: Ganti lokasi sitemap relatif dengan URL lengkap yang mencakup https:// dan nama host. 
  •  Kesalahan Robots berkas melebihi 500 KiB Perbaikan: Kurangi robots.txt hingga di bawah 500 KiB dengan mengonsolidasikan pola dan menghapus aturan berulang sebelum batas pemotongan Google. 
  •  Informasi Robots berkas adalah kosong Perbaikan: Hasil pengujian robots.txt: Hasil pengujian robots.txt: Hasil pengujian robots.txt: Biarkan berkas kosong jika semua perayapan adalah dengan sengaja diizinkan; jika tidak tambah eksplisit pengguna-agen kelompok dan paling sedikit wajib aturan. (user-agent) 
  •  Kesalahan Uji URL adalah diblokir untuk dipilih perayap Perbaikan: Hasil pengujian robots.txt: Hasil pengujian robots.txt: Hapus atau sempit pemenang Larang aturan, atau tambah lebih banyak spesifik Izinkan aturan, ketika diuji URL seharusnya menjadi dapat dirayapi. (Allow) (Disallow) 
    •