Bahasa

Panduan Noindex

Noindex mencegah halaman muncul dalam hasil pencarian, tetapi hanya jika Google dapat meng-crawl-nya. Pelajari dua metode yang valid, jebakan robots.txt, dan cara memverifikasi hasilnya.

Pertama kali diterbitkan: 23 Jun 2026 · Terakhir diperbarui: 21 Agu 2026 · Advanced
Bahasa
AIDitulis olehAI v2

Noindex adalah directive yang mengeluarkan halaman dari indeks sehingga tidak muncul dalam hasil pencarian. Dua cara yang valid adalah tag meta robots (`<meta name="robots" content="noindex">`) dan header HTTP `X-Robots-Tag: noindex`, yang menjadi satu-satunya pilihan untuk berkas non-HTML seperti PDF. Kesalahan terbesar adalah memblokir halaman di robots.txt: Google tidak dapat meng-crawl halaman untuk melihat aturan noindex. Untuk menghapus halaman, izinkan crawling lalu sajikan noindex. Jangan menaruh noindex di robots.txt karena tidak didukung sejak 1 September 2019. Jika noindex dan canonical berada pada halaman yang sama, tinjau tujuannya alih-alih menganggapnya otomatis salah. Penghapusan dari indeks baru terjadi setelah crawl ulang.

TL;DR — noindex menghapus halaman dari indeks melalui salah satu dari dua metode yang valid: tag meta robots (<meta name="robots" content="noindex">) atau header HTTP X-Robots-Tag: noindex yang wajib untuk berkas non-HTML seperti PDF. Hal pentingnya: halaman yang diblokir di robots.txt tidak dapat dihapus dengan noindex karena Google tidak pernah meng-crawl halaman untuk membaca aturan tersebut—“the crawler will never see the noindex rule” (terjemahan) “crawler tidak akan pernah melihat aturan noindex”—dan URL yang ditautkan dapat tetap terindeks. Untuk menghapus halaman, izinkan crawling dan sajikan noindex. Jangan menaruh noindex di robots.txt karena tidak didukung sejak 1 September 2019. Tinjau noindex yang disertai canonical ke URL lain sebagai kemungkinan konflik. Penghapusan baru terjadi setelah crawl ulang; menurut panduan Google, halaman berprioritas rendah dapat memerlukan waktu berbulan-bulan. Berdasarkan komentar Mueller pada 2017, bukan kebijakan terdokumentasi, noindex,follow dalam jangka panjang cenderung diperlakukan seperti noindex,nofollow setelah halaman keluar dari indeks. Verifikasi di GSC pada status “URL marked ‘noindex’” (terjemahan) “URL tersebut ditandai dengan directive ‘noindex’”.

Arti noindex: kontrol indeks, bukan kontrol crawl

noindex adalah directive utama untuk mengontrol indeks. Definisi Google hanya satu baris: “Do not show this page, media, or resource in search results.” (terjemahan) “Jangan tampilkan halaman, media, atau resource ini dalam hasil pencarian.” Jika dipatuhi, dampaknya menyeluruh: “When Googlebot crawls that page and extracts the tag or header, Google will drop that page entirely from Google Search results, regardless of whether other sites link to it.” (terjemahan) “Saat Googlebot meng-crawl halaman itu dan mengekstrak tag atau header, Google akan menghapus halaman tersebut sepenuhnya dari hasil Google Search, terlepas dari apakah situs lain menautkannya.” Evidence for this claim Google's noindex rule prevents the page, media, or resource from appearing in Google Search results after Google sees the rule. Scope: Google Search; noindex is not an access-control or privacy mechanism. Confidence: high · Verified: Google Search Central: Block Search indexing with noindex

Ingat selalu satu perbedaan karena hampir semua kesalahan noindex berawal dari mencampuradukkannya: noindex mengontrol pengindeksan; robots.txt mengontrol crawling. Keduanya berada pada tahap pipeline yang berbeda. Dalam panduan Ahrefs saya tentang penghapusan URL, saya menjelaskannya demikian: “Crawling is not the same thing as indexing. Even if Google is blocked from crawling pages, if there are any internal or external links to a page they can still index it.” (terjemahan) “Crawling tidak sama dengan pengindeksan. Walaupun Google diblokir agar tidak meng-crawl halaman, Google masih dapat mengindeksnya jika ada tautan internal atau eksternal menuju halaman tersebut.” Kalimat itu menjadi alasan utama artikel ini diperlukan.

Microsoft memberi directive yang sama satu konsekuensi tambahan khusus Bing: konten yang ditandai noindex juga dikecualikan dari pelatihan foundation model Microsoft. Prasyaratnya tetap berlaku—Bingbot harus diizinkan meng-crawl dan memproses directive tingkat halaman. Karena itu, gabungan blokir robots.txt dan noindex bukan bukti bahwa penghapusan dari indeks maupun pilihan keluar dari pelatihan telah diterapkan. Evidence for this claim Microsoft says content marked noindex is not included in the Bing index and is not used to train its generative AI foundation models. Scope: Bing and Microsoft foundation-model use; Bingbot must be able to crawl and process the directive before the outcome can be inferred. Confidence: high · Verified: Bing Webmaster Blog: New controls for Bing Chat

Dua metode penyajian yang valid

Metodenya tepat dua, dan noindex di dalam robots.txt bukan salah satunya. Penjelasan lebih lanjut ada di bawah.

Metode 1—tag meta robots. Untuk halaman HTML, letakkan kode berikut di dalam <head>:

<meta name="robots" content="noindex">

Instruksi Google berbunyi: “To prevent all search engines that support the noindex rule from indexing a page on your site, place the following <meta> tag into the <head> section of your page.” (terjemahan) “Untuk mencegah semua mesin pencari yang mendukung aturan noindex mengindeks halaman di situs Anda, letakkan tag <meta> berikut di bagian <head> halaman.” Nilai robots menargetkan semua crawler yang mendukung aturan tersebut; ganti dengan googlebot jika hanya ingin menargetkan Google (<meta name="googlebot" content="noindex">).

Metode 2—header HTTP X-Robots-Tag. Directive yang sama dikirim melalui header respons, bukan markup:

X-Robots-Tag: noindex

Ini adalah satu-satunya cara memberi noindex pada resource non-HTML karena tidak ada <head> untuk menampung tag meta. Google menyatakan: “A response header can be used for non-HTML resources, such as PDFs, video files, and image files.” (terjemahan) “Header respons dapat digunakan untuk resource non-HTML, seperti PDF, berkas video, dan berkas gambar.” Spesifikasi robots juga menyebut bahwa Anda dapat menggunakan X-Robots-Tag “for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” (terjemahan) “untuk berkas non-HTML seperti berkas gambar ketika penggunaan tag meta robots dalam HTML tidak memungkinkan.” Evidence for this claim Google supports noindex in an HTML robots meta tag or an X-Robots-Tag HTTP response header. Scope: Google Search delivery methods; the HTTP header is applicable to non-HTML resources as well as HTML. Confidence: high · Verified: Google Search Central: Robots meta tag and X-Robots-Tag specifications

Catatan tentang penempatan: letakkan tag meta di dalam <head>. Itu adalah lokasi standar dan paling aman serta lokasi yang ditampilkan dalam panduan Google. Halaman spesifikasi Google memang menyatakan bahwa Google “doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well,” (terjemahan) “tidak mewajibkan penempatan meta robots di head HTML dan juga akan mematuhi tag meta robots di bagian body dokumen HTML,” tetapi jangan menjadikannya metode utama. Tag <meta> yang tanpa sengaja disisipkan CMS ke dalam <body> dapat memberi noindex pada halaman sama mudahnya dengan tag yang sengaja ditaruh di <head>.

Karena header dikonfigurasi pada tingkat server, penerapannya berbeda menurut stack. Berikut dua contoh umum untuk memberi noindex pada seluruh PDF di sebuah situs:

Apache (.htaccess atau vhost):

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

Nginx (blok server/location):

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex";
}

Kesalahan nomor satu: noindex disertai blokir robots.txt

Noindex is crawl-then-obey: keep the URL fetchable long enough for the directive to be processed.

The same page contains a meta robots noindex directive. With crawling allowed, Google can fetch the page, see noindex, and remove the URL after processing. With crawling blocked in robots.txt, Google cannot see noindex and the linked URL may remain in results.

Ini adalah pola kegagalan yang paling sering saya temui. Mekanismenya sebagai berikut: tag noindex berada di dalam halaman, sehingga Google harus mengambil halaman itu agar dapat membacanya. Google menyatakan persyaratan tersebut secara langsung:

Google menjelaskan bahwa agar aturan noindex efektif, halaman atau sumber daya tidak boleh diblokir oleh robots.txt dan harus dapat diakses oleh perayap. Jika perayap tidak dapat mengambil halaman, aturan itu tidak akan terlihat; halaman masih dapat muncul dalam hasil pencarian apabila halaman lain menautkannya. Kutipan verbatim beserta terjemahannya dipertahankan pada tab Kutipan dari Sumber.

Lebih terus terang lagi: “We have to crawl your page in order to see <meta> tags and HTTP headers.” (terjemahan) “Kami harus meng-crawl halaman Anda agar dapat melihat tag <meta> dan header HTTP.” Tanpa crawl, aturan tidak akan terlihat.

robots.txt adalah penyebab paling umum sebuah halaman tidak dapat di-crawl, tetapi redaksi Google mencakup lebih banyak keadaan. Frasa “the crawler can’t access the page,” (terjemahan) “crawler tidak dapat mengakses halaman,” juga meliputi error server berulang (5xx), timeout, dan autentikasi yang tanpa sengaja menghalangi halaman. Semua kondisi tersebut membuat noindex gagal diam-diam, sama seperti blokir robots.txt.

Jadi, naluri untuk “memblokirnya di robots.txt dan memberinya noindex agar lebih aman” justru terbalik. Blokir mencegah crawl, padahal crawl-lah yang memperlihatkan noindex; halaman akhirnya dapat bertahan di indeks tanpa batas waktu, sering kali hanya sebagai URL tanpa deskripsi. Di Google Search Console, kondisi ini muncul sebagai status “Indexed, though blocked by robots.txt” (terjemahan) “Terindeks, meskipun diblokir oleh robots.txt”: halaman yang Anda blokir tetap terindeks karena ada sesuatu yang menautkannya.

Perbaikannya: hapus blokir halaman dari robots.txt, pertahankan noindex, lalu biarkan Google meng-crawl ulang. Hanya setelah halaman keluar dari indeks—jika selanjutnya Anda ingin benar-benar menghemat crawl—barulah aman menambahkan disallow.

Contoh deployment: situs staging yang tidak kunjung hilang

Sebuah desain ulang diluncurkan dari staging.example.com. Template staging sudah memuat noindex, tetapi checklist deployment juga menambahkan:

User-agent: *
Disallow: /

Konfigurasi itu tampak seperti dua lapis perlindungan. Kenyataannya, konfigurasi tersebut menjadi jebakan jika Google sudah menemukan URL staging melalui tautan QA bersama, sitemap lama, tiket publik, atau tautan dalam konten produksi yang disalin. Disallow mencegah crawl berikutnya sehingga Google tidak dapat mengonfirmasi noindex; hostname tersebut dapat bertahan sebagai hasil tipis yang hanya menampilkan URL.

Urutan pembersihannya adalah: hapus disallow, pertahankan noindex pada setiap respons staging, pastikan respons langsung dapat di-crawl dan menampilkan directive, minta crawl ulang untuk sampel yang mewakili, lalu pantau hostname hingga hilang dari hasil. Setelah itu, tempatkan lingkungan tersebut di balik autentikasi. Autentikasi adalah kontrol privasi yang tahan lama; noindex hanya mengontrol indeks pencarian.

noindex vs nofollow vs disallow

Orang sering mencampuradukkan tiga directive ini. Masing-masing bekerja pada tahap yang berbeda:

  • noindex—kontrol indeks. Halaman di-crawl tetapi tidak ditampilkan dalam hasil. Definisi Google: “Do not show this page, media, or resource in search results.” (terjemahan) “Jangan tampilkan halaman, media, atau resource ini dalam hasil pencarian.”
  • nofollow—kontrol tautan. Google menyatakan: “Do not follow the links on this page.” (terjemahan) “Jangan ikuti tautan di halaman ini.” Directive ini tidak menentukan apakah halaman itu sendiri diindeks.
  • disallow (robots.txt)—kontrol crawl. Directive ini sepenuhnya menghentikan pengambilan. Ini bukan kontrol indeks; URL yang dilarang di-crawl tetap dapat diindeks jika memiliki tautan.

Ada pula none, yang didokumentasikan Google sebagai “Equivalent to noindex, nofollow.” (terjemahan) “Setara dengan kedua directive tersebut.” Jika aturan robots bertentangan, spesifikasinya jelas: “In the case of conflicting robots rules, the more restrictive rule applies.” (terjemahan) “Jika aturan robots bertentangan, aturan yang lebih ketat berlaku.” Tabel lengkap tersedia pada tab Cheat Sheets.

Perlakukan noindex bersama rel=canonical sebagai pemeriksaan tujuan

Menempatkan noindex dan rel="canonical" pada halaman yang sama tidak otomatis keliru. Namun, konfigurasi itu perlu ditinjau: canonical meminta Google mengonsolidasikan sinyal, sedangkan noindex meminta agar URL tersebut dikecualikan. Untuk memilih di antara duplikat, gunakan tag canonical. Google secara khusus menyarankan agar noindex tidak digunakan untuk tujuan itu: “We don’t recommend using noindex to prevent selection of a canonical page within a single site, because it will completely block the page from Search.” (terjemahan) “Kami tidak menyarankan penggunaan noindex untuk mencegah pemilihan halaman canonical dalam satu situs karena cara itu akan memblokir halaman sepenuhnya dari Search.” Perhatikan cakupannya: peringatan Google secara khusus membahas penggunaan noindex untuk memilih duplikat yang menjadi canonical di dalam situs Anda sendiri. Ini bukan pernyataan bahwa noindex dan canonical secara teknis tidak boleh pernah berada pada halaman yang sama; halaman yang memang dihentikan masih dapat memiliki canonical yang merujuk ke dirinya sendiri. Canonical yang menunjuk ke URL lain memerlukan peringatan terkuat: pastikan pengecualian dan konsolidasi sama-sama disengaja. Gunakan canonical untuk mengonsolidasikan duplikat; gunakan noindex hanya jika Anda memang ingin mengeluarkan halaman ini dari hasil.

noindex,follow vs noindex,nofollow: peluruhan perlahan

Pola yang umum adalah noindex,follow: keluarkan halaman dari hasil, tetapi tetap ikuti tautannya agar ekuitas tautan terus mengalir melaluinya. Ini berguna selama migrasi atau ketika halaman dikeluarkan sementara. Dokumentasi resmi Google saat ini tidak menyatakan bahwa perilaku tersebut meluruh secara otomatis; dokumentasi justru mengizinkan penggabungan noindex dengan aturan lain, termasuk menetapkan noindex,nofollow dengan sengaja sejak awal. Dasar klaim “memudar seiring waktu” adalah hangout webmaster pada 2017, ketika John Mueller mengatakan bahwa noindex jangka panjang pada praktiknya cenderung diperlakukan seperti noindex,nofollow: setelah Google memutuskan halaman tidak layak berada di hasil dan menghapusnya sepenuhnya, Google juga berhenti mengikuti tautan halaman karena tidak lagi memprosesnya. Ini merupakan pengamatan praktisi dari transkrip video, bukan kebijakan Google yang terdokumentasi, jadi anggaplah sebagai petunjuk, bukan jaminan. Kesimpulan praktisnya tetap sama: noindex,follow cocok untuk masa transisi, tetapi jangan mengandalkannya sebagai strategi permanen untuk ekuitas tautan. Perbaiki tautan yang mendasarinya atau hapus halamannya.

Berapa lama noindex mulai berlaku?

Tidak seketika. noindex baru berlaku setelah Google meng-crawl dan memproses ulang halaman. Sampai saat itu, halaman dapat tetap terindeks walaupun tag sudah aktif. Google tidak menjanjikan jangka waktu tetap; panduannya lebih dekat ke “mungkin perlu waktu” daripada “sebentar lagi”: “Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.” (terjemahan) “Bergantung pada tingkat kepentingan halaman di internet, Googlebot mungkin memerlukan waktu berbulan-bulan untuk mengunjungi kembali sebuah halaman.” Halaman dengan trafik tinggi dan banyak tautan mungkin di-crawl ulang dalam hitungan hari, sedangkan halaman bernilai rendah yang jarang ditautkan dapat menunggu berbulan-bulan. Jika halaman harus segera hilang dari hasil, Removals tool di GSC dapat menjadi solusi sementara: alat itu menyembunyikan URL untuk sementara selagi noindex permanen menyelesaikan proses yang lebih lambat. Untuk halaman yang benar-benar sudah tidak ada, 404/410 juga menghapusnya. Seperti yang saya tulis dalam panduan penghapusan: “If you remove the page and serve either a 404 (not found) or 410 (gone) status code, then the page will be removed from the index shortly after the page is re-crawled.” (terjemahan) “Jika Anda menghapus halaman dan menyajikan status 404 (tidak ditemukan) atau 410 (hilang), halaman akan dihapus dari indeks segera setelah di-crawl ulang.” Polanya selalu sama: perubahan berlaku setelah crawl ulang.

noindex di robots.txt sudah tidak berlaku sejak 1 September 2019

Anda masih mungkin menemukan saran untuk menambahkan baris Noindex: ke robots.txt. Jangan lakukan itu. Aturan tersebut tidak pernah didukung secara resmi, dan Google menghentikan penanganan tidak resminya bertahun-tahun lalu. Pengumuman Search Central pada Juli 2019 menyatakan: “Since these rules were never documented by Google, naturally, their usage in relation to Googlebot is very low.” (terjemahan) “Karena aturan-aturan ini tidak pernah didokumentasikan Google, penggunaannya untuk Googlebot tentu sangat rendah.” Tanggal penghentiannya juga disebutkan: “we’re retiring all code that handles unsupported and unpublished rules (such as noindex) on September 1, 2019.” (terjemahan) “kami menghentikan seluruh kode yang menangani aturan yang tidak didukung dan tidak dipublikasikan, seperti noindex, pada 1 September 2019.”

Posting yang sama menyebut alternatif yang didukung, dengan noindex melalui tag meta atau header di urutan pertama: “noindex in robots meta tags: Supported both in the HTTP response headers and in HTML, the noindex rule is the most effective way to remove URLs from the index when crawling is allowed.” (terjemahan) “noindex dalam tag meta robots: didukung melalui header respons HTTP maupun HTML; aturan noindex adalah cara paling efektif untuk menghapus URL dari indeks ketika crawling diizinkan.” Alternatif lain yang disebutkan adalah status 404/410, perlindungan kata sandi, disallow di robots.txt untuk mencegah crawl, dan alat penghapusan Search Console.

Cara memverifikasi noindex di Google Search Console

Lakukan dua pemeriksaan:

  • URL Inspection. Periksa URL, lalu pilih Test live URL. Fitur ini menunjukkan apakah halaman dapat diindeks dan apakah Google melihat directive noindex. Ini merupakan cara tercepat untuk memastikan bahwa tag terbaca pada halaman aktif.
  • Laporan Page Indexing. Halaman ber-noindex tercantum dengan status “URL marked ‘noindex’” (terjemahan) “URL tersebut ditandai dengan directive ‘noindex’” di bagian Not indexed. Teks bantuan Google berbunyi: “When Google tried to index the page it encountered a ‘noindex’ directive and therefore did not index it.” (terjemahan) “Saat mencoba mengindeks halaman, Google menemukan directive ‘noindex’ sehingga tidak mengindeksnya.” Jika halaman tersebut justru ingin Anda indeks, itulah masalahnya—hapus directive tersebut.

Catatan istilah bagi pembaca dokumentasi lama: laporan Coverage lama menyebut status ini “Excluded by ‘noindex’ tag” (terjemahan) “Halaman dikecualikan karena memiliki tag ‘noindex’”. Laporan Page Indexing saat ini menggunakan “URL marked ‘noindex’” (terjemahan) “URL tersebut ditandai dengan directive ‘noindex’”. Keduanya merujuk pada kondisi yang sama; hanya labelnya yang diperbarui.

Hal yang tidak dijamin noindex

Berikut beberapa manfaat yang sering dianggap berasal dari noindex, padahal sebenarnya tidak:

  • Penghematan crawl budget. Google tetap harus mengambil halaman agar dapat melihat tag. noindex saja tidak mengurangi crawling. Jika Anda juga menginginkannya, tambahkan disallow di robots.txt, tetapi hanya setelah halaman keluar dari indeks; melakukannya lebih awal justru menimbulkan kegagalan yang dijelaskan di atas.
  • Penghapusan seketika. Penghapusan terjadi saat crawl ulang tanpa jadwal tetap, dan Google sendiri menyatakan halaman berprioritas rendah dapat memerlukan waktu berbulan-bulan.
  • Konsolidasi duplikat. Itulah fungsi rel="canonical". noindex hanya menghapus halaman dari Search; directive ini tidak menggabungkan sinyal ke URL lain.
  • Kerahasiaan. Siapa pun yang memiliki URL tetap dapat meminta halaman secara publik. Jika sesuatu benar-benar harus privat, masalahnya perlu diselesaikan dengan autentikasi, bukan directive pencarian.
  • Pemulihan peringkat ketika dibatalkan. Menghapus noindex tidak mengembalikan peringkat lama halaman. Google harus meng-crawl ulang, mengevaluasi ulang, dan pada praktiknya halaman harus memperoleh kembali posisinya dari awal.
  • Waktu yang sama di semua mesin pencari. Bing dan mesin lain menjalankan jadwal crawl serta crawl ulang mereka sendiri, terpisah dari Google.
  • Pengecualian dari semua penggunaan konten di luar pencarian. noindex memblokir halaman dari Google Search secara keseluruhan, termasuk fitur AI milik Search. AI Overviews dan fitur serupa menggunakan halaman yang diindeks serta memenuhi syarat untuk ditampilkan; halaman ber-noindex juga dikecualikan. Namun, noindex tidak mengontrol pengaturan Google-Extended yang terpisah, yang mengatur apakah konten dapat digunakan untuk melatih atau mendasari model AI generatif Google di luar Search. Keduanya adalah kontrol berbeda untuk tujuan berbeda.

Posisi noindex di antara kontrol lainnya

noindex adalah kontrol yang digunakan ketika sebuah halaman berada di indeks tetapi seharusnya tidak—solusi untuk salah satu bentuk index bloat, seperti halaman tipis, utilitas, atau menyerupai duplikat tanpa nilai pencarian. Noindex berdekatan dengan tag meta robots dan header X-Robots-Tag sebagai dua metode penyajiannya; robots.txt dan directive disallow sebagai kontrol crawl yang sering tertukar dengannya; tag canonical untuk konsolidasi duplikat, bukan pengganti noindex; serta tahap crawling dan pengindeksan yang lebih luas. Jika perbedaan crawl dan indeks dipahami dengan benar, noindex tidak lagi membingungkan: izinkan crawl, sajikan tag, lalu tunggu crawl ulang.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.