Pembengkakan Indeks

TL;DR — Pembengkakan indeks terjadi ketika mesin pencari mengindeks banyak halaman bernilai rendah di situs Anda yang tidak dicari siapa pun—URL filter, hasil pencarian internal, halaman tag, dan halaman yang nyaris sama. Ini bukan penalti. Masalahnya adalah Anda membuang waktu Google dan membagi sinyal situs sendiri. Intinya adalah kualitas, bukan jumlah halaman.

Apa itu pembengkakan indeks

“Pembengkakan indeks” adalah istilah yang digunakan praktisi SEO—bukan Google— untuk keadaan ketika mesin pencari menyimpan banyak halaman dari situs Anda yang sebenarnya tidak layak berada di indeks. Contohnya halaman hasil pencarian internal, setiap kemungkinan kombinasi filter di toko, halaman tag kosong, versi ramah cetak, atau halaman yang sama yang dapat diakses melalui lima URL berbeda.

Kata kuncinya adalah bernilai rendah. Sebuah halaman menjadi bagian dari pembengkakan bila tidak dicari siapa pun dan tidak membantu orang menemukan konten Anda yang bagus. Jumlah halaman bukan penentunya—situs kecil bisa berantakan, sedangkan situs yang sangat besar bisa benar-benar rapi.

Apakah ini benar-benar masalah?

Biasanya dampaknya lebih kecil daripada yang ditakutkan orang. Tidak ada “penalti pembengkakan indeks”. Google tidak akan menurunkan peringkat seluruh situs hanya karena mengindeks beberapa URL sampah. Yang sebenarnya terjadi lebih sederhana:

• Crawling yang terbuang. Mesin pencari menghabiskan waktu mengambil URL sampah alih-alih halaman baru dan penting milik Anda.
• Sinyal yang terbagi. Ketika konten yang sama tersedia di beberapa URL, tautan dan perhatian tersebar, bukan terkumpul pada satu halaman yang kuat.

Pada situs kecil, hal ini jarang berpengaruh. Pada toko besar atau penerbit yang templatenya menghasilkan ribuan URL, dampaknya akan menumpuk.

Apa penyebabnya

Penyebab yang paling umum:

• URL filter dan pengurutan (navigasi berfaset)—setiap kombinasi melahirkan URL baru.
• Parameter URL—pengurutan, pemfilteran, tag pelacakan, dan ID sesi.
• Halaman hasil pencarian internal—hasil pencarian situs Anda sendiri yang terindeks.
• Halaman arsip tag, kategori, dan penulis yang tidak memiliki konten nyata.
• Paginasi—halaman 2, 3, 4, dan seterusnya dari sebuah daftar.
• Versi duplikat—http vs https, www vs non-www, serta URL dengan dan tanpa garis miring penutup.
• Soft 404s—halaman yang mengatakan “tidak ditemukan” tetapi mengembalikan status “OK”, sehingga mesin pencari tetap menyimpannya.

Cara memeriksanya

Jangan percayai jumlah dari penelusuran site:example.com—itu hanya perkiraan kasar. Gunakan Google Search Console → laporan Pengindeksan halaman untuk melihat ringkasan URL yang terindeks/tidak terindeks dan alasan yang dilaporkan Google, sambil mengingat bahwa daftar URL contohnya terbatas. Evidence for this claim Search Console's Page Indexing report summarizes indexed and non-indexed pages and groups non-indexed pages by reason, with limited example rows. Scope: Google Search Console reporting; it is not an exhaustive downloadable URL inventory. Confidence: high · Verified: 2026-07-14 Google: Page indexing report

Cara memperbaikinya (versi singkat)

Cocokkan alat dengan jenis halaman:

• Tidak memiliki nilai penelusuran dan tidak boleh muncul? Tambahkan noindex (dan biarkan halaman dapat di-crawl agar Google dapat melihat tag tersebut). Evidence for this claim Google recommends noindex to prevent indexing while allowing crawling, canonical signals for duplicates, and 404/410 for removed pages. Scope: The appropriate control depends on the page's intended state. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex Google: Canonicalization Google: HTTP status codes
• Merupakan duplikat dari halaman yang penting? Arahkan rel=canonical ke halaman yang sebenarnya.
• Benar-benar sudah tidak ada? Kembalikan 404 atau 410.
• Ada banyak halaman tipis untuk satu topik? Gabungkan menjadi satu halaman yang bagus.

Ingin melihat tabel keputusan lengkap, metode diagnosis, dan jebakan yang sering membuat orang keliru—seperti alasan memblokir halaman melalui robots.txt tidak akan menghapusnya dari Google? Buka tab Lanjutan.

TL;DR — “Pembengkakan indeks” adalah istilah SEO, bukan istilah Google. Masalah sebenarnya ialah URL tipis, duplikat, atau bernilai rendah—navigasi berfaset, parameter, pencarian internal, arsip tag, paginasi, soft 404, dan duplikat protokol—yang terindeks. Ini masalah efisiensi crawling dan pengenceran sinyal, bukan penalti. Bing: “Duplicate content doesn’t trigger search penalties on its own” (terjemahan) “Konten duplikat tidak dengan sendirinya memicu penalti penelusuran”; Mueller: “We don’t have a duplicate content penalty.” (terjemahan) “Kami tidak memiliki penalti konten duplikat.” Masalahnya adalah kualitas, bukan jumlah halaman. Diagnosis dilakukan dengan laporan Pengindeksan halaman GSC (site: hanya perkiraan kasar), log, dan crawler. Evidence for this claim Search Console's Page Indexing report summarizes indexed and non-indexed pages and groups non-indexed pages by reason, with limited example rows. Scope: Google Search Console reporting; it is not an exhaustive downloadable URL inventory. Confidence: high · Verified: 2026-07-14 Google: Page indexing report Perbaiki sesuai tujuan: noindex menghapus dari indeks (biarkan dapat di-crawl), rel=canonical mengonsolidasikan duplikat (petunjuk, bukan aturan), robots.txt hanya menghentikan crawling (tidak menghapus URL yang sudah terindeks), 404/ 410 untuk halaman yang sudah tidak ada, dan penggabungan untuk konten tipis. Evidence for this claim Google recommends noindex to prevent indexing while allowing crawling, canonical signals for duplicates, and 404/410 for removed pages. Scope: The appropriate control depends on the page's intended state. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex Google: Canonicalization Google: HTTP status codes Alat Removals hanya sementara (~6 bulan).

Arti sebenarnya dari “pembengkakan indeks”

Pertama, luruskan pembingkaian yang keliru di banyak artikel: “pembengkakan indeks” adalah istilah industri SEO, bukan istilah Google. Google tidak memakai frasa itu. Istilah tersebut menggambarkan komponen-komponennya— URL duplikat, URL bernilai rendah/tidak penting, soft 404s, ruang URL tak terbatas, dan navigasi berfaset. Jadi, jangan menaruh frasa itu di mulut Google dan jangan memperlakukannya sebagai nama sesuatu yang diburu dan dihukum Google.

Definisi kerja yang saya gunakan: pembengkakan indeks terjadi ketika mesin pencari mengindeks halaman di situs Anda yang tidak memiliki nilai penelusuran. Tekanannya ada pada nilai, bukan volume. Situs dengan 500 halaman bisa bersih; situs dengan 100 000 halaman bisa sebagian besar berisi pembengkakan. Ini masalah kualitas yang menyamar sebagai masalah jumlah halaman.

Apakah pembengkakan indeks benar-benar masalah? Jawaban jujurnya

Biasanya dampaknya lebih kecil daripada anggapan orang—dan yang terpenting, ini bukan penalti. Inilah hal yang paling sering dilebih-lebihkan di bidang ini. Bing sekarang menyatakannya secara gamblang: “Duplicate content doesn’t trigger search penalties on its own.” (terjemahan) “Konten duplikat tidak dengan sendirinya memicu penalti penelusuran.” Mueller sudah bertahun-tahun mengatakan hal yang sama tentang Google: “We don’t have a duplicate content penalty. It’s not that we would demote a site for having a lot of duplicate content.” (terjemahan) “Kami tidak memiliki penalti konten duplikat. Bukan berarti kami akan menurunkan peringkat sebuah situs karena memiliki banyak konten duplikat.”

Lalu, apa biaya sebenarnya? Ada dua hal praktis:

1. Crawling yang terbuang. Panduan Google untuk situs besar menyatakan bahwa jika banyak URL merupakan duplikat atau tidak diinginkan, “this wastes a lot of Google crawling time on your site.” (terjemahan) “hal ini membuang banyak waktu crawling Google di situs Anda.” Dari sisi infrastruktur: “If Google spends too much time crawling URLs that it shouldn’t, Google’s crawlers might decide that it’s not worth the time to look at the rest of your site.” (terjemahan) “Jika Google menghabiskan terlalu banyak waktu untuk meng-crawl URL yang seharusnya tidak di-crawl, crawler Google mungkin memutuskan bahwa memeriksa bagian lain situs Anda tidak sepadan dengan waktunya.” Mekanismenya adalah URL sampah menyita crawling dari halaman penting, sehingga penemuan konten baru melambat.

2. Sinyal yang diencerkan. Bing menjelaskan konsekuensi halaman yang nyaris sama: “signals such as clicks, links, impressions, and engagement are often diluted.” (terjemahan) “sinyal seperti klik, tautan, tayangan, dan interaksi sering kali menjadi encer.” Jika nilai satu halaman disebarkan ke lima URL yang hampir sama, tidak ada satu pun yang akan berperingkat sebaik satu halaman hasil konsolidasi.

Kapan hal ini benar-benar penting? Pada situs besar atau situs berbasis template—e-commerce (navigasi berfaset, parameter, varian produk), penerbit (tag, arsip, paginasi), dan CMS apa pun yang menghasilkan URL secara otomatis (halaman tag/penulis/feed WordPress, pencarian internal). Pada situs statis kecil, hal ini umumnya hanya kebisingan.

Pemeriksaan naluri yang saya ambil dari pengalaman sendiri: saya pernah mengaudit blog Ahrefs secara langsung dan menemukan 4 700+ halaman yang di-crawl, tetapi hanya sekitar 1 600 yang benar-benar berperingkat. Kesenjangannya—“halaman zombi”—berupa halaman feed (komentar, kategori, penulis) dan paginasi. Kesimpulan saya tetap tenang: sebagian besar tidak merusak SEO, tetapi menghabiskan anggaran crawling. Solusinya triase, bukan panik—misalnya menampilkan lebih banyak item per halaman untuk mengurangi volume paginasi. Awali setiap penyelidikan pembengkakan indeks dengan bertanya, “apakah ini benar-benar berpengaruh?” sebelum mengubah apa pun.

Penyebab pembengkakan indeks

Berikut sumber yang umum, kira-kira menurut frekuensi kemunculannya:

• Navigasi berfaset. Sumber nomor satu. Dalam posting Crawling December Google, Gary Illyes menyebut navigasi berfaset “is by far the most common source of overcrawl issues site owners report to us,” (terjemahan) “sejauh ini merupakan sumber masalah crawling berlebihan yang paling sering dilaporkan pemilik situs kepada kami,” tepatnya “because it can generate a near-infinite number of URLs.” (terjemahan) “karena dapat menghasilkan jumlah URL yang nyaris tak terbatas.” Navigasi ini “will always consume server resources,” (terjemahan) “akan selalu menghabiskan sumber daya server,” dan crawling berlebihan tersebut “slows down the discovery of your important, new content.” (terjemahan) “memperlambat penemuan konten baru dan penting milik Anda.”
• Parameter URL—pengurutan, pemfilteran, pelacakan, dan ID sesi. Setiap nilai parameter baru berpotensi menjadi URL baru yang dapat di-crawl dan diindeks tanpa konten unik.
• Halaman hasil pencarian internal—hasil pencarian situs Anda sendiri yang terindeks. Halaman semacam ini hampir tidak pernah memiliki nilai penelusuran.
• Arsip dan feed tag/kategori/penulis—dibuat otomatis dan sering kali tipis.
• Paginasi—halaman 2, 3, 4 dari daftar yang berlipat di seluruh kategori dan arsip.
• Duplikat protokol dan host—http vs https, www vs non-www, serta URL dengan dan tanpa garis miring penutup. Dokumentasi kanonikalisasi Google mencantumkan persis hal-hal ini: varian wilayah, varian perangkat, varian protokol (HTTP/HTTPS), dan fungsi situs (hasil pengurutan/pemfilteran).
• Soft 404 dan ruang URL tak terbatas—kalender, infinite scroll, serta halaman “tidak ditemukan” yang mengembalikan 200. Google: “soft 404 pages will continue to be crawled, and waste your budget.” (terjemahan) “halaman soft 404 akan terus di-crawl dan menghabiskan anggaran Anda.”
• Halaman tipis dan dibuat otomatis—apa pun yang dihasilkan template dengan sangat sedikit konten unik.

Pengingat yang berguna dari Google tentang skala: “The web is a nearly infinite space, exceeding Google’s ability to explore and index every available URL.” (terjemahan) “Web adalah ruang yang nyaris tak terbatas, melampaui kemampuan Google untuk menjelajahi dan mengindeks setiap URL yang tersedia.” Jika template Anda dapat menghasilkan URL tanpa batas, Google tidak akan menyelamatkan Anda dari rancangan sendiri.

Cara mendiagnosis pembengkakan indeks

Laporan Pengindeksan halaman GSC adalah sumber jumlah yang otoritatif. Google menyatakan totalnya “complete and accurate from Google’s perspective.” (terjemahan) “lengkap dan akurat dari sudut pandang Google.” Gunakan laporan ini, bukan operator site:. Yang lebih bernilai daripada jumlah mentah adalah rincian alasan halaman tidak terindeks. Kategori yang menjadi sidik jari pembengkakan:

• Di-crawl—saat ini tidak diindeks—“The page was crawled by Google but not indexed.” (terjemahan) “Halaman telah di-crawl Google tetapi tidak diindeks.” Tumpukan besar di sini merupakan sinyal klasik pembengkakan.
• Ditemukan—saat ini tidak diindeks—“The page was found by Google, but not crawled yet.” (terjemahan) “Halaman ditemukan oleh Google, tetapi belum di-crawl.” Google mengetahui URL yang belum sempat dijangkaunya.
• Duplikat tanpa kanonik pilihan pengguna—“This page is a duplicate of another page, although it doesn’t indicate a preferred canonical page.” (terjemahan) “Halaman ini merupakan duplikat halaman lain, meskipun tidak menunjukkan halaman kanonik pilihan.”
• Duplikat, Google memilih kanonik yang berbeda dari pengguna—“Google thinks another URL makes a better canonical.” (terjemahan) “Google menganggap URL lain lebih cocok sebagai URL kanonik.”
• Soft 404—“it returns a user-friendly ‘not found’ message but not a 404 HTTP response code.” (terjemahan) “halaman mengembalikan pesan ‘tidak ditemukan’ yang ramah pengguna, tetapi bukan kode respons HTTP 404.”

Kategori lain yang relevan dalam laporan yang sama: “Halaman alternatif dengan tag kanonik yang tepat”, “Halaman dengan pengalihan”, “Diblokir oleh robots.txt”, dan “Dikecualikan oleh tag ‘noindex’”.

Ada satu nuansa penting pada status “Di-crawl—saat ini tidak diindeks”: Mueller membingkainya sebagai sinyal kualitas seluruh situs, bukan bug per halaman. Menurut penjelasannya, tidak semua halaman pada setiap situs akan diindeks; masalahnya sering berada pada struktur dan kualitas situs secara menyeluruh, bukan pada satu URL tertentu. Ia menyarankan agar pemilik situs membangun struktur yang baik, menjaga mutu situs setinggi mungkin, dan memeriksa bagian situs lainnya ketika ada masalah umum. Namun, jangan membaca status itu secara berlebihan: status tersebut tidak dimaksudkan sebagai penanda khusus untuk masalah konten berkualitas rendah. Kutipan sumber lengkap beserta atribusinya dipertahankan di tab Quotes.

Perangkat diagnosis lainnya:

• Operator site:—hanya pemeriksaan cepat (misalnya site:example.com inurl:? atau site:example.com/tag/) untuk menemukan pola pembengkakan. Jangan pernah mengutipnya sebagai jumlah pasti; cocokkan dengan GSC.
• Analisis file log—lihat ke mana Googlebot benar-benar menghabiskan waktu. Jika sebagian besar hit mengarah ke URL parameter/faset/feed, crawling terbuang.
• Crawler situs (Ahrefs Site Audit, Screaming Frog)—menemukan halaman tipis, duplikat, dan yatim; URL parameter yang dapat diindeks; serta klaster halaman yang hampir sama. Bandingkan URL yang dapat di-crawl dan diindeks dengan sitemap XML serta halaman yang benar-benar memperoleh traffic.
• Kesenjangan halaman yang di-crawl vs berperingkat (cara saya)—bandingkan jumlah halaman yang dapat diindeks/di-crawl dengan halaman yang benar-benar berperingkat atau mendapat traffic. Selisihnya adalah daftar kandidat halaman zombi/pembengkakan untuk ditriase.

Cara memperbaikinya—pilih alat yang tepat

Tidak ada satu perbaikan untuk semuanya. Setiap URL memerlukan perlakuan berdasarkan jenisnya dan apakah URL itu bernilai. Tabel keputusan (ditampilkan lengkap pada tab Lembar Ringkas) merangkum semuanya; berikut alasan di balik tiap alat:

noindex—hapus dari indeks. Gunakan ketika halaman tidak memiliki nilai penelusuran dan tidak boleh pernah muncul (hasil pencarian internal, halaman terima kasih, halaman tag/filter tipis). Tag ini menghapus halaman dari hasil. Google: “Google will drop that page entirely from Google Search results, regardless of whether other sites link to it.” (terjemahan) “Google akan menghapus halaman itu sepenuhnya dari hasil Google Penelusuran, terlepas dari apakah situs lain menaut kepadanya.” Tag noindex merupakan cara pasti untuk mencegah pengindeksan halaman faset. Jebakan penting: halaman harus tetap dapat di-crawl agar noindex berfungsi. Google: “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file.” (terjemahan) “Agar aturan noindex efektif, halaman atau sumber daya tidak boleh diblokir oleh file robots.txt.” Jika Anda memblokirnya lebih dahulu, Google tidak pernah melihat noindex.

rel=canonical—konsolidasikan duplikat yang bernilai. Gunakan untuk halaman yang nyaris sama tetapi memiliki tautan atau nilai (varian parameter, versi cetak, duplikat protokol/host). URL kanonik adalah “the URL of a page that Google chose as the most representative from a set of duplicate pages,” (terjemahan) “URL halaman yang dipilih Google sebagai perwakilan terbaik dari sekumpulan halaman duplikat,” dan menunjukkannya membantu mengonsolidasikan sinyal. Namun, ini petunjuk, bukan aturan: “indicating a canonical preference is a hint, not a rule,” (terjemahan) “menunjukkan preferensi kanonik adalah petunjuk, bukan aturan,” dan “Google may choose a different page as canonical than you do, for various reasons.” (terjemahan) “Google dapat memilih halaman kanonik yang berbeda dari pilihan Anda karena berbagai alasan.” Satu aturan tegas yang selalu saya ulang: jangan pernah mencampur noindex dan rel=canonical pada halaman yang sama—keduanya memberi instruksi yang bertentangan.

robots.txt disallow—hanya hentikan crawling. Gunakan untuk menjauhkan bot dari volume besar URL sampah yang dapat di-crawl, tidak perlu diindeks, dan tidak memiliki sinyal yang perlu dipertahankan (kombinasi faset tak terbatas). Khusus navigasi berfaset, panduan Illyes adalah: “If you don’t need these URLs indexed, use robots.txt to disallow crawling.” (terjemahan) “Jika URL tersebut tidak perlu diindeks, gunakan robots.txt untuk melarang crawling.” Namun, pahami yang dilakukan dan tidak dilakukannya: robots.txt “is not a mechanism for keeping a web page out of Google,” (terjemahan) “bukan mekanisme untuk mengeluarkan halaman web dari Google,” dan “a page that’s disallowed in robots.txt can still be indexed if linked to from other sites.” (terjemahan) “halaman yang dilarang dalam robots.txt masih dapat diindeks jika ditautkan dari situs lain.” Alat ini menghentikan crawling; alat ini tidak menghapus URL yang sudah terindeks.

404 / 410—halaman benar-benar sudah tidak ada. Kembalikan status ini untuk halaman yang tidak seharusnya ada lagi. 410 merupakan sinyal “hilang” yang sedikit lebih kuat; 404 adalah “a strong signal not to crawl that URL again.” (terjemahan) “sinyal kuat agar URL tersebut tidak di-crawl lagi.”

Konsolidasi/gabungkan/pangkas—banyak halaman tipis pada satu topik. Gabungkan menjadi satu halaman kuat (301-kan sisanya) atau hapus. Bingkai Google: “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (terjemahan) “Konsolidasikan konten duplikat agar crawling berfokus pada konten unik, bukan URL unik.” Ini perbaikan jangka panjang terbaik untuk konten tipis.

Alat Removals—hanya sementara. Alat Removals GSC dapat mengeluarkan URL dari hasil dengan cepat, tetapi hanya solusi sementara: “Requests made in the Removals tool last for about 6 months.” (terjemahan) “Permintaan yang dibuat melalui alat Removals berlaku sekitar 6 bulan.” Selalu pasangkan dengan metode permanen (noindex, 404/410, atau penghapusan).

Urutan yang sering membuat orang keliru

Untuk menghapus secara permanen URL bernilai rendah yang sudah terindeks, terapkan noindex (atau 404/410) dan biarkan URL dapat di-crawl sampai Google memprosesnya kembali. Tambahkan disallow di robots.txt hanya setelah URL keluar dari indeks jika Anda juga ingin menghemat crawling. Memblokir lebih dahulu menjebak URL di indeks—Google tidak dapat membaca noindex pada halaman yang tidak dapat di-crawl, dan URL dapat bertahan di hasil tanpa batas waktu (terkadang tanpa cuplikan).

Mitos umum yang perlu dibantah

• “Google menghukum pembengkakan indeks/konten duplikat.” Tidak. Tidak ada penalti; masalahnya crawling terbuang dan sinyal yang diencerkan.
• “robots.txt akan menghapus halaman dari indeks.” Tidak—robots.txt hanya menghentikan crawling. Halaman yang dilarang masih dapat diindeks melalui tautan.
• “noindex menghemat anggaran crawling.” Tidak—Google tetap harus meminta halaman terlebih dahulu untuk melihat noindex.
• “Agar aman, halaman yang sama dapat diberi noindex DAN diblokir melalui robots.txt.” Tidak—jika diblokir, Google tidak dapat membaca noindex dan halaman dapat tetap terindeks.
• “rel=canonical memaksa konsolidasi.” Tidak—itu petunjuk; Google dapat memilih URL kanonik lain.
• “Operator site: memberi jumlah halaman terindeks yang pasti.” Tidak—itu perkiraan. Percayai laporan Pengindeksan halaman GSC.
• “More indexed pages = better.” (terjemahan) “Semakin banyak halaman terindeks, semakin baik.” Tidak—kualitas mengalahkan kuantitas. URL bernilai rendah yang terindeks mengencerkan sinyal dan membuang crawling.

Pencegahan—bangun pagar pengaman

Perbaikan terbaik adalah tidak menghasilkan pembengkakan sejak awal:

• Noindex tingkat CMS pada template yang tidak boleh berperingkat (pencarian internal, halaman filter tipis, arsip tertentu)—tetapkan sekali pada tingkat template, bukan halaman demi halaman.
• Disiplin parameter—tentukan sejak awal parameter mana yang membuat URL dapat diindeks dan mana yang akan dikanonikalisasi atau diblokir.
• URL konsisten—pilih satu protokol, satu host, satu konvensi garis miring penutup, lalu tegakkan.
• Audit berkala—ulangi pemeriksaan kesenjangan halaman yang di-crawl vs berperingkat setiap kuartal agar pembengkakan tidak merayap kembali.

Topik ini bersebelahan dengan anggaran crawling (sumber daya yang dibuang oleh pembengkakan indeks), kanonikalisasi (alat konsolidasi utama), dan navigasi berfaset (sumber paling umum). Untuk gambaran lebih besar mengenai cara halaman masuk ke—dan tetap di luar—indeks, lihat hub pengindeksan.

Ringkasan AI

Versi ringkas dari tab Lanjutan:

• “Pembengkakan indeks” adalah istilah SEO, bukan istilah Google. Masalah sebenarnya adalah URL tipis, duplikat, atau bernilai rendah yang terindeks— navigasi berfaset, parameter, pencarian internal, halaman tag/arsip, paginasi, soft 404, dan duplikat protokol/host.
• Masalahnya adalah kualitas, bukan jumlah halaman. Situs kecil bisa berantakan; situs yang sangat besar bisa bersih.
• Ini bukan penalti. Bing: “Duplicate content doesn’t trigger search penalties on its own.” (terjemahan) “Konten duplikat tidak dengan sendirinya memicu penalti penelusuran.” Mueller: “We don’t have a duplicate content penalty.” (terjemahan) “Kami tidak memiliki penalti konten duplikat.” Biaya sebenarnya adalah crawling terbuang (URL sampah menyita crawling dari halaman bagus) dan sinyal yang diencerkan di antara halaman yang nyaris sama.
• Dampaknya terutama terasa pada situs besar/berbasis template (e-commerce, penerbit, CMS yang menghasilkan URL otomatis). Periksa lebih dahulu apakah ini benar-benar masalah.
• Diagnosis melalui laporan Pengindeksan halaman GSC—sumber otoritatif yang “lengkap dan akurat”; awasi kategori “Crawled - currently not indexed” dan “Duplicate”. site: hanyalah perkiraan kasar. Tambahkan log, crawler situs, serta kesenjangan halaman yang di-crawl vs berperingkat.
• Perbaiki sesuai tujuan: noindex untuk menghapus dari indeks (biarkan tetap dapat di-crawl); rel=canonical untuk mengonsolidasikan duplikat (petunjuk, bukan aturan—jangan gabungkan dengan noindex); robots.txt hanya untuk menghentikan crawling (tidak menghapus URL yang sudah terindeks); 404/410 untuk halaman yang hilang; konsolidasikan konten tipis.
• Urutan: untuk menghapus URL yang sudah terindeks, gunakan noindex (atau 404/410) dan biarkan dapat di-crawl sampai keluar dari indeks; baru setelah itu blokir melalui robots.txt. Memblokir lebih dahulu menjebaknya di indeks.
• Alat Removals bersifat sementara (~6 bulan)—pasangkan dengan perbaikan permanen.
• Cegah dengan noindex pada tingkat template CMS, disiplin parameter, URL konsisten, dan audit berkala.

Dokumentasi resmi

Dokumentasi sumber primer dari mesin pencari.

Google

• Optimalkan anggaran crawling —mekanisme inti mengenai pembengkakan yang membuang crawling, konsolidasi duplikat, soft 404s, dan alasan tidak menggunakan noindex untuk menghemat crawling.
• Pengelolaan anggaran crawling —sudut pandang infrastruktur: web “nyaris tak terbatas”, dan crawling URL sampah mengorbankan bagian lain situs Anda.
• Crawling December: Navigasi berfaset —Gary Illyes mengenai navigasi berfaset sebagai sumber utama crawling berlebihan serta kapan harus memblokir atau mengoptimalkan.
• Blokir pengindeksan dengan noindex —cara kerja noindex dan jebakan bahwa halaman harus tetap dapat di-crawl.
• Pengantar robots.txt —alasan disallow bukan alat untuk menghapus halaman dari indeks.
• Kanonikalisasi URL / Tentukan URL kanonik —arti URL kanonik, penyebab duplikat, dan prinsip “petunjuk, bukan aturan”.
• Laporan Pengindeksan halaman —jumlah yang otoritatif dan status tidak terindeks yang menandakan pembengkakan.
• Hapus informasi dari Google —alat Removals dan alasan sifatnya sementara.

Bing / Microsoft

• Apakah Konten Duplikat Merugikan SEO dan Visibilitas Penelusuran AI? —pembingkaian Bing atas URL duplikat/bernilai rendah sebagai masalah efisiensi crawling dan pengenceran sinyal, bukan penalti.

Kutipan dari sumber

Pernyataan resmi dari Google dan Bing. Setiap tautan langsung menuju bagian yang dikutip pada halaman sumber.

Google—tidak ada penalti; masalahnya crawling terbuang dan sinyal encer

• “this wastes a lot of Google crawling time on your site.” (terjemahan) “hal ini membuang banyak waktu crawling Google di situs Anda.” — Dokumentasi Google Search Central. Buka kutipan
• “If Google spends too much time crawling URLs that it shouldn’t, Google’s crawlers might decide that it’s not worth the time to look at the rest of your site.” (terjemahan) “Jika Google menghabiskan terlalu banyak waktu untuk meng-crawl URL yang seharusnya tidak di-crawl, crawler Google mungkin memutuskan bahwa memeriksa bagian lain situs Anda tidak sepadan dengan waktunya.” Buka kutipan
• “The web is a nearly infinite space, exceeding Google’s ability to explore and index every available URL.” (terjemahan) “Web adalah ruang yang nyaris tak terbatas, melampaui kemampuan Google untuk menjelajahi dan mengindeks setiap URL yang tersedia.” Buka kutipan

Google (Gary Illyes)—navigasi berfaset, sumber nomor satu

• “faceted navigation is by far the most common source of overcrawl issues site owners report to us.” (terjemahan) “navigasi berfaset sejauh ini merupakan sumber masalah crawling berlebihan yang paling sering dilaporkan pemilik situs kepada kami.” — Gary Illyes, Google (Crawling December, 2024). Buka kutipan
• “Because it can generate a near-infinite number of URLs.” (terjemahan) “Karena dapat menghasilkan jumlah URL yang nyaris tak terbatas.” — Gary Illyes, Google. Buka kutipan
• “This overcrawling slows down the discovery of your important, new content.” (terjemahan) “Crawling berlebihan ini memperlambat penemuan konten baru dan penting milik Anda.” — Gary Illyes, Google. Buka kutipan
• “If you don’t need these URLs indexed, use robots.txt to disallow crawling.” (terjemahan) “Jika URL tersebut tidak perlu diindeks, gunakan robots.txt untuk melarang crawling.” — Gary Illyes, Google. Buka kutipan

Google—noindex, robots.txt, dan canonical (alatnya)

• “Google will drop that page entirely from Google Search results, regardless of whether other sites link to it.” (terjemahan) “Google akan menghapus halaman itu sepenuhnya dari hasil Google Penelusuran, terlepas dari apakah situs lain menaut kepadanya.” — Dokumentasi Google Search Central (noindex). Buka kutipan
• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file.” (terjemahan) “Agar aturan noindex efektif, halaman atau sumber daya tidak boleh diblokir oleh file robots.txt.” Buka kutipan
• “it is not a mechanism for keeping a web page out of Google.” (terjemahan) “robots.txt bukan mekanisme untuk mengeluarkan halaman web dari Google.” — Dokumentasi Google Search Central (robots.txt). Buka kutipan
• “A page that’s disallowed in robots.txt can still be indexed if linked to from other sites.” (terjemahan) “Halaman yang dilarang dalam robots.txt masih dapat diindeks jika ditautkan dari situs lain.” Buka kutipan
• “a canonical URL is the URL of a page that Google chose as the most representative from a set of duplicate pages.” (terjemahan) “URL kanonik adalah URL halaman yang dipilih Google sebagai perwakilan terbaik dari sekumpulan halaman duplikat.” Buka kutipan
• “indicating a canonical preference is a hint, not a rule.” (terjemahan) “Menunjukkan preferensi kanonik adalah petunjuk, bukan aturan.” Buka kutipan
• “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (terjemahan) “Konsolidasikan konten duplikat agar crawling berfokus pada konten unik, bukan URL unik.” Buka kutipan
• “a 404 status code is a strong signal not to crawl that URL again.” (terjemahan) “Kode status 404 adalah sinyal kuat agar URL tersebut tidak di-crawl lagi.” Buka kutipan

Google—diagnosis (laporan Pengindeksan halaman) dan Removals

• “The indexed + not indexed totals above the chart are complete and accurate from Google’s perspective.” (terjemahan) “Total terindeks + tidak terindeks di atas grafik lengkap dan akurat dari sudut pandang Google.” Buka kutipan
• “The page was crawled by Google but not indexed. It may or may not be indexed in the future.” (terjemahan) “Halaman telah di-crawl Google tetapi tidak diindeks. Halaman tersebut mungkin akan atau tidak akan diindeks pada masa mendatang.” — “Crawled - currently not indexed.” Buka kutipan
• “Requests made in the Removals tool last for about 6 months.” (terjemahan) “Permintaan yang dibuat melalui alat Removals berlaku sekitar 6 bulan.” Buka kutipan

Google (John Mueller)—kualitas seluruh situs, bukan penalti

• “you can’t force pages to be indexed — it’s normal that we don’t index all pages on all websites. It’s not an issue with ‘that page’, it’s more site-wide. Creating a good site structure and making sure the site is of the highest quality possible is essentially the direction.” (terjemahan) “Halaman tidak dapat dipaksa masuk indeks—wajar bila kami tidak mengindeks setiap halaman pada setiap situs. Ini bukan persoalan satu halaman tertentu, melainkan kondisi situs secara menyeluruh. Arah perbaikannya adalah membangun struktur situs yang baik dan memastikan mutu situs setinggi mungkin.” — John Mueller, Search Advocate, Google (2021). Buka kutipan
• “If there are overall issues with your site, you need to look at the rest of your site, not the URLs that didn’t end up getting indexed.” (terjemahan) “Jika situs memiliki masalah secara keseluruhan, periksalah bagian situs lainnya, bukan hanya URL yang tidak berhasil masuk indeks.” — John Mueller, Google. Buka kutipan
• “We don’t have a duplicate content penalty. It’s not that we would demote a site for having a lot of duplicate content.” (terjemahan) “Tidak ada penalti khusus untuk konten duplikat. Banyaknya konten duplikat tidak membuat kami otomatis menurunkan peringkat sebuah situs.” — John Mueller, Google. Buka kutipan

Bing (Fabrice Canel & Krishna Madhavan)—bukan penalti, hanya pengenceran

• “Duplicate content doesn’t trigger search penalties on its own.” (terjemahan) “Konten duplikat tidak dengan sendirinya memicu penalti penelusuran.” — Fabrice Canel & Krishna Madhavan, Microsoft Bing (2025). Buka kutipan
• “signals such as clicks, links, impressions, and engagement are often diluted.” (terjemahan) “sinyal seperti klik, tautan, tayangan, dan interaksi sering kali menjadi encer.” — Microsoft Bing. Buka kutipan

Daftar periksa audit pembengkakan indeks

Kerjakan daftar ini setelah Anda mencurigai pembengkakan—tetapi tenangkan situasi lebih dahulu (sebagian besar situs tidak memiliki masalah nyata):

• Memastikan cakupan melalui laporan Pengindeksan halaman GSC, bukan operator site:. Mencatat apakah kategori “Crawled - currently not indexed” dan “Duplicate” berukuran luar biasa besar.
• Menghitung kesenjangan halaman yang di-crawl vs berperingkat— membandingkan halaman yang dapat diindeks/di-crawl dengan halaman yang benar-benar berperingkat atau mendapat traffic; membuat daftar kandidat dari selisihnya.
• Memeriksa log server untuk crawling yang mengarah ke URL parameter/faset/feed/pencarian.
• Menjalankan crawler situs (Ahrefs Site Audit / Screaming Frog) untuk menemukan halaman tipis, duplikat, dan yatim serta URL parameter yang dapat diindeks.
• Mengidentifikasi pola sumber yang ada: navigasi berfaset, parameter URL, pencarian internal, arsip dan feed tag/kategori/penulis, paginasi, duplikat protokol/host, soft 404, ruang URL tak terbatas, serta halaman tipis/dibuat otomatis.
• Memilih alat yang tepat sesuai tujuan untuk setiap pola (lihat tabel keputusan pada tab Lembar Ringkas).
• Memastikan URL dengan noindex tetap dapat di-crawl (tidak sekaligus diblokir melalui robots.txt).
• Memastikan tidak ada halaman yang memakai keduanya, noindex dan rel=canonical.
• Untuk URL sampah yang sudah terindeks: menerapkan noindex/404/410 lebih dahulu, membiarkannya dapat di-crawl, dan baru menjadwalkan blokir robots.txt setelah URL keluar dari indeks.
• Tidak mengandalkan alat Removals sebagai perbaikan permanen (berlaku sekitar 6 bulan).
• Menyiapkan pagar pencegahan: noindex pada tingkat template CMS, aturan parameter, URL konsisten, dan audit ulang setiap kuartal.

Model mental

1. Kualitas, bukan kuantitas. Pembengkakan indeks bukan berarti “terlalu banyak halaman”, melainkan “halaman terindeks yang tidak memiliki nilai penelusuran”. Pertanyaan auditnya bukan “berapa banyak halaman yang saya punya?”, melainkan “halaman mana yang layak berada di indeks?”

2. Efisiensi + pengenceran, tidak pernah penalti. Tidak ada penalti pembengkakan indeks maupun penalti konten duplikat. Dua biaya nyatanya adalah crawling terbuang (URL sampah menyita crawling dari halaman bagus) dan sinyal yang diencerkan (nilai terbagi di antara halaman yang hampir sama). Bingkai setiap rekomendasi berdasarkan dua hal itu, bukan rasa takut akan penurunan peringkat.

3. Gerbang “apakah ini berpengaruh?” Jalankan sebelum mengubah apa pun: apakah ini situs besar atau berbasis template? Apakah halaman baru/penting lambat di-crawl dan diindeks? Apakah kategori “Crawled - currently not indexed” atau “Duplicate” membengkak di GSC? Jika tidak ada yang benar, pembengkakan itu sebagian besar hanya kosmetik—gunakan waktu Anda untuk hal lain.

4. Cocokkan alat dengan tujuan URL. Seluruh perbaikan merupakan keputusan per jenis URL: tanpa nilai → noindex; duplikat yang bernilai → rel=canonical; URL sampah dalam volume besar yang bahkan tidak perlu diambil → robots.txt; benar-benar hilang → 404/410; banyak halaman tipis → konsolidasi. (Lihat tabel keputusan pada Lembar Ringkas.)

5. Urutan penting: hapus dari indeks sebelum memblokir. Untuk menghapus URL yang sudah terindeks, biarkan URL dapat di-crawl sambil membawa noindex (atau 404/410) sampai diproses ulang Google; blokir melalui robots.txt hanya setelah URL hilang. Memblokir lebih dahulu menjebaknya di indeks.

6. Jumlah yang otoritatif berada di GSC. site: adalah perkiraan kasar untuk menemukan pola. Laporan Pengindeksan halaman memberikan jumlahnya—dan alasan tidak terindeks di laporan itu merupakan diagnosis yang sebenarnya.

Tabel keputusan perbaikan—noindex vs canonical vs robots.txt vs 404/410 vs konsolidasi

Aturan urutan: untuk menghapus permanen URL bernilai rendah yang sudah terindeks, terapkan noindex (atau 404/410) dan biarkan URL dapat di-crawl sampai diproses ulang Google; tambahkan disallow di robots.txt hanya setelah URL keluar dari indeks. Memblokir lebih dahulu menjebaknya di indeks.

Lembar ringkas diagnosis

Alat untuk menemukan dan memperbaiki pembengkakan indeks

• Google Search Console—laporan Pengindeksan halaman—jumlah halaman terindeks yang otoritatif dan alasan halaman tidak terindeks. Mulai di sini; inilah sumber kebenaran, bukan site:.
• GSC—Inspeksi URL—periksa cara satu URL di-crawl, dirender, dan diindeks, serta URL kanonik yang dipilih Google.
• GSC—alat Removals—keluarkan URL dari hasil dengan cepat (sementara, ~6 bulan; pasangkan dengan perbaikan permanen).
• Ahrefs Site Audit / Screaming Frog SEO Spider—simulasikan crawling untuk menemukan halaman tipis, duplikat, dan yatim; URL parameter yang dapat diindeks; serta klaster halaman yang hampir sama. Bandingkan dengan sitemap dan halaman yang memperoleh traffic.
• Analisis file log server—lihat ke mana crawling benar-benar berjalan (Screaming Frog Log File Analyser, atau salurkan log ke BigQuery/platform log). (Lihat analisis file log.)
• Ahrefs Webmaster Tools—crawling + audit gratis untuk situs yang Anda verifikasi.
• Bing Webmaster Tools—informasi cakupan indeks dan crawling Bing.

Sumber daya yang layak Anda baca

Tulisan terkait saya

• Navigasi Berfaset: Panduan Definitif —sumber utama pembengkakan indeks dan cara mengendalikannya (asal definisi “nilai penelusuran”).
• Kanonikalisasi: Panduan Definitif —alat konsolidasi utama, sekitar 40 sinyal kanonik, dan aturan untuk tidak pernah mencampur noindex dengan rel=canonical.
• Konten Duplikat: Mengapa Terjadi dan Cara Memperbaikinya —termasuk pernyataan Mueller, “we don’t have a duplicate content penalty.” (terjemahan) “kami tidak memiliki penalti konten duplikat.”
• Di-crawl—Saat Ini Belum Diindeks —status GSC yang menjadi sidik jari klasik pembengkakan.
• Panduan Pemula untuk SEO Teknis —posisi pengindeksan dalam gambaran yang lebih besar.

Presentasi saya

• Cara Kerja Penelusuran (SlideShare)—panduan saya tentang crawl → indeks → sajikan. (Penyangkalan tetap berlaku: “This is my understanding of systems… not going to be 100% complete or accurate.” (terjemahan) “Ini adalah pemahaman saya tentang sistem… dan tidak akan 100% lengkap atau akurat.”)

Dari pihak lain

• Seri Google tentang crawling pada Desember —kumpulan penjelasan crawling/pengindeksan yang sangat padat, termasuk tulisan Gary Illyes tentang navigasi berfaset.
• Komunitas r/TechSEO —tempat men-debug crawling/pengindeksan.
• Pembengkakan Indeks dalam SEO: Pengertian dan Cara Memperbaikinya (Search Engine Land) —ikhtisar kuat yang membahas pagar otomatisasi dan noindex tingkat template CMS.
• Di-crawl—Saat Ini Belum Diindeks: Tanda Masalah Kualitas Google? (Search Engine Roundtable, Barry Schwartz) —liputan Mueller yang membingkai status tersebut sebagai sinyal kualitas seluruh situs, bukan bug per halaman.
• Pembengkakan Indeks (Inflow) —pembahasan navigasi berfaset dan pembengkakan parameter yang berfokus pada e-commerce, berguna bagi pemilik toko.
• Screaming Frog SEO Spider —crawler yang banyak digunakan bersama Ahrefs Site Audit untuk mengaudit halaman tipis, duplikat, dan yatim serta URL parameter yang dapat diindeks.

Contoh praktis

1. Navigasi berfaset meledak menjadi URL yang dapat diindeks

https://example.com/shoes/
https://example.com/shoes/?color=red
https://example.com/shoes/?color=red&size=9
https://example.com/shoes/?color=red&size=9&sort=price-asc
https://example.com/shoes/?color=red&size=9&sort=price-asc&in-stock=true

• Salah: membiarkan CMS menaut otomatis ke setiap kombinasi dan membiarkan semuanya dapat di-crawl serta diindeks. Setiap parameter melipatgandakan jumlah URL, padahal kombinasi yang dalam tidak memiliki permintaan penelusuran unik.
• Benar: tentukan parameter mana yang cukup mengubah konten sehingga layak memiliki URL terindeks sendiri (biasanya hanya color) dan mana yang sekadar kebisingan pengurutan/filter (sort, in-stock). Kanonikalisasikan parameter kebisingan kembali ke /shoes/?color=red, lalu blokir kombinasi paling berisik melalui robots.txt jika masih menghasilkan traffic crawling setelah kanonikalisasi.

2. Jebakan noindex + robots.txt

# robots.txt
User-agent: *
Disallow: /search/

<!-- /search/?q=running+shoes -->
<meta name="robots" content="noindex">

• Salah: pengamanan ganda ini terlihat hati-hati, tetapi justru merugikan. Googlebot diblokir oleh robots.txt sehingga tidak pernah mengambil /search/?q=running+shoes lagi dan tidak melihat tag noindex. Jika URL sudah terindeks, URL dapat tetap terindeks tanpa batas waktu, sering kali tanpa cuplikan.
• Benar: hapus baris Disallow: /search/ lebih dahulu, biarkan tag noindex bekerja (Google meng-crawl ulang, membaca tag, dan menghapus halaman), pastikan melalui laporan Pengindeksan halaman GSC bahwa URL telah berpindah ke “Excluded by noindex tag,” (terjemahan) “Dikecualikan oleh tag noindex,” lalu tambahkan blokir robots.txt bila Anda juga ingin menghemat anggaran crawling pada jalur itu ke depannya.

3. Konten duplikat dari varian protokol/host, diperbaiki dengan canonical

http://example.com/guide/
http://www.example.com/guide/
https://example.com/guide/
https://www.example.com/guide/

• Salah: menyajikan konten identik di keempat URL dan membiarkan Google memilih sesukanya—ekuitas tautan dan sinyal interaksi terbagi empat.
• Benar: pilih satu kombinasi host/protokol kanonik (misalnya https://www.example.com/guide/), alihkan 301 tiga URL lainnya ke sana, dan tambahkan <link rel="canonical" href="https://www.example.com/guide/"> sebagai sinyal cadangan. Gunakan canonical-checker (/tools/canonical-checker) untuk memastikan keempat varian mengarah ke URL kanonik yang sama.

4. Arsip tag tipis dikonsolidasikan, bukan diberi noindex

Sebuah penerbit memiliki /tag/seo/, /tag/seo-tips/, dan /tag/technical-seo/—tiga halaman arsip yang nyaris sama dan masing-masing mencantumkan 2–3 posting yang sama.

• Salah: memberi noindex pada ketiganya sehingga nilai tautan internal hilang, atau membiarkan semuanya terindeks sebagai duplikat tipis yang hampir sama.
• Benar: gabungkan menjadi satu arsip /tag/seo/, alihkan 301 dua URL lainnya, dan perbarui tautan internal agar menunjuk ke URL yang dipertahankan. Ini “konsolidasi”, bukan “noindex”, karena halaman tersebut memiliki nilai tautan dan pengorganisasian yang sah—nilainya hanya terpecah-pecah.

Uji validasi

Pastikan setiap perbaikan benar-benar berlaku—jangan menganggapnya berhasil hanya karena sudah diterapkan.

Uji: noindex menghapus URL bernilai rendah dari indeks

• Uji yang dijalankan: Setelah menambahkan noindex dan memastikan halaman TIDAK diblokir di robots.txt (gunakan robots-txt-tester, /tools/robots-txt-tester), periksa status URL di GSC → laporan Pengindeksan halaman, atau lakukan pemeriksaan cepat melalui Inspeksi URL.
• Hasil yang diharapkan: Status berpindah ke “Excluded by ‘noindex’ tag”.
• Interpretasi kegagalan: Status masih “Indexed” atau menjadi “Blocked by robots.txt”—halaman terjebak di indeks karena Google tidak dapat meng-crawl halaman untuk membaca tag noindex.
• Jendela pemantauan: 1–4 minggu agar Google meng-crawl dan memproses ulang, bergantung pada frekuensi crawling URL.
• Pemicu rollback: Jika halaman masih terindeks setelah 4+ minggu, pastikan robots.txt tidak memblokirnya, lalu gunakan alat Removals GSC sebagai penahan sementara selama noindex diproses.

Uji: disallow robots.txt benar-benar menghentikan crawling (bukan pengindeksan)

• Uji yang dijalankan: Tambahkan aturan Disallow, pastikan sintaksnya benar melalui robots-txt-tester (/tools/robots-txt-tester), lalu periksa log server dengan log-file-analyzer (/tools/log-file-analyzer) untuk hit Googlebot yang masih masuk ke jalur terblokir.
• Hasil yang diharapkan: Hit Googlebot pada jalur yang dilarang turun menjadi nol di log. (URL masih dapat berstatus “Indexed, though blocked by robots.txt” di GSC jika sudah terindeks—itu wajar, bukan kegagalan.)
• Interpretasi kegagalan: Hit crawling yang berlanjut berarti aturan tidak cocok dengan pola URL yang sebenarnya (periksa salah ketik, sensitivitas huruf besar/kecil, atau aturan Allow yang bertentangan).
• Jendela pemantauan: Langsung untuk pemeriksaan sintaks robots.txt; 1–2 minggu data log untuk memastikan perilaku crawling berubah.
• Pemicu rollback: Jika halaman sah di jalur yang sama ikut berhenti di-crawl, polanya terlalu luas—persempit dan uji ulang.

Uji: rel=canonical dipatuhi (tidak diabaikan)

• Uji yang dijalankan: Tetapkan tag canonical pada duplikat, lalu periksa GSC → laporan Pengindeksan halaman → Duplicate, Google chose different canonical than user, atau inspeksi URL tertentu. Bandingkan kanonik yang dideklarasikan dan di-crawl dengan canonical-checker (/tools/canonical-checker).
• Hasil yang diharapkan: “Google-selected canonical” milik duplikat cocok dengan URL kanonik yang Anda deklarasikan.
• Interpretasi kegagalan: Jika Google memilih URL kanonik lain, kedua halaman mungkin tidak cukup mirip sehingga petunjuk tidak dipercaya, atau ada sinyal yang bersaing (tautan internal, entri sitemap, atau backlink yang masih menuju duplikat).
• Jendela pemantauan: 2–4 minggu agar pemilihan kanonik stabil setelah perubahan.
• Pemicu rollback: Jika Google terus mengabaikannya setelah satu bulan, perkuat sinyal (301 alih-alih canonical, perbarui tautan internal ke URL pilihan, hapus duplikat dari sitemap).

Uji: konsolidasi mengurangi kesenjangan di-crawl vs berperingkat

• Uji yang dijalankan: Sebelum menggabungkan halaman tipis, hitung URL yang dapat diindeks/di-crawl (melalui site-audit-lite, /tools/site-audit-lite, atau crawler lengkap) dan bandingkan dengan halaman yang berperingkat atau mendapat traffic organik. Setelah konsolidasi, ulangi perhitungan yang sama.
• Hasil yang diharapkan: Kesenjangan menyempit—lebih sedikit URL yang di-crawl/diindeks dibandingkan halaman berperingkat, dan kategori “Crawled - currently not indexed” di GSC mengecil.
• Interpretasi kegagalan: Jika kesenjangan tidak berubah, halaman gabungan mungkin belum dialihkan (masih dapat di-crawl sebagai duplikat tipis), atau pembengkakan baru dihasilkan secepat proses pembersihan.
• Jendela pemantauan: 4–8 minggu—ini sinyal kumulatif yang lebih lambat, bukan sinyal langsung.
• Pemicu rollback: Tidak ada rollback sesungguhnya; jika kesenjangan melebar, audit ulang sumber pembengkakan baru (perubahan template, parameter baru, pembaruan CMS), bukan membatalkan konsolidasi.

Cara mengukur pembengkakan indeks dari waktu ke waktu

Berikut KPI tetap untuk topik ini—pantau secara berkala, bukan hanya saat pembersihan satu kali.

Kesenjangan halaman yang di-crawl vs berperingkat

• Informasi yang diberikan: Seberapa banyak halaman terindeks yang benar-benar menghasilkan traffic organik atau peringkat dibandingkan halaman yang hanya menjadi beban mati.
• Cara mengambil data: Hitung URL yang dapat diindeks/di-crawl (crawler situs atau site-audit-lite, /tools/site-audit-lite) dan bandingkan dengan halaman yang memiliki klik atau tayangan organik di Google Search Console (laporan Performa) selama periode yang sama.
• Tolok ukur / rentang realistis: Sangat bergantung pada jenis dan usia situs— tidak ada rasio sehat universal. Tetapkan baseline sendiri pada pengukuran pertama, lalu pantau tren: kesenjangan yang melebar dari waktu ke waktu adalah sinyal untuk bertindak, bukan rasio tertentu.
• Frekuensi: Setiap kuartal, atau setelah perubahan besar pada template/CMS.

Jumlah “Crawled - currently not indexed” (GSC)

• Informasi yang diberikan: Jumlah halaman yang telah dilihat Google tetapi tidak diindeks—sidik jari klasik pembengkakan dan, menurut pembingkaian Mueller, sinyal kualitas seluruh situs.
• Cara mengambil data: GSC → laporan Pengindeksan halaman, tabel “Mengapa halaman tidak diindeks”.
• Tolok ukur / rentang realistis: Tidak ada angka universal yang jujur—situs berbasis template dengan ribuan varian tipis secara alami menampilkan lebih banyak daripada situs kecil yang dikurasi. Bandingkan dengan jumlah total URL sendiri dan pantau tren setelah setiap perbaikan, bukan target absolut.
• Frekuensi: Setiap bulan, atau segera setelah penerapan noindex/canonical untuk memastikan jumlahnya menyusut.

Jumlah URL berstatus duplikat (GSC)

• Informasi yang diberikan: Jumlah URL yang diperlakukan Google sebagai duplikat—baik “without user-selected canonical” maupun “Google chose different canonical than user”.
• Cara mengambil data: GSC → laporan Pengindeksan halaman, filter ke dua baris status duplikat.
• Tolok ukur / rentang realistis: Bergantung pada banyaknya struktur URL parameter/varian yang sah. Jumlah yang meningkat setelah penerapan kanonikalisasi berarti sinyal tidak dipatuhi; jumlah yang menurun berarti penerapan berhasil.
• Frekuensi: Setiap bulan.

Pangsa crawling terbuang (dari file log)

• Informasi yang diberikan: Persentase hit crawling Googlebot yang benar-benar mendarat pada pola URL bernilai rendah (parameter, faset, pencarian internal, halaman feed), bukan konten utama.
• Cara mengambil data: log-file-analyzer (/tools/log-file-analyzer) atau pipeline analitik log, disegmentasikan menurut pola URL.
• Tolok ukur / rentang realistis: Tidak ada target tetap—bergantung pada arsitektur situs. Jadikan pengukuran pertama sebagai baseline dan pantau apakah pangsa terbuang menyusut setelah perbaikan noindex/robots.txt/konsolidasi.
• Frekuensi: Setiap bulan pada situs besar/berbasis template; setiap kuartal untuk situs lainnya.

Kuis

Lima pemeriksaan singkat untuk memastikan pembingkaian pembengkakan indeks sudah dipahami.

Log perubahan