Pengindeksan

TL;DR — Pengindeksan adalah cara mesin pencari menyimpan halaman Anda agar dapat muncul dalam hasil. Setelah halaman di-crawl (diunduh), mesin pencari memahami isi halaman dan memutuskan apakah akan menyimpannya. Di-crawl tidak berarti sudah diindeks— Google memilih halaman yang layak disimpan. Diindeks juga tidak sama dengan mendapat peringkat; itu hanya berarti halaman memenuhi syarat untuk bersaing.

Apa itu pengindeksan

Penelusuran bekerja dalam tiga tahap yang berurutan:

1. Crawl — bot seperti Googlebot menemukan URL dan mengunduh halaman.
2. Indeks — mesin pencari membaca halaman, memahami topiknya, lalu menyimpannya dalam basis data besar berisi semua hal yang mungkin ditampilkan dalam hasil.
3. Sajikan (beri peringkat) — ketika seseorang menelusuri sesuatu, mesin pencari mengambil kecocokan terbaik dari basis data tersebut dan mengurutkannya.

Pengindeksan adalah tahap kedua. Jika halaman tidak diindeks, halaman itu tidak dapat mendapat peringkat karena tidak ada dalam basis data yang menjadi sumber hasil. Namun, pengindeksan sendiri tidak menaikkan posisi; pengindeksan hanya membuat halaman ikut bersaing.

Di-crawl tidak berarti diindeks

Bagian ini sering terlewat. Google tidak mengindeks setiap halaman yang di-crawl—Google memilih halaman yang layak disimpan. Menurut Google, “indexing isn’t guaranteed; not every page that Google processes will be indexed.” (terjemahan) “pengindeksan tidak dijamin; tidak setiap halaman yang diproses Google akan diindeks” Evidence for this claim Google does not guarantee that every processed page will be indexed. Scope: Google Search indexing; the source gives examples of possible causes rather than an exhaustive decision formula. Confidence: high · Verified: 2026-07-14 Google Search Central: In-depth guide to how Google Search works Halaman paling sering dikeluarkan karena kontennya tipis atau bernilai rendah, aturan noindex meminta Google melewatinya, atau masalah teknis membuat halaman sulit diproses.

Jadi, jika sebuah halaman tidak muncul di penelusuran, “Google hasn’t crawled it” (terjemahan) “Google belum melakukan crawl” dan “Google crawled it but didn’t keep it” (terjemahan) “Google telah melakukan crawl tetapi tidak menyimpannya” adalah dua masalah berbeda yang memerlukan solusi berbeda.

Cara memeriksa apakah halaman sudah diindeks

• Google Search Console adalah sumber utama. Alat Inspeksi URL memberi tahu apakah halaman tertentu diindeks, sedangkan laporan Pengindeksan halaman menjelaskan mengapa halaman di seluruh situs diindeks atau tidak.
• Untuk satu URL tertentu, gunakan Inspeksi URL. Anda tidak dapat menelusuri atau memfilter laporan Pengindeksan halaman berdasarkan URL; laporan itu menunjukkan pola di seluruh situs, bukan pemeriksaan satu halaman. Hasil pengujian langsung yang bersih juga bukan gambaran lengkap karena tidak memeriksa semua kondisi dalam laporan, terutama duplikat dan kanonis.
• Operator site: (misalnya site:example.com/page) dapat menjadi pemeriksaan kasar yang praktis, tetapi Search Console tetap merupakan sumber kebenaran.

Cara menjaga halaman tetap DI LUAR indeks

Di sinilah banyak orang keliru. Jika Anda ingin menghilangkan halaman dari penelusuran:

• Tambahkan tag noindex (tag meta robots atau header X-Robots-Tag), dan
• Pastikan halaman tetap dapat di-crawl—jangan blokir di robots.txt.

Mengapa? Google harus dapat melakukan crawl untuk melihat noindex. Jika halaman diblokir di robots.txt, Google tidak dapat membaca tag tersebut—dan halaman tetap dapat diindeks jika halaman lain menaut kepadanya. Evidence for this claim Google must be able to crawl a page to see and apply its noindex rule. Scope: Google-supported robots meta and X-Robots-Tag directives; a robots.txt block can prevent Google from seeing the rule. Confidence: high · Verified: 2026-07-14 Google Search Central: Block Search indexing with noindex

Itu mencakup kasus sehari-hari. Untuk kasus penghapusan khusus—halaman yang harus segera hilang, halaman privat atau berpelindung kata sandi yang bocor ke indeks, atau keputusan 404/410 versus noindex—lihat panduan khusus cara mendeindeks halaman.

Ingin penjelasan lebih mendalam tentang apa yang terjadi selama pengindeksan, cara kerja kanonikalisasi, dan cara membaca setiap status dalam laporan Pengindeksan halaman Search Console? Buka tab Lanjutan.

TL;DR — Pengindeksan adalah tahap kedua dari tiga tahap penelusuran (crawl → indeks → sajikan): Google memahami halaman yang di-crawl (teks, tag penting, gambar, video; termasuk merender JS), mendeteksi duplikat, mengelompokkan halaman serupa dan memilih halaman paling representatif (kanonikalisasi—rel=canonical adalah petunjuk, bukan aturan), menghitung sinyal, lalu menyimpan halaman kanonis dalam indeks. Di-crawl ≠ diindeks—“indexing isn’t guaranteed” (terjemahan) “pengindeksan tidak dijamin”, dan keputusan ini terutama menyangkut kualitas/nilai. Laporan Pengindeksan halaman Search Console adalah pusat kendali. Untuk mendeindeks, gunakan noindex dan pertahankan akses crawl; jangan gunakan robots.txt untuk menghapus halaman, karena halaman yang diblokir tetap dapat diindeks (hanya tanpa cuplikan).

Pengindeksan adalah tahap kedua dari tiga tahap

Google menjelaskan alur ini dengan tegas: “Google Search works in three stages, and not all pages make it through each stage” (terjemahan) “Google Penelusuran bekerja dalam tiga tahap, dan tidak semua halaman berhasil melewati setiap tahap”—crawling, pengindeksan, dan penyajian. Pengindeksan adalah tahap tengah, dan dokumentasinya mendefinisikannya dengan jelas: “Indexing: Google analyzes the text, images, and video files on the page, and stores the information in the Google index, which is a large database.” (terjemahan) “Pengindeksan: Google menganalisis teks, gambar, dan file video pada halaman, lalu menyimpan informasinya dalam indeks Google, yaitu basis data besar”

Halaman harus di-crawl sebelum dapat diindeks, dan harus diindeks sebelum dapat mendapat peringkat. Namun, tidak satu pun tahap itu dijamin—setiap tahap adalah filter. Memisahkan ketiganya dalam pikiran adalah model mental paling berguna dalam SEO teknis. Karena itu, sebelum mengubah apa pun, saya selalu menanyakan tahap mana yang gagal. Untuk tahap sebelumnya, lihat hub crawling; crawl → indeks adalah alurnya.

Apa yang sebenarnya terjadi selama pengindeksan

Pengindeksan bukan satu tindakan; ini adalah rangkaian:

• Memahami konten. Google: “After a page is crawled, Google tries to understand what the page is about. This stage is called indexing.” (terjemahan) “Setelah halaman di-crawl, Google mencoba memahami topik halaman tersebut. Tahap ini disebut pengindeksan”. Artinya, “Google analyzes the textual content and key content tags and attributes, such as <title> elements and alt attributes, images, videos, and more.” (terjemahan) “Google menganalisis konten tekstual serta tag dan atribut konten penting, seperti elemen <title>, atribut alt, gambar, video, dan lainnya”. JavaScript dirender sebagai bagian proses ini; jika konten baru muncul setelah JS berjalan, konten tetap harus dirender sebelum dapat dipahami.
• Deteksi duplikat dan kanonikalisasi. Google “determines if a page is a duplicate of another page on the internet or canonical.” (terjemahan) “menentukan apakah sebuah halaman merupakan duplikat halaman lain di internet atau merupakan halaman kanonis”. Mekanismenya: “we first group together (also known as clustering) the pages that we found on the internet that have similar content, and then we select the one that’s most representative of the group.” (terjemahan) “kami terlebih dahulu mengelompokkan halaman di internet yang memiliki konten serupa, lalu memilih halaman yang paling mewakili kelompok tersebut”. Perwakilan itu adalah kanonis—“The canonical is the page that may be shown in search results.” (terjemahan) “Halaman kanonis adalah halaman yang dapat ditampilkan dalam hasil penelusuran”.
• Menghitung sinyal dan menyimpan. Terakhir, “The collected information about the canonical page and its cluster may be stored in the Google index, a large database hosted on thousands of computers.” (terjemahan) “Informasi yang dikumpulkan tentang halaman kanonis dan kelompoknya dapat disimpan dalam indeks Google, basis data besar yang dihosting pada ribuan komputer”. Sistem pengindeksan Google bernama Caffeine—lapisan yang menyerap data crawl, merender dan mengekstrak, menghitung sinyal, serta membangun indeks yang disajikan.

Kanonikalisasi: petunjuk, bukan perintah

Karena kanonikalisasi terjadi selama pengindeksan, proses ini perlu dibahas tersendiri. “Canonicalization is the process of selecting the representative –canonical– URL of a piece of content,” (terjemahan) “Kanonikalisasi adalah proses memilih URL perwakilan—kanonis—untuk suatu konten”, dan proses itu ada karena “this process helps Google show only one version of the otherwise duplicate content in its search results.” (terjemahan) “proses ini membantu Google hanya menampilkan satu versi konten yang jika tidak akan menjadi duplikat dalam hasil penelusurannya”.

Detail pentingnya: rel=canonical Anda adalah saran. Menurut Google, “indicating a canonical preference is a hint, not a rule.” (terjemahan) “menunjukkan preferensi kanonis adalah petunjuk, bukan aturan”. Google menimbang banyak sinyal. Dalam panduan kanonikalisasi saya mencatat bahwa, menurut Allan Scott dari Google, terdapat sekitar 40 sinyal pemilihan kanonis; Google dapat memilih URL berbeda dari yang Anda tandai. Itulah makna status “Duplicate, Google chose different canonical than user” (terjemahan) “Duplikat, Google memilih kanonis yang berbeda dari pengguna” di Search Console.

Di-crawl ≠ diindeks: mengapa halaman tidak diindeks

Berikut pembantah mitos langsung dari dokumentasi: “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (terjemahan) “Pengindeksan tidak dijamin; tidak setiap halaman yang diproses Google akan diindeks” Evidence for this claim Google does not guarantee that every processed page will be indexed. Scope: Google Search indexing; the source gives examples of possible causes rather than an exhaustive decision formula. Confidence: high · Verified: 2026-07-14 Google Search Central: In-depth guide to how Google Search works Google mencantumkan alasan umum: “The quality of the content on page is low,” (terjemahan) “Kualitas konten pada halaman rendah”, “Robots meta rules disallow indexing,” (terjemahan) “Aturan meta robots melarang pengindeksan”, dan “The design of the website might make indexing difficult.” (terjemahan) “Desain situs mungkin mempersulit pengindeksan”.

Perwakilan Google bahkan lebih tegas bahwa ini adalah keputusan pemilihan berdasarkan nilai, bukan kuota yang dapat dibeli:

• John Mueller, tentang berapa lama “Discovered/Crawled – currently not indexed” (terjemahan) “Ditemukan/Di-crawl—saat ini tidak diindeks” dapat bertahan: “That can be forever. It’s something where we just don’t crawl and index all pages.” (terjemahan) “Itu dapat berlangsung selamanya. Kami memang tidak melakukan crawl dan mengindeks semua halaman”. Solusinya bukan mengirim ulang, melainkan membuat sistem mengenali nilainya: “continue working on the website and making sure that our systems recognize that there’s value in crawling and indexing more and then over time we will crawl and index more.” (terjemahan) “terus mengembangkan situs dan memastikan sistem kami mengenali bahwa melakukan crawl dan mengindeks lebih banyak halaman memiliki nilai; seiring waktu kami akan melakukannya”.
• Mueller kembali menegaskan: “it’s important to keep in mind that Google just doesn’t index every page on the web, even if it’s submitted directly.” (terjemahan) “penting diingat bahwa Google memang tidak mengindeks setiap halaman di web, meskipun halaman dikirim langsung”. Ia juga berkata: “Well, lots of SEOs & sites (perhaps not you/yours!) produce terrible content that’s not worth indexing.” (terjemahan) “Banyak praktisi SEO dan situs menghasilkan konten buruk yang tidak layak diindeks”.
• Gary Illyes menjelaskan selektivitasnya: “we don’t have infinite space, so we want to index stuff that we think– well, not we– but our algorithms determine that it might be searched for…” (terjemahan) “kami tidak memiliki ruang tak terbatas, jadi kami ingin mengindeks hal-hal yang menurut algoritme mungkin dicari”.
• Martin Splitt menyebutnya tindakan penyeimbangan: “I usually describe it as a challenge with the balance between not overwhelming the website and also spending our resources where it matters.” (terjemahan) “Saya biasanya menggambarkannya sebagai tantangan menyeimbangkan agar situs tidak kewalahan sekaligus menggunakan sumber daya kami pada hal yang penting”.

Kesimpulan praktisnya: sitemap atau “minta pengindeksan” membantu penemuan, bukan pemilihan. Mengirim halaman lagi tidak akan memaksanya masuk indeks. Tuas utamanya adalah kualitas dan nilai situs.

Membaca laporan Pengindeksan halaman Google Search Console

Masalah pengindeksan terlihat dalam laporan Pengindeksan halaman. Perlakukan setiap status sebagai diagnosis. Berikut deskripsi verbatim Google:

• Di-crawl—saat ini tidak diindeks: “The page was crawled by Google but not indexed. It may or may not be indexed in the future; no need to resubmit this URL for crawling.” (terjemahan) “Halaman di-crawl Google tetapi tidak diindeks. Halaman mungkin akan atau tidak akan diindeks di masa depan; URL ini tidak perlu dikirim ulang untuk crawling”. Biasanya ini penilaian kualitas/nilai—perbaiki halaman, jangan berulang kali mengirim ulang.
• Ditemukan—saat ini tidak diindeks: “The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl.” (terjemahan) “Halaman ditemukan Google tetapi belum di-crawl. Biasanya Google ingin melakukan crawl URL, tetapi hal itu diperkirakan membebani situs sehingga crawl dijadwalkan ulang”. Secara teknis ini status sebelum crawl yang dipicu kapasitas, tetapi jika menetap, perwakilan Google mengaitkannya dengan nilai.
• Duplikat tanpa kanonis yang dipilih pengguna: “This page is a duplicate of another page, although it doesn’t indicate a preferred canonical page. Google has chosen the other page as the canonical for this page, and so will not serve this page in Search.” (terjemahan) “Halaman ini merupakan duplikat halaman lain dan tidak menunjukkan halaman kanonis pilihan. Google memilih halaman lain sebagai kanonis sehingga halaman ini tidak akan disajikan di Penelusuran”.
• Duplikat, Google memilih kanonis berbeda dari pengguna: “This page is marked as canonical for a set of pages, but Google thinks another URL makes a better canonical.” (terjemahan) “Halaman ini ditandai sebagai kanonis untuk sekumpulan halaman, tetapi Google menilai URL lain lebih baik sebagai kanonis”.
• Halaman alternatif dengan tag kanonis yang tepat: “This page is marked as an alternate of another page… This page correctly points to the canonical page, which is indexed, so there is nothing you need to do.” (terjemahan) “Halaman ini ditandai sebagai alternatif halaman lain… Halaman ini dengan benar menunjuk ke halaman kanonis yang diindeks, sehingga Anda tidak perlu melakukan apa pun”.
• Diindeks, meskipun diblokir robots.txt: “The page was indexed despite being blocked by your website’s robots.txt file. Google always respects robots.txt, but this doesn’t necessarily prevent indexing if someone else links to your page.” (terjemahan) “Halaman diindeks meskipun diblokir file robots.txt situs Anda. Google selalu mematuhi robots.txt, tetapi itu tidak selalu mencegah pengindeksan jika pihak lain menaut ke halaman Anda”. Ini membuktikan bahwa memblokir crawling tidak memblokir pengindeksan.
• URL diblokir robots.txt: “This page was blocked by your site’s robots.txt file.” (terjemahan) “Halaman ini diblokir oleh file robots.txt situs Anda”.
• URL ditandai ‘noindex’: “When Google tried to index the page it encountered a ‘noindex’ directive and therefore did not index it.” (terjemahan) “Saat mencoba mengindeks halaman, Google menemukan arahan ‘noindex’ sehingga tidak mengindeksnya”.
• Halaman dengan pengalihan: “This is a non-canonical URL that redirects to another page. As such, this URL will not be indexed.” (terjemahan) “Ini adalah URL nonkanonis yang mengalihkan ke halaman lain. Karena itu, URL ini tidak akan diindeks”.
• Soft 404: “The page request returns what we think is a soft 404 response. This means that it returns a user-friendly ‘not found’ message but not a 404 HTTP response code.” (terjemahan) “Permintaan halaman menampilkan respons yang kami anggap sebagai soft 404. Artinya, halaman menampilkan pesan ‘tidak ditemukan’ yang ramah pengguna, tetapi bukan kode respons HTTP 404”.

Cara mengontrol pengindeksan dengan benar

Agar halaman diindeks: pastikan dapat di-crawl, tautkan secara internal, cantumkan dalam sitemap—dan yang terpenting, buat halaman layak diindeks. Bantuan penemuan tidak mengesampingkan penilaian nilai.

Agar halaman tetap DI LUAR—kontrol yang paling sering disalahgunakan dalam SEO: gunakan noindex, “a rule set with either a <meta> tag or HTTP response header,” (terjemahan) “aturan yang ditetapkan melalui tag <meta> atau header respons HTTP”, dan biarkan halaman dapat di-crawl. Peringatan penting Google: “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” (terjemahan) “Agar aturan noindex efektif, halaman atau sumber daya tidak boleh diblokir oleh file robots.txt dan harus tetap dapat diakses crawler”.

Kesalahan yang terus saya lihat adalah menambahkan noindex sekaligus memblokir halaman di robots.txt. Itu kontraproduktif. Dalam Cara Menghapus URL dari Google Penelusuran, saya menulis: “For these tags to be seen, a search engine needs to be able to crawl the pages—so make sure they aren’t blocked in robots.txt” (terjemahan) “Agar tag ini terlihat, mesin pencari harus dapat melakukan crawl halaman—jadi pastikan halaman tidak diblokir di robots.txt”, dan “Crawling is not the same thing as indexing. Even if Google is blocked from crawling pages, if there are any internal or external links to a page they can still index it.” (terjemahan) “Crawling tidak sama dengan pengindeksan. Walaupun Google diblokir dari crawling, halaman masih dapat diindeks jika memiliki tautan internal atau eksternal”. Dalam artikel Diindeks, meskipun diblokir robots.txt, saya berkata: “Unless Google can crawl a page, they won’t see the noindex meta tag and may still index it because it has links.” (terjemahan) “Jika Google tidak dapat melakukan crawl halaman, Google tidak akan melihat tag meta noindex dan mungkin tetap mengindeksnya karena halaman memiliki tautan”. Solusinya: “Just add a noindex meta robots tag and make sure to allow crawling—assuming it’s canonical.” (terjemahan) “Tambahkan tag meta robots noindex dan pastikan crawling diizinkan—dengan asumsi halaman tersebut kanonis”.

Untuk pohon keputusan penghapusan yang lebih lengkap—404/410 versus noindex, penahanan sekitar 6 bulan oleh alat Penghapusan, dan perlindungan kata sandi—lihat cara mendeindeks halaman.

Pengindeksan di Bing

Bing menjalankan alur yang sama. Microsoft menjelaskannya: “As Bingbot crawls the web, it sends information to Bing about what it finds. These pages are then added to the Bing index.” (terjemahan) “Saat Bingbot melakukan crawl web, bot mengirimkan informasi temuannya kepada Bing. Halaman tersebut kemudian ditambahkan ke indeks Bing”. Kontrol yang sama berlaku—arahan noindex menjaga halaman di luar indeks, sedangkan robots.txt yang terlalu ketat dapat mencegah Bingbot melakukan crawl. Bing juga memerlukan setidaknya satu tautan menuju situs Anda untuk menemukannya.

Tidak setiap halaman layak berada dalam indeks

Filter sederhana, bukan aturan universal: halaman layak diindeks jika dapat muncul untuk penelusuran dengan hasil yang unik dan berguna. Gunakan standar itu untuk menilai duplikat, variasi parameter, URL privat atau staging, serta halaman inventaris tipis atau berulang—bukan sebagai alasan otomatis memberi noindex pada seluruh jenis halaman. Selanjutnya, jalankan audit lengkap pada halaman yang memang ditujukan untuk memilikinya.

Langkah berikutnya: kelompok pengindeksan

Hub ini merupakan gambaran umum. Dua masalah muncul dalam skala besar dan masing-masing memiliki pembahasan mendalam:

• Pembengkakan indeks — terlalu banyak URL bernilai rendah, duplikat, atau tipis masuk indeks sehingga melemahkan situs dan menyia-nyiakan sumber daya crawl/indeks. Pelajari cara mendiagnosis dan memangkasnya dengan aman.
• Pengindeksan yang memprioritaskan perangkat seluler — Google mengindeks versi seluler halaman, sehingga konten, tautan, dan data terstruktur harus setara antara seluler dan desktop. Pelajari apa yang perlu diperiksa dan apa yang dapat rusak.

Kedua topik berada di bawah hub ini, juga tercantum di bilah samping, dan akan menaut kembali ke sini.

Tahap sebelum ini—cara bot menemukan dan mengunduh halaman—berada dalam hub crawling; crawl → indeks adalah alurnya, dan halaman harus lolos crawling sebelum pembahasan ini berlaku. Untuk gambaran lebih luas, lihat Cara Kerja Penelusuran.

Ringkasan AI

Ringkasan padat dari versi Lanjutan:

• Pengindeksan = tahap kedua penelusuran (crawl → indeks → sajikan). Halaman harus di-crawl agar dapat diindeks, dan diindeks agar dapat mendapat peringkat—tetapi tidak ada yang dijamin. Pengindeksan bukan faktor peringkat, hanya syarat kelayakan.
• Yang terjadi selama pengindeksan: Google memahami konten, mendeteksi duplikat, mengelompokkan halaman serupa dan memilih kanonis, menghitung sinyal, lalu menyimpannya dalam indeks Google (sistem: Caffeine).
• Kanonikalisasi terjadi saat pengindeksan. rel=canonical adalah “a hint, not a rule” (terjemahan) “petunjuk, bukan aturan”; Google dapat memilih kanonis lain.
• Di-crawl ≠ diindeks. “Indexing isn’t guaranteed” (terjemahan) “Pengindeksan tidak dijamin”. Ini keputusan kualitas/nilai: Mueller berkata “That can be forever” (terjemahan) “Itu dapat berlangsung selamanya”; Illyes berkata “we don’t have infinite space” (terjemahan) “kami tidak memiliki ruang tak terbatas”. Mengirim ulang tidak memaksa halaman masuk; perbaikan situs adalah tuasnya.
• Laporan Pengindeksan halaman GSC adalah pusat kendali: status tidak diindeks, status duplikat/kanonis, “Diindeks, meskipun diblokir robots.txt”, dan “URL ditandai ‘noindex’”.
• Untuk mendeindeks: gunakan noindex dan pertahankan akses crawl. Jangan gunakan robots.txt; halaman yang diblokir tetap dapat diindeks melalui tautan.
• Bing menggunakan alur serupa. Aturan noindex yang sama berlaku.
• Dalam skala besar: waspadai pembengkakan indeks dan pengindeksan yang memprioritaskan perangkat seluler.

Dokumentasi resmi

Dokumentasi sumber primer dari mesin pencari.

Google

• Panduan Mendalam tentang Cara Kerja Google Penelusuran — gambaran crawl → indeks → sajikan, tahap pengindeksan, dan alasan pengindeksan tidak dijamin.
• Kanonikalisasi dan URL duplikat — cara Google mengelompokkan duplikat dan memilih kanonis.
• Memblokir pengindeksan Penelusuran dengan noindex — alat deindeks yang benar dan alasan halaman harus tetap dapat di-crawl.
• Laporan Pengindeksan halaman — bantuan Search Console untuk setiap status pengindeksan.
• Crawling dan Pengindeksan — hub untuk robots, sitemap, kanonikalisasi, dan kontrol pengindeksan.

Bing / Microsoft

• Cara Bing menyajikan hasil penelusuran — alur crawl → indeks Bing menurut Microsoft.
• Mengapa Situs Saya Tidak Ada dalam Indeks? — bantuan Bing Webmaster Tools mengenai hambatan pengindeksan.

Kutipan dari sumber

Pernyataan resmi Google dan Bing. Setiap tautan menuju bagian yang dikutip pada halaman sumber.

Google — apa itu pengindeksan

• “Google Search works in three stages, and not all pages make it through each stage.” (terjemahan) “Penelusuran Google terdiri atas tiga tahap, dan tidak setiap halaman berhasil melalui semuanya” — Dokumentasi Google Search Central. Buka kutipan
• “After a page is crawled, Google tries to understand what the page is about. This stage is called indexing.” (terjemahan) “Sesudah melakukan crawl, Google berusaha memahami topik halaman; tahap inilah yang disebut pengindeksan” Buka kutipan
• “Google analyzes the textual content and key content tags and attributes, such as <title> elements and alt attributes, images, videos, and more.” (terjemahan) “Google menelaah teks, tag serta atribut konten penting—termasuk elemen <title> dan atribut alt—beserta gambar, video, dan unsur lainnya” Buka kutipan
• “The canonical is the page that may be shown in search results… we first group together (also known as clustering) the pages that we found on the internet that have similar content, and then we select the one that’s most representative of the group.” (terjemahan) “Halaman kanonis dapat ditampilkan dalam hasil penelusuran; Google lebih dahulu mengelompokkan halaman internet yang berkonten serupa, kemudian memilih wakil terbaik kelompok itu” Buka kutipan
• “The collected information about the canonical page and its cluster may be stored in the Google index, a large database hosted on thousands of computers.” (terjemahan) “Data tentang halaman kanonis dan klasternya dapat disimpan di indeks Google, sebuah basis data besar yang berada pada ribuan komputer” Buka kutipan
• “Indexing isn’t guaranteed; not every page that Google processes will be indexed.” (terjemahan) “Tidak ada jaminan pengindeksan: sebagian halaman yang diproses Google tidak akan masuk indeks” Buka kutipan

Google — kanonikalisasi dan noindex

• “Canonicalization is the process of selecting the representative –canonical– URL of a piece of content.” (terjemahan) “Dalam kanonikalisasi, satu URL dipilih sebagai perwakilan kanonis bagi suatu konten” — Dokumentasi Google Search Central. Buka kutipan
• “That is, indicating a canonical preference is a hint, not a rule.” (terjemahan) “Dengan kata lain, preferensi kanonis berfungsi sebagai petunjuk dan bukan ketentuan mutlak” Buka kutipan
• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” (terjemahan) “Supaya aturan noindex bekerja, jangan blokir halaman atau sumber daya melalui robots.txt; crawler harus tetap dapat mengaksesnya” — Dokumentasi Google Search Central. Buka kutipan

John Mueller, Google (melalui Search Engine Journal)

• “That can be forever. It’s something where we just don’t crawl and index all pages.” (terjemahan) “Kondisi itu bisa bertahan tanpa batas karena kami tidak melakukan crawl atau mengindeks setiap halaman” Baca liputan
• “it’s important to keep in mind that Google just doesn’t index every page on the web, even if it’s submitted directly.” (terjemahan) “Perlu diingat, bahkan halaman yang dikirim langsung belum tentu diindeks Google karena tidak semua halaman web masuk indeks” Baca liputan

Gary Illyes dan Martin Splitt, Google (melalui Search Engine Journal)

• Illyes: “we don’t have infinite space, so we want to index stuff that we think– well, not we– but our algorithms determine that it might be searched for…” (terjemahan) “Ruang kami terbatas; karena itu algoritme memprioritaskan materi yang diperkirakan akan dicari” Baca liputan
• Splitt: “I usually describe it as a challenge with the balance between not overwhelming the website and also spending our resources where it matters.” (terjemahan) “Saya melihatnya sebagai upaya menjaga situs agar tidak kewalahan sambil mengarahkan sumber daya ke bagian yang paling berarti” Baca liputan

Bing / Microsoft

• “As Bingbot crawls the web, it sends information to Bing about what it finds. These pages are then added to the Bing index.” (terjemahan) “Ketika menjelajahi web, Bingbot mengirimkan temuannya ke Bing; halaman yang ditemukan lalu dimasukkan ke indeks Bing” — Dukungan Microsoft. Baca sumber

Daftar periksa kesehatan pengindeksan

Pemeriksaan cepat untuk memastikan halaman yang tepat diindeks dan halaman yang salah tidak:

• Halaman yang ingin diindeks dapat di-crawl (tidak diblokir di robots.txt) dan dijangkau melalui tautan internal—tidak ada halaman yatim.
• Halaman penting mengembalikan 200, tidak diberi noindex tanpa sengaja, dan rel=canonical menunjuk ke kanonis yang benar.
• Laporan Pengindeksan halaman menampilkan template penting sebagai “Diindeks”, dan status “Di-crawl/Ditemukan—saat ini tidak diindeks” telah ditangani.
• Status duplikat/kanonis ditinjau; pastikan kanonis pilihan Google sesuai maksud Anda.
• Halaman yang ingin dikeluarkan memakai noindex (meta atau X-Robots-Tag) dan tetap dapat di-crawl.
• Anda tidak menggunakan robots.txt untuk mendeindeks.
• Tidak ada kejutan “Diindeks, meskipun diblokir robots.txt”.
• Konten yang bergantung pada JS dirender menjadi HTML yang dapat diindeks.
• Sitemap hanya mencantumkan URL kanonis yang dapat diindeks.

Model mental

1. Alur—crawl → indeks → sajikan. Setiap tahap adalah filter. Sebelum mengubah sesuatu, tentukan tahap yang gagal: apakah halaman di-crawl, diindeks, dan disajikan untuk kueri?

2. Di-crawl ≠ diindeks ≠ peringkat. Di-crawl berarti diunduh. Diindeks berarti disimpan dan memenuhi syarat. Peringkat adalah persaingan terpisah di antara halaman terindeks. Pengindeksan bukan faktor peringkat, tetapi halaman tidak dapat mendapat peringkat tanpanya.

3. Pengindeksan adalah keputusan pemilihan. Google memilih yang disimpan—“pengindeksan tidak dijamin”. Jika halaman tidak diindeks, pertanyaannya hampir selalu “apakah halaman layak disimpan?”, bukan “apakah saya sudah mengirimkannya?”. Tingkatkan nilai; jangan hanya mengirim ulang.

4. Kanonikalisasi adalah bagian pengindeksan. Duplikat dikelompokkan dan satu URL perwakilan disimpan. rel=canonical adalah petunjuk yang dapat dikesampingkan Google. Jika URL yang salah diindeks, periksa sinyal seperti tautan internal, sitemap, dan pengalihan, bukan hanya tag.

5. Aturan keputusan untuk mengeluarkan halaman. Ingin halaman hilang dari indeks? Izinkan crawling + noindex. Ingin bot melewati seluruh ruang URL dan tidak peduli jika salinan tersesat diindeks melalui tautan? Larangan robots.txt. Jangan gunakan larangan untuk mendeindeks.

Kontrol dan status pengindeksan—lembar contekan

Fungsi sebenarnya dari setiap kontrol

Membaca laporan Pengindeksan halaman (status bernilai tinggi)

Fakta cepat

• Pengindeksan tidak dijamin—Google memilih yang disimpan.
• noindex hanya bekerja jika halaman dapat di-crawl.
• robots.txt memblokir crawling, bukan pengindeksan.
• rel=canonical adalah petunjuk, bukan arahan.
• Pengindeksan bukan faktor peringkat; ini gerbang kelayakan.

Alat untuk melihat dan mengelola pengindeksan

Periksa apakah halaman tertentu diindeks dengan Pemeriksa Indeks Google:

1. Tempel URL publik yang tepat ke alat.
2. Jalankan Periksa sinyal untuk mengambil respons langsung.
3. Baca status, pengalihan, noindex, dan sinyal kanonis yang dilaporkan.
4. Ikuti tautan Buka Inspeksi URL untuk keputusan indeks Google; alat hanya melaporkan hal yang dapat diamati dari halaman publik.

• Google Search Console—laporan Pengindeksan halaman — pandangan Google tentang halaman yang diindeks dan alasannya.
• Inspeksi URL (GSC) — periksa satu URL, lihat kanonis pilihan Google, dan HTML yang dirender.
• Bing Webmaster Tools — cakupan indeks, inspeksi URL, dan pengiriman untuk Bing.
• Operator site: — pemeriksaan kasar, bukan pengganti Search Console.
• Crawler/audit situs — Ahrefs Site Audit dan Screaming Frog SEO Spider menemukan tag noindex, konflik kanonis, kelompok duplikat, dan masalah kemampuan indeks.
• Ahrefs Webmaster Tools — crawl dan audit gratis untuk situs terverifikasi.

Sumber daya yang layak dibaca

Tulisan terkait saya

• Panduan Pemula untuk SEO Teknis — posisi pengindeksan dalam gambaran besar.
• Cara Menghapus URL dari Google Penelusuran (5 Metode) — cara yang benar dan salah untuk mendeindeks.
• Diindeks, meskipun diblokir robots.txt — alasan halaman yang diblokir tetap diindeks dan solusinya.
• Kanonikalisasi: Panduan Pemula — cara Google memilih URL yang diindeks.
• Arti “Crawled - Currently Not Indexed” dalam Google Search Console (terjemahan) “Di-crawl—Saat Ini Tidak Diindeks” — diagnosis status tidak diindeks yang paling umum.

Dari pihak lain

• Tag Meta Robots dan X-Robots-Tag: Semua yang Perlu Anda Ketahui (Michal Pecánek, Ahrefs) — referensi lengkap arahan noindex, termasuk: “Never disallow crawling of content that you’re trying to get deindexed in robots.txt.” (terjemahan) “Jangan pernah melarang crawling konten yang sedang Anda coba deindeks melalui robots.txt”
• r/TechSEO — komunitas untuk pemecahan masalah crawl dan indeks.

Dari industri

• Google Mengatakan Status ‘Ditemukan—Saat Ini Tidak Diindeks’ Dapat Berlangsung Selamanya — kutipan Mueller dalam konteks serta saran praktis.
• Google Membagikan Wawasan tentang Pengindeksan dan Anggaran Crawl — pandangan Mueller, Illyes, dan Splitt tentang alasan Google tidak mengindeks semuanya.
• Gary Illyes Membahas Temu Balik Informasi di Google Penelusuran — ruang indeks terbatas dan selektivitas Google.
• Mengupas Caffeine, Sistem Pengindeksan Google — tim Google menjelaskan penyerapan data crawl, rendering, ekstraksi sinyal, dan pembangunan indeks.

Presentasi saya

• Cara Kerja Penelusuran — penjelasan saya tentang crawling, rendering, pengindeksan, dan pemeringkatan. Pernyataan saya: “This is my understanding of systems… not going to be 100% complete or accurate.” (terjemahan) “Ini adalah pemahaman saya tentang sistem… dan tidak akan 100% lengkap atau akurat”

Podcast

• Search Off the Record (tim relasi penelusuran Google) — Mengupas Caffeine (sistem pengindeksan Google) dan banyak lagi!. Tim Google menjelaskan cara sistem pengindeksan menyerap data crawl, merender dan mengekstrak, menghitung sinyal, serta membangun indeks. Dengarkan

Video

• Google Search Central (YouTube) — seri Cara Kerja Google Penelusuran dan penjelasan pengindeksan/rendering Martin Splitt, termasuk video kanonikalisasi dan SEO JavaScript. Kanal

Uji pemahaman Anda: Pengindeksan

Lima pertanyaan singkat tentang cara halaman diindeks dan alasan halaman mungkin tidak diindeks. Pilih jawaban, lalu periksa hasilnya.

Log perubahan