Ecommerce situs Penelusuran SEO

TL;DR — Anda store memiliki sebuah penelusuran box, dan ini adalah sebenarnya dua terpisah SEO topics. box itself adalah great — shoppers siapa gunakan ini adalah sering close untuk buying, dan hal mereka jenis adalah sebuah free list dari apa Anda customers sebenarnya ingin. halaman box membuat ( /search?q=running-shoes web addresses) adalah masalah: mereka’re thin, mereka repeat setiap lainnya, dan di sana dapat menjadi sebuah endless angka dari them. main job adalah untuk pertahankan itu penelusuran-hasil web addresses out dari Google sementara masih menggunakan penelusuran box — dan semuanya shoppers jenis ke ini — untuk Anda advantage.

Apa “site penelusuran” (terjemahan) “situs penelusuran” berarti di sini

ada dua jenis dari “penelusuran” (terjemahan) “penelusuran” itu mendapatkan tangled up, so let’s terpisah them:

• Google (atau Bing) penelusuran — mesin pencari out pada web itu mengirim orang untuk Anda store.
• situs penelusuran / internal penelusuran — little penelusuran box pada Anda store itu lets sebuah shopper look melalui Anda own products.

ini halaman adalah tentang kedua satu. Ketika sebuah shopper jenis “waterproof boots” (terjemahan) “waterproof boots” ke Anda store’s penelusuran box, sebagian besar situs buat baru web address untuk itu hasil halaman — sesuatu like yourstore.com/search?q=waterproof-boots. itu’s piece itu penting untuk SEO.

Mengapa penelusuran box adalah baik

Shoppers siapa gunakan Anda penelusuran box adalah biasanya lebih serious daripada shoppers siapa hanya browse — mereka’ve told Anda persis apa mereka ingin. Dua upsides:

1. ini converts. sebuah fast, accurate penelusuran box itu menangani typos dan synonyms (“trainers” (terjemahan) “sepatu olahraga” = “sneakers” (terjemahan) “sepatu kets”) helps orang temukan dan buy hal.
2. ini adalah sebuah free keyword list. setiap phrase orang jenis adalah sebuah nyata customer telling Anda, di mereka own kata, apa mereka’re looking untuk. itu’s gold untuk deciding apa products untuk stock, apa untuk tulis tentang, dan yang categories untuk buat.

Mengapa penelusuran hasil halaman adalah sebuah masalah

Di sini’s catch. itu /search?q=... halaman dapat diam-diam penyebab three headaches:

1. ada endless variations. Orang jenis millions dari berbeda hal — including typos dan gibberish — dan setiap satu dapat buat -nya own web address.
2. mereka’re thin dan repetitive. sebuah penelusuran untuk “red shoes” (terjemahan) “red shoes” dan sebuah category halaman untuk red shoes dapat tampilkan hampir yang sama products, so Google sees near-duplicates.
3. beberapa adalah empty. sebuah penelusuran untuk sesuatu Anda tidak sell mengembalikan sebuah halaman itu says “Tidak hasil.” (terjemahan) “Tidak hasil.” itu’s sebuah rendah-nilai halaman Anda tidak ingin di Google.

Google memiliki limited time untuk crawl Anda situs, dan ini akan rather spend itu time pada Anda nyata product dan category halaman daripada pada sebuah swamp dari penelusuran-hasil URLs. So standard advice adalah: pertahankan internal hasil pencarian halaman out dari Google.

sederhana perbaiki

• Beri tahu mesin pencari agar tidak merayapi halaman hasil pencarian Anda menggunakan file robots.txt (biasanya satu baris—developer atau platform Anda dapat mengaturnya).
• Pastikan pencarian tanpa hasil mengembalikan respons “tidak ditemukan” yang benar, bukan halaman yang terlihat kosong tetapi berpura-pura wajar. Evidence for this claim A page for a resource that does not exist should return an appropriate 404 or 410 status rather than a misleading 200. Scope: A useful search interface may remain available to users while nonexistent result resources use correct status handling. Confidence: high · Verified: 2026-07-14 Google: Soft 404 errors
• Jangan mencoba menyelesaikan ini dengan menambahkan tag “noindex” dan memblokir halaman sekaligus—jika Anda memblokirnya, Google tidak dapat membaca tag tersebut, sehingga pemblokiran menang dan tag tidak berfungsi. Pilih satu (untuk tugas ini, pemblokiran adalah pilihan yang tepat).

satu exception worth knowing

Sometimes lots dari orang penelusuran Anda situs — dan Google — untuk tepat sama hal, like “gluten-free protein bars.” (terjemahan) “gluten-free protein bars.” jika itu phrase memiliki nyata, repeated demand, jangan try untuk mendapatkan Anda mentah /search?q= halaman diperingkatkan. Alih-alih, bangun nyata category atau landing halaman untuk ini, dengan sebuah bersih address, sebuah proper judul, dan sebuah bit dari helpful text. itu’s sebuah halaman worth peringkat; mentah penelusuran URL tidak.

ingin teknis versi — tepat robots.txt vs. noindex reasoning, mengapa empty hasil perlu sebuah nyata 404, dan cara turn penelusuran logs ke dapat diindeks halaman? Switch untuk Advanced tab.

TL;DR — Pencarian situs ecommerce mencakup dua topik yang memakai satu nama, dan kuncinya adalah tidak mencampuradukkannya. Fitur ini adalah permukaan konversi dengan niat tinggi; log kuerinya merupakan salah satu masukan riset kata kunci terbaik yang Anda miliki. Halaman hasil (/search?q=...) membentuk ruang URL yang hampir tak terbatas, tipis, hampir duplikat, dan sering kosong—Google menempatkannya bersama navigasi berfaset serta pengenal sesi sebagai kategori utama URL bernilai tambah rendah yang “drain crawl activity from pages that do actually have value.” (terjemahan) “menguras aktivitas perayapan dari halaman yang benar-benar memiliki nilai.” Akurasi utamanya: agar URL tersebut tetap di luar indeks, robots.txt mengalahkan noindex—Google menyatakan “Don’t use noindex, as Google will still request, but then drop the page… wasting crawling time.” (terjemahan) “Jangan gunakan noindex, karena Google tetap akan meminta halaman itu lalu membuangnya… sehingga waktu perayapan terbuang.” Jadi, blokir jalur pencarian agar bot tidak pernah menghabiskan anggaran untuknya. Jangan pernah memasangkan robots.txt disallow dengan noindex pada URL yang sama—halaman yang diblokir tidak dapat dibaca, sehingga noindex tidak pernah terlihat dan URL dapat tetap berada di indeks jika ada tautan menuju URL itu. Kembalikan 404 sungguhan untuk kumpulan hasil kosong, bukan soft 404 (“soft 404 pages will continue to be crawled, and waste your budget.” (terjemahan) “halaman soft 404 akan terus dirayapi dan menghabiskan anggaran Anda.”). Jika suatu kueri benar-benar memiliki permintaan berulang, jangan indeks URL pencarian mentah—bangun halaman kategori/landas yang tepat untuk kueri tersebut.

Dua jobs itu jangan overlap

alasan situs penelusuran trips orang up adalah itu “ecommerce site penelusuran SEO” (terjemahan) “ecommerce situs penelusuran SEO” bundles dua jobs itu memiliki hampir tidak ada apa pun untuk melakukan dengan setiap lainnya:

1. membuat penelusuran experience baik. Relevance, speed, typo tolerance, synonyms, merchandising, zero-hasil menangani, dan — critically — mining kueri logs untuk demand sinyal. ini adalah UX dan CRO berfungsi dengan sebuah SEO dividend.
2. pertahankan penelusuran hasil URLs dari hurting Anda di pencarian organik. Berhenti them dari wasting anggaran crawling, bloating indeks, dan membuat near-duplicates.

mengoptimalkan job 1 aggressively. untuk job 2, default posture adalah containment, dengan satu deliberate exception (covered di bawah). sebagian besar dari confusion di ini topic muncul dari applying job-1 enthusiasm (“let’s mendapatkan our penelusuran halaman ranking!” (terjemahan) “let’s mendapatkan kami penelusuran halaman peringkat!”) untuk sebuah URL space itu hampir tidak pernah deserves ini.

Mengapa hasil pencarian halaman adalah sebuah crawl liability

URL hasil pencarian internal adalah contoh textbook dari ruang URL bernilai tambah rendah yang diperingatkan Google. Dalam tulisan canonical tentang anggaran perayapan Google, Gary Illyes mencantumkan kategori URL yang membuang anggaran perayapan “di order dari significance” (terjemahan) “berdasarkan urutan signifikansi”—dan “navigasi berfaset dan pengenal sesi” (terjemahan) “navigasi berfaset dan pengenal sesi” berada di urutan teratas, diikuti “On-site duplicate content” (terjemahan) “konten duplikat di situs” dan “Soft error pages.” (terjemahan) “halaman galat lunak.” Halaman hasil pencarian internal terkena ketiganya sekaligus:

• Ruang tak terbatas yang dibuat secara dinamis. Setiap kueri berbeda—termasuk salah ketik, bot, dan sampah pada string kueri—dapat mencetak URL baru. Ini adalah dinamika ledakan parameter yang sama yang membuat navigasi berfaset berbahaya.
• Konten tipis dan hampir duplikat. Pencarian ?q=running-shoes dan kategori Anda /shoes/running/ dapat menampilkan produk yang hampir sama, sehingga halaman pencarian bersaing dengan (dan menggandakan) halaman yang sebenarnya ingin Anda peringkatkan.
• Halaman kosong/kesalahan semu. Halaman “Tidak hasil” (terjemahan) “tanpa hasil” bernilai rendah sejak awal; jika mengembalikan 200 OK, halaman itu menjadi soft 404s—sesuatu yang secara khusus ditandai Google sebagai pemborosan perayapan.

Biaya ini persis seperti yang dijelaskan Illyes: “Wasting server resources on pages like these will drain crawl activity from pages that do actually have value, which may cause a significant delay in discovering great content on a site.” (terjemahan) “Membuang sumber daya server pada halaman seperti ini akan menguras aktivitas perayapan dari halaman yang benar-benar bernilai dan dapat menyebabkan keterlambatan besar dalam menemukan konten hebat di sebuah situs.”* Pada toko besar, uncontrolled penelusuran URLs dapat diam-diam become satu dari biggest crawl sinks Anda memiliki.

Ada catatan tentang skala, karena kita mudah terlalu khawatir: Google menjelaskan bahwa anggaran perayapan terutama menjadi perhatian situs besar—“jika Anda halaman seem untuk menjadi crawled itu sama day itu they adalah published, Anda jangan perlu untuk baca ini guide.” (terjemahan) “jika halaman Anda tampaknya dirayapi pada hari yang sama saat diterbitkan, Anda tidak perlu membaca panduan ini.” Toko Shopify dengan 500 produk tidak akan dibatasi hanya karena beberapa URL pencarian. Namun bahkan di situs kecil, membiarkan halaman pencarian masuk indeks menimbulkan masalah konten duplikat/tipis dan pembengkakan indeks yang layak dicegah terlepas dari anggaran perayapan. Perbaikannya murah dalam kedua skenario.

robots.txt vs. noindex — mendapatkan ini right

ini adalah accuracy spine dari seluruh topic, dan ini adalah hal sebagian besar stores mendapatkan backwards. Anda memiliki dua alat dan mereka melakukan berbeda hal:

• robots.txt disallow menghentikan perayapan. Bot tidak pernah mengambil URL tersebut, sehingga tidak pernah menghabiskan anggaran untuknya. Inilah alat yang tepat untuk hasil pencarian internal, karena seluruh tujuannya adalah agar URL tersebut tidak layak diambil sejak awal.
• noindex menghentikan pengindeksan, tetapi hanya setelah halaman dirayapi—Googlebot harus mengambil halaman itu untuk melihat tag tersebut. Jadi noindex tidak menghemat anggaran perayapan. Panduan anggaran perayapan Google menyatakannya secara tegas: “Don’t use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.” (terjemahan) “Jangan gunakan noindex, karena Google tetap akan meminta halaman itu lalu membuangnya ketika melihat tag atau header noindex dalam respons HTTP, sehingga waktu perayapan terbuang.” Sumber: https://developers.google.com/crawling/docs/crawl-budget#:~:text=Don%27t%20use%20noindex%2C%20as%20Google%20will%20still%20request

So untuk standard “keep penelusuran halaman out dari Google dan off itu crawl schedule” (terjemahan) “pertahankan penelusuran halaman out dari Google dan off crawl schedule” goal, disallow penelusuran path di robots.txt:

User-agent: *
Disallow: /search
Disallow: /*?q=
Disallow: /*?s=

(Adjust path untuk whatever Anda platform menggunakan — /search, ?q=, ?s=, /catalogsearch/ pada Magento, dan seterusnya.)

Kesalahan kritis: jangan pernah memblokir dan menerapkan noindex pada URL yang sama. Jika URL diblokir di robots.txt, Googlebot tidak dapat mengambilnya, sehingga tidak dapat melihat tag noindex yang Anda pasang. Evidence for this claim Google must crawl a page to see noindex, so a robots.txt block prevents Google from processing that page's noindex rule. Scope: Robots.txt controls crawling, while noindex controls indexing after retrieval. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex Pemblokiran menang; tag tersebut tidak terlihat. URL yang diblokir robots masih dapat terindeks (sebagai URL mentah tanpa cuplikan) jika ada sesuatu yang menautkannya—karena robots.txt mengendalikan perayapan, bukan pengindeksan. Jadi:

• Goal: jangan waste crawl pada ini, jangan peringkat them → robots.txt disallow ( wajar case untuk penelusuran halaman).
• Goal: mereka’re sudah terindeks dan Anda perlu them dihapus → temporarily izinkan crawling dan sajikan noindex until mereka drop out, lalu Anda dapat disallow. jangan melakukan keduanya di setelah.

Empty hasil: nyata 404s, tidak soft 404s

Ketika sebuah penelusuran mengembalikan tidak ada apa pun, wrong move adalah untuk sajikan 200 OK “Tidak hasil” (terjemahan) “Tidak hasil” halaman — itu’s sebuah soft 404, dan Google warns “soft 404 pages will continue to be crawled, and waste your budget.” (terjemahan) “halaman soft 404 akan terus dirayapi dan menghabiskan anggaran Anda.”* Evidence for this claim Soft-404 pages can continue to consume crawl resources because they return a success response for missing content. Scope: Google may classify pages algorithmically based on content and response behavior. Confidence: high · Verified: 2026-07-14 Google: Large-site crawl budget Better options untuk sebuah zero-hasil halaman:

• mengembalikan genuine 404 status (atau 410) so Google mendapatkan “a strong signal not to crawl that URL again.” (terjemahan) “sinyal kuat agar URL itu tidak dirayapi lagi.”*
• atau sajikan helpful “Tidak hasil” (terjemahan) “Tidak hasil” experience behind sebuah URL itu’s sudah blocked di robots.txt — jika bot tidak pernah crawl /search, kode status dari empty halaman adalah moot untuk anggaran crawling, dan Anda dapat focus halaman pada recovering shopper (suggested categories, popular products, spelling suggestions).

UX dan crawl perbaiki tidak di tension: block penelusuran path untuk bot, dan design human-facing zero-hasil halaman purely untuk conversion recovery.

satu time Anda melakukan ingin sebuah dapat diindeks halaman

Containment adalah default, tetapi ada sebuah nyata panjang-tail opportunity hiding di Anda penelusuran logs — dan mistake adalah trying untuk capture ini oleh pengindeksan mentah /search?q= URLs. Anda tidak. Alih-alih:

1. Tambang log kueri. Kueri pencarian internal Anda adalah daftar permintaan pihak pertama dalam kata-kata pelanggan sendiri—termasuk celah produk (“lakukan they penelusuran untuk hal I jangan stock?” (terjemahan) “apakah mereka mencari barang yang tidak saya stok?”) dan frasa yang mungkin tidak tercakup oleh nama kategori Anda.
2. Validasi permintaan eksternal. Bandingkan kueri internal bervolume tinggi dengan permintaan nyata di mesin pencari menggunakan alat kata kunci. Frasa yang populer di situs Anda dan memiliki volume pencarian organik adalah kandidat.
3. Bangun halaman yang tepat—bukan URL pencarian. Buat halaman kategori/koleksi nyata (atau halaman landas terkurasi) di URL statis bersih (/collections/gluten-free-protein-bars/), dengan judul deskriptif, H1, BreadcrumbList, satu atau dua kalimat konten yang benar-benar berguna, dan tautan internal. Itulah halaman yang layak diindeks dan diperingkat; URL hasil pencarian mentah bukan.

ini adalah yang sama “block itu noise, index itu sinyal” (terjemahan) “block noise, indeks sinyal” logic dari faceted navigation — except dengan situs penelusuran sinyal hampir tidak pernah justifies pengindeksan penelusuran URL itself. Promote demand untuk sebuah purpose-dibangun halaman alih-alih.

Di mana ini sits

Ecommerce situs penelusuran overlaps heavily dengan sebuah sedikit neighbors. Faceted navigation adalah closest sibling — filters dan penelusuran adalah dua flavors dari yang sama parameter-explosion masalah, dan Google’s faceted-nav guidance (robots.txt untuk block, 404 untuk empty combinations, canonical sebagai weaker panjang-istilah alat) maps hampir secara langsung onto penelusuran URLs. Category halaman SEO adalah di mana panjang-tail demand Anda temukan di penelusuran logs seharusnya sebenarnya land. dan crawl-efficiency framing — capacity plus demand, rendah-nilai-tambahkan URLs draining budget dari nyata halaman — adalah anggaran crawling topic. situs penelusuran adalah piece itu turns Anda store’s own penelusuran box dari sebuah hidden crawl liability ke sebuah keyword-research asset.

AI summary

sebuah condensed take pada Advanced versi:

• Ecommerce situs penelusuran adalah dua topics di satu. fitur ( pada-situs penelusuran box) adalah sebuah tinggi-intent conversion alat dan sebuah pertama-party keyword-research goldmine. hasil halaman (/search?q=...) adalah sebuah SEO liability. jangan conflate them.
• ** hasil halaman adalah classic crawl waste.** Google lists “faceted navigation and session identifiers” (terjemahan) “navigasi berfaset dan pengenal sesi” pertama among rendah-nilai-tambahkan URL categories; internal penelusuran URLs adalah yang sama infinite, thin, near-duplicate, sering-empty pattern, dan mereka “drain crawl activity from pages that do actually have value.” (terjemahan) “menguras aktivitas perayapan dari halaman yang benar-benar memiliki nilai.”
• robots.txt beats noindex untuk ini job. noindex masih forces sebuah crawl sebelum halaman adalah dropped (“Don’t use noindex, as Google will still request, but then drop the page… wasting crawling time.” (terjemahan) “Jangan gunakan noindex, karena Google tetap akan meminta halaman itu lalu membuangnya… sehingga waktu perayapan terbuang.”), so disallow penelusuran path di robots.txt so bot tidak pernah fetch ini.
• tidak pernah disallow dan noindex yang sama URL — sebuah blocked halaman dapat’t menjadi baca, so noindex adalah tidak pernah seen, dan sebuah ditautkan-untuk blocked URL dapat masih menjadi terindeks sebagai sebuah bare URL.
• Empty hasil → nyata 404, tidak soft 404 (“soft 404 halaman akan continue untuk menjadi crawled, dan waste Anda budget” (terjemahan) “soft 404 halaman akan continue untuk menjadi di-crawl, dan waste Anda budget”); atau sajikan zero-hasil UX behind sebuah sudah-blocked /search path.
• ** panjang-tail exception:** jangan indeks mentah penelusuran URLs. Mine penelusuran logs untuk demand, validate ini terhadap nyata penelusuran volume, dan bangun proper category/landing halaman di sebuah bersih static URL untuk winners.
• Neighbors: faceted navigation (sama parameter-explosion masalah), category halaman SEO (di mana demand seharusnya land), anggaran crawling ( efficiency framing).

Dokumentasi resmi

Utama-sumber documentation. ada Tidak single Google doc titled “internal site search” (terjemahan) “internal situs penelusuran” — guidance lives di seluruh crawl-budget, faceted-navigation, dan duplicate-URL docs, karena penelusuran-hasil halaman adalah sebuah instance dari yang sama rendah-nilai-URL masalah.

Google — crawling & anggaran crawling

• mengoptimalkan Anda anggaran crawling — robots.txt-di atas-noindex aturan, soft-404 waste, 404/410 untuk dihapus halaman, dan siapa sebenarnya perlu untuk worry tentang anggaran crawling.
• Apa anggaran crawling berarti untuk Googlebot — canonical list dari rendah-nilai-tambahkan URL categories (faceted navigation dan session identifiers pertama) dan mengapa mereka drain crawl dari valuable halaman.
• Managing crawling dari faceted navigation URLs — closest analog untuk internal penelusuran: robots.txt untuk block, URL fragments untuk hindari impact, canonical sebagai weaker panjang-istilah alat, dan 404 untuk empty combinations. (crawler-infrastructure versi.)

Google — pengindeksan & duplicates

• Introduction untuk robots.txt — apa sebuah Disallow melakukan (blocks crawling) dan, importantly, tidak melakukan (hapus dari indeks).
• Block Penelusuran pengindeksan dengan noindex — alat untuk menghapus halaman dari indeks, dan requirement itu halaman menjadi dapat di-crawl untuk tag untuk menjadi seen.
• Consolidate duplicate URLs — canonicalization background untuk near-duplicate side dari hasil pencarian.

Google — ecommerce specialty

• Designing sebuah struktur URL untuk ecommerce situs — minimizing duplicate URLs dan mempertahankan session/tracking parameters off tautan internal.
• Help Google memahami Anda ecommerce situs structure — case untuk purpose-dibangun category halaman (di mana penelusuran-log demand seharusnya land) di atas dynamic URLs.

Quotes dari sumber

pada—record statements dari Google. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman. Di sana tidak sebuah Google quote itu names “internal site search” (terjemahan) “internal situs penelusuran” secara khusus, so material di bawah adalah guidance pada category dari URL itu penelusuran-hasil halaman belong untuk — crawl-budget waste, robots-vs-noindex, dan soft 404s — yang adalah persis apa governs them.

Google — apa wastes anggaran crawling

• “Faceted navigation and session identifiers / On-site duplicate content / Soft error pages / Hacked pages / Infinite spaces and proxies / Low quality and spam content” (terjemahan) “navigasi berfaset dan pengenal sesi / konten duplikat di situs / halaman galat lunak / halaman diretas / ruang dan proksi tak terbatas / konten berkualitas rendah dan spam”* — Gary Illyes, tentang kategori URL bernilai tambah rendah berdasarkan urutan signifikansinya. Halaman hasil pencarian internal termasuk tiga kategori pertama. Lompat ke kutipan
• “Wasting server resources on pages like these will drain crawl activity from pages that do actually have value, which may cause a significant delay in discovering great content on a site.” (terjemahan) “membuang sumber daya server pada halaman seperti ini akan menguras aktivitas perayapan dari halaman yang memang bernilai, dan dapat menyebabkan keterlambatan besar dalam menemukan konten hebat di sebuah situs.”* — Gary Illyes, Google. Lompat ke kutipan
• “An increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.” (terjemahan) “laju perayapan yang meningkat belum tentu menghasilkan posisi yang lebih baik di hasil Penelusuran… meskipun perayapan diperlukan agar masuk hasil, perayapan bukan sinyal peringkat.”* — Gary Illyes, Google (artinya, membuat halaman pencarian Anda lebih sering dirayapi tidak membantu apa pun). Lompat ke kutipan

Google — perbandingan robots.txt, noindex, dan soft 404

• “Don’t use noindex, as Google will still request, but then drop the page when it sees a noindex meta tag or header in the HTTP response, wasting crawling time.” (terjemahan) “Jangan gunakan noindex, karena Google tetap akan meminta halaman itu lalu membuangnya ketika melihat tag atau header noindex dalam respons HTTP, sehingga waktu perayapan terbuang.” — Google Search Central, tentang alasan robots.txt (bukan noindex) menjadi alat anggaran perayapan. Lompat ke kutipan
• “soft 404 pages will continue to be crawled, and waste your budget.” (terjemahan) “halaman soft 404 akan terus dirayapi dan menghabiskan anggaran Anda.” — Google Search Central, tentang halaman kosong/tanpa hasil yang mengembalikan 200 OK. Lompat ke kutipan
• “Return a 404 or 410 status code for permanently removed pages… a 404 status code is a strong signal not to crawl that URL again.” (terjemahan) “Kembalikan kode status 404 atau 410 untuk halaman yang dihapus permanen… kode status 404 adalah sinyal kuat agar URL itu tidak dirayapi lagi.” — Google Search Central. Lompat ke kutipan

Google — anggaran crawling mostly penting di scale

• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” (terjemahan) “jika Anda situs tidak memiliki sebuah besar angka dari halaman itu perubahan rapidly, atau jika Anda halaman seem untuk menjadi di-crawl yang sama day itu mereka adalah published, Anda tidak perlu untuk baca ini guide.” Jump untuk quote

Yang control untuk sebuah penelusuran-hasil URL?

berfungsi top untuk bottom dan berhenti di pertama match.

1. adalah ini standard case — hasil pencarian Anda tidak pernah ingin di-crawl atau diperingkatkan? → robots.txt disallow penelusuran path (/search, ?q=, ?s=, /catalogsearch/). bot tidak pernah fetch ini, so ini tidak pernah costs anggaran crawling. melakukan tidak juga tambahkan noindex.

2. adalah ini penelusuran URLs sudah terindeks dan Anda perlu them out dari indeks? → jangan hanya disallow — sebuah robots-blocked URL dapat stay terindeks. Alih-alih: izinkan crawling temporarily dan sajikan noindex (atau gunakan GSC Removals alat untuk urgent cases) until mereka drop, lalu disallow untuk save future crawl. tidak pernah melakukan keduanya di setelah.

3. melakukan sebuah spesifik kueri memiliki genuine, repeated demand (internal dan external)? → jangan indeks penelusuran URL. bangun nyata category / collection / landing halaman di sebuah bersih static URL, dengan sebuah judul, H1, BreadcrumbList, dan berguna copy. Promote demand untuk sebuah purpose-dibangun halaman; pertahankan blocking mentah penelusuran path.

4. Apa seharusnya sebuah empty / zero-hasil penelusuran kembalikan? → sebuah nyata 404 (atau sajikan conversion-focused “Tidak hasil” (terjemahan) “Tidak hasil” halaman behind sudah-blocked /search path). tidak pernah sebuah 200 OK “Tidak hasil” (terjemahan) “Tidak hasil” halaman itu’s dapat di-crawl — itu’s sebuah soft 404 dan ini wastes budget.

5. adalah Anda store kecil (di-crawl sama-day, well di bawah six figures dari URLs)? → anggaran crawling itself probably tidak Anda masalah — tetapi masih block penelusuran URLs untuk hindari duplicate/thin konten dan indeks bloat. perbaiki adalah satu-time dan cheap either cara.

Ecommerce situs penelusuran SEO checklist

Batasi halaman hasil

• Jalur hasil pencarian (/search, ?q=, ?s=, atau padanan platform) diblokir di robots.txt.
• URL hasil pencarian juga tidak membawa tag noindex (pemblokiran + noindex pada URL yang sama membatalkan noindex).
• Tidak ada tautan internal yang mengalirkan ekuitas tautan ke URL pencarian (URL tersebut seharusnya tidak ada di navigasi, sitemap, atau tag kanonis).
• URL pencarian tidak ada dalam sitemap XML Anda.
• URL pencarian yang sudah terindeks dibersihkan dengan cara yang benar (izinkan perayapan + noindex hingga hilang, atau Penghapusan GSC untuk kasus mendesak)—sebelum Anda memblokirnya.

Tangani empty hasil

• Zero-hasil halaman mengembalikan nyata 404 (tidak sebuah 200 OK soft 404), atau langsung behind sebuah sudah-blocked penelusuran path.
• human-facing zero-hasil experience recovers shopper (suggested categories, popular products, spelling/synonym suggestions).

Mine demand

• Internal penelusuran kueri logs adalah reviewed regularly untuk product gaps dan customer phrasing.
• tinggi-volume internal kueri adalah cross-diperiksa terhadap nyata external penelusuran demand.
• Winning kueri adalah turned ke purpose-dibangun category/landing halaman (bersih static URL, judul, H1, BreadcrumbList, berguna copy) — tidak terindeks penelusuran URLs.

membuat fitur baik (UX/CRO)

• Penelusuran menangani typos dan synonyms.
• Penelusuran adalah fast dan mengembalikan relevant hasil.
• Merchandising/boosting adalah set untuk key kueri di mana ini penting.

mental models

1. Dua jobs, satu name. “Ecommerce site penelusuran SEO” (terjemahan) “Ecommerce situs penelusuran SEO” bundles dua unrelated jobs: membuat fitur baik (UX, CRO, kueri-log mining) dan pertahankan hasil URLs dari hurting pencarian organik (containment). mengoptimalkan pertama aggressively; berisi kedua oleh default. Hampir setiap mistake di ini topic adalah applying job-1 enthusiasm untuk sebuah job-2 URL space.

2. hasil pencarian adalah sebuah faceted-navigation masalah di disguise. sebuah ?q= URL adalah yang sama infinite, thin, near-duplicate, sometimes-empty pattern sebagai sebuah ?color=&size= facet. yang sama toolkit applies: block noise (robots.txt), 404 empties, canonical adalah weaker fallback, dan promote nyata demand untuk sebuah purpose-dibangun halaman.

3. robots.txt dan noindex tidak dapat dipertukarkan. robots.txt = menghentikan perayapan (menghemat anggaran, tetapi tidak dapat menghapus URL yang sudah terindeks). noindex = menghentikan pengindeksan (menghapus halaman, tetapi hanya setelah perayapan, jadi tidak menghemat anggaran—dan tidak terlihat jika URL juga diblokir). Pilih yang sesuai dengan tujuan Anda, dan jangan pernah menumpuk keduanya pada URL yang sama.

4. sinyal lives di box, tidak URL. valuable hal tentang situs penelusuran tidak hasil halaman — ini adalah kueri. Treat penelusuran log sebagai sebuah pertama-party keyword dataset. URL mendapatkan blocked; demand ini reveals mendapatkan sebuah nyata halaman.

5. Scale sets stakes, tidak perbaiki. anggaran crawling adalah sebuah big-situs concern; duplicate/thin konten dan indeks bloat tidak. containment perbaiki (block penelusuran URLs, 404 empties) adalah cheap dan correct di setiap size — so hanya melakukan ini regardless dari bagaimana big Anda store adalah.

cara untuk mendapatkan situs penelusuran SEO wrong

Disallowing dan noindexing yang sama penelusuran URL. single sebagian besar umum mistake. jika robots.txt blocks URL, Googlebot dapat’t fetch ini, so ini tidak pernah sees noindex tag — dan sebuah ditautkan-untuk blocked URL dapat stay terindeks sebagai sebuah bare URL. gunakan satu alat per goal, tidak pernah keduanya pada yang sama URL.

Reaching untuk noindex untuk “save crawl budget.” (terjemahan) “save anggaran crawling.” noindex tidak berhenti crawling — Google masih permintaan halaman untuk see tag, lalu drops ini, “wasting crawling time.” (terjemahan) “wasting crawling time.” untuk budget, alat adalah robots.txt.

Serving 200 OK “Tidak hasil” (terjemahan) “Tidak hasil” halaman. sebuah dapat di-crawl zero-hasil halaman itu mengembalikan 200 adalah sebuah soft 404, yang Google mempertahankan crawling dan counts sebagai waste. mengembalikan nyata 404, atau put Tidak-hasil UX behind sebuah sudah-blocked path.

Mencoba memeringkat URL mentah /search?q=. Bahkan ketika kueri memiliki permintaan nyata, URL pencarian mentah tetap tipis dan hampir duplikat. Perbaikannya adalah halaman kategori/landas yang dibuat khusus, bukan mengindeks halaman hasil pencarian.

Linking untuk penelusuran URLs dari Anda nav, sitemap, atau “popular searches” (terjemahan) “popular searches” widgets. “Popular searches” (terjemahan) “Popular searches” chips, autocomplete tautan, dan sitemap entries pointing di /search?q= feed crawler straight ke space Anda’re trying untuk berisi. pertahankan tautan internal pointed di nyata category/product halaman.

Letting session IDs dan tracking params ride pada penelusuran URLs. /search?q=shoes&sessionid=…&utm_… multiplies yang sama thin halaman ke banyak. pertahankan session/tracking parameters off tautan internal — Google groups session identifiers dengan faceted navigation sebagai top crawl-waste.

Assuming sebuah kecil store adalah exempt. Anda dapat tidak memiliki sebuah crawl-budget masalah, tetapi Anda dapat masih mendapatkan duplicate/thin konten dan indeks bloat. Block penelusuran URLs regardless dari size.

Ecommerce situs penelusuran — cheat sheet

Yang control melakukan apa

kueri → tindakan

Fast facts

• Google’s #1 crawl-waste category: navigasi berfaset dan pengenal sesi — hasil pencarian halaman adalah yang sama pattern.
• noindex tidak save anggaran crawling — Google permintaan halaman pertama.
• Soft 404s (200 OK “Tidak hasil” (terjemahan) “Tidak hasil”) pertahankan getting di-crawl dan waste budget.
• anggaran crawling adalah mostly sebuah besar-situs concern; indeks bloat/duplication tidak.
• valuable output dari situs penelusuran adalah kueri log, tidak hasil URL.

alat untuk ecommerce situs penelusuran SEO

• Google Analytics 4 — situs penelusuran — GA4’s penelusuran-istilah report captures apa shoppers jenis ke Anda pada-situs penelusuran (configure penelusuran kueri parameter di data stream). ini adalah Anda utama sumber dari internal-demand data untuk kueri-mining langkah.
• Anda platform’s internal penelusuran analytics — Shopify penelusuran analytics, Algolia / Klevu / Searchspring dashboards, Magento’s penelusuran-istilah report — untuk zero-hasil kueri, top kueri, dan click-melalui, yang tell Anda keduanya apa untuk bangun dan di mana penelusuran UX adalah failing.
• Google Search Console — halaman pengindeksan report — watch excluded buckets untuk penelusuran/parameter URLs piling up; itu’s Anda containment leaking.
• GSC — Statistik Crawling — periksa apakah Googlebot adalah spending time pada /search atau ?q= URLs.
• GSC — pemeriksaan URL / Removals — konfirmasi bagaimana sebuah penelusuran URL adalah treated, dan gunakan Removals untuk urgent cleanup dari sudah-terindeks penelusuran halaman.
• Screaming Frog SEO Spider / Ahrefs situs Audit — crawl store untuk temukan penelusuran URLs itu adalah internally ditautkan, di sitemap, atau returning 200 pada empty hasil, plus soft-404 dan near-duplicate patterns.
• sebuah keyword research alat (e.g. Ahrefs Keywords Explorer) — untuk validate itu sebuah tinggi-volume internal kueri juga memiliki nyata external penelusuran demand sebelum Anda bangun halaman untuk ini.

umum internal-penelusuran SEO masalah

Penelusuran URLs tetap terindeks setelah sebuah robots.txt block

mungkin penyebab: robots.txt mencegah crawling tetapi melakukan tidak jaminan deindexing, so Google cannot see sebuah noindex pada blocked halaman. Perbaiki: temporarily izinkan crawling dan sajikan noindex until URLs drop, lalu disallow pattern untuk mencegah future crawl waste. Konfirmasi dengan pemeriksaan URL alih-alih sebuah site: kueri alone.

Zero-hasil searches muncul sebagai soft 404s

mungkin penyebab: template mengembalikan 200 OK bahkan ketika Tidak products exist. Perbaiki: kembalikan sebuah nyata 404 atau pertahankan human-friendly recovery experience behind sebuah penelusuran path sudah blocked dari crawling. Konfirmasi HTTP status secara terpisah dari terlihat message.

Googlebot mempertahankan crawling baru kueri combinations

mungkin penyebab: forms, tautan internal, parameters, atau inconsistent path variants expose sebuah lebih besar URL space daripada robots aturan covers. Perbaiki: inventory sebenarnya penelusuran URL patterns dari logs, hapus dapat di-crawl tautan untuk them, dan perbarui narrowly tested disallow aturan. Konfirmasi itu valuable product dan category URLs tetap diizinkan.

sebuah promoted landing halaman competes dengan -nya old penelusuran URL

mungkin penyebab: mentah penelusuran hasil adalah masih dapat di-crawl atau internally ditautkan setelah curated halaman launched. Perbaiki: poin navigation dan contextual tautan untuk bersih landing halaman, pertahankan mentah penelusuran space controlled, dan verify landing halaman adalah self-canonical.

Simplified situs-penelusuran contoh

crawl containment tanpa sebuah conflicting directive

User-facing search: /search?q=waterproof-boots
robots.txt:        Disallow: /search
page-level noindex: not relied on while the path is blocked
XML sitemap:       search URL omitted

block addresses future crawling. jika URL adalah sudah terindeks, pertama memungkinkan halaman untuk menjadi di-crawl dengan noindex; disallow ini hanya setelah removal.

Promote demand untuk sebuah nyata halaman

Before: /search?q=gluten-free-protein-bars
After:  /collections/gluten-free-protein-bars/

bersih collection menerima sebuah stable judul, H1, berguna copy, breadcrumbs, curated products, dan tautan internal. mentah penelusuran URL tetap bagian dari non-dapat diindeks penelusuran space.

Prompts untuk situs-penelusuran analysis

Classify internal kueri ke tindakan

Paste sebuah CSV dari kueri, penelusuran count, hasil count, dan conversions. hapus personal data sebelum sharing ini dengan apa pun model.

You are reviewing ecommerce internal-search demand. For each supplied query, classify it
as: synonym/merchandising fix, zero-result inventory gap, possible curated landing page,
navigation problem, or noise. Explain the evidence from the supplied columns only. Do not
invent external search volume. Return a table and a separate list of items that require
external keyword validation before an indexable page is created.

Audit penelusuran-URL controls

Paste representative penelusuran URLs, robots.txt, respons headers, dan relevant HTML head.

Audit these internal-search URLs for crawl and index-control conflicts. For each URL,
report: robots.txt access, HTTP status, meta or X-Robots-Tag directive, canonical target,
internal-link source, and sitemap presence. Flag robots.txt + noindex conflicts and
200-status zero-result pages. Do not infer any value that is absent from the input.

Scripts untuk finding exposed penelusuran URLs

periksa sebuah representative URL’s respons dan robots file

curl -I 'https://www.example.com/search?q=test'
curl -sS 'https://www.example.com/robots.txt'

pertama command mengonfirmasi nyata HTTP status; kedua lets Anda bandingkan tepat path terhadap deployed aturan. Substitute sebuah situs Anda control.

temukan penelusuran tautan di saat ini dirender halaman

Jalankan ini di DevTools Console pada sebuah representative category atau navigation halaman:

[...document.querySelectorAll('a[href]')]
  .map(a => a.href)
  .filter(href => /(?:\/search(?:\/|\?|$)|[?&](?:q|query|s)=)/i.test(href));

Setiap hasil layak ditinjau, karena tautan yang dapat dirayapi secara biasa dapat membuka ruang URL pencarian, meskipun fitur tersebut bermula sebagai formulir.

Count penelusuran-path permintaan di sebuah access-log extract

awk '$7 ~ /^\/search([/?]|$)/ {print $7}' access.log | sort | uniq -c | sort -nr

Adjust permintaan-path field untuk Anda log format. ini surfaces sebenarnya di-crawl variants; ini melakukan tidak distinguish bot unless input memiliki sudah telah filtered appropriately.

Prove penelusuran controls berfungsi

crawl-control test

Test untuk jalankan: test representative penelusuran URLs dan valuable category URLs di robots.txt Tester. Yang diharapkan hasil: penelusuran patterns adalah blocked sementara product dan category paths tetap diizinkan. Failure interpretation: aturan adalah too sempit, too broad, atau mismatched untuk deployed URL patterns. Monitoring window: immediate setelah robots.txt deployment. Rollback trigger: legitimate catalog URLs become disallowed.

Zero-hasil status test

Test untuk jalankan: permintaan sebuah known zero-hasil kueri dengan curl -I. Yang diharapkan hasil: sebuah nyata 404 ketika URL adalah dapat di-crawl, atau konfirmasi itu seluruh penelusuran path adalah sudah blocked. Failure interpretation: sebuah dapat di-crawl 200 zero-hasil template adalah sebuah soft-error risk. Monitoring window: immediate setelah template rilis. Rollback trigger: valid searches atau product halaman begin returning error statuses.

Promoted landing-halaman test

Test untuk jalankan: inspect baru curated URL, -nya canonical, tautan internal, dan mentah penelusuran equivalent. Yang diharapkan hasil: curated halaman mengembalikan 200, adalah self-canonical, dan menerima dapat di-crawl tautan sementara mentah penelusuran space tetap controlled. Failure interpretation: dua URL jenis adalah competing atau baru halaman adalah orphaned. Monitoring window: immediate teknis memeriksa diikuti oleh Search Console monitoring setelah recrawl. Rollback trigger: rilis exposes sebuah uncontrolled kueri URL space.

Standing situs-penelusuran metrics

Penelusuran-URL crawl share

Metric: share dari verified penelusuran-mesin permintaan going untuk internal-penelusuran URLs. Apa ini tells Anda: apakah controlled URL space masih consumes crawl activity. cara pull ini: bot-verified server logs grouped oleh path dan parameter pattern. Benchmark / realistic range: establish sebuah pre-perubahan baseline dan drive avoidable penelusuran-URL permintaan down tanpa suppressing valuable catalog crawling. Cadence: weekly setelah perubahan, lalu monthly.

Zero-hasil kueri rate

Metric: internal searches itu kembalikan Tidak products sebagai sebuah share dari semua internal searches. Apa ini tells Anda: di mana synonyms, merchandising, navigation, atau inventory fail shoppers. cara pull ini: situs-penelusuran analytics segmented oleh normalized kueri. Benchmark / realistic range: bandingkan categories dan trend terhadap store’s own baseline; catalog mix membuat sebuah universal target misleading. Cadence: weekly untuk merchandising dan monthly untuk SEO/konten planning.

Penelusuran-assisted conversion

Metric: conversion rate dan revenue untuk sessions menggunakan situs penelusuran, dengan kueri groups dipertahankan terlihat. Apa ini tells Anda: apakah fitur helps shoppers temukan products rather daripada merely generating URLs. cara pull ini: analytics events joined untuk transactions. Benchmark / realistic range: gunakan non-penelusuran sessions dan prior periods sebagai context, tidak sebagai proof dari causation. Cadence: monthly dan setelah relevance perubahan.

Demand promoted untuk durable halaman

Metric: validated internal-kueri themes turned ke curated halaman, plus itu halaman’ organic impressions dan conversions. Apa ini tells Anda: apakah pertama-party demand adalah becoming berguna dapat diindeks inventory. cara pull ini: maintain sebuah launch list dan join ini untuk Search Console dan analytics. Benchmark / realistic range: assess setiap halaman terhadap -nya terdokumentasi demand case. Cadence: quarterly.

Resources worth Anda time

My related writing

• Beginner’s Guide untuk SEO teknis — di mana anggaran crawling, pengindeksan, dan duplicate-URL control fit di bigger picture.
• Faceted Navigation: sebuah Guide untuk SEOs — closest sibling topic; yang sama block—noise logic itu governs internal penelusuran URLs.
• anggaran crawling: Semuanya Anda perlu Know untuk SEO — mengapa rendah-nilai URL spaces like hasil pencarian drain crawl dari nyata halaman, dan siapa sebenarnya perlu untuk care.
• Robots.txt dan SEO: Semuanya Anda perlu Know — alat Anda’ll gunakan untuk berisi hasil pencarian halaman, dan crawl-vs-indeks pembedaan itu membuat ini berfungsi.

Materi yang saya sampaikan

• Cara Kerja Penelusuran (SlideShare) — panduan saya tentang perayapan, rendering, pengindeksan, dan pemeringkatan; inilah model mental di balik perlakuan terhadap URL pencarian sebagai pemborosan perayapan. (Penafian tetap saya berlaku: “Ini adalah my understanding dari sistem… tidak going untuk menjadi 100% menyelesaikan atau accurate.” (terjemahan) “Ini adalah pemahaman saya tentang sistem… tidak akan 100% lengkap atau akurat.”)

dari sekitar industry

• Apa anggaran crawling berarti untuk Googlebot (Google Search Central) — Gary Illyes’ canonical list dari rendah-nilai-tambahkan URL categories itu hasil pencarian halaman belong untuk.
• mengoptimalkan Anda anggaran crawling (Google Search Central) — robots.txt-di atas-noindex aturan dan soft-404 crawl-waste warning.
• Managing crawling dari faceted navigation URLs (Google Search Central) — faceted-nav playbook itu maps secara langsung onto internal penelusuran URLs (robots.txt untuk block, 404 untuk empty hasil, canonical sebagai weaker alat).
• Google’s biggest crawling issues (mesin pencari Land) — Gary Illyes’ breakdown dari apa sebenarnya penyebab overcrawl, dengan faceted navigation di roughly half dari semua reported issues.
• Google’s Gary Illyes Continues untuk Warn tentang parameter URL Issues (mesin pencari Journal) — “1000 URLs untuk a scorching 1 million” (terjemahan) “1000 URLs untuk sebuah scorching 1 million” URL-space-explosion warning itu applies equally untuk penelusuran parameters.

Uji pemahaman Anda: Ecommerce situs Penelusuran SEO

Five quick pertanyaan pada bagaimana internal hasil pencarian halaman interact dengan SEO. Pick sebuah jawaban untuk setiap, lalu periksa.

Log perubahan