Panduan Faceted Navigation

TL;DR — Faceted navigation adalah set dari filters pada sebuah category halaman — color, size, price, brand. mereka’re great untuk shoppers, tetapi setiap filter Anda click dapat buat brand-baru web address (URL). pada sebuah big store itu diam-diam turns sebuah sedikit thousand product halaman ke millions dari near-identical filtered halaman, yang wastes limited attention mesin pencari memberikan Anda situs. perbaiki tidak untuk hapus filters — ini adalah untuk decide yang filtered halaman adalah worth menunjukkan di Google dan untuk pertahankan rest out.

Apa faceted navigation adalah

pada hampir apa pun online store’s category halaman ada sebuah panel — biasanya down left side — itu lets Anda sempit hal down: Color: Blue. Size: besar. Brand: Samsung. di bawah 500 USD. setiap dari itu adalah sebuah facet, dan panel sebagai sebuah seluruh adalah faceted navigation (Anda’ll juga hear “faceted penelusuran” (terjemahan) “faceted penelusuran” atau hanya “product filters” (terjemahan) “filter produk”).

ini adalah sebuah genuinely baik pengguna experience. masalah adalah purely teknis, dan ini adalah tentang web addresses.

Mengapa filters buat sebuah SEO masalah

Ketika Anda click sebuah filter, sebagian besar stores perubahan halaman’s URL untuk remember Anda pilihan. Sesuatu like:

example.com/sofas?color=blue
example.com/sofas?color=blue&size=large
example.com/sofas?color=blue&size=large&brand=ikea

setiap unique combination adalah sebuah berbeda URL. dan di sini’s math itu bites: sebuah catalog dari 10 000 products dengan 20 colors, 15 sizes, dan sebuah sedikit sort orders memiliki millions dari mungkin filtered URLs hiding di dalam ini. sebagian besar dari them tampilkan nearly yang sama handful dari products sebagai beberapa lainnya URL. Evidence for this claim Faceted navigation can create effectively unbounded combinations of crawlable URLs. Scope: The exact number depends on URL design, filter combinations, and crawler-discoverable links. Confidence: high · Verified: 2026-07-14 Google: Managing faceted navigation

mesin pencari try untuk visit (crawl) dan file away (indeks) URLs pada Anda situs. mereka jangan memiliki unlimited time untuk apa pun satu situs. So jika mereka burn itu time crawling millions dari near-identical filter halaman, mereka’re tidak crawling Anda sebenarnya baru products. Google’s Gary Illyes memiliki mengatakan faceted navigation adalah single sebagian besar umum crawling complaint mereka hear — tentang half dari semua dari them.

hal sebagian besar orang mendapatkan wrong

Anda tidak perbaiki ini oleh deleting Anda filters. Shoppers perlu them. Anda perbaiki ini oleh telling mesin pencari yang filtered halaman penting dan yang jangan:

• sebuah filtered halaman yang benar-benar dicari banyak orang — misalnya “blue velvet sofas” (terjemahan) “sofa beludru biru” — dapat layak dipertahankan di Google sebagai landing page tersendiri.
• sebuah filtered halaman tidak seorang pun searches untuk — “blue sofas sorted by price, page 3” (terjemahan) “blue sofas sorted oleh price, halaman 3” — adalah pure UX. Anda ingin shoppers untuk gunakan ini, tetapi Anda tidak ingin Google wasting time pada ini.

ada three main alat untuk mempertahankan junk ones out — robots.txt, noindex, dan tag canonical — dan mereka setiap melakukan sebuah different job. Orang mix them up constantly dan accidentally membuat hal worse. Advanced tab walks melalui persis yang satu untuk gunakan ketika, dengan sebuah decision table.

Satu lebih hal untuk know up front: di sana digunakan untuk menjadi sebuah “URL Parameters” (terjemahan) “parameter URL” alat di Google Search Console di mana Anda dapat tell Google untuk ignore Anda filter parameters. ini adalah hilang — Google dihapus ini di 2022. sebuah lot dari older tutorials masih reference ini. jangan go looking untuk ini. Evidence for this claim Google deprecated Search Console's URL Parameters tool in 2022. Scope: Sites must manage parameter crawling through their own URL and crawl-control implementation. Confidence: high · Verified: 2026-07-14 Google: URL Parameters tool deprecated

Yang control seharusnya tangani ini facet URL?

Facet URL count suddenly explodes

1. Konfirmasi pattern. Bandingkan terindeks atau di-crawl URL sample dengan nyata catalog size. Group excess URLs oleh parameter dan parameter combinations. jika tidak ada repeated facet pattern, berhenti dan investigate lainnya sumber dari URLs.
2. temukan penemuan path. crawl category templates dan inspect tautan internal untuk learn yang controls emit dapat di-crawl href nilai. jika URLs hanya muncul di logs, juga periksa tautan eksternal dan old sitemaps.
3. mengukur crawler exposure. Segment server logs oleh suspect parameters. jika Googlebot adalah tidak requesting them, prioritize indeks cleanup; jika ini adalah consuming sebuah besar share dari permintaan, prioritize crawl prevention.
4. Classify demand. Terpisah demand-backed facet combinations dari pure UX status. pertahankan pertama group sebagai landing halaman; melakukan tidak apply sebuah blanket block sebelum ini langkah.
5. Apply satu utama control. gunakan nyata dapat diindeks halaman untuk demand-backed combinations, fragments atau non-tautan controls di mana Tidak URL adalah needed, robots.txt untuk crawl prevention, atau dapat di-crawl noindex untuk deindexing. tidak pernah pair sebuah disallow dengan noindex.
6. Verify dan watch. Test representative URLs, lalu monitor logs, Statistik Crawling, dan halaman pengindeksan. jika valuable landing halaman disappear atau legitimate parameters adalah blocked, sempit atau roll back aturan.

Faceted-navigation mistakes itu membuat cleanup harder

Block sebuah URL di robots.txt dan tambahkan noindex

Google cannot fetch sebuah blocked halaman untuk menemukan -nya noindex directive. memungkinkan crawl sementara deindexing, lalu pertimbangkan sebuah crawl block hanya setelah unwanted URLs memiliki dropped out.

tambahkan noindex dan canonical untuk yang sama facet halaman

noindex says tidak untuk indeks halaman; canonical menanyakan Google untuk consolidate ini dengan lainnya URL. Choose sinyal itu matches job alih-alih sending contradictory instructions.

Expect tag canonical untuk berhenti crawling

Google memiliki untuk crawl sebuah filtered URL untuk see -nya canonical. gunakan canonicals untuk consolidate sinyal, tidak sebagai satu-satunya control untuk sebuah runaway crawl space.

Blanket-block setiap parameter

Satu parameter dapat power keduanya useless combinations dan valuable landing halaman. Inventory apa setiap parameter melakukan dan tulis sempit aturan dengan jelas exceptions.

indeks setiap combination untuk panjang tail

sebagian besar combinations memiliki Tidak standalone demand dan little distinct konten. buat landing halaman hanya untuk combinations didukung oleh demand, dan suppress rest.

Diagnosing faceted-navigation failures

terindeks URL count dwarfs catalog

mungkin penyebab: filters, sorts, dan parameter order adalah producing banyak dapat di-crawl versi dari yang sama product set. Perbaiki: group URLs oleh parameter, pertahankan hanya demand-backed combinations, dan apply appropriate crawl atau indeks control. Konfirmasi oleh watching affected halaman pengindeksan buckets dan log segments trend down.

Googlebot permintaan hammer server

mungkin penyebab: crawler penemuan memiliki entered sebuah near-infinite facet space. Perbaiki: identify parameter patterns di server logs, hapus dapat di-crawl tautan untuk useless status, dan apply sempit robots.txt aturan. Konfirmasi itu Googlebot permintaan shift back toward category dan product URLs.

sebuah noindexed facet tetap terindeks

mungkin penyebab: yang sama URL adalah disallowed di robots.txt, so Google cannot see directive. Perbaiki: izinkan crawling panjang cukup untuk Google untuk proses noindex. Konfirmasi di pemeriksaan URL itu langsung halaman adalah fetchable dan exposes directive.

Google selects sebuah facet URL alih-alih category URL

mungkin penyebab: canonicals, tautan internal, sitemap entries, atau konten sinyal disagree. Perbaiki: align itu sinyal pada yang dimaksud canonical dan hapus tautan internal untuk duplicate forms. Konfirmasi declared dan Google-dipilih canonicals di pemeriksaan URL.

Classify facet parameters tanpa handing model decision

Paste sebuah CSV containing parameter, contoh URLs, product count, estimated kueri demand, dan apakah hasil set differs dari base category. Review setiap recommendation sebelum implementation.

You are helping triage faceted-navigation URL patterns. For each CSV row, classify the pattern as one of: candidate indexable landing page, crawl-prevention candidate, deindexing candidate, canonical-to-base candidate, or needs human review.

Use these rules:
- A landing-page candidate needs verified standalone search demand and meaningfully distinct content.
- robots.txt controls crawling, not guaranteed indexing.
- noindex requires the URL to remain crawlable.
- canonical consolidates signals but does not stop crawling.
- Empty or impossible combinations should return 404.

Return a table with: parameter pattern, evidence used, recommended class, implementation precondition, representative URL to test, and risk if wrong. Do not invent keyword demand. Mark missing evidence as NEEDS DATA.

CSV:
[PASTE CSV]

mengukur facet crawl share dari sebuah access log

Jalankan ini Python script terhadap sebuah standard access log. Adjust bot dan facet patterns untuk match Anda situs. ini reports observed permintaan; ini melakukan tidak decide apakah sebuah URL deserves pengindeksan.

import re
import sys
from collections import Counter
from urllib.parse import urlsplit, parse_qsl

BOT = re.compile(r"Googlebot", re.I)
REQUEST = re.compile(r'"(?:GET|HEAD)\s+(\S+)\s+HTTP/[^\"]+"')
FACET_KEYS = {"color", "size", "brand", "price", "sort", "order"}

total = 0
faceted = 0
keys = Counter()

with open(sys.argv[1], encoding="utf-8", errors="replace") as log:
    for line in log:
        if not BOT.search(line):
            continue
        match = REQUEST.search(line)
        if not match:
            continue
        total += 1
        query_keys = {key for key, _ in parse_qsl(urlsplit(match.group(1)).query)}
        matched = query_keys & FACET_KEYS
        if matched:
            faceted += 1
            keys.update(matched)

print({"googlebot_requests": total, "facet_requests": faceted})
print(keys.most_common())

Extract parameterized facet tautan di sebuah crawler

gunakan ini XPath di Screaming Frog custom extraction untuk collect tautan milik siapa kueri string berisi satu dari named keys:

//a[contains(@href,'?') and (contains(@href,'color=') or contains(@href,'size=') or contains(@href,'brand=') or contains(@href,'sort='))]/@href

equivalent regular expression captures URL di group 1 dan pertama recognized parameter name di group 2:

href=["']([^"']*[?&]((?:color|size|brand|price|sort|order))=[^"']*)["']

List facet tautan pada saat ini halaman

Jalankan ini di Chrome DevTools Console. perubahan keys untuk match situs’s nyata parameters.

const keys = new Set(["color", "size", "brand", "price", "sort", "order"]);
console.table(
  [...document.querySelectorAll("a[href]")]
    .map((a) => new URL(a.href, location.href))
    .filter((u) => [...u.searchParams.keys()].some((k) => keys.has(k)))
    .map((u) => ({
      url: u.href,
      keys: [...u.searchParams.keys()].filter((k) => keys.has(k)).join(","),
    })),
);

Prove crawl-control perubahan took effect

Roll sebuah perubahan out untuk sebuah sample cohort dari URLs sebelum applying ini situs-wide, dan pertahankan sebuah comparable untouched cohort sebagai sebuah control. crawl dan indeks metrics move untuk alasan itu memiliki tidak ada apa pun untuk melakukan dengan Anda perubahan — sebuah cohort perbandingan adalah hanya reliable cara untuk isolate effect.

Test robots.txt aturan

Test untuk jalankan: gunakan Search Console’s robots.txt testing flow atau permintaan langsung file dan test representative diizinkan dan disallowed URLs. Yang diharapkan hasil: junk facet samples adalah blocked sementara base category, products, dan approved landing halaman tetap diizinkan. Failure interpretation: pattern adalah too broad, too sempit, atau melakukan tidak match nyata URL form. Monitoring window: aturan itself adalah immediate; crawler perilaku perubahan setelah bot revisit ini. Rollback trigger: apa pun valuable category, product, atau approved facet halaman becomes blocked.

Test sebuah demand-backed landing halaman

Test untuk jalankan: inspect -nya respons, dirender HTML, canonical, tautan internal, dan sitemap membership. Yang diharapkan hasil: ini mengembalikan 200, self-canonicals, exposes distinct halaman elements, dan adalah reachable melalui dapat di-crawl tautan. Failure interpretation: halaman adalah masih menjadi treated like sebuah suppressed facet state. Monitoring window: teknis sinyal adalah immediate; Google-dipilih canonical dan indeks state memerlukan recrawling. Rollback trigger: Google consistently consolidates halaman elsewhere atau halaman cannot sustain distinct konten dan demand.

Test deindexing tanpa blocking

Test untuk jalankan: inspect sebuah representative unwanted facet URL setelah menambahkan noindex. Yang diharapkan hasil: Google dapat fetch URL dan sees noindex; URL kemudian leaves indeks. Failure interpretation: sebuah robots aturan, rendering issue, atau header/template conflict adalah hiding directive. Monitoring window: directive pengiriman adalah immediate; indeks removal mengikuti recrawling. Rollback trigger: template applies noindex untuk approved landing halaman.

Faceted-navigation health metrics

Track crawl share, indeks footprint, dan landing-halaman performa sebagai three terpisah sinyal — jangan collapse them ke satu score. None dari controls di ini artikel jaminan sebuah crawl, indeks, peringkat, traffic, atau AI-citation outcome; mereka hanya perubahan apa tersedia untuk mesin pencari (dan AI crawler) untuk temukan.

Facet share dari bot crawling

Metric: percentage dari verified Googlebot permintaan itu hit non-dapat diindeks facet patterns. Apa ini tells Anda: apakah crawl capacity adalah menjadi diverted ke UX-hanya URL status. cara pull ini: validate bot traffic dan segment server logs oleh situs’s known facet parameters. Benchmark / realistic range: establish sebuah baseline oleh template dan aim untuk sebuah sustained decline setelah cleanup; catalogs dan crawl demand differ too banyak untuk sebuah universal target. Cadence: weekly selama remediation, lalu monthly.

Facet URL footprint di halaman pengindeksan

Metric: count dan share dari facet URLs di terindeks, duplicate, di-crawl-tidak-terindeks, dan soft-404 buckets. Apa ini tells Anda: apakah crawl controls dan canonical sinyal adalah containing indeks bloat. cara pull ini: export Search Console halaman pengindeksan samples dan classify URLs oleh parameter pattern. Benchmark / realistic range: bandingkan dengan count dari intentionally dapat diindeks facet landing halaman dan gunakan store’s own catalog sebagai baseline. Cadence: monthly; indeks perubahan adalah lagging sinyal.

Approved landing-halaman performa

Metric: clicks, impressions, dan conversions untuk facet combinations intentionally dipertahankan dapat diindeks. Apa ini tells Anda: apakah demand-backed exceptions earn mereka crawl dan maintenance cost. cara pull ini: group itu tepat URLs di Search Console dan analytics. Benchmark / realistic range: bandingkan setiap halaman dengan -nya pre-launch baseline dan relevant base category, tidak sebuah dibuat-buat sitewide threshold. Cadence: monthly dan setelah material catalog perubahan.

TL;DR — Faceted navigation adalah #1 sumber dari overcrawl reported untuk Google (~50% dari crawling complaints, per Gary Illyes). setiap filter combination dapat mint sebuah distinct dapat di-crawl URL, so sebuah kecil catalog hides millions dari near-duplicate halaman — driving duplicate konten, indeks bloat, crawl-budget waste, dan PageRank dilution. decision adalah strategic before ini adalah teknis: yang filter combos memiliki nyata penelusuran demand (→ membuat them dapat diindeks landing halaman) dan yang adalah pure UX (→ suppress). lalu choose right lever, karena mereka’re tidak interchangeable: robots.txt berhenti crawling tetapi tidak pengindeksan; noindex menghapus dari indeks tetapi memerlukan sebuah crawl dan tidak save anggaran crawling; canonical adalah sebuah hint itu consolidates sinyal tetapi tidak berhenti crawling. URL fragments (#) sidestep seluruh masalah karena Google ignores them. GSC parameter URL alat adalah deprecated — server-side controls hanya. Bing masih memiliki URL Normalization.

mechanism: bagaimana filters explode Anda URL space

Faceted navigation becomes sebuah SEO masalah moment sebuah filter perubahan URL di sebuah cara sebuah crawler dapat ikuti. Three terpisah hal mendapatkan conflated di sini, dan mempertahankan them apart membuat rest dari ini artikel click: UI interaction (sebuah shopper clicking sebuah filter), fetchable URL state (apakah itu click perubahan sebuah address sebuah crawler dapat sebenarnya permintaan), dan dapat diindeks landing halaman (apakah itu URL adalah dimaksudkan untuk sit di Google’s indeks di semua). sebuah faceted sistem dapat expose satu dari ini, dua, atau semua three — sebuah client-side filter dengan Tidak URL perubahan memiliki hanya pertama; sebuah kueri-string filter memiliki pertama dua; sebuah curated halaman untuk “blue velvet sofas” (terjemahan) “sofa beludru biru” memiliki semua three, dengan sengaja.

three umum implementations:

arithmetic adalah seluruh masalah. 10 000 products × 20 colors × 15 sizes × 5 sort orders adalah 15 000 000+ potential URLs. Evidence for this claim Combinatorial filters can turn a modest catalog into millions of possible URL states. Scope: The arithmetic is illustrative; Google documents the underlying infinite-space risk. Confidence: high · Verified: 2026-07-14 Google: Managing faceted navigation Gary Illyes put failure mode vividly pada LinkedIn: “Sometimes Anda mungkin create ini new fake URLs accidentally, exploding Anda URL space dari a balmy 1000 URLs untuk a scorching 1 million, exciting crawlers itu di turn hammer Anda servers unexpectedly.” (terjemahan) “Sometimes Anda mungkin buat ini baru fake URLs accidentally, exploding Anda URL space dari sebuah balmy 1000 URLs untuk sebuah scorching 1 million, exciting crawler itu di turn hammer Anda server unexpectedly.”

dan Google dapat’t hanya look di sebuah filter URL space dan decide untuk skip ini. Illyes dijelaskan mengapa pada Search Off Record: “Setelah it discovers a set dari URLs, it cannot membuat a decision tentang apakah itu URL space adalah good atau tidak unless it crawled a large chunk dari itu URL space.” (terjemahan) “Setelah ini discovers sebuah set dari URLs, ini cannot membuat sebuah decision tentang apakah itu URL space adalah baik atau tidak unless ini di-crawl sebuah besar chunk dari itu URL space.” itu’s mengapa ini adalah top crawling complaint — oleh time Google knows URLs adalah junk, ini memiliki sudah di-crawl them.

Worked investigation: filters adalah hanya half trap

Google’s 2025 tahun-end crawl review adalah unusually berguna dunia nyata evidence: Gary Illyes attributed tentang 50% dari crawling issues discussed untuk faceted navigation dan lainnya 25% untuk tindakan parameters. itu kedua category penting karena sebuah ecommerce audit itu counts hanya color, size, dan brand dapat miss URLs dibuat oleh add-to-cart, perbandingan, wish-list, sort, session, dan tracking controls.

Di sini adalah investigation pattern, menggunakan illustrative counts alih-alih claiming mereka adalah sebuah typical benchmark. sebuah retailer memiliki 18 000 dapat diindeks products dan categories, tetapi sebuah crawl discovers 640 000 URLs. Grouping crawl dan log samples oleh parameter menampilkan:

perbaiki adalah tidak satu blanket Disallow. hapus dapat di-crawl tindakan tautan, berhenti putting session dan campaign parameters pada tautan internal, normalize duplicate filter orders, kembalikan 404 untuk impossible combinations, dan pertahankan sedikit demand-backed filters sebagai stable landing halaman. lalu verify hasil di server logs: success sinyal adalah crawler permintaan shifting toward category dan product URLs, tidak merely sebuah lebih kecil crawler export.

four masalah ini penyebab

1. Near-duplicate konten. /washing-machines/samsung/ dan /washing-machines/?brand=samsung dapat sajikan identical product sets. peringkat sinyal split di seluruh keduanya alih-alih consolidating.
2. indeks bloat. bahkan sebuah fraction dari itu millions dari URLs sitting di indeks drags pada Anda situs’s overall quality sinyal.
3. crawl-budget waste. setiap crawl spent pada sebuah rendah-nilai facet adalah sebuah crawl Anda genuinely baru products didn’t mendapatkan. effect compounds — ini juga slows penemuan dari fresh konten. (anggaran crawling hanya benar-benar bites di scale; see anggaran crawling untuk siapa sebenarnya perlu untuk care.)
4. PageRank dilution. sebuah category halaman linking untuk 500 filter combinations spreads -nya internal authority di seluruh 501 destinations alih-alih flowing ini untuk products itu seharusnya peringkat.

Worth saying plainly karena clients tanyakan: ini adalah tidak sebuah penalty risk. Google melakukan tidak hand out manual tindakan untuk faceted-navigation duplication. ini adalah sebuah crawl dan indeks efficiency masalah dan sebuah sinyal-dilution masalah — tidak sebuah duplicate-konten penalty.

strategic decision muncul pertama

sebelum Anda touch robots.txt atau sebuah meta tag, membuat per-URL panggil: melakukan ini filter combination deserve sebuah place di indeks, atau tidak?

• ini deserves pengindeksan jika ini maps untuk nyata penelusuran demand — sebuah kueri orang sebenarnya jenis. “High-rise skinny jeans,” (terjemahan) “tinggi-rise skinny jeans,” “waterproof hiking boots,” (terjemahan) “waterproof hiking boots,” “blue velvet sofa.” (terjemahan) “blue velvet sofa.” ini become proper landing halaman.
• ini melakukan tidak jika ini adalah sebuah arbitrary combination, sebuah sort order, atau sebuah deep multi-facet stack tidak seorang pun searches untuk. ini mendapatkan suppressed.

cara temukan line: keyword research. Pull candidate facet modifiers, periksa volume, dan set sebuah threshold. sebuah reasonable bar dalam praktik adalah roughly 300+ monthly searches untuk justify sebuah standalone terindeks facet halaman — semuanya di bawah itu mendapatkan blocked atau fragment-ized. alasan ini penting adalah panjang tail: 99.84% dari keywords mendapatkan fewer daripada 1 000 searches sebuah month, namun mereka account untuk 39,33% dari total penelusuran demand. sebagian besar facet combinations memiliki Tidak demand — tetapi minority itu melakukan adalah sebuah nyata opportunity, dan satu-satunya cara untuk capture them adalah untuk let itu spesifik halaman menjadi terindeks.

Demand alone tidak seluruh gate. sebelum Anda promote sebuah combination untuk sebuah dapat diindeks landing halaman, ini perlu three hal together: verified demand ( keyword research di atas), distinct nilai (konten dan sebuah product set itu sebenarnya differs dari base category — tidak hanya yang sama products di sebuah berbeda order), dan sebuah commitment untuk monitor ini (crawl, indeks, dan performa sinyal, tidak sebuah set-dan-forget flag). Treat setiap promoted halaman sebagai sebuah experiment itu memiliki untuk earn -nya pertahankan, tidak sebuah guaranteed panjang-tail win — see Metrics tab untuk apa untuk track.

teknis levers — dan bagaimana mereka differ

ini adalah di mana sebagian besar implementations go wrong, karena three main controls feel interchangeable dan tidak.

robots.txt disallow — berhenti crawling, Google’s preferred prevention. Blocking filter parameter spaces sementara allowing item halaman dan unfiltered listing adalah strongest crawl-budget lever. Google’s own contoh:

disallow: /*?*products=
disallow: /*?*color=
disallow: /*?*size=
allow: /*?products=all$

catch: robots.txt blocks crawling, tidak indexing. sebuah blocked URL itu memiliki inbound tautan dapat masih muncul di indeks sebagai sebuah URL-hanya hasil (Tidak snippet, karena Google tidak pernah baca halaman). So ini adalah right alat ketika Anda goal adalah “stop wasting crawl on this space,” (terjemahan) “berhenti wasting crawl pada ini space,” tidak “get this out of the index.” (terjemahan) “mendapatkan ini out dari indeks.”

noindex — menghapus dari indeks, tetapi memerlukan sebuah crawl. Google adalah jelas: “Google has to crawl the page in order to find the noindex rule.” (terjemahan) “Google memiliki untuk crawl halaman di order untuk temukan noindex aturan.” So noindex controls indexing, tidak crawling — ini akan tidak save Anda anggaran crawling, karena Googlebot masih memiliki untuk fetch halaman untuk see tag. gunakan ini ketika goal adalah removal dari indeks, tidak crawl efficiency.

rel="canonical" — sebuah hint itu consolidates, weakest untuk crawl. Pointing filtered halaman di unfiltered category consolidates duplicate sinyal, dan per Google ini “mungkin, over time, decrease itu crawl volume dari non-canonical versions” (terjemahan) “dapat, di atas time, decrease crawl volume dari non-canonical versi” — tetapi ini adalah “generally lebih sedikit effective di itu long term” (terjemahan) “umumnya lebih sedikit effective di panjang istilah” daripada robots.txt atau fragments. ini adalah sebuah hint, tidak sebuah directive; Google dapat override ini. dan ini melakukan tidak ada apa pun untuk server muat di pendek istilah, karena Google masih melakukan crawl non-canonical halaman untuk see tag canonical.

URL fragments (#) — sidestep masalah entirely. Karena “Google Search generally tidak dukung URL fragments di crawling dan indexing,” (terjemahan) “Google Search umumnya tidak mendukung URL fragments di crawling dan pengindeksan,” sebuah hash-based filter state like /sofas#color=blue memiliki zero crawl atau indeks impact. ini adalah paling bersih prevention untuk filters dengan Tidak penelusuran demand — filter applies client-side, Tidak baru dapat di-crawl URL adalah ever born.

rel="nofollow" pada filter tautan — semua-atau-tidak ada apa pun. Anda dapat discourage Google dari berikut filter tautan, tetapi per Google “setiap anchor pointing untuk a specific URL harus memiliki itu rel=‘nofollow’ attribute di order untuk it untuk menjadi effective.” (terjemahan) “setiap anchor pointing untuk sebuah spesifik URL harus memiliki rel=‘nofollow’ attribute di order untuk ini untuk menjadi effective.” Miss satu diikuti tautan anywhere pada situs dan seluruh approach leaks. ini adalah juga now sebuah hint, tidak sebuah directive.

See Cheat Sheets tab untuk penuh decision table.

critical don’ts

ini adalah combinations itu diam-diam break:

• noindex + robots.txt disallow pada yang sama URL. ini adalah classic mistake. jika URL adalah blocked, Googlebot dapat’t fetch ini, so ini tidak pernah sees noindex tag — dan halaman dapat stay terindeks. untuk deindex, Anda harus allow crawling dan sajikan noindex.
• noindex + canonical pada yang sama URL. Contradictory sinyal. sebagai John Mueller memiliki put ini, “noindex tidak tell Google itu Anda ingin it combined dengan sesuatu else dan itu sinyal seharusnya menjadi forwarded.” (terjemahan) “noindex tidak tell Google itu Anda ingin ini combined dengan sesuatu else dan itu sinyal seharusnya menjadi forwarded.” Pick satu.
• Canonical alone, expecting crawl-budget relief. ini tidak berhenti crawling. Google mempertahankan fetching non-canonical URLs.

struktur URL best practices untuk facets Anda do indeks

untuk minority dari filtered halaman Anda’ve decided untuk indeks, Google’s docs memberikan jelas aturan:

1. gunakan standard & separator — tidak commas, semicolons, pipes, atau brackets.
2. pertahankan sebuah consistent filter order. /sofas/blue/fabric dan /sofas/fabric/blue harus resolve untuk satu canonical form, tidak dua.
3. Tidak duplicate filter nilai — ?color=blue&color=blue seharusnya 404, tidak 200.
4. mengembalikan nyata 404 untuk empty/impossible combinations. jika /sofas/red memiliki Tidak hasil, kirim 404 — jangan sajikan generic 200 “Tidak hasil” (terjemahan) “Tidak hasil” halaman propped up oleh sebuah noindex.
5. Prefer bersih paths di atas kueri strings untuk dapat diindeks facets — /sofas/blue/ membaca better daripada /sofas?color=blue&style=&sort=.

JavaScript / AJAX faceted nav — prevention, dengan sebuah tradeoff

jika Anda bangun filters sebagai client-side AJAX itu jangan emit nyata <a href> tautan untuk filter URLs, filter applies di browser dan Tidak dapat di-crawl URL adalah ever dibuat. itu’s great untuk anggaran crawling. tradeoff adalah symmetric: Googlebot juga dapat’t reach itu filtered status, so apa pun valuable panjang-tail filter combination tidak akan mendapatkan terindeks either.

gold standard untuk big catalogs adalah sebuah hybrid: pre-render atau server-render tinggi-demand filter combinations sebagai nyata, ditautkan, dapat diindeks halaman dengan unique intro copy dan sitemap inclusion, dan pertahankan semua ephemeral, Tidak-demand status client-side (AJAX, fragments, atau pushState parameters paired dengan sebuah canonical untuk base). Google renders JavaScript, tetapi rendering adalah queued dan lebih lambat daripada HTML crawling — so untuk halaman Anda sebenarnya ingin reliably terindeks, jangan rely pada rendering sisi klien alone. (Lebih pada rendering side di JavaScript SEO.)

parameter URL alat adalah hilang

Address ini early dengan apa pun client, karena half tutorials online masih tell Anda untuk gunakan ini. Google deprecated parameter URL alat di April 2022. alasan: Google mendapat baik cukup di parameter detection itu “hanya tentang 1% dari itu parameter configurations saat ini specified di itu URL Parameters tool adalah useful untuk crawling.” (terjemahan) “hanya tentang 1% dari parameter configurations saat ini specified di parameter URL alat adalah berguna untuk crawling.” Evidence for this claim Google removed the URL Parameters tool after determining that very few configurations remained useful. Scope: This is a historical Search Console change, not a claim that Google never crawls parameters. Confidence: high · Verified: 2026-07-14 Google: URL Parameters tool deprecated ditanyakan apakah ini mungkin come back, Illyes answered: “Di theory Ya. Dalam praktik Tidak.” (terjemahan) “di theory Ya. dalam praktik Tidak.” tidak ada Search Console control untuk tell Google untuk ignore sebuah parameter anymore — ini adalah server-side management (robots.txt, noindex, fragments) atau tidak ada apa pun.

Bing adalah berbeda. Bing Webmaster alat masih offers URL Normalization, di mana Anda specify yang parameters dapat menjadi stripped, dan per Fabrice Canel “our crawler will not visit the URLs with extra parameters except for an occasional test.” (terjemahan) “crawler kami tidak akan mengunjungi URL dengan parameter tambahan kecuali untuk pengujian sesekali.” Jika Anda care tentang Bing (dan AI penelusuran increasingly leans pada Bing’s indeks), it’s sebuah terpisah, ~5-minute configuration worth melakukan.

sebuah note pada blanket parameter blocking

menjadi careful dengan sweeping robots.txt aturan. jika sebuah parameter menyajikan lebih daripada satu purpose — say ?type= adalah digunakan keduanya untuk sebuah junk facet and untuk sebuah legitimate paginated atau canonical view di suatu tempat — sebuah broad disallow: /*?*type= akan block legitimate URLs too. Audit apa setiap parameter sebenarnya melakukan sebelum Anda block ini, dan prefer sempit aturan plus allow exceptions di atas sebuah catch-semua itu nukes berguna halaman along dengan junk.

cara audit Anda own situs

• crawl ini. Ahrefs situs Audit atau Screaming Frog akan surface URL explosion, parameter patterns, dan bagaimana deep filtered halaman sit.
• site: count vs. nyata product count. sebuah site:example.com hasil count itu dwarfs Anda sebenarnya catalog adalah tell-tale sign dari facet-driven indeks bloat.
• GSC halaman pengindeksan report. cari besar counts dari “Crawled — currently not indexed” (terjemahan) “Dirayapi — saat ini belum diindeks” dan “Duplicate without user-selected canonical” (terjemahan) “Duplikat tanpa canonical pilihan pengguna” — facets tampilkan up di sini.
• server logs. ground truth untuk crawl waste: mereka tampilkan persis bagaimana banyak dari Googlebot’s time adalah going untuk parameter URLs alih-alih products.

Di mana ini sits di pillar

Faceted navigation adalah canonical teknis challenge dari Ecommerce SEO — ini adalah mengapa ecommerce SEO adalah harder daripada regular SEO, tidak berbeda dari ini. ini connects secara langsung untuk ecommerce situs architecture (filters hang off Anda category pyramid), category halaman SEO ( halaman filters langsung pada), dan lebih luas crawl story di crawling dan canonicalization. Teknis SEOs sering arrive di ini topic dari informasi-architecture angle; practical home untuk ini adalah di sini, pada store side.

AI summary

sebuah condensed take pada Advanced versi:

• Apa ini adalah: filter panel pada category/archive halaman (color, size, price, brand) — juga called faceted penelusuran atau product filtering. Great UX; sebuah SEO masalah hanya karena setiap filter combination dapat mint sebuah distinct dapat di-crawl URL.
• ** scale masalah:** 10 000 products × colors × sizes × sorts = millions dari near-duplicate URLs. Gary Illyes: faceted nav adalah ~50% dari semua crawling issues reported untuk Google. Google dapat’t skip space tanpa pertama crawling “a large chunk” (terjemahan) “sebuah besar chunk” dari ini.
• Four harms: near-duplicate konten, indeks bloat, crawl-budget waste, PageRank dilution. Tidak sebuah penalty risk — ini adalah sebuah efficiency dan sinyal-dilution masalah.
• Decide strategy pertama: indeks filter combos dengan nyata penelusuran demand (~300+ monthly searches sebagai sebuah berfungsi bar); suppress rest.
• ** levers differ:** robots.txt berhenti crawling, tidak pengindeksan (blocked URLs dapat masih muncul sebagai URL-hanya hasil); noindex menghapus dari indeks tetapi perlu sebuah crawl, so ini tidak save anggaran crawling; canonical adalah sebuah consolidating hint itu tidak berhenti crawling; URL fragments (#) sidestep semuanya karena Google ignores them.
• tidak pernah: combine noindex + robots.txt disallow (Google dapat’t see tag); atau noindex + canonical (contradictory — Mueller says pick satu).
• Tooling: Google’s parameter URL alat adalah deprecated di 2022 — server-side controls hanya. Bing masih memiliki URL Normalization.
• JS/AJAX filters mencegah crawl waste tetapi juga block pengindeksan dari valuable panjang-tail facets — pre-render tinggi-demand ones.

Dokumentasi resmi

Utama-sumber guidance pada faceted navigation dan parameter menangani.

Google

• Managing crawling dari faceted navigation URLs — permanent help doc Google elevated dari sebuah 2014 blog post di December 2024.
• Faceted navigation (crawling infrastructure versi) — sama guidance, dengan robots.txt dan &-separator contoh.
• crawling December: Faceted navigation (2024) — blog post itu called ini “by far the most common source of overcrawl issues.” (terjemahan) “oleh far paling umum sumber dari overcrawl issues.”
• Faceted navigation best (dan 5 dari worst) practices (2014) — original reference, now superseded tetapi berguna untuk history.
• Spring cleaning: parameter URL alat (2022) — deprecation announcement.
• mengoptimalkan Anda anggaran crawling — context untuk mengapa facet crawl waste penting.

Bing / Microsoft

• Better daripada canonical; URL Normalization — Fabrice Canel pada Bing’s parameter-menangani alat (masih active, unlike Google’s).

Quotes dari sumber

pada—record statements dari Google dan Bing. Deep tautan jump untuk quoted passage di mana sumber halaman mendukung text fragments.

Google — scale dari masalah (Gary Illyes)

• “Setelah it discovers a set dari URLs, it cannot membuat a decision tentang apakah itu URL space adalah good atau tidak unless it crawled a large chunk dari itu URL space.” (terjemahan) “Setelah ini discovers sebuah set dari URLs, ini cannot membuat sebuah decision tentang apakah itu URL space adalah baik atau tidak unless ini di-crawl sebuah besar chunk dari itu URL space.” — Gary Illyes, Search Off Record (2025 tahun-end crawl report). Relayed melalui mesin pencari Land’s verbatim coverage — konfirmasi terhadap episode sebelum treating sebagai akhir. Coverage
• “An interesting quirk dari URLs adalah itu Anda dapat add an infinite (I call BS) number dari URL parameters untuk itu URL path, dan oleh itu essentially forming new resources.” (terjemahan) “sebuah interesting quirk dari URLs adalah itu Anda dapat tambahkan sebuah infinite (I panggil BS) angka dari parameter URL untuk URL path, dan oleh itu essentially forming baru resources.” — Gary Illyes, LinkedIn, August 2024. Relayed melalui mesin pencari Journal. Coverage
• “Sometimes Anda mungkin create ini new fake URLs accidentally, exploding Anda URL space dari a balmy 1000 URLs untuk a scorching 1 million, exciting crawlers itu di turn hammer Anda servers unexpectedly.” (terjemahan) “Sometimes Anda mungkin buat ini baru fake URLs accidentally, exploding Anda URL space dari sebuah balmy 1000 URLs untuk sebuah scorching 1 million, exciting crawler itu di turn hammer Anda server unexpectedly.” — Gary Illyes, LinkedIn, August 2024. Relayed melalui mesin pencari Journal. Coverage
• pada bringing back parameter URL alat: “In theory yes. In practice no.” (terjemahan) “di theory Ya. dalam praktik Tidak.” — Gary Illyes, LinkedIn, 2024. Relayed melalui mesin pencari Journal. Coverage

Google — docs

• “Google has to crawl the page in order to find the noindex rule.” (terjemahan) “Google memiliki untuk crawl halaman di order untuk temukan noindex aturan.” — Google Search Central, faceted navigation docs. Jump untuk quote
• “Google Search generally tidak dukung URL fragments di crawling dan indexing.” (terjemahan) “Google Search umumnya tidak mendukung URL fragments di crawling dan pengindeksan.” Jump untuk quote
• pada rel="nofollow": “setiap anchor pointing untuk a specific URL harus memiliki itu rel=‘nofollow’ attribute di order untuk it untuk menjadi effective.” (terjemahan) “setiap anchor pointing untuk sebuah spesifik URL harus memiliki rel=‘nofollow’ attribute di order untuk ini untuk menjadi effective.” Jump untuk quote
• pada deprecated alat: “hanya tentang 1% dari itu parameter configurations saat ini specified di itu URL Parameters tool adalah useful untuk crawling.” (terjemahan) “hanya tentang 1% dari parameter configurations saat ini specified di parameter URL alat adalah berguna untuk crawling.” Jump untuk quote

Google — John Mueller

• “noindex doesn’t tell Google that you want it combined with something else and that signals should be forwarded.” (terjemahan) “noindex tidak tell Google itu Anda ingin ini combined dengan sesuatu else dan itu sinyal seharusnya menjadi forwarded.” (pada mengapa tidak untuk pair noindex dengan canonical) — John Mueller, Google. Relayed melalui mesin pencari Journal. Coverage

Bing — Fabrice Canel

• pada URL Normalization: “our crawler akan tidak visit itu URLs dengan extra parameters except untuk an occasional test.” (terjemahan) “kami crawler akan tidak visit URLs dengan extra parameters except untuk sebuah occasional test.” Jump untuk quote
• “relying on canonical tag is not necessarily the perfect solution to fix all your duplicate content problems.” (terjemahan) “relying pada tag canonical adalah tidak niscaya perfect solusi untuk perbaiki semua Anda duplicate konten masalah.” Jump untuk quote

Faceted-navigation audit checklist

sebuah lulus untuk temukan dan perbaiki facet-driven crawl/indeks waste:

• crawl situs (Ahrefs situs Audit / Screaming Frog) dan quantify parameter-URL explosion vs. Anda nyata product count.
• Bandingkan site:yourdomain.com indeks count terhadap Anda sebenarnya catalog size — sebuah big kesenjangan adalah indeks bloat.
• di GSC halaman pengindeksan, review “Crawled — currently not indexed” (terjemahan) “Dirayapi — saat ini belum diindeks” dan “Duplicate without user-selected canonical” (terjemahan) “Duplikat tanpa canonical pilihan pengguna” untuk facet URLs.
• periksa server logs untuk bagaimana banyak dari Googlebot’s crawl adalah hitting parameter URLs alih-alih products.
• List setiap filter parameter dan apa ini melakukan — konfirmasi none sajikan double duty sebelum writing block aturan.
• Keyword-research facet modifiers; flag combinations dengan nyata demand (~300+/mo) untuk membuat dapat diindeks.
• untuk rendah-demand facets, konfirmasi satu suppression metode per URL — tidak pernah noindex and robots.txt disallow together.
• untuk dapat diindeks facets, verify consistent filter order, & separators, self-referencing canonical, unique intro copy, dan sitemap inclusion.
• Konfirmasi empty/impossible filter combinations kembalikan 404, tidak sebuah 200 “no results” (terjemahan) “Tidak hasil” halaman.
• Configure Bing Webmaster alat URL Normalization (terpisah dari Google).

mental models

1. Strategy sebelum tactics — indeks atau suppress? setiap facet URL adalah sebuah binary panggil: melakukan ini map untuk nyata penelusuran demand (→ dapat diindeks landing halaman) atau adalah ini pure UX (→ suppress)? membuat ini decision before Anda touch sebuah single tag. Tooling dapat’t perbaiki sebuah missing strategy.

2. three levers melakukan three berbeda jobs. pertahankan ini straight dan sebagian besar facet confusion disappears:

• robots.txt → controls crawling (tidak pengindeksan)
• noindex → controls pengindeksan (tidak crawling — memerlukan sebuah crawl)
• canonical → consolidates sinyal (sebuah hint; tidak berhenti crawling)

3. suppression decision aturan.

• ingin bot untuk skip sebuah space entirely dan jangan care tentang pengindeksan? → robots.txt disallow.
• ingin sebuah halaman out dari index? → izinkan crawl + noindex (tidak pernah block ini).
• ingin sebuah Tidak-demand filter untuk tidak pernah buat URL di semua? → URL fragment (#) atau AJAX dengan Tidak <a href>.

4. Prevention beats cure. paling bersih faceted nav adalah satu di mana junk URLs adalah tidak pernah born — fragments dan client-side filtering untuk Tidak-demand status, nyata halaman hanya untuk demand-backed ones. Cleaning up sebuah million sudah-di-crawl URLs adalah far lebih berfungsi daripada tidak pernah minting them.

5. panjang-tail tradeoff. Pemfilteran JavaScript/AJAX mengurangi pemborosan crawling dan pengindeksan sekaligus. Ini adalah fitur untuk facet yang tidak berguna, tetapi bug untuk facet yang bernilai. Pra-render kombinasi yang didukung demand; biarkan sisanya tetap client-side.

Faceted navigation control — cheat sheet

Apa setiap control sebenarnya melakukan

tidak pernah combine

• noindex + robots.txt disallow → Google dapat’t see noindex → tetap terindeks.
• noindex + canonical → contradictory sinyal (Mueller: pick satu).
• canonical alone untuk anggaran crawling → ini tidak berhenti crawling.

URL aturan untuk facets Anda melakukan indeks

• & separator hanya (Tidak commas/semicolons/brackets).
• Consistent filter order → satu canonical form.
• Tidak duplicate filter nilai.
• 404 untuk empty/impossible combinations (tidak sebuah 200 “Tidak hasil” (terjemahan) “Tidak hasil”).
• Bersih paths > kueri strings: /sofas/blue/ di atas /sofas?color=blue&sort=.

Fast facts

• Faceted nav ≈ 50% dari crawling issues reported untuk Google (Illyes).
• GSC parameter URL alat: dihapus (April 2022) — server-side controls hanya.
• Bing equivalent: URL Normalization di Bing Webmaster alat — masih active.
• Google ignores URL fragments (#) untuk crawling dan pengindeksan.
• berfungsi demand threshold untuk sebuah dapat diindeks facet halaman: ~300+ searches/month.

alat untuk diagnosing dan managing faceted nav

• Ahrefs situs Audit — surfaces parameter-URL explosion, near-duplicate clusters, dan crawl depth dari filtered halaman.
• Screaming Frog SEO Spider — crawl dengan custom extraction untuk map setiap filter parameter dan bagaimana facet URLs tautan untuk setiap lainnya.
• Google Search Console — halaman pengindeksan report — “Crawled — currently not indexed” (terjemahan) “Dirayapi — saat ini belum diindeks” dan “Duplicate without user-selected canonical” (terjemahan) “Duplikat tanpa canonical pilihan pengguna” adalah di mana facet bloat menampilkan up.
• GSC pemeriksaan URL — konfirmasi bagaimana sebuah single filter URL adalah di-crawl, dirender, dan terindeks (dan yang canonical Google chose).
• server log file analysis (Screaming Frog Log File Analyser, atau logs piped ke BigQuery) — ground truth untuk bagaimana banyak crawl adalah going untuk parameter URLs.
• Bing Webmaster alat — URL Normalization — Bing’s masih-active parameter control; pre-detects umum duplicate parameters untuk review.
• Keyword research (Ahrefs Keywords Explorer) — temukan yang facet modifiers memiliki demand itu justifies sebuah dapat diindeks landing halaman.

Uji pemahaman Anda: faceted navigation

Five pertanyaan pada deciding yang facet URLs untuk indeks dan yang control untuk gunakan.

Log perubahan