Hướng dẫn về điều hướng theo bộ lọc
Cách quản lý điều hướng theo bộ lọc trên website thương mại điện tử để người dùng tìm sản phẩm mà không tạo vô số URL trùng lặp, lãng phí crawl hoặc làm phình chỉ mục.
Ngôn ngữ
Faceted navigation là đó single biggest nguồn of crawl waste các công cụ tìm kiếm hear về — Gary Illyes pegs điều này tại ~50% of all crawling các vấn đề reported để Google. Đó mechanism: mỗi filter combination có thể spawn của nó own crawlable URL, chuyển thành một 10 000-sản phẩm catalog vào millions of near-duplicate các trang. Đó strategic decision xuất hiện trước đó kỹ thuật một — hình out mà filter combinations có real tìm kiếm demand (làm những indexable landing các trang) và mà là pure UX (block them hoặc xây dựng them so they không bao giờ tạo một URL). Thì pick đó right lever: robots.txt dừng crawling nhưng không lập chỉ mục; noindex xóa các trang từ đó chỉ mục nhưng không save ngân sách crawl; canonical là một hint đó consolidates các tín hiệu nhưng không dừng crawling. Đó URL Parameters tool trong Search Console là đã biến mất — deprecated trong 2022 — so máy chủ-side controls là all bạn đã nhận on Google. Bing vẫn có URL Normalization.
Tóm tắt — Faceted navigation là đặt của filters on category trang — color, size, price, brand. họ’re great cho shoppers, nhưng mỗi filter bạn nhấp có thể tạo brand-new web address (URL). On big store đó âm thầm turns một vài thousand sản phẩm các trang vào millions của near-giống hệt filtered các trang, mà wastes limited attention các công cụ tìm kiếm cho của bạn trang web. khắc phục không phải để xóa filters — nó để quyết định mà filtered các trang là worth cho thấy trong Google và để giữ rest out.
Điều gì faceted navigation là
On gần như bất kỳ online store category trang có một panel — thường xuống đó left side — đó cho phép bạn hẹp điều xuống: Color: Blue. Size: Lớn. Brand: Samsung. Dưới $500. USD Mỗi of những là một facet, và đó panel as một toàn bộ là faceted navigation (bạn’ll cũng hear “faceted search” (bản dịch) «faceted tìm kiếm» hoặc chỉ “product filters” (bản dịch) «sản phẩm filters»).
nó genuinely good người dùng experience. vấn đề là purely kỹ thuật, và nó về web addresses.
Vì sao filters tạo SEO vấn đề
Khi bạn nhấp filter, phần lớn stores thay đổi trang URL để remember của bạn lựa chọn. Điều gì đó như:
example.com/sofas?color=blue
example.com/sofas?color=blue&size=large
example.com/sofas?color=blue&size=large&brand=ikeamỗi unique combination là khác URL. và ở đây math đó bites: catalog của 10 000 các sản phẩm với 20 colors, 15 sizes, và một vài loại orders có millions của có thể filtered các URL hiding bên trong nó. phần lớn của them hiển thị nearly giống nhau handful của các sản phẩm as some khác URL.
các công cụ tìm kiếm try để visit (crawl) và file away (chỉ mục) các URL trên trang web củ bạn. họ không có unlimited time cho bất kỳ một trang web. So nếu họ burn đó time crawling millions của near-giống hệt filter các trang, họ’re không crawling của bạn thực tế new các sản phẩm. Google Gary Illyes có đã nói faceted navigation là single phần lớn phổ biến crawling complaint họ hear — về half của tất cả them.
điều phần lớn mọi người nhận sai
bạn không khắc phục điều này by deleting của bạn filters. Shoppers cần them. bạn khắc phục nó by telling các công cụ tìm kiếm mà filtered các trang quan trọng và mà không:
- MỘT filtered trang đó lots of mọi người thực ra search for — chẳng hạn “blue velvet sofas” (bản dịch) «blue velvet sofas» — có thể là worth giữ trong Google as của nó own landing trang.
- MỘT filtered trang không ai searches cho — “blue sofas sorted by price, page 3” (bản dịch) «blue sofas sorted by price, trang 3» — là pure UX. Bạn muốn shoppers để dùng điều này, nhưng bạn không muốn Google wasting time on điều này.
có three main tools cho giữ junk ones out — robots.txt,
noindex, và thẻ canonical — và họ mỗi làm khác job. Mọi người mix
them lên constantly và accidentally làm điều tệ hơn. Nâng cao tab walks
qua chính xác mà một để sử dụng Khi, với decision bảng.
Một hơn điều để know lên front: ở đó được dùng để là một “URL Parameters” (bản dịch) «URL Parameters» tool trong Google Search Console nơi bạn có thể tell Google để bỏ qua của bạn filter parameters. đây là đã biến mất — Google đã xóa điều này trong 2022. MỘT lot of older tutorials vẫn reference điều này. không go looking cho điều này.
Mà control nên xử lý điều này facet URL?
Choose a treatment for a faceted URL
Facet URL count suddenly explodes
- xác nhận pattern. So sánh được lập chỉ mục hoặc được crawl URL sample với thực catalog size. Group excess các URL by parameter và parameter combinations. nếu có không repeated facet pattern, dừng và investigate một nguồn của các URL.
- tìm phát hiện path. Crawl category templates và inspect liên kết nội bộ để learn mà controls emit crawlable
hrefcác giá trị. nếu các URL chỉ xuất hiện trong nhật ký, cũng kiểm tra liên kết bên ngoài và old sitemaps. - Đo lường crawler exposure. Segment máy chủ nhật ký by suspect parameters. nếu Googlebot không phải requesting them, prioritize chỉ mục cleanup; nếu nó là consuming lớn share của các yêu cầu, prioritize crawl prevention.
- Classify demand. Tách biệt demand-được hỗ trợ facet combinations từ pure UX trạng thái. Bảo toàn đầu tiên group as landing các trang; không apply blanket block trước khi điều này step.
- Apply một chính control. sử dụng thực indexable các trang cho demand-được hỗ trợ combinations, fragments hoặc non-link controls nơi không URL là needed,
robots.txtcho crawl prevention, hoặc crawlablenoindexcho deindexing. không bao giờ pair disallow vớinoindex. - Verify và watch. Kiểm thử representative các URL, sau đó monitor nhật ký, Crawl Số liệu, và trang lập chỉ mục. nếu valuable landing các trang disappear hoặc legitimate parameters là blocked, hẹp hoặc roll back rule.
Faceted-navigation mistakes đó làm cleanup harder
Block URL trong robots.txt và thêm noindex
Google không thể fetch blocked trang để discover của nó noindex directive. Cho phép crawl trong khi deindexing, sau đó cân nhắc crawl block chỉ sau khi unwanted các URL có dropped out.
Thêm noindex và canonical để giống nhau facet trang
noindex nói không để chỉ mục trang; canonical asks Google để consolidate nó với một URL. chọn tín hiệu đó matches job thay vì sending contradictory instructions.
Expect canonical tags để dừng crawling
Google có để crawl filtered URL để see của nó canonical. sử dụng canonicals để consolidate các tín hiệu, không as chỉ control cho runaway crawl space.
Blanket-block mỗi parameter
Một parameter có thể power cả hai useless combinations và valuable landing các trang. Inventory Điều gì mỗi parameter làm và ghi hẹp rules với rõ ràng exceptions.
chỉ mục mỗi combination cho dài tail
phần lớn combinations có không standalone demand và little distinct nội dung. Tạo landing các trang chỉ cho combinations supported by demand, và suppress rest.
Diagnosing faceted-navigation failures
được lập chỉ mục URL count dwarfs catalog
có khả năng nguyên nhân: filters, sorts, và parameter order là producing nhiều crawlable versions của giống nhau sản phẩm đặt. khắc phục: group các URL by parameter, bảo toàn chỉ demand-được hỗ trợ combinations, và apply appropriate crawl hoặc chỉ mục control. xác nhận by watching affected trang lập chỉ mục buckets và log segments trend xuống.
Googlebot các yêu cầu hammer máy chủ
có khả năng nguyên nhân: crawler phát hiện có entered near-infinite facet space. khắc phục: identify parameter patterns trong máy chủ nhật ký, xóa crawlable links để useless trạng thái, và apply hẹp robots.txt rules. xác nhận đó Googlebot các yêu cầu shift back toward category và sản phẩm các URL.
noindexed facet vẫn được lập chỉ mục
có khả năng nguyên nhân: giống nhau URL là disallowed trong robots.txt, so Google không thể see directive. khắc phục: cho phép crawling dài đủ cho Google để xử lý noindex. xác nhận trong URL Inspection đó trực tiếp trang là fetchable và exposes directive.
Google selects facet URL thay vì category URL
có khả năng nguyên nhân: canonicals, liên kết nội bộ, sitemap entries, hoặc nội dung các tín hiệu disagree. khắc phục: align những điều đó các tín hiệu on dự kiến canonical và xóa liên kết nội bộ để duplicate forms. xác nhận declared và Google-được chọn canonicals trong URL Inspection.
Classify facet parameters không có handing model decision
Paste CSV containing parameter, ví dụ các URL, sản phẩm count, estimated query demand, và liệu kết quả đặt differs từ base category. Review mỗi khuyến nghị trước khi implementation.
You are helping triage faceted-navigation URL patterns. For each CSV row, classify the pattern as one of: candidate indexable landing page, crawl-prevention candidate, deindexing candidate, canonical-to-base candidate, or needs human review.
Use these rules:
- A landing-page candidate needs verified standalone search demand and meaningfully distinct content.
- robots.txt controls crawling, not guaranteed indexing.
- noindex requires the URL to remain crawlable.
- canonical consolidates signals but does not stop crawling.
- Empty or impossible combinations should return 404.
Return a table with: parameter pattern, evidence used, recommended class, implementation precondition, representative URL to test, and risk if wrong. Do not invent keyword demand. Mark missing evidence as NEEDS DATA.
CSV:
[PASTE CSV] Đo lường facet crawl share từ access log
Chạy điều này Python script so với tiêu chuẩn access log. Adjust bot và facet patterns để match của bạn trang web. nó các báo cáo observed các yêu cầu; nó không quyết định liệu URL deserves lập chỉ mục.
import re
import sys
from collections import Counter
from urllib.parse import urlsplit, parse_qsl
BOT = re.compile(r"Googlebot", re.I)
REQUEST = re.compile(r'"(?:GET|HEAD)\s+(\S+)\s+HTTP/[^\"]+"')
FACET_KEYS = {"color", "size", "brand", "price", "sort", "order"}
total = 0
faceted = 0
keys = Counter()
with open(sys.argv[1], encoding="utf-8", errors="replace") as log:
for line in log:
if not BOT.search(line):
continue
match = REQUEST.search(line)
if not match:
continue
total += 1
query_keys = {key for key, _ in parse_qsl(urlsplit(match.group(1)).query)}
matched = query_keys & FACET_KEYS
if matched:
faceted += 1
keys.update(matched)
print({"googlebot_requests": total, "facet_requests": faceted})
print(keys.most_common())Extract parameterized facet links trong crawler
sử dụng điều này XPath trong Screaming Frog custom extraction để collect links whose query string contains một của named keys:
//a[contains(@href,'?') and (contains(@href,'color=') or contains(@href,'size=') or contains(@href,'brand=') or contains(@href,'sort='))]/@hreftương đương regular expression captures URL trong group 1 và đầu tiên recognized parameter name trong group 2:
href=["']([^"']*[?&]((?:color|size|brand|price|sort|order))=[^"']*)["']List facet links on hiện tại trang
Chạy điều này trong Chrome DevTools Console. Thay đổi keys để match trang web thực parameters.
const keys = new Set(["color", "size", "brand", "price", "sort", "order"]);
console.table(
[...document.querySelectorAll("a[href]")]
.map((a) => new URL(a.href, location.href))
.filter((u) => [...u.searchParams.keys()].some((k) => keys.has(k)))
.map((u) => ({
url: u.href,
keys: [...u.searchParams.keys()].filter((k) => keys.has(k)).join(","),
})),
); Prove crawl-control thay đổi took effect
Roll thay đổi out để sample cohort của các URL trước khi applying nó trang web-wide, và giữ comparable untouched cohort as control. Crawl và chỉ mục các chỉ số move cho reasons đó có không có gì để làm với của bạn thay đổi — cohort so sánh là chỉ reliable way để isolate effect.
Kiểm thử robots.txt rule
Kiểm thử để chạy: sử dụng Search Console’s robots.txt kiểm thử flow hoặc yêu cầu trực tiếp file và kiểm thử representative được phép và disallowed các URL. Dự kiến kết quả: junk facet samples là blocked trong khi base category, các sản phẩm, và approved landing các trang vẫn được phép. thất bại interpretation: pattern là cũng rộng, cũng hẹp, hoặc không match thực URL form. Monitoring window: rule itself là immediate; crawler behavior thay đổi sau khi bots revisit nó. Rollback trigger: bất kỳ valuable category, sản phẩm, hoặc approved facet trang becomes blocked.
Kiểm thử demand-được hỗ trợ landing trang
Kiểm thử để chạy: inspect của nó phản hồi, được kết xuất HTML, canonical, liên kết nội bộ, và sitemap membership. Dự kiến kết quả: nó trả về 200, self-canonicals, exposes distinct trang elements, và là reachable qua crawlable links. thất bại interpretation: trang là vẫn là treated như suppressed facet state. Monitoring window: kỹ thuật các tín hiệu là immediate; Google-được chọn canonical và chỉ mục state require recrawling. Rollback trigger: Google consistently consolidates trang elsewhere hoặc trang không thể sustain distinct nội dung và demand.
Kiểm thử deindexing không có blocking
Kiểm thử để chạy: inspect representative unwanted facet URL sau khi thêm noindex. Dự kiến kết quả: Google có thể fetch URL và sees noindex; URL sau đó leaves chỉ mục. thất bại interpretation: robots rule, kết xuất vấn đề, hoặc header/template conflict là hiding directive. Monitoring window: directive phân phối là immediate; chỉ mục removal follows recrawling. Rollback trigger: template áp dụng noindex để approved landing các trang.
Faceted-navigation health các chỉ số
Track crawl share, chỉ mục footprint, và landing-trang performance as three tách biệt các tín hiệu — không collapse them vào một score. None của controls trong điều này bài viết bảo đảm crawl, chỉ mục, xếp hạng, traffic, hoặc AI-citation outcome; họ chỉ thay đổi Điều gì khả dụng Đối với tìm kiếm engines (và AI các crawler) để tìm.
Facet share của bot crawling
Chỉ số: percentage của verified Googlebot các yêu cầu đó hit non-indexable facet patterns. Điều gì nó tells bạn: liệu crawl capacity là diverted vào UX-chỉ URL trạng thái. Cách pull nó: validate bot traffic và segment máy chủ nhật ký by trang web known facet parameters. Benchmark / realistic range: establish baseline by template và aim cho sustained decline sau khi cleanup; catalogs và crawl demand differ cũng nhiều cho universal đích. Cadence: weekly during remediation, sau đó monthly.
Facet URL footprint trong trang lập chỉ mục
Chỉ số: count và share của facet các URL trong được lập chỉ mục, duplicate, được crawl-không-được lập chỉ mục, và soft-404 buckets. Điều gì nó tells bạn: liệu crawl controls và các tín hiệu canonical là containing chỉ mục bloat. Cách pull nó: export Search Console trang lập chỉ mục samples và classify các URL by parameter pattern. Benchmark / realistic range: so sánh với count của intentionally indexable facet landing các trang và sử dụng store own catalog as baseline. Cadence: monthly; chỉ mục thay đổi là lagging các tín hiệu.
Approved landing-trang performance
Chỉ số: clicks, impressions, và conversions cho facet combinations intentionally kept indexable. Điều gì nó tells bạn: liệu demand-được hỗ trợ exceptions earn của họ crawl và maintenance cost. Cách pull nó: group những điều đó chính xác các URL trong Search Console và phân tích. Benchmark / realistic range: so sánh mỗi trang với của nó pre-launch baseline và relevant base category, không bịa ra sitewide ngưỡng. Cadence: monthly và sau khi material catalog thay đổi.
Tóm tắt — Faceted navigation là #1 nguồn của overcrawl reported để Google (~50% của crawling complaints, theo Gary Illyes). mỗi filter combination có thể mint distinct crawlable URL, so nhỏ catalog hides millions của near-duplicate các trang — driving duplicate nội dung, chỉ mục bloat, crawl-budget waste, và PageRank dilution. decision là strategic trước khi nó kỹ thuật: mà filter combos có thực tìm kiếm demand (→ làm them indexable landing các trang) và mà là pure UX (→ suppress). sau đó chọn right lever, vì họ’re không interchangeable: robots.txt dừng crawling nhưng không lập chỉ mục; noindex xóa từ chỉ mục nhưng requires crawl và không save ngân sách crawl; canonical là hint đó consolidates các tín hiệu nhưng không dừng crawling. URL fragments (
#) sidestep toàn bộ vấn đề vì Google bỏ qua them. GSC URL Parameters tool là deprecated — máy chủ-side controls chỉ. Bing vẫn có URL Normalization.
mechanism: Cách filters explode của bạn URL space
Faceted navigation becomes an SEO vấn đề đó moment một filter thay đổi đó URL trong một way một crawler có thể follow. Three tách biệt điều nhận conflated ở đây, và giữ them apart làm đó rest of này bài viết nhấp: đó UI interaction (một shopper clicking một filter), đó fetchable URL state (liệu đó nhấp thay đổi an address một crawler có thể thực ra yêu cầu), và đó indexable landing trang (liệu đó URL là meant để sit trong Google chỉ mục tại all). MỘT faceted hệ thống có thể expose một of những, hai, hoặc all three — một client-side filter với không URL thay đổi có chỉ đó đầu tiên; một query-string filter có đó đầu tiên hai; một curated trang cho “blue velvet sofas” (bản dịch) «blue velvet sofas» có all three, có chủ ý.
three phổ biến implementations:
| Pattern | Ví dụ | Crawl/chỉ mục behavior |
|---|---|---|
| Query parameters | /sofas?color=blue&size=large | phần lớn phổ biến; được crawl và indexable theo mặc định — phải là managed |
| Path segments | /sofas/blue/large/ | Cleaner-looking, nhưng harder để block systematically với robots.txt |
| URL fragments | /sofas#color=blue | Googlebot bỏ qua fragments — không crawl/chỉ mục impact tại all |
Đó arithmetic là đó toàn bộ vấn đề. 10 000 các sản phẩm × 20 colors × 15 sizes × 5 loại orders là 15 000 000+ potential URLs. Gary Illyes put đó chế độ lỗi vividly on LinkedIn: “Sometimes you might create these new fake URLs accidentally, exploding your URL space from a balmy 1000 URLs to a scorching 1 million, exciting crawlers that in turn hammer your servers unexpectedly.” (bản dịch) «Sometimes bạn có thể tạo những new fake URLs accidentally, exploding của bạn URL space từ một balmy 1000 URLs để một scorching 1 million, exciting các crawler đó trong turn hammer của bạn các máy chủ unexpectedly.»
Và Google không thể chỉ look tại một filter URL space và decide để skip điều này. Illyes explained vì sao on Search Off đó Record: “Once it discovers a set of URLs, it cannot make a decision about whether that URL space is good or not unless it crawled a large chunk of that URL space.” (bản dịch) «Khi điều này discovers một set of URLs, điều này không thể làm một decision về liệu đó URL space là good hoặc không trừ khi điều này được crawl một lớn chunk of đó URL space.» đó là vì sao đây là đó top crawling complaint — by đó time Google knows đó URLs là junk, điều này có đã được crawl them.
Worked investigation: filters là chỉ half trap
Google 2025 năm-end crawl review là unusually hữu ích thực-world evidence:
Gary Illyes attributed về 50% của crawling các vấn đề discussed để faceted
navigation và một 25% để hành động
parameters.
đó thứ hai category matters vì ecommerce audit đó được tính chỉ
color, size, và brand có thể miss các URL đã tạo by add-to-cart, so sánh,
wish-list, loại, session, và theo dõi controls.
Ở đây là investigation pattern, sử dụng illustrative được tính thay vì claiming họ là typical benchmark. retailer có 18 000 indexable các sản phẩm và categories, nhưng crawl discovers 640 000 các URL. Grouping crawl và log samples by parameter hiển thị:
| URL family | Observed các URL | Điều gì nó revealed |
|---|---|---|
filters (color, size, brand) | 290 000 | combinations và duplicate parameter order |
actions (add, compare, wishlist) | 170 000 | crawlable links performing người dùng actions |
| loại và pagination | 96 000 | giống nhau sets trong khác orders và depths |
| session và theo dõi | 71 000 | passive duplicates attached để liên kết nội bộ |
| unknown | 13 000 | review queue, không tự động block list |
khắc phục không phải một blanket Disallow. Xóa crawlable hành động links, dừng putting
session và campaign parameters on liên kết nội bộ, normalize duplicate filter
orders, trả về 404 cho không thể combinations, và bảo toàn một vài
demand-được hỗ trợ filters as ổn định landing các trang. sau đó verify kết quả trong máy chủ
nhật ký: thành công tín hiệu là crawler các yêu cầu shifting toward category và sản phẩm
các URL, không merely nhỏ hơn crawler export.
four các vấn đề nó gây ra
- Near-duplicate nội dung.
/washing-machines/samsung/và/washing-machines/?brand=samsungcó thể phục vụ giống hệt sản phẩm sets. Xếp hạng các tín hiệu split across cả hai thay vì consolidating. - chỉ mục bloat. Even fraction của những điều đó millions của các URL sitting trong chỉ mục drags trên trang web củ bạn overall quality các tín hiệu.
- Crawl-budget waste. mỗi crawl spent on thấp-giá trị facet là crawl của bạn genuinely new các sản phẩm didn’t nhận. effect compounds — nó cũng làm chậm phát hiện của fresh nội dung. (Ngân sách crawl chỉ thực sự bites tại scale; see ngân sách crawl cho ai thực ra cần để care.)
- PageRank dilution. category trang linking để 500 filter combinations spreads của nó internal authority across 501 destinations thay vì flowing nó để các sản phẩm đó nên xếp hạng.
Worth nói rằng plainly vì clients ask: Đây là không hình phạt risk. Google không hand out manual actions cho faceted-navigation duplication. nó crawl và chỉ mục efficiency vấn đề và tín hiệu-dilution vấn đề — không duplicate-nội dung hình phạt.
strategic decision xuất hiện đầu tiên
trước khi bạn touch robots.txt hoặc meta tag, làm theo-URL call: làm điều này
filter combination deserve place trong chỉ mục, hoặc không?
- Điều này deserves lập chỉ mục nếu điều này maps để real tìm kiếm demand — một query mọi người thực ra loại. “High-rise skinny jeans,” (bản dịch) «Cao-rise skinny jeans,» “waterproof hiking boots,” (bản dịch) «waterproof hiking boots,» “blue velvet sofa.” (bản dịch) «blue velvet sofa.» Những become proper landing các trang.
- Điều này không nếu đây là an arbitrary combination, một loại order, hoặc một deep multi-facet stack không ai searches cho. Những nhận suppressed.
Cách tìm line: từ khóa research. Pull candidate facet modifiers, kiểm tra volume, và đặt ngưỡng. reasonable bar trên thực tế là roughly 300+ monthly searches để justify standalone được lập chỉ mục facet trang — mọi thứ dưới đó nhận blocked hoặc fragment-ized. reason điều này matters là dài tail: 99,84% của từ khóa nhận ít hơn 1 000 searches month, tuy vậy họ account cho 39,33% của total tìm kiếm demand. phần lớn facet combinations có không demand — nhưng minority đó làm là thực opportunity, và chỉ way để capture them là để let những điều đó cụ thể các trang là được lập chỉ mục.
Demand alone không phải toàn bộ gate. trước khi bạn promote combination để indexable landing trang, nó cần three điều together: verified demand ( từ khóa research trên), distinct giá trị (nội dung và sản phẩm đặt đó thực ra differs từ base category — không chỉ giống nhau các sản phẩm trong khác order), và ** commitment để monitor nó** (crawl, chỉ mục, và performance các tín hiệu, không đặt-và-forget flag). Treat mỗi promoted trang as thử nghiệm đó có để earn của nó giữ, không guaranteed dài-tail win — see Các chỉ số tab cho Điều gì để track.
kỹ thuật levers — và Cách họ differ
Đây là nơi phần lớn implementations go sai, vì three main controls feel interchangeable và không phải.
robots.txt disallow — dừng crawling, Google được ưu tiên prevention.
Blocking filter parameter spaces trong khi allowing item các trang và unfiltered
listing là strongest crawl-budget lever. Google own ví dụ:
disallow: /*?*products=
disallow: /*?*color=
disallow: /*?*size=
allow: /*?products=all$Đó catch: robots.txt chặn crawling, không indexing. MỘT blocked URL đó có
inbound links có thể vẫn xuất hiện trong đó chỉ mục as một URL-chỉ kết quả (không snippet,
vì Google không bao giờ đọc đó trang). So đây là đó right tool khi của bạn goal là “stop
wasting crawl on this space,” (bản dịch) «dừng wasting crawl on này space,» không “get this out of the index.” (bản dịch) «nhận này out of đó chỉ mục.»
noindex — xóa từ đó chỉ mục, nhưng requires một crawl. Google là rõ ràng:
“Google has to crawl the page in order to find the noindex rule.” (bản dịch) «Google có để crawl trang trong order để tìm đó noindex rule.» So noindex
controls indexing, không crawling — điều này sẽ không save bạn ngân sách crawl, vì
Googlebot vẫn có để fetch đó trang để see đó tag. Dùng điều này khi đó goal là
removal từ đó chỉ mục, không hiệu quả crawl.
rel="canonical" — một hint đó consolidates, weakest cho crawl. Pointing
filtered các trang tại đó unfiltered category consolidates duplicate các tín hiệu, và theo
Google điều này “may, over time, decrease the crawl volume of non-canonical versions” (bản dịch) «có thể, theo thời gian, decrease đó crawl volume of non-canonical versions» —
nhưng đây là “generally less effective in the long term” (bản dịch) «generally ít hơn effective trong đó dài term» hơn robots.txt hoặc
fragments. đây là một hint, không một directive; Google có thể override điều này. Và điều này làm
không có gì cho máy chủ load trong đó ngắn term, vì Google vẫn crawl đó
non-canonical các trang để see đó canonical tag.
URL fragments (#) — sidestep đó vấn đề hoàn toàn. Vì “Google Search
generally doesn’t support URL fragments in crawling and indexing,” (bản dịch) «Google Search generally không hỗ trợ URL fragments trong crawling và lập chỉ mục,» một hash-based
filter state như /sofas#color=blue có zero crawl hoặc chỉ mục impact. Này là đó
sạch nhất prevention cho filters với không tìm kiếm demand — đó filter áp dụng
client-side, không new crawlable URL là bao giờ born.
rel="nofollow" on filter links — all-hoặc-không có gì. Bạn có thể discourage Google
từ sau filter links, nhưng theo Google “every anchor pointing to a specific
URL must have the rel=‘nofollow’ attribute in order for it to be effective.” (bản dịch) «mỗi anchor pointing để một cụ thể URL phải có đó rel=‘nofollow’ thuộc tính trong order cho điều này để là effective.» Miss
một followed link anywhere on đó site và đó toàn bộ approach leaks. đây là cũng hiện tại
một hint, không một directive.
See Các bảng tra nhanh tab cho đầy đủ decision bảng.
cốt yếu don’ts
những điều này là combinations đó âm thầm break:
noindex+robots.txtdisallow on đó giống nhau URL. Này là đó classic mistake. Nếu đó URL là blocked, Googlebot không thể fetch điều này, so điều này không bao giờ sees đónoindextag — và đó trang có thể stay được lập chỉ mục. Để deindex, bạn phải allow crawling và servenoindex.noindex+canonicalon đó giống nhau URL. Contradictory các tín hiệu. As John Mueller có put điều này, “noindex doesn’t tell Google that you want it combined with something else and that signals should be forwarded.” (bản dịch) «noindex không tell Google đó bạn muốn điều này combined với điều gì đó khác và đó các tín hiệu nên là forwarded.» Pick một.- Canonical alone, expecting crawl-budget relief. Điều này không dừng crawling. Google giữ fetching đó non-canonical URLs.
URL structure thực hành tốt nhất cho facets bạn do chỉ mục
cho minority của filtered các trang bạn’ve decided để chỉ mục, tài liệu củ Google cho clear rules:
- sử dụng tiêu chuẩn
&separator — không commas, semicolons, pipes, hoặc brackets. - giữ consistent filter order.
/sofas/blue/fabricvà/sofas/fabric/bluephải resolve để một canonical form, không hai. - Không duplicate filter các giá trị —
?color=blue&color=bluenên 404, không 200. - trả về thực 404 cho rỗng/không thể combinations. nếu
/sofas/redcó không kết quả, gửi404— không phục vụ generic 200 “không kết quả” trang propped lên bynoindex. - Ưu tiên sạch paths over query strings cho indexable facets —
/sofas/blue/đọc tốt hơn/sofas?color=blue&style=&sort=.
JavaScript / AJAX faceted nav — prevention, với tradeoff
nếu bạn xây dựng filters as client-side AJAX đó không emit thực <a href> links để
filter các URL, filter áp dụng trong trình duyệt và không crawlable URL là bao giờ
đã tạo. đó great cho ngân sách crawl. tradeoff là symmetric: Googlebot cũng
có thể’t reach những điều đó filtered trạng thái, so bất kỳ valuable dài-tail filter combination
sẽ không nhận được lập chỉ mục either.
gold tiêu chuẩn cho big catalogs là hybrid: pre-render hoặc máy chủ-render
cao-demand filter combinations as thực, linked, indexable các trang với unique
intro copy và sitemap inclusion, và giữ all ephemeral, không-demand trạng thái
client-side (AJAX, fragments, hoặc pushState parameters paired với canonical để
base). Google renders JavaScript, nhưng kết xuất là queued và chậm hơn HTML
crawling — so Đối với các trang bạn thực ra muốn reliably được lập chỉ mục, không rely on
client-side kết xuất alone. (nhiều hơn on kết xuất side trong
JavaScript SEO.)
URL Parameters tool là đã biến mất
Address này sớm với bất kỳ client, vì half đó tutorials online vẫn tell
bạn để dùng điều này. Google deprecated đó URL Parameters tool trong April 2022. Đó
reason: Google đã nhận good đủ tại parameter detection đó “only about 1% of the
parameter configurations currently specified in the URL Parameters tool were useful
for crawling.” (bản dịch) «chỉ về 1% of đó parameter configurations hiện tại specified trong đó URL Parameters tool đã là hữu ích cho crawling.» Asked liệu điều này có thể come back, Illyes answered: “In theory yes.
In practice no.” (bản dịch) «Trong theory có. Trong thực tế không.» Có không Search Console control để tell Google để bỏ qua một
parameter anymore — đây là máy chủ-side management (robots.txt, noindex,
fragments) hoặc không có gì.
Bing là khác nhau. Bing Quản trị viên web Tools vẫn offers URL Normalization, nơi bạn specify mà parameters có thể là stripped, và theo Fabrice Canel “our crawler will not visit the URLs with extra parameters except for an occasional test.” (bản dịch) «của chúng ta crawler sẽ không visit đó URLs với extra parameters except cho an occasional kiểm thử.» Nếu bạn care về Bing (và AI tìm kiếm increasingly leans on Bing chỉ mục), đó là một tách biệt, ~5-minute configuration worth đang làm.
note on blanket parameter blocking
là careful với sweeping robots.txt rules. nếu parameter phục vụ nhiều hơn một
purpose — chẳng hạn ?type= là được sử dụng cả hai cho junk facet và cho legitimate
paginated hoặc canonical view nơi nào đó — rộng disallow: /*?*type= sẽ block
legitimate các URL cũng. Audit Điều gì mỗi parameter thực ra làm trước khi bạn block
nó, và ưu tiên hẹp rules plus allow exceptions over catch-all đó nukes
hữu ích các trang along với junk.
Cách audit của bạn own trang web
- Crawl điều này. Ahrefs Site Audit hoặc Screaming Frog sẽ surface đó URL explosion, parameter patterns, và cách deep filtered các trang sit.
site:count so với. real sản phẩm count. MỘTsite:example.comkết quả count đó dwarfs của bạn thực tế catalog là đó tell-tale sign of facet-driven chỉ mục bloat.- GSC Trang Lập chỉ mục báo cáo. Tìm lớn được tính of “Crawled — currently not indexed” (bản dịch) «Được crawl — hiện tại không được lập chỉ mục» và “Duplicate without user-selected canonical” (bản dịch) «Duplicate không có người dùng-được chọn canonical» — facets cho thấy lên ở đây.
- Máy chủ logs. Đó ground truth cho crawl waste: they cho thấy chính xác cách nhiều of Googlebot’s time là going để parameter URLs thay vì các sản phẩm.
The worked sample contains 240 parameter occurrences: 108 filter parameters, 54 tracking parameters, 34 sort parameters, 28 pagination parameters, and 16 unknown parameters. Filter parameters account for 45 percent of the supplied inventory.
nơi điều này sits trong pillar
Faceted navigation là canonical kỹ thuật challenge của SEO thương mại điện tử — nó Vì sao SEO thương mại điện tử là harder hơn regular SEO, không khác từ nó. nó connects trực tiếp để ecommerce trang web architecture (filters hang off của bạn category pyramid), category trang SEO ( các trang filters trực tiếp on), và rộng hơn crawl story trong crawling và canonicalization. kỹ thuật SEOs thường arrive tại điều này topic từ information-architecture angle; practical home cho nó là ở đây, on store side.
AI summary
condensed take on Nâng cao version:
- Điều gì điều này là: đó filter panel on category/archive các trang (color, size, price, brand) — cũng called faceted tìm kiếm hoặc sản phẩm filtering. Great UX; an SEO vấn đề chỉ vì mỗi filter combination có thể mint một distinct crawlable URL.
- Đó scale vấn đề: 10 000 các sản phẩm × colors × sizes × sorts = millions of near-duplicate URLs. Gary Illyes: faceted nav là ~50% of all crawling các vấn đề reported để Google. Google không thể skip đó space không có đầu tiên crawling “a large chunk” (bản dịch) «một lớn chunk» of điều này.
- Four harms: near-duplicate nội dung, chỉ mục bloat, crawl-budget waste, PageRank dilution. Không một hình phạt risk — đây là an efficiency và tín hiệu-dilution vấn đề.
- Decide strategy đầu tiên: chỉ mục đó filter combos với real tìm kiếm demand (~300+ monthly searches as một hoạt động bar); suppress đó rest.
- Đó levers differ:
robots.txtdừng crawling, không lập chỉ mục (blocked URLs có thể vẫn xuất hiện as URL-chỉ kết quả);noindexxóa từ chỉ mục nhưng cần một crawl, so điều này không save ngân sách crawl;canonicallà một consolidating hint đó không dừng crawling; URL fragments (#) sidestep mọi thứ vì Google bỏ qua them. - Không bao giờ: combine
noindex+robots.txtdisallow (Google không thể see đó tag); hoặcnoindex+canonical(contradictory — Mueller says pick một). - Tooling: Google URL Parameters tool đã là deprecated trong 2022 — máy chủ-side controls chỉ. Bing vẫn có URL Normalization.
- JS/AJAX filters ngăn crawl waste nhưng cũng block lập chỉ mục of valuable dài-tail facets — pre-render đó cao-demand ones.
Tài liệu chính thức
Chính-nguồn hướng dẫn on faceted navigation và parameter xử lý.
- Managing crawling of faceted navigation URLs — đó vĩnh viễn help doc Google elevated từ một 2014 blog post trong December 2024.
- Faceted navigation (crawling infrastructure version) — giống nhau hướng dẫn, với đó
robots.txtvà&-separator các ví dụ. - Crawling December: Faceted navigation (2024) — đó blog post đó called điều này “by far the most common source of overcrawl issues.” (bản dịch) «by far đó hầu hết phổ biến nguồn of overcrawl các vấn đề.»
- Faceted navigation best (và 5 of đó worst) practices (2014) — đó original reference, hiện tại superseded nhưng hữu ích cho history.
- Spring cleaning: đó URL Parameters tool (2022) — đó deprecation announcement.
- Optimize của bạn ngân sách crawl — context cho vì sao facet crawl waste matters.
Bing / Microsoft
- Tốt hơn canonical; URL Normalization — Fabrice Canel on Bing parameter-xử lý tool (vẫn active, unlike Google).
Quotes từ nguồn
On—record statements từ Google và Bing. Deep links jump để quoted passage nơi nguồn trang hỗ trợ text fragments.
Google — scale của vấn đề (Gary Illyes)
- “Once it discovers a set of URLs, it cannot make a decision about whether that URL space is good or not unless it crawled a large chunk of that URL space.” (bản dịch) «Khi điều này discovers một set of URLs, điều này không thể làm một decision về liệu đó URL space là good hoặc không trừ khi điều này được crawl một lớn chunk of đó URL space.» — Gary Illyes, Search Off đó Record (2025 năm-end báo cáo crawl). Relayed qua Search Engine Land’s verbatim coverage — xác nhận so với đó episode trước treating as cuối. Coverage
- “An interesting quirk of URLs is that you can add an infinite (I call BS) number of URL parameters to the URL path, and by that essentially forming new resources.” (bản dịch) «An interesting quirk of URLs là đó bạn có thể thêm an infinite (I call BS) number of URL parameters để đó URL path, và by đó essentially forming new các tài nguyên.» — Gary Illyes, LinkedIn, August 2024. Relayed qua Search Engine Journal. Coverage
- “Sometimes you might create these new fake URLs accidentally, exploding your URL space from a balmy 1000 URLs to a scorching 1 million, exciting crawlers that in turn hammer your servers unexpectedly.” (bản dịch) «Sometimes bạn có thể tạo những new fake URLs accidentally, exploding của bạn URL space từ một balmy 1000 URLs để một scorching 1 million, exciting các crawler đó trong turn hammer của bạn các máy chủ unexpectedly.» — Gary Illyes, LinkedIn, August 2024. Relayed qua Search Engine Journal. Coverage
- On bringing back đó URL Parameters tool: “In theory yes. In practice no.” (bản dịch) «Trong theory có. Trong thực tế không.» — Gary Illyes, LinkedIn, 2024. Relayed qua Search Engine Journal. Coverage
Google — tài liệu
- “Google has to crawl the page in order to find the noindex rule.” (bản dịch) «Google có để crawl trang trong order để tìm đó noindex rule.» — Google Search Central, faceted navigation tài liệu. Nhảy đến trích dẫn
- “Google Search generally doesn’t support URL fragments in crawling and indexing.” (bản dịch) «Google Search generally không hỗ trợ URL fragments trong crawling và lập chỉ mục.» Nhảy đến trích dẫn
- On
rel="nofollow": “every anchor pointing to a specific URL must have the rel=‘nofollow’ attribute in order for it to be effective.” (bản dịch) «mỗi anchor pointing để một cụ thể URL phải có đó rel=‘nofollow’ thuộc tính trong order cho điều này để là effective.» Nhảy đến trích dẫn - On đó deprecated tool: “only about 1% of the parameter configurations currently specified in the URL Parameters tool were useful for crawling.” (bản dịch) «chỉ về 1% of đó parameter configurations hiện tại specified trong đó URL Parameters tool đã là hữu ích cho crawling.» Nhảy đến trích dẫn
Google — John Mueller
- “noindex doesn’t tell Google that you want it combined with something else and that signals should be forwarded.” (bản dịch) «noindex không tell Google đó bạn muốn điều này combined với điều gì đó khác và đó các tín hiệu nên là forwarded.» (on vì sao không để pair
noindexvớicanonical) — John Mueller, Google. Relayed qua Search Engine Journal. Coverage
Bing — Fabrice Canel
- On URL Normalization: “our crawler will not visit the URLs with extra parameters except for an occasional test.” (bản dịch) «của chúng ta crawler sẽ không visit đó URLs với extra parameters except cho an occasional kiểm thử.» Nhảy đến trích dẫn
- “relying on canonical tag is not necessarily the perfect solution to fix all your duplicate content problems.” (bản dịch) «relying on canonical tag không phải nhất thiết đó perfect giải pháp để cách sửa all của bạn duplicate nội dung các vấn đề.» Nhảy đến trích dẫn
Faceted-navigation audit checklist
truyền để tìm và khắc phục facet-driven crawl/chỉ mục waste:
- Crawl đó site (Ahrefs Site Audit / Screaming Frog) và quantify đó parameter-URL explosion so với. của bạn real sản phẩm count.
- So sánh
site:yourdomain.comchỉ mục count so với của bạn thực tế catalog size — một big khoảng trống là chỉ mục bloat. - Trong GSC Trang Lập chỉ mục, review “Crawled — currently not indexed” (bản dịch) «Được crawl — hiện tại không được lập chỉ mục» và “Duplicate without user-selected canonical” (bản dịch) «Duplicate không có người dùng-được chọn canonical» cho facet URLs.
- Kiểm tra máy chủ logs cho cách nhiều of Googlebot’s crawl là hitting parameter URLs thay vì các sản phẩm.
- List mỗi filter parameter và điều gì điều này làm — xác nhận none serve double duty trước writing block rules.
- Từ khóa-research đó facet modifiers; flag combinations với real demand (~300+/mo) để làm indexable.
- Cho thấp-demand facets, xác nhận một suppression phương thức theo URL — không bao giờ
noindexandrobots.txtdisallow together. - Cho indexable facets, verify consistent filter order,
&separators, self-referencing canonical, unique intro copy, và sitemap inclusion. - Xác nhận empty/không thể filter combinations trả về
404, không một 200 “no results” (bản dịch) «không kết quả» trang. - Configure Bing Quản trị viên web Tools URL Normalization (tách biệt từ Google).
mental models
1. Strategy trước khi tactics — chỉ mục hoặc suppress? mỗi facet URL là binary call: làm nó map để thực tìm kiếm demand (→ indexable landing trang) hoặc là nó pure UX (→ suppress)? Làm điều này decision trước khi bạn touch single tag. Tooling có thể’t khắc phục bị thiếu strategy.
2. three levers làm three khác jobs. giữ những điều này straight và phần lớn facet confusion disappears:
robots.txt→ controls crawling (không lập chỉ mục)noindex→ controls lập chỉ mục (không crawling — requires crawl)canonical→ consolidates các tín hiệu ( hint; không dừng crawling)
3. suppression decision rule.
- Muốn bots để skip space hoàn toàn và không care về lập chỉ mục? →
robots.txtdisallow. - Muốn trang out của chỉ mục? → cho phép crawl +
noindex(không bao giờ block nó). - Muốn không-demand filter để không bao giờ tạo URL tại all? → URL fragment (
#) hoặc AJAX với không<a href>.
4. Prevention beats cure. sạch nhất faceted nav là một nơi junk các URL là không bao giờ born — fragments và client-side filtering cho không-demand trạng thái, thực các trang chỉ cho demand-được hỗ trợ ones. Cleaning lên million đã-được crawl các URL là far nhiều hơn hoạt động hơn không bao giờ minting them.
5. dài-tail tradeoff. JavaScript/AJAX filtering suppresses crawl waste và lập chỉ mục trong một move. đó feature cho junk facets và bug cho valuable ones. Pre-render demand-được hỗ trợ combinations; let rest stay client-side.
Faceted navigation control — bảng tra nhanh
Điều gì mỗi control thực ra làm
| Control | Dừng crawling? | Dừng lập chỉ mục? | Best cho | Watch out cho |
|---|---|---|---|---|
robots.txt disallow | Có | Không | Crawl-budget relief on thấp-giá trị facet spaces | Blocked các URL với links có thể vẫn xuất hiện as URL-chỉ kết quả |
noindex (meta/header) | Không (phải là crawlable) | Có | Removing facet các trang từ chỉ mục | không save ngân sách crawl; không bao giờ pair với robots.txt block |
rel="canonical" | Không | Consolidates (hint) | Pointing filtered các trang tại parent category | Hint không directive; Google vẫn crawl non-canonical các URL |
URL fragment (#) | Có (đã bỏ qua) | Có (đã bỏ qua) | Không-demand filters bạn muốn zero impact từ | không shareable không có JS pushState |
rel="nofollow" on links | Discourages | Không | Reducing equity flow để filter các URL | phải là on mỗi link để đó URL; hiện tại hint |
| Làm indexable | Không | Không | Demand-được hỗ trợ facets (~300+/mo) | Cần unique copy + self-canonical + sitemap |
không bao giờ combine
noindex+robots.txtdisallow → Google có thể’t seenoindex→ vẫn giữ được lập chỉ mục.noindex+canonical→ contradictory các tín hiệu (Mueller: pick một).canonicalalone cho ngân sách crawl → nó không dừng crawling.
URL rules cho facets bạn LÀM chỉ mục
&separator chỉ (không commas/semicolons/brackets).- Consistent filter order → một canonical form.
- Không duplicate filter các giá trị.
404cho rỗng/không thể combinations (không 200 “không kết quả”).- Sạch paths > query strings:
/sofas/blue/over/sofas?color=blue&sort=.
Fast facts
- Faceted nav ≈ 50% của crawling các vấn đề reported để Google (Illyes).
- GSC URL Parameters tool: đã xóa (April 2022) — máy chủ-side controls chỉ.
- Bing tương đương: URL Normalization trong Bing Quản trị viên web Tools — vẫn active.
- Google bỏ qua URL fragments (
#) cho crawling và lập chỉ mục. - Hoạt động demand ngưỡng cho indexable facet trang: ~300+ searches/month.
Tools cho diagnosing và managing faceted nav
- Ahrefs Site Audit — surfaces đó parameter-URL explosion, near-duplicate clusters, và crawl depth of filtered các trang.
- Screaming Frog SEO Spider — crawl với custom extraction để map mỗi filter parameter và cách facet URLs link để mỗi other.
- Google Search Console — Trang Lập chỉ mục báo cáo — “Crawled — currently not indexed” (bản dịch) «Được crawl — hiện tại không được lập chỉ mục» và “Duplicate without user-selected canonical” (bản dịch) «Duplicate không có người dùng-được chọn canonical» là nơi facet bloat cho thấy lên.
- GSC URL Inspection — xác nhận cách một single filter URL là được crawl, được kết xuất, và được lập chỉ mục (và mà canonical Google chose).
- Máy chủ log file analysis (Screaming Frog Log File Analyser, hoặc logs piped vào BigQuery) — đó ground truth cho cách nhiều crawl là going để parameter URLs.
- Bing Quản trị viên web Tools — URL Normalization — Bing vẫn-active parameter control; pre-detects phổ biến duplicate parameters cho review.
- Từ khóa research (Ahrefs Từ khóa Explorer) — tìm mà facet modifiers có đó demand đó justifies an indexable landing trang.
Tự kiểm tra: faceted navigation
Five các câu hỏi on deciding mà facet các URL để chỉ mục và mà control để sử dụng.
Nhật ký thay đổi
Đã cập nhật 22 thg 8, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.
Đã cập nhật 8 thg 8, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.
Đã cập nhật 28 thg 7, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.
Đã cập nhật 27 thg 7, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.
Đã cập nhật 18 thg 7, 2026.
Tóm tắt biên tập và chi tiết thay đổi đã ghi nhận.Chi tiết thay đổi
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
-
Ghi chú thay đổi chi tiết hiện chỉ có bằng tiếng Anh.
Không thể so sánh đầy đủ — không có bản lưu trước đó cho lần sửa đổi này.