Hướng dẫn về URL Parameters

TL;DR — MỘT URL parameter (hoặc query string) là đó ?key=value bit tacked onto đó end of một URL — dùng cho tracking, filtering, sorting, và tìm kiếm. Đó vấn đề là đó cùng trang có thể là reached qua dozens of parameter combinations, mà tạo duplicate URLs đó confuse các công cụ tìm kiếm và waste của họ time crawling trang web của bạn. Đó old Google Search Console tool cho managing them là đã biến mất — so bạn xử lý them với canonical tags và, occasionally, robots.txt.

Điều gì một URL parameter là

Xem một URL như này:

https://example.com/shoes?color=blue&sort=price

Mọi thứ sau đó câu hỏi mark (?) là đó query string. đây là đã làm of key=value pairs — ở đây color=blue và sort=price — joined together với an ampersand (&). Mỗi pair là một parameter. They truyền extra information along với đó URL: mà color filter bạn picked, cách bạn sorted đó list, nơi đó khách truy cập nghĩ ra từ, và so on.

Parameters là completely thông thường. Mỗi ecommerce store, mỗi site với on-site tìm kiếm, và gần như mỗi marketing campaign dùng them. They không bad theo mặc định.

Vì sao they nguyên nhân SEO các vấn đề

Đó trouble bắt đầu vì đó giống nhau nội dung có thể là reached qua nhiều khác nhau URLs:

https://example.com/shoes
https://example.com/shoes?sort=price
https://example.com/shoes?utm_source=newsletter
https://example.com/shoes?color=blue&sort=price&utm_source=newsletter

Để một person, những có thể all là “the shoes page.” (bản dịch) «đó shoes trang.» Để một công cụ tìm kiếm, they có thể trông giống tách biệt URLs. Đó dẫn đến three headaches:

• Duplicate nội dung — lots of URLs cho thấy đó giống nhau (hoặc nearly đó giống nhau) trang.
• Split các tín hiệu — links và authority nhận spread trên all những versions thay vì pointing tại một mạnh trang.
• Wasted crawling — các công cụ tìm kiếm spend time fetching endless parameter combinations thay vì của bạn real các trang. Này là closely related để ngân sách crawl.

Đó hai kinds of parameters

Này là đó toàn bộ framework, so đây là worth getting straight:

• Active parameters thay đổi đó trang. Filtering, sorting, paginating, và tìm kiếm all cho thấy khác nhau nội dung depending on đó parameter. Những tạo real (thường near-duplicate) variations.
• Passive parameters không thay đổi đó trang. Tracking tags (như đó utm_ parameters từ email và quảng cáo campaigns) và session IDs leave đó nội dung giống hệt — they chỉ tạo pure duplicates of đó sạch URL.

Bạn xử lý đó hai differently, mà đó Advanced tab covers trong detail.

Đó điều hầu hết mọi người nhận sai

Đó Google Search Console “URL Parameters” (bản dịch) «URL Parameters» tool là đã biến mất. Google retired điều này trong April 2022. Nếu một hướng dẫn tells bạn để “configure your parameters in Search Console,” (bản dịch) «configure của bạn parameters trong Search Console,» đây là out of date — đó control không lâu hơn tồn tại. Google hiện tại figures out parameters on của nó own, và cho đó cases nơi bạn làm muốn control bạn dùng canonical tags, robots.txt, và (on Bing) Bing own parameter tool.

Muốn đó đầy đủ playbook — active so với passive các cách sửa, đó 2024–25 crawl dữ liệu, đó robots.txt trap, và đó Google-so với-Bing khác biệt? Chuyển để đó Advanced tab.

TL;DR — URL parameters (?key=value query strings) split vào active (filter/loại/paginate/tìm kiếm — thay đổi đó trang) và passive (tracking, session, affiliate IDs — không). Passive variants thường duplicate nội dung; active combinations có thể tạo một very lớn crawl space liệu hoặc không của họ nội dung là giống hệt. Đó GSC URL Parameters tool là dead (retired 26 April 2022) — Google được tìm thấy chỉ ~1% of configs hữu ích và hiện tại learns parameters tự động. Manage them hôm nay với consistent parameter order, rel=canonical cho passive params (let them crawl — không reflexively block), robots.txt chỉ cho genuine crawl traps (điều này không deindex), 404 cho empty combos, và không bao giờ internally link để parameterized URLs. Bing vẫn có của nó Bỏ qua URL Parameters tool — đó trực tiếp Google-so với-Bing khác biệt.

Anatomy: query string so với path

MỘT URL parameter là đó dữ liệu sau đó ?, đã truyền as key=value pairs joined by &. As I put điều này trong my Ahrefs hướng dẫn on URL parameters, “URL parameters or query strings come after a question mark (?) and pass data along with the URL.” (bản dịch) «URL parameters hoặc query strings come sau một câu hỏi mark (?) và truyền dữ liệu along với đó URL.» Đó path (/shoes) identifies đó tài nguyên; đó query string (?color=blue&sort=price) modifies đó yêu cầu. Mọi thứ trong này bài viết hinges on một fact: đó giống nhau nội dung có thể là reached qua countless parameter combinations, và tìm kiếm engines treat nhiều of những as distinct URLs.

Active so với passive — đó toàn bộ framework

I frame parameters qua một split, và đó right cách sửa follows từ mà side một parameter lands on.

Active parameters thay đổi điều gì là on đó trang. Đó three I luôn name:

• Filter — xóa some of đó nội dung, leaving đó hơn cụ thể subset một người dùng wants để see.
• Loại — reorders đó nội dung (by price, rating, etc.).
• Paginate — divides nội dung vào một series of related các trang.

On-site tìm kiếm là đó fourth. Những tạo real — thường near-duplicate — nội dung variants. Đó deeper, ecommerce-flavored version of này là faceted navigation; này bài viết là đó parameter lens on điều này.

Passive parameters không thay đổi đó nội dung. họ là typically dùng cho tracking — UTM tags, gclid, fbclid, affiliate IDs — và cho session IDs. Những produce pure duplicates of đó sạch URL. My default position ở đây là cụ thể: “Passive parameters can cause issues with duplicate content. Typically, you want them to be crawled, and each page should have a canonical set to the main version.” (bản dịch) «Passive parameters có thể nguyên nhân các vấn đề với duplicate nội dung. Typically, bạn muốn them để là được crawl, và mỗi trang nên có một canonical set để đó main version.» Nói cách khác, không reflexively robots-block tracking parameters — let them là được crawl và consolidate them với một canonical.

Treat active/passive as một diagnostic, không một lookup bảng keyed on đó parameter name. Đó giống nhau key name (id, sort, ref) có thể behave differently on khác nhau các trang, so trước khi bạn classify một parameter, kiểm tra điều gì đó phản hồi thực ra làm — làm đó đã trả về nội dung thay đổi, hoặc chỉ đó tracking/analytics context? Names như utm_ hoặc sort= là mạnh hints, không proof.

Cách parameters nguyên nhân SEO các vấn đề

Three distinct các chế độ lỗi, và they compound:

• Duplicate / near-duplicate nội dung. Passive params duplicate một trang chính xác; active params (loại especially) produce near-duplicates. Này là squarely một canonicalization vấn đề — đó engine có để pick một representative URL out of đó cluster.
• Split các tín hiệu xếp hạng. Links và authority scatter trên mỗi variant thay vì consolidating on một URL.
• Wasted ngân sách crawl và infinite crawl spaces. “Infinite URL paths with parameters or tons of different combinations can cause issues with crawling.” (bản dịch) «Infinite URL paths với parameters hoặc tons of khác nhau combinations có thể nguyên nhân các vấn đề với crawling.» Khi parameters có thể stack arbitrarily, một single site bắt đầu để look nearly infinite — đó spider trap pattern. Google mô tả đó web itself as “a nearly infinite space, exceeding Google’s ability to explore and index every available URL,” (bản dịch) «một nearly infinite space, exceeding Google ability để explore và chỉ mục mỗi khả dụng URL,» và parameter explosion turns một site vào một nhỏ version of đó vấn đề.

Google faceted-nav doc giải thích đó crawl mechanic well: một filter hệ thống “often means a very large number of possible combinations of filters, which translates to a very large number of possible URLs,” (bản dịch) «thường có nghĩa là một very lớn number of có thể combinations of filters, mà translates để một very lớn number of có thể URLs,» và vì những URLs “seem to be novel and crawlers can’t determine whether the URLs are going to be useful without crawling first, the crawlers will typically access a very large number of faceted navigation URLs.” (bản dịch) «seem để là novel và các crawler không thể determine liệu đó URLs là going để là hữu ích không có crawling đầu tiên, đó các crawler sẽ typically access một very lớn number of faceted navigation URLs.»

Đó dữ liệu: parameters là một top crawl drain

Này không theoretical. Trong Google 2024–25 crawling discussions, Gary Illyes put real numbers on điều này. Theo Search Engine Land’s coverage, “The biggest issues were faceted navigation and action parameters, which accounted for about 75% of the problems,” (bản dịch) «Đó biggest các vấn đề đã là faceted navigation và hành động parameters, mà accounted cho về 75% of đó các vấn đề,» split as “50% come from faceted navigation” (bản dịch) «50% come từ faceted navigation» và “25% come from action parameters.” (bản dịch) «25% come từ hành động parameters.» SEL defines hành động parameters as “URL parameters that trigger actions instead of meaningfully changing page content” (bản dịch) «URL parameters đó trigger actions thay vì meaningfully thay đổi trang nội dung» — think thêm-để-cart, so sánh, hoặc loại triggers đó mint near-infinite URLs. So Google itself blames parameters cho khoảng một quarter of all crawl các vấn đề on của họ end.

Đó underlying mechanism, trong Illyes’ words: “Once it discovers a set of URLs, it cannot make a decision about whether that URL space is good or not unless it crawled a large chunk of that URL space.” (bản dịch) «Khi điều này discovers một set of URLs, điều này không thể làm một decision về liệu đó URL space là good hoặc không trừ khi điều này được crawl một lớn chunk of đó URL space.» Đó crawler có để spend budget để learn một parameter space là junk.

Cách tìm của bạn parameter các vấn đề

Trước sửa, see đó phạm vi:

• Google Search Console. Đó Các trang báo cáo — especially “Duplicate without user-selected canonical” (bản dịch) «Duplicate không có người dùng-được chọn canonical» và “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục» — và đó Crawl Số liệu báo cáo (Settings → Crawl Số liệu) surface parameter bloat.
• MỘT site crawl. Ahrefs Site Audit hoặc Screaming Frog sẽ cho thấy bạn parameterized URLs, của họ canonicals, và nơi bạn là internally linking để them.
• site: + inurl: searches. MỘT nhanh site:example.com inurl:? (hoặc inurl:utm_, inurl:sort=) cho một lại-of-envelope feel cho điều gì là được lập chỉ mục.
• Máy chủ logs. Log file analysis là đó ground truth cho mà parameter URLs bots thực ra hit và cách thường — đó chỉ way để xác nhận real crawl waste.

Cách manage parameters hôm nay

Có không single chuyển — bạn pick đó tool đó matches đó job. Three distinct jobs, và conflating them là nơi mọi người go sai.

1. Consistent xử lý, đầu tiên. MỘT lot of duplication là self-inflicted và free để cách sửa. My rule: “Keep a consistent order, and don’t have paths that allow for adding additional parameters.” (bản dịch) «Giữ một consistent order, và không có paths đó cho phép cho thêm additional parameters.» Dùng một key theo giá trị, và dùng đó ngành-tiêu chuẩn separator. Google là rõ ràng: “Use the industry standard URL parameter separator ’&’. Characters like comma (,), semicolon (;), and brackets ([ and ]) are hard for crawlers to detect as parameter separators.” (bản dịch) «Dùng đó ngành tiêu chuẩn URL parameter separator ’&’. Characters như comma ( ), semicolon ( ), và brackets ( và ) là hard cho các crawler để detect as parameter separators.» Và giữ đó order fixed — Google: “Ensure that the logical order of the filters always stays the same and that no duplicate filters can exist.” (bản dịch) «Bảo đảm đó logical order of đó filters luôn vẫn giữ đó giống nhau và đó không duplicate filters có thể exist.» Inconsistent order alone multiplies duplicate URLs. Hai hơn free các cách sửa: không emit một parameter tại all khi đây là set để của nó default giá trị (?sort=default mints một needless duplicate of đó un-parameterized URL), và reject hoặc normalize không hợp lệ combinations tại đó application cấp độ thay vì of letting mỗi nonsense combination generate của nó own URL — không có collapsing combinations đó genuinely produce khác nhau, hữu ích nội dung.

2. rel=canonical cho passive / tracking params — my default. Let them là được crawl và point mỗi variant canonical tại đó sạch URL. My chính xác cách diễn đạt: một canonical “can help consolidate signals to a chosen URL but requires each additional version of a page to be crawled… This is what I’d opt for by default.” (bản dịch) «có thể help consolidate các tín hiệu để một chosen URL nhưng requires mỗi additional version of một trang để là được crawl… Này là điều gì I’d opt cho theo mặc định.» Là honest về đó speed, though — một canonical là một hint, không một directive (đây là một of đó canonical tags among nhiều các tín hiệu trong canonicalization), và Google says dùng điều này “may, over time, decrease the crawl volume of non-canonical versions of those URLs.” (bản dịch) «có thể, theo thời gian, decrease đó crawl volume of non-canonical versions of những URLs.» Note đó chậm “theo thời gian.”

3. noindex khi bạn truly muốn một parameter variant out of đó chỉ mục. Điều này hoạt động, nhưng đó trang có để stay crawlable cho Google để see đó tag, và như canonical điều này “may be crawled less over time.” (bản dịch) «có thể là được crawl ít hơn theo thời gian.» không pair điều này với một robots.txt block — nếu đó URL là blocked, Google không thể see đó noindex tại all.

4. robots.txt disallow — chỉ cho genuine crawl traps. Này dừng crawling, không lập chỉ mục. Đó myth-killer, trong my words: “Blocking parameters in robots.txt means that the pages may still get indexed.” (bản dịch) «Blocking parameters trong robots.txt có nghĩa là đó các trang có thể vẫn nhận được lập chỉ mục.» They sẽ không thường cho thấy trong thông thường searches, nhưng “these pages won’t be crawled and won’t consolidate signals.” (bản dịch) «những các trang sẽ không là được crawl và sẽ không consolidate các tín hiệu.» So reserve robots.txt cho parameter spaces bạn không bao giờ muốn được crawl (đúng combinatorial traps), không as một duplicate-nội dung cách sửa. Google own crawl-budget hướng dẫn agrees với đó sequence: “Consolidate duplicate content to focus crawling on unique content rather than unique URLs,” (bản dịch) «Consolidate duplicate nội dung để focus crawling on unique nội dung thay vì unique URLs,» và chỉ “if you can’t consolidate them… block these unimportant pages using robots.txt.” (bản dịch) «nếu bạn không thể consolidate them… block những unimportant các trang dùng robots.txt.»

5. 404/410 cho empty filter combinations. Google: “Return an HTTP 404 status code when a filter combination doesn’t return results.” (bản dịch) «Trả về an HTTP mã trạng thái khi một filter combination không trả về kết quả.» không trả về một 200 empty trang (đó là một soft 404 — Google giữ crawling điều này và điều này “will continue to be crawled, and waste your budget” (bản dịch) «sẽ continue để là được crawl, và waste của bạn budget»).

6. không internally link để parameterized URLs. bạn là handing các crawler đó trap yourself. My rule: “You should avoid passive parameters like those used for tracking on internal links.” (bản dịch) «Bạn nên tránh passive parameters như những dùng cho tracking on liên kết nội bộ.» Trước khi bạn strip một tracking parameter off an internal link, though, verify điều này thực ra cần để là ở đó — kiểm tra xem analytics campaign capture hoặc một chuyển hướng phụ thuộc vào điều này — và consider firing an analytics event thay vì một URL parameter cho interactions đó chỉ cần để là tracked, không được crawl.

MỘT note on prevention tactics bạn’ll see elsewhere: some mọi người render filters qua POST hoặc đổi đó ? cho một # fragment so không crawlable URL là minted. I không khuyến nghị đó fragment đổi — “There’s a growing trend where people are using # instead of ? as the fragment identifier, especially for passive parameters like those used for tracking. This is generally not a good idea.” (bản dịch) «có một growing trend nơi mọi người là dùng # thay vì ? as đó fragment identifier, especially cho passive parameters như những dùng cho tracking. Này là generally không một good ý tưởng.» Treat những as chung ngành options, không một khuyến nghị từ me.

Đó GSC URL Parameters tool là đã biến mất

Đó single hầu hết quan trọng currency kiểm tra on này topic: Google retired đó Tìm kiếm Console URL Parameters tool trong 2022. Điều này đã là announced on 28 March 2022 và đã xóa on 26 April 2022. Theo Barry Schwartz Search Engine Land ghi-lên, “Google will be sunsetting this feature on April 26, 2022 and you will no longer be able to access the tool after that date.” (bản dịch) «Google sẽ là sunsetting này feature on April 26, 2022 và bạn sẽ không lâu hơn là able để access đó tool sau đó date.»

Google stated reasons (relayed as trực tiếp quotes of Google blog post by SEL và 9to5Google): “only about 1% of the parameter configurations currently specified in the URL Parameters tool are useful for crawling,” (bản dịch) «chỉ về 1% of đó parameter configurations hiện tại specified trong đó URL Parameters tool là hữu ích cho crawling,» và “Over the years, Google became much better at guessing which parameters are useful on a site and which are —plainly put— useless.” (bản dịch) «Over đó năm, Google trở thành nhiều tốt hơn tại guessing mà parameters là hữu ích on một site và mà là —plainly put— useless.» So they “deprecat[ed] the URL Parameters tool.” (bản dịch) «deprecat[ed] đó URL Parameters tool.»

Điều cần làm thay vì, theo Google: không có gì, theo mặc định — “Google’s crawlers will learn how to deal with URL parameters automatically.” (bản dịch) «Google các crawler sẽ learn cách deal với URL parameters tự động.» Cho hơn control, Google points để “robots.txt rules… or… hreflang” (bản dịch) «robots.txt rules… hoặc… hreflang» — i.e. đó giống nhau tools trên, không một dedicated parameter panel. I chẳng hạn cùng một điều về đó dead tool: “The tool was deprecated in early 2022.” (bản dịch) «Đó tool đã là deprecated trong sớm 2022.» Nếu một hướng dẫn vẫn tells bạn để configure parameters trong Search Console, điều này có trước 2022.

có không single chuyển đó replaced điều này. Đó retirement có nghĩa là bạn cách sửa parameter sprawl tại đó nguồn (URL generation, liên kết nội bộ) và pick một state-cụ thể control — canonical, noindex, robots.txt, hoặc 404 — theo đó framework trên, thì xác nhận đây là hoạt động qua GSC Các trang và Crawl Số liệu các báo cáo thay vì một dedicated parameter panel.

Bing vẫn cho phép bạn bỏ qua parameters

Ở đây một genuine Google-so với-Bing khác biệt gần như mọi người omits: Bing vẫn có một parameter tool. Trong Bing Quản trị viên web Tools, dưới Configure My Site › Bỏ qua URL Parameters, bạn có thể tell Bing mà parameters để bỏ qua trong khi crawling — đó modern incarnation of Bing old URL Normalization feature. Bing ngay cả suggests parameters điều này thinks là safe để bỏ qua; bạn thêm them với một nhấp. Đó một caveat để respect: chỉ thêm một parameter để bỏ qua nếu bạn là sure điều này không needed cho của bạn nội dung để display correctly.

Bing lịch sử cách diễn đạt, từ của nó 2012 URL Normalization post, captures vì sao điều này tồn tại: “When you have duplicate problems due to extra URLs parameters, using the URL Normalization feature in the Bing Webmaster Tools is the preferred method,” (bản dịch) «Khi bạn có duplicate các vấn đề due để extra URLs parameters, dùng đó URL Normalization feature trong đó Bing Quản trị viên web Tools là đó được ưu tiên phương thức,» sau mà “the crawler will not visit the URLs with extra parameters except for an occasional test of the quality of the normalization rules.” (bản dịch) «đó crawler sẽ không visit đó URLs với extra parameters except cho an occasional kiểm thử of đó quality of đó normalization rules.» Bing là candid đó canonical alone là imperfect — “relying on canonical tag is not necessarily the perfect solution to fix all your duplicate content problems” (bản dịch) «relying on canonical tag không phải nhất thiết đó perfect giải pháp để cách sửa all của bạn duplicate nội dung các vấn đề» — và xử lý đó tag as “complimentary information to the URL Normalization rules provided.” (bản dịch) «complimentary information để đó URL Normalization rules provided.» Practical upshot: dùng Bing tool cho Bing; dùng robots.txt / canonical cho Google.

Parameters, faceted navigation & spider traps

Những three overlap nhưng không đó giống nhau. Faceted navigation là đó ecommerce-filter case (đó deep dive on active filter parameters). Spider traps là đó infinite-URL pathology đó unbounded parameter stacking có thể tạo. Và ngân sách crawl là đó tài nguyên đó toàn bộ mess drains. Này bài viết là đó parameter-xử lý lens đó ties them together — see những cho đó rộng hơn treatment.

Phổ biến myths

• “Use the GSC URL Parameters tool.” (bản dịch) «Dùng đó GSC URL Parameters tool.» Đã biến mất since 26 April 2022. Dùng canonical, robots.txt, noindex (và Bing Bỏ qua URL Parameters cho Bing). Google các crawler hiện tại “learn how to deal with URL parameters automatically.” (bản dịch) «learn cách deal với URL parameters tự động.»
• “Parameters always hurt SEO.” (bản dịch) «Parameters luôn hurt SEO.» Không. Parameters là thông thường và necessary (sessions, tracking, filters, pagination). Đó vấn đề là unmanaged duplication, không parameters theo se. Passive params là thường fine để crawl và canonical.
• “Block all parameters in robots.txt.” (bản dịch) «Block all parameters trong robots.txt.» Over-blocking orphans nội dung và hides của bạn canonicals và noindex từ Google — và điều này không deindex anyway (“the pages may still get indexed” (bản dịch) «đó các trang có thể vẫn nhận được lập chỉ mục»). Block chỉ đúng crawl traps; canonical đó rest.
• “A canonical fixes parameter duplicates instantly.” (bản dịch) «MỘT canonical các cách sửa parameter duplicates instantly.» đây là một hint và chậm — “may, over time, decrease the crawl volume.” (bản dịch) «có thể, theo thời gian, decrease đó crawl volume.» Các crawler vẫn hit đó variants meanwhile.

AI summary

MỘT condensed take on đó Advanced version:

• URL parameters = đó ?key=value query string sau một URL’s path, joined by &. Đó giống nhau nội dung reachable qua nhiều parameter combinations là đó toàn bộ vấn đề.
• Active so với passive là đó framework. Active (filter/loại/paginate/tìm kiếm) thay đổi đó trang → near-duplicates. Passive (tracking, session, affiliate IDs) không → pure duplicates.
• Three các chế độ lỗi: duplicate nội dung, split các tín hiệu xếp hạng, wasted crawl budget / infinite crawl spaces.
• Đó dữ liệu: Google 2024–25 numbers (Illyes, qua SEL) blame faceted navigation
  • hành động parameters cho ~75% of crawl các vấn đề (25% hành động params alone).
• Đó GSC URL Parameters tool là dead (announced 28 Mar 2022, đã xóa 26 Apr 2022). Google được tìm thấy ~1% of configs hữu ích và hiện tại xử lý parameters tự động. không tell anyone để dùng điều này.
• Management hôm nay: consistent parameter order + & separator + không empty/dup params; rel=canonical cho passive params (let them crawl — Patrick default, không reflexively block); noindex nếu bạn truly muốn một variant out (giữ điều này crawlable); robots.txt chỉ cho genuine crawl traps (điều này không deindex); 404 cho empty filter combos; không internally link để parameterized URLs.
• Bing vẫn có Bỏ qua URL Parameters (Configure My Site › Bỏ qua URL Parameters) — đó trực tiếp Google-so với-Bing khác biệt.
• Related: này là đó parameter lens on faceted navigation, spider traps, và ngân sách crawl, và một canonicalization vấn đề tại heart.

Tài liệu chính thức

Chính-nguồn tài liệu từ đó các công cụ tìm kiếm.

Google

• Spring cleaning: đó URL Parameters tool (28 Mar 2022) — đó announcement đó Search Console URL Parameters tool đã là đang retired, và điều cần làm thay vì.
• Managing crawling of faceted navigation URLs — đó best verbatim nguồn cho parameter xử lý: đó & separator rule, consistent filter order, 404 cho empty combos, và canonical hướng dẫn.
• Ngân sách crawl Management — đó “nearly infinite space” (bản dịch) «nearly infinite space» cách diễn đạt, consolidate-duplicates principle, và khi nào nên block với robots.txt.
• Giữ một đơn giản URL structure — Google on vì sao overly phức tạp, multi-parameter URLs tạo crawl các vấn đề.
• Để infinity và beyond? Không! (2008) — đó original “infinite spaces” (bản dịch) «infinite spaces» post đó named loại/filter parameters as một nguồn.

Bing / Microsoft

• Bing Quản trị viên web Tools help — tìm Bỏ qua URL Parameters dưới Configure My Site (đó trực tiếp feature Google retired).
• Tốt hơn canonical; URL Normalization (2012) — Bing original parameter-normalization post; đó lịch sử anchor cho đó hiện tại tool.
• Block URLs từ Bing — tạm thời removal of URL patterns từ Bing chỉ mục.

Quotes từ đó nguồn

On-đó-record statements từ Google và Bing. Mỗi link là một deep link đó jumps để đó quoted passage on đó trang nguồn.

Google — đó parameter-xử lý rules (faceted-nav doc)

• “This often means a very large number of possible combinations of filters, which translates to a very large number of possible URLs.” (bản dịch) «Này thường có nghĩa là một very lớn number of có thể combinations of filters, mà translates để một very lớn number of có thể URLs.» Nhảy đến trích dẫn
• “Use the industry standard URL parameter separator ’&’. Characters like comma (,), semicolon (;), and brackets ([ and ]) are hard for crawlers to detect as parameter separators.” (bản dịch) «Dùng đó ngành tiêu chuẩn URL parameter separator ’&’. Characters như comma ( ), semicolon ( ), và brackets ( và ) là hard cho các crawler để detect as parameter separators.» Nhảy đến trích dẫn
• “Ensure that the logical order of the filters always stays the same and that no duplicate filters can exist.” (bản dịch) «Bảo đảm đó logical order of đó filters luôn vẫn giữ đó giống nhau và đó không duplicate filters có thể exist.» Nhảy đến trích dẫn
• “Return an HTTP 404 status code when a filter combination doesn’t return results.” (bản dịch) «Trả về an HTTP mã trạng thái khi một filter combination không trả về kết quả.» Nhảy đến trích dẫn
• Dùng rel="canonical" “may, over time, decrease the crawl volume of non-canonical versions of those URLs.” (bản dịch) «có thể, theo thời gian, decrease đó crawl volume of non-canonical versions of những URLs.» Nhảy đến trích dẫn

Google — ngân sách crawl & infinite spaces

• “The web is a nearly infinite space, exceeding Google’s ability to explore and index every available URL.” (bản dịch) «Đó web là một nearly infinite space, exceeding Google ability để explore và chỉ mục mỗi khả dụng URL.» Nhảy đến trích dẫn
• “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (bản dịch) «Consolidate duplicate nội dung để focus crawling on unique nội dung thay vì unique URLs.» Nhảy đến trích dẫn
• “Overly complex URLs, especially those containing multiple parameters, can cause problems for crawlers by creating unnecessarily high numbers of URLs that point to identical or similar content on your site.” (bản dịch) «Overly phức tạp URLs, especially những containing multiple parameters, có thể nguyên nhân các vấn đề cho các crawler by creating unnecessarily cao numbers of URLs đó trỏ đến giống hệt hoặc similar nội dung trên trang web của bạn.» — Google URL-structure doc. Nhảy đến trích dẫn

Google — đó deprecated tool (Google 2022 blog post, relayed verbatim qua Search Engine Land và 9to5Google)

• “Only about 1% of the parameter configurations currently specified in the URL Parameters tool are useful for crawling.” (bản dịch) «Chỉ về 1% of đó parameter configurations hiện tại specified trong đó URL Parameters tool là hữu ích cho crawling.» Đọc bài đưa tin
• “Over the years, Google became much better at guessing which parameters are useful on a site and which are —plainly put— useless.” (bản dịch) «Over đó năm, Google trở thành nhiều tốt hơn tại guessing mà parameters là hữu ích on một site và mà là —plainly put— useless.» Đọc bài đưa tin
• “You don’t need to do anything to specify the function of URL parameters on your site, Google’s crawlers will learn how to deal with URL parameters automatically.” (bản dịch) «Bạn không cần để làm bất cứ điều gì để specify đó function of URL parameters trên trang web của bạn, Google các crawler sẽ learn cách deal với URL parameters tự động.» Đọc bài đưa tin
• Barry Schwartz cách diễn đạt of đó date (his wording, không Google): “Google will be sunsetting this feature on April 26, 2022 and you will no longer be able to access the tool after that date.” (bản dịch) «Google sẽ là sunsetting này feature on April 26, 2022 và bạn sẽ không lâu hơn là able để access đó tool sau đó date.» Nhảy đến trích dẫn

Gary Illyes, Google — parameters as một crawl drain (qua Search Engine Land’s coverage of đó 2024–25 crawling discussions)

• “The biggest issues were faceted navigation and action parameters, which accounted for about 75% of the problems” (bản dịch) «Đó biggest các vấn đề đã là faceted navigation và hành động parameters, mà accounted cho về 75% of đó các vấn đề» — split as “50% come from faceted navigation” (bản dịch) «50% come từ faceted navigation» và “25% come from action parameters.” (bản dịch) «25% come từ hành động parameters.» Nhảy đến trích dẫn
• “Once it discovers a set of URLs, it cannot make a decision about whether that URL space is good or not unless it crawled a large chunk of that URL space.” (bản dịch) «Khi điều này discovers một set of URLs, điều này không thể làm một decision về liệu đó URL space là good hoặc không trừ khi điều này được crawl một lớn chunk of đó URL space.» Nhảy đến trích dẫn

Bing — URL Normalization (2012 blog)

• “When you have duplicate problems due to extra URLs parameters, using the URL Normalization feature in the Bing Webmaster Tools is the preferred method.” (bản dịch) «Khi bạn có duplicate các vấn đề due để extra URLs parameters, dùng đó URL Normalization feature trong đó Bing Quản trị viên web Tools là đó được ưu tiên phương thức.» Nguồn
• “Relying on canonical tag is not necessarily the perfect solution to fix all your duplicate content problems.” (bản dịch) «Relying on canonical tag không phải nhất thiết đó perfect giải pháp để cách sửa all của bạn duplicate nội dung các vấn đề.» Nguồn

URL parameters — bảng tra nhanh

Active so với passive → được khuyến nghị xử lý

Điều gì mỗi control thực ra làm

Fast facts

• GSC URL Parameters tool: đã biến mất (announced 28 Mar 2022, đã xóa 26 Apr 2022). Google hiện tại xử lý parameters tự động.
• Bing vẫn có điều này: Bỏ qua URL Parameters (Configure My Site).
• Separator: dùng &, không bao giờ commas / semicolons / brackets.
• Order: giữ đó logical filter order fixed; không duplicate hoặc empty params.
• robots.txt không deindex — blocked parameter URLs “may still get indexed.” (bản dịch) «có thể vẫn nhận được lập chỉ mục.»

Đó decision framework

1. Classify đó parameter đầu tiên: active hoặc passive? Làm điều này thay đổi điều gì là on đó trang? Passive (tracking/session) → pure duplicate. Active (filter/loại/paginate/tìm kiếm) → real hoặc near-duplicate variant. Mọi thứ downstream phụ thuộc vào này câu trả lời.

2. Cho passive params: let điều này crawl + canonical. không block. Này là my default. MỘT canonical consolidates các tín hiệu để đó sạch URL; điều này requires mỗi variant để là được crawl, nhưng đó là fine cho tracking tags. Reflexively robots-blocking tracking params hides của bạn canonical và orphans các tín hiệu.

3. Cho active params: decide mà variants deserve lập chỉ mục. Thì map mỗi để một control — let crawl + canonical near-duplicates; 404 empty combos; reserve robots.txt cho genuine infinite traps; noindex một cụ thể variant bạn muốn đã biến mất (và giữ điều này crawlable so Google sees đó tag).

4. Pick một job theo URL — không conflate đó controls. robots.txt dừng crawling, không lập chỉ mục. noindex cần crawl access để là seen. canonical là một hint, chậm. Không bao giờ robots-block một URL bạn cũng muốn noindexed — đó block hides đó noindex.

5. Ngăn trước khi bạn patch. Consistent parameter order, & separators, một key theo giá trị, không empty params, và không liên kết nội bộ để parameterized URLs. Hầu hết parameter duplication là self-inflicted và free để dừng tại đó nguồn.

6. Remember đó engine khác biệt. Google: không parameter tool — dùng canonical / robots.txt; điều này learns parameters tự động. Bing: vẫn có Bỏ qua URL Parameters — dùng điều này cho Bing.

URL parameter audit checklist

• Pulled đó list of parameterized URLs — site crawl (Ahrefs Site Audit / Screaming Frog), GSC Các trang báo cáo (“Duplicate…”, “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục»), và site: + inurl:? spot-kiểm tra.
• Classified mỗi parameter as active (filter/loại/paginate/tìm kiếm) hoặc passive (tracking/session/affiliate).
• Passive params: mỗi variant có một rel=canonical để đó sạch URL, và họ là đang được crawl (không robots-blocked).
• Confirmed bạn là không internally linking để tracking/parameterized URLs.
• Active params: decided mà variants nên là indexable; đó rest là canonicalized, 404’d (empty combos), hoặc blocked (đúng traps).
• Parameter order là consistent mọi nơi; & separator (không commas / semicolons / brackets); không duplicate hoặc empty parameters.
• Empty filter combinations trả về 404/410, không một 200 soft 404.
• Không URL là cả hai robots-blocked và noindexed (đó block hides đó noindex).
• robots.txt chặn là limited để genuine crawl traps bạn không bao giờ muốn được crawl — và bạn accept những URLs có thể vẫn xuất hiện (URL-chỉ) trong đó chỉ mục.
• Bạn là không relying on đó GSC URL Parameters tool (đây là đã biến mất).
• (Bing) Reviewed Bỏ qua URL Parameters trong Bing Quản trị viên web Tools và đã thêm chỉ parameters bạn là sure không needed để render nội dung.
• Verified real crawl behavior trong máy chủ logs sau thay đổi.

Mistakes để tránh

Real các chế độ lỗi, pulled straight từ đó framework trên.

“Just set it up in the URL Parameters tool.” (bản dịch) «Chỉ set điều này lên trong đó URL Parameters tool.» Đó tool là đã biến mất — retired 26 April 2022. Nếu một hướng dẫn, một colleague, hoặc an old checklist vẫn points bạn tại Search Console để “configure” của bạn parameters, điều này có trước 2022 và là describing một control panel đó không lâu hơn tồn tại. có không có gì để reconfigure; Google hiện tại learns parameter behavior tự động, và đó chỉ levers left là canonical, noindex, robots.txt, và (on Bing) Bỏ qua URL Parameters.

Robots-blocking tracking parameters “to fix duplicate content.” (bản dịch) «để cách sửa duplicate nội dung.» Này là đó single hầu hết phổ biến overcorrection. Passive parameters (utm_, gclid, fbclid, session IDs) không thay đổi đó trang — họ là pure duplicates, và my default là để let them crawl và consolidate với rel=canonical. Blocking them trong robots.txt thay vì không xóa đó duplicates từ đó chỉ mục (blocked URLs “may still get indexed” (bản dịch) «có thể vẫn nhận được lập chỉ mục»), và điều này hides của bạn canonical tag từ Google hoàn toàn, since một blocked trang không bao giờ nhận được crawl để see đó tag.

Stacking robots.txt disallow và noindex on đó giống nhau parameter. Những hai controls fight mỗi other. noindex chỉ hoạt động nếu đó trang vẫn giữ crawlable so Google có thể đọc đó tag; blocking đó URL trong robots.txt ngăn chính xác đó. Pick một job theo URL — block genuine crawl traps bạn không bao giờ muốn touched tại all, hoặc noindex một cụ thể variant bạn muốn out of đó chỉ mục, không cả hai on đó giống nhau URL.

Letting parameter order và casing drift trên templates. MỘT filter đó renders as ?color=blue&sort=price on một template và ?sort=price&color=blue on một sản phẩm khác mints hai URLs cho điều gì nên là một. Này là self-inflicted duplication với một free cách sửa: giữ đó logical filter order fixed sitewide và dùng đó & separator consistently, theo Google own hướng dẫn trong đó faceted-navigation doc.

Assuming một canonical tag hoạt động instantly. rel=canonical là một hint Google weighs alongside other các tín hiệu, và Google says điều này “may, over time, decrease the crawl volume” (bản dịch) «có thể, theo thời gian, decrease đó crawl volume» of đó non-canonical versions — không immediately drop them. Expect một lag giữa thêm canonicals và seeing parameter variants dừng cho thấy lên trong Search Console, và không treat một canonical as một substitute cho sửa self-inflicted duplication tại đó nguồn (liên kết nội bộ, parameter order) trong đó meantime.

Finding của bạn parameterized URLs

Vài nhanh ways để surface đó parameter sprawl on của bạn own site.

site: + inurl: searches (bất kỳ trình duyệt)

site:example.com inurl:?           # anything with a query string indexed
site:example.com inurl:utm_        # indexed tracking-parameter URLs (shouldn't be many)
site:example.com inurl:sort=       # indexed sort variants

MỘT pile of utm_-tagged URLs trong đó chỉ mục là một classic sign passive params là leaking vào Google — thường vì họ là đang linked internally.

Extract parameterized URLs từ máy chủ logs (macOS / Linux)

# Pull every requested URL that contains a query string, then rank by frequency
awk '{print $7}' access.log | grep '?' | sort | uniq -c | sort -rn | head -50

# Just the parameter KEYS bots are hitting, ranked — quickly shows your worst offenders
awk '{print $7}' access.log | grep -oE '[?&][a-zA-Z0-9_]+=' \
  | tr -d '?&=' | sort | uniq -c | sort -rn

(Adjust $7 để whichever trường là đó yêu cầu path trong của bạn log format.)

robots.txt disallow patterns — cho genuine traps chỉ

User-agent: *
Disallow: /*?*sort=          # block sort-order parameter spaces
Disallow: /*?*sessionid=     # block session-ID URLs
Disallow: /search            # internal search result pages

Sitemap: https://example.com/sitemap.xml

Remember: Disallow chặn crawling, không lập chỉ mục — một blocked parameter URL “may still get indexed” (bản dịch) «có thể vẫn nhận được lập chỉ mục» (URL-chỉ). Dùng này chỉ cho spaces bạn không bao giờ muốn được crawl, và không bao giờ on một URL whose noindex bạn cần Google để đọc.

Đó Google-so với-Bing khác biệt

có không Google parameter tool anymore — manage Google với canonical / robots.txt trên. Bing vẫn có một: trong Bing Quản trị viên web Tools → Configure My Site → Bỏ qua URL Parameters, thêm đó parameters Bing nên bỏ qua trong khi crawling (điều này ngay cả suggests safe-looking ones). Chỉ thêm một parameter nếu bạn là sure điều này không needed cho nội dung của bạn để render correctly. Này là đó trực tiếp khả năng Google retired trong 2022.

Tools cho finding và managing parameters

• Google Search Console — Các trang báo cáo — “Duplicate without user-selected canonical” (bản dịch) «Duplicate không có người dùng-được chọn canonical» và “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục» là nơi parameter bloat cho thấy lên.
• Google Search Console — Crawl Số liệu (Settings → Crawl Số liệu) — xác nhận cách nhiều crawling parameter URLs là thực ra consuming.
• Ahrefs Site Audit / Screaming Frog SEO Spider — crawl trang web của bạn để list parameterized URLs, của họ canonicals, chuyển hướng chains, và nơi bạn internally link để them.
• Máy chủ log file analysis — đó ground truth cho mà parameter URLs bots hit và cách thường. (See log file analysis.)
• URL Inspection (GSC) — kiểm tra cách một single parameter URL đã là được crawl, canonicalized, và được lập chỉ mục.
• Bing Quản trị viên web Tools — Bỏ qua URL Parameters (Configure My Site) — đó trực tiếp parameter control Google retired; tell Bing mà parameters để bỏ qua.

Prompts cho một parameter audit

Ready-để-copy prompts cho parameter-cụ thể tasks. Paste trong của bạn own dữ liệu nơi indicated, và verify đó output trước acting on điều này — một model có thể misclassify một parameter as passive khi điều này thực ra thay đổi trang nội dung.

Classify một parameter list as active hoặc passive

Paste trong: đó list of parameters bạn đã seen trong Search Console, analytics, hoặc máy chủ logs (e.g. ?sort=, ?utm_source=, ?sessionid=, ?color=, ?page=). Expect lại: mỗi parameter labeled active hoặc passive, plus một được khuyến nghị control (canonical, noindex, robots.txt, hoặc 404) dựa trên đó framework trong đó Advanced tab.

Here is a list of URL parameters used on my site. For each one, tell me
whether it's active (changes the page content — filter, sort, paginate,
search) or passive (doesn't change content — tracking, session, affiliate
ID). Then recommend how to handle it: let it crawl with a rel=canonical
to the clean URL, add noindex, block it in robots.txt (only if it's a
genuine crawl trap), or return a 404 for empty results. Explain the
reasoning for each recommendation.

Parameters:
[paste parameter list here]

Group một được crawl URL list by base path để spot duplication

Paste trong: một list of URLs từ một crawl export hoặc site: tìm kiếm. Expect lại: đó URLs grouped by của họ base path (ignoring đó query string), so bạn có thể see cách nhiều parameter variants exist theo trang và mà ones trông giống self-inflicted duplication (inconsistent order, redundant tracking tags).

Here is a list of URLs from my site. Strip the query string from each
one to find its base path, then group the URLs by base path. For each
group, list the distinct parameter combinations found and flag any that
look like the same combination in a different order (e.g.
?color=blue&sort=price vs ?sort=price&color=blue) or a redundant
tracking parameter added to an otherwise identical URL.

URLs:
[paste URL list here]

Khi bạn đã nhận một canonical decided cho một trang, verify đó thực tế implementation (HTML tag so với. HTTP header, self-reference, conflicts) với đó Canonicalization Checker thay vì trusting một model đọc of thô markup.

Các tài nguyên worth của bạn time

My related writing

• URL Parameters: MỘT Hoàn tất Hướng dẫn cho SEOs — my đầy đủ Ahrefs hướng dẫn on này topic: đó active/passive split, đó canonical-so với-noindex-so với-robots.txt decision, và đó parameter-order rule.
• Faceted Navigation: MỘT Hoàn tất Hướng dẫn — đó deeper dive on active filter parameters trong đó ecommerce context.
• Khi Nên Bạn Worry Về Ngân sách crawl? — vì sao parameter sprawl drains ngân sách crawl, và ai thực ra cần để care.
• Google Dùng ~40 Các tín hiệu canonicalization — cho đó “canonical is a hint, not a directive” (bản dịch) «canonical là một hint, không một directive» nuance behind recommending điều này cho passive params.
• Đó Beginner Hướng dẫn để SEO kỹ thuật — nơi parameter xử lý fits trong đó bigger picture.

Từ others

• Google Managing crawling of faceted navigation URLs — đó sạch nhất chính thức nguồn cho đó separator, order, và 404 rules.
• r/TechSEO — đó community cho crawl/chỉ mục/parameter gỡ lỗi.
• Google URL Parameters tool là going away (Search Engine Land, Barry Schwartz) — đó chính reporting on đó April 2022 retirement, với Google verbatim reasons.
• Google: 75% of crawling các vấn đề come từ hai phổ biến URL mistakes (Search Engine Land) — Gary Illyes’ 2024–25 dữ liệu on faceted navigation + hành động parameters as đó top crawl drains.
• Google Search Console URL Parameter Tool Là Hiện tại Offline (Công cụ tìm kiếm Roundtable) — xác nhận và community reaction để đó tool removal date.
• Đó Expert SEO Hướng dẫn Để URL Parameter Xử lý (Search Engine Journal, Jes Scholz) — thorough treatment of parameter-ordering, six giải pháp approaches, và assessment các phương thức.
• Google John Mueller: Có Không Benchmark cho Ngân sách crawl (Search Engine Journal) — Mueller on khi parameter-driven URL explosion thực ra matters cho ngân sách crawl.
• Taming Parameters (Lumar) — enterprise crawl-tooling perspective on parameter management, including Bing.
• Google pulling đó plug on ‘thấp giá trị’ URL parameters tool (9to5Google) — additional verbatim relay of Google deprecation announcement.

Quotes worth citing

• ~75% of crawl các vấn đề là faceted navigation + hành động parameters. Gary Illyes (Google), qua Search Engine Land: “The biggest issues were faceted navigation and action parameters, which accounted for about 75% of the problems” (bản dịch) «Đó biggest các vấn đề đã là faceted navigation và hành động parameters, mà accounted cho về 75% of đó các vấn đề» — 50% faceted nav, 25% hành động parameters. Nguồn
• Chỉ ~1% of parameter configs đã là hữu ích — Google reason cho killing đó URL Parameters tool: “only about 1% of the parameter configurations currently specified in the URL Parameters tool are useful for crawling.” (bản dịch) «chỉ về 1% of đó parameter configurations hiện tại specified trong đó URL Parameters tool là hữu ích cho crawling.» (Google 2022 blog, relayed verbatim by Search Engine Land.) Nguồn
• Đó tool removal date. Barry Schwartz cách diễn đạt (his wording, không một Google quote): “Google will be sunsetting this feature on April 26, 2022 and you will no longer be able to access the tool after that date.” (bản dịch) «Google sẽ là sunsetting này feature on April 26, 2022 và bạn sẽ không lâu hơn là able để access đó tool sau đó date.» Nguồn
• Giữ đó filter order fixed. Google faceted-nav doc: “Ensure that the logical order of the filters always stays the same and that no duplicate filters can exist.” (bản dịch) «Bảo đảm đó logical order of đó filters luôn vẫn giữ đó giống nhau và đó không duplicate filters có thể exist.» Nguồn
• Canonical là chậm. Google: dùng rel="canonical" “may, over time, decrease the crawl volume of non-canonical versions of those URLs.” (bản dịch) «có thể, theo thời gian, decrease đó crawl volume of non-canonical versions of những URLs.» Nguồn

Tự kiểm tra: URL parameters

Five nhanh các câu hỏi on xử lý parameterized URLs. Pick an câu trả lời cho mỗi, thì kiểm tra.

Nhật ký thay đổi