Hướng dẫn về Spider Traps (Crawler Traps)

TL;DR — MỘT spider trap (hoặc crawler trap) là một part of trang web của bạn đó accidentally tạo một near-endless list of URLs — think filter combinations, một calendar với một “tiếp theo month” link forever, hoặc web addresses với một session ID stuck on them. Công cụ tìm kiếm bots nhận stuck crawling all đó junk thay vì of của bạn real các trang. Điều này wastes của họ time, và on big các trang điều này có nghĩa là của bạn good các trang nhận được crawl ít hơn.

Điều gì một spider trap là

Khi một công cụ tìm kiếm visits trang web của bạn, điều này follows links và downloads các trang — đó là crawling. MỘT spider trap là một structure đó hands đó crawler một basically infinite supply of links để follow, hầu hết of them pointing tại near-giống hệt hoặc empty các trang. Đó bot giữ fetching them, không bao giờ đang chạy out, và không bao giờ finding bất cứ điều gì new.

“Spider trap” và “crawler trap” (bản dịch) «crawler trap» là cùng một điều — spider và crawler là cả hai nicknames cho đó bots. Google own name cho đó vấn đề là “infinite spaces.” (bản dịch) «infinite spaces.»

Điều gì gây ra them

Vài classics:

• Filters — pick một color, một size, một brand, một price range, loại by cheapest… mỗi combination là một new URL, và they multiply fast.
• Calendars — một “tiếp theo month” link với không end. MỘT bot có thể nhấp forward vào đó năm 3000.
• Session IDs — một unique code đã thêm để đó URL cho mỗi khách truy cập, so đó giống nhau trang tồn tại dưới thousands of addresses.
• Chuyển hướng loops — trang MỘT gửi đó bot để B, B gửi điều này lại để MỘT, forever.

Vì sao điều đó quan trọng (và khi điều này không)

MỘT bot chỉ có so nhiều time cho trang web của bạn. Mỗi minute spent on junk URLs là một minute điều này không spending on của bạn real nội dung. On một nhỏ site này rarely matters — có plenty of time để crawl mọi thứ. On một lớn site, hoặc một brand new một, hoặc một big online store, điều này có thể có nghĩa là quan trọng các trang nhận được crawl slowly hoặc không tại all.

Cách bạn’d spot một và cách sửa điều này

Đó quickest tell là của bạn máy chủ logs — nếu một weird pattern of URLs là eating một disproportionate, lopsided share of all đó crawling compared để trang web của bạn thông thường baseline, đó là một trap. Đó best cách sửa là dừng generating đó URLs ngay từ đầu (ví dụ, làm filters hoạt động không có creating một new web address mỗi time). Nếu bạn không thể, bạn block đó junk patterns so bots skip them.

Muốn đó đầy đủ loại-by-loại catalogue, đó detection workflow, và đó right order để apply mỗi cách sửa? Chuyển để đó Advanced tab.

TL;DR — MỘT spider trap (crawler trap) là bất kỳ structure đó generates effectively infinite URLs — faceted nav, calendars, session IDs, loại/tracking params, infinite pagination, chuyển hướng loops, relative-link explosion — so các crawler waste capacity on near-duplicate junk. Google có dài described những patterns as “infinite spaces.” (bản dịch) «infinite spaces.» Đó impact là thường greatest on lớn, new, hoặc ecommerce các trang, though nhỏ hơn các trang có thể vẫn tạo traps. Tìm điều này trong logs đầu tiên; cách sửa điều này tại đó nguồn. Robots.txt dừng crawling nhưng không lập chỉ mục, noindex cần crawl access để là seen, canonical là một chậm hint — so đó order of của bạn các cách sửa matters.

Điều gì một spider trap thực ra là

MỘT spider trap — synonymous với crawler trap — là một part of một site đó spawns an effectively infinite, hoặc impractically lớn, number of URLs, so một crawler giữ requesting thấp-giá trị, near-duplicate, hoặc empty các trang và burns của nó ngân sách crawl trước điều này reaches của bạn real nội dung. Google term cho đó underlying phenomenon là “infinite spaces” (bản dịch) «infinite spaces» (hoặc “infinite URL spaces” (bản dịch) «infinite URL spaces»).

Đó key word là effectively. MỘT trap không có để là truly infinite — “de facto infinite” (bản dịch) «de facto infinite» là plenty. Vài filters đó combine trong bất kỳ order produce an astronomical number of URLs cho đó giống nhau handful of các sản phẩm. Đó vấn đề không đó bất kỳ single URL là bad; đây là đó combinatorial explosion.

Và ở đây vì sao các crawler không thể chỉ sidestep điều này. As Google faceted-navigation tài liệu diễn đạt điều này, “Because the URLs created for the faceted navigation seem to be novel and crawlers can’t determine whether the URLs are going to be useful without crawling first, the crawlers will typically access a very large number of faceted navigation URLs.” (bản dịch) «Vì đó URLs đã tạo cho đó faceted navigation seem để là novel và các crawler không thể determine liệu đó URLs là going để là hữu ích không có crawling đầu tiên, đó các crawler sẽ typically access một very lớn number of faceted navigation URLs.» Gary Illyes đã nói cùng một điều hơn plainly: khi một crawler discovers một set of URLs, điều này không thể judge liệu đó URL space là good until điều này có được crawl một lớn chunk of điều này. Đó trap hoạt động precisely vì đó bot có để walk vào điều này để tìm out đây là một trap.

Vì sao spider traps hurt SEO

Đó damage là opportunity cost. Google là rõ ràng: “If crawling is spent on useless URLs, the crawlers have less time to spend on new, useful URLs.” (bản dịch) «Nếu crawling là spent on useless URLs, đó các crawler có ít hơn time để spend on new, hữu ích URLs.» Đó web, as Google notes, là “a nearly infinite space, exceeding Google’s ability to explore and index every available URL” (bản dịch) «một nearly infinite space, exceeding Google ability để explore và chỉ mục mỗi khả dụng URL» — so một finite crawl pool spent on của bạn junk là nội dung đó không bao giờ nhận discovered.

Này là một crawl-budget vấn đề, và ngân sách crawl là an efficiency concern, không một tín hiệu xếp hạng. Hơn crawling không lift của bạn thứ hạng — as I’ve được viết trong my ngân sách crawl hướng dẫn, “More crawling doesn’t mean you’ll rank better, but if your pages aren’t crawled and indexed they aren’t going to rank at all.” (bản dịch) «Hơn crawling không có nghĩa là bạn’ll xếp hạng tốt hơn, nhưng nếu của bạn các trang không được crawl và được lập chỉ mục they không going để xếp hạng tại all.» đó là đó real stakes: một bad đủ trap on một lớn site có thể leave genuinely quan trọng các trang stuck trong “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục» vì đó budget went để junk.

Ai thực ra cần để care? Google own crawl-budget hướng dẫn scopes itself để lớn các trang (1 million+ unique các trang, thay đổi ít nhất weekly), medium-hoặc-lớn hơn các trang (10 000+ unique các trang) đó thay đổi daily, và bất kỳ site với một lớn share of của nó URLs sitting trong “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục» — plus, by extension, ecommerce các trang với faceted catalogs, mà là đó fastest way để hit những numbers. Google calls những rough estimates, không chính xác thresholds. Hầu hết nhỏ các trang nhận được crawl fully regardless và có thể dừng reading ở đây. Đó trap scenario là chính xác đó case nơi ngân sách crawl làm quan trọng — và Google frames đó toàn bộ concept khoảng crawl capacity (cách nhiều máy chủ của bạn có thể take) và crawl demand (cách nhiều Google wants để crawl), không một fixed quota handed để mỗi site.

Này không một new hoặc rare vấn đề

Google named “infinite spaces” (bản dịch) «infinite spaces» lại trong 2008, trong một post titled Để infinity và beyond? Không!, calling out endless calendars và stacked tìm kiếm-kết quả filters as đó nguồn, và naming robots.txt và nofollow as đó các cách sửa. (Đó post là old và JS-được kết xuất, so I’m paraphrasing điều này thay vì quoting điều này.)

điều gì là striking là đó điều này không bao giờ went away — điều này scaled. Google ran một Crawling December blog series on faceted navigation lại trong December 2024, và hơn recently, on một Tìm kiếm Off đó Record episode recapping Google 2025 năm-end crawling báo cáo, Gary Illyes broke xuống điều gì là thực ra driving crawl waste: faceted navigation và hành động parameters together account cho khoảng 75% of đó crawling các vấn đề Google sees — 50% từ faceted navigation, 25% từ hành động parameters (URL parameters đó trigger an hành động thay vì thay đổi trang nội dung). Đó remaining quarter là nhỏ hơn stuff: về 10% từ “irrelevant” parameters như session IDs và UTM tags, 5% từ plugin và widgets đó generate problematic URLs, và 2% từ other các trường hợp biên như double-encoded URLs. Eighteen năm on, faceted navigation là vẫn, by một wide margin, đó single biggest nguồn of đó vấn đề.

Types of spider traps

Đó catalogue, với đó một-line tell cho mỗi. (See đó Các bảng tra nhanh tab cho đó matching một-line các cách sửa.)

• Faceted navigation / filter combinations — đó #1 trap. Người dùng pick vài filters; đó crawler tries mỗi permutation. Google: “This often means a very large number of possible combinations of filters, which translates to a very large number of possible URLs.” (bản dịch) «Này thường có nghĩa là một very lớn number of có thể combinations of filters, mà translates để một very lớn number of có thể URLs.»
• Infinite calendars — “next month / next year” (bản dịch) «tiếp theo month / tiếp theo năm» links với không horizon. MỘT bot có thể walk forward indefinitely (Illyes’ memorable ví dụ đã là một calendar widget generating một hợp lệ URL cho đó năm 3000).
• Session IDs trong URLs — ?sid=, jsessionid, etc. mint một unique URL theo khách truy cập cho giống hệt nội dung.
• Loại / order parameters — ?sort=price, ?order=desc. Google says “differently sorted versions of the same page” (bản dịch) «differently sorted versions of đó cùng trang» không nên là được crawl.
• Infinite scroll / looping pagination — endless “load hơn” / “tiếp theo” đó không bao giờ terminates hoặc duplicates linked nội dung. Google flags “infinite scrolling pages that duplicate information on linked pages.” (bản dịch) «infinite scrolling các trang đó duplicate information on linked các trang.»
• Chuyển hướng loops / dài chains — MỘT → B → MỘT forever, thường từ một mistyped rewrite rule.
• Relative-URL / path explosion — malformed relative links đó giữ appending directories (/abc/def/abc/def/abc/def/…) until đó máy chủ cho lên.
• Internal tìm kiếm kết quả các trang — tìm kiếm URLs treated as crawlable nội dung; một sitewide tìm kiếm on một single letter có thể mint một million các trang.
• Dynamic / “magic” URLs — một URL đó accepts arbitrary text hoặc IDs và vẫn trả về 200.
• Tracking / “hành động” parameters — UTM tags và thêm-để-cart/so sánh actions tạo de-facto-infinite URL variants (này là đó “action parameters” (bản dịch) «hành động parameters» half of Google 75%).

Cách detect một spider trap

• Máy chủ logs đầu tiên — này là đó fastest tell. Của bạn logs cho thấy chính xác mà URLs bots hit và cách thường. có không fixed universal ngưỡng cho điều gì được tính as “cũng nhiều” — đó signature là một lopsided, disproportionate share of crawl hits concentrated on một junk URL pattern relative để của bạn own site thông thường baseline, không một cụ thể percentage đó áp dụng mọi nơi. (Yoast founder Joost de Valk có được viết đó trong his own experience đây là “not uncommon” (bản dịch) «không uncommon» cho một trap để take lên 20-30% hoặc hơn of all crawl — một hữu ích gut-kiểm tra cho cách skewed một real trap có thể nhận, không một benchmark để kiểm thử trang web của bạn so với.) (See log file analysis.)
• Chạy một crawl — Screaming Frog, Ahrefs Site Audit, Sitebulb. Watch cho một crawl đó sẽ không finish, URLs đó giữ getting lâu hơn (path explosion), hoặc an exploding count of parameter combinations.
• Google Search Console — một ballooning “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục» count, một swelling Soft 404 báo cáo (autogenerated empty các trang), Crawl Số liệu skewed toward junk paths, hoặc đó “Googlebot encountered an extremely high number of URLs” (bản dịch) «Googlebot encountered an extremely cao number of URLs» message.
• MỘT site/chỉ mục sanity kiểm tra — khi một tiny fraction of được lập chỉ mục URLs thực ra drive traffic, bạn là probably feeding một trap.
• Tìm kiếm operators — site: plus inurl: on một known parameter string.
• Bing — Site Scan và Crawl Control trong Bing Quản trị viên web Tools.

Cách sửa và ngăn spider traps

Đó các cách sửa, khoảng best để cuối cùng-resort — và đó sequencing matters, vì những controls làm khác nhau jobs.

1. Best cách sửa: không generate đó URLs. Dừng minting crawlable URLs tại đó nguồn. Đó sạch nhất version là JavaScript/fragment-based filtering so filters cập nhật đó trang không có creating một new crawlable address (Google faceted-nav doc và SEJ cả hai khuyến nghị converting facet parameters để URL fragments). Mọi thứ dưới là một patch by so sánh.
2. Pick mà facets deserve lập chỉ mục, block đó rest. Google: “Oftentimes there’s no good reason to allow crawling of filtered items, as it consumes server resources for no or negligible benefit.” (bản dịch) «Oftentimes có không good reason để cho phép crawling of filtered items, as điều này consumes máy chủ các tài nguyên cho không hoặc negligible benefit.» Cho phép một unfiltered listing plus đó riêng lẻ item các trang; block đó combinatorial filtered space.
3. robots.txt disallow đó trap patterns cho spaces bạn không cần được lập chỉ mục. Này là Google chính khuyến nghị cho filtered/sorted junk. Caveat: robots.txt chặn crawling, không lập chỉ mục — see đó sequencing note dưới.
4. noindex để xóa đã-được lập chỉ mục junk. Nếu đó junk là đã trong đó chỉ mục, bạn không thể robots-block điều này đầu tiên — Google có để là able để crawl đó trang để see đó noindex. Đó correct order là: giữ điều này crawlable, let noindex deindex điều này, thì (tùy chọn) robots.txt-disallow để dừng tương lai crawling. Block cũng sớm và đó noindex không bao giờ nhận seen.
5. Trả về 404/410 cho empty filter combinations. Google: “Return an HTTP 404 status code when a filter combination doesn’t return results.” (bản dịch) «Trả về an HTTP 404 mã trạng thái khi một filter combination không trả về kết quả.» Và “Eliminate soft 404 errors. Soft 404 pages will continue to be crawled, and waste your budget.” (bản dịch) «Eliminate soft 404 các lỗi. Soft 404 các trang sẽ continue để là được crawl, và waste của bạn budget.»
6. rel="canonical" để consolidate sorted/variant URLs để đó sạch version — hữu ích, nhưng chậm và một hint, không một directive. Google: điều này “may, over time, decrease the crawl volume of non-canonical versions of those URLs.” (bản dịch) «có thể, theo thời gian, decrease đó crawl volume of non-canonical versions of những URLs.» Điều này không dừng đó crawling, và Bing warns “relying on canonical tag is not necessarily the perfect solution to fix all your duplicate content problems.” (bản dịch) «relying on canonical tag không phải nhất thiết đó perfect giải pháp để cách sửa all của bạn duplicate nội dung các vấn đề.»
7. rel="nofollow" on filter links — chỉ hoạt động nếu bạn apply điều này để mỗi link, internal và external. Google: “Every anchor pointing to a specific URL must have the rel=” (bản dịch) «Mỗi anchor pointing để một cụ thể URL phải có đó rel=\»nofollow” attribute in order for it to be effective.” (bản dịch) «thuộc tính trong order cho điều này để là effective.»
8. Theo-trap các cách sửa: cap calendar links past một sane horizon và noindex distant dates; strip session IDs out of URLs (dùng cookies); cách sửa chuyển hướng loops so đó nguồn các chuyển hướng straight để đó cuối đích; dùng absolute URLs và máy chủ rules để dừng relative-link explosion; noindex/disallow internal tìm kiếm các trang.

Nếu bạn giữ sạch URL parameters và một ổn định parameter order, bạn cũng tránh minting needless variants ngay từ đầu. Note đó Google retired của nó URL Parameters tool trong 2022, so robots.txt / canonical / noindex hiện tại carry đó load on Google side. On Bing, đó tương đương là URL Normalization — bạn tell Bing mà parameters để bỏ qua.

Một nuance: không break legitimate pagination

Đó over-correction trap là real cũng. Khi mọi người panic về “infinite” pagination, they thường block hoặc canonicalize all paginated các trang — và tạo một new vấn đề. As I’ve được viết về pagination, “Blocking the pages from crawling will again make it more difficult to find content on the website, end up orphaning pages,” (bản dịch) «Blocking đó các trang từ crawling sẽ again làm điều này hơn difficult để tìm nội dung on đó website, end lên orphaning các trang,» và canonicalizing mỗi trang để trang một “makes it harder for search engines to find and index valuable content, and also cuts off the flow of PageRank.” (bản dịch) «làm điều này harder cho các công cụ tìm kiếm để tìm và chỉ mục valuable nội dung, và cũng cuts off đó flow of PageRank.» Distinguish một genuine infinite/looping pagination trap từ legitimate finite pagination — giữ đó finite version crawlable.

Nơi này sits

Spider traps là một crawl-efficiency vấn đề, so they trực tiếp theo để ngân sách crawl (điều gì đó trap drains) và log file analysis (cách bạn catch điều này). Nếu bạn đã đọc đó crawling hub, này là đó chế độ lỗi đó làm ngân sách crawl worth managing on đó các trang nơi điều này matters.

AI summary

MỘT condensed take on đó Advanced version:

• MỘT spider trap = một crawler trap = một structure đó generates effectively infinite URLs, so các crawler waste budget on near-duplicate junk. Google name cho điều này là “infinite spaces.” (bản dịch) «infinite spaces.»
• Điều này không có để là truly infinite — combinatorial (“de facto infinite” (bản dịch) «de facto infinite») là đủ. Các crawler không thể tell một URL là junk không có crawling điều này, so they walk trong.
• Đó cost là opportunity cost: “If crawling is spent on useless URLs, the crawlers have less time to spend on new, useful URLs.” (bản dịch) «Nếu crawling là spent on useless URLs, đó các crawler có ít hơn time để spend on new, hữu ích URLs.» đây là một crawl-budget efficiency vấn đề, không phải là tín hiệu xếp hạng.
• Ai cares: lớn / new / fast-thay đổi / ecommerce các trang. Nhỏ các trang thường không.
• Không new, chỉ scaled: Google named điều này trong 2008; Gary Illyes (Feb 2026, on Google 2025 năm-end crawling báo cáo) put faceted navigation + hành động parameters ≈ 75% of của nó crawling các vấn đề (50% facets, 25% hành động params, plus nhỏ hơn chia sẻ từ tracking params và plugin).
• Types: faceted nav, infinite calendars, session IDs, loại/tracking params, infinite scroll/pagination loops, chuyển hướng loops, relative-URL explosion, internal tìm kiếm, “magic” URLs.
• Detect: logs đầu tiên — một pattern eating một disproportionate share of crawl relative để của bạn own baseline, không một fixed percentage — thì crawl tools, GSC (“Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục», Soft 404, “extremely high number of URLs” (bản dịch) «extremely cao number of URLs»), Bing Site Scan.
• Cách sửa, trong order: dừng generating đó URLs (JS/fragment filters) → chọn mà facets để chỉ mục, block đó rest → robots.txt cho junk → noindex để xóa đã-được lập chỉ mục junk (let điều này deindex trước bạn robots-block) → 404/410 cho empty kết quả → canonical/nofollow as chậm hints. Robots.txt ≠ noindex ≠ canonical — sequencing matters.

Tài liệu chính thức

Chính-nguồn tài liệu on infinite spaces, faceted navigation, và crawl budget.

Google

• Để infinity và beyond? Không! — đó original 2008 post đó named “infinite spaces,” (bản dịch) «infinite spaces,» với đó endless-calendar và stacked-filter các ví dụ và đó robots.txt / nofollow các cách sửa.
• Managing crawling of faceted navigation URLs — đó best hiện tại verbatim nguồn: vì sao facets over-crawl, khi nào nên block them, và đó lập chỉ mục thực hành tốt nhất (separator, ổn định filter order, 404 on empty, canonical, nofollow). (Older URL search/docs/crawling-indexing/crawling-managing-faceted-navigation hiện tại 301-các chuyển hướng ở đây.)
• Faceted navigation best (và 5 of đó worst) practices — đó 2014 post; lịch sử proof faceted nav đã được một named trap cho over một decade.
• Ngân sách crawl Management — đó “nearly infinite space” (bản dịch) «nearly infinite space» cách diễn đạt, đó crawl-capacity-so với-crawl-demand model, ai này hướng dẫn là cho (site-size thresholds), plus đó instruction để không crawl infinite-scroll duplicates và differently sorted versions, và để eliminate soft 404s. (Này trang hiện tại cũng contains đó nội dung đó được dùng để trực tiếp tại đó tách biệt “Large site owner’s guide to managing crawl budget” (bản dịch) «Lớn chủ trang web hướng dẫn để managing ngân sách crawl» URL, mà các chuyển hướng ở đây.)
• Crawling December: Faceted navigation (2024) — Google December 2024 blog post on faceted navigation cụ thể; một tách biệt, trước đó item từ đó February 2026 crawl-vấn đề breakdown dưới.
• GSC Help: Googlebot encountered an extremely cao number of URLs — đó trong-sản phẩm tín hiệu of một trap.

Bing / Microsoft

• Tốt hơn canonical; URL Normalization — Bing stance đó “the real number of URLs on the Internet is infinity,” (bản dịch) «đó real number of URLs on đó Internet là infinity,» đó calendar “Tiếp theo Day” ví dụ, và URL Normalization as Bing được ưu tiên cách sửa cho parameter duplicates.
• Bing Quản trị viên web Tools — Site Scan — on-demand site audit.
• Bing Quản trị viên web Tools — Block URLs — temporarily block URL patterns (pair với một NOINDEX meta tag).
• Bing Quản trị viên web Tools — Crawl Control — throttle Bingbot.

Quotes từ đó nguồn

On-đó-record statements từ Google và Bing. Mỗi link là một deep link đó jumps để đó quoted passage on đó trang nguồn.

Google — faceted navigation (đó #1 trap)

• “This often means a very large number of possible combinations of filters, which translates to a very large number of possible URLs.” (bản dịch) «Này thường có nghĩa là một very lớn number of có thể combinations of filters, mà translates để một very lớn number of có thể URLs.» Nhảy đến trích dẫn
• “Because the URLs created for the faceted navigation seem to be novel and crawlers can’t determine whether the URLs are going to be useful without crawling first, the crawlers will typically access a very large number of faceted navigation URLs.” (bản dịch) «Vì đó URLs đã tạo cho đó faceted navigation seem để là novel và các crawler không thể determine liệu đó URLs là going để là hữu ích không có crawling đầu tiên, đó các crawler sẽ typically access một very lớn number of faceted navigation URLs.» Nhảy đến trích dẫn
• “If crawling is spent on useless URLs, the crawlers have less time to spend on new, useful URLs.” (bản dịch) «Nếu crawling là spent on useless URLs, đó các crawler có ít hơn time để spend on new, hữu ích URLs.» Nhảy đến trích dẫn
• “Oftentimes there’s no good reason to allow crawling of filtered items, as it consumes server resources for no or negligible benefit.” (bản dịch) «Oftentimes có không good reason để cho phép crawling of filtered items, as điều này consumes máy chủ các tài nguyên cho không hoặc negligible benefit.» Nhảy đến trích dẫn
• “Return an HTTP 404 status code when a filter combination doesn’t return results.” (bản dịch) «Trả về an HTTP 404 mã trạng thái khi một filter combination không trả về kết quả.» Nhảy đến trích dẫn
• On canonical: điều này “may, over time, decrease the crawl volume of non-canonical versions of those URLs.” (bản dịch) «có thể, theo thời gian, decrease đó crawl volume of non-canonical versions of những URLs.» Nhảy đến trích dẫn
• On nofollow: “Every anchor pointing to a specific URL must have the rel=” (bản dịch) «Mỗi anchor pointing để một cụ thể URL phải có đó rel=\»nofollow” attribute in order for it to be effective.” (bản dịch) «thuộc tính trong order cho điều này để là effective.» Nhảy đến trích dẫn

Google — ngân sách crawl & infinite spaces

• “The web is a nearly infinite space, exceeding Google’s ability to explore and index every available URL.” (bản dịch) «Đó web là một nearly infinite space, exceeding Google ability để explore và chỉ mục mỗi khả dụng URL.» Nhảy đến trích dẫn
• không crawl “infinite scrolling pages that duplicate information on linked pages, or differently sorted versions of the same page.” (bản dịch) «infinite scrolling các trang đó duplicate information on linked các trang, hoặc differently sorted versions of đó cùng trang.» Nhảy đến trích dẫn
• “Eliminate soft 404 errors. Soft 404 pages will continue to be crawled, and waste your budget.” (bản dịch) «Eliminate soft 404 các lỗi. Soft 404 các trang sẽ continue để là được crawl, và waste của bạn budget.» Nhảy đến trích dẫn

Gary Illyes, Google (Tìm kiếm Off đó Record, recapping Google 2025 năm-end crawling báo cáo — reported by Search Engine Land, Feb 2026)

• Faceted navigation và hành động parameters “accounted for about 75% of the problems” (bản dịch) «accounted cho về 75% of đó các vấn đề» Google encounters với crawling — hỏng xuống trong đó giống nhau bài viết as 50% faceted navigation, 25% hành động parameters, 10% “irrelevant” tracking/session-ID parameters, 5% plugin/widgets, và 2% other các trường hợp biên như double-encoded URLs. Nhảy đến trích dẫn
• On vì sao các crawler không thể tránh đó trap: “Once it discovers a set of URLs, it cannot make a decision about whether that URL space is good or not unless it crawled a large chunk of that URL space.” (bản dịch) «Khi điều này discovers một set of URLs, điều này không thể làm một decision về liệu đó URL space là good hoặc không trừ khi điều này được crawl một lớn chunk of đó URL space.» Nhảy đến trích dẫn

Bing / Microsoft — URL Normalization

• “the real number of URLs on the Internet is infinity.” (bản dịch) «đó real number of URLs on đó Internet là infinity.» Nhảy đến trích dẫn
• “relying on canonical tag is not necessarily the perfect solution to fix all your duplicate content problems.” (bản dịch) «relying on canonical tag không phải nhất thiết đó perfect giải pháp để cách sửa all của bạn duplicate nội dung các vấn đề.» Nhảy đến trích dẫn

Detect-và-cách sửa checklist

Detect

• Pull máy chủ logs và tìm một URL pattern eating một disproportionate, lopsided share of bot hits relative để trang web của bạn thông thường baseline — không fixed universal percentage defines “cũng nhiều.”
• Chạy một crawl (Screaming Frog / Ahrefs Site Audit / Sitebulb) và watch cho một crawl đó sẽ không finish, URLs đó giữ getting lâu hơn, hoặc exploding parameter được tính.
• Kiểm tra GSC: ballooning “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục», một swelling Soft 404 báo cáo, Crawl Số liệu skewed để junk paths, đó “extremely high number of URLs” (bản dịch) «extremely cao number of URLs» message.
• Sanity-kiểm tra được lập chỉ mục so với. traffic-driving URLs — một tiny fraction earning traffic các tín hiệu một trap.
• Spot-kiểm tra với site: + inurl: on một known parameter string.
• Kiểm tra Bing qua Site Scan / Crawl Control.

Cách sửa (trong order — đó sequence matters)

• Dừng generating đó URLs nơi bạn có thể (JS/fragment-based filtering).
• Decide mà facets deserve lập chỉ mục; block đó rest.
• Nếu junk là chưa được lập chỉ mục: robots.txt disallow đó trap patterns.
• Nếu junk là đã được lập chỉ mục: giữ điều này crawlable, thêm noindex, let điều này deindex, thì (tùy chọn) robots.txt-disallow. không block đầu tiên.
• Trả về 404/410 cho empty filter combinations; eliminate soft 404s.
• Dùng rel=canonical để consolidate sorted/variant URLs (chậm hint, không một dừng).
• Dùng rel=nofollow chỉ nếu applied để mỗi link để những URLs.
• Giữ một ổn định parameter order và sạch parameters để tránh minting variants.
• Theo-trap: cap calendars, strip session IDs (dùng cookies), cách sửa chuyển hướng loops, dùng absolute URLs, noindex/disallow internal tìm kiếm.

Đó mental models

1. “De facto infinite” (bản dịch) «De facto infinite» beats “truly infinite.” (bản dịch) «truly infinite.» MỘT trap không cần để là theo nghĩa đen endless. MỘT handful of filters đó combine trong bất kỳ order produces an astronomical URL count cho đó giống nhau nội dung. đây là đó combinatorial explosion, không bất kỳ single bad URL, đó làm đó damage.

2. Vì sao các crawler không thể dodge điều này — đó cost of finding out. MỘT crawler không thể tell một URL là junk không có fetching điều này. As Illyes put điều này, điều này không thể judge liệu một URL space là good “unless it crawled a large chunk of that URL space.” (bản dịch) «trừ khi điều này được crawl một lớn chunk of đó URL space.» Đó trap hoạt động vì đó bot có để walk trong để learn đây là một trap.

3. Đó drain là opportunity cost, không một hình phạt. Không có gì về một trap là một xếp hạng hình phạt. Đó cost là đó budget spent on useless URLs là budget không spent on new, hữu ích ones. Finite crawl pool, infinite junk — của bạn real các trang lose đó race cho attention. Này là vì sao điều này bites lớn/new/ecommerce các trang và bỏ qua nhỏ ones.

4. Three controls, three jobs — và an order. robots.txt dừng crawling nhưng không lập chỉ mục. noindex xóa từ đó chỉ mục nhưng cần đó trang để là crawlable để là seen. canonical là một chậm hint, không một dừng. So để xóa đã-được lập chỉ mục junk: cho phép crawl → noindex → let điều này deindex → thì robots.txt. Block đầu tiên và đó noindex là không bao giờ đọc.

5. Prevention beats patching. Đó best cách sửa là để không bao giờ mint đó URLs — JS/fragment filters, không session IDs trong URLs, bounded calendars. Canonical-sau-đó-fact là đó weakest cách sửa vì đó crawling vẫn happens.

Trap types → một-line cách sửa

Bảng tham khảo nhanh

Đó detection signature: một junk pattern eating một disproportionate, lopsided share of all crawl relative để của bạn own site baseline — có không fixed universal percentage.

Đó 75% breakdown (Google Gary Illyes, on đó 2025 năm-end crawling báo cáo, reported Feb 2026): faceted nav + hành động params ≈ 75% of crawling các vấn đề (50% faceted nav, 25% hành động params, 10% tracking/session-ID params, 5% plugin/ widgets, 2% other các trường hợp biên).

Điều gì mỗi control làm

Đã biến mất: Google URL Parameters tool (retired 2022). Bing tương đương: URL Normalization.

Tools cho finding và sửa traps

• Máy chủ log file analysis — đó ground truth, và đó fastest way để spot một trap (tìm một pattern dominating bot hits). Tools: Screaming Frog Log File Analyser, hoặc pipe logs vào BigQuery / một log nền tảng. (See log file analysis.)
• Ahrefs Site Audit — simulates một crawl và surfaces chuyển hướng chains, parameter bloat, near-duplicate URL spaces, và crawl đó balloon — đó classic trap fingerprints.
• Screaming Frog SEO Spider — một desktop crawl đó exposes path explosion, chuyển hướng loops, và exploding parameter combinations; watch cho một crawl đó sẽ không terminate.
• Google Search Console — Crawl Số liệu (junk-path skew), đó Các trang báo cáo (“Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục», Soft 404), và đó “extremely high number of URLs” (bản dịch) «extremely cao number of URLs» message.
• Bing Quản trị viên web Tools — Site Scan, Crawl Control, và URL Normalization (tell Bing mà parameters để bỏ qua).
• URL Inspection (GSC) — xác nhận cách một single suspect URL đã là được crawl và được lập chỉ mục.

Đó standing KPI: junk share of crawl

MỘT spider trap không cho thấy lên as một single alert — điều này cho thấy lên as một share of của bạn crawl going nơi nào đó điều này không nên. Đó honesty kiểm tra đầu tiên: này chỉ số matters mainly on lớn, fast-thay đổi, hoặc faceted-catalog các trang; một nhỏ site crawl là rarely skewed đủ để là worth tracking.

Junk-pattern share of các yêu cầu crawl

• Chỉ số — Điều gì fraction of verified-Googlebot (hoặc Bingbot) các yêu cầu trong của bạn máy chủ logs hit một single suspect URL pattern — một facet parameter, một session ID, một calendar path — versus của bạn real, indexable nội dung.
• Điều gì điều này tells bạn — Liệu một cụ thể structure là thực ra draining budget hoặc chỉ theoretically capable of điều này. MỘT pattern eating một lớn, disproportionate slice of total crawl hits là đó trap signature described trước đó trong này bài viết.
• Cách pull điều này — Chạy của bạn thô logs qua đó Log File Trình phân tích và group hits by URL pattern; cross-kiểm tra đó giống nhau window so với đó GSC Crawl Số liệu báo cáo hỏng xuống by URL path.
• Benchmark / realistic range — Không honest universal ngưỡng — điều này phụ thuộc vào trang web của bạn architecture và cách nhiều URL patterns exist tại all. Treat điều này as một baseline bạn set cho của bạn site và drive xuống theo thời gian, không an absolute number để hit.
• Cadence — Kiểm tra right sau khi bạn spot một suspected trap hoặc ship một cách sửa; nếu không monthly là đủ đối với hầu hết trang web. Re-kiểm tra bất kỳ time bạn thêm new filters, sorting, hoặc một new dynamic section.

”Discovered / Crawled – currently not indexed” (bản dịch) «Discovered / Được crawl – hiện tại không được lập chỉ mục» count

• Chỉ số — Đó count of URLs sitting trong GSC Các trang báo cáo dưới “Discovered – currently not indexed” (bản dịch) «Discovered – hiện tại không được lập chỉ mục» hoặc “Crawled – currently not indexed.” (bản dịch) «Được crawl – hiện tại không được lập chỉ mục.»
• Điều gì điều này tells bạn — MỘT rising count, especially alongside một known trap pattern, là consistent với Google finding URLs điều này không consider worth đó crawl/chỉ mục budget — đây là một symptom, không proof of một trap on của nó own, since plenty of điều besides traps nguyên nhân điều này.
• Cách pull điều này — GSC → Các trang báo cáo → filter by đó “không được lập chỉ mục” reasons; sample một handful of URLs và kiểm tra xem they match đó trap pattern bạn là investigating.
• Benchmark / realistic range — Situational, giống nhau caveat as trên — track đó trend on của bạn own site thay vì comparing để anyone khác count.
• Cadence — Monthly, hoặc right sau một cách sửa ships (này count lags đó crawl-log chỉ số trên by days để weeks, so không expect điều này để move immediately).

Tìm và fence trong một trap pattern

Những là starting points, không finished tools — đọc đó output trước trusting điều này, và adjust trường positions/paths để match của bạn own log format.

Grep máy chủ logs cho một suspect URL pattern

Point này tại một thô access log (Apache/Nginx combined format) để count cách nhiều các yêu cầu một suspect pattern là pulling, và see liệu họ là thực sự coming từ Googlebot’s declared người dùng-agent string. MỘT người dùng-agent string alone có thể là spoofed — xác nhận đó IP với đó Googlebot Verifier trước treating đó hits as real crawl waste và không spoofed traffic:

# Count requests to a suspect pattern (e.g. a filter parameter) by user-agent
grep -i "googlebot" access.log | grep -oE '"[A-Z]+ [^ ]*\?[^ "]*calendar[^ "]*' | wc -l

# Same, but for a session-ID pattern
grep -i "googlebot" access.log | grep -oE '"[A-Z]+ [^ "]*[?&](sid|jsessionid)=[^ "&]*' | wc -l

# Total Googlebot requests in the same window, for the share calculation
grep -ci "googlebot" access.log

Divide đó pattern count by đó total để nhận đó junk share described trong đó Cách đo lường tab.

Regex để catch classic infinite-space parameters

MỘT starting filter list cho facets, sorting, session IDs, và tracking/hành động params — extend điều này với whatever của bạn own site thực ra generates:

[?&](sort|order|page|sid|jsessionid|phpsessid|utm_[a-z]+|ref|affid|add_to_cart|compare)=

Chạy điều này so với một crawl export hoặc log sample để flag candidate trap URLs trước khi bạn decide liệu để robots.txt-disallow, canonicalize, hoặc noindex mỗi một — không block by pattern match alone không có kiểm tra một sample of khớp URLs đầu tiên.

Screaming Frog: catch một crawl đó sẽ không terminate

có không single magic setting, nhưng three configuration choices turn Screaming Frog vào một trap detector thay vì một tool đó chỉ hangs:

• Configuration → Spider → Limits — set một URL crawl limit và một max crawl depth so một genuine infinite space dừng đó crawl thay vì đang chạy cho hours.
• Configuration → URL Rewriting — strip session IDs và known tracking parameters trước đó crawler xử lý mỗi một as một new URL.
• Watch đó URL length và phản hồi codes các cột trực tiếp during đó crawl — URLs đó giữ getting lâu hơn (path explosion) hoặc một parameter count đó giữ climbing là đó crawl-time version of đó log signature trên.

Prompts cho spider-trap triage

Paste trong của bạn own log excerpts hoặc URL lists nơi indicated — verify đó model output so với một sample of đó thực tế URLs trước acting on điều này; điều này có thể misjudge mà parameters thực ra thay đổi trang nội dung.

Flag candidate trap patterns từ một URL list

Paste trong: một list of URLs pulled từ một crawl export, máy chủ logs, hoặc một site: tìm kiếm. Expect lại: đó URLs grouped by có khả năng-trap pattern (faceted filters, calendars, session IDs, loại/tracking params) với một một-line reason mỗi group là suspect.

Here is a list of URLs from my site. Group them by pattern that looks
like a spider trap / infinite space: faceted-navigation filter
combinations, calendar/date paths with no apparent end, session IDs
in the URL, sort or tracking parameters, or redirect-loop candidates.
For each group, give a one-line reason it's suspect and roughly how
many URLs are in it.

URLs:
[paste URL list here]

Draft một robots.txt disallow cho một confirmed pattern

Paste trong: một confirmed trap URL pattern và của bạn existing robots.txt. Expect lại: một disallow rule scoped để đó pattern, plus một kiểm tra cho liệu điều này sẽ accidentally catch legitimate các trang (như real pagination).

Here is a URL pattern I've confirmed is a spider trap (with example
URLs) and my current robots.txt. Write a Disallow rule scoped to just
this pattern, and tell me if it risks blocking anything else on the
site, especially legitimate finite pagination or individual item pages
that happen to share part of the path.

Pattern + example URLs:
[paste here]

Current robots.txt:
[paste here]

Sanity-kiểm tra đó cách sửa sequencing trước I ship điều này

Paste trong: một đơn giản mô tả of điều gì là hiện tại trực tiếp cho một suspect URL pattern (được lập chỉ mục đã? robots.txt blocked? noindex tag present?). Expect lại: liệu đó order là safe, được cho đó noindex cần crawl access để là seen và robots.txt chặn crawling nhưng không lập chỉ mục.

Here's the current state of a URL pattern I think is a spider trap:
[describe: is it already indexed? currently crawlable? does it have
a noindex tag? is robots.txt already blocking it?]

Tell me if my planned fix sequence is safe, given that: robots.txt
disallow stops crawling but not indexing, and noindex needs the page
to stay crawlable to be seen and processed. Flag if I'm about to block
crawling before a noindex has had a chance to be read.

Prove đó cách sửa thực ra đã dừng đó crawling

Blocking một trap pattern không có nghĩa là điều này đã dừng draining budget — những kiểm tra xác nhận đó các yêu cầu crawl thực ra dropped, trong order từ fastest để slowest để xác nhận.

Kiểm thử 1 — Đó blocked pattern vẫn trả về đó dự kiến phản hồi

• Kiểm thử để chạy — Fetch vài URLs matching đó pattern trực tiếp (curl -I hoặc đó Chuyển hướng Checker cho chuyển hướng-based các cách sửa) và kiểm tra robots.txt itself cho đó new disallow line.
• Dự kiến kết quả — Đó disallow rule là present và correctly scoped, và (nếu đó cách sửa là noindex/404 thay vì robots.txt) đó URL trả về đó dự kiến status hoặc meta tag.
• Failure interpretation — MỘT bị thiếu hoặc mis-scoped rule có nghĩa là đó cách sửa không bao giờ thực ra shipped, ngay cả khi bạn believe điều này đã làm — kiểm tra cho một typo trong đó path hoặc một rule đó là cũng hẹp để catch đó real pattern.
• Monitoring window — Immediate.
• Rollback trigger — Đó rule là accidentally catching legitimate các trang (finite pagination, real item các trang) — hẹp đó pattern trước điều này vẫn giữ trực tiếp dài đủ để hurt những các trang’ crawling cũng.

Kiểm thử 2 — Các yêu cầu crawl để đó pattern thực ra drop trong của bạn logs

• Kiểm thử để chạy — Re-chạy đó giống nhau Log File Trình phân tích pattern kiểm tra từ đó Cách đo lường tab, một week hoặc hai sau đó cách sửa ships.
• Dự kiến kết quả — Đó junk-pattern share of total các yêu cầu crawl falls toward zero (robots.txt-blocked patterns sẽ không hit zero instantly — Google giữ occasionally re-kiểm tra một disallowed path cho một trong khi).
• Failure interpretation — Không drop thường có nghĩa là either đó rule đã không thực ra match đó real URLs đang requested, hoặc đó URLs là vẫn đang discovered qua một link path bạn haven’t fixed (an liên kết nội bộ, an old sitemap entry).
• Monitoring window — Một để vài weeks of log dữ liệu trước khi bạn trust đó trend over day-để-day noise.
• Rollback trigger — không loosen hoặc xóa đó block chỉ vì đó drop là chậm — xác nhận đầu tiên liệu đây là đơn giản không-tuy vậy-recrawled versus không-hoạt động.

Kiểm thử 3 — GSC Crawl Số liệu và “không được lập chỉ mục” được tính move đó giống nhau direction

• Kiểm thử để chạy — Kiểm tra Crawl Số liệu (by-URL-path breakdown, nếu bạn có thể infer điều này) và đó Các trang báo cáo “Discovered/Crawled – currently not indexed” (bản dịch) «Discovered/Được crawl – hiện tại không được lập chỉ mục» được tính.
• Dự kiến kết quả — Total các yêu cầu crawl để đó affected path class trend xuống, và (cho noindex các cách sửa) đó “không được lập chỉ mục” count cho đó pattern eventually falls as các trang nhận deindexed.
• Failure interpretation — Crawl Số liệu lags máy chủ logs by design — không panic nếu điều này hasn’t moved sau chỉ vài days. MỘT stat đó giữ climbing sau một month suggests đó cách sửa không reaching đó real URL space.
• Monitoring window — Several weeks; GSC aggregates là chậm hơn để reflect thay đổi hơn thô logs.
• Rollback trigger — MỘT sustained climb với không plateau sau một month là một sign để re-audit đó pattern match, không để thêm một second, rộng hơn cách sửa on top trước confirming đó đầu tiên một là ngay cả scoped correctly.

Các tài nguyên worth của bạn time

My related writing

• Khi Nên Bạn Worry Về Ngân sách crawl? — đó cốt lõi piece: điều gì wastes budget (parameters, faceted nav, sorting, session IDs), và vì sao removing duplicates lets Google focus on unique URLs. Này là đó home cho đó trap-as-crawl-budget vấn đề.
• Robots.txt và SEO: Mọi thứ Bạn Cần để Know — cách block trap patterns correctly (và vì sao robots.txt không một deindexing tool).
• Được lập chỉ mục, though Bị chặn bởi robots.txt — đó sequencing trap: block cũng sớm và của bạn noindex không bao giờ nhận seen.
• SEOs Là Breaking Pagination Sau Google Changed Rel=Prev/Tiếp theo — cách over-correcting on pagination tạo new crawl/orphaning các vấn đề; distinguish finite pagination từ một real loop.
• Đó Beginner Hướng dẫn để SEO kỹ thuật — nơi hiệu quả crawl fits trong đó bigger picture.

(I tend để ghi về này dưới ngân sách crawl, robots.txt, và pagination rather hơn đó literal “spider trap” label — so này trang là nơi I pull đó term và những pieces together.)

My speaking

• MỘT Crash Course trong SEO kỹ thuật (SlideShare) — covers parameters, faceted navigation, session IDs, và trailing slashes as duplicate-nội dung sources.
• Cách Tìm kiếm Hoạt động (SlideShare) — cách Googlebot discovers URLs và cách crawl scheduling hoạt động; hữu ích context cho vì sao một finite crawl pool nhận drained by infinite URL spaces. (Điều này không cover spider traps trực tiếp — cite điều này cho crawl-phát hiện/budget context.)

Từ others

• Crawler Traps: Gây ra, Các giải pháp & Prevention (Hamlet Batista, SEJ) — đó hầu hết exhaustive loại list, với nhà phát triển-cấp độ các cách sửa.
• Crawler Traps: Cách Identify và Tránh Them (Conductor) — sạch loại list plus log/operator/GSC detection.
• Spider trap(s): sniffs và các giải pháp (Joost de Valk, Yoast) — great đơn giản definition và đó log-file-detection angle.
• Trường Hướng dẫn để Spider Traps (Matthew Henry, Portent) — memorable cách diễn đạt và theo-trap detection steps.
• Google Crawling December series — đó best concentrated set of chính thức crawl explainers, including faceted navigation.
• Cách Identify, Analyze, và Cách sửa Infinite Spaces (Glenn Gabe, GSQI) — một real enterprise case nghiên cứu cho thấy đó GSC + crawl + analytics triangulation workflow và đó correct deindex-trước-disallow sequence.
• Spider trap (Wikipedia) — có thẩm quyền definition và origin of đó term, với đó classic countermeasures.
• Google: 75% of crawling các vấn đề come từ hai phổ biến URL mistakes (Search Engine Land) — đó ghi-lên of Gary Illyes’ on-đó-record admission đó faceted navigation + hành động parameters account cho ~75% of Google crawling các vấn đề.

Tự kiểm tra: Spider traps

Five nhanh các câu hỏi on spider traps (crawler traps) và cách sửa them. Pick an câu trả lời cho mỗi, thì kiểm tra.

Nhật ký thay đổi