Phình chỉ mục là gì

TL;DR — Phình chỉ mục xảy ra khi công cụ tìm kiếm lập chỉ mục nhiều trang giá trị thấp trên website mà không ai tìm kiếm — URL bộ lọc, kết quả tìm kiếm nội bộ, trang thẻ và các bản gần trùng lặp. Đây không phải hình phạt, mà là vấn đề “lãng phí thời gian của Google và phân tán tín hiệu của chính bạn”. Điều quan trọng là chất lượng, không phải số lượng trang.

Phình chỉ mục là gì

“Phình chỉ mục” là thuật ngữ giới SEO sử dụng — không phải thuật ngữ của Google — để chỉ tình trạng công cụ tìm kiếm lưu quá nhiều trang từ website của bạn dù chúng không thực sự đáng có mặt trong chỉ mục. Ví dụ gồm trang kết quả tìm kiếm nội bộ, mọi tổ hợp bộ lọc của cửa hàng, trang thẻ trống, phiên bản thân thiện với máy in và cùng một trang có thể truy cập qua năm URL hơi khác nhau.

Từ khóa ở đây là giá trị thấp. Một trang trở thành phần phình thừa nếu không ai tìm kiếm nó và nó cũng không giúp người dùng tìm thấy nội dung tốt trên website. Số lượng trang không quyết định điều này — website nhỏ vẫn có thể lộn xộn, còn website rất lớn vẫn có thể sạch.

Đây có thực sự là vấn đề không?

Thường thì mức độ nghiêm trọng thấp hơn mọi người lo ngại. Không có “hình phạt phình chỉ mục”. Google không hạ hạng toàn bộ website chỉ vì đã lập chỉ mục một số URL rác. Hệ quả thực tế ít kịch tính hơn:

• Lãng phí hoạt động thu thập dữ liệu. Công cụ tìm kiếm dành thời gian tải URL rác thay vì các trang mới, quan trọng của bạn.
• Phân tán tín hiệu. Khi cùng một nội dung xuất hiện ở nhiều URL, liên kết và sự chú ý bị chia nhỏ thay vì tập trung vào một trang mạnh.

Với website nhỏ, điều này hiếm khi quan trọng. Với cửa hàng hoặc nhà xuất bản lớn có template tạo ra hàng nghìn URL, tác động sẽ tích tụ.

Nguyên nhân gây ra phình chỉ mục

Các nguyên nhân thường gặp gồm:

• URL lọc và sắp xếp (điều hướng theo thuộc tính) — mỗi tổ hợp tạo một URL mới.
• Tham số URL — sắp xếp, lọc, thẻ theo dõi và ID phiên.
• Trang kết quả tìm kiếm nội bộ — kết quả tìm kiếm ngay trên website bị lập chỉ mục.
• Trang lưu trữ theo thẻ, danh mục và tác giả không có nội dung thực sự.
• Phân trang — trang 2, 3, 4… của một danh sách.
• Phiên bản trùng lặp — http so với https, www so với không www, có hoặc không có dấu gạch chéo cuối.
• “Soft 404s” — trang báo “không tìm thấy” nhưng vẫn trả trạng thái “OK”, khiến công cụ tìm kiếm tiếp tục giữ trang.

Cách kiểm tra

Đừng tin vào phép tìm kiếm site:example.com — con số đó chỉ là ước tính thô. Hãy dùng Google Search Console → báo cáo Lập chỉ mục trang để xem bản tổng hợp của Google về URL đã và chưa được lập chỉ mục cùng các lý do được báo cáo, đồng thời nhớ rằng danh sách URL ví dụ bị giới hạn. Bằng chứng cho nhận định này Search Console's Page Indexing report summarizes indexed and non-indexed pages and groups non-indexed pages by reason, with limited example rows. Phạm vi: Google Search Console reporting; it is not an exhaustive downloadable URL inventory. Độ tin cậy: cao · Đã xác minh: 2026-07-14 Google: Page indexing report

Cách khắc phục (phiên bản ngắn)

Hãy chọn công cụ theo mục đích của trang:

• Không có giá trị tìm kiếm và không bao giờ nên xuất hiện? Thêm noindex và vẫn cho phép thu thập dữ liệu để Google đọc được thẻ. Bằng chứng cho nhận định này Google recommends noindex to prevent indexing while allowing crawling, canonical signals for duplicates, and 404/410 for removed pages. Phạm vi: The appropriate control depends on the page's intended state. Độ tin cậy: cao · Đã xác minh: 2026-07-14 Google: Block indexing with noindex Google: Canonicalization Google: HTTP status codes
• Là bản trùng lặp của một trang có giá trị? Trỏ rel=canonical đến trang chính.
• Đã biến mất thật sự? Trả về 404 hoặc 410.
• Nhiều trang mỏng cùng một chủ đề? Hợp nhất thành một trang tốt.

Bạn muốn xem bảng quyết định đầy đủ, các phương pháp chẩn đoán và những cạm bẫy thường gây nhầm lẫn — chẳng hạn vì sao chặn trang bằng robots.txt không xóa trang khỏi Google? Hãy chuyển sang tab Advanced.

TL;DR — “Phình chỉ mục” là thuật ngữ SEO, không phải của Google — vấn đề thực sự là các URL mỏng, trùng lặp hoặc giá trị thấp (điều hướng theo thuộc tính, tham số, tìm kiếm nội bộ, trang thẻ/lưu trữ, phân trang, soft 404 và bản trùng giao thức) bị lập chỉ mục. Đây là vấn đề hiệu quả thu thập dữ liệu và phân tán tín hiệu, không phải hình phạt — Bing: “Duplicate content doesn’t trigger search penalties on its own” (bản dịch) «Nội dung trùng lặp tự nó không gây ra hình phạt tìm kiếm»; Mueller: “We don’t have a duplicate content penalty.” (bản dịch) «Chúng tôi không có hình phạt đối với nội dung trùng lặp». Trọng tâm là chất lượng, không phải số trang. Hãy chẩn đoán bằng báo cáo Lập chỉ mục trang của GSC (site: chỉ là ước tính thô), nhật ký và trình thu thập dữ liệu. Bằng chứng cho nhận định này Search Console's Page Indexing report summarizes indexed and non-indexed pages and groups non-indexed pages by reason, with limited example rows. Phạm vi: Google Search Console reporting; it is not an exhaustive downloadable URL inventory. Độ tin cậy: cao · Đã xác minh: 2026-07-14 Google: Page indexing report Khắc phục theo mục đích: noindex để loại khỏi chỉ mục nhưng vẫn cho phép crawl; rel=canonical để hợp nhất bản trùng lặp (là gợi ý, không phải quy tắc); robots.txt chỉ dừng crawl, không loại URL đã lập chỉ mục; 404/410 cho trang đã mất; hợp nhất nội dung mỏng. Bằng chứng cho nhận định này Google recommends noindex to prevent indexing while allowing crawling, canonical signals for duplicates, and 404/410 for removed pages. Phạm vi: The appropriate control depends on the page's intended state. Độ tin cậy: cao · Đã xác minh: 2026-07-14 Google: Block indexing with noindex Google: Canonicalization Google: HTTP status codes Công cụ Removals chỉ có tác dụng tạm thời, khoảng 6 tháng.

“Phình chỉ mục” thực sự có nghĩa gì

Trước hết, cần sửa cách diễn đạt mà nhiều bài viết dùng sai: “phình chỉ mục” là thuật ngữ của ngành SEO, không phải của Google. Google không dùng cụm từ này. Nó mô tả các thành phần như URL trùng lặp, URL giá trị thấp hoặc không quan trọng, soft 404s, không gian URL vô hạn và điều hướng theo thuộc tính. Vì vậy, đừng gán cụm từ này cho Google hay coi nó là một lỗi có tên riêng mà Google săn tìm và trừng phạt.

Định nghĩa thực hành tôi sử dụng: phình chỉ mục xảy ra khi công cụ tìm kiếm lập chỉ mục các trang không có giá trị tìm kiếm trên website. Trọng tâm là giá trị, không phải quy mô. Website 500 trang có thể sạch; website 100 000 trang có thể phần lớn là nội dung thừa. Đây là vấn đề chất lượng khoác chiếc áo số lượng trang.

Phình chỉ mục có thực sự là vấn đề không? Câu trả lời thẳng thắn

Phần lớn trường hợp ít nghiêm trọng hơn mọi người nghĩ — và quan trọng nhất, đây không phải hình phạt. Đây là điều bị phóng đại nhiều nhất trong lĩnh vực này. Bing nói rõ: “Duplicate content doesn’t trigger search penalties on its own.” (bản dịch) «Nội dung trùng lặp tự nó không gây ra hình phạt tìm kiếm». Mueller cũng nói tương tự về Google trong nhiều năm: “We don’t have a duplicate content penalty. It’s not that we would demote a site for having a lot of duplicate content.” (bản dịch) «Chúng tôi không có hình phạt đối với nội dung trùng lặp. Không phải cứ website có nhiều nội dung trùng lặp là chúng tôi sẽ hạ hạng website đó».

Vậy nó thực sự gây ra chi phí gì? Có hai hệ quả thực tế:

1. Lãng phí hoạt động thu thập dữ liệu. Hướng dẫn của Google cho website lớn nói rằng nếu nhiều URL trùng lặp hoặc không mong muốn thì “this wastes a lot of Google crawling time on your site.” (bản dịch) «điều này lãng phí rất nhiều thời gian Google thu thập dữ liệu trên website của bạn». Ở tầng hạ tầng: “If Google spends too much time crawling URLs that it shouldn’t, Google’s crawlers might decide that it’s not worth the time to look at the rest of your site.” (bản dịch) «Nếu Google dành quá nhiều thời gian thu thập những URL không nên thu thập, trình thu thập dữ liệu của Google có thể quyết định rằng việc xem phần còn lại của website không đáng thời gian». Đó là cơ chế: URL rác chiếm nguồn lực dành cho trang quan trọng và làm chậm việc phát hiện nội dung mới.

2. Phân tán tín hiệu. Bing mô tả hệ quả của các bản gần trùng lặp: “signals such as clicks, links, impressions, and engagement are often diluted.” (bản dịch) «các tín hiệu như lượt nhấp, liên kết, lượt hiển thị và mức độ tương tác thường bị pha loãng». Khi giá trị của một trang bị chia cho năm URL gần giống nhau, không URL nào xếp hạng tốt bằng một trang đã được hợp nhất.

Khi nào điều này thực sự quan trọng? Trên website lớn hoặc do template tạo ra — thương mại điện tử (điều hướng theo thuộc tính, tham số, biến thể sản phẩm), nhà xuất bản (thẻ, trang lưu trữ, phân trang) và mọi CMS tự sinh URL (trang thẻ/tác giả/feed của WordPress, tìm kiếm nội bộ). Với website tĩnh nhỏ, phần lớn đây chỉ là nhiễu.

Một phép kiểm tra thực tế từ công việc của tôi: khi kiểm tra trực tiếp blog Ahrefs, tôi thấy hơn 4 700 trang được crawl nhưng chỉ khoảng 1 600 trang thực sự xếp hạng. Khoảng cách — các “trang zombie” — gồm feed bình luận, danh mục, tác giả và phân trang. Kết luận không đáng hoảng loạn: phần lớn không gây hại SEO, nhưng chúng tiêu tốn crawl budget; cách xử lý là phân loại ưu tiên, chẳng hạn hiển thị nhiều mục hơn mỗi trang để giảm phân trang. Hãy bắt đầu mọi cuộc điều tra bằng câu hỏi “điều này có thực sự quan trọng không?” trước khi thay đổi bất cứ thứ gì.

Nguyên nhân gây phình chỉ mục

Các nguồn thường gặp, xếp gần đúng theo tần suất gây vấn đề:

• Điều hướng theo thuộc tính. Đây là nguồn số 1. Gary Illyes viết trong loạt Crawling December rằng nó “is by far the most common source of overcrawl issues site owners report to us,” (bản dịch) «cho đến nay là nguồn gây vấn đề crawl quá mức phổ biến nhất mà chủ website báo cáo với chúng tôi», chính vì “because it can generate a near-infinite number of URLs.” (bản dịch) «nó có thể tạo ra số URL gần như vô hạn». Nó “will always consume server resources,” (bản dịch) «luôn tiêu tốn tài nguyên máy chủ», và việc crawl quá mức “slows down the discovery of your important, new content.” (bản dịch) «làm chậm việc phát hiện nội dung mới, quan trọng của bạn».
• Tham số URL — sắp xếp, lọc, theo dõi và ID phiên. Mỗi giá trị tham số có thể tạo một URL mới có thể crawl và lập chỉ mục nhưng không có nội dung độc nhất.
• Trang kết quả tìm kiếm nội bộ — gần như không có giá trị tìm kiếm riêng.
• Trang lưu trữ và feed theo thẻ/danh mục/tác giả — tự sinh và thường mỏng.
• Phân trang — trang 2, 3, 4 của danh sách, nhân lên trên nhiều danh mục và kho lưu trữ.
• Bản trùng giao thức và máy chủ — http/https, www/không www, có/không dấu gạch chéo cuối. Tài liệu canonical hóa của Google liệt kê các biến thể vùng, thiết bị, giao thức và chức năng sắp xếp/lọc.
• Soft 404 và không gian vô hạn — lịch, cuộn vô hạn và trang “không tìm thấy” trả về 200. Google nói “soft 404 pages will continue to be crawled, and waste your budget.” (bản dịch) «các trang soft 404 sẽ tiếp tục được crawl và làm lãng phí ngân sách của bạn».
• Trang tự sinh và nội dung mỏng — mọi thứ được template tạo ra nhưng có rất ít nội dung độc nhất.

Một lời nhắc hữu ích của Google về quy mô: “The web is a nearly infinite space, exceeding Google’s ability to explore and index every available URL.” (bản dịch) «Web là một không gian gần như vô hạn, vượt quá khả năng khám phá và lập chỉ mục mọi URL hiện có của Google». Nếu template của bạn tạo được URL vô hạn, Google sẽ không tự cứu bạn khỏi thiết kế đó.

Cách chẩn đoán phình chỉ mục

Báo cáo Lập chỉ mục trang của GSC cung cấp con số có thẩm quyền. Google nói các tổng số là “complete and accurate from Google’s perspective.” (bản dịch) «đầy đủ và chính xác theo góc nhìn của Google». Hãy dùng báo cáo này thay cho toán tử site:. Quan trọng hơn con số thô là phần giải thích vì sao trang chưa được lập chỉ mục. Các nhóm sau thường để lộ dấu vết phình chỉ mục:

• “Crawled - currently not indexed” (bản dịch) «Đã crawl — hiện chưa được lập chỉ mục» — “The page was crawled by Google but not indexed.” (bản dịch) «Trang đã được Google crawl nhưng chưa được lập chỉ mục». Số lượng lớn trong nhóm này là dấu hiệu kinh điển.
• “Discovered - currently not indexed” (bản dịch) «Đã phát hiện — hiện chưa được lập chỉ mục» — “The page was found by Google, but not crawled yet.” (bản dịch) «Google đã tìm thấy trang nhưng chưa crawl». Google biết các URL nhưng chưa xử lý chúng.
• “Duplicate without user-selected canonical” (bản dịch) «Bản trùng lặp không có canonical do người dùng chọn» — “This page is a duplicate of another page, although it doesn’t indicate a preferred canonical page.” (bản dịch) «Trang này trùng lặp với trang khác nhưng không chỉ định trang canonical ưu tiên».
• “Duplicate, Google chose different canonical than user” (bản dịch) «Bản trùng lặp, Google chọn canonical khác với người dùng» — “Google thinks another URL makes a better canonical.” (bản dịch) «Google cho rằng một URL khác phù hợp làm canonical hơn».
• Soft 404 — “it returns a user-friendly ‘not found’ message but not a 404 HTTP response code.” (bản dịch) «trang trả về thông báo “không tìm thấy” thân thiện với người dùng nhưng không trả mã phản hồi HTTP 404».

Các trạng thái liên quan khác trong cùng báo cáo gồm “Alternate page with proper canonical tag” (bản dịch) «Trang thay thế có thẻ canonical phù hợp», “Page with redirect” (bản dịch) «Trang có chuyển hướng», “Blocked by robots.txt” (bản dịch) «Bị robots.txt chặn» và “Excluded by ‘noindex’ tag” (bản dịch) «Bị loại trừ bởi thẻ ‘noindex’».

Có một sắc thái quan trọng với “Crawled - currently not indexed” (bản dịch) «Đã crawl — hiện chưa được lập chỉ mục»: Mueller mô tả đây là tín hiệu chất lượng toàn website, không phải lỗi của từng trang. “You can’t force pages to be indexed — it’s normal that we don’t index all pages on all websites. It’s not an issue with ‘that page’, it’s more site-wide. Creating a good site structure and making sure the site is of the highest quality possible is essentially the direction.” (bản dịch) «Bạn không thể ép trang được lập chỉ mục — việc chúng tôi không lập chỉ mục mọi trang trên mọi website là bình thường. Đây không phải vấn đề của “trang đó” mà nghiêng về toàn website. Hướng xử lý về cơ bản là tạo cấu trúc website tốt và bảo đảm chất lượng website cao nhất có thể». Ông nói thêm: “If there are overall issues with your site, you need to look at the rest of your site, not the URLs that didn’t end up getting indexed.” (bản dịch) «Nếu website có vấn đề tổng thể, bạn cần xem phần còn lại của website, không phải các URL cuối cùng không được lập chỉ mục». Nhưng đừng diễn giải trạng thái quá mức — “It’s not meant to highlight low quality content issues.” (bản dịch) «Trạng thái này không nhằm nêu bật vấn đề nội dung chất lượng thấp».

Phần còn lại của bộ công cụ chẩn đoán gồm:

• Toán tử site: — chỉ để kiểm tra nhanh mẫu hình, chẳng hạn site:example.com inurl:? hoặc site:example.com/tag/; không dùng làm số liệu chính xác và phải đối chiếu với GSC.
• Phân tích tệp nhật ký — xem Googlebot thực sự dành thời gian ở đâu. Nếu nhiều lượt truy cập rơi vào URL tham số, thuộc tính hoặc feed thì crawl đang bị lãng phí.
• Trình crawl website (Ahrefs Site Audit, Screaming Frog) — phát hiện trang mỏng, trùng lặp, mồ côi, URL tham số có thể lập chỉ mục và cụm gần trùng; so sánh với XML sitemap và các trang có lưu lượng.
• Khoảng cách giữa trang được crawl và trang xếp hạng — so sánh số URL có thể lập chỉ mục/được crawl với số trang thực sự xếp hạng hoặc có lưu lượng. Phần chênh lệch là danh sách ứng viên zombie/phình thừa cần phân loại.

Cách khắc phục — chọn đúng công cụ

Không có một cách sửa duy nhất. Mỗi URL cần biện pháp dựa trên bản chất và giá trị của nó. Bảng quyết định được hiển thị đầy đủ trong tab Cheat Sheets, còn dưới đây là lý do sử dụng từng công cụ:

noindex — loại khỏi chỉ mục. Dùng khi trang không có giá trị tìm kiếm và không bao giờ nên xuất hiện, như kết quả tìm kiếm nội bộ, trang cảm ơn hoặc trang thẻ/bộ lọc mỏng. Google nói “Google will drop that page entirely from Google Search results, regardless of whether other sites link to it.” (bản dịch) «Google sẽ loại hoàn toàn trang đó khỏi kết quả Google Search, bất kể website khác có liên kết đến trang hay không». noindex là cách chắc chắn ngăn trang thuộc tính được lập chỉ mục. Cạm bẫy quan trọng: trang phải tiếp tục cho phép crawl. Google nói “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file.” (bản dịch) «Để quy tắc noindex có hiệu lực, trang hoặc tài nguyên không được bị tệp robots.txt chặn». Nếu chặn trước, Google không thể đọc noindex.

rel=canonical — hợp nhất các bản trùng lặp có giá trị. Dùng cho bản gần trùng vẫn có liên kết hoặc giá trị, như biến thể tham số, bản in và bản trùng giao thức/máy chủ. URL canonical là “the URL of a page that Google chose as the most representative from a set of duplicate pages,” (bản dịch) «URL của trang mà Google chọn làm đại diện tiêu biểu nhất trong một tập hợp trang trùng lặp»; chỉ định nó giúp hợp nhất tín hiệu. Nhưng đây là gợi ý, không phải quy tắc: “indicating a canonical preference is a hint, not a rule,” (bản dịch) «việc chỉ ra lựa chọn canonical ưu tiên là gợi ý, không phải quy tắc», và “Google may choose a different page as canonical than you do, for various reasons.” (bản dịch) «Google có thể chọn trang canonical khác với lựa chọn của bạn vì nhiều lý do». Không bao giờ kết hợp noindex và rel=canonical trên cùng trang vì hai chỉ dẫn mâu thuẫn nhau.

robots.txt disallow — chỉ dừng crawl. Dùng để ngăn bot truy cập khối lượng lớn URL rác có thể crawl mà bạn không cần lập chỉ mục hay giữ tín hiệu, chẳng hạn tổ hợp thuộc tính vô hạn. Với điều hướng theo thuộc tính, Illyes khuyên: “If you don’t need these URLs indexed, use robots.txt to disallow crawling.” (bản dịch) «Nếu không cần lập chỉ mục các URL này, hãy dùng robots.txt để cấm crawl». Nhưng nó “is not a mechanism for keeping a web page out of Google,” (bản dịch) «không phải cơ chế để giữ một trang web khỏi Google», và “a page that’s disallowed in robots.txt can still be indexed if linked to from other sites.” (bản dịch) «trang bị cấm trong robots.txt vẫn có thể được lập chỉ mục nếu website khác liên kết đến». Nó dừng crawl nhưng không loại URL đã lập chỉ mục.

404 / 410 — trang thực sự đã biến mất. Trả các mã này cho trang không còn tồn tại. 410 là tín hiệu “đã mất” mạnh hơn một chút; 404 là “a strong signal not to crawl that URL again.” (bản dịch) «tín hiệu mạnh để không crawl lại URL đó».

Hợp nhất / gộp / cắt bỏ — nhiều trang mỏng cùng một chủ đề. Gộp chúng thành một trang mạnh, chuyển hướng 301 các trang còn lại hoặc xóa chúng. Google diễn đạt: “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (bản dịch) «Hợp nhất nội dung trùng lặp để tập trung crawl nội dung độc nhất thay vì các URL độc nhất». Đây là giải pháp dài hạn tốt nhất cho nội dung mỏng.

Công cụ Removals — chỉ tạm thời. Công cụ Removals của GSC loại URL khỏi kết quả nhanh nhưng chỉ là biện pháp tạm: “Requests made in the Removals tool last for about 6 months.” (bản dịch) «Yêu cầu thực hiện trong công cụ Removals có hiệu lực khoảng 6 tháng». Luôn kết hợp với phương pháp vĩnh viễn như noindex, 404/410 hoặc xóa trang.

Quy tắc trình tự thường khiến mọi người mắc lỗi

Để xóa vĩnh viễn một URL giá trị thấp đã được lập chỉ mục, hãy áp dụng noindex (hoặc 404/410) và giữ URL có thể crawl cho đến khi Google xử lý lại. Chỉ thêm robots.txt disallow sau khi URL đã rời khỏi chỉ mục nếu muốn tiết kiệm crawl. Chặn trước sẽ khiến URL mắc kẹt trong chỉ mục — Google không thể đọc noindex trên trang không thể crawl, nên URL có thể lưu lại trong kết quả vô thời hạn, đôi khi không có đoạn trích.

Những quan niệm sai cần bác bỏ

• “Google phạt phình chỉ mục/nội dung trùng lặp.” Không. Tác hại thực tế nằm ở việc crawl bị lãng phí và tín hiệu bị pha loãng.
• “robots.txt xóa trang khỏi chỉ mục.” Không — nó chỉ dừng crawl; trang bị cấm vẫn có thể được lập chỉ mục qua liên kết.
• “noindex tiết kiệm crawl budget.” Không — Google vẫn phải yêu cầu trang để đọc noindex.
• “Có thể vừa noindex vừa chặn robots.txt cho an toàn.” Không — trang bị chặn khiến Google không đọc được noindex và có thể tiếp tục nằm trong chỉ mục.
• “rel=canonical bắt buộc hợp nhất.” Không — đây là gợi ý và Google có thể chọn canonical khác.
• “Toán tử site: cho số lượng đã lập chỉ mục chính xác.” Không — đó chỉ là ước tính; hãy tin báo cáo Lập chỉ mục trang của GSC.
• “More indexed pages = better.” (bản dịch) «Càng nhiều trang được lập chỉ mục càng tốt». Không — chất lượng quan trọng hơn số lượng; URL giá trị thấp làm phân tán tín hiệu và lãng phí crawl.

Phòng ngừa — xây dựng rào chắn

Cách sửa tốt nhất là không tạo ra phần phình thừa ngay từ đầu:

• Đặt noindex ở cấp template CMS cho các trang không bao giờ nên xếp hạng, như tìm kiếm nội bộ, bộ lọc mỏng và một số trang lưu trữ; cấu hình một lần thay vì từng trang.
• Kỷ luật tham số — quyết định trước tham số nào tạo URL có thể lập chỉ mục, tham số nào phải canonical hóa hoặc chặn.
• URL nhất quán — chọn một giao thức, một máy chủ và một quy ước dấu gạch chéo cuối rồi thực thi thống nhất.
• Kiểm tra định kỳ — kiểm tra lại khoảng cách crawl–xếp hạng mỗi quý để ngăn phần phình thừa quay lại.

Chủ đề này nằm sát crawl budget (nguồn lực bị lãng phí), canonical hóa (đòn bẩy hợp nhất chính) và điều hướng theo thuộc tính (nguồn phổ biến nhất). Để hiểu toàn cảnh cách trang đi vào — và ở ngoài — chỉ mục, hãy xem trung tâm kiến thức về lập chỉ mục.

Bản tóm tắt AI

Bản cô đọng của phần Advanced:

• “Phình chỉ mục” là thuật ngữ SEO, không phải của Google. Vấn đề là URL mỏng, trùng lặp hoặc giá trị thấp bị lập chỉ mục: điều hướng theo thuộc tính, tham số, tìm kiếm nội bộ, trang thẻ/lưu trữ, phân trang, soft 404 và bản trùng giao thức/máy chủ.
• Trọng tâm là chất lượng, không phải số trang. Website nhỏ có thể lộn xộn; website lớn có thể sạch.
• Đây không phải hình phạt. Bing: “Duplicate content doesn’t trigger search penalties on its own.” (bản dịch) «Nội dung trùng lặp tự nó không gây hình phạt tìm kiếm». Mueller: “We don’t have a duplicate content penalty.” (bản dịch) «Chúng tôi không có hình phạt đối với nội dung trùng lặp». Chi phí thực là crawl lãng phí và tín hiệu bị phân tán.
• Chủ yếu quan trọng với website lớn hoặc do template tạo ra. Hãy kiểm tra trước xem đây có phải vấn đề thực tế không.
• Chẩn đoán bằng báo cáo Lập chỉ mục trang của GSC — nguồn có thẩm quyền và “complete and accurate” (bản dịch) «đầy đủ và chính xác»; theo dõi nhóm “Crawled - currently not indexed” và “Duplicate”. site: chỉ là ước tính thô. Bổ sung nhật ký, trình crawl và khoảng cách crawl–xếp hạng.
• Khắc phục theo mục đích: noindex để loại khỏi chỉ mục nhưng vẫn cho phép crawl; rel=canonical để hợp nhất bản trùng (gợi ý, không phải quy tắc; không kết hợp với noindex); robots.txt chỉ để dừng crawl, không loại URL đã lập chỉ mục; 404/410 cho trang đã mất; hợp nhất nội dung mỏng.
• Trình tự: muốn xóa URL đã lập chỉ mục, hãy dùng noindex hoặc 404/410 và giữ URL có thể crawl đến khi rời chỉ mục; sau đó mới chặn robots.txt. Chặn trước làm URL mắc kẹt.
• Công cụ Removals chỉ tạm thời, khoảng 6 tháng — phải đi kèm cách sửa vĩnh viễn.
• Phòng ngừa bằng noindex ở cấp template CMS, kỷ luật tham số, URL nhất quán và kiểm tra định kỳ.

Tài liệu chính thức

Tài liệu nguồn sơ cấp từ các công cụ tìm kiếm.

Google

• Tối ưu crawl budget — cơ chế cốt lõi về crawl lãng phí, hợp nhất bản trùng, soft 404s và lý do không dùng noindex để tiết kiệm crawl.
• Quản lý crawl budget — góc nhìn hạ tầng: web “gần như vô hạn” và crawl URL rác làm mất nguồn lực dành cho phần còn lại của website.
• Crawling December: Điều hướng theo thuộc tính — Gary Illyes về nguồn crawl quá mức số 1 và khi nào nên chặn hoặc tối ưu.
• Chặn lập chỉ mục bằng noindex — tác dụng của noindex và yêu cầu trang vẫn phải cho phép crawl.
• Giới thiệu robots.txt — vì sao disallow không phải công cụ loại khỏi chỉ mục.
• Canonical hóa URL / Chỉ định canonical — canonical là gì, nguyên nhân trùng lặp và nguyên tắc “gợi ý, không phải quy tắc”.
• Báo cáo Lập chỉ mục trang — số liệu có thẩm quyền và các trạng thái chưa lập chỉ mục báo hiệu phần phình thừa.
• Xóa thông tin khỏi Google — công cụ Removals và lý do hiệu lực chỉ tạm thời.

Bing / Microsoft

• Nội dung trùng lặp có gây hại cho SEO và khả năng hiển thị trong AI Search không? — Bing diễn giải URL trùng lặp/giá trị thấp là vấn đề hiệu quả crawl và phân tán tín hiệu, không phải hình phạt.

Trích dẫn từ nguồn

Các phát biểu chính thức của Google và Bing. Mỗi liên kết sâu sẽ chuyển thẳng đến đoạn được trích dẫn trên trang nguồn.

Google — không có hình phạt; vấn đề là crawl lãng phí và tín hiệu bị phân tán

• “this wastes a lot of Google crawling time on your site.” (bản dịch) «điều này làm lãng phí rất nhiều thời gian Google thu thập dữ liệu trên website của bạn.» — Tài liệu Google Search Central. Đi đến câu trích dẫn
• “If Google spends too much time crawling URLs that it shouldn’t, Google’s crawlers might decide that it’s not worth the time to look at the rest of your site.” (bản dịch) «Nếu Google dành quá nhiều thời gian để crawl những URL không nên crawl, trình thu thập dữ liệu của Google có thể quyết định rằng việc xem xét phần còn lại của website không đáng tốn thời gian.» Đi đến câu trích dẫn
• “The web is a nearly infinite space, exceeding Google’s ability to explore and index every available URL.” (bản dịch) «Web là một không gian gần như vô hạn, vượt quá khả năng khám phá và lập chỉ mục mọi URL hiện có của Google.» Đi đến câu trích dẫn

Google (Gary Illyes) — điều hướng theo thuộc tính, nguồn gây phình lớn nhất

• “faceted navigation is by far the most common source of overcrawl issues site owners report to us.” (bản dịch) «điều hướng theo thuộc tính là nguồn phổ biến nhất gây ra tình trạng crawl quá mức mà chủ website báo cáo với chúng tôi.» — Gary Illyes, Google (Crawling December, 2024). Đi đến câu trích dẫn
• “Because it can generate a near-infinite number of URLs.” (bản dịch) «Vì nó có thể tạo ra số lượng URL gần như vô hạn.» — Gary Illyes, Google. Đi đến câu trích dẫn
• “This overcrawling slows down the discovery of your important, new content.” (bản dịch) «Việc crawl quá mức này làm chậm quá trình phát hiện nội dung mới, quan trọng của bạn.» — Gary Illyes, Google. Đi đến câu trích dẫn
• “If you don’t need these URLs indexed, use robots.txt to disallow crawling.” (bản dịch) «Nếu bạn không cần những URL này được lập chỉ mục, hãy dùng robots.txt để chặn crawl.» — Gary Illyes, Google. Đi đến câu trích dẫn

Google — noindex, robots.txt, canonical (các công cụ)

• “Google will drop that page entirely from Google Search results, regardless of whether other sites link to it.” (bản dịch) «Google sẽ loại hoàn toàn trang đó khỏi kết quả Google Search, bất kể các website khác có liên kết đến trang hay không.» — Tài liệu Google Search Central (noindex). Đi đến câu trích dẫn
• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file.” (bản dịch) «Để quy tắc noindex có hiệu lực, trang hoặc tài nguyên không được bị tệp robots.txt chặn.» Đi đến câu trích dẫn
• “it is not a mechanism for keeping a web page out of Google.” (bản dịch) «đó không phải là cơ chế để ngăn một trang web xuất hiện trên Google.» — Tài liệu Google Search Central (robots.txt). Đi đến câu trích dẫn
• “A page that’s disallowed in robots.txt can still be indexed if linked to from other sites.” (bản dịch) «Một trang bị chặn trong robots.txt vẫn có thể được lập chỉ mục nếu có website khác liên kết đến.» Đi đến câu trích dẫn
• “a canonical URL is the URL of a page that Google chose as the most representative from a set of duplicate pages.” (bản dịch) «URL chính tắc là URL của trang mà Google chọn làm đại diện tiêu biểu nhất trong một tập hợp các trang trùng lặp.» Đi đến câu trích dẫn
• “indicating a canonical preference is a hint, not a rule.” (bản dịch) «việc chỉ định URL chính tắc ưu tiên là một gợi ý, không phải quy tắc.» Đi đến câu trích dẫn
• “Consolidate duplicate content to focus crawling on unique content rather than unique URLs.” (bản dịch) «Hợp nhất nội dung trùng lặp để tập trung crawl nội dung độc nhất thay vì các URL độc nhất.» Đi đến câu trích dẫn
• “a 404 status code is a strong signal not to crawl that URL again.” (bản dịch) «mã trạng thái 404 là tín hiệu mạnh cho biết không nên crawl lại URL đó.» Đi đến câu trích dẫn

Google — chẩn đoán (báo cáo Lập chỉ mục trang) và công cụ Removals

• “The indexed + not indexed totals above the chart are complete and accurate from Google’s perspective.” (bản dịch) «Theo góc nhìn của Google, tổng số URL đã lập chỉ mục và chưa lập chỉ mục phía trên biểu đồ là đầy đủ và chính xác.» Đi đến câu trích dẫn
• “The page was crawled by Google but not indexed. It may or may not be indexed in the future.” (bản dịch) «Trang đã được Google crawl nhưng chưa được lập chỉ mục. Trang có thể được lập chỉ mục hoặc không trong tương lai.» — “Crawled - currently not indexed.” (bản dịch) «Đã crawl — hiện chưa được lập chỉ mục.» Đi đến câu trích dẫn
• “Requests made in the Removals tool last for about 6 months.” (bản dịch) «Yêu cầu được gửi bằng công cụ Removals có hiệu lực khoảng 6 tháng.» Đi đến câu trích dẫn

Google (John Mueller) — đây là vấn đề chất lượng toàn website, không phải hình phạt

• “you can’t force pages to be indexed — it’s normal that we don’t index all pages on all websites. It’s not an issue with ‘that page’, it’s more site-wide. Creating a good site structure and making sure the site is of the highest quality possible is essentially the direction.” (bản dịch) «bạn không thể buộc các trang được lập chỉ mục — việc chúng tôi không lập chỉ mục mọi trang trên mọi website là bình thường. Đây không phải vấn đề của ‘trang đó’ mà là vấn đề trên toàn website. Hướng xử lý cốt lõi là xây dựng cấu trúc website tốt và bảo đảm website có chất lượng cao nhất có thể.» — John Mueller, Search Advocate, Google (2021). Đi đến câu trích dẫn
• “If there are overall issues with your site, you need to look at the rest of your site, not the URLs that didn’t end up getting indexed.” (bản dịch) «Nếu website có vấn đề tổng thể, bạn cần xem xét phần còn lại của website chứ không phải những URL cuối cùng không được lập chỉ mục.» — John Mueller, Google. Đi đến câu trích dẫn
• “We don’t have a duplicate content penalty. It’s not that we would demote a site for having a lot of duplicate content.” (bản dịch) «Chúng tôi không có hình phạt đối với nội dung trùng lặp. Không phải cứ website có nhiều nội dung trùng lặp là chúng tôi sẽ hạ hạng website đó.» — John Mueller, Google. Đi đến câu trích dẫn

Bing (Fabrice Canel và Krishna Madhavan) — không có hình phạt, chỉ có sự phân tán tín hiệu

• “Duplicate content doesn’t trigger search penalties on its own.” (bản dịch) «Nội dung trùng lặp tự nó không gây ra hình phạt tìm kiếm.» — Fabrice Canel và Krishna Madhavan, Microsoft Bing (2025). Đi đến câu trích dẫn
• “signals such as clicks, links, impressions, and engagement are often diluted.” (bản dịch) «các tín hiệu như lượt nhấp, liên kết, lượt hiển thị và mức độ tương tác thường bị phân tán.» — Microsoft Bing. Đi đến câu trích dẫn

Danh sách kiểm tra khi audit tình trạng phình chỉ mục

Hãy thực hiện các bước sau khi bạn nghi ngờ có tình trạng phình chỉ mục — nhưng trước hết cần hạ mức báo động (phần lớn website không gặp vấn đề thực sự):

• Xác nhận phạm vi bằng báo cáo Lập chỉ mục trang của GSC, không dùng toán tử site:. Ghi nhận xem các nhóm “Crawled - currently not indexed” và “Duplicate” có lớn bất thường hay không.
• Đo khoảng cách giữa URL được crawl và trang có thứ hạng — đếm số trang có thể lập chỉ mục/đã được crawl so với số trang thực sự có thứ hạng hoặc lưu lượng truy cập; lập danh sách ứng viên từ phần chênh lệch.
• Kiểm tra nhật ký máy chủ để xem hoạt động crawl có đi vào URL tham số/thuộc tính/feed/tìm kiếm hay không.
• Chạy trình crawl website (Ahrefs Site Audit / Screaming Frog) để phát hiện trang mỏng, trùng lặp, mồ côi và URL tham số có thể lập chỉ mục.
• Xác định các mẫu nguồn hiện có: điều hướng theo thuộc tính, tham số URL, tìm kiếm nội bộ, trang lưu trữ và feed theo thẻ/danh mục/tác giả, phân trang, bản trùng giao thức/máy chủ, soft 404, không gian URL vô hạn, trang mỏng hoặc tự động tạo.
• Với từng mẫu, chọn công cụ phù hợp theo mục đích (xem bảng quyết định trong tab Cheat Sheets).
• Xác nhận mọi URL có noindex vẫn có thể được crawl (không đồng thời bị robots.txt chặn).
• Xác nhận không trang nào có cả noindex và rel=canonical.
• Với nội dung rác đã được lập chỉ mục: áp dụng noindex/404/410 trước, giữ cho URL có thể được crawl và chỉ lên lịch chặn bằng robots.txt sau khi URL biến mất khỏi chỉ mục.
• Không dựa vào công cụ Removals như một giải pháp vĩnh viễn (công cụ chỉ có hiệu lực khoảng 6 tháng).
• Thiết lập hàng rào phòng ngừa: noindex ở cấp mẫu CMS, quy tắc tham số, URL nhất quán và audit lại hằng quý.

Các mô hình tư duy

1. Chất lượng, không phải số lượng. Phình chỉ mục không có nghĩa là “quá nhiều trang”. Đó là “những trang đã được lập chỉ mục nhưng không có giá trị tìm kiếm”. Câu hỏi audit không bao giờ là “tôi có bao nhiêu trang?” mà là “trang nào trong số này xứng đáng có mặt trong chỉ mục?”

2. Hiệu quả và sự phân tán tín hiệu, tuyệt đối không phải hình phạt. Không có hình phạt do phình chỉ mục hay hình phạt do nội dung trùng lặp. Hai chi phí thực sự là hoạt động crawl bị lãng phí (nội dung rác lấy mất tài nguyên dành cho trang tốt) và tín hiệu bị phân tán (giá trị bị chia cho các bản gần trùng lặp). Hãy xây dựng mọi khuyến nghị quanh hai yếu tố đó, không phải nỗi sợ bị hạ hạng.

3. Cổng kiểm tra “điều này có thực sự quan trọng không?” Hãy kiểm tra trước khi đụng vào bất cứ thứ gì: Đây có phải website lớn hoặc vận hành theo mẫu không? Các trang quan trọng/mới có chậm được crawl và lập chỉ mục không? Nhóm “Crawled - currently not indexed” hoặc “Duplicate” trong GSC có phình to không? Nếu không có dấu hiệu nào đúng, tình trạng phình chủ yếu chỉ mang tính bề ngoài — hãy dành thời gian cho việc khác.

4. Chọn công cụ theo mục đích của URL. Toàn bộ cách khắc phục là định tuyến biện pháp theo từng loại URL: không có giá trị → noindex; trùng lặp nhưng có giá trị → rel=canonical; lượng lớn nội dung rác có thể crawl mà bạn thậm chí không muốn được tải về → robots.txt; thực sự không còn → 404/410; nhiều trang mỏng → hợp nhất. (Xem bảng quyết định trong Cheat Sheets.)

5. Thứ tự rất quan trọng: loại khỏi chỉ mục trước khi chặn. Để xóa một URL đã được lập chỉ mục, hãy giữ URL có thể được crawl trong khi URL mang noindex (hoặc trả về 404/410) cho đến khi Google xử lý lại; chỉ chặn bằng robots.txt sau khi URL đã biến mất. Chặn trước sẽ khiến URL mắc kẹt trong chỉ mục vô thời hạn.

6. Số liệu có thẩm quyền nằm trong GSC. site: chỉ là ước tính thô để phát hiện mẫu. Báo cáo Lập chỉ mục trang mới cung cấp số liệu — và các lý do chưa lập chỉ mục trong báo cáo mới là dữ liệu chẩn đoán thực tế.

Bảng quyết định cách khắc phục — noindex so với canonical, robots.txt, 404/410 và hợp nhất

Quy tắc về thứ tự: để loại vĩnh viễn một URL giá trị thấp đã được lập chỉ mục, hãy áp dụng noindex (hoặc 404/410) và giữ cho URL có thể được crawl đến khi Google xử lý lại; chỉ thêm lệnh disallow trong robots.txt sau khi URL đã biến mất khỏi chỉ mục. Chặn trước sẽ khiến URL mắc kẹt trong chỉ mục.

Bảng chẩn đoán nhanh

Công cụ tìm và khắc phục tình trạng phình chỉ mục

• Google Search Console — báo cáo Lập chỉ mục trang — số lượng URL đã lập chỉ mục có thẩm quyền và các lý do chưa lập chỉ mục. Hãy bắt đầu từ đây; đây là dữ liệu chuẩn, không phải site:.
• GSC — URL Inspection — kiểm tra cách một URL được crawl, kết xuất và lập chỉ mục, cũng như URL chính tắc mà Google chọn.
• GSC — công cụ Removals — nhanh chóng loại một URL khỏi kết quả (tạm thời, khoảng 6 tháng; cần kết hợp với biện pháp khắc phục vĩnh viễn).
• Ahrefs Site Audit / Screaming Frog SEO Spider — mô phỏng hoạt động crawl để phát hiện trang mỏng, trùng lặp, mồ côi, URL tham số có thể lập chỉ mục và cụm gần trùng lặp; đối chiếu với sitemap cùng các trang tạo ra lưu lượng truy cập.
• Phân tích tệp nhật ký máy chủ — xem hoạt động crawl thực sự đi đâu (Screaming Frog Log File Analyser hoặc đưa nhật ký vào BigQuery / nền tảng phân tích nhật ký). (Xem phân tích tệp nhật ký.)
• Ahrefs Webmaster Tools — công cụ crawl và audit miễn phí cho các website bạn xác minh.
• Bing Webmaster Tools — thông tin về phạm vi lập chỉ mục và hoạt động crawl của Bing.

Những tài nguyên đáng để bạn dành thời gian

Các bài viết liên quan của tôi

• Faceted Navigation: The Definitive Guide (tựa tiếng Việt: «Điều hướng theo thuộc tính: Hướng dẫn toàn diện») — nguồn gây phình chỉ mục lớn nhất và các biện pháp kiểm soát (nơi xuất phát của định nghĩa “giá trị tìm kiếm”).
• Canonicalization: A Definitive Guide (tựa tiếng Việt: «Canonical hóa: Hướng dẫn toàn diện») — đòn bẩy hợp nhất chính, khoảng 40 tín hiệu canonical và nguyên tắc “không bao giờ kết hợp noindex với rel=canonical”.
• Duplicate Content: Why It Happens and How to Fix It (tựa tiếng Việt: «Nội dung trùng lặp: Nguyên nhân và cách khắc phục») — bao gồm phát biểu “we don’t have a duplicate content penalty” (bản dịch) «chúng tôi không có hình phạt đối với nội dung trùng lặp» của Mueller.
• Crawled – Currently Not Indexed (tựa tiếng Việt: «Đã crawl — hiện chưa được lập chỉ mục») — trạng thái GSC đặc trưng cho dấu vết phình chỉ mục.
• The Beginner’s Guide to Technical SEO (tựa tiếng Việt: «Hướng dẫn nhập môn SEO kỹ thuật») — vị trí của hoạt động lập chỉ mục trong bức tranh tổng thể.

Các bài thuyết trình của tôi

• How Search Works (SlideShare) — phần trình bày của tôi về crawl → lập chỉ mục → phân phối. (Tuyên bố miễn trừ thường trực vẫn áp dụng: “This is my understanding of systems… not going to be 100% complete or accurate.” (bản dịch) «Đây là hiểu biết của tôi về các hệ thống… không thể đầy đủ hoặc chính xác 100%.»)

Từ những người khác

• Loạt bài Crawling December (tựa tiếng Việt: «Tháng 12 về crawl») của Google — tập hợp cô đọng tốt nhất về crawl/lập chỉ mục, trong đó có nội dung của Gary Illyes về điều hướng theo thuộc tính.
• r/TechSEO — cộng đồng chuyên gỡ lỗi crawl/lập chỉ mục.
• Index Bloat in SEO: What It Is & How to Fix It (tựa tiếng Việt: «Phình chỉ mục trong SEO: Khái niệm và cách khắc phục») (Search Engine Land) — bài tổng quan vững chắc, đề cập đến hàng rào tự động hóa và noindex ở cấp mẫu CMS.
• Crawled – Currently Not Indexed: A Sign of a Google Quality Issue? (tựa tiếng Việt: «Đã crawl — hiện chưa được lập chỉ mục: Dấu hiệu về vấn đề chất lượng của Google?») (Search Engine Roundtable, Barry Schwartz) — bài tường thuật phát biểu của Mueller, xem “Crawled – currently not indexed” (bản dịch) «Đã crawl — hiện chưa được lập chỉ mục» là tín hiệu chất lượng toàn website thay vì lỗi của từng trang.
• Index Bloat (tựa tiếng Việt: «Phình chỉ mục») (Inflow) — phân tích tập trung vào thương mại điện tử về điều hướng theo thuộc tính và tình trạng phình URL tham số, hữu ích cho chủ cửa hàng.
• Screaming Frog SEO Spider — trình crawl được dùng rộng rãi nhất cùng Ahrefs Site Audit để audit trang mỏng, trùng lặp, mồ côi và URL tham số có thể lập chỉ mục.

Ví dụ thực tế

1. Điều hướng theo thuộc tính bùng nổ thành các URL có thể lập chỉ mục

https://example.com/shoes/
https://example.com/shoes/?color=red
https://example.com/shoes/?color=red&size=9
https://example.com/shoes/?color=red&size=9&sort=price-asc
https://example.com/shoes/?color=red&size=9&sort=price-asc&in-stock=true

• Sai: để CMS tự động liên kết mọi tổ hợp và giữ cho tất cả tổ hợp đều có thể được crawl, lập chỉ mục. Mỗi tham số nhân số lượng URL lên, trong khi không tổ hợp sâu nào có nhu cầu tìm kiếm riêng.
• Đúng: quyết định tham số nào làm thay đổi nội dung đủ nhiều để xứng đáng có URL được lập chỉ mục riêng (thường chỉ là color) và tham số nào chỉ là nhiễu sắp xếp/lọc (sort, in-stock). Trỏ canonical của các tham số nhiễu về /shoes/?color=red, đồng thời chặn các tổ hợp gây nhiễu nhất trong robots.txt nếu chúng vẫn tạo lưu lượng crawl sau khi đã canonical hóa.

2. Cái bẫy noindex + robots.txt

# robots.txt
User-agent: *
Disallow: /search/

<!-- /search/?q=running+shoes -->
<meta name="robots" content="noindex">

• Sai: cách này có vẻ là phòng vệ hai lớp nhưng lại phản tác dụng. Googlebot bị robots.txt chặn nên không bao giờ tải lại /search/?q=running+shoes và không bao giờ thấy thẻ noindex. Nếu URL đã được lập chỉ mục, URL có thể nằm trong chỉ mục vô thời hạn, thường không có đoạn trích.
• Đúng: trước tiên xóa dòng Disallow: /search/, để thẻ noindex phát huy tác dụng (Google crawl lại, đọc thẻ rồi loại trang), xác nhận qua báo cáo Lập chỉ mục trang của GSC rằng URL đã chuyển sang “Excluded by noindex tag,” (bản dịch) «Bị loại trừ bởi thẻ noindex», rồi sau đó mới thêm lệnh chặn robots.txt nếu bạn cũng muốn tiết kiệm crawl budget cho đường dẫn đó về sau.

3. Nội dung trùng lặp do các biến thể giao thức/máy chủ, được khắc phục bằng canonical

http://example.com/guide/
http://www.example.com/guide/
https://example.com/guide/
https://www.example.com/guide/

• Sai: phân phối nội dung giống hệt nhau tại cả bốn địa chỉ và để Google tùy ý chọn — giá trị liên kết và tín hiệu tương tác bị chia làm bốn.
• Đúng: chọn một tổ hợp máy chủ/giao thức chính tắc (ví dụ https://www.example.com/guide/), chuyển hướng 301 ba địa chỉ còn lại về đó và thêm <link rel="canonical" href="https://www.example.com/guide/"> làm tín hiệu dự phòng. Dùng canonical-checker (/tools/canonical-checker) để xác minh cả bốn biến thể đều phân giải về cùng một canonical được khai báo.

4. Hợp nhất các trang lưu trữ theo thẻ mỏng thay vì đặt noindex

Một nhà xuất bản có /tag/seo/, /tag/seo-tips/ và /tag/technical-seo/ — ba trang lưu trữ gần như giống hệt nhau, mỗi trang liệt kê 2–3 bài viết giống nhau.

• Sai: đặt noindex cho cả ba và làm mất giá trị liên kết nội bộ mà chúng cung cấp, hoặc giữ tất cả trong chỉ mục dưới dạng các bản gần trùng lặp và mỏng.
• Đúng: hợp nhất chúng thành một trang lưu trữ /tag/seo/, chuyển hướng 301 hai trang còn lại và cập nhật liên kết nội bộ để trỏ đến URL được giữ lại. Đây là “hợp nhất”, không phải “noindex”, vì các trang có giá trị hợp pháp nhất định về liên kết/tổ chức — chúng chỉ đang bị phân mảnh.

Các bài kiểm tra xác thực

Hãy xác nhận từng biện pháp khắc phục thực sự có hiệu lực — đừng mặc nhiên cho rằng nó đã hoạt động chỉ vì bạn đã triển khai.

Kiểm tra: noindex đã loại URL giá trị thấp khỏi chỉ mục

• Cách kiểm tra: Sau khi thêm noindex và xác nhận trang KHÔNG bị chặn trong robots.txt (dùng robots-txt-tester, /tools/robots-txt-tester), hãy kiểm tra trạng thái URL trong GSC → báo cáo Lập chỉ mục trang hoặc kiểm tra nhanh bằng URL Inspection.
• Kết quả mong đợi: Trạng thái chuyển thành “Excluded by ‘noindex’ tag.”
• Diễn giải khi thất bại: Vẫn hiển thị “Indexed” hoặc hiển thị “Blocked by robots.txt” — trang bị mắc kẹt trong chỉ mục vì Google không thể crawl để đọc thẻ noindex.
• Khoảng thời gian theo dõi: 1–4 tuần để Google crawl và xử lý lại, tùy tần suất crawl URL.
• Điều kiện kích hoạt phương án dự phòng: Nếu sau hơn 4 tuần trang vẫn hiển thị là đã lập chỉ mục, hãy xác minh robots.txt không chặn trang rồi dùng công cụ Removals của GSC như giải pháp tạm thời trong khi noindex được truyền đi.

Kiểm tra: lệnh disallow trong robots.txt thực sự dừng crawl (không phải lập chỉ mục)

• Cách kiểm tra: Thêm quy tắc Disallow, xác minh quy tắc được phân tích cú pháp chính xác bằng robots-txt-tester (/tools/robots-txt-tester), rồi kiểm tra nhật ký máy chủ bằng log-file-analyzer (/tools/log-file-analyzer) để tìm lượt truy cập Googlebot tiếp diễn trên đường dẫn bị chặn.
• Kết quả mong đợi: Số lượt Googlebot truy cập đường dẫn bị chặn giảm về 0 trong nhật ký. (URL vẫn có thể hiển thị là “Indexed, though blocked by robots.txt” trong GSC nếu đã được lập chỉ mục — đó là điều dự kiến, không phải thất bại.)
• Diễn giải khi thất bại: Lượt crawl tiếp diễn cho thấy quy tắc không khớp với mẫu URL thực tế (kiểm tra lỗi chính tả, phân biệt chữ hoa chữ thường hoặc quy tắc Allow xung đột).
• Khoảng thời gian theo dõi: Ngay lập tức đối với kiểm tra cú pháp robots.txt; 1–2 tuần dữ liệu nhật ký để xác nhận hành vi crawl đã thay đổi.
• Điều kiện kích hoạt phương án dự phòng: Nếu các trang hợp lệ trong cùng đường dẫn cũng ngừng được crawl, mẫu quá rộng — hãy thu hẹp rồi kiểm tra lại.

Kiểm tra: rel=canonical được tuân thủ (không bị ghi đè)

• Cách kiểm tra: Đặt thẻ canonical trên bản trùng lặp, sau đó kiểm tra GSC → báo cáo Lập chỉ mục trang → Duplicate, Google chose different canonical than user hoặc kiểm tra URL cụ thể. Đối chiếu canonical được khai báo với canonical đã crawl bằng canonical-checker (/tools/canonical-checker).
• Kết quả mong đợi: “Google-selected canonical” của bản trùng lặp khớp với canonical bạn khai báo.
• Diễn giải khi thất bại: Nếu Google chọn canonical khác, các trang có thể chưa đủ giống nhau để Google tin gợi ý, hoặc tồn tại tín hiệu cạnh tranh (liên kết nội bộ, mục trong sitemap hoặc backlink vẫn trỏ đến bản trùng lặp).
• Khoảng thời gian theo dõi: 2–4 tuần để lựa chọn canonical ổn định sau thay đổi.
• Điều kiện kích hoạt phương án dự phòng: Nếu sau một tháng Google vẫn ghi đè, hãy tăng cường tín hiệu (dùng 301 thay cho canonical, cập nhật liên kết nội bộ sang URL ưu tiên, xóa bản trùng lặp khỏi sitemap).

Kiểm tra: việc hợp nhất đã thu hẹp khoảng cách giữa URL được crawl và trang có thứ hạng

• Cách kiểm tra: Trước khi gộp các trang mỏng, đếm số URL có thể lập chỉ mục/đã được crawl (qua site-audit-lite, /tools/site-audit-lite, hoặc trình crawl đầy đủ) so với các trang thực sự có thứ hạng hoặc lưu lượng tìm kiếm tự nhiên. Sau khi hợp nhất, chạy lại phép đếm tương tự.
• Kết quả mong đợi: Khoảng cách thu hẹp — số URL được crawl/lập chỉ mục giảm tương đối so với trang có thứ hạng, đồng thời nhóm “Crawled - currently not indexed” của GSC nhỏ lại.
• Diễn giải khi thất bại: Nếu khoảng cách không thay đổi, các trang đã gộp có thể chưa được chuyển hướng (vẫn có thể crawl như các bản trùng lặp mỏng) hoặc nội dung phình mới đang được tạo nhanh ngang tốc độ dọn dẹp.
• Khoảng thời gian theo dõi: 4–8 tuần — đây là tín hiệu tích lũy chậm hơn, không phải tín hiệu tức thời.
• Điều kiện kích hoạt phương án dự phòng: Không có phương án hoàn tác thực sự; nếu khoảng cách rộng ra thay vì thu hẹp, hãy audit lại để tìm nguồn phình mới (thay đổi mẫu, tham số mới, bản cập nhật CMS) thay vì đảo ngược việc hợp nhất.

Cách đo lường tình trạng phình chỉ mục theo thời gian

Đây là các KPI thường trực cho chủ đề này — hãy theo dõi định kỳ, không chỉ trong một đợt dọn dẹp đơn lẻ.

Khoảng cách giữa URL được crawl và trang có thứ hạng

• Cho bạn biết điều gì: Bao nhiêu phần nội dung đã lập chỉ mục thực sự tạo ra lưu lượng tìm kiếm tự nhiên hoặc thứ hạng, so với phần chỉ nằm đó như gánh nặng.
• Cách lấy số liệu: Đếm URL có thể lập chỉ mục/đã được crawl (bằng trình crawl website hoặc site-audit-lite, /tools/site-audit-lite) rồi so sánh với các trang có bất kỳ lượt nhấp hoặc lượt hiển thị tự nhiên nào trong Google Search Console (báo cáo Performance) trong cùng giai đoạn.
• Mốc chuẩn / phạm vi thực tế: Phụ thuộc rất nhiều vào loại hình và tuổi đời website — không có tỷ lệ lành mạnh chung. Hãy thiết lập đường cơ sở riêng ở lần đo đầu tiên, rồi theo dõi xu hướng: khoảng cách tăng dần theo thời gian mới là tín hiệu cần hành động, không phải một tỷ lệ cụ thể.
• Tần suất: Hằng quý hoặc sau bất kỳ thay đổi lớn nào về mẫu/CMS.

Số lượng “Crawled - currently not indexed” (GSC)

• Cho bạn biết điều gì: Có bao nhiêu trang Google đã xem xét nhưng quyết định không lập chỉ mục — dấu vết phình kinh điển, theo cách Mueller mô tả đây là tín hiệu chất lượng toàn website.
• Cách lấy số liệu: GSC → báo cáo Lập chỉ mục trang, bảng “Why pages aren’t indexed”.
• Mốc chuẩn / phạm vi thực tế: Không có con số chung nào đáng tin — website vận hành theo mẫu với hàng nghìn biến thể mỏng đương nhiên sẽ có nhiều hơn website nhỏ được tuyển chọn kỹ. Hãy theo dõi số này so với tổng số URL của chính bạn và quan sát xu hướng sau mỗi lần khắc phục, thay vì đặt mục tiêu tuyệt đối.
• Tần suất: Hằng tháng hoặc ngay sau khi triển khai noindex/canonical để xác nhận số lượng đang giảm.

Số lượng URL có trạng thái trùng lặp (GSC)

• Cho bạn biết điều gì: Có bao nhiêu URL được lập chỉ mục mà Google đang coi là trùng lặp — thuộc nhóm “without user-selected canonical” hoặc “Google chose different canonical than user”.
• Cách lấy số liệu: GSC → báo cáo Lập chỉ mục trang, lọc theo hai hàng trạng thái trùng lặp.
• Mốc chuẩn / phạm vi thực tế: Phụ thuộc vào mức độ website sử dụng cấu trúc URL tham số/biến thể hợp lệ. Số lượng tăng sau một đợt canonical hóa nghĩa là tín hiệu chưa được tuân thủ; số lượng giảm nghĩa là biện pháp đang phát huy tác dụng.
• Tần suất: Hằng tháng.

Tỷ lệ crawl lãng phí (từ tệp nhật ký)

• Cho bạn biết điều gì: Bao nhiêu phần trăm lượt crawl thực tế của Googlebot đi vào các mẫu URL giá trị thấp (tham số, thuộc tính, tìm kiếm nội bộ, trang feed) thay vì nội dung thực sự của bạn.
• Cách lấy số liệu: Dùng log-file-analyzer (/tools/log-file-analyzer) hoặc quy trình phân tích nhật ký, phân đoạn theo mẫu URL.
• Mốc chuẩn / phạm vi thực tế: Không có mục tiêu cố định — con số phụ thuộc vào kiến trúc website. Dùng lần đo đầu tiên làm đường cơ sở và theo dõi xem tỷ lệ lãng phí có giảm sau khi áp dụng các biện pháp noindex/robots.txt/hợp nhất hay không.
• Tần suất: Hằng tháng đối với website lớn/vận hành theo mẫu; hằng quý đối với các website khác.

Câu hỏi kiểm tra

Năm câu hỏi nhanh để kiểm tra xem bạn đã nắm vững cách nhìn nhận về tình trạng phình chỉ mục hay chưa.

Nhật ký thay đổi