URL Được đánh dấu noindex (GSC Status)

TL;DR — “URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex» trong Google Search Console có nghĩa là Google looked tại trang của bạn, saw một noindex instruction on điều này, và kept điều này out of tìm kiếm on purpose. Hầu hết of đó time đó là dự kiến — lots of các trang nên là noindexed. Đó situation để thực ra worry về là một trang bạn put trong của bạn sitemap (asking Google để chỉ mục điều này) đó cũng says không-chỉ mục — some các báo cáo call này “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex». Xem đó list of affected các trang: nếu họ là all ones bạn meant để hide, bạn là đã xong.

Điều gì điều này status là telling bạn

điều này label có nghĩ là Google encountered noindex directive trong khi processing trang. Evidence for this claim Google reports URL marked noindex when it encounters a noindex directive and does not index the page. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report Google hỗ trợ noindex trong robots meta element hoặc X-Robots-Tag phản hồi header. Evidence for this claim Google supports noindex through a robots meta tag or X-Robots-Tag header and must crawl the page to observe it. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex

Khi bạn open đó Trang Lập chỉ mục báo cáo trong Search Console và see một hàng called “URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex», ở đây điều gì happened: Google visited (được crawl) đó trang, được tìm thấy một noindex instruction on điều này, và decided không để put điều này trong tìm kiếm kết quả. đó là điều này. Đó trang không hỏng — Google đã làm chính xác điều gì đó trang told điều này để làm.

MỘT noindex là một nhỏ instruction đó says “don’t show this page in search.” (bản dịch) «không cho thấy này trang trong tìm kiếm.» Điều này lives trong một of hai places:

• line trong trang code ( meta robots tag), hoặc
• setting trong trang máy chủ phản hồi ( X-Robots-Tag header) — điều này một Bạn có thể’t see by chỉ looking tại trang.

là điều này bad? thường không

word đó scares mọi người là “Không được lập chỉ mục” ( section điều này status lives dưới). nó sounds như lỗi. nó thường không phải. Plenty của các trang nên là kept out của tìm kiếm:

• Thank-bạn / order-xác nhận các trang
• Internal kết quả tìm kiếm
• Login, account, và admin các trang
• Filtered hoặc sorted versions của listing

nếu các trang trong điều này list là ones bạn meant để hide, leave them alone. có không có gì để khắc phục.

Khi bạn làm cần để act

Hai situations:

1. MỘT trang bạn muốn trong Google là trong này list. Điều gì đó put một noindex on một trang đó nên xếp hạng. đó là một mistake để track xuống.
2. Bạn see “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex» (một slightly khác nhau, sharper wording some các báo cáo và tools dùng). Either way, đó substance là đó giống nhau: bạn được gửi đó trang trong của bạn sitemap — mà là meant để list các trang bạn muốn trong Tìm kiếm — nhưng đó trang cũng says “don’t index.” (bản dịch) «không chỉ mục.» Những hai điều contradict mỗi other. Either xóa đó noindex (nếu bạn muốn điều này được lập chỉ mục) hoặc take đó URL out of của bạn sitemap (nếu bạn không).

name confusion

Bạn có thể cũng remember này as “Excluded by ‘noindex’ tag.” (bản dịch) «Bị loại trừ bởi thẻ noindex.» đó là chỉ đó older name cho cùng một điều từ Google trước đó báo cáo. So three labels — “URL marked ‘noindex’,” (bản dịch) «URL được đánh dấu noindex,» “Submitted URL marked ‘noindex’,” (bản dịch) «Được gửi URL được đánh dấu noindex,» và “Excluded by ‘noindex’ tag” (bản dịch) «Bị loại trừ bởi thẻ noindex» — all mô tả một situation: Google được tìm thấy một noindex.

Một trap để know về

phổ biến instinct là để cũng block trang trong robots.txt để “thực sự” giữ nó out. không. Blocking crawling dừng Google từ reading trang tại all — mà có nghĩ là nó có thể’t see của bạn noindex either. Counterintuitively, trang có thể stay trong tìm kiếm. để xóa trang, let Google crawl nó và giữ noindex on nó.

Muốn đầy đủ diagnostic version — meta tag so với. header detection, phantom/CDN noindex, và khắc phục-và-validate flow — chuyển để Nâng cao tab.

TL;DR — “URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex» là đó GSC Trang Lập chỉ mục status cho một trang Google được crawl và được tìm thấy một noindex on — meta robots tag hoặc X-Robots-Tag header, và Google cũng honors một robots meta tag placed trong đó trang thân phản hồi, không chỉ đó <head>. Multiple names, một state: đó hiện tại “URL marked ‘noindex’,” (bản dịch) «URL được đánh dấu noindex,» đó sharper sitemap-được gửi wording “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex» đó các báo cáo và tools commonly dùng, và đó legacy “Excluded by ‘noindex’ tag.” (bản dịch) «Bị loại trừ bởi thẻ noindex.» đây là distinct từ robots.txt-blocked (không bao giờ được crawl) và từ “Crawled — currently not indexed” (bản dịch) «Được crawl — hiện tại không được lập chỉ mục» (không directive). Thường intentional — validate đó URL list đầu tiên. MỘT noindexed URL vẫn sitting trong của bạn sitemap là đó real flag (sitemap submission là một hint, không phải là bảo đảm). noindex là crawl-phụ thuộc: pair điều này với một robots.txt disallow và Google không thể see điều này, so đó trang có thể stay được lập chỉ mục. Khi rules conflict, Google áp dụng đó hơn restrictive một. Kiểm tra hai sources (đó được kết xuất HTML và đó HTTP header), debug phantom/CDN noindex với một trực tiếp Googlebot fetch (URL Inspection / Rich Kết quả Kiểm thử), thì xóa đó directive, Validate Cách sửa, và expect reprocessing để take lâu hơn một day hoặc hai — Google says điều này có thể chạy để months cho thấp hơn-priority các trang.

Điều gì status thực ra có nghĩ là

báo cáo mô tả Google observed directive, không Vì sao CMS, template, hoặc CDN đã thêm nó. Evidence for this claim Google reports URL marked noindex when it encounters a noindex directive and does not index the page. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report Google phải là able để crawl trang để observe và apply noindex. Evidence for this claim Google supports noindex through a robots meta tag or X-Robots-Tag header and must crawl the page to observe it. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex

Google own definition là precise: Khi Google tried để chỉ mục trang, nó encountered noindex directive và làm đó đã làm không chỉ mục nó. Điểm mấu chốt word là encountered — Google có để crawl trang để see directive. So điều này status carries hai facts tại sau khi: Google reached trang, và trang told nó không để là được lập chỉ mục.

đó toàn bộ độ chính xác spine ở đây, và nó Điều gì separates điều này status từ của nó neighbors:

• Robots.txt-blocked → Google đã là không bao giờ được phép để crawl, so điều này đã không đọc bất kỳ nội dung hoặc bất kỳ directive.
• “Crawled — currently not indexed” (bản dịch) «Được crawl — hiện tại không được lập chỉ mục» → Google được crawl, được tìm thấy không directive, và chose không để chỉ mục anyway.
• “URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex» → Google được crawl, được tìm thấy một noindex, và obeyed điều này.

three names là một condition

điều này trips mọi người lên vì label có changed theo thời gian và shifts dựa trên Cách URL là tìm thấy:

• “URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex» — đó hiện tại, chung label trong đó Trang Lập chỉ mục báo cáo. Lives dưới “Không được lập chỉ mục” (formerly “Excluded”). Này là đó wording Google own hiện tại Trang Lập chỉ mục báo cáo tài liệu dùng và defines.
• “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex» — đó giống nhau underlying condition, nhưng cho một URL đó là cũng trong một sitemap bạn được gửi. Này là đó sharper wording practitioners và bên thứ ba SEO tools commonly báo cáo cho đó combination. Google hiện tại help tài liệu không spell điều này out as một riêng được định nghĩa status distinct từ “URL marked ‘noindex,’” (bản dịch) «URL marked ‘noindex,’» so treat đó chính xác label as báo cáo-phụ thuộc — nhưng đó substance holds regardless of điều gì một được cho tool calls điều này: một sitemap là meant để list đó URLs bạn muốn trong Tìm kiếm (và submitting một là một hint để Google, không phải là bảo đảm of lập chỉ mục), so một noindexed URL sitting trong điều này là một contradiction worth resolving.
• “Excluded by ‘noindex’ tag” (bản dịch) «Bị loại trừ bởi thẻ noindex» — đó legacy name từ đó pre-2021 “Index Coverage” (bản dịch) «Chỉ mục Coverage» báo cáo. Vẫn đó hầu hết-searched colloquial version. Giống nhau underlying điều.

nếu bạn’ve landed ở đây từ bất kỳ của những điều đó three, bạn’re trong giống nhau place.

là nó vấn đề? intentional-so với-accidental decision

không reflexively “cách sửa” điều này. cây quyết định:

1. Pull đó list of affected URLs (nhấp vào đó status).
2. Là những các trang bạn meant để exclude? Thank-bạn các trang, internal tìm kiếm, faceted/filter URLs, account/admin, staging đó không nên là trực tiếp. → Không hành động. “Không được lập chỉ mục” không phải đó giống nhau as “hỏng,” và Google says as nhiều: những URLs có không đã được lập chỉ mục, nhưng không nhất thiết làm an lỗi.
3. Là một trang bạn muốn được lập chỉ mục trong này list? → MỘT noindex leaked onto điều này. Tìm và xóa điều này.
4. Là đó noindexed URL cũng sitting trong của bạn được gửi sitemap (thường surfaced as “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex»)? → Resolve đó contradiction trực tiếp: xóa đó noindex (để chỉ mục điều này) hoặc xóa đó URL từ của bạn sitemap (để leave điều này noindexed). không leave một noindexed URL sitting trong một sitemap — sitemap submission là một hint để Google về điều gì bạn muốn được lập chỉ mục, không một yêu cầu đó overrides đó trang own directive.

Đó reason các đối thủ treat này as một pure “error to fix” (bản dịch) «lỗi để cách sửa» là đó they skip step 2. Hầu hết of đó time, này status là đó hệ thống hoạt động correctly.

nơi noindex lives: meta tag so với. X-Robots-Tag header

có chính xác hai phân phối các phương thức, và bạn có để kiểm tra cả hai vì họ look completely khác:

• Meta robots tag — <meta name="robots" content="noindex"> trong trang <head>. Targets all các crawler; <meta name="googlebot" content="noindex"> targets Google chỉ. Đây là một Bạn có thể spot trong HTML.
• X-Robots-Tag HTTP header — X-Robots-Tag: noindex trong máy chủ phản hồi các header. Đây là sneaky một. nó đặt trong máy chủ, CMS, hoặc CDN config, không trong trang nguồn, so “View Nguồn” sẽ không hiển thị nó. header phương thức là cũng chỉ way để noindex non-HTML files — phản hồi header có thể là được sử dụng cho non-HTML các tài nguyên chẳng hạn như PDFs, video files, và image files, mà có không <head> để hold meta tag.

Khi GSC nói noindex và bạn swear trang không có một, header là đầu tiên place để look ( bảng tra nhanh tab lays hai side by side).

Cách tìm directive trên một trang

1. View Nguồn / được kết xuất DOM — tìm kiếm cho noindex. kiểm tra được kết xuất <head>, không chỉ thô nguồn, since tag có thể là injected by JavaScript hoặc tag manager. không dừng tại <head>, either: Google có đã nói nó không enforce meta-robots placement và respects robots meta tag tìm thấy trong trang <body> cũng, so directive injected thấp hơn trong document vẫn được tính.
2. phản hồi các header — curl -I https://example.com/page/ (hoặc trình duyệt DevTools → Network → document yêu cầu → phản hồi Các header) và look cho X-Robots-Tag line.
3. URL Inspection (GSC) → Kiểm thử trực tiếp URL — điều này fetches trang as Googlebot và các báo cáo lập chỉ mục verdict và phản hồi. Đây là một đó catches directives phân phối chỉ để Google.
4. Rich Kết quả Kiểm thử — một thực Googlebot fetch đó trả về HTTP phản hồi và được kết xuất snapshot của chính xác Điều gì máy chủ hiển thị Google.
5. kiểm tra cho conflicting robots rules, không chỉ single tag. nếu nhiều hơn một robots directive áp dụng để trang (chẳng hạn, template sets index nhưng plugin hoặc header adds noindex), Google áp dụng nhiều hơn restrictive rule — so stray noindex anywhere wins ngay cả nếu một rule nói index. không dừng searching sau khi bạn’ve tìm thấy một directive đó looks permissive.

robots.txt conflict (Vì sao disallow + noindex backfires)

Đây là single phần lớn-muddled point trong mỗi khác hướng dẫn, so I muốn nó chính xác. noindex là crawl-phụ thuộc: Google có để là able để fetch trang để đọc directive. Google trạng thái rule plainly — cho noindex rule để là effective, trang phải không là Bị chặn bởi robots.txt file và có để là nếu không accessible để crawler; nếu nó blocked hoặc crawler có thể’t access nó, crawler sẽ không bao giờ see noindex, và trang có thể vẫn xuất hiện trong tìm kiếm (ví dụ, nếu khác các trang link để nó).

I’ve được viết về đó flip side of này cho năm. Trong my Ahrefs piece on “Indexed, though blocked by robots.txt” (bản dịch) «Được lập chỉ mục, though Bị chặn bởi robots.txt», đó cốt lõi point là đó “crawling and indexing are two different things” (bản dịch) «crawling và lập chỉ mục là hai khác nhau điều» — “if you block a page from being crawled, Google may still index it.” (bản dịch) «nếu bạn block một trang từ đang được crawl, Google có thể vẫn chỉ mục điều này.» Và cụ thể on này conflict: “Unless Google can crawl a page, they won’t see the noindex meta tag and may still index it because it has links.” (bản dịch) «Trừ khi Google có thể crawl một trang, they sẽ không see đó noindex meta tag và có thể vẫn chỉ mục điều này vì điều này có links.» So đó self-defeating combo là noindex + robots.txt disallow: đó disallow hides đó noindex, và đó trang có thể stay được lập chỉ mục qua liên kết bên ngoài.

đúng sequence để thực ra xóa trang:

1. Cho phép crawling và giữ noindex trong place.
2. Chờ cho Google để recrawl, see directive, và drop trang.
3. chỉ sau đó, nếu bạn muốn để save ngân sách crawl, Bạn có thể disallow nó trong robots.txt — sau khi deindexing, không trước khi.

My standing khuyến nghị, từ đó giống nhau bài viết: “Just add a noindex meta robots tag and make sure to allow crawling — assuming it’s canonical.” (bản dịch) «Chỉ thêm một noindex meta robots tag và hãy bảo đảm để cho phép crawling — assuming đây là canonical.»

Phantom noindex: CDN bộ nhớ đệm và Googlebot-chỉ directives

hardest version của Đây là “phantom” noindex: bạn xem xét trang, see không noindex anywhere, và GSC vẫn các báo cáo một. John Mueller có addressed chính xác điều này — trong cases he seen, ở đó là thực tế noindex, đôi khi shown chỉ để Google, mà có thể là rất hard để debug. (He noted đó scenario Khi điều này nghĩ ra lên; I’m paraphrasing his point thay vì quoting nó as formal statement.)

thông thường suspects — treat những điều này as hypotheses để kiểm tra, không confirmed gây ra, cho đến khi trực tiếp phản hồi thực ra hiển thị một của them:

• CDN hoặc bộ nhớ đệm serving stale X-Robots-Tag: noindex header đó không lâu hơn trong của bạn origin config.
• directive conditional on người dùng-agent — máy chủ trả về sạch trang để của bạn trình duyệt và noindexed một để Googlebot.
• staging/template leak — noindex meant cho staging environment shipping để production qua shared template.

diagnosis là giống nhau trong all three: không trust “View Nguồn” trong của bạn own trình duyệt. Làm thực Googlebot fetch — URL Inspection Kiểm thử trực tiếp URL hoặc Rich Kết quả Kiểm thử — mà hiển thị bạn HTTP phản hồi và được kết xuất trang chính xác as Google nhận nó. đó Cách bạn catch máy chủ/CDN serving một điều để bạn và một để crawler.

Cách khắc phục nó và validate

sau khi bạn’ve confirmed noindex là mistake:

1. Xóa đó directive tại của nó real nguồn — đó meta tag trong đó template, hoặc đó X-Robots-Tag header trong máy chủ/CMS/CDN config. Clear bất kỳ CDN/trang bộ nhớ đệm so đó cách sửa là thực ra đang phân phối.
2. Xác nhận với một trực tiếp Googlebot fetch (URL Inspection → Kiểm thử trực tiếp URL) đó trang hiện tại trả về không noindex và cho thấy “URL is available to Google.” (bản dịch) «URL là khả dụng để Google.»
3. Yêu cầu Lập chỉ mục cho cao-priority URLs, và/hoặc dùng đó báo cáo Validate Cách sửa button để tell Google để recheck đó toàn bộ affected set.
4. Chờ. Deindexing và reindexing không instant — Google có để recrawl để see đó thay đổi đầu tiên, và Google own hướng dẫn là đó revisit timing phụ thuộc vào đó trang importance và có thể take considerably lâu hơn một day hoặc hai (của nó tài liệu cho “months” as một possibility cho thấp hơn-priority các trang). Yêu cầu Lập chỉ mục on một priority URL là cách bạn ask Google để try sooner, không một way để force một cụ thể timeline. không panic nếu đó status lingers trong khi reprocessing.

cho inverse — trang bạn muốn noindexed nhưng đó stuck trong chỉ mục vì nó là cũng robots.txt-blocked — unblock crawling đầu tiên so Google có thể finally see noindex.

nơi điều này sits

Này status là một node trong Google Trang Lập chỉ mục báo cáo. Đó robots directive behind điều này — noindex — có thể là delivered as một meta robots tag hoặc an X-Robots-Tag header, và đó right tool phụ thuộc vào liệu bạn là hoạt động với HTML hoặc non-HTML files. Đó neighboring statuses (“Indexed, though blocked by robots.txt” (bản dịch) «Được lập chỉ mục, though Bị chặn bởi robots.txt» và “Crawled — currently not indexed” (bản dịch) «Được crawl — hiện tại không được lập chỉ mục») mô tả khác nhau trạng thái và cần khác nhau các cách sửa; giữ them straight là hầu hết of đó battle.

AI summary

condensed take on Nâng cao version:

• Điều đó có nghĩa là gì: “URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex» là đó GSC Trang Lập chỉ mục status cho một trang Google được crawl và được tìm thấy một noindex on — so điều này kept điều này out of đó chỉ mục on purpose. Google đã có để crawl trang để see đó directive, và điều này honors đó directive liệu đây là trong đó <head> hoặc đó trang thân phản hồi.
• Multiple names, một state: đó hiện tại “URL marked ‘noindex’,” (bản dịch) «URL được đánh dấu noindex,» đó sharper sitemap-được gửi wording “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex» đó các báo cáo và tools commonly dùng, và đó legacy “Excluded by ‘noindex’ tag.” (bản dịch) «Bị loại trừ bởi thẻ noindex.»
• Distinct từ neighbors: robots.txt-blocked = không bao giờ được crawl; “Crawled — currently not indexed” (bản dịch) «Được crawl — hiện tại không được lập chỉ mục» = được crawl, không directive; này status = được crawl, được tìm thấy một noindex, obeyed điều này.
• Thường intentional. Validate đó URL list đầu tiên. Thank-bạn các trang, internal tìm kiếm, facets, admin = fine, không hành động. Chỉ act nếu một trang bạn muốn được lập chỉ mục là trong đó list — hoặc đó URL là noindexed nhưng vẫn sitting trong của bạn sitemap (một contradiction, since sitemap submission là một hint cho điều gì bạn muốn được lập chỉ mục, không phải là bảo đảm): xóa đó noindex hoặc xóa điều này từ đó sitemap.
• Hai phân phối các phương thức: một meta robots tag anywhere trong đó được kết xuất HTML (không chỉ đó <head>), hoặc an X-Robots-Tag HTTP header (đó chỉ way cho non-HTML files như PDFs, và đó sneaky một — không trong trang nguồn). Kiểm tra cả hai, và remember đó khi multiple robots rules conflict, Google áp dụng đó hơn restrictive một.
• Đó robots.txt conflict: noindex là crawl-phụ thuộc. Disallow + noindex backfires — Google không thể see một noindex điều này không thể crawl, so đó trang có thể stay được lập chỉ mục qua links. Để xóa một trang: cho phép crawling + giữ noindex, thì tùy chọn disallow sau deindexing.
• Phantom noindex: owner sees none, Google làm — thường một CDN/bộ nhớ đệm serving một stale header, một Googlebot-chỉ directive, hoặc một staging/template leak (treat những as hypotheses để xác nhận, không assumed gây ra). Debug với một real Googlebot fetch (URL Inspection trực tiếp kiểm thử / Rich Kết quả Kiểm thử), không View Nguồn.
• Cách sửa → validate: xóa đó directive tại của nó nguồn, clear caches, xác nhận qua một trực tiếp Googlebot fetch, Yêu cầu Lập chỉ mục / Validate Cách sửa, thì chờ — Google own hướng dẫn says reprocessing phụ thuộc vào đó trang importance và có thể take nhiều lâu hơn một day hoặc hai, lên để months cho thấp hơn-priority các trang.

Tài liệu chính thức

Chính-nguồn tài liệu từ các công cụ tìm kiếm.

Google

• Trang Lập chỉ mục báo cáo — đó báo cáo này status lives trong; defines “URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex» và đó related “Indexed, though blocked by robots.txt” (bản dịch) «Được lập chỉ mục, though Bị chặn bởi robots.txt» (của nó hiện tại text không riêng spell out “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex» as một distinct status name, though đó underlying sitemap contradiction điều này mô tả là real).
• Block tìm kiếm lập chỉ mục với noindex — điều gì noindex làm, đó meta-tag so với. X-Robots-Tag header các phương thức, đó crawl-phụ thuộc rule (một blocked trang không bao giờ sees đó noindex), và Google own note đó revisiting một trang sau một thay đổi có thể take months depending on của nó importance.
• Robots meta tag, dữ liệu-nosnippet, và X-Robots-Tag các đặc tả — cách conflicting robots rules resolve (đó hơn restrictive rule wins) và xác nhận đó Google cũng respects một robots meta tag placed trong đó trang thân phản hồi, không chỉ đó <head>.
• Introduction để robots.txt — vì sao robots.txt controls crawling, không lập chỉ mục, và vì sao đây là không một deindexing tool.
• URL Inspection tool — “Test live URL” (bản dịch) «Kiểm thử trực tiếp URL» fetches đó trang as Googlebot, đó way để catch directives phân phối chỉ để Google.
• Xây dựng và submit một sitemap — sitemaps nên list đó URLs bạn muốn trong Tìm kiếm, và submitting một là một hint để Google, không phải là bảo đảm of crawling hoặc lập chỉ mục.

Bing / Microsoft

• Bing Quản trị viên web Tools — Help & Cách-để — Bing honors robots <meta name="robots" content="noindex"> tag và X-Robots-Tag header giống nhau way; của nó chỉ mục các báo cáo surface noindexed các trang similarly. (Thấp hơn priority cho điều này Google-cụ thể status.)

Quotes từ nguồn

On—record statements từ Google, plus my own writing on robots.txt conflict. mỗi link là deep link đó jumps để quoted passage on nguồn trang.

Google — Điều gì status có nghĩ là

• “When Google tried to index the page it encountered a ‘noindex’ directive and therefore did not index it.” (bản dịch) «Khi Google tried để chỉ mục đó trang điều này encountered một ‘noindex’ directive và do đó đã không chỉ mục điều này.» — Google Search Console Help (Trang Lập chỉ mục báo cáo). Nhảy đến trích dẫn

Google — noindex là crawl-phụ thuộc

• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler. If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it.” (bản dịch) «Cho đó noindex rule để là effective, đó trang hoặc tài nguyên không được là blocked by một robots.txt file, và điều này có để là nếu không accessible để đó crawler. Nếu đó trang là blocked by một robots.txt file hoặc đó crawler không thể access đó trang, đó crawler sẽ không bao giờ see đó noindex rule, và đó trang có thể vẫn xuất hiện trong kết quả tìm kiếm, ví dụ nếu other các trang link để điều này.» — Google Search Central tài liệu (Block tìm kiếm lập chỉ mục với noindex). Nhảy đến trích dẫn
• “Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.” (bản dịch) «Depending on đó importance of đó trang on đó internet, điều này có thể take months cho Googlebot để revisit một trang.» — Google Search Central tài liệu (Block tìm kiếm lập chỉ mục với noindex), on cách dài reprocessing sau một noindex thay đổi có thể take. Đọc đó bài viết

Google — conflicting rules và nơi directive có thể trực tiếp

• “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” (bản dịch) «Google Search không enforce placement of meta robots trong đó HTML head và sẽ respect robots meta tags trong đó thân phản hồi section of an HTML document as well.» — Google Search Central tài liệu (Robots meta tag, dữ liệu-nosnippet, và X-Robots-Tag các đặc tả). Đọc đó bài viết
• “In the case of conflicting robots rules, the more restrictive rule applies.” (bản dịch) «Trong đó case of conflicting robots rules, đó hơn restrictive rule áp dụng.» — Google Search Central tài liệu (giống nhau đặc tả). Đọc đó bài viết

Patrick Stox (Ahrefs) — robots.txt conflict

• “If you block a page from being crawled, Google may still index it because crawling and indexing are two different things.” (bản dịch) «Nếu bạn block một trang từ đang được crawl, Google có thể vẫn chỉ mục điều này vì crawling và lập chỉ mục là hai khác nhau điều.» — me, “Indexed, though blocked by robots.txt” (bản dịch) «Được lập chỉ mục, though Bị chặn bởi robots.txt» Có thể Là Hơn MỘT Robots.txt Block (Ahrefs). Nhảy đến trích dẫn
• “Unless Google can crawl a page, they won’t see the noindex meta tag and may still index it because it has links.” (bản dịch) «Trừ khi Google có thể crawl một trang, they sẽ không see đó noindex meta tag và có thể vẫn chỉ mục điều này vì điều này có links.» — me (giống nhau bài viết). Đọc đó bài viết
• “Just add a noindex meta robots tag and make sure to allow crawling—assuming it’s canonical.” (bản dịch) «Chỉ thêm một noindex meta robots tag và hãy bảo đảm để cho phép crawling—assuming đây là canonical.» — me (giống nhau bài viết). Đọc đó bài viết

”URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex» triage checklist

Hoạt động top để bottom — hầu hết of những end tại step 2 với “no action needed.” (bản dịch) «không hành động needed.»

• Open đó affected URL list trong đó Trang Lập chỉ mục báo cáo (nhấp đó status hàng).
• Decide intentional so với. accidental: là những các trang bạn meant để exclude (thank-bạn, internal tìm kiếm, facets, admin, staging)? Nếu có → đã xong.
• Là đó URL cũng sitting trong của bạn được gửi sitemap (thường surfaced as “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex»)? Resolve đó contradiction: xóa đó noindex (để chỉ mục) hoặc xóa đó URL từ đó sitemap (để giữ điều này out).
• Cho các trang đó nên là được lập chỉ mục, tìm đó directive trong cả hai places:
  • Được kết xuất <head> cho <meta name="robots" ... noindex> (kiểm tra đó được kết xuất DOM, không chỉ View Nguồn).
  • Các header phản hồi cho X-Robots-Tag: noindex (curl -I hoặc DevTools → Network).
• Xác nhận điều gì Googlebot sees với URL Inspection → Kiểm thử trực tiếp URL (hoặc đó Rich Kết quả Kiểm thử) — catches Googlebot-chỉ / CDN-phân phối directives.
• Kiểm tra cho đó robots.txt conflict: đó URL là không cũng disallowed (một disallow hides đó noindex và có thể leave đó trang được lập chỉ mục).
• Xóa đó directive tại của nó real nguồn (template / máy chủ / CMS / CDN), thì clear bất kỳ CDN hoặc trang bộ nhớ đệm.
• Re-kiểm thử trực tiếp đó trang hiện tại trả về không noindex.
• Yêu cầu Lập chỉ mục và/hoặc hit Validate Cách sửa; thì chờ — recrawl timing không fixed. Google says điều này phụ thuộc vào đó trang importance và có thể take nhiều lâu hơn một day hoặc hai, lên để months cho thấp hơn-priority các trang.

Các bảng tra nhanh

** three names — giống nhau condition**

nơi noindex lives: meta tag so với. X-Robots-Tag header

Cách điều này status differs từ của nó neighbors

Intentional-so với-accidental cây quyết định

mental models

1. Được crawl-và-saw-điều này. Này status chỉ tồn tại vì Google được crawl đó trang và đọc một directive. Đó single fact distinguishes điều này từ robots.txt-blocked (không bao giờ được crawl) và từ “Crawled — currently not indexed” (bản dịch) «Được crawl — hiện tại không được lập chỉ mục» (được crawl, không directive). Locate mà of đó three bạn là trong trước khi bạn touch bất cứ điều gì.

2. “Không được lập chỉ mục” ≠ hỏng. default assumption nên là intentional, không lỗi. Validate list của các URL đầu tiên; phần lớn của time right move là để làm không có gì. một combination worth treating as urgent là noindexed URL đó cũng sitting trong của bạn được gửi sitemap — vì sitemap là meant để list Điều gì bạn muốn được lập chỉ mục (submission là chỉ hint để Google, không bảo đảm), và noindexed sitemap URL contradicts đó.

3. Hai sources, luôn kiểm tra cả hai. MỘT noindex là either một meta tag (trong đó được kết xuất <head>) hoặc an X-Robots-Tag header (trong đó HTTP phản hồi). Đó header là invisible trong View Nguồn, so “I don’t have a noindex” (bản dịch) «I không có một noindex» thường có nghĩa là “I didn’t check the header.” (bản dịch) «I đã không kiểm tra đó header.» Kiểm tra cả hai, mỗi time.

4. Crawl-phụ thuộc — không bao giờ pair noindex với disallow. Google phải crawl trang để see của nó noindex. Block crawling trong robots.txt và noindex becomes invisible, leaving trang indexable qua links. để xóa trang: cho phép crawling + giữ noindex, chờ cho deindexing, sau đó tùy chọn disallow.

5. Trust Googlebot’s view, không của bạn trình duyệt. cho phantom noindex (bạn see none, GSC sees một), của bạn trình duyệt View Nguồn là sai instrument. CDN, bộ nhớ đệm, hoặc người dùng-agent rule có thể hiển thị Googlebot điều gì đó khác. Diagnose với thực Googlebot fetch — URL Inspection trực tiếp kiểm thử hoặc Rich Kết quả Kiểm thử — mà hiển thị chính xác phản hồi Google nhận.

Playbook: bạn chỉ saw một “marked ‘noindex’” (bản dịch) «được đánh dấu noindex» status

đọc điều này top để bottom đầu tiên time bạn hit một của những điều này statuses. Branch off tại mỗi “nếu bạn see” — phần lớn chạy end sớm.

1. Open đó Trang Lập chỉ mục báo cáo và nhấp vào đó status hàng. Note mà of đó three labels điều này là: “URL marked ‘noindex’,” (bản dịch) «URL được đánh dấu noindex,» “Submitted URL marked ‘noindex,’” (bản dịch) «Được gửi URL marked ‘noindex,’» hoặc đó legacy “Excluded by ‘noindex’ tag.” (bản dịch) «Bị loại trừ bởi thẻ noindex.» Pull đó đầy đủ list of affected URLs — không judge từ đó count alone.

2. Skim URL list cho shape. nếu bạn see mostly thank-bạn các trang, internal tìm kiếm, filter/facet các URL, hoặc admin/account các trang — những điều này là các trang bạn’d thông thường muốn out của chỉ mục. → Dừng ở đây. Không hành động needed; Đây là hệ thống hoạt động as dự kiến.

3. nếu bạn see URL bạn thực ra muốn xếp hạng, isolate nó. Ai đó hoặc điều gì đó put noindex trên một trang đó nên là indexable. Move để step 4 để tìm nơi nó coming từ.

4. Nếu đó label là “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex» — hoặc bạn chỉ notice đó URL là cả hai noindexed và trong của bạn sitemap — treat điều này as urgent. Sitemap submission là meant để tín hiệu đó URLs bạn muốn trong Tìm kiếm (Google xử lý điều này as một hint, không phải là bảo đảm), so một noindex on đó giống nhau URL là một trực tiếp contradiction, và nhiều các báo cáo và tools surface điều này as an lỗi-cấp độ hàng cho chính xác đó reason. Decide mà side là correct — bạn muốn điều này được lập chỉ mục (xóa đó noindex) hoặc bạn không (pull điều này từ đó sitemap) — và resolve đó contradiction đó giống nhau day bạn tìm điều này.

5. Locate directive. kiểm tra được kết xuất <head> cho <meta name="robots" content="noindex"> tag, sau đó kiểm tra phản hồi các header (curl -I hoặc DevTools → Network) cho X-Robots-Tag: noindex. nếu neither hiển thị bất cứ điều gì và GSC vẫn các báo cáo một, bạn có khả năng có phantom noindex — go để step 6.

6. nếu View Nguồn là sạch nhưng GSC vẫn nói noindex, không trust của bạn trình duyệt. Chạy trực tiếp Googlebot fetch (URL Inspection → Kiểm thử trực tiếp URL, hoặc Rich Kết quả Kiểm thử). Look cho CDN/bộ nhớ đệm serving stale header, directive conditional on người dùng-agent, hoặc staging template leaking vào production.

7. nếu URL là cũng disallowed trong robots.txt, khắc phục đó đầu tiên. disallow hides noindex từ Google hoàn toàn, so không có gì bạn làm để noindex sẽ take effect cho đến khi crawling là được phép again. Xóa disallow (hoặc chờ cho nó để lift) trước khi moving on.

8. Xóa directive tại của nó thực nguồn — template, máy chủ config, CMS trường, hoặc CDN edge rule — và purge bất kỳ bộ nhớ đệm sitting trong front của nó.

9. Re-verify với trực tiếp Googlebot fetch đó trang hiện tại trả về không noindex, sau đó sử dụng yêu cầu lập chỉ mục cho priority các URL và/hoặc Validate khắc phục cho toàn bộ affected đặt.

10. Chờ và recheck. Recrawl và reindexing không phải instant, và có không fixed turnaround — Google own hướng dẫn là đó revisit timing phụ thuộc vào trang importance và có thể chạy để months cho thấp hơn-priority các trang, không chỉ days. yêu cầu lập chỉ mục asks Google để try sooner; nó không bảo đảm timeline. và nếu bạn disallowed trang trong step 7 chỉ để save ngân sách crawl sau khi removal, đó một case nơi disallow-sau khi-noindex là đúng.

Scripts và snippets

kiểm tra phản hồi các header (macOS/Linux, shell) — chỉ way để see X-Robots-Tag, since nó không bao giờ hiển thị lên trong View Nguồn:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "https://example.com/page/" | grep -i "x-robots-tag\|^HTTP"

kiểm tra phản hồi các header (Windows, PowerShell) — giống nhau kiểm tra, không curl bắt buộc:

$r = Invoke-WebRequest -Uri "https://example.com/page/" -UserAgent "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -UseBasicParsing
$r.Headers["X-Robots-Tag"]
$r.StatusCode

tìm meta robots tag trong được kết xuất DOM (DevTools Console) — paste vào Console panel on trực tiếp trang; catches tags injected by tag manager đó thô View Nguồn sẽ miss:

[...document.querySelectorAll('meta[name="robots"], meta[name="googlebot"]')].map(m => m.outerHTML)

Bookmarklet — kiểm tra hiện tại trang meta robots tag trong một nhấp. Save as bookmark với điều này as URL, sau đó nhấp nó on bất kỳ trang bạn’re auditing:

javascript:(function(){var m=[...document.querySelectorAll('meta[name="robots"],meta[name="googlebot"]')].map(function(x){return x.outerHTML}).join('\n')||'No meta robots tag found in DOM';alert(m);})();

Regex — pull noindex out của bulk HTML export. nếu bạn’re grepping batch của saved trang-nguồn files hoặc crawl export cho content="...noindex..." các giá trị, điều này captures đầy đủ content thuộc tính so Bạn có thể see nếu noindex là paired với bất cứ điều gì khác (như nofollow hoặc noarchive):

<meta\s+name=["'](?:robots|googlebot)["']\s+content=["']([^"']*)["']

capture group (([^"']*)) là đầy đủ directive list — kiểm tra nó cho noindex cụ thể thay vì assuming match có nghĩ là noindex, since giống nhau tag có thể carry noarchive hoặc khác directives không có nó.

Tools cho điều này task

điều này trang web tools

• Google chỉ mục Checker — fetches URL as Googlebot và các báo cáo observable indexability các tín hiệu: status, các chuyển hướng, noindex directives (meta tag và header), và canonical hints, all trong một truyền. nó rõ ràng đó nó có thể’t see Google thực tế chỉ mục state — chỉ Search Console có thể — nhưng nó fastest way để kiểm tra noindex + canonical

• status combination trước khi bạn go anywhere near GSC.

• HTTP Header Checker — thô phản hồi các header cho URL, including X-Robots-Tag. sử dụng điều này Khi bạn cụ thể cần để xác nhận header-based noindex (hoặc xác nhận nó đã biến mất sau khi khắc phục), tách biệt từ bất cứ điều gì trong trang HTML.
• Robots.txt Tester — kiểm tra liệu được cho URL là disallowed cho được cho người dùng-agent. Chạy điều này bất cứ khi nào bạn’re diagnosing noindex đó không seem để là taking effect — disallow on giống nhau URL là kinh điển nguyên nhân.

thứ ba-party tools

• Google Search Console — trang lập chỉ mục báo cáo (nơi điều này status lives), sitemap báo cáo (cho “Được gửi” variant), và URL Inspection → Kiểm thử trực tiếp URL, chỉ tool đó hiển thị bạn thực-time Googlebot fetch và verdict.
• Rich Kết quả Kiểm thử — một trực tiếp Googlebot fetch; hữu ích as thứ hai đọc on HTTP phản hồi và được kết xuất snapshot Khi bạn’re chasing phantom hoặc CDN-phân phối noindex.

Validation các kiểm thử

Chạy những sau removing một noindex bạn đã không muốn, hoặc sau resolving một “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex» contradiction.

Kiểm thử 1: Header không lâu hơn gửi X-Robots-Tag: noindex

• Kiểm thử để chạy: curl -I URL (hoặc HTTP Header Checker) và inspect phản hồi các header.
• Dự kiến kết quả: Không X-Robots-Tag header, hoặc một không có noindex trong nó.
• thất bại interpretation: directive là vẫn là phân phối — kiểm tra máy chủ/CMS config again, và clear bất kỳ CDN hoặc edge bộ nhớ đệm đó có thể là serving stale phản hồi.
• Monitoring window: Immediate — Đây là trực tiếp fetch, không crawl-phụ thuộc tín hiệu.
• Rollback trigger: N/ (điều này kiểm thử không thay đổi bất cứ điều gì); re-chạy sau khi mỗi config hoặc bộ nhớ đệm thay đổi cho đến khi nó truyền.

Kiểm thử 2: Được kết xuất trang có không meta robots noindex

• Kiểm thử để chạy: Google chỉ mục Checker hoặc DevTools/View Nguồn kiểm tra của được kết xuất <head>.
• Dự kiến kết quả: Không <meta name="robots" content="noindex"> (hoặc googlebot variant) trong được kết xuất DOM.
• thất bại interpretation: template, tag manager, hoặc JS injection là vẫn thêm tag — kiểm tra được kết xuất DOM, không chỉ thô nguồn.
• Monitoring window: Immediate.
• Rollback trigger: N/; re-chạy sau khi mỗi template/config thay đổi.

Kiểm thử 3: Trực tiếp Googlebot fetch xác nhận trang là indexable

• Kiểm thử để chạy: GSC URL Inspection → Kiểm thử trực tiếp URL.
• Dự kiến kết quả: “URL is available to Google” (bản dịch) «URL là khả dụng để Google» với không noindex flagged trong đó trực tiếp kiểm thử kết quả.
• Failure interpretation: Googlebot là seeing điều gì đó trình duyệt của bạn không — kiểm tra cho một người dùng-agent-conditional directive hoặc CDN rule serving Google một khác nhau phản hồi hơn bạn nhận.
• Monitoring window: Immediate cho đó trực tiếp-kiểm thử kết quả itself.
• Rollback trigger: Nếu đó trực tiếp kiểm thử vẫn cho thấy noindex sau một config thay đổi plus một bộ nhớ đệm purge, treat đó cách sửa as chưa trực tiếp và giữ gỡ lỗi trước requesting lập chỉ mục.

Kiểm thử 4: URL không phải cũng Bị chặn bởi robots.txt

• Kiểm thử để chạy: Robots.txt Tester so với giống nhau URL.
• Dự kiến kết quả: Được phép cho Googlebot.
• thất bại interpretation: disallow là hiding whatever noindex state tồn tại — Google có thể’t recrawl để see của bạn khắc phục. Xóa disallow đầu tiên.
• Monitoring window: Immediate.
• Rollback trigger: N/; điều này phải truyền trước khi khác các kiểm thử có nghĩa là bất cứ điều gì Đối với một trang bạn muốn được lập chỉ mục.

Kiểm thử 5: trang lập chỉ mục báo cáo clears status

• Kiểm thử để chạy: GSC Trang Lập chỉ mục báo cáo, sau hitting Validate Cách sửa on đó affected group (hoặc Yêu cầu Lập chỉ mục cho một single priority URL).
• Dự kiến kết quả: Đó URL moves out of “URL marked ‘noindex’” (bản dịch) «URL được đánh dấu noindex» / “Submitted URL marked ‘noindex’” (bản dịch) «Được gửi URL được đánh dấu noindex» và vào “Được lập chỉ mục” (hoặc của bạn dự kiến status) trong đó báo cáo.
• Failure interpretation: Vẫn pending recrawl, hoặc đó directive là vẫn present nơi nào đó bạn haven’t checked (re-chạy Các kiểm thử 1–3).
• Monitoring window: Variable, không fixed — validation chạy trong đó background on Google own recrawl schedule. Google tài liệu says revisit timing phụ thuộc vào đó trang importance và có thể take considerably lâu hơn vài days, lên để months cho thấp hơn-priority các trang; không treat một chậm cập nhật as một failure on của nó own.
• Rollback trigger: Nếu validation vẫn hasn’t moved sau một genuinely dài chờ (và Các kiểm thử 1–4 all truyền), re-kiểm tra Các kiểm thử 1–4 trong order thay vì re-submitting đó giống nhau cách sửa.

Quiz

Five các câu hỏi để kiểm tra Điều gì thực ra stuck từ điều này bài viết.

Nhật ký thay đổi