Panduan URL Marked 'noindex' (GSC Status)

TL;DR — “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” di Google Search Console berarti Google looked di Anda halaman, saw sebuah noindex instruction pada ini, dan dipertahankan ini out dari search pada purpose. sebagian besar dari time itu’s intended — lots dari halaman seharusnya menjadi noindexed. situation untuk actually worry tentang adalah sebuah halaman Anda put di Anda sitemap (asking Google untuk indeks ini) itu juga says don’t-indeks — beberapa reports panggil ini “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’”. lihat list dari affected halaman: jika mereka’re semua ones Anda dimaksudkan untuk hide, Anda’re done.

What ini status adalah telling Anda

ini label berarti Google encountered sebuah noindex directive while processing halaman. Evidence for this claim Google reports URL marked noindex when it encounters a noindex directive and does not index the page. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report Google mendukung noindex di sebuah robots meta element atau X-Robots-Tag respons header. Evidence for this claim Google supports noindex through a robots meta tag or X-Robots-Tag header and must crawl the page to observe it. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex

When Anda open halaman pengindeksan report di Search Console dan see sebuah row called “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’”, here’s what happened: Google visited (di-crawl) halaman, ditemukan sebuah noindex instruction pada ini, dan decided not untuk put ini di search hasil. itu’s ini. halaman isn’t broken — Google melakukan exactly what halaman told ini untuk melakukan.

sebuah noindex adalah sebuah kecil instruction itu says “don’t show this page in search.” (terjemahan) “don’t tampilkan ini halaman di search.” ini lives di one dari two places:

• sebuah line di halaman’s code (sebuah meta robots tag), atau
• sebuah setting di halaman’s server respons (sebuah X-Robots-Tag header) — ini one Anda dapat’t see oleh hanya looking di halaman.

adalah ini buruk? biasanya not

kata itu scares people adalah “Not indexed” (terjemahan) “Not terindeks” ( bagian ini status lives di bawah). ini sounds like sebuah error. ini biasanya isn’t. Plenty dari halaman seharusnya menjadi dipertahankan out dari search:

• Thank-Anda / order-confirmation halaman
• Internal hasil pencarian
• Login, account, dan admin halaman
• Filtered atau sorted versi dari sebuah listing

jika halaman di ini list adalah ones Anda dimaksudkan untuk hide, leave them alone. There’s nothing untuk fix.

When Anda melakukan perlu untuk act

Two situations:

1. sebuah halaman Anda ingin di Google adalah di ini list. Something put sebuah noindex pada sebuah halaman itu seharusnya peringkat. itu’s sebuah mistake untuk track down.
2. Anda see “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” (sebuah slightly berbeda, sharper wording beberapa reports dan alat gunakan). Either cara, substance adalah yang sama: Anda submitted halaman di Anda sitemap — which adalah dimaksudkan untuk list halaman Anda ingin di Search — tetapi halaman juga says “don’t index.” (terjemahan) “don’t indeks.” itu two things contradict setiap lainnya. Either hapus noindex (jika Anda ingin ini terindeks) atau take URL out dari Anda sitemap (jika Anda tidak).

name confusion

Anda mungkin juga remember ini sebagai “Excluded by ‘noindex’ tag.” (terjemahan) “Excluded oleh ‘noindex’ tag.” itu’s hanya older name untuk yang sama thing dari Google’s previous report. So three labels — “URL marked ‘noindex’,” (terjemahan) “URL marked ‘noindex’,” “Submitted URL marked ‘noindex’,” (terjemahan) “Submitted URL marked ‘noindex’,” dan “Excluded by ‘noindex’ tag” (terjemahan) “Excluded oleh ‘noindex’ tag” — semua describe one situation: Google ditemukan sebuah noindex.

One trap untuk know tentang

sebuah umum instinct adalah untuk juga block halaman di robots.txt untuk “really” (terjemahan) “really” pertahankan ini out. Don’t. Blocking crawling stops Google dari reading halaman di semua — which berarti ini dapat’t see Anda noindex either. Counterintuitively, halaman dapat stay di search. untuk hapus sebuah halaman, let Google crawl ini dan pertahankan noindex pada ini.

ingin full diagnostic versi — meta tag vs. header detection, phantom/CDN noindex, dan fix-dan-validate flow — switch untuk Advanced tab.

TL;DR — “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” adalah GSC halaman pengindeksan status untuk sebuah halaman Google di-crawl dan ditemukan sebuah noindex pada — meta robots tag atau X-Robots-Tag header, dan Google juga honors sebuah robots meta tag placed di halaman body, not hanya <head>. Multiple names, one state: saat ini “URL marked ‘noindex’,” (terjemahan) “URL marked ‘noindex’,” sharper sitemap-submitted wording “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” itu reports dan alat commonly gunakan, dan legacy “Excluded by ‘noindex’ tag.” (terjemahan) “Excluded oleh ‘noindex’ tag.” ini adalah distinct dari robots.txt-blocked (tidak pernah di-crawl) dan dari “Crawled — currently not indexed” (terjemahan) “di-crawl — currently not terindeks” (no directive). biasanya intentional — validate URL list pertama. sebuah noindexed URL masih sitting di Anda sitemap adalah nyata flag (sitemap submission adalah sebuah hint, not sebuah guarantee). noindex adalah crawl-dependent: pair ini dengan sebuah robots.txt disallow dan Google dapat’t see ini, so halaman dapat stay terindeks. When aturan conflict, Google applies more restrictive one. periksa two sources ( rendered HTML dan header HTTP), debug phantom/CDN noindex dengan sebuah live Googlebot fetch (pemeriksaan URL / Rich hasil Test), lalu hapus directive, Validate Fix, dan expect reprocessing untuk take longer daripada sebuah day atau two — Google says ini dapat run untuk months untuk lower-priority halaman.

What status actually berarti

report describes Google’s observed directive, not why sebuah CMS, template, atau CDN ditambahkan ini. Evidence for this claim Google reports URL marked noindex when it encounters a noindex directive and does not index the page. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report Google harus menjadi able untuk crawl halaman untuk observe dan apply noindex. Evidence for this claim Google supports noindex through a robots meta tag or X-Robots-Tag header and must crawl the page to observe it. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Block indexing with noindex

Google’s own definition adalah precise: when Google tried untuk indeks halaman, ini encountered sebuah noindex directive dan therefore melakukan not indeks ini. key kata adalah encountered — Google memiliki untuk crawl halaman untuk see directive. So ini status carries two facts di once: Google reached halaman, dan halaman told ini not untuk menjadi terindeks.

itu’s whole accuracy spine here, dan ini adalah what separates ini status dari -nya neighbors:

• Robots.txt-blocked → Google adalah tidak pernah allowed untuk crawl, so ini didn’t read apa pun konten atau apa pun directive.
• “Crawled — currently not indexed” (terjemahan) “di-crawl — currently not terindeks” → Google di-crawl, ditemukan no directive, dan chose not untuk indeks anyway.
• “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” → Google di-crawl, ditemukan sebuah noindex, dan obeyed ini.

three names adalah one condition

ini trips people up because label memiliki changed di atas time dan shifts berdasarkan how URL adalah ditemukan:

• “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” — saat ini, umum label di halaman pengindeksan report. Lives di bawah “Not indexed” (terjemahan) “Not terindeks” (formerly “Excluded” (terjemahan) “Excluded”). ini adalah wording Google’s own saat ini halaman pengindeksan report documentation menggunakan dan defines.
• “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” — yang sama underlying condition, tetapi untuk sebuah URL itu’s juga di sebuah sitemap Anda submitted. ini adalah sharper wording practitioners dan ketiga-party SEO alat commonly report untuk itu combination. Google’s saat ini help documentation doesn’t spell ini out sebagai sebuah separately defined status distinct dari “URL marked ‘noindex,’” (terjemahan) “URL marked ‘noindex,’” so treat exact label sebagai report-dependent — tetapi substance holds regardless dari what sebuah given alat panggilan ini: sebuah sitemap adalah dimaksudkan untuk list URLs Anda ingin di Search (dan submitting one adalah sebuah hint untuk Google, not sebuah guarantee dari pengindeksan), so sebuah noindexed URL sitting di ini adalah sebuah contradiction worth resolving.
• “Excluded by ‘noindex’ tag” (terjemahan) “Excluded oleh ‘noindex’ tag” — legacy name dari pre-2021 “Index Coverage” (terjemahan) “indeks Coverage” report. masih paling-searched colloquial versi. sama underlying thing.

jika Anda’ve landed here dari apa pun dari itu three, Anda’re di yang sama place.

adalah ini sebuah masalah? intentional-vs-accidental decision

Don’t reflexively “fix” (terjemahan) “fix” ini. decision tree:

1. Pull list dari affected URLs (click ke status).
2. adalah ini halaman Anda dimaksudkan untuk exclude? Thank-Anda halaman, internal search, faceted/filter URLs, account/admin, staging itu shouldn’t menjadi live. → No tindakan. “Not indexed” (terjemahan) “Not terindeks” adalah not yang sama sebagai “broken,” (terjemahan) “broken,” dan Google says sebagai much: ini URLs memiliki not telah terindeks, tetapi not necessarily karena sebuah error.
3. adalah sebuah halaman Anda ingin terindeks di ini list? → sebuah noindex leaked onto ini. temukan dan hapus ini.
4. adalah noindexed URL juga sitting di Anda submitted sitemap (sering surfaced sebagai “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’”)? → Resolve contradiction directly: hapus noindex (untuk indeks ini) atau hapus URL dari Anda sitemap (untuk leave ini noindexed). Don’t leave sebuah noindexed URL sitting di sebuah sitemap — sitemap submission adalah sebuah hint untuk Google tentang what Anda ingin terindeks, not sebuah permintaan itu overrides halaman’s own directive.

alasan competitors treat ini sebagai sebuah pure “error to fix” (terjemahan) “error untuk fix” adalah itu mereka skip langkah 2. sebagian besar dari time, ini status adalah sistem berfungsi correctly.

Where noindex lives: meta tag vs. X-Robots-Tag header

ada exactly two delivery metode, dan Anda memiliki untuk periksa both because mereka look completely berbeda:

• Meta robots tag — <meta name="robots" content="noindex"> di halaman’s <head>. Targets semua crawler; <meta name="googlebot" content="noindex"> targets Google hanya. ini adalah one Anda dapat spot di HTML.
• X-Robots-Tag header HTTP — X-Robots-Tag: noindex di server’s respons headers. ini adalah sneaky one. ini adalah set di server, CMS, atau CDN config, not di halaman source, so “View Source” (terjemahan) “View Source” won’t tampilkan ini. header metode adalah juga satu-satunya cara untuk noindex non-HTML files — sebuah respons header dapat menjadi digunakan untuk non-HTML resources such sebagai PDFs, video files, dan image files, which memiliki no <head> untuk hold sebuah meta tag.

When GSC says noindex dan Anda swear halaman doesn’t memiliki one, header adalah pertama place untuk look ( cheat sheet tab lays two side oleh side).

cara temukan directive pada sebuah halaman

1. View Source / rendered DOM — search untuk noindex. periksa rendered <head>, not hanya raw source, since sebuah tag dapat menjadi injected oleh JavaScript atau sebuah tag manager. Don’t stop di <head>, either: Google memiliki said ini doesn’t enforce meta-robots placement dan respects sebuah robots meta tag ditemukan di halaman’s <body> too, so sebuah directive injected lower di document masih counts.
2. respons headers — curl -I https://example.com/page/ (atau browser DevTools → Network → document permintaan → respons Headers) dan cari sebuah X-Robots-Tag line.
3. pemeriksaan URL (GSC) → Test live URL — ini fetches halaman sebagai Googlebot dan reports pengindeksan verdict dan respons. ini adalah one itu catches directives disajikan hanya untuk Google.
4. Rich hasil Test — lainnya nyata Googlebot fetch itu mengembalikan HTTP respons dan sebuah rendered snapshot dari exactly what server menampilkan Google.
5. periksa untuk conflicting robots aturan, not hanya sebuah single tag. jika more daripada one robots directive applies untuk halaman (say, sebuah template sets index tetapi sebuah plugin atau header menambahkan noindex), Google applies more restrictive aturan — so sebuah stray noindex anywhere wins bahkan jika lainnya aturan says index. Don’t stop searching setelah Anda’ve ditemukan one directive itu looks permissive.

robots.txt conflict (why disallow + noindex backfires)

ini adalah single sebagian besar-muddled poin di setiap lainnya guide, so I ingin ini exact. noindex adalah crawl-dependent: Google memiliki untuk menjadi able untuk fetch halaman untuk read directive. Google states aturan plainly — untuk noindex aturan untuk menjadi effective, halaman harus not menjadi blocked oleh sebuah robots.txt file dan memiliki untuk menjadi otherwise accessible untuk crawler; jika ini adalah blocked atau crawler dapat’t access ini, crawler akan tidak pernah see noindex, dan halaman dapat masih appear di search (misalnya, jika lainnya halaman tautan untuk ini).

I’ve written tentang flip side dari ini untuk years. di my Ahrefs piece pada “Indexed, though blocked by robots.txt” (terjemahan) “terindeks, though blocked oleh robots.txt”, core poin adalah itu “crawling and indexing are two different things” (terjemahan) “crawling dan pengindeksan adalah two berbeda things” — “if you block a page from being crawled, Google may still index it.” (terjemahan) “jika Anda block sebuah halaman dari menjadi di-crawl, Google dapat masih indeks ini.” dan specifically pada ini conflict: “Unless Google can crawl a page, they won’t see the noindex meta tag and may still index it because it has links.” (terjemahan) “Unless Google dapat crawl sebuah halaman, mereka won’t see noindex meta tag dan dapat masih indeks ini because ini memiliki tautan.” So self-defeating combo adalah noindex + robots.txt disallow: disallow hides noindex, dan halaman dapat stay terindeks via tautan eksternal.

correct sequence untuk actually hapus sebuah halaman:

1. Allow crawling dan pertahankan noindex di place.
2. Wait untuk Google untuk recrawl, see directive, dan drop halaman.
3. hanya lalu, jika Anda ingin save anggaran crawling, Anda dapat disallow ini di robots.txt — setelah deindexing, not sebelum.

My standing recommendation, dari itu sama artikel: “Just add a noindex meta robots tag and make sure to allow crawling — assuming it’s canonical.” (terjemahan) “hanya tambahkan sebuah noindex meta robots tag dan pastikan untuk allow crawling — assuming ini adalah canonical.”

Phantom noindex: CDN cache dan Googlebot-hanya directives

hardest versi dari ini adalah “phantom” (terjemahan) “phantom” noindex: Anda lihat halaman, see no noindex anywhere, dan GSC masih reports one. John Mueller memiliki addressed exactly ini — di cases he’s seen, there adalah sebuah actual noindex, sometimes ditampilkan hanya untuk Google, which dapat menjadi very hard untuk debug. (He noted itu scenario when ini came up; I’m paraphrasing his poin alih-alih quoting ini sebagai sebuah formal statement.)

usual suspects — treat ini sebagai hypotheses untuk periksa, not confirmed causes, until live respons actually menampilkan one dari them:

• sebuah CDN atau cache serving sebuah stale X-Robots-Tag: noindex header itu’s no longer di Anda origin config.
• sebuah directive conditional pada pengguna-agent — server mengembalikan sebuah clean halaman untuk Anda browser dan sebuah noindexed one untuk Googlebot.
• sebuah staging/template leak — sebuah noindex dimaksudkan untuk sebuah staging environment shipping untuk production melalui sebuah shared template.

diagnosis adalah yang sama di semua three: don’t trust “View Source” (terjemahan) “View Source” di Anda own browser. melakukan sebuah nyata Googlebot fetch — pemeriksaan URL’s Test live URL atau Rich hasil Test — which menampilkan Anda respons HTTP dan rendered halaman exactly sebagai Google menerima ini. itu’s how Anda catch sebuah server/CDN serving one thing untuk Anda dan lainnya untuk crawler.

cara fix ini dan validate

setelah Anda’ve confirmed noindex adalah sebuah mistake:

1. hapus directive di -nya nyata source — meta tag di template, atau X-Robots-Tag header di server/CMS/CDN config. jelas apa pun CDN/halaman cache so fix adalah actually menjadi disajikan.
2. Confirm dengan sebuah live Googlebot fetch (pemeriksaan URL → Test live URL) itu halaman now mengembalikan no noindex dan menampilkan “URL is available to Google.” (terjemahan) “URL adalah available untuk Google.”
3. permintaan pengindeksan untuk tinggi-priority URLs, dan/atau gunakan report’s Validate Fix button untuk tell Google untuk recheck whole affected set.
4. Wait. Deindexing dan reindexing aren’t instant — Google memiliki untuk recrawl untuk see perubahan pertama, dan Google’s own guidance adalah itu revisit timing depends pada halaman’s importance dan dapat take considerably longer daripada sebuah day atau two (-nya documentation gives “months” (terjemahan) “months” sebagai sebuah possibility untuk lower-priority halaman). permintaan pengindeksan pada sebuah priority URL adalah how Anda tanyakan Google untuk try sooner, not sebuah cara untuk force sebuah spesifik timeline. Don’t panic jika status lingers while reprocessing.

untuk inverse — sebuah halaman Anda ingin noindexed tetapi itu’s stuck di indeks because ini adalah juga robots.txt-blocked — unblock crawling pertama so Google dapat finally see noindex.

Where ini sits

ini status adalah one node di Google’s halaman pengindeksan report. robots directive behind ini — noindex — dapat menjadi delivered sebagai sebuah meta robots tag atau sebuah X-Robots-Tag header, dan right alat depends pada whether Anda’re berfungsi dengan HTML atau non-HTML files. neighboring statuses (“Indexed, though blocked by robots.txt” (terjemahan) “terindeks, though blocked oleh robots.txt” dan “Crawled — currently not indexed” (terjemahan) “di-crawl — currently not terindeks”) describe berbeda states dan perlu berbeda fixes; keeping them straight adalah sebagian besar dari battle.

AI summary

sebuah condensed take pada Advanced versi:

• What ini berarti: “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” adalah GSC halaman pengindeksan status untuk sebuah halaman Google di-crawl dan ditemukan sebuah noindex pada — so ini dipertahankan ini out dari indeks pada purpose. Google memiliki untuk crawl halaman untuk see directive, dan ini honors itu directive whether ini adalah di <head> atau halaman body.
• Multiple names, one state: saat ini “URL marked ‘noindex’,” (terjemahan) “URL marked ‘noindex’,” sharper sitemap-submitted wording “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” itu reports dan alat commonly gunakan, dan legacy “Excluded by ‘noindex’ tag.” (terjemahan) “Excluded oleh ‘noindex’ tag.”
• Distinct dari neighbors: robots.txt-blocked = tidak pernah di-crawl; “Crawled — currently not indexed” (terjemahan) “di-crawl — currently not terindeks” = di-crawl, no directive; ini status = di-crawl, ditemukan sebuah noindex, obeyed ini.
• biasanya intentional. Validate URL list pertama. Thank-Anda halaman, internal search, facets, admin = fine, no tindakan. hanya act jika sebuah halaman Anda ingin terindeks adalah di list — atau URL adalah noindexed tetapi masih sitting di Anda sitemap (sebuah contradiction, since sitemap submission adalah sebuah hint untuk what Anda ingin terindeks, not sebuah guarantee): hapus noindex atau hapus ini dari sitemap.
• Two delivery metode: sebuah meta robots tag anywhere di rendered HTML (not hanya <head>), atau sebuah X-Robots-Tag header HTTP (satu-satunya cara untuk non-HTML files like PDFs, dan sneaky one — not di halaman source). periksa both, dan remember itu when multiple robots aturan conflict, Google applies more restrictive one.
• ** robots.txt conflict:** noindex adalah crawl-dependent. Disallow + noindex backfires — Google dapat’t see sebuah noindex ini dapat’t crawl, so halaman dapat stay terindeks via tautan. untuk hapus sebuah halaman: allow crawling + pertahankan noindex, lalu optionally disallow setelah deindexing.
• Phantom noindex: owner sees none, Google melakukan — biasanya sebuah CDN/cache serving sebuah stale header, sebuah Googlebot-hanya directive, atau sebuah staging/template leak (treat ini sebagai hypotheses untuk confirm, not assumed causes). Debug dengan sebuah nyata Googlebot fetch (pemeriksaan URL live test / Rich hasil Test), not View Source.
• Fix → validate: hapus directive di -nya source, jelas caches, confirm via sebuah live Googlebot fetch, permintaan pengindeksan / Validate Fix, lalu wait — Google’s own guidance says reprocessing depends pada halaman’s importance dan dapat take much longer daripada sebuah day atau two, up untuk months untuk lower-priority halaman.

Official documentation

Primary-source documentation dari mesin pencari.

Google

• halaman pengindeksan report — report ini status lives di; defines “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” dan related “Indexed, though blocked by robots.txt” (terjemahan) “terindeks, though blocked oleh robots.txt” (-nya saat ini text doesn’t separately spell out “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” sebagai sebuah distinct status name, though underlying sitemap contradiction ini describes adalah nyata).
• Block search pengindeksan dengan noindex — what noindex melakukan, meta-tag vs. X-Robots-Tag header metode, crawl-dependent aturan (sebuah blocked halaman tidak pernah sees noindex), dan Google’s own note itu revisiting sebuah halaman setelah sebuah perubahan dapat take months depending pada -nya importance.
• Robots meta tag, data-nosnippet, dan X-Robots-Tag specifications — how conflicting robots aturan resolve ( more restrictive aturan wins) dan confirmation itu Google juga respects sebuah robots meta tag placed di halaman body, not hanya <head>.
• Introduction untuk robots.txt — why robots.txt controls crawling, not pengindeksan, dan why ini adalah not sebuah deindexing alat.
• pemeriksaan URL alat — “Test live URL” (terjemahan) “Test live URL” fetches halaman sebagai Googlebot, cara untuk catch directives disajikan hanya untuk Google.
• bangun dan submit sebuah sitemap — sitemaps seharusnya list URLs Anda ingin di Search, dan submitting one adalah sebuah hint untuk Google, not sebuah guarantee dari crawling atau pengindeksan.

Bing / Microsoft

• Bing Webmaster alat — Help & How-untuk — Bing honors robots <meta name="robots" content="noindex"> tag dan X-Robots-Tag header yang sama cara; -nya indeks reports surface noindexed halaman similarly. (Lower priority untuk ini Google-spesifik status.)

Quotes dari source

pada—record statements dari Google, plus my own writing pada robots.txt conflict. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada source halaman.

Google — what status berarti

• “When Google tried to index the page it encountered a ‘noindex’ directive and therefore did not index it.” (terjemahan) “When Google tried untuk indeks halaman ini encountered sebuah ‘noindex’ directive dan therefore melakukan not indeks ini.” — Google Search Console Help (halaman pengindeksan report). Jump untuk quote

Google — noindex adalah crawl-dependent

• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler. If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it.” (terjemahan) “untuk noindex aturan untuk menjadi effective, halaman atau resource harus not menjadi blocked oleh sebuah robots.txt file, dan ini memiliki untuk menjadi otherwise accessible untuk crawler. jika halaman adalah blocked oleh sebuah robots.txt file atau crawler dapat’t access halaman, crawler akan tidak pernah see noindex aturan, dan halaman dapat masih appear di hasil pencarian, misalnya jika lainnya halaman tautan untuk ini.” — Google Search Central docs (Block search pengindeksan dengan noindex). Jump untuk quote
• “Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.” (terjemahan) “Depending pada importance dari halaman pada internet, ini dapat take months untuk Googlebot untuk revisit sebuah halaman.” — Google Search Central docs (Block search pengindeksan dengan noindex), pada how panjang reprocessing setelah sebuah noindex perubahan dapat take. Read artikel

Google — conflicting aturan dan where sebuah directive dapat live

• “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” (terjemahan) “Google Search doesn’t enforce placement dari meta robots di HTML head dan akan respect robots meta tags di body bagian dari sebuah HTML document sebagai well.” — Google Search Central docs (Robots meta tag, data-nosnippet, dan X-Robots-Tag specifications). Read artikel
• “In the case of conflicting robots rules, the more restrictive rule applies.” (terjemahan) “di case dari conflicting robots aturan, more restrictive aturan applies.” — Google Search Central docs (sama specification). Read artikel

Patrick Stox (Ahrefs) — robots.txt conflict

• “If you block a page from being crawled, Google may still index it because crawling and indexing are two different things.” (terjemahan) “jika Anda block sebuah halaman dari menjadi di-crawl, Google dapat masih indeks ini because crawling dan pengindeksan adalah two berbeda things.” — me, “Indexed, though blocked by robots.txt” (terjemahan) “terindeks, though blocked oleh robots.txt” dapat menjadi More daripada sebuah Robots.txt Block (Ahrefs). Jump untuk quote
• “Unless Google can crawl a page, they won’t see the noindex meta tag and may still index it because it has links.” (terjemahan) “Unless Google dapat crawl sebuah halaman, mereka won’t see noindex meta tag dan dapat masih indeks ini because ini memiliki tautan.” — me (sama artikel). Read artikel
• “Just add a noindex meta robots tag and make sure to allow crawling—assuming it’s canonical.” (terjemahan) “hanya tambahkan sebuah noindex meta robots tag dan pastikan untuk allow crawling—assuming ini adalah canonical.” — me (sama artikel). Read artikel

”URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” triage checklist

berfungsi top untuk bottom — sebagian besar dari ini end di langkah 2 dengan “no action needed.” (terjemahan) “no tindakan needed.”

• Open affected URL list di halaman pengindeksan report (click status row).
• Decide intentional vs. accidental: adalah ini halaman Anda dimaksudkan untuk exclude (thank-Anda, internal search, facets, admin, staging)? jika yes → done.
• adalah URL juga sitting di Anda submitted sitemap (sering surfaced sebagai “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’”)? Resolve contradiction: hapus noindex (untuk indeks) atau hapus URL dari sitemap (untuk pertahankan ini out).
• untuk halaman itu seharusnya menjadi terindeks, temukan directive di both places:
• Rendered <head> untuk <meta name="robots" ... noindex> (periksa rendered DOM, not hanya View Source).
• respons headers untuk X-Robots-Tag: noindex (curl -I atau DevTools → Network).
• Confirm what Googlebot sees dengan pemeriksaan URL → Test live URL (atau Rich hasil Test) — catches Googlebot-hanya / CDN-disajikan directives.
• periksa untuk robots.txt conflict: URL adalah not juga disallowed (sebuah disallow hides noindex dan dapat leave halaman terindeks).
• hapus directive di -nya nyata source (template / server / CMS / CDN), lalu jelas apa pun CDN atau halaman cache.
• Re-test live itu halaman now mengembalikan no noindex.
• permintaan pengindeksan dan/atau hit Validate Fix; lalu wait — recrawl timing isn’t fixed. Google says ini depends pada halaman’s importance dan dapat take much longer daripada sebuah day atau two, up untuk months untuk lower-priority halaman.

Cheat sheets

** three names — sama condition**

Where noindex lives: meta tag vs. X-Robots-Tag header

How ini status differs dari -nya neighbors

Intentional-vs-accidental decision tree

mental models

1. di-crawl-dan-saw-ini. ini status hanya exists because Google di-crawl halaman dan read sebuah directive. itu single fact distinguishes ini dari robots.txt-blocked (tidak pernah di-crawl) dan dari “Crawled — currently not indexed” (terjemahan) “di-crawl — currently not terindeks” (di-crawl, no directive). Locate which dari three Anda’re di sebelum Anda touch anything.

2. “Not indexed” (terjemahan) “Not terindeks” ≠ broken. default assumption seharusnya menjadi intentional, not error. Validate list dari URLs pertama; sebagian besar dari time right move adalah untuk melakukan nothing. one combination worth treating sebagai urgent adalah sebuah noindexed URL itu’s juga sitting di Anda submitted sitemap — because sebuah sitemap adalah dimaksudkan untuk list what Anda ingin terindeks (submission adalah hanya sebuah hint untuk Google, not sebuah guarantee), dan sebuah noindexed sitemap URL contradicts itu.

3. Two sources, selalu periksa both. sebuah noindex adalah either sebuah meta tag (di rendered <head>) atau sebuah X-Robots-Tag header (di respons HTTP). header adalah invisible di View Source, so “I don’t have a noindex” (terjemahan) “I don’t memiliki sebuah noindex” biasanya berarti “I didn’t check the header.” (terjemahan) “I didn’t periksa header.” periksa both, setiap time.

4. crawl-dependent — tidak pernah pair noindex dengan sebuah disallow. Google harus crawl sebuah halaman untuk see -nya noindex. Block crawling di robots.txt dan noindex becomes invisible, leaving halaman dapat diindeks via tautan. untuk hapus sebuah halaman: allow crawling + pertahankan noindex, wait untuk deindexing, lalu optionally disallow.

5. Trust Googlebot’s view, not Anda browser’s. untuk phantom noindex (Anda see none, GSC sees one), Anda browser’s View Source adalah wrong instrument. sebuah CDN, cache, atau pengguna-agent aturan dapat tampilkan Googlebot something berbeda. Diagnose dengan sebuah nyata Googlebot fetch — pemeriksaan URL’s live test atau Rich hasil Test — which menampilkan exact respons Google menerima.

Playbook: Anda hanya saw sebuah “marked ‘noindex’” (terjemahan) “marked ‘noindex’” status

Read ini top untuk bottom pertama time Anda hit one dari ini statuses. Branch off di setiap “if you see” (terjemahan) “jika Anda see” — sebagian besar runs end early.

1. Open halaman pengindeksan report dan click ke status row. Note which dari three labels ini adalah: “URL marked ‘noindex’,” (terjemahan) “URL marked ‘noindex’,” “Submitted URL marked ‘noindex,’” (terjemahan) “Submitted URL marked ‘noindex,’” atau legacy “Excluded by ‘noindex’ tag.” (terjemahan) “Excluded oleh ‘noindex’ tag.” Pull full list dari affected URLs — don’t judge dari count alone.

2. Skim URL list untuk shape. jika Anda see mostly thank-Anda halaman, internal search, filter/facet URLs, atau admin/account halaman — ini adalah halaman Anda’d normally ingin out dari indeks. → Stop here. No tindakan needed; ini adalah sistem berfungsi sebagai intended.

3. jika Anda see sebuah URL Anda actually ingin peringkat, isolate ini. Someone atau something put sebuah noindex pada sebuah halaman itu seharusnya menjadi dapat diindeks. Move untuk langkah 4 untuk temukan where ini adalah coming dari.

4. jika label adalah “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” — atau Anda hanya notice URL adalah both noindexed dan di Anda sitemap — treat ini sebagai urgent. Sitemap submission adalah dimaksudkan untuk signal URLs Anda ingin di Search (Google treats ini sebagai sebuah hint, not sebuah guarantee), so sebuah noindex pada itu sama URL adalah sebuah direct contradiction, dan banyak reports dan alat surface ini sebagai sebuah error-tingkat row untuk exactly itu alasan. Decide which side adalah correct — Anda ingin ini terindeks (hapus noindex) atau Anda tidak (pull ini dari sitemap) — dan resolve contradiction yang sama day Anda temukan ini.

5. Locate directive. periksa rendered <head> untuk sebuah <meta name="robots" content="noindex"> tag, lalu periksa respons headers (curl -I atau DevTools → Network) untuk sebuah X-Robots-Tag: noindex. jika neither menampilkan anything dan GSC masih reports one, Anda mungkin memiliki sebuah phantom noindex — go untuk langkah 6.

6. jika View Source adalah clean tetapi GSC masih says noindex, don’t trust Anda browser. Run sebuah live Googlebot fetch (pemeriksaan URL → Test live URL, atau Rich hasil Test). cari sebuah CDN/cache serving sebuah stale header, sebuah directive conditional pada pengguna-agent, atau sebuah staging template leaking ke production.

7. jika URL adalah juga disallowed di robots.txt, fix itu pertama. sebuah disallow hides noindex dari Google entirely, so nothing Anda melakukan untuk noindex akan take effect until crawling adalah allowed again. hapus disallow (atau wait untuk ini untuk lift) sebelum moving pada.

8. hapus directive di -nya nyata source — template, server config, CMS field, atau CDN edge aturan — dan purge apa pun cache sitting di front dari ini.

9. Re-verify dengan sebuah live Googlebot fetch itu halaman now mengembalikan no noindex, lalu gunakan permintaan pengindeksan untuk priority URLs dan/atau Validate Fix untuk whole affected set.

10. Wait dan recheck. Recrawl dan reindexing aren’t instant, dan there’s no fixed turnaround — Google’s own guidance adalah itu revisit timing depends pada halaman’s importance dan dapat run untuk months untuk lower-priority halaman, not hanya days. permintaan pengindeksan menanyakan Google untuk try sooner; ini doesn’t guarantee sebuah timeline. dan jika Anda disallowed halaman di langkah 7 hanya untuk save anggaran crawling setelah removal, itu’s one case where disallow-setelah-noindex adalah correct.

Scripts dan snippets

periksa respons headers (macOS/Linux, shell) — satu-satunya cara untuk see sebuah X-Robots-Tag, since ini tidak pernah menampilkan up di View Source:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "https://example.com/page/" | grep -i "x-robots-tag\|^HTTP"

periksa respons headers (Windows, PowerShell) — sama periksa, no curl diperlukan:

$r = Invoke-WebRequest -Uri "https://example.com/page/" -UserAgent "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -UseBasicParsing
$r.Headers["X-Robots-Tag"]
$r.StatusCode

temukan sebuah meta robots tag di rendered DOM (DevTools Console) — paste ke Console panel pada live halaman; catches tags injected oleh sebuah tag manager itu raw View Source akan miss:

[...document.querySelectorAll('meta[name="robots"], meta[name="googlebot"]')].map(m => m.outerHTML)

Bookmarklet — periksa saat ini halaman’s meta robots tag di one click. Save sebagai sebuah bookmark dengan ini sebagai URL, lalu click ini pada apa pun halaman Anda’re auditing:

javascript:(function(){var m=[...document.querySelectorAll('meta[name="robots"],meta[name="googlebot"]')].map(function(x){return x.outerHTML}).join('\n')||'No meta robots tag found in DOM';alert(m);})();

Regex — pull noindex out dari sebuah bulk HTML export. jika Anda’re grepping sebuah batch dari saved halaman-source files atau sebuah crawl export untuk content="...noindex..." nilai, ini captures full content attribute so Anda dapat see jika noindex adalah paired dengan anything else (like nofollow atau noarchive):

<meta\s+name=["'](?:robots|googlebot)["']\s+content=["']([^"']*)["']

capture group (([^"']*)) adalah full directive list — periksa ini untuk noindex specifically alih-alih assuming sebuah match berarti noindex, since yang sama tag dapat carry noarchive atau lainnya directives without ini.

alat untuk ini task

ini situs’s alat

• Google indeks Checker — fetches sebuah URL sebagai Googlebot dan reports observable indexability signals: status, redirects, noindex directives (meta tag dan header), dan canonical hints, semua di one pass. ini adalah explicit itu ini dapat’t see Google’s actual indeks state — hanya Search Console dapat — tetapi ini adalah fastest cara untuk periksa noindex + canonical

• status combination sebelum Anda go anywhere near GSC.

• header HTTP Checker — raw respons headers untuk sebuah URL, including X-Robots-Tag. gunakan ini when Anda specifically perlu untuk confirm sebuah header-based noindex (atau confirm ini adalah hilang setelah sebuah fix), separate dari anything di halaman’s HTML.
• Robots.txt Tester — memeriksa whether sebuah given URL adalah disallowed untuk sebuah given pengguna-agent. Run ini whenever Anda’re diagnosing sebuah noindex itu doesn’t seem untuk menjadi taking effect — sebuah disallow pada yang sama URL adalah classic cause.

ketiga-party alat

• Google Search Console — halaman pengindeksan report (where ini status lives), sitemap report (untuk “Submitted” (terjemahan) “Submitted” variant), dan URL Inspection → Test live URL, satu-satunya alat itu menampilkan Anda sebuah nyata-time Googlebot fetch dan verdict.
• Rich hasil Test — lainnya live Googlebot fetch; berguna sebagai sebuah kedua read pada respons HTTP dan rendered snapshot when Anda’re chasing sebuah phantom atau CDN-disajikan noindex.

Validation tests

Run ini setelah menghapus sebuah noindex Anda didn’t ingin, atau setelah resolving sebuah “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” contradiction.

Test 1: Header no longer mengirim X-Robots-Tag: noindex

• Test untuk run: curl -I URL (atau header HTTP Checker) dan inspect respons headers.
• Expected hasil: No X-Robots-Tag header, atau one without noindex di ini.
• Failure interpretation: directive adalah masih menjadi disajikan — periksa server/CMS config again, dan jelas apa pun CDN atau edge cache itu mungkin menjadi serving sebuah stale respons.
• Monitoring window: Immediate — ini adalah sebuah live fetch, not sebuah crawl-dependent signal.
• Rollback trigger: N/sebuah (ini test doesn’t perubahan anything); re-run setelah setiap config atau cache perubahan until ini passes.

Test 2: Rendered halaman memiliki no meta robots noindex

• Test untuk run: Google indeks Checker atau sebuah DevTools/View Source periksa dari rendered <head>.
• Expected hasil: No <meta name="robots" content="noindex"> (atau googlebot variant) di rendered DOM.
• Failure interpretation: sebuah template, tag manager, atau JS injection adalah masih menambahkan tag — periksa rendered DOM, not hanya raw source.
• Monitoring window: Immediate.
• Rollback trigger: N/sebuah; re-run setelah setiap template/config perubahan.

Test 3: Live Googlebot fetch confirms halaman adalah dapat diindeks

• Test untuk run: GSC pemeriksaan URL → Test live URL.
• Expected hasil: “URL is available to Google” (terjemahan) “URL adalah available untuk Google” dengan no noindex flagged di live test hasil.
• Failure interpretation: Googlebot adalah seeing something Anda browser isn’t — periksa untuk sebuah pengguna-agent-conditional directive atau CDN aturan serving Google sebuah berbeda respons daripada Anda get.
• Monitoring window: Immediate untuk live-test hasil itself.
• Rollback trigger: jika live test masih menampilkan noindex setelah sebuah config perubahan plus sebuah cache purge, treat fix sebagai not yet live dan pertahankan debugging sebelum requesting pengindeksan.

Test 4: URL adalah not juga blocked oleh robots.txt

• Test untuk run: Robots.txt Tester terhadap sama URL.
• Expected hasil: Allowed untuk Googlebot.
• Failure interpretation: sebuah disallow adalah hiding whatever noindex state exists — Google dapat’t recrawl untuk see Anda fix. hapus disallow pertama.
• Monitoring window: Immediate.
• Rollback trigger: N/sebuah; ini harus pass sebelum lainnya tests berarti anything untuk sebuah halaman Anda ingin terindeks.

Test 5: halaman pengindeksan report clears status

• Test untuk run: GSC halaman pengindeksan report, setelah hitting Validate Fix pada affected group (atau permintaan pengindeksan untuk sebuah single priority URL).
• Expected hasil: URL moves out dari “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” / “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” dan ke “Indexed” (terjemahan) “terindeks” (atau Anda intended status) di report.
• Failure interpretation: masih pending recrawl, atau directive adalah masih present somewhere Anda haven’t diperiksa (re-run Tests 1–3).
• Monitoring window: Variable, not fixed — validation runs di background pada Google’s own recrawl schedule. Google’s documentation says revisit timing depends pada halaman’s importance dan dapat take considerably longer daripada sebuah few days, up untuk months untuk lower-priority halaman; don’t treat sebuah slow update sebagai sebuah failure pada -nya own.
• Rollback trigger: jika validation masih hasn’t moved setelah sebuah genuinely panjang wait (dan Tests 1–4 semua pass), re-periksa Tests 1–4 di order alih-alih re-submitting yang sama fix.

Quiz

Five pertanyaan untuk periksa what actually stuck dari ini artikel.

Log perubahan