Panduan URL Marked 'noindex' (GSC Status)

TL;DR — “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” di Google Search Console berarti Google looked di Anda halaman, saw sebuah noindex instruction pada ini, dan dipertahankan ini out dari penelusuran pada purpose. sebagian besar dari time itu’s yang dimaksud — lots dari halaman seharusnya menjadi noindexed. situation untuk sebenarnya worry tentang adalah sebuah halaman Anda put di Anda sitemap (asking Google untuk indeks ini) itu juga says jangan-indeks — beberapa reports panggil ini “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’”. lihat list dari affected halaman: jika mereka’re semua ones Anda dimaksudkan untuk hide, Anda’re selesai.

Apa ini status adalah telling Anda

ini label berarti Google encountered sebuah noindex directive sementara processing halaman. Bukti untuk klaim ini Google reports URL marked noindex when it encounters a noindex directive and does not index the page. Cakupan: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google: Page indexing report Google mendukung noindex di sebuah robots meta element atau X-Robots-Tag respons header. Bukti untuk klaim ini Google supports noindex through a robots meta tag or X-Robots-Tag header and must crawl the page to observe it. Cakupan: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google: Block indexing with noindex

Ketika Anda open halaman pengindeksan report di Search Console dan see sebuah baris called “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’”, di sini’s apa happened: Google visited (di-crawl) halaman, ditemukan sebuah noindex instruction pada ini, dan decided tidak untuk put ini di penelusuran hasil. itu’s ini. halaman tidak rusak — Google melakukan persis apa halaman told ini untuk melakukan.

sebuah noindex adalah sebuah kecil instruction itu says “jangan menunjukkan ini halaman di penelusuran.” (terjemahan) “jangan tampilkan ini halaman di penelusuran.” ini lives di satu dari dua places:

• sebuah line di halaman’s code (sebuah meta robots tag), atau
• sebuah setting di halaman’s server respons (sebuah X-Robots-Tag header) — ini satu Anda dapat’t see oleh hanya looking di halaman.

adalah ini buruk? biasanya tidak

kata itu scares orang adalah “Tidak indexed” (terjemahan) “Tidak terindeks” ( bagian ini status lives di bawah). ini sounds like sebuah error. ini biasanya tidak. Plenty dari halaman seharusnya menjadi dipertahankan out dari penelusuran:

• Thank-Anda / order-konfirmasi halaman
• Internal hasil pencarian
• Login, account, dan admin halaman
• Filtered atau sorted versi dari sebuah listing

jika halaman di ini list adalah ones Anda dimaksudkan untuk hide, leave them alone. ada tidak ada apa pun untuk perbaiki.

Ketika Anda melakukan perlu untuk act

Dua situations:

1. sebuah halaman Anda ingin di Google adalah di ini list. Sesuatu put sebuah noindex pada sebuah halaman itu seharusnya peringkat. itu’s sebuah mistake untuk track down.
2. Anda see “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” (sebuah slightly berbeda, sharper wording beberapa reports dan alat gunakan). Either cara, substance adalah yang sama: Anda submitted halaman di Anda sitemap — yang adalah dimaksudkan untuk list halaman Anda ingin di Penelusuran — tetapi halaman juga says “jangan index.” (terjemahan) “jangan indeks.” itu dua hal contradict setiap lainnya. Either hapus noindex (jika Anda ingin ini terindeks) atau take URL out dari Anda sitemap (jika Anda tidak).

name confusion

«You might also remember this as “Excluded by ‘noindex’ tag.” That’s just the older name for the same thing from Google’s previous report. So three labels — “URL marked ‘noindex’,” “Submitted URL marked ‘noindex’,” and “Excluded by ‘noindex’ tag” — all describe one situation: Google found a noindex. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian delapan belas, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Satu trap untuk know tentang

sebuah umum instinct adalah untuk juga block halaman di robots.txt untuk “benar-benar” (terjemahan) “benar-benar” pertahankan ini out. jangan. Blocking crawling berhenti Google dari reading halaman di semua — yang berarti ini dapat’t see Anda noindex either. Counterintuitively, halaman dapat stay di penelusuran. untuk hapus sebuah halaman, let Google crawl ini dan pertahankan noindex pada ini.

ingin penuh diagnostic versi — meta tag vs. header detection, phantom/CDN noindex, dan perbaiki-dan-validate flow — switch untuk Advanced tab.

TL;DR — “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” adalah GSC halaman pengindeksan status untuk sebuah halaman Google di-crawl dan ditemukan sebuah noindex pada — meta robots tag atau X-Robots-Tag header, dan Google juga honors sebuah robots meta tag placed di halaman body, tidak hanya <head>. Multiple names, satu state: saat ini “URL marked ‘noindex’,” (terjemahan) “URL marked ‘noindex’,” sharper sitemap-submitted wording “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” itu reports dan alat commonly gunakan, dan legacy “Excluded oleh ‘noindex’ tag.” (terjemahan) “Excluded oleh ‘noindex’ tag.” ini adalah distinct dari robots.txt-blocked (tidak pernah di-crawl) dan dari “Crawled — currently not indexed” (terjemahan) “di-crawl — saat ini tidak terindeks” (Tidak directive). biasanya intentional — validate URL list pertama. sebuah noindexed URL masih sitting di Anda sitemap adalah nyata flag (sitemap submission adalah sebuah hint, tidak sebuah jaminan). noindex adalah crawl-dependent: pair ini dengan sebuah robots.txt disallow dan Google dapat’t see ini, so halaman dapat stay terindeks. Ketika aturan conflict, Google applies lebih restrictive satu. periksa dua sources ( dirender HTML dan header HTTP), debug phantom/CDN noindex dengan sebuah langsung Googlebot fetch (pemeriksaan URL / Rich hasil Test), lalu hapus directive, Validate Perbaiki, dan expect reprocessing untuk take lebih lama daripada sebuah day atau dua — Google says ini dapat jalankan untuk months untuk lebih rendah-priority halaman.

Apa status sebenarnya berarti

report mendeskripsikan Google’s observed directive, tidak mengapa sebuah CMS, template, atau CDN ditambahkan ini. Bukti untuk klaim ini Google reports URL marked noindex when it encounters a noindex directive and does not index the page. Cakupan: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google: Page indexing report Google harus menjadi able untuk crawl halaman untuk observe dan apply noindex. Bukti untuk klaim ini Google supports noindex through a robots meta tag or X-Robots-Tag header and must crawl the page to observe it. Cakupan: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google: Block indexing with noindex

Google’s own definition adalah precise: ketika Google tried untuk indeks halaman, ini encountered sebuah noindex directive dan karena itu melakukan tidak indeks ini. key kata adalah encountered — Google memiliki untuk crawl halaman untuk see directive. So ini status carries dua facts di setelah: Google reached halaman, dan halaman told ini tidak untuk menjadi terindeks.

itu’s seluruh accuracy spine di sini, dan ini adalah apa separates ini status dari -nya neighbors:

• Robots.txt-blocked → Google adalah tidak pernah diizinkan untuk crawl, so ini tidak baca apa pun konten atau apa pun directive.
• “Crawled — currently not indexed” (terjemahan) “di-crawl — saat ini tidak terindeks” → Google di-crawl, ditemukan Tidak directive, dan chose tidak untuk indeks anyway.
• “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” → Google di-crawl, ditemukan sebuah noindex, dan obeyed ini.

three names adalah satu condition

ini trips orang up karena label memiliki changed di atas time dan shifts berdasarkan bagaimana URL adalah ditemukan:

• “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” — saat ini, umum label di halaman pengindeksan report. Lives di bawah “Tidak indexed” (terjemahan) “Tidak terindeks” (formerly “Excluded” (terjemahan) “Excluded”). ini adalah wording Google’s own saat ini halaman pengindeksan report documentation menggunakan dan defines.
• “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” — yang sama underlying condition, tetapi untuk sebuah URL itu’s juga di sebuah sitemap Anda submitted. ini adalah sharper wording practitioners dan ketiga-party SEO alat commonly report untuk itu combination. Google’s saat ini help documentation tidak spell ini out sebagai sebuah secara terpisah didefinisikan status distinct dari “URL marked ‘noindex,’” (terjemahan) “URL marked ‘noindex,’” so treat tepat label sebagai report-dependent — tetapi substance holds regardless dari apa sebuah diberikan alat panggilan ini: sebuah sitemap adalah dimaksudkan untuk list URLs Anda ingin di Penelusuran (dan submitting satu adalah sebuah hint untuk Google, tidak sebuah jaminan dari pengindeksan), so sebuah noindexed URL sitting di ini adalah sebuah contradiction worth resolving.
• “Excluded oleh ‘noindex’ tag” (terjemahan) “Excluded oleh ‘noindex’ tag” — legacy name dari pre-2021 “Index Coverage” (terjemahan) “indeks Coverage” report. masih paling-searched colloquial versi. sama underlying hal.

jika Anda’ve landed di sini dari apa pun dari itu three, Anda’re di yang sama place.

adalah ini sebuah masalah? intentional-vs-accidental decision

jangan reflexively “perbaiki” (terjemahan) “perbaiki” ini. decision tree:

1. Pull list dari affected URLs (click ke status).
2. adalah ini halaman Anda dimaksudkan untuk exclude? Thank-Anda halaman, internal penelusuran, faceted/filter URLs, account/admin, staging itu tidak seharusnya menjadi langsung. → Tidak tindakan. “Tidak indexed” (terjemahan) “Tidak terindeks” adalah tidak yang sama sebagai “rusak,” (terjemahan) “rusak,” dan Google says sebagai banyak: ini URLs memiliki tidak telah terindeks, tetapi tidak niscaya karena sebuah error.
3. adalah sebuah halaman Anda ingin terindeks di ini list? → sebuah noindex leaked onto ini. temukan dan hapus ini.
4. adalah noindexed URL juga sitting di Anda submitted sitemap (sering surfaced sebagai “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’”)? → Resolve contradiction secara langsung: hapus noindex (untuk indeks ini) atau hapus URL dari Anda sitemap (untuk leave ini noindexed). jangan leave sebuah noindexed URL sitting di sebuah sitemap — sitemap submission adalah sebuah hint untuk Google tentang apa Anda ingin terindeks, tidak sebuah permintaan itu overrides halaman’s own directive.

alasan pesaing treat ini sebagai sebuah pure “error untuk perbaiki” (terjemahan) “error untuk perbaiki” adalah itu mereka skip langkah 2. sebagian besar dari time, ini status adalah sistem berfungsi correctly.

Di mana noindex lives: meta tag vs. X-Robots-Tag header

ada persis dua pengiriman metode, dan Anda memiliki untuk periksa keduanya karena mereka look completely berbeda:

• Meta robots tag — <meta name="robots" content="noindex"> di halaman’s <head>. Targets semua crawler; <meta name="googlebot" content="noindex"> targets Google hanya. ini adalah satu Anda dapat spot di HTML.
• X-Robots-Tag header HTTP — X-Robots-Tag: noindex di server’s respons headers. ini adalah sneaky satu. ini adalah set di server, CMS, atau CDN config, tidak di halaman sumber, so “View Sumber” (terjemahan) “View Sumber” tidak akan tampilkan ini. header metode adalah juga satu-satunya cara untuk noindex non-HTML files — sebuah respons header dapat menjadi digunakan untuk non-HTML resources such sebagai PDFs, video files, dan image files, yang memiliki Tidak <head> untuk hold sebuah meta tag.

Ketika GSC says noindex dan Anda swear halaman tidak memiliki satu, header adalah pertama place untuk look ( cheat sheet tab lays dua side oleh side).

cara temukan directive pada sebuah halaman

1. View Sumber / dirender DOM — penelusuran untuk noindex. periksa dirender <head>, tidak hanya mentah sumber, since sebuah tag dapat menjadi injected oleh JavaScript atau sebuah tag manager. jangan berhenti di <head>, either: Google memiliki mengatakan ini tidak enforce meta-robots placement dan respects sebuah robots meta tag ditemukan di halaman’s <body> too, so sebuah directive injected lebih rendah di document masih counts.
2. respons headers — curl -I https://example.com/page/ (atau browser DevTools → Network → document permintaan → respons Headers) dan cari sebuah X-Robots-Tag line.
3. pemeriksaan URL (GSC) → Test langsung URL — ini fetches halaman sebagai Googlebot dan reports pengindeksan verdict dan respons. ini adalah satu itu catches directives disajikan hanya untuk Google.
4. Rich hasil Test — lainnya nyata Googlebot fetch itu mengembalikan HTTP respons dan sebuah dirender snapshot dari persis apa server menampilkan Google.
5. periksa untuk conflicting robots aturan, tidak hanya sebuah single tag. jika lebih daripada satu robots directive applies untuk halaman (say, sebuah template sets index tetapi sebuah plugin atau header menambahkan noindex), Google applies lebih restrictive aturan — so sebuah stray noindex anywhere wins bahkan jika lainnya aturan says index. jangan berhenti searching setelah Anda’ve ditemukan satu directive itu looks permissive.

robots.txt conflict (mengapa disallow + noindex backfires)

ini adalah single sebagian besar-muddled poin di setiap lainnya guide, so I ingin ini tepat. noindex adalah crawl-dependent: Google memiliki untuk menjadi able untuk fetch halaman untuk baca directive. Google status aturan plainly — untuk noindex aturan untuk menjadi effective, halaman harus tidak menjadi blocked oleh sebuah robots.txt file dan memiliki untuk menjadi jika tidak accessible untuk crawler; jika ini adalah blocked atau crawler dapat’t access ini, crawler akan tidak pernah see noindex, dan halaman dapat masih muncul di penelusuran (misalnya, jika lainnya halaman tautan untuk ini).

I’ve ditulis tentang flip side dari ini untuk tahun. di my Ahrefs piece pada “Indexed, though blocked by robots.txt” (terjemahan) “terindeks, though blocked oleh robots.txt”, core poin adalah itu “crawling and indexing are two different things” (terjemahan) “crawling dan pengindeksan adalah dua berbeda hal” — “if you block a page from being crawled, Google may still index it.” (terjemahan) “jika Anda block sebuah halaman dari menjadi di-crawl, Google dapat masih indeks ini.” dan secara khusus pada ini conflict: “Unless Google can crawl a page, they won’t see the noindex meta tag and may still index it because it has links.” (terjemahan) “Unless Google dapat crawl sebuah halaman, mereka tidak akan see noindex meta tag dan dapat masih indeks ini karena ini memiliki tautan.” So self-defeating combo adalah noindex + robots.txt disallow: disallow hides noindex, dan halaman dapat stay terindeks melalui tautan eksternal.

correct sequence untuk sebenarnya hapus sebuah halaman:

1. Izinkan crawling dan pertahankan noindex di place.
2. Tunggu untuk Google untuk recrawl, see directive, dan drop halaman.
3. hanya lalu, jika Anda ingin save anggaran crawling, Anda dapat disallow ini di robots.txt — setelah deindexing, tidak sebelum.

My standing recommendation, dari itu sama artikel: “Just add a noindex meta robots tag and make sure to allow crawling — assuming it’s canonical.” (terjemahan) “hanya tambahkan sebuah noindex meta robots tag dan pastikan untuk izinkan crawling — assuming ini adalah canonical.”

Phantom noindex: CDN cache dan Googlebot-hanya directives

hardest versi dari ini adalah “phantom” (terjemahan) “phantom” noindex: Anda lihat halaman, see Tidak noindex anywhere, dan GSC masih reports satu. John Mueller memiliki addressed persis ini — di cases he’s seen, di sana adalah sebuah sebenarnya noindex, sometimes ditampilkan hanya untuk Google, yang dapat menjadi very hard untuk debug. (He noted itu scenario ketika ini came up; I’m paraphrasing his poin alih-alih quoting ini sebagai sebuah formal statement.)

biasa suspects — treat ini sebagai hypotheses untuk periksa, tidak confirmed penyebab, until langsung respons sebenarnya menampilkan satu dari them:

• sebuah CDN atau cache serving sebuah stale X-Robots-Tag: noindex header itu’s Tidak lebih lama di Anda origin config.
• sebuah directive conditional pada pengguna-agent — server mengembalikan sebuah bersih halaman untuk Anda browser dan sebuah noindexed satu untuk Googlebot.
• sebuah staging/template leak — sebuah noindex dimaksudkan untuk sebuah staging environment shipping untuk production melalui sebuah shared template.

diagnosis adalah yang sama di semua three: jangan trust “View Sumber” (terjemahan) “View Sumber” di Anda own browser. melakukan sebuah nyata Googlebot fetch — pemeriksaan URL’s Test langsung URL atau Rich hasil Test — yang menampilkan Anda respons HTTP dan dirender halaman persis sebagai Google menerima ini. itu’s bagaimana Anda catch sebuah server/CDN serving satu hal untuk Anda dan lainnya untuk crawler.

cara perbaiki ini dan validate

setelah Anda’ve confirmed noindex adalah sebuah mistake:

1. hapus directive di -nya nyata sumber — meta tag di template, atau X-Robots-Tag header di server/CMS/CDN config. jelas apa pun CDN/halaman cache so perbaiki adalah sebenarnya menjadi disajikan.
2. Konfirmasi dengan sebuah langsung Googlebot fetch (pemeriksaan URL → Test langsung URL) itu halaman now mengembalikan Tidak noindex dan menampilkan “URL adalah tersedia untuk Google.” (terjemahan) “URL adalah tersedia untuk Google.”
3. permintaan pengindeksan untuk tinggi-priority URLs, dan/atau gunakan report’s Validate Perbaiki button untuk tell Google untuk recheck seluruh affected set.
4. Tunggu. Deindexing dan reindexing tidak instant — Google memiliki untuk recrawl untuk see perubahan pertama, dan Google’s own guidance adalah itu revisit timing bergantung pada halaman’s importance dan dapat take considerably lebih lama daripada sebuah day atau dua (-nya documentation memberikan “months” (terjemahan) “months” sebagai sebuah possibility untuk lebih rendah-priority halaman). permintaan pengindeksan pada sebuah priority URL adalah bagaimana Anda tanyakan Google untuk try sooner, tidak sebuah cara untuk force sebuah spesifik timeline. jangan panic jika status lingers sementara reprocessing.

untuk inverse — sebuah halaman Anda ingin noindexed tetapi itu’s stuck di indeks karena ini adalah juga robots.txt-blocked — unblock crawling pertama so Google dapat finally see noindex.

Di mana ini sits

ini status adalah satu node di Google’s halaman pengindeksan report. robots directive behind ini — noindex — dapat menjadi delivered sebagai sebuah meta robots tag atau sebuah X-Robots-Tag header, dan right alat bergantung pada apakah Anda’re berfungsi dengan HTML atau non-HTML files. neighboring statuses (“Indexed, though blocked oleh robots.txt” (terjemahan) “terindeks, though blocked oleh robots.txt” dan “Crawled — currently not indexed” (terjemahan) “di-crawl — saat ini tidak terindeks”) deskripsikan berbeda status dan perlu berbeda memperbaiki; mempertahankan them straight adalah sebagian besar dari battle.

AI summary

sebuah condensed take pada Advanced versi:

• Apa ini berarti: “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” adalah GSC halaman pengindeksan status untuk sebuah halaman Google di-crawl dan ditemukan sebuah noindex pada — so ini dipertahankan ini out dari indeks pada purpose. Google memiliki untuk crawl halaman untuk see directive, dan ini honors itu directive apakah ini adalah di <head> atau halaman body.
• Multiple names, satu state: saat ini “URL marked ‘noindex’,” (terjemahan) “URL marked ‘noindex’,” sharper sitemap-submitted wording “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” itu reports dan alat commonly gunakan, dan legacy “Excluded by ‘noindex’ tag.” (terjemahan) “Excluded oleh ‘noindex’ tag.”
• Distinct dari neighbors: robots.txt-blocked = tidak pernah di-crawl; “Crawled — saat ini tidak indexed” (terjemahan) “di-crawl — saat ini tidak terindeks” = di-crawl, Tidak directive; ini status = di-crawl, ditemukan sebuah noindex, obeyed ini.
• biasanya intentional. Validate URL list pertama. Thank-Anda halaman, internal penelusuran, facets, admin = fine, Tidak tindakan. hanya act jika sebuah halaman Anda ingin terindeks adalah di list — atau URL adalah noindexed tetapi masih sitting di Anda sitemap (sebuah contradiction, since sitemap submission adalah sebuah hint untuk apa Anda ingin terindeks, tidak sebuah jaminan): hapus noindex atau hapus ini dari sitemap.
• Dua pengiriman metode: sebuah meta robots tag anywhere di dirender HTML (tidak hanya <head>), atau sebuah X-Robots-Tag header HTTP (satu-satunya cara untuk non-HTML files like PDFs, dan sneaky satu — tidak di halaman sumber). periksa keduanya, dan remember itu ketika multiple robots aturan conflict, Google applies lebih restrictive satu.
• ** robots.txt conflict:** noindex adalah crawl-dependent. Disallow + noindex backfires — Google dapat’t see sebuah noindex ini dapat’t crawl, so halaman dapat stay terindeks melalui tautan. untuk hapus sebuah halaman: izinkan crawling + pertahankan noindex, lalu secara opsional disallow setelah deindexing.
• Phantom noindex: owner sees none, Google melakukan — biasanya sebuah CDN/cache serving sebuah stale header, sebuah Googlebot-hanya directive, atau sebuah staging/template leak (treat ini sebagai hypotheses untuk konfirmasi, tidak assumed penyebab). Debug dengan sebuah nyata Googlebot fetch (pemeriksaan URL pengujian langsung / Rich hasil Test), tidak View Sumber.
• Perbaiki → validate: hapus directive di -nya sumber, jelas caches, konfirmasi melalui sebuah langsung Googlebot fetch, permintaan pengindeksan / Validate Perbaiki, lalu tunggu — Google’s own guidance says reprocessing bergantung pada halaman’s importance dan dapat take banyak lebih lama daripada sebuah day atau dua, up untuk months untuk lebih rendah-priority halaman.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• halaman pengindeksan report — report ini status lives di; defines “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” dan related “Indexed, though blocked by robots.txt” (terjemahan) “terindeks, though blocked oleh robots.txt” (-nya saat ini text tidak secara terpisah spell out “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” sebagai sebuah distinct status name, though underlying sitemap contradiction ini mendeskripsikan adalah nyata).
• Block penelusuran pengindeksan dengan noindex — apa noindex melakukan, meta-tag vs. X-Robots-Tag header metode, crawl-dependent aturan (sebuah blocked halaman tidak pernah sees noindex), dan Google’s own note itu revisiting sebuah halaman setelah sebuah perubahan dapat take months depending pada -nya importance.
• Robots meta tag, data-nosnippet, dan X-Robots-Tag specifications — bagaimana conflicting robots aturan resolve ( lebih restrictive aturan wins) dan konfirmasi itu Google juga respects sebuah robots meta tag placed di halaman body, tidak hanya <head>.
• Introduction untuk robots.txt — mengapa robots.txt controls crawling, tidak pengindeksan, dan mengapa ini adalah tidak sebuah deindexing alat.
• pemeriksaan URL alat — “Test langsung URL” (terjemahan) “Test langsung URL” fetches halaman sebagai Googlebot, cara untuk catch directives disajikan hanya untuk Google.
• bangun dan submit sebuah sitemap — sitemaps seharusnya list URLs Anda ingin di Penelusuran, dan submitting satu adalah sebuah hint untuk Google, tidak sebuah jaminan dari crawling atau pengindeksan.

Bing / Microsoft

• Bing Webmaster alat — Help & Bagaimana-untuk — Bing honors robots <meta name="robots" content="noindex"> tag dan X-Robots-Tag header yang sama cara; -nya indeks reports surface noindexed halaman similarly. (Lebih rendah priority untuk ini Google-spesifik status.)

Quotes dari sumber

pada—record statements dari Google, plus my own writing pada robots.txt conflict. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa status berarti

• “When Google tried to index the page it encountered a ‘noindex’ directive and therefore did not index it.” (terjemahan) “Ketika Google tried untuk indeks halaman ini encountered sebuah ‘noindex’ directive dan karena itu melakukan tidak indeks ini.” — Google Search Console Help (halaman pengindeksan report). Jump untuk quote

Google — noindex adalah crawl-dependent

• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler. If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it.” (terjemahan) “untuk noindex aturan untuk menjadi effective, halaman atau resource harus tidak menjadi blocked oleh sebuah robots.txt file, dan ini memiliki untuk menjadi jika tidak accessible untuk crawler. jika halaman adalah blocked oleh sebuah robots.txt file atau crawler dapat’t access halaman, crawler akan tidak pernah see noindex aturan, dan halaman dapat masih muncul di hasil pencarian, misalnya jika lainnya halaman tautan untuk ini.” — Google Search Central docs (Block penelusuran pengindeksan dengan noindex). Jump untuk quote
• “Depending pada itu importance dari itu halaman pada itu internet, it mungkin take months untuk Googlebot untuk revisit a halaman.” (terjemahan) “Depending pada importance dari halaman pada internet, ini dapat take months untuk Googlebot untuk revisit sebuah halaman.” — Google Search Central docs (Block penelusuran pengindeksan dengan noindex), pada bagaimana panjang reprocessing setelah sebuah noindex perubahan dapat take. Baca artikel

Google — conflicting aturan dan di mana sebuah directive dapat langsung

• “Google Search tidak enforce placement dari meta robots di itu HTML head dan akan respect robots meta tags di itu body section dari an HTML document juga.” (terjemahan) “Google Search tidak enforce placement dari meta robots di HTML head dan akan respect robots meta tags di body bagian dari sebuah HTML document sebagai well.” — Google Search Central docs (Robots meta tag, data-nosnippet, dan X-Robots-Tag specifications). Baca artikel
• “In the case of conflicting robots rules, the more restrictive rule applies.” (terjemahan) “di case dari conflicting robots aturan, lebih restrictive aturan applies.” — Google Search Central docs (sama specification). Baca artikel

Patrick Stox (Ahrefs) — robots.txt conflict

• “If you block a page from being crawled, Google may still index it because crawling and indexing are two different things.” (terjemahan) “jika Anda block sebuah halaman dari menjadi di-crawl, Google dapat masih indeks ini karena crawling dan pengindeksan adalah dua berbeda hal.” — me, “Indexed, though blocked by robots.txt” (terjemahan) “terindeks, though blocked oleh robots.txt” dapat menjadi Lebih daripada sebuah Robots.txt Block (Ahrefs). Jump untuk quote
• “Unless Google can crawl a page, they won’t see the noindex meta tag and may still index it because it has links.” (terjemahan) “Unless Google dapat crawl sebuah halaman, mereka tidak akan see noindex meta tag dan dapat masih indeks ini karena ini memiliki tautan.” — me (sama artikel). Baca artikel
• “Just add a noindex meta robots tag and make sure to allow crawling—assuming it’s canonical.” (terjemahan) “hanya tambahkan sebuah noindex meta robots tag dan pastikan untuk izinkan crawling—assuming ini adalah canonical.” — me (sama artikel). Baca artikel

”URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” triage checklist

berfungsi top untuk bottom — sebagian besar dari ini end di langkah 2 dengan “Tidak action needed.” (terjemahan) “Tidak tindakan needed.”

• Open affected URL list di halaman pengindeksan report (click status baris).
• Decide intentional vs. accidental: adalah ini halaman Anda dimaksudkan untuk exclude (thank-Anda, internal penelusuran, facets, admin, staging)? jika Ya → selesai.
• adalah URL juga sitting di Anda submitted sitemap (sering surfaced sebagai “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’”)? Resolve contradiction: hapus noindex (untuk indeks) atau hapus URL dari sitemap (untuk pertahankan ini out).
• untuk halaman itu seharusnya menjadi terindeks, temukan directive di keduanya places:
• Dirender <head> untuk <meta name="robots" ... noindex> (periksa dirender DOM, tidak hanya View Sumber).
• respons headers untuk X-Robots-Tag: noindex (curl -I atau DevTools → Network).
• Konfirmasi apa Googlebot sees dengan pemeriksaan URL → Test langsung URL (atau Rich hasil Test) — catches Googlebot-hanya / CDN-disajikan directives.
• periksa untuk robots.txt conflict: URL adalah tidak juga disallowed (sebuah disallow hides noindex dan dapat leave halaman terindeks).
• hapus directive di -nya nyata sumber (template / server / CMS / CDN), lalu jelas apa pun CDN atau halaman cache.
• Re-test langsung itu halaman now mengembalikan Tidak noindex.
• permintaan pengindeksan dan/atau hit Validate Perbaiki; lalu tunggu — recrawl timing tidak fixed. Google says ini bergantung pada halaman’s importance dan dapat take banyak lebih lama daripada sebuah day atau dua, up untuk months untuk lebih rendah-priority halaman.

Cheat sheets

** three names — sama condition**

«| Label you saw | When it shows | Severity | | --- | --- | --- | | URL marked ‘noindex’ | Google crawled the page and found a noindex | Info (under “Not indexed”) — often intentional | | Submitted URL marked ‘noindex’ | Same, but the URL was in a submitted sitemap | Often surfaced as an error-level row — regardless of label, a contradiction to resolve | | Excluded by ‘noindex’ tag | Legacy name (pre-2021 Index Coverage report) | Same as “URL marked ‘noindex’” | » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh lima, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Di mana noindex lives: meta tag vs. X-Robots-Tag header

Bagaimana ini status differs dari -nya neighbors

Intentional-vs-accidental decision tree

mental models

1. di-crawl-dan-saw-ini. ini status hanya ada karena Google di-crawl halaman dan baca sebuah directive. itu single fact distinguishes ini dari robots.txt-blocked (tidak pernah di-crawl) dan dari “Crawled — currently not indexed” (terjemahan) “di-crawl — saat ini tidak terindeks” (di-crawl, Tidak directive). Locate yang dari three Anda’re di sebelum Anda touch apa pun.

2. “Tidak indexed” (terjemahan) “Tidak terindeks” ≠ rusak. default assumption seharusnya menjadi intentional, tidak error. Validate list dari URLs pertama; sebagian besar dari time right move adalah untuk melakukan tidak ada apa pun. satu combination worth treating sebagai urgent adalah sebuah noindexed URL itu’s juga sitting di Anda submitted sitemap — karena sebuah sitemap adalah dimaksudkan untuk list apa Anda ingin terindeks (submission adalah hanya sebuah hint untuk Google, tidak sebuah jaminan), dan sebuah noindexed sitemap URL contradicts itu.

3. Dua sources, selalu periksa keduanya. sebuah noindex adalah either sebuah meta tag (di dirender <head>) atau sebuah X-Robots-Tag header (di respons HTTP). header adalah invisible di View Sumber, so “I jangan memiliki a noindex” (terjemahan) “I jangan memiliki sebuah noindex” biasanya berarti “I tidak periksa itu header.” (terjemahan) “I tidak periksa header.” periksa keduanya, setiap time.

4. crawl-dependent — tidak pernah pair noindex dengan sebuah disallow. Google harus crawl sebuah halaman untuk see -nya noindex. Block crawling di robots.txt dan noindex becomes invisible, leaving halaman dapat diindeks melalui tautan. untuk hapus sebuah halaman: izinkan crawling + pertahankan noindex, tunggu untuk deindexing, lalu secara opsional disallow.

5. Trust Googlebot’s view, tidak Anda browser’s. untuk phantom noindex (Anda see none, GSC sees satu), Anda browser’s View Sumber adalah wrong instrument. sebuah CDN, cache, atau pengguna-agent aturan dapat tampilkan Googlebot sesuatu berbeda. Diagnose dengan sebuah nyata Googlebot fetch — pemeriksaan URL’s pengujian langsung atau Rich hasil Test — yang menampilkan tepat respons Google menerima.

«## Playbook: you just saw a “marked ‘noindex’” status » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus dua belas, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Baca ini top untuk bottom pertama time Anda hit satu dari ini statuses. Branch off di setiap “jika Anda see” (terjemahan) “jika Anda see” — sebagian besar berjalan end early.

1. Open halaman pengindeksan report dan click ke status baris. Note yang dari three labels ini adalah: “URL marked ‘noindex’,” (terjemahan) “URL marked ‘noindex’,” “Submitted URL marked ‘noindex,’” (terjemahan) “Submitted URL marked ‘noindex,’” atau legacy “Excluded by ‘noindex’ tag.” (terjemahan) “Excluded oleh ‘noindex’ tag.” Pull penuh list dari affected URLs — jangan judge dari count alone.

2. Skim URL list untuk shape. jika Anda see mostly thank-Anda halaman, internal penelusuran, filter/facet URLs, atau admin/account halaman — ini adalah halaman Anda’d biasanya ingin out dari indeks. → Berhenti di sini. Tidak tindakan needed; ini adalah sistem berfungsi sebagai yang dimaksud.

3. jika Anda see sebuah URL Anda sebenarnya ingin peringkat, isolate ini. Seseorang atau sesuatu put sebuah noindex pada sebuah halaman itu seharusnya menjadi dapat diindeks. Move untuk langkah 4 untuk temukan di mana ini adalah coming dari.

4. jika label adalah “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” — atau Anda hanya notice URL adalah keduanya noindexed dan di Anda sitemap — treat ini sebagai urgent. Sitemap submission adalah dimaksudkan untuk sinyal URLs Anda ingin di Penelusuran (Google memperlakukan ini sebagai sebuah hint, tidak sebuah jaminan), so sebuah noindex pada itu sama URL adalah sebuah direct contradiction, dan banyak reports dan alat surface ini sebagai sebuah error-tingkat baris untuk persis itu alasan. Decide yang side adalah correct — Anda ingin ini terindeks (hapus noindex) atau Anda tidak (pull ini dari sitemap) — dan resolve contradiction yang sama day Anda temukan ini.

5. Locate directive. periksa dirender <head> untuk sebuah <meta name="robots" content="noindex"> tag, lalu periksa respons headers (curl -I atau DevTools → Network) untuk sebuah X-Robots-Tag: noindex. jika neither menampilkan apa pun dan GSC masih reports satu, Anda mungkin memiliki sebuah phantom noindex — go untuk langkah 6.

6. jika View Sumber adalah bersih tetapi GSC masih says noindex, jangan trust Anda browser. Jalankan sebuah langsung Googlebot fetch (pemeriksaan URL → Test langsung URL, atau Rich hasil Test). cari sebuah CDN/cache serving sebuah stale header, sebuah directive conditional pada pengguna-agent, atau sebuah staging template leaking ke production.

7. jika URL adalah juga disallowed di robots.txt, perbaiki itu pertama. sebuah disallow hides noindex dari Google entirely, so tidak ada apa pun Anda melakukan untuk noindex akan take effect until crawling adalah diizinkan again. hapus disallow (atau tunggu untuk ini untuk lift) sebelum moving pada.

8. hapus directive di -nya nyata sumber — template, server config, CMS field, atau CDN edge aturan — dan purge apa pun cache sitting di front dari ini.

9. Re-verify dengan sebuah langsung Googlebot fetch itu halaman now mengembalikan Tidak noindex, lalu gunakan permintaan pengindeksan untuk priority URLs dan/atau Validate Perbaiki untuk seluruh affected set.

10. Tunggu dan recheck. Recrawl dan reindexing tidak instant, dan ada Tidak fixed turnaround — Google’s own guidance adalah itu revisit timing bergantung pada halaman’s importance dan dapat jalankan untuk months untuk lebih rendah-priority halaman, tidak hanya days. permintaan pengindeksan menanyakan Google untuk try sooner; ini tidak jaminan sebuah timeline. dan jika Anda disallowed halaman di langkah 7 hanya untuk save anggaran crawling setelah removal, itu’s satu case di mana disallow-setelah-noindex adalah correct.

Scripts dan snippets

periksa respons headers (macOS/Linux, shell) — satu-satunya cara untuk see sebuah X-Robots-Tag, since ini tidak pernah menampilkan up di View Sumber:

curl -sI -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "https://example.com/page/" | grep -i "x-robots-tag\|^HTTP"

periksa respons headers (Windows, PowerShell) — sama periksa, Tidak curl diperlukan:

$r = Invoke-WebRequest -Uri "https://example.com/page/" -UserAgent "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -UseBasicParsing
$r.Headers["X-Robots-Tag"]
$r.StatusCode

temukan sebuah meta robots tag di dirender DOM (DevTools Console) — paste ke Console panel pada langsung halaman; catches tags injected oleh sebuah tag manager itu mentah View Sumber akan miss:

[...document.querySelectorAll('meta[name="robots"], meta[name="googlebot"]')].map(m => m.outerHTML)

Bookmarklet — periksa saat ini halaman’s meta robots tag di satu click. Save sebagai sebuah bookmark dengan ini sebagai URL, lalu click ini pada apa pun halaman Anda’re auditing:

javascript:(function(){var m=[...document.querySelectorAll('meta[name="robots"],meta[name="googlebot"]')].map(function(x){return x.outerHTML}).join('\n')||'No meta robots tag found in DOM';alert(m);})();

Regex — pull noindex out dari sebuah bulk HTML export. jika Anda’re grepping sebuah batch dari saved halaman-sumber files atau sebuah crawl export untuk content="...noindex..." nilai, ini captures penuh content attribute so Anda dapat see jika noindex adalah paired dengan apa pun else (like nofollow atau noarchive):

<meta\s+name=["'](?:robots|googlebot)["']\s+content=["']([^"']*)["']

capture group (([^"']*)) adalah penuh directive list — periksa ini untuk noindex secara khusus alih-alih assuming sebuah match berarti noindex, since yang sama tag dapat carry noarchive atau lainnya directives tanpa ini.

alat untuk ini task

ini situs’s alat

• Google indeks Checker — fetches sebuah URL sebagai Googlebot dan reports observable indexability sinyal: status, redirects, noindex directives (meta tag dan header), dan canonical hints, semua di satu lulus. ini adalah jelas itu ini dapat’t see Google’s sebenarnya indeks state — hanya Search Console dapat — tetapi ini adalah fastest cara untuk periksa noindex + canonical

• status combination sebelum Anda go anywhere near GSC.

• header HTTP Checker — mentah respons headers untuk sebuah URL, including X-Robots-Tag. gunakan ini ketika Anda secara khusus perlu untuk konfirmasi sebuah header-based noindex (atau konfirmasi ini adalah hilang setelah sebuah perbaiki), terpisah dari apa pun di halaman’s HTML.
• Robots.txt Tester — memeriksa apakah sebuah diberikan URL adalah disallowed untuk sebuah diberikan pengguna-agent. Jalankan ini setiap kali Anda’re diagnosing sebuah noindex itu tidak seem untuk menjadi taking effect — sebuah disallow pada yang sama URL adalah classic penyebab.

ketiga-party alat

• Google Search Console — halaman pengindeksan report (di mana ini status lives), sitemap report (untuk “Submitted” (terjemahan) “Submitted” variant), dan URL Inspection → Test langsung URL, satu-satunya alat itu menampilkan Anda sebuah nyata-time Googlebot fetch dan verdict.
• Rich hasil Test — lainnya langsung Googlebot fetch; berguna sebagai sebuah kedua baca pada respons HTTP dan dirender snapshot ketika Anda’re chasing sebuah phantom atau CDN-disajikan noindex.

Validation tests

Jalankan ini setelah menghapus sebuah noindex Anda tidak ingin, atau setelah resolving sebuah “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” contradiction.

Test 1: Header Tidak lebih lama mengirim X-Robots-Tag: noindex

• Test untuk jalankan: curl -I URL (atau header HTTP Checker) dan inspect respons headers.
• Yang diharapkan hasil: Tidak X-Robots-Tag header, atau satu tanpa noindex di ini.
• Failure interpretation: directive adalah masih menjadi disajikan — periksa server/CMS config again, dan jelas apa pun CDN atau edge cache itu mungkin menjadi serving sebuah stale respons.
• Monitoring window: Immediate — ini adalah sebuah langsung fetch, tidak sebuah crawl-dependent sinyal.
• Rollback trigger: N/sebuah (ini test tidak perubahan apa pun); re-jalankan setelah setiap config atau cache perubahan until ini melewati.

Test 2: Dirender halaman memiliki Tidak meta robots noindex

• Test untuk jalankan: Google indeks Checker atau sebuah DevTools/View Sumber periksa dari dirender <head>.
• Yang diharapkan hasil: Tidak <meta name="robots" content="noindex"> (atau googlebot variant) di dirender DOM.
• Failure interpretation: sebuah template, tag manager, atau JS injection adalah masih menambahkan tag — periksa dirender DOM, tidak hanya mentah sumber.
• Monitoring window: Immediate.
• Rollback trigger: N/sebuah; re-jalankan setelah setiap template/config perubahan.

Test 3: Langsung Googlebot fetch mengonfirmasi halaman adalah dapat diindeks

• Test untuk jalankan: GSC pemeriksaan URL → Test langsung URL.
• Yang diharapkan hasil: “URL adalah tersedia untuk Google” (terjemahan) “URL adalah tersedia untuk Google” dengan Tidak noindex flagged di pengujian langsung hasil.
• Failure interpretation: Googlebot adalah seeing sesuatu Anda browser tidak — periksa untuk sebuah pengguna-agent-conditional directive atau CDN aturan serving Google sebuah berbeda respons daripada Anda mendapatkan.
• Monitoring window: Immediate untuk langsung-test hasil itself.
• Rollback trigger: jika pengujian langsung masih menampilkan noindex setelah sebuah config perubahan plus sebuah cache purge, treat perbaiki sebagai belum langsung dan pertahankan debugging sebelum requesting pengindeksan.

Test 4: URL adalah tidak juga blocked oleh robots.txt

• Test untuk jalankan: Robots.txt Tester terhadap sama URL.
• Yang diharapkan hasil: Diizinkan untuk Googlebot.
• Failure interpretation: sebuah disallow adalah hiding whatever noindex state ada — Google dapat’t recrawl untuk see Anda perbaiki. hapus disallow pertama.
• Monitoring window: Immediate.
• Rollback trigger: N/sebuah; ini harus lulus sebelum lainnya tests berarti apa pun untuk sebuah halaman Anda ingin terindeks.

Test 5: halaman pengindeksan report clears status

• Test untuk jalankan: GSC halaman pengindeksan report, setelah hitting Validate Perbaiki pada affected group (atau permintaan pengindeksan untuk sebuah single priority URL).
• Yang diharapkan hasil: URL moves out dari “URL marked ‘noindex’” (terjemahan) “URL marked ‘noindex’” / “Submitted URL marked ‘noindex’” (terjemahan) “Submitted URL marked ‘noindex’” dan ke “Indexed” (terjemahan) “terindeks” (atau Anda yang dimaksud status) di report.
• Failure interpretation: masih pending recrawl, atau directive adalah masih present di suatu tempat Anda haven’t diperiksa (re-jalankan Tests 1–3).
• Monitoring window: Variable, tidak fixed — validation berjalan di background pada Google’s own recrawl schedule. Google’s documentation says revisit timing bergantung pada halaman’s importance dan dapat take considerably lebih lama daripada sebuah sedikit days, up untuk months untuk lebih rendah-priority halaman; jangan treat sebuah slow perbarui sebagai sebuah failure pada -nya own.
• Rollback trigger: jika validation masih hasn’t moved setelah sebuah genuinely panjang tunggu (dan Tests 1–4 semua lulus), re-periksa Tests 1–4 di order alih-alih re-submitting yang sama perbaiki.

Quiz

Five pertanyaan untuk periksa apa sebenarnya stuck dari ini artikel.

Log perubahan