Panduan Meta Robots Tag

TL;DR — robots meta tag adalah sebuah line dari HTML Anda put di sebuah halaman’s <head> untuk tell mesin pencari cara tangani itu satu halaman — sebagian besar sering <meta name="robots" content="noindex"> untuk pertahankan ini out dari penelusuran. catch itu trips everyone up: Google memiliki untuk menjadi able untuk crawl halaman untuk baca tag. jika Anda juga block halaman di robots.txt, Google tidak pernah sees tag, dan halaman dapat stay di penelusuran. dengan Tidak tag di semua, default adalah “index it dan follow itu links.” (terjemahan) “indeks ini dan ikuti tautan.”

Apa robots meta tag adalah

robots meta tag adalah sebuah kecil HTML element itu sits di <head> dari sebuah halaman:

<meta name="robots" content="noindex">

ini tells mesin pencari cara treat ini spesifik halaman — apakah untuk tampilkan ini di hasil, apakah untuk ikuti tautan pada ini, apakah untuk tampilkan sebuah snippet, dan so pada. name="robots" bagian berarti “all penelusuran engines itu baca ini tag.” (terjemahan) “semua mesin pencari itu baca ini tag.” Anda dapat tukar di sebuah crawler’s name, like name="googlebot", untuk talk untuk hanya satu mesin.

jika ada Tidak robots meta tag pada sebuah halaman, default adalah index, follow — tampilkan ini di penelusuran dan ikuti -nya tautan. So Anda hanya perlu tag ketika Anda ingin perubahan itu default. Bukti untuk klaim ini For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Cakupan: Google-supported robots meta rules; other crawlers publish their own support and defaults. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google Search Central: Robots meta tag specifications

satu hal untuk mendapatkan right: jangan block halaman Anda’re trying untuk noindex

ini adalah mistake I see sebagian besar sering. Orang ingin sebuah halaman out dari Google, so mereka melakukan keduanya hal di setelah:

1. tambahkan noindex untuk halaman, dan
2. Block halaman di robots.txt.

itu kedua langkah defeats pertama. Blocking sebuah URL di robots.txt tells Google “jangan even fetch ini halaman.” (terjemahan) “jangan bahkan fetch ini halaman.” So Google tidak pernah downloads ini, tidak pernah membaca noindex, dan halaman dapat stay di indeks. perbaiki adalah untuk leave halaman dapat di-crawl dan let Google baca noindex. Bukti untuk klaim ini Google can read and follow page-level robots rules only when it is allowed to access the page. Cakupan: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google Search Central: Robots meta tag specifications

Think dari ini sebagai dua berbeda jobs:

• robots.txt controls crawling — apakah bot fetch halaman di semua.
• ** robots meta tag** controls pengindeksan dan serving — apa happens setelah halaman adalah fetched.

mereka’re tidak interchangeable, dan Anda tidak ingin keduanya pada yang sama URL ketika Anda goal adalah untuk hapus ini dari penelusuran.

umum directives

sebuah sedikit Anda’ll sebenarnya gunakan:

• noindex — pertahankan ini halaman out dari hasil pencarian.
• nofollow — jangan ikuti tautan pada ini halaman. (berbeda dari putting rel="nofollow" pada sebuah single tautan — ini satu applies untuk setiap tautan pada halaman.)
• none — shorthand untuk noindex, nofollow.
• nosnippet — jangan tampilkan sebuah text snippet untuk ini halaman di hasil.

Anda dapat combine them dengan sebuah comma: <meta name="robots" content="noindex, nofollow">.

sebuah sedikit honest gotchas

«- noindex doesn’t make a page private. The page is still public and crawlable — it just won’t show in search. For real privacy, use a login.

• noindex doesn’t save crawl budget. Google still has to fetch the page to see the tag.
• For a PDF or an image, you can’t add a <meta> tag — there’s no HTML <head>. That’s what the X-Robots-Tag HTTP header is for (more on that in the Advanced version).
• There’s no fixed timeline for a noindexed page to drop out of Google. Google says it can take months for a lower-priority page to get recrawled and processed — don’t promise a client “2-4 weeks.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian dua puluh tiga, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

ingin penuh directive list, bagaimana Google resolves conflicting aturan, googlebot-vs-robots edge case, dan X-Robots-Tag header di detail? Switch untuk Advanced tab.

Uji pemahaman Anda: robots meta directives

Choose control oleh outcome

Robots controls itu fail mereka yang dimaksud job

• Combining noindex dengan sebuah robots.txt block. block mencegah crawler dari seeing removal directive.
• menggunakan disallow sebagai sebuah deindexing jaminan. ini berhenti fetching, tetapi sebuah ditautkan URL dapat masih menjadi terindeks tanpa halaman konten.
• Assuming sebuah body-placed robots meta tag adalah silently ignored. Google says ini akan respect sebuah robots meta tag di body, so sebuah template itu injects ini di sana masih berfungsi untuk Google — tetapi stick untuk <head> placement anyway, since ini adalah hanya placement lainnya crawler dan validators adalah guaranteed untuk expect.
• menggunakan sebuah crawler-name token Google tidak baca (e.g. name="bingbot") dan assuming ini juga scopes aturan untuk Google. Google recognizes hanya googlebot dan googlebot-news; apa pun lainnya name nilai adalah ignored oleh Google entirely.
• menggunakan sebuah HTML meta tag untuk sebuah PDF. sajikan X-Robots-Tag di respons HTTP untuk non-HTML files.
• Treating nofollow sebagai noindex. tautan menangani melakukan tidak hapus saat ini halaman dari hasil.
• Penerbitan generic dan crawler-spesifik tags tanpa resolving sum. Audit setiap robots, googlebot, dan header directive together; restrictive aturan dapat survive di sebuah kedua location.
• menggunakan robots aturan untuk secrecy. Anyone dapat permintaan sebuah publik URL atau baca robots.txt; confidential konten perlu authentication.

Deploy sebuah noindex safely

• Confirmed removal dari penelusuran—tidak crawl reduction, canonical consolidation, atau access control—adalah yang dimaksud outcome.
• digunakan <meta name="robots" content="noindex"> untuk HTML atau sebuah X-Robots-Tag: noindex respons header untuk sebuah non-HTML resource.
• dipertahankan URL dapat di-crawl dan accessible untuk target crawler.
• dihapus contradictory template, CMS, CDN, dan crawler-spesifik directives.
• diperiksa dirender head dan langsung respons, tidak hanya sumber template.
• Tested keduanya canonical URL dan bermakna variants atau redirects.
• Recorded affected URL set dan deployment time untuk kemudian perbandingan.
• Verified aturan di pemeriksaan URL dan monitored halaman pengindeksan report setelah recrawl.
• digunakan authentication alih-alih jika konten harus menjadi privat.

Inspect meta, headers, dan crawl access

Replace URL di ini shell audit:

url="https://example.com/page/"
curl -sSI "$url" | grep -iE '^(HTTP/|x-robots-tag:|location:)'
curl -sS "$url" | grep -oiE '<meta[^>]+name=["'"'](robots|googlebot)["'"'][^>]*>'
curl -sS "https://example.com/robots.txt"

di DevTools Console, inventory setiap parsed robots tag alih-alih stopping di pertama match:

console.table([...document.querySelectorAll('meta[name]')]
  .filter((meta) => /^(robots|googlebot|bingbot)$/i.test(meta.name))
  .map((meta) => ({ crawler: meta.name, content: meta.content })));

Headers adalah tidak terlihat di DOM, so bandingkan console hasil dengan sebenarnya respons. juga ikuti redirects: sebuah directive pada sebuah intermediate respons melakukan tidak prove destination menyajikan yang sama aturan.

Test setiap layer secara terpisah

• header HTTP Checker — inspect status, redirects, dan setiap langsung X-Robots-Tag header, including untuk PDFs.
• Robots.txt Tester — periksa apakah target crawler adalah diizinkan untuk fetch URL dan karena itu able untuk menemukan sebuah robots directive.

gunakan keduanya ketika diagnosing sebuah stubborn terindeks URL. sebuah correct noindex respons adalah tidak actionable jika robots.txt mencegah fetch, dan sebuah diizinkan crawl melakukan tidak prove halaman sebenarnya menyajikan noindex.

Prove directive berfungsi setelah deployment

Test 1 — Langsung pengiriman

• Hypothesis: setiap yang dimaksud URL menyajikan satu effective noindex aturan.
• metode: Sample URL set, ikuti redirects, dan inspect dirender meta plus respons headers.
• Lulus condition: akhir respons adalah dapat di-crawl dan exposes noindex untuk yang dimaksud crawler dengan Tidak conflicting pengiriman path.
• Fail condition: sebuah redirect, CDN header, atau crawler-spesifik tag perubahan ini.
• Berikutnya tindakan: Perbaiki responsible layer dan repeat yang sama sample.

Test 2 — Penelusuran-mesin processing

• Hypothesis: Google dapat crawl halaman dan memiliki processed removal aturan.
• metode: Jalankan pemeriksaan URL’s pengujian langsung, lalu monitor halaman pengindeksan report setelah recrawl.
• Lulus condition: pengujian langsung detects noindex dan URL becomes tidak terindeks untuk itu alasan.
• Fail condition: URL adalah blocked, directive adalah absent, atau old indeks state persists tanpa sebuah baru crawl.
• Berikutnya tindakan: Restore crawl access atau permintaan recrawl; jangan tambahkan sebuah disallow.

mengukur intent, tidak sebuah universal benchmark

Yang dimaksud-noindex coverage

URLs serving the intended noindex ÷ URLs in the approved noindex set

bangun denominator dari Anda own removal inventory, lalu bandingkan melakukan crawl sebelum dan setelah deployment. target adalah menyelesaikan coverage dari itu approved set—tidak sebuah industry percentage.

Unintended indeks-control conflicts

Track counts dari yang dimaksud-noindex URLs itu adalah masih terindeks, robots.txt-blocked, atau serving contradictory meta/header aturan. Segment oleh template, CDN aturan, dan file jenis so satu implementation fault melakukan tidak hide di dalam sebuah sitewide total.

gunakan Google Search Console’s halaman pengindeksan report dan pemeriksaan URL sebagai processing evidence, sementara recognizing itu deindexing bergantung pada recrawl. pertahankan pre-perubahan count dan deployment date; jika tidak sebuah falling total memiliki Tidak reliable baseline.

TL;DR — <meta name="robots" content="…"> di <head> controls bagaimana sebuah single halaman adalah terindeks dan disajikan; dengan Tidak tag default adalah index, follow. ini adalah crawl-lalu-obey: “ini settings dapat menjadi baca dan followed hanya jika crawlers adalah diizinkan untuk access itu halaman” (terjemahan) “ini settings dapat menjadi baca dan diikuti hanya jika crawler adalah diizinkan untuk access halaman” — so sebuah robots.txt-blocked URL adalah tidak pernah fetched dan -nya noindex adalah tidak pernah seen (I memiliki pertama-party data pada flip side dari ini). Conflicting aturan resolve untuk sebagian besar restrictive; di seluruh sebuah googlebot tag dan generic robots tag, Googlebot takes sum dari negative aturan. tag adalah HTML-hanya — gunakan X-Robots-Tag header untuk non-HTML dan di scale. Google membaca hanya dua crawler-named tokens — googlebot dan googlebot-news — dan ignores setiap lainnya nilai, including lainnya mesin’ tokens like bingbot.

Apa ini adalah, di mana ini goes, dan default

robots meta tag lets Anda, di Google’s kata, “gunakan a granular, halaman-specific approach untuk controlling bagaimana an individual HTML halaman seharusnya menjadi indexed dan served untuk users di Google Search hasil.” (terjemahan) “gunakan granular, halaman-spesifik approach untuk controlling bagaimana sebuah individual HTML halaman seharusnya menjadi terindeks dan disajikan untuk pengguna di Google hasil pencarian.” conventional, portable place untuk ini adalah <head>:

<meta name="robots" content="noindex, nofollow">

Head placement adalah authoring convention setiap mesin expects, tetapi Google adalah jelas itu ini tidak sebuah hard requirement untuk Google Search secara khusus: “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” (terjemahan) “Google Penelusuran tidak enforce placement dari meta robots di HTML head dan akan respect robots meta tags di body bagian dari sebuah HTML document sebagai well.” Treat itu sebagai tolerance untuk Google, tidak portable advice — masih author ini di <head> so setiap crawler dan validator itu expects standard placement membaca ini correctly.

«The name attribute is the audience, and this is where most guides overstate Google’s support. name="robots" addresses every crawler that reads the tag. Beyond that, Google supports exactly two crawler-named tokens, and ignores every other value: “Google supports two user agent tokens in the robots meta tag; other values are ignored: googlebot for all text results, and googlebot-news for news results.” A tag named name="bingbot" isn’t a documented Google control — Bing reads its own token on its own terms, but Google skips any name value it doesn’t recognize. Both the name and content attributes are case-insensitive to Google, and so are X-Robots-Tag header names and values. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian tujuh puluh tujuh, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

«When no robots meta tag is present, the default is index, follow (the all rule, which Google notes “has no effect if explicitly listed”). Bukti untuk klaim ini For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Cakupan: Google-supported robots meta rules; other crawlers publish their own support and defaults. Tingkat keyakinan: tinggi · Diverifikasi: 2026-07-14 Google Search Central: Robots meta tag specifications You only need the tag to change that default. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian tujuh puluh delapan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

«You combine rules two ways: comma-separated in one tag (noindex, nofollow) or as multiple <meta> tags. Google: you can “create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian tujuh puluh sembilan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

aturan itu breaks semuanya: Google harus crawl halaman untuk see tag

ini adalah seluruh artikel. robots meta tag adalah crawl-lalu-obey. Google memiliki untuk fetch halaman untuk baca tag — so apa pun itu berhenti fetch berhenti tag dari ever menjadi applied. Straight dari spec:

“Keep di mind itu ini settings dapat menjadi baca dan followed hanya jika crawlers adalah diizinkan untuk access itu halaman itu include ini settings.” (terjemahan) “ingatlah itu ini settings dapat menjadi baca dan diikuti hanya jika crawler adalah diizinkan untuk access halaman itu sertakan ini settings.”

dan consequence, spelled out:

“Jika a halaman adalah disallowed dari crawling melalui itu robots.txt file, lalu any information tentang indexing atau serving rules akan tidak menjadi ditemukan dan akan karena itu menjadi ignored.” (terjemahan) “jika sebuah halaman adalah disallowed dari crawling melalui robots.txt file, lalu apa pun informasi tentang pengindeksan atau serving aturan akan tidak menjadi ditemukan dan akan karena itu menjadi ignored.”

«So the classic mistake — Disallow in robots.txt plus noindex on the same URL — silently defeats the noindex. Google never crawls the page, never sees the tag, and the URL can linger in the index (often as a bare, snippet-less result if something links to it). Google’s companion “Block Search Indexing” doc says the same thing in plainer language: for the noindex rule to work, the page “must not be blocked by a robots.txt file… If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian delapan puluh lima, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

I’ve watched flip side dari ini mechanism happen dengan nyata data. di my experiment Story dari Blocking 2 tinggi-peringkat halaman dengan Robots.txt, I dengan sengaja blocked dua dari kami peringkat halaman di robots.txt. Karena Google dapat Tidak lebih lama crawl them, ini tidak dapat refresh apa pun tentang them — dan halaman mostly dipertahankan peringkat: “We lost a position di sini atau di sana dan all dari itu featured snippets untuk itu halaman.” (terjemahan) “kami lost sebuah position di sini atau di sana dan semua dari featured snippets untuk halaman.” My takeaway: “Accidentally blocking halaman (itu Google sudah ranks) dari menjadi crawled menggunakan robots.txt probably tidak going untuk memiliki banyak impact pada Anda rankings, dan they akan kemungkinan besar masih menunjukkan di itu penelusuran hasil.” (terjemahan) “Accidentally blocking halaman (itu Google sudah peringkat) dari menjadi di-crawl menggunakan robots.txt probably tidak going untuk memiliki banyak impact pada Anda rankings, dan mereka akan mungkin masih tampilkan di hasil pencarian.” itu’s yang sama coin sebagai noindex masalah — sebuah blocked URL adalah frozen. Block ≠ hapus. jika Anda sebenarnya ingin sebuah halaman hilang, Anda perlu sebuah dapat di-crawl noindex, yang adalah entire poin dari ini tag.

ini adalah line I’ve drawn publicly pada di mana setiap alat belongs. ditanyakan apakah Google seharusnya tambahkan noindex mendukung untuk robots.txt, I mengatakan: “Google adalah clear they ingin robots.txt untuk crawl control hanya.” (terjemahan) “Google adalah jelas mereka ingin robots.txt untuk crawl control hanya.” crawling adalah robots.txt’s job; pengindeksan adalah meta tag’s (atau header’s). mereka jangan overlap, dan noindex directive di robots.txt adalah tidak pernah officially didukung — Google dropped parsing dari ini pada September 1, 2019.

setiap robots meta directive ( reference)

Google’s didukung nilai, dengan verbatim deskripsi dari spec:

pengindeksan

«- all — “There are no restrictions for indexing or serving. This rule is the default value and has no effect if explicitly listed.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh dua, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- noindex — “Do not show this page, media, or resource in search results.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh dua, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- none — “Equivalent to noindex, nofollow.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh dua, bagian kecil tiga: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- indexifembedded — “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” (The one directive that overrides a noindex, for embedded content.) » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh dua, bagian kecil empat: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

tautan

• nofollow — “Lakukan tidak follow itu links pada ini halaman.” (terjemahan) “melakukan tidak ikuti tautan pada ini halaman.” ini adalah halaman-tingkat — berbeda cakupan dari sebuah per-tautan rel="nofollow", yang applies untuk satu tautan.

Serving dan snippets

«- nosnippet — “Do not show a text snippet or video preview in the search results for this page.” This scope is broader than the classic text snippet: Google says it “applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.”

• max-snippet:[number] — “Use a maximum of [number] characters as a textual snippet for this search result.” Same broadened scope as nosnippet: it “applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” That’s a direct-input eligibility control for Google’s own AI search features — it is not a general AI-training opt-out. Keeping your content out of model training (e.g. Google-Extended) or out of Search’s separate generative-AI property-level control in Search Console are different systems with different scopes; don’t treat nosnippet/max-snippet as covering either.
• max-image-preview:[setting] — “Set the maximum size of an image preview for this page in search results.” Settings: none, standard, or large (“A larger image preview, up to the width of the viewport, may be shown.”).
• max-video-preview:[number] — “Use a maximum of [number] seconds as a » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh enam, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) « video snippet for videos on this page in search results.”
• notranslate — “Don’t offer translation of this page in search results.”
• noimageindex — “Do not index images on this page.”
• unavailable_after:[date/time] — “Do not show this page in search results after the specified date/time.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh enam, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Historical — Tidak lebih lama active Google controls

sebuah sedikit directives itu masih circulate di older guides adalah ones Google says ini Tidak lebih lama menggunakan. jangan tambahkan ini expecting them untuk melakukan apa pun:

«- noarchive — “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh sembilan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- nocache (a synonym some engines used for noarchive) — “The nocache rule isn’t used by Google Search.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh sembilan, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- nositelinkssearchbox — “The nositelinkssearchbox rule is no longer used by Google Search to control whether the sitelink search box is shown for a given page, as the feature no longer exists.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian sembilan puluh sembilan, bagian kecil tiga: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

paragraf-tingkat (tidak di meta tag)

ada satu sub-halaman control: data-nosnippet attribute. Google: Anda dapat “designate textual parts dari an HTML halaman tidak untuk menjadi digunakan sebagai a snippet… pada span, div, dan section elements.” (terjemahan) “designate textual bagian dari sebuah HTML halaman tidak untuk menjadi digunakan sebagai sebuah snippet… pada tidak terdefinisi, tidak terdefinisi, dan tidak terdefinisi elements.” Semuanya di meta tag adalah halaman-wide; nosnippet / data-nosnippet adalah bagaimana Anda pertahankan satu passage out dari snippet tanpa touching rest.

Combining directives dan resolving conflicts

Dua aturan govern apa happens ketika directives collide.

«1. The more restrictive rule wins. “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” nosnippet is stricter than a 50-character cap, so nosnippet is what you get. » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

2. googlebot vs robots — sum dari negative aturan. ini adalah satu sebagian besar guides mendapatkan wrong. sebuah googlebot-named tag melakukan tidak sekadar replace generic robots tag — untuk overlap, Googlebot takes union dari restrictions. Google: “Untuk situations di mana multiple crawlers adalah specified along dengan berbeda rules, itu penelusuran engine akan gunakan itu sum dari itu negative rules.” (terjemahan) “untuk situations di mana multiple crawler adalah specified along dengan berbeda aturan, mesin pencari akan gunakan sum dari negative aturan.” mereka worked contoh:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

“Itu halaman containing ini meta tags akan menjadi interpreted sebagai memiliki a noindex, nofollow rule when crawled by Googlebot.” (terjemahan) “ halaman containing ini meta tags akan menjadi interpreted sebagai having aturan noindex dan nofollow when di-crawl oleh Googlebot.” nofollow dari robots plus noindex dari googlebot tambahkan up untuk noindex, nofollow untuk Googlebot. (Di mana sebuah googlebot tag dan sebuah robots tag atur sama directive differently, crawler-named satu adalah satu itu applies untuk itu crawler.)

Meta robots tag vs X-Robots-Tag ( header HTTP)

«The robots meta tag is HTML-only — it needs a <head>. For anything that isn’t HTML, you use the X-Robots-Tag, which delivers the exact same rule vocabulary in the HTTP response header. Google: “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” And the reason it exists: “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus sembilan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

So:

• PDF, image, atau lainnya non-HTML? Anda dapat’t tambahkan sebuah <meta> tag — gunakan header, e.g. X-Robots-Tag: noindex.
• Seluruh directories atau patterns? header adalah set di server/CDN tingkat, so ini scales untuk entire paths di satu config aturan.
• Satu mesin? header dapat target sebuah crawler too: X-Robots-Tag: googlebot: noindex, nofollow, dan multiple X-Robots-Tag headers dapat menjadi combined di satu respons.

sama aturan, dua pengiriman mechanisms: meta tag untuk HTML halaman, header untuk semuanya else dan untuk scale.

Yang directives Bing dan lainnya mesin mendukung

jangan assume directive set adalah universal — ini tidak. Bing mendukung core pengindeksan dan serving aturan — noindex, nofollow, noarchive (dengan nocache sebagai -nya synonym), dan nosnippet — dan ini honors X-Robots-Tag untuk non-HTML resources. tetapi Bing melakukan tidak mendukung none shorthand, so untuk cross-mesin safety, tulis noindex, nofollow out explicitly alih-alih relying pada none. snippet- dan preview-control family — max-snippet, max-image-preview, max-video-preview — along dengan noimageindex, notranslate, indexifembedded, dan unavailable_after, adalah effectively Google-hanya. Ketika di doubt, spell directives out dan treat max-* controls sebagai Google fitur.

umum mistakes (dan memperbaiki)

• Disallow + noindex pada yang sama URL. noindex adalah tidak pernah seen. Perbaiki: leave halaman dapat di-crawl; pertahankan hanya noindex.
• noindex plus sebuah rel=canonical pointing elsewhere. Conflicting sinyal — Anda’re telling Google keduanya “drop this page” (terjemahan) “drop ini halaman” dan “consolidate it into another one.” (terjemahan) “consolidate ini ke lainnya satu.” Pick satu. (Lebih di canonicalization.)
• sebuah staging-wide noindex shipped untuk production. Catastrophic, sitewide deindex. periksa sebelum launch.
• sebuah noindex injected hanya oleh client-side JavaScript. Google memiliki untuk render halaman untuk see ini, dan jika dirender HTML differs dari apa Anda expect, perilaku differs too. Prefer tag di mentah HTML atau header. (See rendering.)
• Expecting Bing untuk honor Google-hanya directives (none, max-* family).
• Expecting sebuah robots directive untuk melakukan sebuah job ini tidak own. sebuah noindex atau nosnippet aturan tidak oleh itself jaminan crawl-budget savings, secrecy, sebuah peringkat perubahan, identical perilaku di seluruh mesin pencari, sebuah spesifik removal timeline, atau exclusion dari setiap AI/penelusuran surface — setiap dari itu outcomes belongs untuk sebuah berbeda control (authentication untuk secrecy, robots.txt untuk crawl, setiap mesin’s own docs untuk parity, Search Console atau Google-Extended untuk AI-spesifik scopes). Google memberikan Tidak fixed timeframe untuk ketika sebuah noindexed halaman sebenarnya drops out — ini bergantung pada recrawl priority dan “may take months” (terjemahan) “dapat take months” untuk sebuah lebih rendah-importance halaman.

untuk di mana ini sits di bigger picture: robots.txt dan crawling adalah crawl-control side; noindex dan pengindeksan adalah indeks-control side; dan nosnippet / data-nosnippet, max-snippet, dan max-image-preview adalah serving controls Anda reach untuk ketika Anda ingin sebuah halaman terindeks tetapi ingin untuk shape bagaimana ini muncul. X-Robots-Tag adalah ini sama tag’s HTTP-header equivalent untuk non-HTML.

AI summary

sebuah condensed take pada Advanced versi:

• ** robots meta tag** — <meta name="robots" content="…"> di <head> — controls bagaimana sebuah single HTML halaman adalah terindeks dan disajikan. dengan Tidak tag, default adalah index, follow.
• ini adalah crawl-lalu-obey. Google harus crawl halaman untuk baca tag: “ini settings dapat menjadi baca dan followed hanya jika crawlers adalah diizinkan untuk access itu halaman.” (terjemahan) “ini settings dapat menjadi baca dan diikuti hanya jika crawler adalah diizinkan untuk access halaman.” So sebuah robots.txt-blocked URL tidak pernah mendapatkan -nya noindex seen — classic mistake. Patrick’s blocked-halaman experiment proves mechanism: blocked halaman stayed terindeks dan mostly dipertahankan peringkat. Block ≠ hapus.
• robots.txt = crawl control; meta tag (atau X-Robots-Tag) = indeks/sajikan control. Tidak interchangeable. noindex di robots.txt adalah dropped Sept 1, 2019.
• Directives: pengindeksan (noindex, none, indexifembedded), tautan (nofollow, halaman-wide), serving (nosnippet, max-snippet, max-image-preview, max-video-preview, notranslate, noimageindex, unavailable_after), plus paragraf-tingkat data-nosnippet attribute. noarchive, nocache, dan nositelinkssearchbox adalah historical — Google says ini Tidak lebih lama menggunakan them.
• nosnippet/max-snippet juga gate AI Overviews dan AI Mode — Google says mereka control apakah halaman’s konten dapat menjadi digunakan sebagai sebuah direct input untuk itu fitur, tidak hanya classic text snippet. itu’s tidak sebuah umum AI-training opt-out; Google-Extended dan Penelusuran’s terpisah generative-AI property control adalah berbeda sistem.
• Conflicts resolve untuk paling restrictive (nosnippet beats max-snippet:50). di seluruh sebuah googlebot tag dan generic robots tag, Googlebot takes sum dari negative aturan — robots: nofollow + googlebot: noindex ⇒ noindex, nofollow. Google recognizes hanya googlebot/googlebot-news name tokens; lainnya nilai (like bingbot) adalah ignored oleh Google.
• Meta tag adalah conventionally <head>-hanya (Google juga tolerates body placement, tetapi itu’s Google-spesifik, tidak portable); X-Robots-Tag carries yang sama aturan di header HTTP untuk PDFs, images, non-HTML, dan seluruh directories.
• Cross-mesin: Bing mendukung noindex/nofollow/noarchive(nocache)/ nosnippet tetapi tidak none; max-* family adalah effectively Google-hanya — tulis directives out explicitly.
• Tidak jaminan: sebuah robots directive alone tidak promise crawl-budget savings, secrecy, sebuah peringkat perubahan, cross-mesin parity, atau sebuah fixed removal timeline — Google memberikan Tidak set timeframe untuk noindex untuk take effect.

Dokumentasi resmi

Utama-sumber documentation dari mesin pencari.

Google

• Robots meta tag, data-nosnippet, dan X-Robots-Tag specifications — authoritative spec: setiap directive, combining aturan, conflict resolution, googlebot-vs-robots union, dan X-Robots-Tag header. Mulai di sini.
• Block Penelusuran pengindeksan dengan noindex — bagaimana noindex berfungsi, dua pengiriman mechanisms (meta tag dan header), dan crawl dependency di plain language.
• Introduction untuk robots.txt — crawl-control padanan, so Anda tidak confuse dua jobs.
• crawling dan pengindeksan — hub untuk robots, sitemaps, canonicalization, dan crawl controls.

Bing / Microsoft

• Robots meta tags dan attributes itu Bing mendukung — Bing’s didukung directives (konfirmasi tepat list pada langsung halaman; ini adalah JavaScript-dirender).

Reference

• MDN — <meta name="robots"> — cross-mesin directive reference, including yang mesin gunakan noarchive/nocache.

Quotes dari sumber

pada—record statements dari Google. setiap tautan adalah sebuah deep tautan itu jumps untuk quoted passage pada sumber halaman.

Google — apa tag adalah dan default

«- “The robots meta tag lets you use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” — Google Search Central docs. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh lima, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — crawl-lalu-obey dependency

«- “Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh tujuh, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh tujuh, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” — Google, “Block Search Indexing with noindex.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh tujuh, bagian kecil tiga: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — directives (verbatim deskripsi)

«- “Do not show this page, media, or resource in search results.” — noindex. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh sembilan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Equivalent to noindex, nofollow.” — none. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh sembilan, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Do not show a text snippet or video preview in the search results for this page.” — nosnippet. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh sembilan, bagian kecil tiga: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” — indexifembedded. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh sembilan, bagian kecil empat: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “A larger image preview, up to the width of the viewport, may be shown.” — max-image-preview:large. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh sembilan, bagian kecil lima: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Do not index images on this page.” — noimageindex. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh sembilan, bagian kecil enam: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “You can designate textual parts of an HTML page not to be used as a snippet.” — data-nosnippet. Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus tiga puluh sembilan, bagian kecil tujuh: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — combining dan resolving conflicts

«- “You can create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh satu, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh satu, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh satu, bagian kecil tiga: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — placement, crawler tokens, dan case sensitivity

«- “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh tiga, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Google supports two user agent tokens in the robots meta tag; other values are ignored.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh tiga, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “Both the name and the content attributes are case-insensitive.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh tiga, bagian kecil tiga: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — noarchive dan lainnya historical directives

«- “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh lima, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.) «- “The nocache rule isn’t used by Google Search.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh lima, bagian kecil dua: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — nosnippet dan max-snippet reach AI Overviews dan AI Mode

«- “[nosnippet] applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.” Jump to quote

• “[max-snippet] applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh tujuh, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — Tidak fixed timeframe untuk noindex untuk take effect

«- “If a page is still appearing in results, it’s probably because we haven’t crawled the page since you added the noindex rule. Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.” — Google, “Block Search Indexing with noindex.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus empat puluh sembilan, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Google — X-Robots-Tag

«- “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” Jump to quote

• “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” Jump to quote » (Terjemahan) (Ringkasan bahasa Indonesia untuk bagian seratus lima puluh satu, bagian kecil satu: teks sumber dipertahankan agar dapat diperiksa dalam tinjauan penutur asli.)

Patrick Stox — robots.txt adalah untuk crawl control hanya

• “Google was clear they want robots.txt for crawl control only. The biggest downside will probably be all the people who accidentally take their entire site out of the index.” (terjemahan) “Google adalah jelas mereka ingin robots.txt untuk crawl control hanya. biggest downside akan probably menjadi semua orang siapa accidentally take mereka entire situs out dari indeks.” — Patrick Stox, pada apakah Google seharusnya tambahkan noindex untuk robots.txt, di mesin pencari Land. Jump untuk quote

Patrick Stox — blocking peringkat halaman dengan robots.txt ( crawl-vs-indeks proof)

• “Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” (terjemahan) “Accidentally blocking halaman (itu Google sudah peringkat) dari menjadi di-crawl menggunakan robots.txt probably tidak going untuk memiliki banyak impact pada Anda rankings, dan mereka akan mungkin masih tampilkan di hasil pencarian.” Jump untuk quote
• “We lost a position here or there and all of the featured snippets for the pages.” (terjemahan) “kami lost sebuah position di sini atau di sana dan semua dari featured snippets untuk halaman.” Jump untuk quote

setiap robots meta directive — cheat sheet

penuh set dari Google-didukung content nilai, apa setiap melakukan, dan default.

Historical — Google Tidak lebih lama menggunakan ini:

paragraf-tingkat (sebuah HTML attribute, tidak sebuah content nilai):

** syntax**

<!-- one tag, comma-separated -->
<meta name="robots" content="noindex, nofollow">

<!-- target one engine -->
<meta name="googlebot" content="noindex">

<!-- the HTTP-header equivalent, for non-HTML / at scale -->
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: noindex, nofollow

Fast facts

• Tidak tag di semua → default index, follow.
• none = noindex, nofollow — tetapi Bing tidak mendukung none; tulis ini out.
• max-*, noimageindex, notranslate, indexifembedded, unavailable_after adalah effectively Google-hanya.
• tag adalah HTML-hanya; X-Robots-Tag header carries yang sama aturan untuk PDFs, images, dan seluruh directories.
• Google membaca persis dua crawler-name tokens — googlebot dan googlebot-news — dan ignores semuanya else, including lainnya mesin’ tokens like bingbot.
• Head placement adalah portable convention, tetapi Google secara khusus juga respects sebuah robots meta tag placed di <body>.
• name/content dan X-Robots-Tag nilai adalah case-insensitive untuk Google.

mental models

1. crawl-lalu-obey — tag hanya berfungsi jika halaman adalah fetchable. Google memiliki untuk crawl halaman untuk baca tag. Apa pun itu blocks fetch (robots.txt disallow, auth, sebuah server error) berarti tag adalah tidak pernah seen. So sebelum Anda trust sebuah noindex, konfirmasi URL adalah dapat di-crawl. corollary: tidak pernah Disallow sebuah URL Anda’re trying untuk noindex.

2. Three alat, three jobs — jangan mix them up.

• robots.txt = crawl control (apakah bot fetch halaman).
• Robots meta tag / X-Robots-Tag = indeks & sajikan control (apa happens setelah ini adalah fetched).
• Authentication = secrecy (sebuah noindex halaman adalah masih publik). Match job untuk alat. paling umum failure adalah menggunakan robots.txt untuk try untuk deindex — itu’s meta tag’s job.

3. decision aturan untuk menghapus sebuah halaman. ingin ini out dari penelusuran? Leave ini dapat di-crawl dan tambahkan noindex — dan jangan juga block ini di robots.txt, dan jangan juga canonical ini untuk sebuah berbeda URL. ingin bot untuk skip sebuah space entirely (dan Anda tidak care tentang pengindeksan)? robots.txt disallow. dua adalah tidak interchangeable.

4. Conflict resolution — sebagian besar restrictive wins. Ketika aturan collide, stricter satu applies (nosnippet beats max-snippet:50). jangan try untuk out-clever ini dengan combinations; assume tightest aturan adalah satu itu takes effect.

5. googlebot vs robots — sum dari negatives, tidak override. untuk overlap, Googlebot menambahkan up restrictions dari generic robots tag dan googlebot-named tag alih-alih picking satu. robots: nofollow + googlebot: noindex ⇒ Googlebot mendapatkan noindex, nofollow. (sebuah crawler-named tag melakukan take precedence di atas generic tag di mana mereka set yang sama directive differently — tetapi union adalah aturan untuk remember.)

6. HTML halaman → meta tag; semuanya else → header. jika ini memiliki sebuah <head>, gunakan <meta> tag. jika ini adalah sebuah PDF, sebuah image, apa pun non-HTML file, atau Anda perlu cover sebuah seluruh directory, gunakan X-Robots-Tag header — sama aturan vocabulary, berbeda pengiriman.

Log perubahan