Bahasa

Panduan Meta Robots Tag

robots meta tag controls how sebuah halaman adalah terindeks dan disajikan — setiap directive, crawl-lalu-obey aturan, conflict resolution, dan meta tag vs X-Robots-Tag.

Pertama kali diterbitkan: 23 Jun 2026 · Terakhir diperbarui: 3 Agu 2026 · Advanced
Bahasa
AIDitulis olehAI v2
1 sinyal bukti di halaman ini

robots meta tag — <meta name="robots" content="noindex"> di <head> — tells mesin pencari cara indeks dan sajikan single halaman. aturan itu breaks everything: ini adalah crawl-lalu-obey, so sebuah halaman blocked di robots.txt adalah tidak pernah fetched dan -nya noindex adalah tidak pernah seen. dengan no tag, default adalah indeks, ikuti. Conflicting aturan resolve untuk paling restrictive; untuk sebuah googlebot-named tag terhadap generic robots tag, Googlebot takes sum dari negative aturan. tag adalah HTML-hanya — gunakan X-Robots-Tag header untuk PDFs, images, dan lainnya non-HTML.

TL;DR — <meta name="robots" content="…"> di <head> controls how sebuah single halaman adalah terindeks dan disajikan; dengan no tag default adalah index, follow. ini adalah crawl-lalu-obey: “these settings can be read and followed only if crawlers are allowed to access the pages” (terjemahan) “ini settings dapat menjadi read dan diikuti hanya jika crawler adalah allowed untuk access halaman” — so sebuah robots.txt-blocked URL adalah tidak pernah fetched dan -nya noindex adalah tidak pernah seen (I memiliki pertama-party data pada flip side dari ini). Conflicting aturan resolve untuk sebagian besar restrictive; di seluruh sebuah googlebot tag dan generic robots tag, Googlebot takes sum dari negative aturan. tag adalah HTML-hanya — gunakan X-Robots-Tag header untuk non-HTML dan di scale. Google reads hanya two crawler-named tokens — googlebot dan googlebot-news — dan ignores setiap lainnya nilai, including lainnya mesin’ tokens like bingbot.

Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications

What ini adalah, where ini goes, dan default

robots meta tag lets Anda, di Google’s kata, “use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” (terjemahan) “gunakan granular, halaman-spesifik approach untuk controlling how sebuah individual HTML halaman seharusnya menjadi terindeks dan disajikan untuk pengguna di Google hasil pencarian.” conventional, portable place untuk ini adalah <head>:

<meta name="robots" content="noindex, nofollow">

Head placement adalah authoring convention setiap mesin expects, tetapi Google adalah explicit itu ini isn’t sebuah hard requirement untuk Google Search specifically: “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” (terjemahan) “Google Search doesn’t enforce placement dari meta robots di HTML head dan akan respect robots meta tags di body bagian dari sebuah HTML document sebagai well.” Treat itu sebagai tolerance untuk Google, not portable advice — masih author ini di <head> so setiap crawler dan validator itu expects standard placement reads ini correctly.

name attribute adalah audience, dan ini adalah where sebagian besar guides overstate Google’s mendukung. name="robots" addresses setiap crawler itu reads tag. Beyond itu, Google mendukung exactly two crawler-named tokens, dan ignores setiap lainnya nilai: “Google supports two user agent tokens in the robots meta tag; other values are ignored: googlebot for all text results, and googlebot-news for news results.” (terjemahan) “Google mendukung two pengguna agent tokens di robots undefined tag; lainnya nilai adalah ignored: undefined untuk semua text hasil, dan undefined untuk news hasil.” sebuah tag named name="bingbot" isn’t sebuah documented Google control — Bing reads -nya own token pada -nya own istilah, tetapi Google skips apa pun name nilai ini doesn’t recognize. Both name dan content attributes adalah case-insensitive untuk Google, dan so adalah X-Robots-Tag header names dan nilai.

When no robots meta tag adalah present, default adalah index, follow ( all aturan, which Google notes “has no effect if explicitly listed” (terjemahan) “memiliki no effect jika explicitly listed”). Evidence for this claim For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Scope: Google-supported robots meta rules; other crawlers publish their own support and defaults. Confidence: high · Verified: Google Search Central: Robots meta tag specifications Anda hanya perlu tag untuk perubahan itu default.

Anda combine aturan two cara: comma-separated di one tag (noindex, nofollow) atau sebagai multiple <meta> tags. Google: Anda dapat “create a multi-rule instruction by combining robots meta tag rules with commas or by using multiple meta tags.” (terjemahan) “buat multi-aturan instruction oleh combining robots undefined tag aturan dengan commas atau oleh menggunakan multiple undefined tags.”

aturan itu breaks everything: Google harus crawl halaman untuk see tag

ini adalah whole artikel. robots meta tag adalah crawl-lalu-obey. Google memiliki untuk fetch halaman untuk read tag — so anything itu stops fetch stops tag dari ever menjadi applied. Straight dari spec:

“Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” (terjemahan) “ingatlah itu ini settings dapat menjadi read dan diikuti hanya jika crawler adalah allowed untuk access halaman itu sertakan ini settings.”

Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications

dan consequence, spelled out:

“If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” (terjemahan) “jika sebuah halaman adalah disallowed dari crawling melalui robots.txt file, lalu apa pun informasi tentang pengindeksan atau serving aturan akan not menjadi ditemukan dan akan therefore menjadi ignored.”

So classic mistake — Disallow di robots.txt plus noindex pada sama URL — silently defeats noindex. Google tidak pernah melakukan crawl halaman, tidak pernah sees tag, dan URL dapat linger di indeks (sering sebagai sebuah bare, snippet-less hasil jika something tautan untuk ini). Google’s companion “Block Search Indexing” (terjemahan) “Block Search pengindeksan” doc says yang sama thing di plainer language: untuk noindex aturan untuk berfungsi, halaman “must not be blocked by a robots.txt file… If the page is blocked by a robots.txt file or the crawler can’t access the page, the crawler will never see the noindex rule, and the page can still appear in search results.” (terjemahan) “harus not menjadi blocked oleh sebuah robots.txt file… jika halaman adalah blocked oleh sebuah robots.txt file atau crawler dapat’t access halaman, crawler akan tidak pernah see undefined aturan, dan halaman dapat masih appear di hasil pencarian.”

I’ve watched flip side dari ini mechanism happen dengan nyata data. di my experiment Story dari Blocking 2 tinggi-peringkat halaman dengan Robots.txt, I deliberately blocked two dari kami peringkat halaman di robots.txt. Because Google dapat no longer crawl them, ini couldn’t refresh anything tentang them — dan halaman mostly dipertahankan peringkat: “We lost a position here or there and all of the featured snippets for the pages.” (terjemahan) “kami lost sebuah position here atau there dan semua dari featured snippets untuk halaman.” My takeaway: “Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” (terjemahan) “Accidentally blocking halaman (itu Google sudah peringkat) dari menjadi di-crawl menggunakan robots.txt probably isn’t going untuk memiliki much impact pada Anda rankings, dan mereka akan mungkin masih tampilkan di hasil pencarian.” itu’s yang sama coin sebagai noindex masalah — sebuah blocked URL adalah frozen. Block ≠ hapus. jika Anda actually ingin sebuah halaman hilang, Anda perlu sebuah dapat di-crawl noindex, which adalah entire poin dari ini tag.

ini adalah line I’ve drawn publicly pada where setiap alat belongs. ditanyakan whether Google seharusnya tambahkan noindex mendukung untuk robots.txt, I said: “Google was clear they want robots.txt for crawl control only.” (terjemahan) “Google adalah jelas mereka ingin robots.txt untuk crawl control hanya.” crawling adalah robots.txt’s job; pengindeksan adalah meta tag’s (atau header’s). mereka don’t overlap, dan noindex directive di robots.txt adalah tidak pernah officially didukung — Google dropped parsing dari ini pada September 1, 2019.

setiap robots meta directive ( reference)

Google’s didukung nilai, dengan verbatim deskripsi dari spec:

pengindeksan

  • all — “There are no restrictions for indexing or serving. This rule is the default value and has no effect if explicitly listed.” (terjemahan) “tidak ada restrictions untuk pengindeksan atau serving. ini aturan adalah default nilai dan memiliki no effect jika explicitly listed.”
  • noindex — “Do not show this page, media, or resource in search results.” (terjemahan) “melakukan not tampilkan ini halaman, media, atau resource di hasil pencarian.”
  • none — “Equivalent to noindex, nofollow.” (terjemahan) “Equivalent untuk undefined.”
  • indexifembedded — “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a noindex rule.” (terjemahan) “Google adalah allowed untuk indeks konten dari sebuah halaman jika ini adalah embedded di lainnya halaman melalui iframes atau similar HTML tags, di spite dari sebuah undefined aturan.” ( one directive itu overrides sebuah noindex, untuk embedded konten.)

tautan

  • nofollow — “Do not follow the links on this page.” (terjemahan) “melakukan not ikuti tautan pada ini halaman.” ini adalah halaman-tingkat — berbeda scope dari sebuah per-tautan rel="nofollow", which applies untuk one tautan.

Serving dan snippets

  • nosnippet — “Do not show a text snippet or video preview in the search results for this page.” (terjemahan) “melakukan not tampilkan sebuah text snippet atau video preview di search hasil untuk ini halaman.” ini scope adalah broader daripada classic text snippet: Google says ini “applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.” (terjemahan) “applies untuk semua forms dari hasil pencarian (di Google: web search, Google Images, menemukan, AI Overviews, AI Mode) dan akan juga mencegah konten dari menjadi digunakan sebagai sebuah direct input untuk AI Overviews dan AI Mode.”
  • max-snippet:[number] — “Use a maximum of [number] characters as a textual snippet for this search result.” (terjemahan) “gunakan maximum dari [angka] characters sebagai sebuah textual snippet untuk ini search hasil.” sama broadened scope sebagai nosnippet: ini “applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” (terjemahan) “applies untuk semua forms dari hasil pencarian (such sebagai Google web search, Google Images, menemukan, Assistant, AI Overviews, AI Mode) dan akan juga limit how much dari konten dapat menjadi digunakan sebagai sebuah direct input untuk AI Overviews dan AI Mode.” itu’s sebuah direct-input eligibility control untuk Google’s own AI search fitur — ini adalah not sebuah umum AI-training opt-out. Keeping Anda konten out dari model training (e.g. Google-Extended) atau out dari Search’s separate generative-AI property-tingkat control di Search Console adalah berbeda sistem dengan berbeda scopes; don’t treat nosnippet/max-snippet sebagai covering either.
  • max-image-preview:[setting] — “Set the maximum size of an image preview for this page in search results.” (terjemahan) “atur maximum size dari sebuah image preview untuk ini halaman di hasil pencarian.” Settings: none, standard, atau large (“A larger image preview, up to the width of the viewport, may be shown.” (terjemahan) “sebuah larger image preview, up untuk width dari viewport, dapat menjadi ditampilkan.”).
  • max-video-preview:[number] — “Use a maximum of [number] seconds as a video snippet for videos on this page in search results.” (terjemahan) “gunakan maximum dari [angka] seconds sebagai sebuah video snippet untuk videos pada ini halaman di hasil pencarian.”
  • notranslate — “Don’t offer translation of this page in search results.” (terjemahan) “Don’t offer translation dari ini halaman di hasil pencarian.”
  • noimageindex — “Do not index images on this page.” (terjemahan) “melakukan not indeks images pada ini halaman.”
  • unavailable_after:[date/time] — “Do not show this page in search results after the specified date/time.” (terjemahan) “melakukan not tampilkan ini halaman di hasil pencarian setelah specified date/time.”

Historical — no longer active Google controls

sebuah few directives itu masih circulate di older guides adalah ones Google says ini no longer menggunakan. Don’t tambahkan ini expecting them untuk melakukan anything:

  • noarchive — “The noarchive rule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” (terjemahan) “ undefined aturan adalah no longer digunakan oleh Google Search untuk control whether sebuah cached tautan adalah ditampilkan di hasil pencarian, sebagai cached tautan fitur no longer exists.”
  • nocache (sebuah synonym beberapa mesin digunakan untuk noarchive) — “The nocache rule isn’t used by Google Search.” (terjemahan) “ undefined aturan isn’t digunakan oleh Google Search.”
  • nositelinkssearchbox — “The nositelinkssearchbox rule is no longer used by Google Search to control whether the sitelink search box is shown for a given page, as the feature no longer exists.” (terjemahan) “ undefined aturan adalah no longer digunakan oleh Google Search untuk control whether sitelink search box adalah ditampilkan untuk sebuah given halaman, sebagai fitur no longer exists.”

paragraf-tingkat (not di meta tag)

There’s one sub-halaman control: data-nosnippet attribute. Google: Anda dapat “designate textual parts of an HTML page not to be used as a snippet… on span, div, and section elements.” (terjemahan) “designate textual bagian dari sebuah HTML halaman not untuk menjadi digunakan sebagai sebuah snippet… pada undefined, undefined, dan undefined elements.” Everything di meta tag adalah halaman-wide; nosnippet / data-nosnippet adalah how Anda pertahankan one passage out dari snippet without touching rest.

Combining directives dan resolving conflicts

Two aturan govern what happens when directives collide.

1. more restrictive aturan wins. “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both max-snippet:50 and nosnippet rules, the nosnippet rule will apply.” (terjemahan) “di case dari conflicting robots aturan, more restrictive aturan applies. misalnya, jika sebuah halaman memiliki both undefined dan undefined aturan, undefined aturan akan apply.” nosnippet adalah stricter daripada sebuah 50-character cap, so nosnippet adalah what Anda get.

2. googlebot vs robots — sum dari negative aturan. ini adalah one sebagian besar guides get wrong. sebuah googlebot-named tag melakukan not simply replace generic robots tag — untuk overlap, Googlebot takes union dari restrictions. Google: “For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” (terjemahan) “untuk situations where multiple crawler adalah specified along dengan berbeda aturan, mesin pencari akan gunakan sum dari negative aturan.” mereka worked contoh:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

“The page containing these meta tags will be interpreted as having a noindex, nofollow rule when crawled by Googlebot.” (terjemahan) “ halaman containing ini meta tags akan menjadi interpreted sebagai having sebuah undefined aturan when di-crawl oleh Googlebot.” nofollow dari robots plus noindex dari googlebot tambahkan up untuk noindex, nofollow untuk Googlebot. (Where sebuah googlebot tag dan sebuah robots tag atur sama directive differently, crawler-named one adalah one itu applies untuk itu crawler.)

Meta robots tag vs X-Robots-Tag ( header HTTP)

robots meta tag adalah HTML-hanya — ini perlu sebuah <head>. untuk anything itu isn’t HTML, Anda gunakan X-Robots-Tag, which delivers exact sama aturan vocabulary di respons header HTTP. Google: “The X-Robots-Tag can be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robots meta tag can also be specified as an X-Robots-Tag.” (terjemahan) “ undefined dapat menjadi digunakan sebagai sebuah element dari header HTTP respons untuk sebuah given URL. apa pun aturan itu dapat menjadi digunakan di sebuah robots undefined tag dapat juga menjadi specified sebagai sebuah undefined.” dan alasan ini exists: “You can use the X-Robots-Tag for non-HTML files like image files where the usage of robots meta tags in HTML is not possible.” (terjemahan) “Anda dapat gunakan undefined untuk non-HTML files like image files where usage dari robots undefined tags di HTML adalah not mungkin.”

So:

  • PDF, image, atau lainnya non-HTML? Anda dapat’t tambahkan sebuah <meta> tag — gunakan header, e.g. X-Robots-Tag: noindex.
  • Whole directories atau patterns? header adalah set di server/CDN tingkat, so ini scales untuk entire paths di one config aturan.
  • One mesin? header dapat target sebuah crawler too: X-Robots-Tag: googlebot: noindex, nofollow, dan multiple X-Robots-Tag headers dapat menjadi combined di one respons.

sama aturan, two delivery mechanisms: meta tag untuk HTML halaman, header untuk everything else dan untuk scale.

Which directives Bing dan lainnya mesin mendukung

Don’t assume directive set adalah universal — ini isn’t. Bing mendukung core pengindeksan dan serving aturan — noindex, nofollow, noarchive (dengan nocache sebagai -nya synonym), dan nosnippet — dan ini honors X-Robots-Tag untuk non-HTML resources. tetapi Bing melakukan not mendukung none shorthand, so untuk cross-mesin safety, write noindex, nofollow out explicitly alih-alih relying pada none. snippet- dan preview-control family — max-snippet, max-image-preview, max-video-preview — along dengan noimageindex, notranslate, indexifembedded, dan unavailable_after, adalah effectively Google-hanya. When di doubt, spell directives out dan treat max-* controls sebagai Google fitur.

umum mistakes (dan fixes)

  • Disallow + noindex pada yang sama URL. noindex adalah tidak pernah seen. Fix: leave halaman dapat di-crawl; pertahankan hanya noindex.
  • noindex plus sebuah rel=canonical pointing elsewhere. Conflicting signals — Anda’re telling Google both “drop this page” (terjemahan) “drop ini halaman” dan “consolidate it into another one.” (terjemahan) “consolidate ini ke lainnya one.” Pick one. (More di canonicalization.)
  • sebuah staging-wide noindex shipped untuk production. Catastrophic, sitewide deindex. periksa sebelum launch.
  • sebuah noindex injected hanya oleh client-side JavaScript. Google memiliki untuk render halaman untuk see ini, dan jika rendered HTML differs dari what Anda expect, perilaku differs too. Prefer tag di raw HTML atau header. (See rendering.)
  • Expecting Bing untuk honor Google-hanya directives (none, max-* family).
  • Expecting sebuah robots directive untuk melakukan sebuah job ini doesn’t own. sebuah noindex atau nosnippet aturan doesn’t oleh itself guarantee crawl-budget savings, secrecy, sebuah peringkat perubahan, identical perilaku di seluruh mesin pencari, sebuah spesifik removal timeline, atau exclusion dari setiap AI/search surface — setiap dari itu outcomes belongs untuk sebuah berbeda control (authentication untuk secrecy, robots.txt untuk crawl, setiap mesin’s own docs untuk parity, Search Console atau Google-Extended untuk AI-spesifik scopes). Google gives no fixed timeframe untuk when sebuah noindexed halaman actually drops out — ini depends pada recrawl priority dan “may take months” (terjemahan) “dapat take months” untuk sebuah lower-importance halaman.

untuk where ini sits di bigger picture: robots.txt dan crawling adalah crawl-control side; noindex dan pengindeksan adalah indeks-control side; dan nosnippet / data-nosnippet, max-snippet, dan max-image-preview adalah serving controls Anda reach untuk when Anda ingin sebuah halaman terindeks tetapi ingin untuk shape how ini appears. X-Robots-Tag adalah ini sama tag’s HTTP-header equivalent untuk non-HTML.

Add an expert note

Pin an expert quote

New person? Create their unclaimed profile at /admin/experts/ → Pin a quote first.