Türkçe çeviri: Meta Robots Tag
robots meta tag controls nasıl bir sayfa dır dizine eklenmiş ve sunulan — her directive, tarama-o hâlde-obey kural, conflict resolution, ve meta tag vs X-Robots-Tag.
Diller
Bu sayfada 1 kanıt sinyali
- İlgili canlı araçHTTP Header Checker
robots meta tag — <meta name="robots" content="noindex"> in <head> — söyler arama motorları nasıl -e dizin ve sun bir tek sayfa. kural şu breaks everything: o's tarama-o hâlde-obey, bu nedenle bir sayfa blocked in robots.txt dır never fetched ve onun noindex dır never seen. ile no tag, default dır dizin, izle. Conflicting kurallar resolve -e en çok restrictive; bençin bir googlebot-named tag karşı generic robots tag, Googlebot takes sum of negative kurallar. tag dır HTML-yalnızca — kullan X-Robots-Tag header bençin PDFs, images, ve diğer non-HTML.
TL;DR — robots meta tag dır bir line of HTML siz put in bir sayfa’s
<head>-e söyle arama motorları nasıl -e ele al şu bir sayfa — en çok çoğu zaman<meta name="robots" content="noindex">-e koru o out of arama. catch şu trips everyone up: Google sahiptir -e olmak able -e tarama sayfa -e okuyun tag. -erseniz ayrıca block sayfa inrobots.txt, Google never sees tag, ve sayfa -ebilir stay in arama. ile no tag at tümü, default dır “dizin o ve izle bağlantılar.”
ne robots meta tag dır
robots meta tag dır bir küçük HTML element şu sits in <head> of bir sayfa:
<meta name="robots" content="noindex">o söyler arama motorları nasıl -e ele al bu specific sayfa — whether -e göster o
in sonuçlar, whether -e izle bağlantılar on o, whether -e göster bir snippet, ve bu nedenle
on. name="robots" part anlamına gelir “all search engines that read this tag.” siz
-ebilir swap in bir crawler’s name, like name="googlebot", -e talk -e sadece bir motor.
eğer orada’s no robots meta tag on bir sayfa, default dır index, follow — göster
o in arama ve izle onun bağlantılar. bu nedenle siz yalnızca ihtiyaç duy tag -dığınızda iste -e
change şu default. Evidence for this claim For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Scope: Google-supported robots meta rules; other crawlers publish their own support and defaults. Confidence: high · Verified: Google Search Central: Robots meta tag specifications
bir thing -e al yapğru: yapmayın block sayfa siz’re trying -e noindex
bu mistake ben see en çok çoğu zaman. kişiler iste bir sayfa out of Google, bu nedenle onlar yap her ikisi things at once:
- ekle
noindex-e sayfa, ve - Block sayfa in
robots.txt.
şu ikinci adım defeats ilk. Blocking bir URL in robots.txt söyler Google
“don’t even fetch this page.” bu nedenle Google never downloads o, never reads
noindex, ve sayfa -ebilir stay in dizin. düzelt dır -e leave sayfa
crawlable ve izin ver Google okuyun noindex. Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications
Think of o olarak two farklı jobs:
robots.txtcontrols tarama — whether bots fetch sayfa at tümü.- ** robots meta tag** controls dizine ekleme ve sunma — ne olur once sayfa dır fetched.
onlar’re değil interchangeable, ve siz yapmayın iste her ikisi on aynı URL ne zaman sizin goal dır -e kaldır o -den arama.
The same page contains a meta robots noindex directive. In the first path, crawling is allowed, so the crawler fetches the page, reads noindex, and can remove the URL from results after processing. In the second path, robots.txt blocks crawling, so the crawler cannot fetch the page or see noindex, and the URL may remain in results. Crawl control and index control are separate jobs.
© Patrick Stox LLC · CC BY 4.0 ·
yaygın directives
bir few siz’ll aslında kullan:
noindex— koru bu sayfa out of arama sonuçları.nofollow— yapmayın izle bağlantılar on bu sayfa. (farklı -den puttingrel="nofollow"on bir tek bağlantı — bu bir uygulanır -e her bağlantı on sayfa.)none— shorthand bençinnoindex, nofollow.nosnippet— yapmayın göster bir text snippet bençin bu sayfa in sonuçlar.
-ebilirsiniz combine them ile bir comma: <meta name="robots" content="noindex, nofollow">.
bir few honest gotchas
noindexyapmaz yap bir sayfa özel. sayfa dır hâlâ kamuya birçık ve crawlable — o sadece won’t göster in arama. bençin gerçek privacy, kullan bir login.noindexyapmaz save tarama bütçesi. Google hâlâ sahiptir -e fetch sayfa -e see tag.- bençin bir PDF veya bir image, -ebilirsiniz’t ekle bir
<meta>tag — orada’s no HTML<head>. şu’s ne X-Robots-Tag HTTP header dır bençin (daha on şu in Advanced sürüm). - orada’s no düzeltilmiş timeline bençin bir
noindexed sayfa -e drop out of Google. Google şunu söylüyor o -ebilir take months bençin bir lower-priority sayfa -e al recrawled ve processed — yapmayın promise bir client “2-4 weeks.”
iste full directive liste, nasıl Google resolves conflicting kurallar,
googlebot-vs-robots edge durum, ve X-Robots-Tag header in detail? Switch
-e Advanced tab.
test et yourself: robots meta directives
seç control tarafından outcome
Which robots control should I use?
Robots controls şu başarısız ol onların intended job
- Combining
noindexile bir robots.txt block. block prevents crawler -den seeing kaldırma directive. - kullanarak
disallowolarak bir deindexing guarantee. o stops fetching, ama bir linked URL -ebilir hâlâ olmak dizine eklenmiş olmadan sayfa bençerik. - Assuming bir body-placed robots meta tag dır silently ignored. Google şunu söylüyor o
-ecek respect bir robots meta tag in body, bu nedenle bir template şu injects o orada
hâlâ çalışır bençin Google — ama stick -e
<head>placement anyway, since o’s yalnızca placement diğer crawlers ve validators dır guaranteed -e expect. - kullanarak bir crawler-name token Google yapmaz okuyun (e.g.
name="bingbot") ve assuming o ayrıca scopes kural bençin Google. Google recognizes yalnızcagooglebotvegooglebot-news; herhangi bir diğer name değer dır ignored tarafından Google entirely. - kullanarak bir HTML meta tag bençin bir PDF. sun
X-Robots-Tagin HTTP response bençin non-HTML files. - Treating
nofollowolaraknoindex. bağlantı handling yapmaz kaldır güncel sayfa -den sonuçlar. - Publishing generic ve crawler-specific tags olmadan resolving sum. denetim
her
robots,googlebot, ve header directive together; restrictive kural -ebilir survive in bir ikinci location. - kullanarak robots kurallar bençin secrecy. Anyone -ebilir istek bir kamuya birçık URL veya okuyun
robots.txt; confidential bençerik gerektirir authentication.
Deploy bir noindex safely
- yapğrulanmış kaldırma -den arama—değil tarama reduction, canonical birleştirme, veya access control—dır intended outcome.
- kullanılan
<meta name="robots" content="noindex">bençin HTML veya birX-Robots-Tag: noindexresponse header bençin bir non-HTML kaynak. - Kept URL crawlable ve accessible -e target crawler.
- Removed contradictory template, CMS, CDN, ve crawler-specific directives.
- Checked rendered head ve live response, değil yalnızca kaynak template.
- Tested her ikisi canonical URL ve meaningful varyantlar veya yönlendirmeler.
- Recorded affected URL ayarla ve deployment time bençin later comparison.
- Verified kural in URL Inspection ve monitored sayfa dizine ekleme rapor sonra recrawl.
- kullanılan authentication instead eğer bençerik -meli olmak özel.
Inspect meta, headers, ve tarama access
Replace URL in bu shell denetim:
url="https://example.com/page/"
curl -sSI "$url" | grep -iE '^(HTTP/|x-robots-tag:|location:)'
curl -sS "$url" | grep -oiE '<meta[^>]+name=["'"'](robots|googlebot)["'"'][^>]*>'
curl -sS "https://example.com/robots.txt"In DevTools Console, inventory her parsed robots tag yerine stopping at ilk match:
console.table([...document.querySelectorAll('meta[name]')]
.filter((meta) => /^(robots|googlebot|bingbot)$/i.test(meta.name))
.map((meta) => ({ crawler: meta.name, content: meta.content })));Headers değildir visible in DOM, bu nedenle compare console sonuç ile gerçek response. ayrıca izle yönlendirmeler: bir directive on bir intermediate response yapmaz prove destination serves aynı kural.
test et her layer separately
- HTTP Header Checker — inspect status, yönlendirmeler,
ve her live
X-Robots-Tagheader, dahil bençin PDFs. - Robots.txt Tester — kontrol et whether target crawler dır allowed -e fetch URL ve therefore able -e discover bir robots directive.
kullan her ikisi ne zaman diagnosing bir stubborn dizine eklenmiş URL. bir correct noindex response değildir actionable eğer robots.txt prevents fetch, ve bir allowed tarama yapmaz prove sayfa aslında serves noindex.
Prove directive çalışır sonra deployment
test et 1 — Live delivery
- Hypothesis: her intended URL serves bir effective
noindexkural. - yöntem: Sample URL ayarla, izle yönlendirmeler, ve inspect rendered meta plus response headers.
- geç condition: final response dır crawlable ve exposes
noindex-e intended crawler ile no conflicting delivery path. - başarısız ol condition: bir yönlendirme, CDN header, veya crawler-specific tag changes o.
- sonraki action: düzelt responsible layer ve repeat aynı sample.
test et 2 — arama-motor processing
- Hypothesis: Google -ebilir tarama sayfa ve sahiptir processed kaldırma kural.
- yöntem: çalıştır URL Inspection’s live test et, o hâlde izle sayfa dizine ekleme rapor sonra recrawl.
- geç condition: live test et detects noindex ve URL olur değil dizine eklenmiş bençin şu neden.
- başarısız ol condition: URL dır blocked, directive dır absent, veya eski dizin state persists olmadan bir yeni tarama.
- sonraki action: Restore tarama access veya istek recrawl; yapmayın ekle bir disallow.
Measure intent, değil bir universal benchmark
Amaçlanan noindex kapsamı
URLs serving the intended noindex ÷ URLs in the approved noindex set
oluştur denominator -den sizin kendi kaldırma inventory, o hâlde compare tarar önce ve sonra deployment. target dır complete coverage of şu approved ayarla—değil bir industry percentage.
Unintended dizin-control conflicts
izle counts of intended-noindex URLs şu dır hâlâ dizine eklenmiş, robots.txt-blocked, veya sunma contradictory meta/header kurallar. Segment tarafından template, CDN kural, ve file type bu nedenle bir implementation fault yapmaz hide bençinde bir sitewide total.
kullan Google arama Console’s sayfa dizine ekleme rapor ve URL Inspection olarak processing evidence, -iken recognizing şu deindexing depends on recrawl. Preserve pre-change count ve deployment date; otherwise bir falling total sahiptir no reliable baseline.
Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specificationsTL;DR —
<meta name="robots" content="…">in<head>controls nasıl bir tek sayfa dır dizine eklenmiş ve sunulan; ile no tag default dırindex, follow. o’s tarama-o hâlde-obey: “bunlar settings -ebilir olmak okuyun ve izlenen yalnızca eğer crawlers dır allowed -e access sayfalar” — bu nedenle birrobots.txt-blocked URL dır never fetched ve onunnoindexdır never seen (ben sahip ilk-party data on flip side of bu). Conflicting kurallar resolve -e en çok restrictive; genelinde birgooglebottag ve genericrobotstag, Googlebot takes sum of negative kurallar. tag dır HTML-yalnızca — kullan X-Robots-Tag header bençin non-HTML ve ölçekte. Google reads yalnızca two crawler-named tokens —googlebotvegooglebot-news— ve ignores her diğer değer, dahil diğer motorlar’ tokens likebingbot.
ne o dır, nerede o goes, ve default
robots meta tag lets siz, in Google’s words, “kullan bir granular, sayfa-specific
approach -e controlling nasıl bir individual HTML sayfa -meli olmak dizine eklenmiş ve sunulan
-e kullanıcılar in Google arama sonuçları.” conventional, portable place bençin o dır
<head>:
<meta name="robots" content="noindex, nofollow">Head placement dır authoring convention her motor expects, ama Google dır
explicit şu o değildir bir hard requirement bençin Google arama specifically: “Google
arama yapmaz enforce placement of meta robots in HTML head ve -ecek respect
robots meta tags in body section of bir HTML belge olarak well.” ele al şu olarak
tolerance bençin Google, değil portable advice — hâlâ author o in <head> bu nedenle
her crawler ve validator şu expects standard placement reads o yapğru biçimde.
name attribute dır audience, ve bu nerede en çok guides overstate
Google’s support. name="robots" adresler her crawler şu reads tag.
Beyond şu, Google supports tam olarak two crawler-named tokens, ve ignores her
diğer değer: “Google supports two kullanıcı agent tokens in robots meta tag;
diğer values dır ignored: googlebot bençin tümü text sonuçlar, ve googlebot-news
bençin news sonuçlar.” A tag named name="bingbot" isn’t a documented Google
control — Bing reads its own token on its own terms, but Google skips any name
value it doesn’t recognize. Both the name and content attributes are
case-insensitive to Google, and so are X-Robots-Tag header names ve values.
ne zaman no robots meta tag dır present, default dır
index, follow ( all kural, hangi Google notes “sahiptir no effect eğer explicitly
listed”). Evidence for this claim For Google, the default robots meta behavior is index, follow when no restrictive rule is present. Scope: Google-supported robots meta rules; other crawlers publish their own support and defaults. Confidence: high · Verified: Google Search Central: Robots meta tag specifications siz yalnızca ihtiyaç duy tag -e change şu default.
siz combine kurallar two ways: comma-separated in bir tag (noindex, nofollow) veya olarak
birden çok <meta> tags. Google: -ebilirsiniz “oluştur bir multi-kural instruction tarafından
combining robots meta tag kurallar ile commas veya tarafından kullanarak birden çok meta tags.”
kural şu breaks everything: Google -meli tarama sayfa -e see tag
bu whole article. robots meta tag dır tarama-o hâlde-obey. Google sahiptir -e fetch sayfa -e okuyun tag — bu nedenle anything şu stops fetch stops tag -den ever olma applied. Straight -den spec:
Evidence for this claim Google can read and follow page-level robots rules only when it is allowed to access the page. Scope: Google-supported robots meta and X-Robots-Tag rules; robots.txt blocking can prevent rule discovery. Confidence: high · Verified: Google Search Central: Robots meta tag specifications“aklınızda tutun şu bunlar settings -ebilir olmak okuyun ve izlenen yalnızca eğer crawlers dır allowed -e access sayfalar şu bençer bunlar settings.”
ve consequence, spelled out:
“eğer bir sayfa dır disallowed -den tarama aracılığıyla robots.txt file, o hâlde herhangi bir information hakkında dizine ekleme veya sunma kurallar -ecek değil olmak found ve -ecek therefore olmak ignored.”
bu nedenle classic mistake — Disallow in robots.txt plus noindex on
aynı URL — silently defeats noindex. Google never tarar sayfa, never
sees tag, ve URL -ebilir linger in dizin (çoğu zaman olarak bir bare, snippet-daha az
sonuç eğer something bağlantılar -e o). Google’s companion “Block Search Indexing”
doc söyler aynı thing in plainer language: bençin noindex kural -e çalışır,
sayfa “-meli değil olmak blocked tarafından bir robots.txt file… eğer sayfa dır blocked tarafından bir
robots.txt file veya crawler -ebilir’t access sayfa, crawler -ecek never see
noindex kural, ve sayfa -ebilir hâlâ görün in arama sonuçları.”
ben’ve watched flip side of bu mechanism gerçekleş ile gerçek data. In benim
experiment Story of Blocking 2 High-sıralama sayfalar ile Robots.txt,
ben deliberately blocked two of bizim sıralama sayfalar in robots.txt. çünkü Google
-ebilirdi no longer tarama them, o couldn’t refresh anything hakkında them — ve
sayfalar mostly kept sıralama: “biz lost bir position burada veya orada ve tümü of
featured snippets bençin sayfalar.” My takeaway: “Accidentally blocking sayfalar
(şu Google zaten ranks) -den olma tarandı kullanarak robots.txt probably değildir
going -e sahip much impact on sizin sıralamalar, ve onlar -ecek muhtemel hâlâ göster in
arama sonuçları.” şu’s aynı coin olarak noindex sorun — bir blocked URL dır
frozen. Block ≠ kaldır. -erseniz aslında iste bir sayfa gone, siz ihtiyaç duy bir
crawlable noindex, bu da entire benşaret et of bu tag.
bu line ben’ve drawn publicly on nerede her araç belongs. Asked whether
Google -meli ekle noindex support -e robots.txt, ben said: “Google idi clear
onlar iste robots.txt bençin tarama control yalnızca.” tarama dır robots.txt’s job;
dizine ekleme dır meta tag’s (veya header’s). onlar yapmayın overlap, ve
noindex directive in robots.txt idi never officially supported — Google dropped
parsing of o on September 1, 2019.
her robots meta directive ( reference)
Google’s supported values, ile verbatim descriptions -den spec:
dizine ekleme
all— “vardır no restrictions bençin dizine ekleme veya sunma. bu kural dır default değer ve sahiptir no effect eğer explicitly listed.”noindex— “Do not show this page, media, or resource in search results.”none— “Equivalent tonoindex, nofollow.”indexifembedded— “Google dır allowed -e dizin bençerik of bir sayfa eğer o’s embedded in başka bir sayfa aracılığıyla iframes veya benzer HTML tags, in spite of birnoindexkural.” ( bir directive şu overrides birnoindex, bençin embedded bençerik.)
bağlantılar
nofollow— “Do not follow the links on this page.” bu sayfa-level — farklı scope -den bir per-bağlantırel="nofollow", hangi uygulanır -e bir bağlantı.
sunma ve snippets
nosnippet— “yapmayın göster bir text snippet veya video preview in arama sonuçlar bençin bu sayfa.” bu scope dır broader -den classic text snippet: Google şunu söylüyor o “uygulanır -e tümü forms of arama sonuçları (at Google: web arama, Google Images, Discover, AI Overviews, AI Mode) ve -ecek ayrıca prevent bençerik -den olma kullanılan olarak bir direct input bençin AI Overviews ve AI Mode.”max-snippet:[number]— “kullan bir maximum of [number] characters olarak bir textual snippet bençin bu arama sonuç.” aynı broadened scope olaraknosnippet: o “uygulanır -e tümü forms of arama sonuçları (such olarak Google web arama, Google Images, Discover, Assistant, AI Overviews, AI Mode) ve -ecek ayrıca limit nasıl much of bençerik -ebilir olmak kullanılan olarak bir direct input bençin AI Overviews ve AI Mode.” şu’s bir direct-input eligibility control bençin Google’ın kendi AI arama features — o değildir bir general AI-training opt-out. tutma sizin bençerik out of model training (e.g. Google-Extended) veya out of arama’s separate generative-AI property-level control in arama Console dır farklı systems ile farklı scopes; yapmayın ele alnosnippet/max-snippetolarak covering either.max-image-preview:[setting]— “ayarla maximum size of bir image preview bençin bu sayfa in arama sonuçları.” Settings:none,standard, veyalarge(“A larger image preview, up to the width of the viewport, may be shown.”).max-video-preview:[number]— “kullan bir maximum of [number] seconds olarak bir video snippet bençin videos on bu sayfa in arama sonuçları.”notranslate— “Don’t offer translation of this page in search results.”noimageindex— “Do not index images on this page.”unavailable_after:[date/time]— “yapmayın göster bu sayfa in arama sonuçları sonra specified date/time.”
Tarihsel — artık etkin olmayan Google denetimleri
bir few directives şu hâlâ circulate in older guides dır ones Google şunu söylüyor o no longer kullanır. yapmayın ekle bunlar expecting them -e yap anything:
noarchive— ”noarchivekural dır no longer kullanılan tarafından Google arama -e control whether bir cached bağlantı dır gösterilen in arama sonuçları, olarak cached bağlantı feature no longer vardır.”nocache(bir synonym bazı motorlar kullanılan bençinnoarchive) — ”nocachekural değildir kullanılan tarafından Google arama.”nositelinkssearchbox— ”nositelinkssearchboxkural dır no longer kullanılan tarafından Google arama -e control whether sitelink arama box dır gösterilen bençin bir given sayfa, olarak feature no longer vardır.”
Paragraph-level (değil in meta tag)
orada’s bir sub-sayfa control: data-nosnippet attribute. Google: -ebilirsiniz
“designate textual parts of bir HTML sayfa değil -e olmak kullanılan olarak bir snippet… on
span, div, ve section elements.” Everything in meta tag dır sayfa-wide;
nosnippet / data-nosnippet dır nasıl siz koru bir passage out of snippet
olmadan touching rest.
Combining directives ve resolving conflicts
Two kurallar govern ne olur ne zaman directives collide.
1. daha restrictive kural wins. “In durum of conflicting robots kurallar,
daha restrictive kural uygulanır. örneğin, eğer bir sayfa sahiptir her ikisi max-snippet:50
ve nosnippet kurallar, nosnippet kural -ecek uygula.” nosnippet dır stricter
-den bir 50-character cap, bu nedenle nosnippet dır ne siz al.
2. googlebot vs robots — sum of negative kurallar. bu bir
en çok guides al yanlış. bir googlebot-named tag yapar değil basitçe replace
generic robots tag — bençin overlap, Googlebot takes union of
restrictions. Google: “bençin situations nerede birden çok crawlers dır specified
along ile farklı kurallar, arama motoru -ecek kullan sum of negative
kurallar.” onların worked örnek:
<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">” sayfa containing bunlar meta tags -ecek olmak interpreted olarak having bir noindex, nofollow kural ne zaman tarandı tarafından Googlebot.” nofollow -den robots plus
noindex -den googlebot ekle up -e noindex, nofollow bençin Googlebot. (nerede
bir googlebot tag ve bir robots tag ayarla aynı directive differently,
crawler-named bir dır bir şu uygulanır -e şu crawler.)
Meta robots tag vs X-Robots-Tag ( HTTP header)
robots meta tag dır HTML-yalnızca — o gerektirir bir <head>. bençin anything şu
değildir HTML, siz kullan X-Robots-Tag, hangi delivers exact aynı kural
vocabulary in HTTP response header. Google: ” X-Robots-Tag -ebilir olmak kullanılan
olarak bir element of HTTP header response bençin bir given URL. herhangi bir kural şu -ebilir olmak
kullanılan in bir robots meta tag -ebilir ayrıca olmak specified olarak bir X-Robots-Tag.” ve
neden o vardır: “-ebilirsiniz kullan X-Robots-Tag bençin non-HTML files like image
files nerede usage of robots meta tags in HTML değildir olası.”
bu nedenle:
- PDF, image, veya diğer non-HTML? -ebilirsiniz’t ekle bir
<meta>tag — kullan header, e.g.X-Robots-Tag: noindex. - Whole directories veya patterns? header dır ayarla at server/CDN level, bu nedenle o scales -e entire paths in bir config kural.
- bir motor? header -ebilir target bir crawler de:
X-Robots-Tag: googlebot: noindex, nofollow, ve birden çok X-Robots-Tag headers -ebilir olmak combined in bir response.
aynı kurallar, two delivery mechanisms: meta tag bençin HTML sayfalar, header bençin everything else ve bençin scale.
hangi directives Bing ve diğer motorlar support
yapmayın assume directive ayarla dır universal — o değildir. Bing supports temel
dizine ekleme ve sunma kurallar — noindex, nofollow, noarchive (ile nocache olarak
onun synonym), ve nosnippet — ve o honors X-Robots-Tag bençin non-HTML
kaynaklar. ama Bing yapar değil support none shorthand, bu nedenle bençin cross-motor
safety, yaz noindex, nofollow out explicitly yerine relying on none.
snippet- ve preview-control family — max-snippet, max-image-preview,
max-video-preview — along ile noimageindex, notranslate,
indexifembedded, ve unavailable_after, dır effectively Google-yalnızca. ne zaman in
doubt, spell directives out ve ele al max-* controls olarak Google features.
yaygın mistakes (ve düzeltmeler)
Disallow+noindexon aynı URL.noindexdır never seen. düzelt: leave sayfa crawlable; koru sadecenoindex.noindexplus birrel=canonicalpointing elsewhere. Conflicting sinyaller — siz’re telling Google her ikisi “drop this page” ve “birleştir o -e başka bir bir.” seç bir. (daha in canonical’laştırma.)- bir staging-wide
noindexshipped -e production. Catastrophic, sitewide deindex. kontrol et önce launch. - bir
noindexinjected yalnızca tarafından client-side JavaScript. Google sahiptir -e render sayfa -e see o, ve eğer rendered HTML differs -den ne siz expect, behavior differs de. Prefer tag in raw HTML veya header. (See rendering.) - Expecting Bing -e honor Google-yalnızca directives (
none,max-*family). - Expecting bir robots directive -e yap bir job o yapmaz kendi. bir
noindexveyanosnippetkural yapmaz tarafından itself guarantee tarama-budget savings, secrecy, bir sıralama change, identical behavior genelinde arama motorları, bir specific kaldırma timeline, veya exclusion -den her AI/arama surface — her of şunlar outcomes belongs -e bir farklı control (authentication bençin secrecy,robots.txtbençin tarama, her motor’s kendi docs bençin parity, arama Console veya Google-Extended bençin AI-specific scopes). Google verir no düzeltilmiş timeframe bençin ne zaman birnoindexed sayfa aslında drops out — o depends on recrawl priority ve “may take months” bençin bir lower-importance sayfa.
bençin nerede bu sits in bigger picture: robots.txt ve tarama dır tarama-control side; noindex ve dizine ekleme dır dizin-control side; ve nosnippet / data-nosnippet, max-snippet, ve max-image-preview dır sunma controls siz ulaş bençin -dığınızda iste bir sayfa dizine eklenmiş ama iste -e shape nasıl o görünür. X-Robots-Tag dır bu aynı tag’s HTTP-header eşdeğeri bençin non-HTML.
AI özet
bir condensed take on Advanced sürüm:
- ** robots meta tag** —
<meta name="robots" content="…">in<head>— controls nasıl bir tek HTML sayfa dır dizine eklenmiş ve sunulan. ile no tag, default dırindex, follow. - o’s tarama-o hâlde-obey. Google -meli tarama sayfa -e okuyun tag: “bunlar
settings -ebilir olmak okuyun ve izlenen yalnızca eğer crawlers dır allowed -e access
sayfalar.” bu nedenle bir robots.txt-blocked URL never alır onun
noindexseen — classic mistake. Patrick’s blocked-sayfalar experiment proves mechanism: blocked sayfalar stayed dizine eklenmiş ve mostly kept sıralama. Block ≠ kaldır. - robots.txt = tarama control; meta tag (veya X-Robots-Tag) = dizin/sun
control. değil interchangeable.
noindexin robots.txt idi dropped Sept 1, 2019. - Directives: dizine ekleme (
noindex,none,indexifembedded), bağlantılar (nofollow, sayfa-wide), sunma (nosnippet,max-snippet,max-image-preview,max-video-preview,notranslate,noimageindex,unavailable_after), plus paragraph-leveldata-nosnippetattribute.noarchive,nocache, venositelinkssearchboxdır historical — Google şunu söylüyor o no longer kullanır them. nosnippet/max-snippetayrıca gate AI Overviews ve AI Mode — Google şunu söylüyor onlar control whether sayfa’s bençerik -ebilir olmak kullanılan olarak bir direct input bençin şunlar features, değil sadece classic text snippet. şu’s değil bir general AI-training opt-out; Google-Extended ve arama’s separate generative-AI property control dır farklı systems.- Conflicts resolve -e en çok restrictive (
nosnippetbeatsmax-snippet:50). genelinde birgooglebottag ve genericrobotstag, Googlebot takes sum of negative kurallar —robots: nofollow+googlebot: noindex⇒noindex, nofollow. Google recognizes yalnızcagooglebot/googlebot-newsname tokens; diğer values (likebingbot) dır ignored tarafından Google. - Meta tag dır conventionally
<head>-yalnızca (Google ayrıca tolerates body placement, ama şu’s Google-specific, değil portable); X-Robots-Tag carries aynı kurallar in HTTP header bençin PDFs, images, non-HTML, ve whole directories. - Cross-motor: Bing supports
noindex/nofollow/noarchive(nocache)/nosnippetama değilnone;max-*family dır effectively Google-yalnızca — yaz directives out explicitly. - No guarantees: bir robots directive alone yapmaz promise tarama-budget
savings, secrecy, bir sıralama change, cross-motor parity, veya bir düzeltilmiş kaldırma
timeline — Google verir no ayarla timeframe bençin
noindex-e take effect.
resmî dokümantasyon
birincil-kaynak dokümantasyon -den arama motorları.
- Robots meta tag, data-nosnippet, ve X-Robots-Tag specifications — authoritative spec: her directive, combining kurallar, conflict resolution,
googlebot-vs-robotsunion, ve X-Robots-Tag header. başla burada. - Block arama dizine ekleme ile noindex — nasıl
noindexçalışır, two delivery mechanisms (meta tag ve header), ve tarama dependency in plain language. - Introduction -e robots.txt — tarama-control counterpart, bu nedenle siz yapmayın confuse two jobs.
- tarama ve dizine ekleme — hub bençin robots, sitemaps, canonical’laştırma, ve tarama controls.
Bing / Microsoft
- Robots meta tags ve attributes şu Bing supports — Bing’s supported directives (yapğrula exact liste on live sayfa; o’s JavaScript-rendered).
Reference
- MDN —
<meta name="robots">— cross-motor directive reference, dahil hangi motorlar kullannoarchive/nocache.
Quotes -den kaynak
On—record statements -den Google. her bağlantı dır bir deep bağlantı şu jumps -e quoted passage on kaynak sayfa.
Google — ne tag dır ve default
- “The robots
metatag lets you use a granular, page-specific approach to controlling how an individual HTML page should be indexed and served to users in Google Search results.” — Google arama Central docs. Jump -e quote
Google — tarama-o hâlde-obey dependency
- “Keep in mind that these settings can be read and followed only if crawlers are allowed to access the pages that include these settings.” Jump -e quote
- “If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored.” Jump -e quote
- “For the
noindexrule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” — Google, “Block Search Indexing with noindex.” Jump -e quote
Google — directives (verbatim descriptions)
- “Do not show this page, media, or resource in search results.” —
noindex. Jump -e quote - “Equivalent to
noindex, nofollow.” —none. Jump -e quote - “Do not show a text snippet or video preview in the search results for this page.” —
nosnippet. Jump -e quote - “Google is allowed to index the content of a page if it’s embedded in another page through iframes or similar HTML tags, in spite of a
noindexrule.” —indexifembedded. Jump -e quote - “A larger image preview, up to the width of the viewport, may be shown.” —
max-image-preview:large. Jump -e quote - “Do not index images on this page.” —
noimageindex. Jump -e quote - “You can designate textual parts of an HTML page not to be used as a snippet.” —
data-nosnippet. Jump -e quote
Google — combining ve resolving conflicts
- “You can create a multi-rule instruction by combining robots
metatag rules with commas or by using multiplemetatags.” Jump -e quote - “In the case of conflicting robots rules, the more restrictive rule applies. For example, if a page has both
max-snippet:50andnosnippetrules, thenosnippetrule will apply.” Jump -e quote - “For situations where multiple crawlers are specified along with different rules, the search engine will use the sum of the negative rules.” Jump -e quote
Google — placement, crawler tokens, ve durum sensitivity
- “Google Search doesn’t enforce placement of meta robots in the HTML head and will respect robots meta tags in the body section of an HTML document as well.” Jump -e quote
- “Google supports two user agent tokens in the robots
metatag; other values are ignored.” Jump -e quote - “Both the
nameand thecontentattributes are case-insensitive.” Jump -e quote
Google — noarchive ve diğer historical directives
- “The
noarchiverule is no longer used by Google Search to control whether a cached link is shown in search results, as the cached link feature no longer exists.” Jump -e quote - “The
nocacherule isn’t used by Google Search.” Jump -e quote
Google — nosnippet ve max-snippet ulaş AI Overviews ve AI Mode
- “[nosnippet] applies to all forms of search results (at Google: web search, Google Images, Discover, AI Overviews, AI Mode) and will also prevent the content from being used as a direct input for AI Overviews and AI Mode.” Jump -e quote
- “[max-snippet] applies to all forms of search results (such as Google web search, Google Images, Discover, Assistant, AI Overviews, AI Mode) and will also limit how much of the content may be used as a direct input for AI Overviews and AI Mode.” Jump -e quote
Google — no düzeltilmiş timeframe bençin noindex -e take effect
- “If a page is still appearing in results, it’s probably because we haven’t crawled the page since you added the
noindexrule. Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page.” — Google, “Block Search Indexing with noindex.” Jump -e quote
Google — X-Robots-Tag
- “The
X-Robots-Tagcan be used as an element of the HTTP header response for a given URL. Any rule that can be used in a robotsmetatag can also be specified as anX-Robots-Tag.” Jump -e quote - “You can use the
X-Robots-Tagfor non-HTML files like image files where the usage of robotsmetatags in HTML is not possible.” Jump -e quote
Patrick Stox — robots.txt dır bençin tarama control yalnızca
- “Google was clear they want robots.txt for crawl control only. The biggest downside will probably be all the people who accidentally take their entire site out of the index.”
— Patrick Stox, on whether Google -meli ekle
noindex-e robots.txt, in arama motoru Land. Jump -e quote
Patrick Stox — blocking sıralama sayfalar ile robots.txt ( tarama-vs-dizin proof)
- “Accidentally blocking pages (that Google already ranks) from being crawled using robots.txt probably isn’t going to have much impact on your rankings, and they will likely still show in the search results.” Jump -e quote
- “We lost a position here or there and all of the featured snippets for the pages.” Jump -e quote
her robots meta directive — cheat sheet
full ayarla of Google-supported content values, ne her yapar, ve default.
| Directive | ne yaptığı | Default? |
|---|---|---|
all | No restrictions on dizine ekleme veya sunma — implicit default | Yes (ne zaman no tag) |
index | izin ver sayfa in arama sonuçları ( default; rarely yazılmış) | Implicit |
noindex | koru bu sayfa/media/kaynak out of arama sonuçları | No |
follow | izle bağlantılar on bu sayfa ( default; rarely yazılmış) | Implicit |
nofollow | yapmayın izle herhangi bir bağlantılar on bu sayfa (sayfa-wide) | No |
none | Shorthand bençin noindex, nofollow (değil supported tarafından Bing) | No |
nosnippet | yapmayın göster bir text snippet veya video preview; ayrıca blocks sayfa olarak bir direct input bençin AI Overviews/AI Mode | No |
max-snippet:[n] | Cap text snippet at [n] characters (0 = none, -1 = no limit); ayrıca caps nasıl much -ebilir feed AI Overviews/AI Mode yapğrudan | No |
max-image-preview:[setting] | Cap image-preview size: none / standard / large | No |
max-video-preview:[n] | Cap video preview at [n] seconds (0 = none, -1 = no limit) | No |
notranslate | yapmayın offer bir translation of bu sayfa in sonuçlar | No |
noimageindex | yapmayın dizin images on bu sayfa | No |
unavailable_after:[date/time] | Drop sayfa -den sonuçlar sonra given date/time | No |
indexifembedded | izin ver dizine ekleme of bençerik embedded via iframe hatta ile noindex | No |
Historical — Google no longer kullanır bunlar:
| Directive | Status |
|---|---|
noarchive | No longer kullanılan — cached-bağlantı feature o controlled no longer vardır |
nocache | değil kullanılan tarafından Google arama (bazı motorlar ele alınır o olarak bir noarchive synonym) |
nositelinkssearchbox | No longer kullanılan — sitelinks arama box feature o controlled no longer vardır |
Paragraph-level (bir HTML attribute, değil bir content değer):
| Attribute | ne yaptığı | nerede |
|---|---|---|
data-nosnippet | koru bir specific passage out of snippet | On span, div, section |
** syntax**
<!-- one tag, comma-separated -->
<meta name="robots" content="noindex, nofollow">
<!-- target one engine -->
<meta name="googlebot" content="noindex">
<!-- the HTTP-header equivalent, for non-HTML / at scale -->
X-Robots-Tag: noindex
X-Robots-Tag: googlebot: noindex, nofollowKısa bilgiler
- No tag at tümü → default
index, follow. none=noindex, nofollow— ama Bing yapmaz supportnone; yaz o out.max-*,noimageindex,notranslate,indexifembedded,unavailable_afterdır effectively Google-yalnızca.- tag dır HTML-yalnızca;
X-Robots-Tagheader carries aynı kurallar bençin PDFs, images, ve whole directories. - Google reads tam olarak two crawler-name tokens —
googlebotvegooglebot-news— ve ignores everything else, dahil diğer motorlar’ tokens likebingbot. - Head placement dır portable convention, ama Google specifically ayrıca
respects bir robots meta tag placed in
<body>. name/contentveX-Robots-Tagvalues dır durum-insensitive -e Google.
mental models
1. tarama-o hâlde-obey — tag yalnızca çalışır eğer sayfa dır fetchable.
Google sahiptir -e tarama sayfa -e okuyun tag. Anything şu blocks fetch
(robots.txt disallow, auth, bir server error) anlamına gelir tag dır never seen. bu nedenle
önce siz trust bir noindex, yapğrula URL dır crawlable. corollary: never
Disallow bir URL siz’re trying -e noindex.
2. Three araçlar, three jobs — yapmayın mix them up.
robots.txt= tarama control (whether bots fetch sayfa).- Robots meta tag / X-Robots-Tag = dizin & sun control (ne olur once o’s fetched).
- Authentication = secrecy (bir
noindexsayfa dır hâlâ kamuya birçık). Match job -e araç. en çok yaygın başarısızlık dır kullanarakrobots.txt-e try -e deindex — şu’s meta tag’s job.
3. decision kural bençin removing bir sayfa.
iste o out of arama? Leave o crawlable ve ekle noindex — ve
yapmayın ayrıca block o in robots.txt, ve yapmayın ayrıca canonical o -e bir farklı
URL. iste bots -e skip bir space entirely (ve siz yapmayın care hakkında dizine ekleme)?
robots.txt disallow. two değildir interchangeable.
4. Conflict resolution — en çok restrictive wins.
ne zaman kurallar collide, stricter bir uygulanır (nosnippet beats max-snippet:50).
yapmayın try -e out-clever bu ile combinations; assume tightest kural dır bir
şu takes effect.
5. googlebot vs robots — sum of negatives, değil override.
bençin overlap, Googlebot adds up restrictions -den generic robots
tag ve googlebot-named tag yerine picking bir. robots: nofollow +
googlebot: noindex ⇒ Googlebot alır noindex, nofollow. (bir crawler-named tag
yapar take precedence üzerinde generic tag nerede onlar ayarla aynı directive
differently — ama union dır kural -e remember.)
6. HTML sayfa → meta tag; everything else → header.
eğer o sahiptir bir <head>, kullan <meta> tag. eğer o’s bir PDF, bir image, herhangi bir non-HTML
file, veya -meniz gerekir kapsa bir whole directory, kullan X-Robots-Tag header —
aynı kural vocabulary, farklı delivery.
Değişiklik günlüğü
8 Ağu 2026 tarihinde güncellendi.
Editoryal özet ve kaydedilen değişiklik ayrıntıları.Değişiklik ayrıntıları
-
Ayrıntılı değişiklik notları şu anda İngilizce olarak mevcut.
Tam karşılaştırma kullanılamıyor — bu sürüm için önceki anlık görüntü arşivlenmemiş.
18 Tem 2026 tarihinde güncellendi.
Editoryal özet ve kaydedilen değişiklik ayrıntıları.Değişiklik ayrıntıları
-
Ayrıntılı değişiklik notları şu anda İngilizce olarak mevcut.
-
Ayrıntılı değişiklik notları şu anda İngilizce olarak mevcut.
-
Ayrıntılı değişiklik notları şu anda İngilizce olarak mevcut.
-
Ayrıntılı değişiklik notları şu anda İngilizce olarak mevcut.
-
Ayrıntılı değişiklik notları şu anda İngilizce olarak mevcut.
Tam karşılaştırma kullanılamıyor — bu sürüm için önceki anlık görüntü arşivlenmemiş.