Blocked by robots.txt (GSC Durumu)

TL;DR — Search Console’daki “Blocked by robots.txt”, Google’ın sayfayı bulduğu ancak robots.txt dosyanız tarayıcılara uzak durmalarını söylediği için okumadığı anlamına gelir. Bu genellikle kasıtlıdır ve sorun değildir — bir engellemenin normal sonucudur, hata değildir. Yalnızca Google’da yer almasını istediğiniz bir sayfayı engellediyseniz sorun oluşturur.

Bu durum ne anlama geliyor?

Google Search Console’daki Page Indexing raporunu açıp “Blocked by robots.txt” seçeneğine tıkladığınızda, Google’ın dizine eklememeyi seçtiği URL’lerin listesini görürsünüz. Nedeni basittir: Google bu URL’leri bulmuştur ancak sitenizin robots.txt dosyası, tarayıcıların bunları getirmesine izin vermemektedir. Evidence for this claim Google reports Blocked by robots.txt when crawling is disallowed and warns that this does not guarantee the URL cannot be indexed by other means. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report Bu etiket tarama engelini bildirir; URL’nin başka sinyaller aracılığıyla hiçbir zaman dizine eklenemeyeceğini garanti etmez.

İnsanlara ilk söylediğim şey şudur: paniğe kapılmayın. Bu durum genellikle kasıtlıdır. Siz (veya CMS’niz ya da bir eklenti) bir şeyi bilerek engellediyseniz — dahili arama sonuçları, filtreli gezinme URL’leri, hazırlık ortamı yolu, sepet ve ödeme URL’leri — bunu burada görmek tam olarak beklenen sonuçtur. Google bir hatayı işaretlemiyor; engellemenin çalıştığını doğruluyor.

Aklınızda tutmanız gereken tek fikir

robots.txt taramayı kontrol eder, dizine eklemeyi değil. Bunlar iki farklı şeydir. Bir sayfayı robots.txt içinde engellemek Google’ın onu okumasını önler; sayfayı Google’dan silmez Evidence for this claim Google says robots.txt manages crawler access and is not a mechanism for keeping a page out of Google. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction ve arama sonuçlarından kaldırmanın bir yolu değildir. Bir sayfayı engellediğinizde ne olduğunu ben de bizzat test ettim — ayrıntılar Advanced sekmesinde — ancak ana fikir şudur: engel, taramayı durdurur; bu kadar.

Bu bir sorun mu?

Tek bir kontrol yapın: Bu URL’leri engellemek istemiş miydiniz?

• Evet, bilerek → Olduğu gibi bırakın. Amaçlandığı şekilde çalışıyor.
• Hayır, bu sayfa Google’da yer almalı → Düzeltilmesi gereken tek durum budur. robots.txt dosyanızda URL’yi kapsayan kuralı bulun ve kaldırın veya gevşetin, ardından dizine eklenmesini isteyin.

Görebileceğiniz, bununla ilişkili ancak farklı bir durum daha vardır: “Indexed, though blocked by robots.txt.” Bu bir hariç tutma değil, uyarıdır — Google’ın engellenmiş bir URL’yi yine de dizine eklediği anlamına gelir (genellikle başka sayfalar ona bağlantı verdiği için). Neden aynı, sonuç tam tersidir. Baktığınız durum buysa ayrı bir yazıda ele alınmaktadır.

robots.txt’in yapamayacağı bir şey daha vardır: İçeriği gizli tutmak. Bu bir erişim denetimi değil, istektir — kurallara uygun botlar buna uyar ancak onları zorlayan bir şey yoktur; ayrıca URL’nin başka bir yerde (bir bağlantıda, ekran görüntüsünde veya robots.txt’i tamamen yok sayan bir kazıyıcıda) ortaya çıkmasını hiçbir şey engellemez. Bir sayfada hassas içerik bulunuyorsa onu bir disallow kuralıyla değil, oturum açma veya parolayla koruyun.

Kaçınılması gereken hata

Birçok kişi bir sayfayı Google’dan kaldırmak için onu robots.txt içinde engellemeye, bazen de işi garantiye almak amacıyla aynı anda bir noindex etiketi eklemeye çalışır. Bu yöntem çalışmaz — üstelik ters teper. Google sayfayı tarayamazsa üzerindeki noindex etiketini de göremez; dolayısıyla sayfa Google’da kalabilir. Bir sayfayı gerçekten aramadan kaldırmak için tam tersini yapın: Google’ın sayfayı taramasına izin verin ve noindex ekleyin.

Engelleyen kuralı tam olarak nasıl bulacağınızı, noindex + disallow birleşiminin neden çeliştiğini ve kendi deneyiminin ne gösterdiğini içeren tam sürüm için Advanced sekmesine geçin.

TL;DR — “Blocked by robots.txt”, Page Indexing raporundaki bir hariç tutma durumudur: Google URL’yi keşfetmiş ancak robots.txt buna izin vermediği için taramamıştır; dolayısıyla URL bu durumda dizine eklenmez. Bu normalde kasıtlı ve zararsızdır — robots.txt dizine eklemeyi değil, taramayı yönetir; bu nedenle bir disallow kuralı hiçbir zaman dizinden çıkarma aracı değildir. Bunu uyarı niteliğindeki “Indexed, though blocked by robots.txt” ile karıştırmayın (Google, genellikle gelen bağlantılar aracılığıyla engellenmiş bir URL’yi yine de dizine eklemiştir). Klasik hata, disallow ile noindex kullanmaktır: Google sayfayı tarayamadığından noindex etiketini hiçbir zaman göremez ve sayfa dizinde kalabilir. Bir sayfayı kaldırmak için taramaya izin verin ve noindex sunun. Bu durumu yalnızca gerçekten dizine eklenmesini istediğiniz bir URL’yi engellediğinizde hata olarak değerlendirin.

Bu durum gerçekte neyi bildiriyor?

Search Console Page Indexing raporunda “Blocked by robots.txt” bir hata veya uyarı değil, hariç tutulmuş bir durumdur. Google’ın kendi ifadesi açıktır: Sayfa “was blocked by your site’s robots.txt file,” ve Google bunun “does not guarantee that the page won’t be indexed through some other means.” olduğuna ilişkin önemli bir uyarı ekler. Evidence for this claim Google reports Blocked by robots.txt when crawling is disallowed and warns that this does not guarantee the URL cannot be indexed by other means. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: Page indexing report Bu uyarı, konunun tamamını tek cümlede özetler — aşağıya bakın.

İşleyiş şöyledir: Googlebot URL’nin var olduğunu bilir (onu bir bağlantı, site haritası veya geçmiş aracılığıyla bulmuştur), kurallarınıza uymaya çalışır, eşleşen bir Disallow kuralıyla karşılaşır ve durur. Getirme işlemi olmayınca dizine eklenecek içerik de olmaz; bu nedenle URL, bu hariç tutulanlar grubunda kalır. Bu, disallow kuralının beklenen sonucudur — buradaki URL’lerin çoğunun burada olması amaçlanmıştır.

Tarama, dizine ekleme değildir — bir disallow kuralı neden dizinden çıkarmaz?

Google, robots.txt’i güvenilir bir kaldırma mekanizması olarak değil, tarama erişimi denetimi olarak tanımlar. Evidence for this claim Google says robots.txt manages crawler access and is not a mechanism for keeping a page out of Google. Scope: Google Search Console report terminology and documented Search behavior; the label alone may not prove the underlying root cause. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction

Bu, söz konusu durumun doğruluğunu belirleyen temel ilkedir. robots.txt bir tarama denetimidir. Google bunun “is not a mechanism for keeping a web page out of Google.” olduğunu açıkça belirtir. Bir URL’yi engellemek getirme işlemini önler; URL’yi dizinden kaldırmaz ve bir dizinden çıkarma aracı değildir.

İlgili durum hakkındaki Ahrefs makalemde belirttiğim gibi: “crawling and indexing are two different things.” Engellediğiniz bir sayfa, başka sayfalar ona bağlantı veriyorsa yine de dizine eklenebilir — Google yalnızca içeriği göremez; oraya koymaya çalıştığınız herhangi bir noindex etiketini de göremez. Bu da insanların bu raporla karşılaştıklarında yaptığı en yaygın hataya yol açar.

”Blocked by robots.txt” ile “Indexed, though blocked by robots.txt” karşılaştırması

Bu iki durum sürekli birbirine karıştırılır; nedenleri aynı, sonuçları ise zıttır:

Uyarı sürümüne — engellenmesine rağmen dizine eklenen ve açıklamasız, çıplak bir URL olarak gösterilen duruma — bakıyorsanız bu, indexed-though-blocked durumudur ve kendi yazısında ele alınır. Bu makale yalnızca düz hariç tutma durumuyla ilgilidir: URL engellenmiş ve dizine eklenmemiştir.

Yardımcı URL’ler açısından “yine de dizine eklenme” çoğu zaman endişelenecek bir şey değildir. WooCommerce ?add-to-cart= URL’leri indexed-though-blocked olarak görünen bir site sahibine yanıt veren John Mueller; bu URL’lerin dizine eklenmesine gerek olmadığını, robots.txt ile engellenmelerinin sorun teşkil etmediğini ve engellenmişken “indexed” olsalar bile birisi bu URL’lere yönelik çok özel bir sorgu yapmadıkça — gerçek kullanıcılar bunu yapmaz — arama sonuçlarında görünmelerinin pek olası olmadığını söyledi.

noindex + disallow çelişkisi (ters tepen bir numaralı düzeltme)

Tuzak şudur: Birisi sayfanın kaldırılmasını ister; bu nedenle sayfayı robots.txt içinde Disallow ile engeller ve bir noindex meta etiketi ekler — işi iki kat sağlama alma düşüncesiyle. Ancak iki talimat birbiriyle çeliştiği için bu yöntem çalışmaz.

Google kuralı doğrudan belirtir: “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” Sayfaya izin verilmiyorsa Google onu hiçbir zaman taramaz, noindex etiketini hiçbir zaman görmez ve sayfa dizinde kalabilir. “Indexed, though blocked by robots.txt” hakkındaki makalemde yazdığım gibi: Google bir sayfayı tarayamazsa noindex etiketini göremez ve bağlantıları olduğu için onu yine de dizine ekleyebilir.

Dolayısıyla dizinden çıkarma sırası, insanların doğal olarak yöneldiği yöntemin tam tersidir:

1. URL’nin taranmasına izin verin (Disallow kuralını kaldırın).
2. noindex sunun (meta robots etiketi veya X-Robots-Tag üstbilgisi) ve Google’ın bunu görebilmesi için sayfayı yeniden taramasına izin verin.
3. Sayfa dizinden çıktıktan sonra onu noindex ile taranabilir durumda bırakın. Daha sonra yeniden engellemek güvenli bir “son hamle” değildir — URL’ye tekrar izin vermezseniz Google bir sonraki taramada noindex kuralını göremez hâle gelebilir ve engellenmiş ancak bağlantı verilmiş bir URL, diğer sayfalardaki bağlantılar nedeniyle yeniden dizine eklenebilir. Bu, kaçınmaya çalıştığınız “indexed, though blocked” sonucunun ta kendisidir. Kaldırılan sayfadaki tarama bütçesi gerçekten sorun oluşturuyorsa çözüm kimlik doğrulama veya silmedir (404/410) — yeniden robots.txt kullanmak değildir.

Acil kaldırma işlemleri için Search Console Removals aracı, parola koruması veya sayfayı doğrudan silmek (404/410 döndürmek) daha hızlı seçeneklerdir.

URL’yi hangi kuralın engellediğini bulma

Her biri farklı bir iş yapan üç araç vardır — birinin diğerlerinin işini yapmasını beklemeyin:

• URL Inspection (GSC). Belirli URL’yi yapıştırın. Bu URL’nin şu anda engellenip engellenmediğini bildirir ve URL bazında en hızlı kontrol yöntemidir.
• robots.txt report (GSC). Google’ın başlıca ana makineleriniz için bulduğu robots.txt dosyalarını, son getirilme zamanını, getirme durumunu ve ayrıştırma uyarılarını gösteren; dosyayı değiştirdikten sonra “request a recrawl” eylemi sunan, alan mülkü düzeyinde bir izleme raporudur — düzenlenebilir bir test aracı değildir. Google’ın dosyanızı görebildiğini bildirir; dosyanın belirli URL’lere nasıl uygulandığını sınamaz.
• Bir robots.txt doğrulayıcısı veya Google’ın açık kaynaklı robots.txt ayrıştırıcısı. Belirli bir URL’yle hangi satırın eşleştiğini görmek için URL’yi bir doğrulayıcıda çalıştırın — çünkü eşleşen kurallar arasında en uzun ve en özgül olan uygulanır (bir Allow, daha genel bir Disallow kuralını geçersiz kılabilir).

Sorunlu satırı bulduktan sonra düzeltme, robots.txt dosyanızın nerede bulunduğuna bağlıdır. Dosyayı doğrudan yönetiyorsanız kuralı kaldırın veya düzeltin (söz dizimine dikkat edin). Wix, Shopify veya Squarespace gibi barındırılan bir platform kullanıyorsanız bazı platformlar robots.txt dosyasını sizin adınıza yönettiği için değişiklik yapmak üzere sağlayıcının özel belgelerini izlemeniz gerekebilir.

Kendi deneyimim: Dizine eklenmesini istediğiniz bir sayfayı engellediğinizde ne olur?

Gerçekten yararlı soru şudur: Sıralamaya girmesi gereken bir sayfayı yanlışlıkla engellerseniz zarar ne kadar büyük olur? Bu testi doğrudan yaptım. 30 Ocak 2023’te gerçekten sıralamada olan iki sayfamızı — “Top Bing Searches” ve “Top YouTube Searches” — robots.txt ile engelledim ve ne olduğunu izledim.

Zarar gerçekti ancak beklediğimden küçüktü. Bazı sıralamaları kaybettik (birkaç anahtar kelime bir veya iki sıra gerilerken birkaçı yükseldi) ve sayfalar engelliyken bu sayfalara ait öne çıkan snippet’ların tamamını kaybettik — engeli kaldırdığımda geri geldiler. SERP görünümü de bozuldu: Google, meta açıklama yerine “no information is available for this page” gösterdi ve özel başlıklarımızı kaybetti. Liste daha kötü göründüğü için tıklamalar, gösterimlerden daha fazla düştü — darbeyi CTR aldı.

O zamanki özetim şuydu: “We lost a position here or there and all of the featured snippets for the pages. I expected a lot more impact, but the world didn’t end.” Hâlâ arkasında durduğum çıkarım ise şudur: Dizine eklenmesini istediğiniz sayfaları engellemeyin. Zarar verir. Düşündüğünüz kadar kötü olmayabilir — ancak yine de zarar verir. Bu rapor için doğru zihinsel çerçeve budur. “Blocked by robots.txt” grubunuzdaki her şey bilerek engellediğiniz içeriklerden oluşuyorsa sorun yoktur. Önemsediğiniz bir sayfa oradaysa onu gruptan çıkarın.

Bu deneyimin kapsamına ilişkin bir not: Her iki sayfa da ben onları engellemeden önce sıralamada ve dizine eklenmiş durumdaydı. Dolayısıyla ölçtüğüm şey, dizine eklenmiş bir sayfanın “indexed, though blocked” durumuna itilmesi hâlinde ne olduğudur; daha önce hiç dizine eklenmemiş ve yalnızca bu hariç tutma grubunda duran bir URL’ye ne olduğu değildir. Buradaki bir URL başlangıçta hiç dizine eklenmemişse engelini kaldırmak, Google’ın URL’yi normal biçimde tarayıp değerlendirmesine olanak tanır; daha önce hiç mevcut olmadıkları için kaybedilecek öne çıkan snippet veya CTR geçmişi yoktur.

Karar ağacı

• Engellemek istemiş miydiniz? → Olduğu gibi bırakın. Amaçlandığı şekilde çalışıyor.
• Hayır — dizine eklenmesini mi istiyorsunuz? → robots.txt kuralını kaldırın/gevşetin, ardından dizine eklenmesini isteyin.
• Google’dan tamamen kaldırılmasını mı istiyorsunuz? → Disallow kullanmayın. Taramaya izin verin + noindex kullanın (veya Removals aracını kullanın / sayfayı silin), ardından sayfayı taranabilir bırakın — daha sonra yeniden engellemek noindex kuralını tekrar gizleyebilir.
• Engellenmiş URL yine de dizine mi eklendi? → Bu, buradaki değil, indexed-though-blocked durumudur — onu ilgili yerde ele alın.
• Sayfada hassas veya özel içerik mi var? → robots.txt bir erişim denetimi değildir; botların görmezden gelebileceği bir istektir. Disallow yerine kimlik doğrulama veya parola koruması kullanın.

Tarama ve dizine ekleme ilkesi evrenseldir: Bing de tarama konusunda robots.txt kurallarına aynı şekilde uyar. Bing’den bir URL kaldırmak için de çıplak bir disallow yerine Block URLs aracı veya taranabilir bir sayfadaki noindex kullanılır.

Dosyanın geneli — söz dizimi, joker karakterler, bulunduğu yer ve yapabilecekleri/yapamayacakları — hakkında bilgi için robots.txt kılavuzuna bakın. Dizine ekleme kararlarının üst aşamalarda nasıl verildiğini öğrenmek için dizine ekleme merkezine bakın.

Yapay zekâ özeti

Advanced sürümünün özetlenmiş açıklaması:

• “Blocked by robots.txt” = Page Indexing raporunda bir hariç tutma. Google URL’yi bulmuş ancak robots.txt buna izin vermediği için taramamıştır; dolayısıyla URL bu durumda dizine eklenmemiştir. Bu, engellemenin olağan sonucudur — genellikle kasıtlı ve zararsızdır.
• robots.txt taramayı kontrol eder, dizine eklemeyi değil. Google bunun “is not a mechanism for keeping a web page out of Google.” olduğunu söyler. Bir disallow, getirme işlemini durdurur; sayfayı dizinden çıkarmaz.
• Bunu “Indexed, though blocked by robots.txt.” uyarısıyla karıştırmayın. Neden aynı, sonuç tam tersidir: Engellenen URL, genellikle gelen bağlantılar aracılığıyla yine de dizine eklenmiştir. Mueller’e göre yardımcı URL’ler açısından bu genellikle sorun değildir — hem engellenmiş hem dizine eklenmiş URL’ler normal sorgularda nadiren görünür.
• Bir numaralı ters tepme: noindex + disallow kullanmak. Google izin verilmeyen bir sayfayı tarayamaz; dolayısıyla noindex etiketini hiçbir zaman görmez ve sayfa dizinde kalabilir. Google’ın kuralı şudur: noindex etiketinin çalışması için sayfa robots.txt tarafından engellenmemelidir.
• Bir sayfayı gerçekten kaldırmak için: Taramaya izin verin, noindex sunun, Google’ın yeniden taramasını bekleyin ve ardından sayfayı taranabilir bırakın. Daha sonra yeniden engellemek noindex kuralını tekrar gizleyebilir ve URL’nin bağlantılar aracılığıyla dizine eklenmesine yol açabilir — istediğinizin tam tersi. Acil durumlarda Removals aracını veya parola korumasını kullanın ya da sayfayı silin.
• Engelleyen kuralı URL Inspection (URL bazında) ve bir robots.txt doğrulayıcısıyla (hangi satırın eşleştiği; en uzun/en özgül eşleşme belirleyicidir) bulun. GSC robots.txt raporunun işi dosyanın getirilme durumunu izlemektir — URL bazında kural testi yapmaz. Düzeltme, dosyanın nerede bulunduğuna bağlıdır; barındırılan platformlarda sağlayıcıya özel adımlar gerekebilir.
• Patrick’in deneyi: Zaten sıralamada olan ve dizine eklenmiş iki sayfayı engellemek bazı konumların ve öne çıkan snippet’ların tamamının kaybedilmesine, SERP listesinin bozulmasına ve tıklamaların gösterimlerden daha fazla düşmesine neden oldu — “the world didn’t end,” ancak “don’t block pages you want indexed.” Bu, dizine eklenmiş bir sayfa “indexed, though blocked” durumuna itildiğinde ne olduğunu gösterir; daha önce hiç dizine eklenmemiş bir URL’nin sonuçlarını öngörmez.
• robots.txt bir güvenlik denetimi değildir. Botların görmezden gelmeyi seçebileceği bir istektir. Hassas içeriği disallow ile değil, kimlik doğrulamayla koruyun.
• Karar kuralı: Engellemek istediniz → olduğu gibi bırakın; dizine eklenmesini istiyorsunuz → engeli kaldırın + dizine eklenmesini isteyin; kaldırılmasını istiyorsunuz → taramaya izin verin + noindex kullanın (ve taranabilir durumda bırakın).

Resmî belgeler

Arama motorlarının birincil kaynak belgeleri.

Google

• Page indexing report — bu durumun yer aldığı ve “Blocked by robots.txt” ile “Indexed, though blocked by robots.txt” ifadelerinin birebir tanımlarını içeren rapor.
• Unblock a page blocked by robots.txt — bir URL’yi engelleyen kuralı bulup düzeltmeye ilişkin Google’ın adım adım açıklaması.
• robots.txt report — Google’ın bulduğu robots.txt dosyalarını, getirme durumunu, uyarıları ve yeniden tarama isteğini gösteren alan mülkü raporu.
• Introduction to robots.txt — “is not a mechanism for keeping a web page out of Google.” ifadesi dâhil olmak üzere robots.txt’in ne yapıp ne yapmadığını açıklar.
• Block Search indexing with noindex — noindex etiketinin yalnızca robots.txt tarafından engellenmeyen bir sayfada çalışacağına ilişkin kural (noindex + disallow çelişkisi).

Bing / Microsoft

• Bing Webmaster Tools Help — Bing de tarama için robots.txt kurallarına uyar; robots.txt Tester ve Block URLs araçları aynı tarama-dizine ekleme ilkesini izler.

Kaynaktan alıntılar

Google’ın kamuya açık beyanları. Her bağlantı, kaynak sayfadaki alıntılanan bölüme doğrudan gider.

Google — durumun anlamı

• “This page was blocked by your site’s robots.txt file. You can verify this using the robots.txt tester. Note that this does not guarantee that the page won’t be indexed through some other means.” — Google Search Console Help, Page indexing report. Alıntıya git

Google — robots.txt dizine eklemeyi değil, taramayı kontrol eder

• “it is not a mechanism for keeping a web page out of Google.” — Google Search Central, Introduction to robots.txt. Alıntıya git

Google — noindex + disallow neden çelişir?

• “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” — Google Search Central, Block Search indexing with noindex. Alıntıya git

Alıntılanmaya değer istatistikler ve birinci taraf verileri

• Sıralamadaki sayfaları engellemek: Gerçek ancak atlatılabilir zarar. 30 Ocak 2023’te başlayan deneyimde, zaten sıralamada ve dizine eklenmiş iki sayfayı robots.txt ile engellediğimde sayfalar bazı sıralamaları ve öne çıkan snippet’larının tamamını kaybetti; SERP listesi “no information is available for this page” biçimine geriledi ve tıklamalar gösterimlerden daha fazla düştü. Özetim: “I expected a lot more impact, but the world didn’t end” — ancak “don’t block pages you want indexed. It hurts.” Bu deney, dizine eklenmiş bir sayfa “indexed, though blocked” durumuna itildiğinde ne olduğunu test eder; başlangıçta hiç dizine eklenmemiş bir URL için öngörü değildir. Kaynak
• Dizine eklenen engellenmiş yardımcı URL’ler genellikle zararsızdır. John Mueller’a göre, sepete ekleme türü URL’leri robots.txt ile engellemek sorun değildir; indexed-though-blocked olarak görünseler bile normal sorgularda ortaya çıkmaları pek olası değildir. Haber
• robots.txt engellemesinin web genelindeki yaygınlığı — Xibeijia Guan ile yaptığım çalışmada, yaklaşık 140M sitenin en çok hangi tarayıcılara izin vermediğine ilişkin engelleme oranı verileri. Kaynak

Bu durumu tanımlayan hata: noindex + disallow

Hata: Bir sayfayı kaldırmak için Disallow ile noindex kuralını birlikte kullanmak. Bu, “Blocked by robots.txt,” durumuyla ilgili en yaygın hatadır. Doğrudan ele alınmaya değer; çünkü iki yönlü bir önlem gibi hissettirse de aslında istenen sonuca ulaşmayı engeller. Birisi bir sayfayı Google’dan kaldırmak ister, bu yüzden sayfayı robots.txt dosyasında Disallow ile engeller ve işi sağlama almak için bir noindex meta etiketi ekler. Bu yöntem işe yaramaz. Google kuralı açıkça belirtir: “For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler.” Sayfaya tarama izni verilmezse Google sayfayı hiçbir zaman taramaz, noindex etiketini görmez ve sayfa dizinde kalabilir — bu da amaçlanan sonucun tam tersidir. Çözüm, içgüdüsel yaklaşımın tersidir: Taramaya izin verin, ardından noindex sunun.

Efsane: “A disallow in robots.txt is a deindexing tool.” Değildir ve Google bunu doğrudan söyler: robots.txt “is not a mechanism for keeping a web page out of Google.” Bir URL’yi engellemek getirme işlemini durdurur — URL’yi dizinden kaldırmaz ve engellenmiş ancak bağlantı verilmiş bir sayfa yine de görünebilir (ilgili “Indexed, though blocked by robots.txt” durumu budur). Amaç gerçekten kaldırmaksa taramaya izin vererek noindex veya Removals aracını kullanın.

Efsane: “Everything in the ‘Blocked by robots.txt’ bucket is a problem to fix.” Genellikle tam tersi geçerlidir. Bu durum, kasıtlı bir disallow kuralının beklenen sonucudur — dahili arama sonuçları, filtreli gezinme parametreleri, hazırlık ortamı yolları. Bu durumun hata olarak değerlendirilmesi gereken tek sürümü, gerçekten dizine eklenmesini istediğiniz bir URL’nin yanlışlıkla listede yer almasıdır.

Hata: Maliyeti önceden kontrol etmeden sıralamaya girmesini istediğiniz bir sayfayı engellemek. “Ortalığı düzenlemek” veya “tarama bütçesinden tasarruf etmek” amacıyla sıralamaya girmesini istediğiniz bir sayfayı engellemek göründüğünden daha risklidir. Sıralamadaki iki sayfayı engellediğim kendi deneyimimde, engelli oldukları süre boyunca tüm öne çıkan snippet’ları kaybettim ve SERP listesi “no information is available for this page.” biçimine gerilediği için tıklamalar gösterimlerden daha fazla düştü. Sıralamaların kendisi büyük ölçüde korundu — ancak önemsediğiniz bir sayfadaki robots.txt engelini basit bir düzenleme değil, gerçek bir karar olarak ele alın.

”Blocked by robots.txt” önceliklendirme kontrol listesi

Search Console’da bu durumu açtığınızda listeyi yukarıdan aşağıya izleyin:

• Page Indexing raporunu açın ve etkilenen URL’lerin gerçek listesini görmek için “Blocked by robots.txt” seçeneğine tıklayın.
• Her URL (veya URL kalıbı) için şunu sorun: Bunu engellemek istemiş miydim?
• Yanıt evetse — dahili arama, filtreli gezinme, hazırlık ortamı, sepet/ödeme — olduğu gibi bırakın. Bu durum, söz konusu URL için amaçlandığı şekilde çalışıyor.
• Yanıt hayırsa veya emin değilseniz — eski bir anlık görüntüye bakmadığınızı ve URL’nin şu anda engelli olduğunu doğrulamak için URL’yi URL Inspection ile kontrol edin.
• URL’yi kapsayan belirli kuralı robots.txt Tester (veya başka bir robots.txt doğrulayıcısıyla) bulun — öncelik en uzun, en özgül eşleşmededir ve bir Allow, daha genel bir Disallow kuralını geçersiz kılabilir. GSC’deki robots.txt raporu dosyanın getirilme durumunu takip eder; belirli URL’leri kurallara karşı denemez.
• Aynı izin verilmeyen URL’de ayrıca noindex etiketine güvenmediğinizi doğrulayın — bu birleşim çalışmaz; amaç kaldırmaysa bunun yerine taramaya izin verme + noindex yöntemini seçin.
• Engelleyen kuralı kaldırın veya gevşetin (robots.txt dosyasını yönetiyorsanız doğrudan; sizin adınıza yönetiliyorsa Wix, Shopify veya Squarespace gibi barındırma platformunuzun belgelerini izleyerek).
• Engel kaldırıldıktan sonra düzeltilen URL’nin Search Console’da dizine eklenmesini isteyin.
• Bu durumu “Indexed, though blocked by robots.txt” ile karıştırmadığınızı tekrar kontrol edin — bunun sonucu tam tersidir (URL yine de dizine eklenmiştir) ve farklı bir düzeltme gerektirir.
• Sayının beklediğiniz yönde değiştiğini (düzeltilen URL’lerde düşüş, kasıtlı engellerde sabit seyir) doğrulamak üzere birkaç hafta sonra grubu yeniden kontrol edin.
• Bu URL’lerden herhangi biri hassas içerik barındırıyorsa gizli tutmak için disallow kuralına güvenmeyin — bunun yerine kimlik doğrulama veya parola koruması ekleyin.

Karar ağacını izleyin

“Blocked by robots.txt” grubundaki bir URL için doğru işleme ulaşmak üzere soruları birer birer yanıtlayın.

Zihinsel modeller

1. Tarama ≠ dizine ekleme. İkisini birbirine karıştırırsanız durumun tamamı anlaşılmaz hâle gelir. robots.txt, Googlebot’un bir sayfayı getirip getirmeyeceğini, yani taramayı kontrol eder. URL’nin Google dizininde yer alıp almayacağı, yani dizine ekleme üzerinde doğrudan denetimi yoktur. İzin verilmeyen bir sayfa tarama yoluyla dizine eklenmez; ancak başka sayfalar ona bağlantı veriyorsa içeriksiz biçimde yine de dizine eklenebilir. İki fikri birbirinden ayırdığınızda bu durumun büyük bölümü anlaşılır olur.

2. Tek soruluk önceliklendirme. Başka bir şey yapmadan önce şunu sorun: Bunu engellemek istemiş miydim? Evet → olduğu gibi bırakın, amaçlandığı şekilde çalışıyor. Hayır → düzeltilmeye değer tek durum budur. Bu tek soru, gruptaki neredeyse her URL’yi doğru biçimde sınıflandırır.

3. Bir sayfayı kaldırmak için sezginizin tersini uygulayın. Doğal görünen yöntem — “ekstra güvenli” olması için disallow ve noindex — tamamen terstir. Google hiçbir zaman getirmediği bir sayfadaki yönergeyi göremez. Doğru sıra, sezgisel olanın tam tersidir: Taramaya izin verin, ardından noindex sunun. Birisi sayfayı ortadan kaldırmak için disallow kullanmaya yöneldiğinde bu modeli uygulamanız gerektiğini anlayın.

4. robots.txt bir arama sonuçları aracı değil, tarama bütçesi aracıdır. Tarama çabasının bulunmasını istediğiniz sayfalara yönelmesi için botları düşük değerli veya sonsuz URL alanlarından (dahili arama, filtreler, hazırlık ortamı) uzak tutmak amacıyla kullanın; arama sonuçlarında neyin görüneceğini belirleyen bir araç olarak kullanmayın. Bu iş noindex, parola koruması veya silme yöntemlerine aittir.

Yalnızca grubun varlığını değil, URL sayısını da izleyin

İzlenmeye değer tek sayı, Page Indexing raporundaki “Blocked by robots.txt” satırında zaman içinde kaç URL bulunduğudur — tek bir anlık görüntü, düzeltmenin işe yarayıp yaramadığını veya yeni, kasıtsız engellerin ortaya çıkıp çıkmadığını gösteremez.

”Blocked by robots.txt” grubundaki URL sayısının zaman içindeki değişimi

• Metrik — GSC Page Indexing raporunda “Blocked by robots.txt” altında yer alan ve zaman içinde izlenen URL sayısı.
• Size ne söyler? — Grubun beklediğiniz gibi davranıp davranmadığını. Bilerek engellediğiniz URL’lerde (dahili arama, filtreler, hazırlık ortamı), bu URL alanları sabit kaldığı sürece sayı da yaklaşık olarak sabit kalmalıdır — ani bir sıçrama genellikle yeni bir bölümün yanlışlıkla mevcut bir Disallow kalıbına yakalandığı anlamına gelir. Dizine eklenmesini istediğiniz için özellikle engelini kaldırdığınız bir URL, sonraki taramadan sonra gruptan çıkmalıdır.
• Nasıl alınır? — GSC Page Indexing raporunu “Blocked by robots.txt” satırına göre filtreleyin; eski bir anlık görüntü yerine güncel durumu doğrulamak için belirli URL’leri URL Inspection ile örnek olarak kontrol edin.
• Karşılaştırma ölçütü / gerçekçi aralık — Evrensel bir hedef yoktur — tamamen sitenizin ne kadarını bilerek engellediğinize bağlıdır. Gerçekçi ölçüt şudur: Bu grupta gerçekten dizine eklenmesini istediğiniz sıfır URL ve diğer her şey için yatay bir eğilim. Bir değişikliğin sayıyı doğru yönde etkileyip etkilemediğini değerlendirmeden önce kendi başlangıç sayınızı belirleyin.
• Sıklık — Her robots.txt değişikliğinin hemen ardından kontrol edin; diğer zamanlarda dönemsel bir bakış (çoğu site için ayda bir yeterlidir) sapmaları yakalamaya yeter.

Uygulama planı: Bir sayfayı Google’dan gerçekten kaldırma

Bir URL’nin yalnızca gelecekte taranmasının engellenmesi değil, Google dizininden gerçekten çıkarılması gerektiğinde uygulanabilecek tekrarlanabilir sıra.

1. Amacın yalnızca taramayı denetlemek değil, kaldırmak olduğunu doğrulayın. Amaç gerçekten “bunun için tarama bütçesi harcamayı durdurmak” ise basit bir robots.txt disallow doğru araçtır ve bu uygulama planı geçerli değildir — sayfa bağlantılar aracılığıyla dizinde kalabilir ve bunda sorun yoktur. Bu sırayı yalnızca sayfanın dizinden gerçekten çıkması gerektiğinde kullanın.

2. Taramaya izin verin. URL’yi engelleyen Disallow kuralını kaldırın veya gevşetin. robots.txt Tester ile URL’nin artık engellenmiş değil, izin verilmiş olarak döndüğünü doğrulayın.

3. noindex sunun. Artık taranabilen sayfaya bir noindex meta robots etiketi veya X-Robots-Tag HTTP üstbilgisi ekleyin. Asıl kaldırma talimatı budur — disallow bu işi hiçbir zaman yapmıyordu.

4. Google’ın yeniden tarayıp yönergeyi almasına izin verin. Google’ın noindex etiketini görebilmesi için sayfayı yeniden getirmesi gerekir. Search Console’da dizine ekleme isteyip sonraki taramayı beklemenin ötesinde, anında getirme işlemini zorlamanın bir yolu yoktur.

5. Kaldırmayı doğrulayın. Sayfanın güncel dizin durumunu Search Console’daki URL Inspection ile kontrol edin. Sayfanın noindex nedeniyle hariç tutulduğunu bildirdiğinde kaldırma işlemi başarılı olmuştur.

6. Yeniden engellemeyi son adım olarak değerlendirmeyin. Sayfa dizinden çıktıktan sonra Disallow kuralını geri eklemenin bedeli olabilir: Google bir sonraki taramada noindex kuralını tekrar göremez hâle gelebilir ve engellenmiş ancak bağlantı verilmiş URL, diğer sayfaların bağlantıları aracılığıyla yeniden dizine eklenebilir — kaçınmaya çalıştığınız “indexed, though blocked” sonucunun ta kendisi. Sorun tarama bütçesiyse bunu riskle karşılaştırın; gerçekten kalıcı olarak kaldırılması gereken sayfalarda bunun yerine kimlik doğrulama/silme yöntemini seçin.

7. Acil durumlarda beklemeyin. Sayfanın hemen kaldırılması gerekiyorsa tarama ve ardından noindex döngüsünü beklemek yerine Search Console Removals aracını kullanın, sayfayı parolayla koruyun veya tamamen silin (404/410 döndürün).

Kullanıma hazır yapay zekâ istemleri

Bir robots.txt engelini LLM ile incelemek için kopyalayıp yapıştırabileceğiniz istemler. Çıktıyı başlangıç hipotezi olarak değerlendirin — harekete geçmeden önce kritik olan her şeyi robots.txt Tester veya Search Console’un URL Inspection aracıyla doğrulayın.

Hangi URL’yi hangi kuralın engellediğini belirleyin

Here is my robots.txt file and a list of URLs. For each URL, tell me whether it
is blocked or allowed, and quote the exact line in robots.txt responsible
(remember: the longest, most specific matching rule wins, and an Allow can
override a broader Disallow). If a URL isn't matched by any rule, say so.

ROBOTS.TXT:
[paste]

URLS:
[paste list, one per line]

Bir engelin kasıtlı görünüp görünmediğini kontrol edin

I run a [type of site]. Here is my robots.txt file. For each Disallow rule, tell
me what kind of URLs it likely targets (e.g. internal search, faceted
navigation, staging, cart/checkout, admin) and flag any rule that looks broad
enough it might be catching content pages by accident. Don't guess about pages
you can't see — just reason from the rule pattern and ask me to confirm
anything ambiguous.

ROBOTS.TXT:
[paste]

Belirli bir sayfa için noindex ve ardından tarama sırasını taslak hâline getirin

I need to remove [URL] from Google. It's currently blocked by this robots.txt
rule: [paste rule]. Walk me through the exact sequence of changes in order
(robots.txt edit, meta tag or header change, what to check in Search Console at
each step) so I don't accidentally leave the noindex tag unseen by Google.

Bir URL’yi robots.txt kurallarınıza göre test edin

Herhangi bir şeyi değiştirmeden önce belirli bir URL’yi tam olarak hangi kuralın kapsadığını doğrulayın. robots.txt Tester bunu Google’ın kendi açık kaynaklı robots.txt ayrıştırıcısından uyarlanan bir eşleştiriciyle yapar ve URL başına kazanan kuralı gösterir — kontrolün en hızlı ve doğru yolu budur. Araç kullanmadan hızlı bir manuel kontrol yapmak için temel Python mantığı şöyledir:

import re

def rule_matches(path, rule):
    """Very simplified robots.txt path matcher: '*' = wildcard, '$' = end anchor."""
    pattern = re.escape(rule).replace(r'\*', '.*')
    if pattern.endswith(r'\$'):
        pattern = pattern[:-2] + '$'
    return re.match(pattern, path) is not None

def find_blocking_rule(path, disallow_rules, allow_rules):
    """Longest matching rule wins; ties go to Allow (mirrors Google's documented
    precedence). Returns the winning rule string, or None if nothing matches."""
    matches = [r for r in disallow_rules if rule_matches(path, r)]
    matches += [r for r in allow_rules if rule_matches(path, r)]
    if not matches:
        return None
    return max(matches, key=len)

# Example
disallow = ["/search", "/*?*sort="]
allow = ["/search/help"]
print(find_blocking_rule("/search/help", disallow, allow))  # -> "/search/help" (Allow wins, longer)
print(find_blocking_rule("/search/results", disallow, allow))  # -> "/search" (Disallow, no competing Allow)

Bu, Google’ın gerçek eşleştiricisinin basitleştirilmiş bir sürümüdür (gerçek robots.txt ayrıştırmasında kaçış karakterleri ve grup seçimiyle ilgili daha fazla uç durum vardır) — zihinsel modelinizi kontrol etmek için kullanın ve güvenmeden önce önemli olan her şeyi gerçek test aracıyla doğrulayın.

Bu durumu teşhis edip düzeltmeye yönelik araçlar

• Google Index Checker — bir engeli düzelttikten sonra Google’ın gerçek yanıtı için Search Console’a geçmeden önce sayfanın gözlemlenebilir dizine eklenebilirlik sinyallerini (durum kodu, yönlendirmeler, noindex, canonical) kontrol etmek için kullanın.
• URL Inspection (Google Search Console) — belirli bir URL’nin şu anda engellenip engellenmediği, canlı test edilen dizine eklenebilirliği ve düzeltildikten sonra Google’ın URL’yi yeniden alıp almadığı konularında doğruluk kaynağıdır.
• robots.txt report (Google Search Console) — Google’ın başlıca ana makineleriniz için bulduğu robots.txt dosyalarını, son getirme zamanını ve getirme durumunu gösteren alan mülkü düzeyinde görünüm; dosyayı değiştirdikten sonra “request a recrawl” eylemi de sunar.

Kendinizi sınayın: Blocked by robots.txt

“Blocked by robots.txt” durumu ve insanların bu konuda yaptığı hatalar hakkında beş soru. Her biri için bir yanıt seçin, ardından kontrol edin.

Kaldırma işleminin gerçekten başarılı olduğunu kanıtlayın

“I set noindex” veya “I edited robots.txt” ifadeleri tek başına hiçbir şeyi kanıtlamaz — önemli olan tek sonuç, değişiklikten sonra Google dizininin gerçekte ne gösterdiğidir. Bu testler, yaptığınız değişiklik ile Google’ın ulaştığı sonucu birbirinden ayırır.

Test 1 — Taramaya gerçekten izin veriliyor

• Çalıştırılacak test — Dosyayı düzenledikten sonra URL’yi robots.txt Tester ile test edin.
• Beklenen sonuç — URL, onunla eşleşen bir Disallow kuralı olmadan izin verilmiş olarak döner (veya daha belirli bir Allow, daha genel bir Disallow kuralına üstün gelir).
• Başarısızlığın yorumu — URL hâlâ engelliyse farklı ve daha belirli bir kural URL’yi kapsıyordur veya düzenleme yayımlanmamıştır — yalnızca değiştirmeyi amaçladığınız içeriği değil, dosyanın gerçekten sunulan canlı içeriğini kontrol edin.
• İzleme aralığı — Anında — bu, dosyanın sunulan hâlinin statik kontrolüdür.
• Geri alma tetikleyicisi — N/A — sonraki teste geçmeden önce kuralı düzeltin; taramaya gerçekten izin verilene kadar sonraki hiçbir işlem çalışmaz.

Test 2 — noindex doğru biçimde sunuluyor

• Çalıştırılacak test — Artık taranabilir URL üzerinde Search Console’da URL Inspection → Live Test çalıştırın (veya sayfayı doğrudan getirip yanıt üstbilgilerini/HTML’yi kontrol edin).
• Beklenen sonuç — Canlı test, <head> içindeki bir meta robots etiketi veya X-Robots-Tag HTTP üstbilgisi olarak noindex bulunduğunu gösterir.
• Başarısızlığın yorumu — Burada noindex bulunmaması, ne kadar beklerseniz bekleyin kaldırmanın gerçekleşmeyeceği anlamına gelir — yalnızca taramaya izin verme adımı hiçbir şeyi kaldırmaz.
• İzleme aralığı — Anında — canlı test, sunulmakta olan güncel sayfayı yansıtır.
• Geri alma tetikleyicisi — N/A — Google’ın işlem yapma şansı olabilmesi için bu test geçmelidir.

Test 3 — Google sayfayı gerçekten dizinden çıkardı

• Çalıştırılacak test — Önceki iki test geçtikten sonra URL’de düzenli aralıklarla URL Inspection (yalnızca Live Test değil, dizin durumu alanı) çalıştırın.
• Beklenen sonuç — Durum noindex nedeniyle hariç tutulmuş olarak değişir ve URL, site: aramasında veya sıralama izleme verilerinizde görünmeyi bırakır.
• Başarısızlığın yorumu — Tam bir tarama döngüsünden sonra hâlâ dizindeyse bu genellikle bozuk yapılandırma değil, önbellek/yayılma gecikmesi anlamına gelir — Google’ın değişikliği fark etmek için yeniden taraması gerekir ve bu anında gerçekleşmez.
• İzleme aralığı — Google’ın URL’yi daha önce ne sıklıkta taradığına bağlı olarak 1–3 hafta — değişikliği yayımladıktan sonraki gün hüküm vermeyin.
• Geri alma tetikleyicisi — belirtilen durdurma koşulu — Tam bir tarama döngüsünden sonra hâlâ dizinde ve sunucu günlüklerinde sayfa kısa süre önce taranmış görünmeye devam ediyor → bunun yalnızca yayılma gecikmesi olduğunu varsaymayı bırakın ve Test 1 ile 2’yi hata bakımından yeniden kontrol edin (eski robots.txt sunan bir önbellek katmanı, X-Robots-Tag üstbilgisini kaldıran bir CDN veya çakışan ikinci bir kural olağan nedenlerdir).

Değişiklik günlüğü