Taranabilirlik Sorunları: Taramayı Neler Bozar ve Nasıl Düzeltilir?

TL;DR — Taranabilirlik, arama motorlarının sayfalarınızı bulup erişebilmesi demektir. Taranabilirlik sorunu ise bunu engelleyen her şeydir: robots.txt tarafından engellenen bir sayfa, botların izleyemediği bir bağlantı, sürekli hata veren bir sunucu veya gereksiz URL seli. Bir sayfa taranamıyorsa dizine eklenemez; dizine eklenmezse arama sonuçlarında gösterilemez. Önce erişim sorununu düzeltin; diğer her şey bunun devamında gelir.

Taranabilirlik nedir?

Bir sayfanın sıralamaya girebilmesi için arama motorunun önce onu taraması gerekir; yani URL’yi keşfetmek ve sayfayı indirmek üzere bir bot (Google için Googlebot, Bing için Bingbot) göndermelidir. Taranabilirlik, bunun ne kadar kolay gerçekleşebildiğini ifade eder. Taranabilirlik sorunu ise bu süreci durduran veya yavaşlatan herhangi bir teknik sorundur. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works

Aramayı bir işlem hattı olarak düşünün: keşfet → tara → oluştur → dizine ekle → sun. Bu beş adımlı ayrım, çalışmayı düzenlemek için kullandığım pratik bir yaklaşımdır; Google’ın resmî modeli ise keşif ve oluşturmayı ayrı ayrı sıralamak yerine daha geniş bir “tarama” aşamasının içinde gruplandırır. Her iki durumda da tarama sürecin başına yakındır ve sonraki her şey ona bağlıdır. Bu nedenle taranabilirlik sorunu, SEO sorunlarının en kötüsüdür: Bot içeriğinizi hiç okuyamıyorsa içeriğinizin ne kadar iyi olduğu önemli değildir. Evidence for this claim Crawlability is a useful SEO umbrella for whether crawlers can discover, access, fetch, and render content, but Google's official model has three Search stages and treats URL discovery and rendering within crawling; the article's five-step pipeline and four buckets are Patrick's synthesis, not a Google taxonomy. Scope: web search Confidence: high · Verified: 2026-07-16 In-depth guide to how Google Search works

Dört tür taranabilirlik sorunu

Neredeyse her sorun dört gruptan birine girer. Bu, kapsamlı bir liste değil, hızlı önceliklendirme yöntemidir; eksik site haritası veya yanlışlıkla eklenmiş bir noindex etiketi gibi sorunlar bu dört grubun hemen dışında kalır. Bir şey bulunamıyorsa önce hangi grupta olduğunuzu belirleyin:

1. Erişim engellenmiştir. robots.txt sayfaya izin vermiyordur, sayfa giriş ekranının arkasındadır, güvenlik duvarı “403 Forbidden” döndürüyordur veya sayfanın ihtiyaç duyduğu CSS/JS engellenmiştir.
2. Bağlantılar bozuk ya da taranamaz durumdadır. Gezinme, gerçek bağlantılar yerine yalnızca JavaScript tıklamalarıyla çalışıyordur veya sayfaya hiçbir yerden bağlantı verilmiyordur (“yetim sayfa”).
3. Sunucu arızalanıyordur. Hatalar (500s) döndürüyordur, alan adı çözümlenemiyordur, sunucu aşırı yavaştır veya sayfalar uzun yönlendirme zincirlerinden geçiyordur.
4. URL envanteri şişmiştir. Filtreler, takvimler ve izleme etiketleri sonsuz sayıda birbirine çok benzeyen URL üretir; botlar gerçek sayfalarınız yerine gereksiz URL’lerle zaman kaybeder.

Çoğu kişinin yanlış anladığı nokta

Bir sayfayı robots.txt içinde engellemek, onu Google’dan kaldırmaz. Yalnızca Google’ın sayfayı okumasını engeller. Başka siteler sayfaya bağlantı veriyorsa sayfa, açıklama olmadan da olsa sonuçlarda görünebilir. Bir sayfayı gerçekten kaldırmak istiyorsanız taranmasına izin verin ve bunun yerine noindex etiketi ekleyin. Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction

Ayrıca tarama, sıralama değildir. Daha sık taranmak sizi sonuçlarda yukarı taşımaz; tarama, geçmeniz gereken bir kapıdır, puan değildir.

Eksiksiz önceliklendirme çerçevesini, Search Console ve sunucu günlüklerinde sorunları nasıl bulacağınızı ve her sorunun çözümünü görmek ister misiniz? İleri Düzey sekmesine geçin.

TL;DR — Taranabilirlik, tarayıcıların sayfalarınızı keşfetme, sayfalarınıza erişme ve onları getirme derecesidir; taranabilirlik sorunu ise bunu bozan her şeydir. Sorunların neredeyse tamamı dört gruba ayrılır: erişimin engellenmesi (robots.txt, giriş duvarları, 403s, engellenen JS/CSS), bozuk bağlantılar (yalnızca JS kullanan gezinme, yetim ve derin sayfalar), sunucu arızaları (5xx, DNS, yavaş/yarım kalan getirmeler, yönlendirme zincirleri) ve şişmiş URL envanteri (örümcek tuzakları, parametre kaynaklı kopyalar, soft 404s). Taranabilirlik, dizine ekleme ve sıralamadan önce gelir; sıralama için gereklidir ancak bir sıralama sinyali değildir ve dizine eklenebilirlikten farklıdır. GSC (Sayfa Dizine Ekleme, Tarama İstatistikleri, URL Denetimi) ve sunucu günlükleriyle teşhis koyun; önce erişim sorununu, ardından envanteri düzeltin. Bu merkez, her sorunu önceliklendirir ve ayrıntılı incelemelere bağlantı verir.

Taranabilirlik nedir (ve ne değildir)?

Taranabilirlik, arama işlem hattının ilk aşamasıdır: keşfet → tara → oluştur → dizine ekle → sun. Buradaki her hata, dizine ekleme ve sıralamanın öncesinde gerçekleşir. Terimin kendisi Google’a ait değil, SEO alanında kullanılan bir şemsiye kavramdır: Google’ın kendi modeli Arama’nın üç aşamasını tarama, dizine ekleme ve sunma olarak adlandırır; URL keşfini ve oluşturmayı ayrı üst düzey aşamalar hâline getirmek yerine taramanın içine dahil eder. Aşağıdaki beş adımlı işlem hattı ve dört gruplu önceliklendirme, bu çalışmayı uygulanabilir biçimde düzenlemek için oluşturduğum sentezdir. Sorunu hızla bulmak için yararlıdır ancak Google sistemlerinin kurum içinde resmen nasıl aşamalandırıldığına ilişkin bir kaynak değildir. Evidence for this claim Google describes Search as crawling, indexing, and serving, and not every page proceeds through every stage. Scope: Google Search processing model. Confidence: high · Verified: 2026-07-14 Google: How Search works

Üç “eşit değildir” ifadesi bu alandaki kafa karışıklığının çoğunu önler:

• Taranabilirlik ≠ dizine eklenebilirlik. Bir sayfa tamamen taranabilir olduğu hâlde noindex etiketi nedeniyle dizinin dışında tutulabilir veya teknik olarak taranabilir olmasına rağmen kalite sinyalleri yüzünden dizine eklenmeyebilir. Taranabilirlik, dizine ekleme için gerekli ancak yeterli olmayan bir koşuldur. (Sonraki aşamadaki kalite durumu için tarandı – şu anda dizine eklenmedi bölümüne bakın.)
• Tarama ≠ sıralama. Sonuçlarda görünmek için tarama gereklidir ancak Google’ın ifadesiyle “an increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.”
• Tarama ≠ oluşturma. Google, sayfayı ayrı bir adımda oluşturur ve JavaScript’i çalıştırır: “during the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome”. Bu oluşturucu, ilk getirme işleminin gerisinde kalabilen ayrı bir kuyrukta çalışır.

İşlem hattının tamamı tarama merkezinde yer alır; bu makale ise bozulma durumunda kullanılacak önceliklendirme katmanıdır.

Taranabilirlik sorunlarının dört grubu

Sorununuzu hızla bulmak için bu grupları kullanın. Her biri burada kısaca ele alınır ve ayrıntılı incelemeye bağlantı verilir; henüz sınıflandıramadığınız bir şeyi düzeltmeye çalışmayın. Bu, kapsamlı bir sınıflandırma değil, önceliklendirme bakış açısıdır: Site haritaları, noindex, canonical etiketleri, nofollow, mobil eşitliği ve yinelenen içerik gerçek sorunlardır; ancak çoğu doğrudan erişim/getirme hatası olmaktan ziyade keşif, dizine eklenebilirlik, oluşturma veya tarama verimliliği kapsamındadır. Bu yüzden düz bir denetim kontrol listesi olarak bu merkeze dahil edilmek yerine aşağıda bağlantıları verilen ayrı sayfalarda ele alınırlar.

1. Erişim engellenmiştir

Robots.txt engellemesi (kasıtlı veya yanlışlıkla). Bir Disallow kuralı, tarayıcıların URL’yi hiç getirememesine neden olur. Google, bunun sayfaları kaldırmak için yanlış araç olduğunu açıkça belirtir: “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site… It is not a mechanism for keeping a web page out of Google.” Klasik kazalar arasında hazırlık sitesindeki Disallow: / kuralının üretime aktarılması, bir CMS eklentisinin aşırı geniş kapsamlı bir kural eklemesi veya sayfanın oluşturulması için gereken *.js/*.css kaynaklarının engellenmesi bulunur. (robots.txt ve GSC’deki robots.txt tarafından engellendi durumuna bakın.) Evidence for this claim Google says robots.txt controls crawler access and is not a mechanism for keeping a page out of Google. Scope: Google robots.txt behavior; noindex must remain crawlable to be observed. Confidence: high · Verified: 2026-07-14 Google: robots.txt introduction

noindex + disallow tuzağı. Bu hata sürekli yaşanır. Bir sayfayı robots.txt içinde hem engeller hem de sayfaya noindex eklerseniz Google, noindex’i görmek için sayfayı hiçbir zaman getiremez; dolayısıyla sayfa dış bağlantılar üzerinden dizinde kalabilir. Bir sayfayı dizinden çıkarmak için taramaya izin verin ve noindex ekleyin. Dizinden çıkarmak için asla disallow kullanmayın. Bunun arkasındaki canlı deneyi Indexed, though blocked by robots.txt yazımda anlattım: “crawling and indexing are two different things.”

Giriş duvarları ve 401s. İçerik, Googlebot’un tamamlayamadığı etkileşimli bir giriş veya OAuth akışının arkasındaysa erişilemez durumdadır; taranamaz veya dizine eklenemez. Ancak bu, “her ödeme duvarı taranamaz” iddiasıyla aynı değildir: Yayıncılar, kısıtlı veya aboneliğe bağlı içeriği tarayıcılara normal ziyaretçilerden farklı biçimde sunmayı seçebilir. Bu nedenle “Googlebot’un aşamadığı bir giriş gerektiriyor” ve “ölçümlü/ödeme duvarlı” durumlarını, her ödeme duvarının aynı şekilde davrandığını varsaymak yerine ayrı ele alın. (401 tarafından engellendi bölümüne bakın.)

403 Forbidden. Bir IP izin listesine başvurmadan önce, bulduğunuz ilk nedenin tek neden olduğunu varsaymak yerine olası nedenleri sırayla inceleyin:

1. robots.txt — tam yolun ilgili tarayıcının user-agent’ı için engellenmediğini doğrulayın; bu en yaygın nedendir ve elenmesi en hızlı olandır.
2. Aralıklı veya önbelleğe alınmış engeller — aynı URL’yi birden fazla kez ve birden fazla konumdan yeniden test edin. Yalnızca ara sıra tetiklenen bir WAF/CDN kuralı veya eski bir önbellek 403’ü, kalıcı olmadığı hâlde kalıcı engel gibi görünebilir.
3. User-agent engelleri — belirli bir bot dizesini reddeden WAF/CDN kuralı (yalnızca dizenin taklit edilebileceğini unutmayın; araştırmayı burada durdurmayın).
4. IP aralığı engelleri — Googlebot’un gerçek IP aralıklarını veya veri merkezi coğrafyasını reddeden güvenlik duvarı, CDN ya da coğrafi kural. Yalnızca engellemenin hangi katmanda olduğunu gerçekten belirledikten sonra, sadece user-agent başlığına değil ters + ileri DNS’e göre doğrulanmış Googlebot’u izin listesine alın. (403 tarafından engellendi ve diğer 4xx tarafından engellendi bölümlerine bakın.)

Engellenen JS/CSS. Google, sayfaları headless Chrome içinde oluşturur. robots.txt, *.js/*.css dosyalarını engellerse veya CDN kaynakları Googlebot’a sunmazsa oluşturulan sayfa bozuk görünür. Yalnızca oluşturma sonrasında görünen içerik dizine eklenmeyebilir ve yalnızca JS sonrasında görünen bağlantılar izlenmeyebilir. URL Denetimi → Canlı Test ile sınayın ve oluşturulan ekran görüntüsünü inceleyin.

2. Bağlantılar bozuk ya da taranamaz durumdadır

Taranamayan bağlantılar. “Google can only crawl your link if it’s an <a> HTML element with an href attribute. Most links in other formats won’t be parsed and extracted by Google’s crawlers.” Dolayısıyla <a routerLink="...">, <span href="..."> ve <a onclick="goto(...)"> biçimleri geçerli değildir. Ana gezinmeniz yalnızca JS tıklama işleyicilerinden oluşuyorsa sitenin tüm bölümleri hiç keşfedilmeyebilir. (Tarama merkezinin oluşturma bölümüne ve JavaScript SEO Issues & Best Practices yazıma bakın.)

Yetim sayfalar. Kendisine işaret eden hiçbir iç bağlantı bulunmayan bir sayfa, yalnızca site haritası veya dış bağlantı üzerinden bulunabilir. Bağlantılar baskın keşif kanalıdır; bu nedenle yetim sayfa GSC’de çoğu zaman keşfedildi – şu anda dizine eklenmedi olarak görünür. Site haritası girdisi keşfe yardım eder ancak bağlantı sinyalinin yerini almaz. Çözüm: Sayfaya ilgili bir merkez veya kategori sayfasından bağlantı verin. (Keşif ve tarama derinliği bölümlerine bakın.)

Derin sayfalar. Ana sayfadan çok sayıda tıklama uzağa gömülmüş sayfalar daha geç ve daha seyrek taranır. Önemli sayfaları sığ bir yapıda tutun (tarama derinliği bölümüne bakın).

3. Sunucu arızalanıyor veya hızı kısıtlıyor

5xx sunucu hataları. 500/502/503/504, içerik yerine hata döndürür. Sürekli 5xx hataları Googlebot’un hızını düşürmesine neden olur: “they try not to crawl the site too fast to avoid overloading it… HTTP 500 errors mean ‘slow down’”. Sonunda önceden dizine eklenmiş sayfalar da kaldırılabilir. robots.txt dosyasının kendisi 5xx döndürürse bu, sitenin tamamında anında başlayan ve süresiz bir durma anlamına gelmez. Google’ın yayımladığı davranış aşamalıdır: Tarama önce yaklaşık 12 saat durur, ardından Google 30 güne kadar bilinen son geçerli robots.txt dosyasına dönebilir; sonrasında ne olacağı önbellekteki kurallara ve sitenin genel olarak erişilebilir olup olmadığına bağlıdır. 503 ayrıntısına dikkat edin: Retry-After başlığı içeren bir 503, planlı kısa kesintiler için doğru yanıttır; yalnızca haftalarca sürmesi zarar verir. Google, 429 (çok fazla istek) yanıtını da aynı geri çekilme davranışı kapsamında değerlendirir. (Sunucu hatası (5xx) ve tarama hızı bölümlerine bakın.)

DNS hataları. Bunlar tamamen HTTP’nin öncesinde gerçekleşir: Alan adı çözümlenemiyorsa — süresi dolmuş kayıt, hatalı nameserver geçişi veya bozuk apex-domain çözümlemesi — 5xx bile döndürebilecek bir sunucu yanıtı yoktur. Sürekli DNS hatası tüm sitenin kaldırılmasına yol açar. Bunu GSC Tarama İstatistikleri → Ana Makine Durumu bölümünde veya haricî çalışma süresi izleme sistemiyle daha hızlı yakalayın.

Yavaş yanıtlar ve getirme işleminin kesilmesi. Google’ın nezaket mekanizması sunucu sağlığına göre hızı kısıtlar; dolayısıyla yavaş yanıtlar daha az tarama anlamına gelir. Ayrıca katı bir bayt sınırı vardır: Google’ın Mart 2026 tarihli Inside Googlebot güncellemesine göre Googlebot, URL başına yaklaşık 2 MB getirir (eski 15 MB değerinden düşürüldü); PDF’lerde sınır 64 MB’dir. Sınır aşılırsa getirme reddedilmez, kesilir; yalnızca indirilen bölüm dizine eklenir. Kritik içeriğiniz 2 MB’lık şişkinliğin altında kalıyorsa kesilebilir.

Yönlendirme zincirleri ve döngüleri. Her yönlendirme adımı tarama kaynağı tüketir ve uzun zincirler taramayı olumsuz etkiler; Google, hedefi terk etmeden önce yalnızca yaklaşık beş adımı izler. Döngüler zaman aşımına uğrar ve GSC’de yönlendirme hatası olarak görünür. Yaygın nedenlerden biri, art arda yapılan geçişlerin oluşturduğu www → non-www → HTTPS adımlarıdır. (Yönlendirme zincirlerini tarama israfı olarak sıralayan tarama bütçesi bölümüne bakın.)

4. URL envanteri şişmiştir

Örümcek tuzakları. Etkin biçimde sonsuz URL üreten yapılar: fasetli filtre kombinasyonları, sonu olmayan “next month” takvim bağlantıları, URL’lerdeki oturum kimlikleri ve sonsuz sayfalama. Tarayıcılar birbirine çok benzeyen gereksiz URL’lerde bütçe harcarken gerçek sayfalar daha az taranır. Google, tarama sorunlarının büyük bölümünden fasetli gezinme ve işlem parametrelerini sorumlu tutmuş; “infinite spaces” ise 2008’den beri tarama israfı listesinin başında yer almıştır. Neyin “too much” sayılacağına ilişkin sabit ve evrensel bir eşik yoktur. Belirti, her yerde geçerli belirli bir yüzde değil, kendi sitenizin normal taban çizgisine kıyasla isabetlerin orantısız derecede büyük bölümünün tek bir gereksiz URL kalıbında yoğunlaşmasıdır. (Örümcek tuzakları bölümüne bakın.)

URL parametreleri. Sorgu dizeleri (?key=value) aynı içerik için birden fazla URL oluşturur. Etkin parametreler (sıralama/filtreleme/sayfalama) birbirine çok benzeyen kopyalar, pasif parametreler (izleme, oturum kimlikleri) ise birebir kopyalar üretir. Her ikisi de bütçeyi boşa harcar ve bağlantı sinyallerini seyreltir. Not: Google URL Parameters aracını Nisan 2022’de kullanımdan kaldırdı (yapılandırmaların yalnızca ~1% kadarını yararlı buldu ve artık çoğu durumu otomatik olarak ele alıyor); insanlara bu aracı kullanmalarını söylemeyin. Bing hâlâ Ignore URL Parameters aracına sahiptir. Güncel çözüm: tutarlı parametre sıralaması, pasif parametreler için rel=canonical, yalnızca gerçek tuzaklar için robots.txt disallow. (URL parametreleri ve canonicalization bölümlerine bakın.)

Soft 404s. İşlevsel olarak “not found” olan (boş arama sonuçları, içeriği kaldırılmış stok dışı ürün) ancak 200 OK döndüren sayfalardır. Durum kodu sayfanın var olduğunu söylediği için Google sayfayı taramayı sürdürür ve dizine eklenebilir içerik olmadan bütçeyi boşa harcar. Çözüm: Gerçek bir 404 veya 410 döndürün (410 Gone, kaldırma konusunda çok az daha hızlıdır). Gerçek bir 404, ilgili URL’yi yeniden taramamak için güçlü bir sinyaldir.

Tarama bütçesinin tükenmesi (yalnızca büyük siteler)

Bu, dördüncü gruptaki sorunun büyük ölçekteki hâlidir ve ayrı bir uyarıyı hak eder: Çoğu site bu sınıra hiçbir zaman ulaşmaz. Google açıkça şöyle der: “if your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” John Mueller buna bir sayı vermiştir: 100 000 URL genellikle tarama bütçesini etkilemek için yeterli değildir. Gerçekte bu konu, haftalık değişen ~1M+ sayfa veya günlük değişen 10k+ sayfa düzeyinde önem kazanır. Bütçe hostname başınadır ve Google’ın tüm tarayıcıları (görsel, video, haber, reklam) site başına aynı havuzdan yararlanır. Uyarı işareti, büyük ve giderek artan keşfedildi – şu anda dizine eklenmedi sayısıdır. (Ayrıntılı açıklama tarama bütçesi bölümündedir; ayrıca When Should You Worry About Crawl Budget? yazıma bakın.)

Taranabilirlik sorunları nasıl bulunur?

Google Search Console.

• Sayfa Dizine Ekleme raporu, adlandırılmış hataları gösterir: robots.txt tarafından engellendi, sunucu hatası (5xx), bulunamadı (404), yönlendirme hatası.
• Tarama İstatistikleri raporu, yanıt kodu eğilimlerini, ortalama yanıt süresini ve DNS, robots.txt ile sunucu bağlantısı sorunlarını işaretleyen ana makine durumu panelini gösterir. (Tarama İstatistikleri raporu bölümüne bakın.)
• URL Denetimi (Canlı Test), Googlebot’un tek bir URL için gerçekten ne getirip oluşturduğunu gösterir. Oluşturulan ekran görüntüsü, engellenmiş JS/CSS’yi yakalamanın en hızlı yoludur.
• “Keşfedildi – şu anda dizine eklenmedi”, tarama uyarı ışığıdır: Google URL’yi bilir ancak henüz getirmemiştir (genellikle bağlantı veya öncelik sorunu).

Sunucu günlük dosyası analizi temel gerçeği gösterir. Günlükler, botların tam olarak hangi URL’lere, ne sıklıkta ve hangi durum koduyla eriştiğini gösterir. Ayrıca gerçek Googlebot’u (ters + ileri DNS ile doğrulanmış) user-agent’ı taklit eden botlardan ayırmanın tek yoludur. Bir örümcek tuzağı, isabetlerin orantısız bölümünün tek bir URL kalıbında toplanmasıyla ortaya çıkar. (Günlük dosyası analizi bölümüne bakın.)

Site denetimi tarayıcıları — Ahrefs Site Audit ve Screaming Frog SEO Spider — taramayı simüle eder; yönlendirme zincirlerini, engellenen URL’leri, yetim sayfaları ve tarama derinliğini tek geçişte ortaya çıkarır.

Taranabilirlik ve dizine eklenebilirlik: Birbirine karıştırmayın

Kısacası taranabilirlik, bir botun sayfaya erişip erişemediğini; dizine eklenebilirlik ise Google’ın sayfayı getirdikten sonra saklamayı seçip seçmediğini ifade eder. Taranabilirlik düzeltildikten sonra sıradaki kapı dizine eklenebilirliktir.

GSC durumu yararlı bir başlangıç hipotezidir, garantili bir teşhis değildir. Keşfedildi – şu anda dizine eklenmedi genellikle tarama planlaması/önceliği sorununa işaret eder (iç bağlantılar ekleyin, site kalitesini artırın). Tarandı – şu anda dizine eklenmedi ise çoğunlukla taranabilirliğin sonrasındaki içerik/kalite sorununa işaret eder (zayıf, yinelenen veya arama amacıyla uyuşmayan içerik). Ancak Google bu durum için kapsamlı bir nedensel eşleme yayımlamaz; oluşturma gecikmeleri, canonicalization sinyalleri veya dizine eklenme uygunluğu kontrolleri gibi örtüşen etkenler de aynı etiketi oluşturabilir. Durumu ilk ipucunuz olarak değerlendirin, URL Denetimi ve günlüklerle doğrulayın; dizine eklenebilirlik sorunu olduğu anlaşılan bir duruma tarama çözümleri uygulamayın veya tersini yapmayın.

Bing taranabilirliği Google’dan nasıl farklıdır?

Her ikisi için optimizasyon yapıyorsanız bilmeye değer birkaç pratik fark vardır:

• IndexNow — Bing (ve Yandex, Naver, Seznam, Yep) bunu anlık değişiklik bildirimleri için kullanır; Google katılmaz. IndexNow’ın Google taranabilirliğine yardımcı olmasını beklemeyin.
• Crawl Control — Bing Webmaster Tools hâlâ tarama saatlerini planlamaya yarayan manuel bir tablo sunar; Google tarama hızı kaydırıcısını Ocak 2024’te kaldırdı.
• Ignore URL Parameters — Bing bu aracı hâlâ sunar; Google eşdeğerini Nisan 2022’de kullanımdan kaldırdı.
• lastmod — Bing bunu yeniden tarama sinyali olarak daha fazla ağırlıklandırır; Google hatalı lastmod değerlerini büyük ölçüde yok sayar.

Microsoft Bing’den Fabrice Canel, Bing’in yaklaşımını “Less is more for SEO… Less URLs to crawl, better for SEO” ifadesiyle özetliyor; taranabilirlik oyununun tamamı tek satırda budur. (bingbot bölümüne bakın.)

Sonraki adım

Bu merkez haritadır; ayrıntılı incelemeler işi yapar. Erişim kontrolleri için robots.txt ve noindex bölümlerine bakın. Sunucu tarafı için sunucu hatası (5xx), tarama hızı ve yönlendirme hatası bölümlerine bakın. Envanter şişkinliği için örümcek tuzakları, URL parametreleri ve tarama bütçesi bölümlerine bakın. Keşif ve bağlantılar için keşif, tarama derinliği ve yetim sayfalar bölümlerine bakın. İşlem hattının tamamını tek yerde görmek için tarama merkezinden başlayın.

Yapay zekâ özeti

İleri Düzey sürümün özetlenmiş açıklaması:

• Taranabilirlik = tarayıcıların sayfalarınızı ne kadar iyi keşfedebildiği, sayfalarınıza erişebildiği ve onları getirebildiğidir. Taranabilirlik sorunu, bunu bozan her şeydir. İşlem hattının ilk aşamasıdır (keşfet → tara → oluştur → dizine ekle → sun — Patrick’in uygulayıcı sentezi; Google’ın kendi modeli keşif ve oluşturmayı daha geniş bir “tarama” aşamasının içinde gruplandırır), dolayısıyla her şeyin öncesinde yer alır.
• Üç “eşit değildir”: taranabilirlik ≠ dizine eklenebilirlik (taranabilen bir sayfada yine de noindex olabilir); tarama ≠ sıralama (Google’a göre “not a ranking signal”); tarama ≠ oluşturma (JS, ayrı ve gecikebilen bir adımda çalışır).
• Dört grup: (1) erişimin engellenmesi — robots.txt, giriş duvarları/401, WAF/CDN kaynaklı 403, engellenen JS/CSS; (2) bozuk bağlantılar — <a href> içermeyen yalnızca JS tabanlı gezinme, yetim sayfalar, derin sayfalar; (3) sunucu arızaları — 5xx (önce hızı düşürür, sonra sayfaları kaldırır), DNS hataları (tüm site), yavaş/kesilen getirmeler (~2 MB sınırı), yönlendirme zincirleri (~5 adım); (4) şişmiş envanter — örümcek tuzakları, parametre kopyaları, soft 404s (içerik olmadan 200 OK).
• Büyük tuzak: noindex + disallow = Google noindex’i hiçbir zaman göremez. Dizinden çıkarmak için taramaya izin verin + noindex; bir sayfayı kaldırmak için asla robots.txt kullanmayın.
• Tarama bütçesi yalnızca çok büyük/hızla değişen sitelerde önemlidir (haftalık ~1M+ sayfa; 100k URLs genellikle yeterli değildir). Hostname başınadır ve tüm Google tarayıcıları arasında paylaşılır.
• Teşhis için GSC’yi (Sayfa Dizine Ekleme, Tarama İstatistikleri, URL Denetimi) ve sunucu günlüklerini (temel gerçek; gerçek botları doğrulamanın tek yolu) kullanın. Önce erişimi, ardından envanteri düzeltin.
• Bing’in farkları: IndexNow (Google değil), Crawl Control, Ignore URL Parameters ve lastmod değerine daha fazla ağırlık verilmesi.

Resmî belgeler

Taramayı bozan etkenlere ilişkin birincil kaynak belgeleri.

Google

• In-Depth Guide to How Google Search Works — tara → dizine ekle → sun işlem hattı, URL keşfi ve “slow down” hız kısıtlama mekanizması.
• Crawling and Indexing hub — robots, site haritaları, canonicalization ve tarama kontrolleri tek yerde.
• Introduction to robots.txt — robots.txt dosyasının ne yaptığı ve (kritik olarak) ne yapmadığı.
• Make your links crawlable — <a href> gereksinimi ve Google’ın izleyemediği bağlantı biçimleri.
• Optimize your crawl budget — kapasite + talep, tarama israfı kategorileri ve kimlerin gerçekten ilgilenmesi gerektiği.
• Overview of Google crawlers and fetchers — user-agent’lar, IP aralıkları ve Google tarayıcılarının kendilerini tanıtma biçimi.
• Inside Googlebot (March 2026) — güncel bayt sınırları (URL başına ~2 MB, PDF’lerde 64 MB) ve kesilme davranışı.
• Page Indexing report help — her tarama/dizin durum kodunun anlamı.

Bing / Microsoft

• bingbot Series: Maximizing Crawl Efficiency — Bing’in tarama tanımı ve “crawl efficiency north star” yaklaşımı.
• Bing Webmaster Tools — Crawl Control — Bingbot’un tarama saatlerini planlayın (Google’da eşdeğeri yoktur).
• IndexNow — Bing ve diğerlerinin anlık değişiklik bildirimleri için kullandığı gönderim protokolü (Google kullanmaz).

Kaynaktan alıntılar

Google ve Bing’in kayda geçmiş açıklamaları. Her bağlantı, kaynak sayfadaki alıntılanan bölüme doğrudan gider.

Google — robots.txt bir kaldırma aracı değildir

• “A robots.txt file tells search engine crawlers which URLs the crawler can access on your site.” — Google Search Central belgeleri. Alıntıya git
• “It is not a mechanism for keeping a web page out of Google.” Alıntıya git
• “The instructions in robots.txt files cannot enforce crawler behavior; it’s up to the crawler to obey them.” Alıntıya git

Google — taranabilir bağlantılar

• “Google can only crawl your link if it’s an <a> HTML element with an href attribute.” — Make your links crawlable. Alıntıya git
• “Most links in other formats won’t be parsed and extracted by Google’s crawlers.” Alıntıya git

Google — sunucu sağlığı ve oluşturma

• “They try not to crawl the site too fast to avoid overloading it. This mechanism is based on the responses of the site (for example, HTTP 500 errors mean ‘slow down’).” Alıntıya git
• “During the crawl, Google renders the page and runs any JavaScript it finds using a recent version of Chrome.” Alıntıya git

Google — tarama bütçesi ve tarama ile sıralama arasındaki fark (2017 tarama bütçesi yazısı; Search Engine Land’in birebir aktarımı üzerinden)

• “An increased crawl rate will not necessarily lead to better positions in Search results… while crawling is necessary for being in the results, it’s not a ranking signal.” Haberi okuyun
• “If your site doesn’t have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don’t need to read this guide.” — Büyük siteler için tarama bütçesi kılavuzu. Alıntıya git

Fabrice Canel, Microsoft Bing

• “Crawling is the process by which bingbot discovers new and updated documents or content to be added to Bing’s searchable index.” Alıntıya git
• “Less is more for SEO. Never forget that. Less URLs to crawl, better for SEO.” — Search Engine Land üzerinden aktarılmıştır. Haberi okuyun

Taranabilirlik önceliklendirme kontrol listesi

Bunları sırayla uygulayın; erişim sorunları hem en yıkıcı hem de en yaygın sorunlar olduğu için önce onlardan başlayın:

• robots.txt, dizine eklenmesini istediğiniz hiçbir şeyi engellemiyor (hazırlık ortamından kalmış bir Disallow: / bulunmadığını ve *.js/*.css dosyalarının engellenmediğini kontrol edin).
• Hiçbir sayfa noindex + disallow birlikte kullanmıyor (noindex hiçbir zaman görülemez; dizinden çıkarmak için taramaya izin verin ve noindex ekleyin).
• Önemli içerik giriş duvarı / 401 arkasında değil ve doğrulanmış Googlebot’a 403 döndürmüyor (WAF/CDN/coğrafi kuralları kontrol edin).
• Gezinme, yalnızca JS tıklama işleyicileri yerine gerçek <a href> bağlantıları kullanıyor.
• Yetim sayfa yok; önemsediğiniz her sayfaya en az bir başka taranabilir sayfadan bağlantı veriliyor.
• Sunucu hızlı ve kararlı yanıtlar döndürüyor; 5xx sayısı düşük ve planlı kesintilerde 503 + Retry-After kullanılıyor.
• DNS güvenilir biçimde çözümleniyor (GSC Ana Makine Durumu + haricî çalışma süresi izleme sistemini kontrol edin).
• Bir veya iki adımdan uzun yönlendirme zinciri ve hiçbir döngü yok.
• Kritik içerik ~2 MB getirme sınırının altında yer alıyor (sayfa şişkinliğinin sonrasında değil).
• Sonsuz URL üreten örümcek tuzağı yok (takvimler, fasetler, oturum kimlikleri).
• URL parametreleri taranabilir kopyalar üretmiyor (tutarlı sıralama, pasif parametreler için canonical’lar).
• Soft 404s yok; “not found” sayfaları 200 yerine gerçek bir 404/410 döndürüyor.
• Yanıt kodu sıçramaları ve ortalama yanıt süresi için GSC Tarama İstatistikleri incelendi.
• Tarama israfı ve botların hiç ulaşmadığı önemli URL’ler için sunucu günlükleri kontrol edildi.

Zihinsel modeller

1. Dört grup. Her taranabilirlik sorunu şunlardan biridir: erişimin engellenmesi, bozuk bağlantılar, sunucu arızası veya şişmiş envanter. Düzeltmeden önce sınıflandırın; hangi aracı kullanacağınızı grup belirler.

2. İşlem hattı — keşfet → tara → oluştur → dizine ekle → sun. Herhangi bir şeyi değiştirmeden önce sayfanın hangi aşamada başarısız olduğunu belirleyin. Keşfedildi mi? Tarandı mı? Oluşturuldu mu? Dizine eklendi mi? Sunuldu mu? Yanlış aşamaya yönelik bir düzeltme hiçbir işe yaramaz.

3. Üç “eşit değildir” ifadesi.

• Tarama ≠ dizine ekleme (robots tarafından engellenen bir sayfa, bağlantılar üzerinden yine de dizine eklenebilir).
• Tarama ≠ sıralama (tarama hızı bir sıralama sinyali değildir).
• Tarama ≠ oluşturma (JS ayrı ve gecikebilen bir adımda çalışır).

4. Dizinden çıkarma karar kuralı. Bir sayfanın aramadan kaldırılmasını mı istiyorsunuz? Taramaya izin verin + noindex. Botların bir URL alanını tamamen atlamasını mı istiyorsunuz (ve dizine eklenmesini önemsemiyor musunuz)? robots.txt disallow. Dizinden çıkarmak için asla disallow kullanmayın; bot, engelin arkasındaki noindex’inizi göremez.

5. Önce kaynağı düzeltin, sonra engelleyin. Envanter şişkinliğinde önce gereksiz URL’leri üreten yolları durdurun (temiz çözüm), ardından robots.txt içinde yalnızca geriye kalanları engelleyin. Sunucunuzun kapasite tavanına zaten ulaşmadıysanız yalnızca engelleme yapmak bütçeyi geri kazandırmaz.

6. Önem derecesine göre önceliklendirme. Önce site genelindeki sorunlar (DNS hatası, robots.txt Disallow: /, robots.txt dosyasının 5xx döndürmesi) → sonra bölüm genelindeki sorunlar (yalnızca JS tabanlı gezinme, engellenen dizin) → ardından sayfa düzeyindeki sorunlar (tek yönlendirme zinciri, tek yetim sayfa). İnce ayar yapmadan önce kanamayı durdurun.

Taranabilirlik sorunları — hızlı başvuru

Dört grup ve ayırt edici belirtileri

Botların önemsediği durum kodları

• 200 — başarıyla getirildi (ancak “not found” sayfasının 200 döndürmesi soft 404’dür).
• 301/308 — kalıcı yönlendirme (zincirleri kısa tutun; en fazla ~5 adım).
• 403/401 — erişim reddedildi / kimlik doğrulama gerekli (WAF’ı kontrol edin, engellenenin gerçek Googlebot olmadığını doğrulayın).
• 404/410 — kaldırılmış; güçlü bir yeniden taramama sinyali (410 biraz daha hızlıdır).
• 429/500/503 — “slow down” / daha sonra yeniden dene; planlı kesinti için 503 + Retry-After doğrudur, sürekli olması taramanın azalmasına yol açar.

Kısa bilgiler

• Getirme sınırı: URL başına ~2 MB (PDF’lerde 64 MB) — aşan bölüm reddedilmez, kesilir.
• Google’ın izlediği yönlendirme adımları: Hedefi terk etmeden önce ~5.
• Tarama bütçesi ~100k URLs altında nadiren önemlidir; bütçe hostname başınadır.
• GSC URL Parameters aracı: Nisan 2022’de kullanımdan kaldırıldı. Manuel tarama hızı kaydırıcısı: Ocak 2024’te kaldırıldı.
• IndexNow = Bing/Yandex/diğerleri, Google değil.

Taranabilirlik sorunlarını bulmaya yönelik araçlar

• Google Search Console — Sayfa Dizine Ekleme raporu — adlandırılmış hataları gösterir: robots.txt tarafından engellendi, sunucu hatası (5xx), bulunamadı (404), yönlendirme hatası ve keşfedildi/tarandı – şu anda dizine eklenmedi durumları.
• GSC — Tarama İstatistikleri raporu — yanıt kodu eğilimleri, ortalama yanıt süresi ve DNS, robots.txt ile bağlantı sorunlarını işaretleyen ana makine durumu paneli. (Tarama İstatistikleri raporu bölümüne bakın.)
• GSC — URL Denetimi (Canlı Test) — Googlebot’un tek bir URL için tam olarak ne getirip oluşturduğunu görün; oluşturulan ekran görüntüsü engellenen JS/CSS’yi kontrol etmenin en hızlı yoludur.
• Sunucu günlük dosyası analizi — temel gerçek: Botların gerçekte hangi URL’lere, ne sıklıkta eriştiği ve hangi yanıtı aldığı. Gerçek Googlebot’u (ters + ileri DNS) doğrulamanın ve örümcek tuzağının orantısız isabet kalıbını tespit etmenin tek yoludur. Araçlar: Screaming Frog Log File Analyser veya günlükleri BigQuery / bir günlük platformuna aktarın. (Günlük dosyası analizi bölümüne bakın.)
• Site denetimi tarayıcıları — Ahrefs Site Audit ve Screaming Frog SEO Spider, taramayı simüle ederek yönlendirme zincirlerini, engellenen URL’leri, yetim sayfaları ve tarama derinliğini ortaya çıkarır.
• Ahrefs Webmaster Tools — doğruladığınız siteler için ücretsiz tarama + denetim.
• Bing Webmaster Tools — tarama bilgileri, Crawl Control ve Site Scan; ayrıca Google’ın kullanımdan kaldırdığı Ignore URL Parameters aracı.

Kendinizi sınayın: Taranabilirlik sorunları

Taramayı nelerin bozduğu ve bunların nasıl düzeltileceği hakkında beş kısa soru. Her biri için bir yanıt seçin, ardından kontrol edin.

Tarayıcı sayfaya neden erişemiyor?

Olay müdahale kılavuzu: Önemli bir bölüm taramadan kayboluyor

1. Kapsamı doğrulayın. Temsilî URL’leri test edin ve ilk hata zamanını sürümler, güvenlik duvarı değişiklikleri ve sunucu olaylarıyla karşılaştırın.
2. Getirme yolunu kontrol edin. DNS, TLS, yönlendirmeler, durum kodları, kimlik doğrulama ve yanıt bütünlüğünü çözümleyin. Daha derin SEO analizinden önce hataları düzeltin.
3. Tarayıcı erişimini kontrol edin. Tam URL’leri robots.txt kurallarına göre test edin ve WAF/CDN kurallarının doğrulanmış botları engellemediğini doğrulayın.
4. Keşfi kontrol edin. Ana sayfadan ve bölüm merkezlerinden başlayarak tarayın. URL’ler yetimse veya yalnızca JS tıklamalarıyla erişilebiliyorsa normal anchor bağlantılarını ve site haritası üyeliğini geri yükleyin.
5. Oluşturmayı ve envanteri kontrol edin. Gerekli kaynakların yüklendiğini doğrulayın; istekleri tüketen tuzakları veya yinelenen yolları belirleyin.
6. Kurtarmayı doğrulayın. Temsilî URL’leri yeniden getirin ve doğrulanmış tarayıcı günlüklerini izleyin; erişim çalışıyor ancak dizine ekleme düzelmiyorsa dizine eklenebilirlik teşhisine geçin.

URL tarayıcıda 200 döndürüyor ancak tarayıcı botlar 403 alıyor

Olası nedenler, kontrol ettiğim sırayla: İlgili user-agent için robots.txt disallow, ardından aralıklı veya önbelleğe alınmış engel (birden fazla kez yeniden test edin), ardından user-agent’a özel WAF/CDN kuralı, son olarak IP aralığı veya coğrafi engel. Çözüm: Herhangi bir şeye dokunmadan önce gerçekte hangi katmanın sorumlu olduğunu doğrulayın, tarayıcının IP’sini ters + ileri DNS ile doğrulayın, uç günlüklerini inceleyin ve engelleme kuralını daraltın. Doğrulama: Doğrulanmış tarayıcı ve normal kullanıcı amaçlanan yanıtı almalıdır.

Sayfa mevcut ancak tarayıcılar hiçbir zaman istekte bulunmuyor

Olası nedenler: Yetim kalma, yalnızca JS kullanan kontroller, bozuk sayfalama veya site haritası üzerinden keşfin eksik olması. Çözüm: İlgili sayfalardan taranabilir <a href> bağlantıları ekleyin ve canonical URL’yi doğru site haritasına dahil edin. Doğrulama: Site taraması sayfaya ulaşmalı ve daha sonra sunucu günlükleri doğrulanmış bir tarayıcının getirme işlemini göstermelidir.

Tarama araçları engellenen kaynaklar bildiriyor

Olası nedenler: robots.txt kuralları, oluşturma için gereken CSS, JavaScript veya API kaynaklarını kapsıyordur. Çözüm: Özel uç noktaları açığa çıkarmadan gerekli kaynaklara izin verin. Doğrulama: Oluşturulan çıktı, kullanıcılara sunulan birincil içerik ve bağlantıların aynısını içermelidir.

Gereksiz URL’lerde tarama hacmi sıçrıyor

Olası nedenler: Fasetli parametreler, takvimler, site içi arama, oturum tanımlayıcıları veya sonsuz gezinme. Çözüm: Taranabilir üretim yollarını kaldırın; yalnızca dizin ve oluşturma üzerindeki etkileri anladıktan sonra birleştirin veya engelleyin. Doğrulama: Eşdeğer günlük aralıkları, değerli URL’ler keşfedilebilir kalırken kalıbın azaldığını göstermelidir.

İstem: Tarama kanıtlarını bir önceliklendirme tablosuna dönüştürün

Analyze the crawlability evidence below. For each URL, classify the failure as access, discovery/linking, server/redirect, rendering/resource, or URL-inventory. Cite only the supplied evidence, list missing checks, and return symptom → likely cause → safest fix → pass/fail verification. Keep crawlability separate from indexability.

[PASTE STATUS, HEADERS, ROBOTS TEST, CRAWL PATH, RENDERED HTML, AND LOG OBSERVATIONS]

İstem: Bir robots.txt değişikliğini güvenli biçimde inceleyin

Review this proposed robots.txt change against the supplied sample URLs and user agents. Build an allow/block matrix, identify the winning rule, flag required resources or valuable pages that would become blocked, and propose the smallest safe change. Do not claim the file removes URLs from the index.

[PASTE CURRENT FILE, PROPOSED FILE, USER AGENTS, AND URL SAMPLES]

URL listesinin tarama yanıtlarını kontrol edin

while IFS= read -r url; do curl -L -sS -o /dev/null -w '%{http_code}\t%{url_effective}\t%{time_total}\n' "$url"; done < urls.txt

PowerShell eşdeğeri:

Get-Content .\urls.txt | ForEach-Object { try { $r = Invoke-WebRequest -Uri $_ -MaximumRedirection 10; "{0}`t{1}" -f $r.StatusCode,$r.BaseResponse.ResponseUri } catch { "ERROR`t$_" } }

Oluşturulmuş HTML’de taranamayan bağlantı kontrollerini bulun

Bunu tarayıcı DevTools Console içinde çalıştırın. Tıklama davranışına sahip olup normal bağlantı olmayan öğeleri listeler:

[...document.querySelectorAll('[onclick], [role="link"]')].filter(el => !el.matches('a[href]')).map(el => ({text: el.textContent.trim(), html: el.outerHTML.slice(0, 300)}));

Sonuç bir inceleme kuyruğudur; her öğenin bağlantıya dönüştürülmesi gerektiğinin kanıtı değildir.

Zaman ayırmaya değer kaynaklar

İlgili yazılarım

• Indexed, though blocked by robots.txt — engellenen bir sayfanın neden yine de dizine eklenebildiği ve noindex-disallow tuzağı.
• The Story of Blocking 2 High-Ranking Pages With Robots.txt — sıralamadaki sayfaları engellediğinizde gerçekte ne olduğuna ilişkin birinci taraf deneyim.
• When Should You Worry About Crawl Budget? — kimlerin ilgilenmesi gerektiği ve bütçeyi nelerin boşa harcadığı.
• JavaScript SEO Issues & Best Practices — oluşturma tarafı: JS’ye bağlı bağlantılar ve içerik keşfi ne zaman bozar?
• Meet the New Web Crawlers — Cloudflare Radar verilerine göre artık sizi gerçekte kimlerin taradığı.

Konuşmalarım

• How Search Works (SlideShare) — tarama, oluşturma, dizine ekleme ve sıralamaya ilişkin anlatımım. (Kalıcı uyarı: “This is my understanding of systems… not going to be 100% complete or accurate.”)

Sektörden kaynaklar

• Google’ın Crawling December serisi — resmî tarama açıklamalarının (Googlebot, HTTP önbelleğe alma, fasetli gezinme, CDN’ler) en iyi toplu kaynaklarından biri.
• Google Explains Crawl Budget for Webmasters (Search Engine Land) — Gary Illyes’in 2017 tarama bütçesi yazısının, “not a ranking signal” satırı dahil birebir aktarımı.
• Google: 100,000 URLs Usually Won’t Impact Crawl Budget (Search Engine Roundtable) — ölçeği belirleyen John Mueller alıntısı.
• The five infrastructure gates behind crawl, render, and index (Search Engine Land) — Fabrice Canel’in tarama verimliliğine ilişkin “less is more for SEO” çerçevesi.
• Google Explains Googlebot Byte Limits and Crawling Architecture (Search Engine Journal) — Mart 2026 güncellemesinin kapsamı; URL başına 2 MB, PDF’lerde 64 MB ve kesilme.
• Googlebot File Size Limit (DebugBear) — bir sayfa getirme sınırını aştığında ne olduğu (reddedilme değil, kesilme).

Değişiklik günlüğü