Tarama Hızı

TL;DR — Tarama hızı, bir arama motorunun sitenizdeki sayfaları ne kadar hızlı getirdiğidir. Google bunu sunucunuzun sağlığına göre otomatik olarak belirler; artık artırıp azaltabileceğiniz bir düğme yoktur. Sunucunuz aşırı yük altındaysa çözüm, onu hızlandırmaktır (veya yalnızca bir ya da iki gün boyunca “yavaşla” anlamına gelen bir hata döndürmesini sağlamaktır). Daha hızlı taranmak sıralamanızı yükseltmez.

Tarama hızı nedir?

Bir arama motoru sitenizi tararken tüm sayfaları aynı anda almaz; belirli bir tempoda ilerler. Tarama hızı, bu tempodur: tarayıcının belirli bir sürede kaç sayfa getirdiği ve getirme işlemleri arasında ne kadar beklediği. Google için Googlebot, Bing için Bingbot. Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Bu temponun amacı, siteyi zorlamamaktır. Bir tarayıcı saniyede yüzlerce sayfa isterse küçük bir sunucuyu kolayca aşırı yükleyebilir. Bu nedenle sitenizin nasıl yanıt verdiğini izler ve sunucu zorlanmaya başladığında yavaşlar. Hızlı yanıt verirseniz sayfaları biraz daha hızlı getirir; yanıtlar yavaşlar veya hata döndürürse daha az tarar.

Değişen en önemli şey

Yıllar boyunca verilen tavsiye, “Search Console’a girip tarama hızı kaydırıcısını düşürün” şeklindeydi. Bu kaydırıcı artık yok; Google onu 8 Ocak 2024’te kaldırdı. Dolayısıyla bunu ayarlamanızı söyleyen bir eğitim bulursanız o eğitim güncel değildir. Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: 2026-07-14 Google: Crawl rate limiter deprecation

Günümüzde hız otomatik olarak belirlenir. Siz ayarlamazsınız; Google sunucunuzun yanıtlarını okuyup karar verir.

Googlebot nasıl yavaşlatılır?

Sunucunuz gerçekten aşırı yükleniyorsa tercih sırasına göre şunları yapın:

1. Sunucuyu hızlandırın veya daha fazla kaynak sağlayın. Asıl çözüm budur. Googlebot sağlıklı ve hızlı bir sunucuyu doğal olarak daha rahat tarar.
2. Yalnızca gerçek bir acil durumda: Sunucunuzun normal sayfa yerine 500, 503 veya 429 hatası döndürmesini sağlayın. Google bunu neredeyse anında “yavaşla” anlamına gelen bir sinyal olarak yorumlar. Ancak bunu en fazla bir ya da iki gün uygulayın; daha uzun sürerse Google sayfalarınızı arama sonuçlarından çıkarmaya başlayabilir.

Yapmamanız gerekenler: Googlebot’u 403/404 hatalarıyla engellemeyin (bunlar taramayı yavaşlatmaz ve sayfaları kaybetme riski doğurur) ve robots.txt dosyanızdaki crawl-delay yönergesine güvenmeyin; Google bunu yok sayar (Bing ise uygular).

Google’ın daha hızlı taramasını sağlayabilir misiniz?

İstediğiniz anda hayır; “daha fazla tara” düğmesi yoktur ve artış talep edemezsiniz. Dolaylı olarak teşvik edebilirsiniz: daha hızlı bir sunucu, temiz bir site haritası, iyi iç bağlantılar ve yinelenen ya da gereksiz URL’lerin kaldırılması yardımcı olur. Ancak daha fazla tarama başlı başına bir hedef değildir; sıralamanızı yükseltmez.

Durum kodlarının ayrıntılarını, kullanımdan kaldırma geçmişini ve Bing’in nasıl farklılaştığını mı öğrenmek istiyorsunuz? Gelişmiş sekmesine geçin.

TL;DR — Tarama hızı, tarama bütçesinin arz tarafıdır: bir tarayıcının sayfaları ne kadar hızlı getirdiğini ifade eder ve Google’ın tarama kapasitesi sınırı dediği ölçütle (paralel bağlantılar + getirme işlemleri arasındaki gecikme) belirlenir. Otomatiktir ve sunucu sağlığına tepki verir; manuel GSC kaydırıcısı 8 Ocak 2024’te kaldırıldı. Googlebot’u artık HTTP üzerinden sinyal vererek yavaşlatabilirsiniz: en fazla 1–2 gün boyunca 500/503/429 kullanın; asla 401/403/404 kullanmayın. crawl-delay Google tarafından yok sayılır (Bing tarafından uygulanır). Artış talep edemezsiniz; yalnızca dolaylı iyileştirmeler yapabilirsiniz. Bing’de hâlâ manuel Crawl Control ızgarası vardır. Tarama hızı bir sıralama faktörü değildir ve çoğu sitenin buna hiç müdahale etmesi gerekmez.

Tarama hızı gerçekte nedir?

Tarama hızı, bir tarayıcının sunucunuzdan sayfaları ne kadar hızlı getirdiğidir; aynı anda yaptığı isteklerin sayısını ve istekler arasındaki gecikmeyi kapsar. Google buna tarama kapasitesi sınırı adını verir: “the maximum number of simultaneous parallel connections that Google can use to crawl a site, as well as the time delay between fetches.” Evidence for this claim Google defines crawl capacity using simultaneous connections and the delay between fetches, adjusted according to site responses. Scope: Google crawler capacity, not a ranking factor. Confidence: high · Verified: 2026-07-14 Google: Large site crawl budget guide

Tarama bütçesinin iki yarısından biridir. Ahrefs crawl-budget guide başlıklı rehberimde bunu şöyle ifade ettim: “crawl demand which is how many pages a search engine wants to crawl on your site and crawl rate which is how fast they can crawl.” Tarama hızı arz tarafıdır (onların ne kadar hızlı taramasına izin vereceğiniz); tarama talebi ise talep tarafıdır (ne kadar taramak istedikleri). Tarama bütçesi bu ikisinin kesiştiği noktadır; sıralamalar ise bu döngünün tamamen dışındadır.

How Search Works deck sunumumda tarama hızı sınırını basitçe sitenizin kaldırabileceği yük olarak tanımlıyorum. Bu sınırı sunucunuzun kararlılığı ve tarama sağlığı, yavaş yanıtlar, 5xx (sunucu) hataları ve 429 (çok fazla istek) yanıtları belirler. Google, sitenizi çökertmek istemediği için sunucunuz zorlanmaya başladığında geri çekilir. İnsanların gözden kaçırdığı bir ayrıntı şudur: tüm Googlebot’lar tek bir tarama havuzunu paylaşır; arama, görsel, reklam ve diğer botların tümü aynı hız kapasitesinden yararlanır. Dolayısıyla bir kaynak türünün kontrolden çıkan taraması, diğer her şeyin tarama kapasitesini tüketir.

Tarama hızını ne belirler?

Kapasite sınırı otomatiktir ve sunucunuza gerçek zamanlı olarak tepki verir. Google şöyle açıklar: “If the site responds quickly for a while, the limit goes up, meaning more connections can be used to crawl. If the site slows down or responds with server errors, the limit goes down and Google crawls less.”

Denetleyemediğiniz ikinci bir etken daha vardır: Google’ın kendi kaynakları. “Google has a lot of machines, but not infinite machines. We still need to make choices with the resources that we have.” Dolayısıyla sunucu sağlığınız Google’ın kullanmaya istekli olduğu üst sınırı belirler; ancak bu sınırın gerçekte ne kadarının kullanılacağını Google’ın kendi kapasitesi ve sitenizin tarama talebi belirler.

Mitler belgesi, sunucu sağlığı bağlantısının iki yönde de çalıştığını doğrular: “A speedy site is a sign of healthy servers, so it can get more content over the same number of connections,”; buna karşılık “a significant number of 5xx HTTP response status codes (server errors) or connection timeouts signal the opposite, and crawling slows down.”

Tarama hızı sıralamaları etkiler mi? Hayır.

Çok sayıda yanlış yönlendirilmiş çabaya neden olduğu için önce bu miti çürütelim. Arama sonuçlarında görünmek için taranmak gerekir, ancak tarama hızı bir sıralama sinyali değildir. Google bunu açıkça belirtir: “Improving your crawl rate won’t necessarily lead to better positions in Google Search results.” Daha hızlı veya daha fazla tarama, içeriğinizin daha erken keşfedilip dizine eklenmesini sağlar; daha yüksek konum sağlamaz. Tarama hızı yalnızca verimlilik ve sunucu sağlığıyla ilgili bir konudur. Evidence for this claim Improving crawl rate does not itself improve ranking positions; crawling is necessary for eligibility but is not a ranking signal. Scope: websites Confidence: high · Verified: 2026-07-15 Myths and facts about crawling

Googlebot’un tarama hızı nasıl azaltılır?

Asıl çözümden acil durum aracına doğru sıralama şöyledir:

1. Sunucuyu düzeltin (asıl çözüm). Sunucuyu hızlandırın veya kaynak ekleyin. Kapasite sınırı yanıt süresini ve hataları izlediğinden, daha sağlıklı bir sunucu taramayı rahat bir aralıkta tutmanın kalıcı yoludur ve dizine ekleme durumunuzu riske atmayan tek seçenektir.

2. Acil durum aracı — 500/503/429. Google: “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” Tarayıcıları “treat the 429 status code as a signal that the server is overloaded,” ve “5xx and 429 server errors prompt Google’s crawlers to temporarily slow down with crawling.” Gary Illyes bunun hızını somut biçimde şöyle ifade etti: “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” Mümkünse 429 kullanın; bu kod açıkça “too many requests” anlamına gelir ve bir Retry-After üstbilgisi taşıyabilir.

Buradaki önemli nokta, bunun kesinlikle geçici olmasıdır. Google: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” Uygulamayı sürdürmenin gerçek bir bedeli vardır: bu kodlar aynı URL için birkaç gün devam ederse “the URL may be dropped from Google’s index” ve Google Ads açısından “your campaigns may be cancelled or paused, and your ads may not serve.”

3. YAPMAMANIZ gerekenler. Hızı sınırlamak için 4xx kullanmayın. “The 4xx status codes, except 429, have no effect on crawl rate,” ve Google açıkça “Don’t use 401 and 403 status codes for limiting the crawl rate.” der. Google, 2023’te tam olarak bunu yapan kişiler hakkında yayımladığı özel bir yazıda şunları belirtti: “Over the last few months we noticed an uptick in website owners and some content delivery networks (CDNs) attempting to use 404 and other 4xx client errors (but not 429) to attempt to reduce Googlebot’s crawl rate. The short version of this blog post is: please don’t do that…” Ayrıca robots.txt içindeki crawl-delay yönergesini kullanmayın: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” Evidence for this claim Google's crawlers do not process the non-standard crawl-delay robots.txt rule. Scope: websites Confidence: high · Verified: 2026-07-15 Myths and facts about crawling

4. Acil olmayan durumlar için talep. Acil nitelikte olmayan ve süregelen bir sorun için “file a special request to report a problem with unusually high crawl rate, mentioning the optimal rate for your site.” Bu yöntem yavaştır ve yalnızca tek yönde çalışır (aşağıya bakın).

Tarama hızını artırabilir misiniz? Hayır, doğrudan artıramazsınız.

Manuel artış seçeneği yoktur. Google: “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” Yapabileceğiniz şey, hızı dolaylı olarak iyileştirmektir. crawl-budget guide başlıklı rehberimde tarama verimliliğini gerçekten etkileyen unsurlar şunlardır: sunucunuzu hızlandırmak veya kaynak eklemek; önemli sayfaları temiz site haritalarında tutmak; yinelenen içeriği kaldırmak; daha fazla bağlantı (dış ve iç) kazanmak; yönlendirilmiş bağlantıları düzeltmek; mümkün olduğunda POST yerine GET kullanmak ve uygun olduğunuz durumlarda Indexing API’yi kullanmak. “a speedy site… can get more content over the same number of connections” ifadesine dikkat edin; sunucu sağlığı hem azaltma hem de artırma tarafında etkili olan unsurdur.

Bingbot’un tarama hızı nasıl denetlenir?

Arama motorları arasındaki belirgin fark şudur: Google manuel denetimi kaldırırken Bing bunu korudu. Bing Webmaster Tools, Configuration altında Crawl Control özelliğini sunar. Saatlik ızgarada her saat, tarama hızını temsil eden bloklarla gösterilir; daha fazla blok daha hızlı, daha az blok daha yavaş tarama anlamına gelir. Yoğun çalışma saatlerinize göre hazırlanmış bir ön ayar seçebilir veya “Custom” seçeneğiyle gün boyunca uygulanacak kendi düzeninizi çizebilirsiniz. Bing ayrıca robots.txt içindeki crawl-delay yönergesini hâlâ uygular; Google ise aynı yönergeyi yok sayar. İki motor için temel kural şudur: Google’a sunucu yanıtlarıyla sinyal verirsiniz; Bing’de ise gerçek bir ayarınız vardır.

Search Console tarama hızı aracına ne oldu?

Artık var olmayan bir araca hâlâ çok sayıda tavsiyede atıf yapıldığı için zaman çizelgesi şöyledir:

• Aralık 2008 — Google, Webmaster Tools’da kullanıcıların tarama hızını denetleyebilmesini sağlar.
• Şubat 2023 — Google, “don’t use 403s or 404s for rate limiting.” başlıklı açıklamayı yayımlar.
• 24 Kasım 2023 — Google, Crawl Rate Limiter Tool’un kullanımdan kaldırılacağını duyurur. Illyes’in gerekçesi: “with the improvements we’ve made to our crawling logic and other tools available to publishers, its usefulness has dissipated.” Eski araç yavaştı ve neredeyse hiç kullanılmıyordu; “a much slower effect” gösteriyor, yeni sınırların taramaya uygulanması “would have taken over a day for the new limits to be applied on crawling,” ve araç “rarely,” kullanılıyordu. Kullananlar da “in many cases set the crawling speed to the bare minimum.”
• 8 Ocak 2024 — Araç kaldırılır. Google ayrıca alt sınırı düşürür: “With the deprecation of the crawl limiter tool, we’re also setting the minimum crawling speed to a lower rate, comparable to the old crawl rate limits.” Evidence for this claim Google deprecated the Search Console crawl-rate limiter and removed it on January 8, 2024. Scope: Google Search Console's legacy crawl-rate limiter. Confidence: high · Verified: 2026-07-14 Google: Crawl rate limiter deprecation

Pratik sonuç şudur: eski manuel kaydırıcının zaten >24 saatlik bir gecikmesi vardı. Günümüzde sunucu sinyallerine dayalı yaklaşım (5xx/429) Googlebot’u neredeyse anında yavaşlatır; gerçek bir acil durumda bu kesinlikle daha iyidir.

Tarama hızı nasıl izlenir?

GSC Crawl Stats report, Google’ın gerçekte ne yaptığını görmenizi sağlar: zaman içindeki toplam tarama istekleri, toplam indirme boyutu, ortalama yanıt süresi, sitenizin son ~90 gün içinde Google tarafından erişilebilirliğini gösteren host status görünümü ve yanıt kodu, dosya türü, tarama amacı ve Googlebot türüne göre dökümler. Ortalama yanıt süresini ve host-status sinyallerini izleyin. Artan yanıt süresi veya çok sayıda 5xx, Googlebot’un sizi sınırlamasına tam olarak neden olan şeydir. Bu nedenle başka bir yavaşlama nedeni aramadan önce kendi oluşturduğunuz yavaşlamayı bu raporda görebilirsiniz. Bing tarafındaki karşılıkları Crawl Control ve Bing Webmaster Tools’daki tarama bilgileridir.

Tarama hızı, tarama bütçesi ve tarama sıklığı

Bu kavramları birbirinden ayırın:

• Tarama hızı = ne kadar hızlı (arz / kapasite).
• Tarama talebi = ne kadar taramak istedikleri (popülerlik + güncelliğini yitirme).
• Tarama bütçesi = ikisinin etkileşimi; “the amount of time and resources a search engine allows for crawling a website.”
• Tarama sıklığı = belirli bir sayfanın ne kadar sık yeniden tarandığıdır; bu çoğunlukla tarama talebiyle, yani popülerlikle ve sayfanın ne kadar güncel ya da eski olduğuyla ilgilidir.

Rahatlatıcı olan ve benim sürekli vurguladığım nokta şudur: çoğu sitenin bunların hiçbiri hakkında endişelenmesi gerekmez. “Most sites don’t need to worry about crawl budget, but there are few cases where you may want to take a look”; çok sayfalı yeni siteler, çok büyük veya hızla değişen siteler ve GSC’de çok sayıda “Discovered – currently not indexed” URL’si bulunan siteler bu istisnalardandır. Bunlar sizi tanımlamıyorsa tarama hızına müdahale etmeyin ve Google’ın otomasyonunun işini yapmasına izin verin.

AI özeti

Gelişmiş sürümün kısa özeti:

• Tarama hızı = bir tarayıcının sayfaları ne kadar hızlı getirdiği; “crawl capacity limit” (paralel bağlantılar + getirme işlemleri arasındaki gecikme). Tarama bütçesinin arz tarafıdır; tarama talebi ise talep tarafıdır.
• Otomatiktir ve sunucu sağlığına tepki verir: hızlı/sağlıklı sunucu → daha yüksek sınır; yavaş yanıtlar veya 5xx/429 → Google daha az tarar. Google’ın kendi kapasitesi, denetleyemediğiniz ikinci bir üst sınırdır. Tüm Googlebot’lar tek bir tarama havuzunu paylaşır.
• GSC’nin manuel hız kaydırıcısı 8 Ocak 2024’te kaldırıldı. “Kaydırıcıyı ayarlamanızı” söyleyen tavsiyeler güncel değildir.
• Googlebot’u bugün yavaşlatmak için: sunucuyu düzeltin (en iyi seçenek) veya en fazla 1–2 gün boyunca 500/503/429 döndürün (daha uzun süre dizinden çıkarılma ve Ads’in duraklatılması riski taşır). Retry-After taşıyabildiğinden 429 kodunu tercih edin. 401/403/404 kodlarını asla kullanmayın; Google crawl-delay yönergesini yok sayar.
• Artış talep edemezsiniz. Daha hızlı sunucu, temiz site haritaları, daha az yinelenen/gereksiz URL, daha fazla iç + dış bağlantı ve uygun olduğunuz durumlarda Indexing API ile dolaylı iyileştirme yapın.
• Bing manuel denetimi korudu: Saatlik Crawl Control ızgarası + uygulanan crawl-delay.
• Tarama hızı bir sıralama faktörü değildir; “improving your crawl rate won’t necessarily lead to better positions.” Çoğu sitenin bunu yönetmesi gerekmez.

Resmî belgeler

Arama motorlarının birincil kaynak niteliğindeki belgeleri.

Google

• Reduce the Googlebot crawl rate — Temel uygulama rehberi: 500/503/429, 1–2 günlük sınır ve talep formu (hızı düşürebilir, yükseltemezsiniz).
• Crawl Budget Management — Tarama kapasitesi sınırını ve sunucu sağlığına nasıl tepki verdiğini tanımlar.
• How HTTP Status Codes Affect Google’s Crawlers — Hangi kodların taramayı yavaşlattığını (5xx/429), hangilerinin yavaşlatmadığını (429 dışındaki 4xx) açıklar.
• Myths and facts about crawling — crawl-delay işlenmez; tarama hızı ≠ sıralamalar; sunucu sağlığı taramayı etkiler.
• Upcoming deprecation of Crawl Rate Limiter Tool (Nov 2023) — Kullanımdan kaldırma duyurusu.
• Don’t use 403s or 404s for rate limiting (Feb 2023) — 4xx kodlarının neden yanlış araç olduğunu açıklar.
• New and improved crawl stats for your site (Nov 2020) — Crawl Stats report’un nasıl okunacağını açıklar.
• Optimize your crawl budget — Kapasite + talep ve buna gerçekte kimlerin ihtiyaç duyduğu.

Bing / Microsoft

• Bing Webmaster Tools — Crawl Control — Google’ın kaldırdığı, saatlik manuel tarama hızı ızgarası.
• Bingbot guidance — Güncel Bing Webmaster rehberi, 1–20 saniyelik crawl-delay değerlerini belgeler.
• bingbot Series: Optimizing Crawl Frequency (Oct 2018) — Bing’in sayfaları ne zaman yeniden getireceğine ilişkin yaklaşımı.

Kaynaktan alıntılar

Google’ın kamuya açık açıklamaları. Her bağlantı, kaynak sayfadaki alıntılanan bölüme doğrudan gider.

Google — tarama hızının ne olduğu ve neyin belirlediği

• “If the site responds quickly for a while, the limit goes up, meaning more connections can be used to crawl. If the site slows down or responds with server errors, the limit goes down and Google crawls less.” — Crawl Budget Management. Alıntıya git
• “Google has a lot of machines, but not infinite machines. We still need to make choices with the resources that we have.” Alıntıya git

Google — tarama hızı nasıl azaltılır?

• “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” — Reduce the Googlebot crawl rate. Alıntıya git
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” Alıntıya git
• “You cannot request an increase in crawl rate, and it may take several days for the request to be evaluated and fulfilled.” Alıntıya git

Google — hangi durum kodları taramayı yavaşlatır?

• “Google’s crawlers treat the 429 status code as a signal that the server is overloaded, and it’s considered a server error.” — How HTTP Status Codes Affect Google’s Crawlers. Alıntıya git
• “The 4xx status codes, except 429, have no effect on crawl rate.” / “Don’t use 401 and 403 status codes for limiting the crawl rate.” Alıntıya git

Google — crawl-delay ve sıralamalar

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” — Myths and facts about crawling. Alıntıya git
• “Improving your crawl rate won’t necessarily lead to better positions in Google Search results.” Alıntıya git

Gary Illyes, Google (tarama hızı aracının kullanımdan kaldırılması hakkında)

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” Haberi okuyun
• “with the improvements we’ve made to our crawling logic and other tools available to publishers, its usefulness has dissipated.” Haberi okuyun

Tarama hızı kontrol listeleri

Googlebot’un tarama hızını güvenle azaltma (sırayla)

• Önce tarayıcının gerçek sorun olduğunu doğrulayın; yalnızca sezginize dayanmayın, GSC Crawl Stats’i (ortalama yanıt süresi, host status) ve sunucu günlüklerinizi inceleyin.
• Temel nedeni giderin: sunucuyu hızlandırın veya kaynak ekleyin. Bu, kalıcı çözüm ve dizine eklemeyi riske atmayan tek seçenektir.
• Gerçek bir acil durum varsa tarama isteklerine 500/503/429 döndürün (Retry-After ile 429 tercih edin). Googlebot neredeyse anında yavaşlar.
• Acil durum yanıtını en fazla 1–2 gün etkin tutun; daha uzun sürmesi sayfaların dizinden çıkarılması ve Ads’in duraklatılması riskini doğurur.
• Süregelen fakat acil olmayan bir sorun için sitenizin ideal hızını belirterek Google’ın özel tarama hızı talebini gönderin.
• Bing için hızı Crawl Control üzerinden ayarlayın ve/veya robots.txt dosyasına crawl-delay ekleyin.

Bunları YAPMAYIN

• Sınırlama amacıyla 401/403/404 kullanmayın; hız üzerinde etkileri yoktur ve sayfaları kaybetme riski doğururlar.
• Google için robots.txt içindeki crawl-delay yönergesine güvenmeyin; Google bunu yok sayar (Bing uygular).
• Eski GSC tarama hızı kaydırıcısını aramayın; 8 Ocak 2024’te kaldırıldı.

Daha fazla tarama istediğinizde (zorlayamazsınız; dolaylı olarak iyileştirin)

• Sunucuyu hızlandırın / sunucuya kaynak ekleyin.
• Canonical ve dizine eklenebilir URL’leri doğru lastmod değerleriyle temiz site haritalarında tutun.
• Tarama kaynaklarını tüketen yinelenen ve düşük değerli URL’leri kaldırın.
• İç bağlantıları güçlendirin ve daha fazla dış bağlantı kazanın.
• Mümkün olduğunda POST yerine GET kullanın; uygun olduğunuz durumlarda Indexing API’yi kullanın.

Tarama hızı — kısa başvuru rehberi

Durum kodları ve Google’ın tarama hızına etkileri

Kısa bilgiler

• Tarama hızı = ne kadar hızlı (arz); tarama talebi = ne kadar taramak istedikleri (talep); tarama bütçesi = ikisinin birleşimi.
• Google’ın terimi: crawl capacity limit — paralel bağlantılar + getirme işlemleri arasındaki gecikme. Otomatiktir ve sunucu sağlığını izler.
• Acil durum 5xx/429 aralığı: en fazla 1–2 gün; daha uzun süre dizinden çıkarılma + Ads’in duraklatılması riski taşır.
• Manuel artış yoktur; Google’dan yalnızca düşürmesini isteyebilirsiniz, yükseltmesini isteyemezsiniz.
• Manuel GSC tarama hızı kaydırıcısı: 8 Ocak 2024’te kaldırıldı (24 Kasım 2023’te duyuruldu).
• Tüm Googlebot’lar tek bir tarama havuzunu paylaşır (arama, görseller, reklamlar vb.).
• Tarama hızı bir sıralama faktörü değildir.
• Bing’deki karşılığı: Crawl Control ızgarası + uygulanan crawl-delay.

Googlebot’a geçici olarak yavaşlamasını bildirme

Bu yalnızca acil durum aracıdır: tarayıcıya 200 yerine Retry-After üstbilgisiyle bir 503 (veya 429) döndürün. Google bunu neredeyse anında “yavaşla” sinyali olarak yorumlar. En fazla bir ya da iki gün etkin tutun; daha uzun sürerse etkilenen URL’ler dizinden çıkarılabilir (ve bunlara yönlendiren Google Ads reklamları duraklatılabilir). Doğru uzun vadeli çözüm, kalıcı hata yanıtı değil daha hızlı ve sağlıklı bir sunucudur.

Apache (.htaccess) — Retry-After ile 503 döndürme

# Emergency only — remove within 1–2 days.
# Sends Googlebot a "slow down / try later" signal.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot|bingbot) [NC]
RewriteRule ^ - [R=503,L]
Header always set Retry-After "3600"
ErrorDocument 503 "Server temporarily overloaded — please retry later."

Nginx — tarayıcılar için Retry-After ile 503 döndürme

# Emergency only — remove within 1–2 days.
if ($http_user_agent ~* (Googlebot|bingbot)) {
    return 503;
}
# Send a Retry-After hint with the 503 response.
add_header Retry-After 3600 always;

Express / Node.js — Retry-After ile 429 Too Many Requests

// Emergency only — remove within 1–2 days.
// 429 explicitly means "too many requests" and carries a Retry-After.
app.use((req, res, next) => {
  const ua = req.get("user-agent") || "";
  if (/Googlebot|bingbot/i.test(ua)) {
    res.set("Retry-After", "3600"); // seconds
    return res.status(429).send("Too many requests — please retry later.");
  }
  next();
});

Hatırlatma: Bu yalnızca taramayı geçici olarak yavaşlatır. Dizine eklemeyi duraklatmanın veya engellemenin bir yolu değildir ve sunucu kapasitesini düzeltmenin yerini tutmaz.

Tarama hızını görüntüleme ve denetleme araçları

• Google Search Console — Crawl Stats report — Google’ın görünümü: zaman içindeki toplam tarama istekleri, toplam indirme boyutu, ortalama yanıt süresi, host status (sitenin ~90 gün boyunca Google tarafından erişilebilirliği) ve yanıt kodu, dosya türü, tarama amacı ve Googlebot türüne göre dökümler. Sınırlamayı burada görürsünüz.
• Bing Webmaster Tools — Crawl Control — Bingbot’un hızını günün saatine göre ayarlayan manuel saatlik ızgara (ön ayarlar veya özel çizim). Google’ın kaldırdığı manuel araçtır.
• robots.txt crawl-delay — Bing (ve bazı diğer motorlar) uygular, Google yok sayar. Bing için yararlı, Google için yararsızdır.
• Sunucu günlük dosyası analizi — Botların size gerçekte ne kadar hızlı istek gönderdiğini ve hangi durum kodlarını aldığını gösteren kesin kaynaktır. (Bkz. log file analysis.)
• Site denetimleri / tarayıcılar — Taramayı boşa harcayan yinelenen, parametreli ve tuzak niteliğindeki URL’leri bulmak için Ahrefs Site Audit ve Screaming Frog SEO Spider.

Tarama hızı konusunda ne yapmalısınız?

Olay müdahale planı: Tarayıcı trafiği origin’i aşırı yüklüyor

1. Botu doğrulayın. Kaynak IP’nin iddia edilen tarayıcıya ait olduğunu doğrulayın. Değilse taklitçiyi normal güvenlik denetimleriyle engelleyin veya hızını sınırlayın.
2. Etkiyi ölçün. Tarayıcı isteklerini gecikme, doygunluk, zaman aşımları ve 5xx yanıtlarıyla ilişkilendirin. Örtüşmüyorlarsa gerçek yük kaynağını araştırın.
3. Erişilebilirliği koruyun. Yalnızca gerekli trafiği azaltın; geçici bir Googlebot acil durumunda 403 veya 404 değil, 429 veya 503 kullanın.
4. Yoğun kalıpları bulun. İstekleri dizin, parametreler, yanıt kodu ve bayt miktarına göre gruplayın. Kontrolden çıkan bir URL alanı baskınsa bağlantılarını veya oluşturma kurallarını düzeltin.
5. Nedeni giderin. Kapasiteyi artırın, güvenli yanıtları önbelleğe alın, tarayıcı tuzaklarını kaldırın veya ilgili tarayıcının desteklediği denetimleri kullanın.
6. Geri yükleyin ve doğrulayın. Geçici sınırlamayı kaldırın; ardından kullanıcı gecikmesinin ve tarayıcı hata oranlarının sitenin temel düzeyine döndüğünü doğrulayın.

Tarama hızı hataları

• Googlebot için crawl-delay kullanmak. Google bunu yok sayar. Geçici 429/503 yanıtlarını yalnızca acil durumda kullanın ve altta yatan yük sorununu düzeltin.
• Googlebot’u yavaşlatmak için 403 veya 404 döndürmek. Bu durum kodları geçici aşırı yükü değil, erişim engelini veya kaynağın bulunmadığını bildirir. Doğru geçici sinyali kullanın.
• Kalıcı bir artışı zorlamaya çalışmak. Kullanımdan kaldırılan Search Console kaydırıcısı artık yoktur ve daha fazla tarama sıralamaları iyileştirmez. Sunucu sağlığını ve talep sinyallerini iyileştirin.
• User-agent dizesine güvenmek. Taklitçiler Googlebot olduklarını iddia edebilir. Site davranışını değiştirmeden önce IP’yi doğrulayın.
• Acil durum sınırlamasını etkin bırakmak. Uzun süren hatalar taramaya ve dizine eklemeye zarar verebilir. Dağıtımdan önce bir sorumlu ve kaldırma koşulu belirleyin.

Doğrula → koru → onar çerçevesi

• Doğrula: Trafiğin gerçek bir tarayıcıdan geldiğini ve sunucuya verilen zararla ilişkili olduğunu kanıtlayın.
• Koru: Kullanıcı erişilebilirliğini koruyan ve doğru HTTP anlamını ileten, kapsamı en dar geçici denetimi kullanın.
• Onar: Kapasite darboğazını veya kontrolden çıkan URL alanını giderin ve ardından geçici denetimi kaldırın.

Tarama hızını tarama talebinden ayrı tutun: sağlıklı bir sunucu kapasite üst sınırını yükseltebilir, ancak bir arama motorunu daha fazla URL taramak istemeye zorlayamaz.

Tarama hızı müdahalesinin işe yaradığını kanıtlama

Geçici sınırlama yanıtı

Çalıştırılacak test: Sınırlandırılmış bir test URL’sine curl -I ile istek gönderin. Beklenen sonuç: Planlanan 429 veya 503 yalnızca olay sırasında görünür ve normal URL’ler erişilebilir kalır. Başarısızlığın yorumu: Kuralın kapsamı yanlıştır veya yanlış durum kodu döndürülmektedir. İzleme aralığı: Anında. Geri alma tetikleyicisi: Kullanıcılar veya ilgisiz botlar beklenmedik biçimde sınırlama yanıtı alır.

Sınırlama kaldırıldıktan sonra toparlanma

Çalıştırılacak test: Üstbilgi denetimlerini tekrarlayın; sunucu ve erişim günlüklerini izleyin. Beklenen sonuç: Normal 200 yanıtları geri gelir, tarayıcı hataları azalır ve kullanıcı gecikmesi temel düzeyde kalır. Başarısızlığın yorumu: Geçici kural hâlâ etkindir veya kapasite sorunu devam etmektedir. İzleme aralığı: HTTP davranışı için anında; sonraki normal tarama aralığı boyunca sürdürün. Geri alma tetikleyicisi: Doygunluğun veya 5xx hatalarının yeniden görülmesi olay planına dönmeyi gerektirir.

URL alanı onarımı

Çalıştırılacak test: Aşırı isteklere neden olan parametre veya yol kalıbını tarayın ve günlüklerde denetleyin. Beklenen sonuç: Yeni tuzak URL’ler artık oluşturulmaz veya bağlantılanmaz; değerli URL’ler erişilebilir kalır. Başarısızlığın yorumu: Başka bir keşif yolu kalıbı hâlâ açığa çıkarmaktadır. İzleme aralığı: Eşdeğer günlük aralıklarını karşılaştırın. Geri alma tetikleyicisi: Değerli sayfalar veya gerekli kaynaklar erişilemez hâle gelir.

Tarama hızı sağlığı ölçümleri

Doğrulanmış tarayıcı istek hızı

Ölçüm: Doğrulanmış tarayıcı IP’lerinden zaman birimi başına gelen istekler. Size ne söyler: Gerçek tarayıcı temposunu. Nasıl alınır: Bot doğrulamasından sonra erişim günlüklerinden. Karşılaştırma ölçütü / gerçekçi aralık: Tarayıcıya ve trafik dönemine göre bir temel düzey oluşturun; evrensel bir güvenli hız yoktur. Sıklık: Olaylar sırasında günlük, diğer zamanlarda aylık.

Tarayıcıyla ilişkili hata ve gecikme oranı

Ölçüm: Tarayıcı etkinliği sırasındaki 5xx/zaman aşımı sayıları ve origin gecikmesi. Size ne söyler: Hızın kapasiteyi aşıp aşmadığını. Nasıl alınır: Sunucu telemetrisini tarayıcı günlüğü zaman damgalarıyla hizalayın. Karşılaştırma ölçütü / gerçekçi aralık: Sitenin olay dışındaki normal temel düzeyini ve kapasite hedeflerini kullanın. Sıklık: Kritik siteler için sürekli uyarı.

Yararlı istek payı

Ölçüm: Değerli 200 sayfalarına gelen doğrulanmış tarayıcı isteklerinin yönlendirmelere, hatalara ve bilinen tuzak URL’lere oranı. Size ne söyler: Kapasitenin verimli kullanılıp kullanılmadığını. Nasıl alınır: Günlük URL’lerini ve durum kodlarını sınıflandırın. Karşılaştırma ölçütü / gerçekçi aralık: Eğilimi sitenin kendi envanteriyle karşılaştırın; evrensel bir hedef kullanmayın. Sıklık: Aylık.

Kendinizi sınayın: Tarama hızı

Zaman ayırmaya değer kaynaklar

İlgili yazılarım

• When Should You Worry About Crawl Budget? — Tarama bütçesinin bir yarısı olarak tarama hızı ve hızı azaltma/artırma yolları.
• What Is Googlebot & How Does It Work? — Googlebot’un neyi ve ne kadar hızlı tarayacağına nasıl karar verdiği (ve “change crawl rate” seçeneğinin artık neden kullanımdan kaldırıldığı).
• The Beginner’s Guide to Technical SEO — Taramanın ve tarama hızının genel çerçevedeki yeri.

Konuşmalarım

• How Search Works (SlideShare) — Tarama hızı sınırını “what your site can support” olarak tanımladığım ve tüm Googlebot’ların tek bir tarama havuzunu paylaştığını belirttiğim sunum. (Sürekli geçerli açıklama: “This is my understanding of systems… not going to be 100% complete or accurate.”)

Diğer kaynaklar

• Search Engine Land — Googlebot crawl rate tool is going away ve the tool is now gone — Illyes’in gerekçesiyle birlikte kullanımdan kaldırma süreci.
• Google’ın Crawling December serisi — Resmî tarama açıklamalarının en iyi derli toplu koleksiyonu.
• Search Engine Journal — Google Removing Crawl Rate Limiter Tool From Search Console — Roger Montti’nin Kasım 2023 tarihli kullanımdan kaldırma duyurusunu ve otomatik belirlenen yeni asgari tarama hızı ayrıntısını aktardığı haber.
• Search Engine Journal — Don’t Use 403/400 Error Responses For Rate Limiting Googlebot — Google’ın taramayı sınırlamak için 4xx kullanılmaması yönündeki Şubat 2023 tarihli blog yazısını ele alır.
• Bing Webmaster Blog — bingbot Series: Optimizing Crawl Frequency — Bingbot’un sayfaları ne zaman ve nasıl yeniden getireceğine karar verdiğini Bing’in kendi açıklamasıyla anlatır; Google’ın otomatik yaklaşımına yararlı bir karşılaştırmadır.
• Bing Webmaster Blog — Getting most of Bingbot via Bing Webmaster Tools — Bingbot’un tarama hızını yönetmek için Crawl Control ve diğer BWT ayarlarının nasıl kullanılacağını açıklar.

Değişiklik günlüğü