Tarama Gecikmesi

TL;DR — Crawl-delay, botlardan yavaşlamalarını, yani sayfaları getirme işlemleri arasında birkaç saniye beklemelerini istemek için robots.txt dosyanıza ekleyebileceğiniz bir satırdır. Bilmeniz gereken en önemli nokta şudur: Google bunu yok sayar (2019’dan beri). Bing ise hâlâ uygular. Googlebot’un sunucunuzu aşırı yüklemesini engellemeye çalışıyorsanız crawl-delay işe yaramaz; farklı bir yaklaşım kullanın (aşağıda açıklanmıştır).

Crawl-delay nedir?

Crawl-delay, bir tarayıcıdan istekler arasında belirli bir saniye beklemesini isteyen ve böylece sayfalarınızı sunucunuzu yavaşlatacak kadar hızlı getirmesini önleyen, robots.txt dosyanıza eklediğiniz bir satırdır. Şöyle görünür:

User-agent: *
Crawl-delay: 10

Bu, kabaca “tüm botlar, lütfen sayfa getirme işlemleri arasında bekleyin” demektir.

En önemli nokta: Google bunu yok sayar

İnsanların kafasını karıştıran nokta budur. Google, crawl-delay direktifini uygulamaz. Direktifi işlemeyi 1 Eylül 2019’da bıraktı; üstelik bundan önce de direktifi hiçbir zaman resmî olarak desteklememişti. Dolayısıyla Googlebot’u yavaşlatmak umuduyla robots.txt dosyanıza crawl-delay eklediyseniz bunun hiçbir etkisi olmaz. Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

Bing farklıdır: Bing, crawl-delay direktifini uygular. Diğer bazı tarayıcılar da uygular (bu konu hakkında daha fazla bilgi Gelişmiş sekmesindedir).

Google’ı yavaşlatmaya çalışıyorsanız

crawl-delay kullanmayın. Bunun yerine:

• Uzun vadede en iyi çözüm: Sunucunuzu, tarama yükünü kaldırabilecek şekilde düzeltin veya yükseltin.
• Yalnızca acil durumlarda: Sunucunuzun Googlebot’a 503 veya 429 durum kodu döndürmesini sağlayın. Google bunları neredeyse anında “yavaşla” sinyali olarak yorumlar. Bunu yalnızca bir veya iki gün uygulayın; daha uzun sürerse Google sayfaları dizinden çıkarmaya başlayabilir.
• Tarama hızını düşürmeye çalışırken asla 403 veya 404 kullanmayın; bunlar tarama hızını etkilemez. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate

Bing’i yavaşlatmaya çalışıyorsanız

Bing, crawl-delay direktifine uyar; ancak Bing’in tercih ettiği kendi aracı, Bing Webmaster Tools içindeki Crawl Control özelliğidir. Bu özellik, tarama hızını günün saatlerine göre ayarladığınız bir ızgara sunar. Daha hassas olduğu için önce onu kullanın.

Geçmişi, Yandex’in 2018’de neden desteği bıraktığını ve hangi AI botlarının bu direktife uyduğunu öğrenmek istiyorsanız Gelişmiş sekmesine geçin.

TL;DR — Crawl-delay, botların hızını sınırlamaya yönelik, resmî olmayan bir robots.txt direktifiydi; hiçbir zaman resmî standarda (RFC 9309) dâhil edilmedi. Google, 1 Eylül 2019’da bu direktifi kullanımdan kaldırdı ve açıkça işlemez. Googlebot’u crawl-delay ile değil, 429/503 kullanarak (en fazla 1-2 gün) veya sunucuyu düzelterek yavaşlatın. Bing’in güncel kılavuzu 1–20 saniye arasındaki değerleri belgelendirir. Yandex, 22 Şubat 2018’de desteği bıraktı; direktif orada da uygulanmaz. Yandex artık Yandex Webmaster içindeki bir tarama hızı ayarını kullanır. Birçok SEO tarayıcısı (AhrefsBot, Semrush) ve bazı AI botları (ClaudeBot) da direktife uyar. Geriye kalan tek gerçek kullanım alanı, Google, Bing ve Yandex dışındaki botları denetlemektir. Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

Crawl-delay neden var?

Crawl-delay bir hız sınırlama mekanizmasıdır. Fikir basittir: Sayfaları art arda getiren agresif bir tarayıcı, özellikle küçük veya yavaş bir sunucuya ciddi yük bindirebilir. Crawl-delay, botlardan istekler arasında birkaç saniye beklemelerini isteyen bir nezaket mekanizmasıydı; böylece sunucunuz yüke ayak uydurabilirdi. robots.txt dosyasında, disallow ve allow satırlarınızla aynı yerde, bir User-agent grubunun içinde bulunur. (Dosyanın tamamı için robots-txt bölümüne bakın.)

Ancak hiçbir zaman standartlaştırılmadı. Robots Exclusion Protocol nihayet 2022’de RFC 9309 olarak resmîleştirildi ve crawl-delay bu standartta yer almadı. Bu, farklı tarayıcıların uygulamayı veya uygulamamayı seçtiği ve kendi yöntemleriyle yorumladığı, resmî olmayan bir uzantı olarak kaldı. Google’ın bundan vazgeçmesinin nedeni tam olarak bu tutarsızlıktı.

Google, 1 Eylül 2019’da desteği sonlandırdı

Gary Illyes, 2 Temmuz 2019’da Google Search Central’da A note on unsupported rules in robots.txt başlıklı yazıyı yayımladı. Google, robots.txt ayrıştırıcısını açık kaynak hâle getiriyor ve bunun bir parçası olarak internet taslağında hiçbir zaman yer almamış kuralları, özellikle noindex, nofollow ve crawl-delay direktiflerini işleyen tüm kodları kullanımdan kaldırıyordu. Değişiklik 1 Eylül 2019 tarihinde yürürlüğe girdi.

Google’ın gerekçesi şuydu: Bu kurallar belgelenmemiş, resmî olmayan ve tarayıcılar tarafından tutarsız biçimde yorumlanan kurallardı; dolayısıyla belirsizliğe yol açıyordu. Güncel robots.txt belgeleri artık açıktır: Google dört alanı (user-agent, allow, disallow ve sitemap) destekler ve belgelerde “other fields such as crawl-delay aren’t supported.” ifadesi yer alır. Google’ın Myths and facts about crawling sayfasında da şu ifade tekrarlanır: “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” Evidence for this claim Google does not support or process the non-standard crawl-delay robots.txt field. Scope: Google crawlers; other crawlers may support the field. Confidence: high · Verified: 2026-07-14 Google: robots.txt specifications

Kapsam konusunda açık olmakta yarar var: Direktif, hangi user-agent grubuna koyarsanız koyun yok sayılır. Crawl-delay satırı içeren bir User-agent: Googlebot bloğu da User-agent: * altındaki bir satır kadar yok sayılır.

Google için bunun yerine ne kullanılmalı?

Google’ın tarama hızı artık tamamen otomatiktir ve sunucunuzun durumuna göre ayarlanır. Search Console’daki eski manuel tarama hızı kaydırıcısı da 8 Ocak 2024’te kaldırıldı (bu değişiklik önceki kasım ayında duyurulmuştu). Bu nedenle Googlebot’un gerçekten geri çekilmesini sağlamanız gerektiğinde üç seçeneğiniz vardır:

1. Sunucuyu düzeltin. Gerçek çözüm budur. Sunucunuz yükü kaldırabiliyorsa hiçbir şeyi sınırlamanız gerekmez.
2. Acil durumlarda 429, 500 veya 503 döndürün. Google’ın Reduce the Googlebot crawl rate belgelerinde, tarama isteklerine 200 yerine “return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” denir. Googlebot bunları neredeyse anında “slow down” sinyali olarak yorumlar. Kesin kural şudur: “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” Uzun süre devam eden 5xx yanıtları, sayfaların dizinden çıkarılmasına (ve Google Ads’in duraklatılmasına) yol açabilir.
3. Kalıcı bir sorun için Search Console üzerinden tarama hızını azaltma isteği gönderin. Bu işlem yavaştır ve hızı yalnızca azaltabilir, asla artıramaz. Evidence for this claim Google recommends temporarily returning 500, 503, or 429 to reduce crawl rate and warns against doing so for longer than one or two days. Scope: Temporary Googlebot overload response, not routine crawl management. Confidence: high · Verified: 2026-07-14 Google: Reduce Googlebot crawl rate

Kaçınmanız gereken bir tuzak vardır: Hızı sınırlamak için 401, 403 veya 404 kullanmayın. Google’ın HTTP status codes guide belgesine göre “the 4xx status codes, except 429, have no effect on crawl rate,” ve tarama hızını sınırlamak için “use 401 and 403 status codes for limiting the crawl rate.” yapmamalısınız.

Bu nedenle crawl-rate guide yazımda crawl-delay direktifini Google için kullanılmaması gereken yöntem olarak ele alıyorum. Hızı artırma ve azaltma yöntemlerinin tamamı için o makaleye bakın.

Bing, 1–20 saniyelik bir aralığı belgelendiriyor

Güncel Bing Webmaster kılavuzu, 1–20 saniye arasındaki crawl-delay değerlerini belgelendirir. Bu, alanı farklı sistemlerde geçerli bir standart hâline getirmez: Google bunu yok sayar ve diğer her tarayıcı için kendi belgelerinden doğrulama gerekir.

Yandex, 2018’de desteği bıraktı

Yandex eskiden crawl-delay direktifini istekler arasındaki asgari saniye sayısı olarak uyguluyordu. Çoğu SEO blogunda hâlâ tekrarlanan bilgi budur, ancak artık güncel değildir. Yandex’in kendi güncel belgeleri açıkça şöyle der: “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive.” Yandex botlarının artık sitenizi ne hızda tarayacağını ayarlamak için robots.txt yerine doğrudan Yandex Webmaster içindeki tarama hızı ayarını kullanırsınız. Dolayısıyla günümüzdeki doğru durum şudur: Bing, belgelenen aralığında crawl-delay direktifini uygular; Google hiçbir zaman uygulamadı; Yandex ise eskiden uyguluyordu ancak 2018’de bıraktı. Evidence for this claim Yandex stopped honoring the Crawl-delay directive on February 22, 2018, and now recommends setting crawl rate inside Yandex Webmaster instead. Scope: Yandex's crawler only; does not apply to Google, Bing, or other crawlers. Confidence: high · Verified: 2026-07-18 Yandex Webmaster: The Crawl-delay directive

Diğer tarayıcılar: SEO araçları ve AI botları

Arama motoru olmayan, kurallara uygun çalışan birçok tarayıcı crawl-delay direktifini nezaket gereği uygular:

• AhrefsBot ve Semrush’ın botu bu direktife uyar.
• AI tarayıcıları daha yeni bir hedef kitledir. Anthropic’in ClaudeBot botunun standart dışı crawl-delay direktifini desteklediği belgelenmiştir. Diğerleri (GPTBot, Perplexity) için varsayımda bulunmak yerine yayımladıkları belgeler kontrol edilmelidir.

Genel eğilim şudur: Daha küçük, uyumluluk odaklı veya nezaket kurallarını gözeten tarayıcılar crawl-delay direktifine uyma eğilimindedir. Büyük arama motorlarıysa büyük ölçüde dâhilî sinyallere (Google) veya daha gelişmiş manuel araçlara (Bing) geçmiştir. Bunların hiçbiri gerçek kötü niyetli aktörleri bağlamaz; robots.txt dosyasını tamamen yok sayan veri kazıyıcılar crawl-delay direktifinizi de yok sayar.

Geriye kalan kullanım alanı

Peki crawl-delay artık ölü mü? Tam olarak değil. Google için işe yaramaz, Bing için en iyi ihtimalle gereksizdir (Crawl Control kullanın); ancak buna uyan geniş orta kesimden, yani SEO araçlarından, AI botlarından ve diğer küçük tarayıcılardan yavaşlamalarını istemenin gerçekten en basit yoludur. Belirli bir aracın botu sunucunuzu aşırı yüklüyorsa o bota yönelik bir User-agent: grubu ile crawl-delay kullanmak makul bir ilk adımdır:

User-agent: SomeBot
Crawl-delay: 10

Bunun bir garanti değil, istek olduğunu ve robots.txt içindeki diğer her şey gibi ana makine ve user-agent grubu bazında geçerli olduğunu unutmayın. Daha geniş verimlilik tablosu, yani botların size gerçekte neye mal olduğu ve kimlerin bunu önemsemesi gerektiği için crawl-budget bölümüne bakın.

AI özeti

Gelişmiş sürümün kısa özeti:

• Nedir? Crawl-delay, sunucu yükünü azaltmak için botlardan getirme işlemleri arasında belirli bir saniye beklemelerini isteyen, standart dışı bir robots.txt direktifidir. Resmî standarda hiçbir zaman dâhil edilmedi (RFC 9309, 2022).
• Google bunu yok sayar. Direktif 1 Eylül 2019’da kullanımdan kaldırıldı (Gary Illyes’in 2019 tarihli yazısı); güncel belgelerde “other fields such as crawl-delay aren’t supported.” ifadesi yer alır. Hangi user-agent grubunda olduğuna bakılmaksızın yok sayılır.
• Google’ı bunun yerine şu yollarla yavaşlatın: Sunucuyu düzeltin (en iyi seçenek) veya yalnızca acil durumlarda 429/500/503 döndürün (en fazla 1-2 gün; daha uzun süre dizinden çıkarılma riski yaratır). Googlebot’un tarama hızını düşürmek için 401/403/404 kodlarına başvurmayın. GSC’nin manuel tarama hızı kaydırıcısı 8 Ocak 2024’te kaldırıldı.
• Bing, 1–20 saniyelik değerleri belgelendirir. Bunu farklı sistemlere taşınabilen bir robots.txt standardı değil, Bing’e özgü bir kılavuz olarak değerlendirin.
• Yandex, 22 Şubat 2018’de desteği bıraktı. Değeri saniye cinsinden tam süre olarak okuduğunu belirten eski tavsiyeler güncel değildir; Yandex artık bunun yerine Yandex Webmaster içindeki tarama hızı ayarını kullanır.
• Diğer tarayıcılar: AhrefsBot ve Semrush direktife uyar; Anthropic’in ClaudeBot botunun bunu desteklediği belgelenmiştir. Kötü niyetli veri kazıyıcılar robots.txt dosyasını tamamen yok sayar.
• Kalan kullanım alanı: Google, Bing ve Yandex dışındaki tarayıcıları (SEO araçları, AI botları) hedeflenmiş bir User-agent: grubuyla denetlemek.

Resmî belgeler

crawl-delay ve alternatifleri hakkındaki birincil kaynak belgeler.

Google

• robots.txt documentation — desteklenen dört alanı listeler ve crawl-delay direktifinin desteklenmediğini belirtir.
• A note on unsupported rules in robots.txt (July 2, 2019) — noindex, nofollow ve crawl-delay direktiflerini kapsayan, 1 Eylül 2019’da yürürlüğe giren kullanımdan kaldırma duyurusu.
• Myths and facts about crawling — “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.”
• Reduce the Googlebot crawl rate — bunun yerine kullanılacak yöntemleri, yani 429/500/503 kodlarını ve 1-2 günlük sınırı açıklar.
• How HTTP Status Codes Affect Google’s Crawlers — 429 dışındaki 4xx kodlarının neden hızı sınırlamadığını açıklar.
• Upcoming deprecation of the Crawl Rate Limiter Tool (Nov 2023) — GSC kaydırıcısının kaldırılması.

Bing / Microsoft

• Bingbot guidance — güncel Bing Webmaster kılavuzu 1–20 saniye arasındaki değerleri belgelendirir.
• Bing Webmaster Tools — Crawl Control — Bing için crawl-delay yerine tercih edilen alternatif.

Yandex

• Yandex Webmaster — The Crawl-delay directive — Yandex’in 22 Şubat 2018’den beri direktifi uygulamadığını belirtir ve bunun yerine Yandex Webmaster’daki tarama hızı ayarını gösterir.

Standart

• RFC 9309: Robots Exclusion Protocol — crawl-delay direktifini içermeyen resmîleştirilmiş standart.

Kaynaktan alıntılar

Google ve Bing’in kamuya açık açıklamaları. Desteklendiği durumlarda her bağlantı, kaynak sayfadaki alıntılanan bölüme doğrudan gider.

Google — crawl-delay işlenmez

• “The non-standard ‘crawl-delay’ robots.txt rule is not processed by Google’s crawlers.” — Google Search Central belgeleri. Alıntıya git
• “Google supports the following fields … (other fields such as crawl-delay aren’t supported).” — robots.txt belgeleri. Alıntıya git

Google — bunun yerine ne kullanılmalı?

• “To quickly reduce the crawl rate, you can return 500, 503, or 429 HTTP response status code instead of 200 to the crawl requests.” — Reduce the Googlebot crawl rate. Alıntıya git
• “We don’t recommend that you do this for a long period of time (meaning, longer than 1-2 days).” — Reduce the Googlebot crawl rate. Alıntıya git

Gary Illyes, Google (GSC tarama hızı aracının kullanımdan kaldırılması hakkında, Kasım 2023)

• “if the server persistently returns HTTP 500 status codes for a range of URLs, Googlebot will automatically, and almost immediately slow down crawling.” Ayrıca aracın “usefulness has dissipated.” olduğunu ekledi. Bu sözler, Search Engine Land’in kullanımdan kaldırma yazısıyla ilgili haberinden aktarılmıştır: haberi okuyun. Kesin bilgi olarak değerlendirmeden önce Google’ın özgün yazısıyla doğrulayın.

Bing / Microsoft

• Current Bingbot guidance, 1–20 saniye arasındaki crawl-delay değerlerini belgelendirir. Bu, genel bir REP kuralı değil, Bing’e özgü bir kılavuzdur.

Yandex (güncel Webmaster belgeleri)

• “From February 22, 2018, Yandex doesn’t take into account the Crawl-delay directive. To set the rate at which the indexing bots should access your site’s pages, use the site crawl rate setting in Yandex Webmaster.” — Yandex Webmaster: The Crawl-delay directive

Crawl-delay karar kontrol listesi

Yavaşlatmaya çalıştığınız bota göre listede ilerleyin:

• robots.txt dosyanızı denetleyin. Dosyada zaten bir crawl-delay satırı var mı? Hangi User-agent gruplarında bulunduğunu ve gerçekte hangi botları yavaşlatmak istediğinizi not edin.
• Google için eklenmişse: Satırı kaldırın (veya başka botları bilinçli olarak hedeflediğini belgeleyin). Googlebot üzerinde hiçbir etkisi yoktur.
• Google’ı yavaşlatmaya mı çalışıyorsunuz? Önce sunucuyu düzeltin. Gerçek bir acil durumda 429/503 döndürün; bunu en fazla 1-2 gün uygulayın. Hız sınırlamak için asla 401/403/404 kullanmayın. Kalıcı bir sorun için Search Console’dan tarama hızı isteği gönderin.
• Bing’i yavaşlatmaya mı çalışıyorsunuz? Önce Bing Webmaster Tools içindeki Crawl Control özelliğini kullanın. crawl-delay kullanırsanız değeri 10 veya altında tutun ve bir bingbot bölümü bulunsa bile * grubundaki değerin geçerli olduğunu unutmayın.
• Başka bir tarayıcıyı (SEO aracı, AI botu vb.) yavaşlatmaya mı çalışıyorsunuz? O botu hedefleyen bir User-agent: grubuna crawl-delay ekleyin. Tarayıcı direktifi uyguluyorsa bu yardımcı olur (çoğu uygular).
• Hedef botunuz için değerin anlamını doğrulayın: Bing bunu göreli bir hız sınırlama katsayısı olarak okur. Yandex eskiden tam saniye olarak okurdu, ancak 22 Şubat 2018’de direktifi tamamen uygulamayı bıraktı. Yandex için bunun yerine Yandex Webmaster tarama hızı ayarını kullanın.
• Veri kazıyıcıların veya kötü niyetli aktörlerin kurala uymasını beklemeyin: Bunlar robots.txt dosyasını tamamen yok sayar. crawl-delay yalnızca kurallara uygun çalışan botlara yöneliktir.

Crawl-delay başvuru özeti

crawl-delay direktifini kim uygular?

Bing hız sınırlama ölçeği

Motora göre kullanılacak alternatif

Yapmayın

• Google veya Yandex’i etkilemesini bekleyerek crawl-delay kullanmayın.
• Googlebot’u yavaşlatmak için 401/403/404 kullanmayın (etkileri yoktur; 4xx kodları arasında yalnızca 429 etkilidir).
• Bing değerlerini 10’un üzerine ayarlamayın.

Bir tarayıcıyı nasıl yavaşlatmalısınız?

Crawl-delay çalışmaları için araçlar

• robots.txt Tester, hangi user-agent grubu ile kuralın geçerli olduğunu denetler. crawl-delay desteği tarayıcıya özgü olsa da kapsam hatalarını yakalamaya yardımcı olur.
• robots.txt Generator, tüm tarayıcılara genel bir gecikme uygulamak yerine ayrı bot grupları oluşturmanıza yardımcı olur.
• Log File Analyzer, bir değişiklikten sonra gerçekte oluşan istek hızını gösterir ve arama tarayıcılarını sahte user-agent kimliklerinden ayırır.
• Googlebot Verifier, yük oluşturan IP’nin gerçekten iddia ettiği tarayıcıya ait olup olmadığını doğrular.

Zaman ayırmaya değer kaynaklar

İlgili yazılarım

• Robots.txt and SEO: Everything You Need to Know — crawl-delay direktifinin neden bir Google direktifi olmadığını da içeren kapsamlı robots.txt açıklaması.
• The Beginner’s Guide to Technical SEO — tarama denetimlerinin genel çerçevedeki yerini açıklar.
• Indexed, though blocked by robots.txt — robots.txt dosyasının dizine eklemeyi değil, taramayı denetlediğini hatırlatır.

Konuşmam

• How Search Works (SlideShare) — tarama, oluşturma, dizine ekleme ve sıralama süreçlerini anlattığım sunum. (Genel sorumluluk reddi geçerlidir: “This is my understanding of systems… not going to be 100% complete or accurate.”)

Sektörden kaynaklar

• A note on unsupported rules in robots.txt (Google Search Central) — 2019’daki özgün kullanımdan kaldırma duyurusu.
• Bingbot guidance — güncel Bing Webmaster kılavuzu 1–20 saniyelik değerleri belgelendirir.
• Google To Drop Support For crawl-delay, nofollow, and noindex in robots.txt (Search Engine Roundtable) — 2019’daki değişikliğe ilişkin haber.
• Google removes support for crawl-delay, nofollow, and noindex rules in robots.txt (Coywolf) — kullanımdan kaldırmayla ilgili ek bağlam.
• Googlebot crawl rate tool in Search Console is going away (Search Engine Land) — Gary Illyes’in alternatiflerin daha iyi olduğuna ilişkin sözleri.
• Crawl-delay: 10 in robots.txt: what does it mean? (Conductor) — direktif hakkında yaygın olarak kaynak gösterilen bir açıklama.

Kendinizi sınayın: Crawl Delay

Crawl-delay direktifi hakkında beş kısa soru. Her soru için bir yanıt seçin, ardından kontrol edin.

Değişiklik günlüğü