Googlebot: Google'ın Tarayıcısı

TL;DR — Googlebot, sayfalarınızı ziyaret eden, onları indiren ve Google’ın dizine ekleyip sıralayabilmesi için ileten Google web tarayıcısıdır. İki türü vardır (biri akıllı telefon, diğeri masaüstü için) ve işin çoğunu akıllı telefon olan yapar. Taranmak aramada görünmenin koşuludur — ancak daha fazla taranmak sıralamanızı yükseltmez.

Googlebot nedir?

Google web’e sizin baktığınız gibi bakmaz. Sayfaları ziyaret eden, içeriği indiren ve daha fazla sayfa bulmak için bağlantıları izleyen otomatik bir program — bir tarayıcı veya bot — gönderir. Bu programın adı Googlebot’tur. (Bing’in karşılığı Bingbot’tur.)

Bunu Googlebot hakkındaki Ahrefs rehberimde basitçe şöyle açıklıyorum: “Googlebot is the web crawler used by Google to gather the information needed and build a searchable index of the web.” Google’ın arama sonuçlarında size gösterdiği her şey Googlebot’un sayfayı getirmesiyle başlar.

Aslında iki Googlebot var

Googlebot’un iki çeşidi vardır:

• Googlebot Smartphone — telefondaki birini taklit eder. Ana bot budur. Google çoğunlukla sitenizin mobil sürümüne bakar (buna mobile-first indexing denir); bu nedenle taramaların çoğu akıllı telefon botundan gelir.
• Googlebot Desktop — masaüstü bilgisayardaki birini taklit eder. Taramaların daha küçük bir bölümünü yapar.

Tuzak şurada: botların nereye gidebileceğini söyleyen dosya olan robots.txt içinde ikisi de aynı adı — Googlebot — paylaşır. Bu nedenle robots.txt’e “masaüstü olanı içeri al, mobil olanı alma” diyemezsiniz. Ya hep ya hiçtir.

Googlebot JavaScript çalıştırır mı?

Evet. Googlebot, temelinde Chrome’un güncel bir sürümünü kullandığı için modern ve JavaScript ağırlıklı siteleri okuyabilir. Googlebot rehberimde söylediğim gibi: “Googlebot is evergreen, meaning it sees websites as users would in the latest Chrome browser.” Ancak bu JavaScript’i çalıştırmak biraz daha sonra, sayfa ilk getirildiği anda değil, ayrı bir adımda gerçekleşir.

İnsanların yanlış anladığı iki şey

1. Taranmak sıralanmak değildir. Daha sık taranmak sonuçlarda sizi yukarı taşımaz. Tarama, Google’ın sayfanızı bulup indirme biçimidir — geçmeniz gereken bir kapıdır, skor tablosu değildir.
2. Googlebot’u robots.txt içinde engellemek sizi Google’dan silmez. Yalnızca Google’ın sayfayı okumasını durdurur. Başka siteler sayfaya bağlantı veriyorsa URL, faydalı bir açıklama olmadan da sonuçlarda görünebilir. Bir sayfayı gerçekten dışarıda bırakmak için Google’ın onu taramasına izin verin ve noindex etiketi ekleyin.

Teknik sürümü — tam user-agent dizelerini, gerçek bir Googlebot’u doğrulamayı, bayt sınırlarını ve oluşturma kuyruğunu — mı istiyorsunuz? Advanced sekmesine geçin.

TL;DR — Googlebot, Smartphone (birincil, mobile-first) ve Desktop olarak ayrılan Google Search tarayıcısıdır; ikisi de robots.txt içinde tek bir Googlebot belirtecini paylaşır — ayrı hedefleyemezsiniz. Evergreen Chromium çalıştırır ve JavaScript’i daha sonra ayrı bir kuyrukta oluşturur (tarama ≠ oluşturma). Sıralanmak için taranmak gerekir ancak tarama sıralama sinyali değildir; robotlar tarafından engellenen bir URL yine yalnızca URL olarak dizine eklenebilir. Ters + ileri DNS ile Google alan adına veya Google’ın yayımlanmış IP aralıklarına göre doğrulayın — user-agent kolayca taklit edilir. Ayrıca “Googlebot”, çok daha büyük bir tarama platformunun Search’e bakan dilimidir.

Googlebot gerçekte nedir?

Google ad konusunda nettir: “Googlebot is the generic name for two types of web crawlers used by Google Search.” Bu iki tür Googlebot Smartphone (“mobil cihazdaki kullanıcıyı taklit eden mobil tarayıcı”) ve Googlebot Desktop (“masaüstündeki kullanıcıyı taklit eden masaüstü tarayıcısı”)dır.

Tek bir makinede çalışan tek bir küçük program değildir. Googlebot rehberimde açıkladığım gibi “Googlebot runs on thousands of machines,” ve “they determine how fast and what to crawl on websites,”; dünya genelindeki veri merkezlerine dağılmıştır ancak esas olarak ABD IP adreslerinden çıkış yapar. Keşif çoğunlukla bağlantılarla gerçekleşir — Google yeni URL’leri “öncelikle daha önce taranan sayfalara gömülü bağlantılardan” bulur — ve buna site haritaları eklenir. (Eksiksiz keşif ve planlama resmi için crawling merkezine bakın.)

Smartphone ve Desktop — neden “smartphone-first”?

Mobile-first indexing altında akıllı telefon tarayıcısı birincildir. Google şöyle der: “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” Mobile-first indexing Ekim 2023’ten beri tüm siteler için tamamlanmıştır; pratik kural şudur: içerik akıllı telefon aracısında görünmüyorsa dizine eklenmez. İçeriğinizi, yapılandırılmış verinizi, metadatanızı ve robot etiketlerinizi mobil ve masaüstünde eşleştirin.

robots.txt açığı şudur: “Both crawler types obey the same product token (user agent token) in robots.txt, and so you cannot selectively target either Googlebot Smartphone or Googlebot Desktop using robots.txt.” Farklılaştırmanın tek yolu kendi sunucu tarafı mantığınızda HTTP user-agent istek başlığını okumaktır. (Bu başlık biçiminin mekanikleri için mobile-first indexing ve user-agent sayfalarına bakın.)

User-agent dizeleri

Her ikisi için robots.txt ürün belirteci yalnızca Googlebot’tur. Tam UA dizeleri farklıdır:

Googlebot Desktop:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Googlebot Smartphone:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

W.X.Y.Z, Googlebot’un evergreen Chromium’u güncellendikçe değişen güncel Chrome sürümü için bir yer tutucudur. Yine de dizeye tek başına güvenmeyin — kolayca taklit edilir (doğrulama bölümüne bakın).

Evergreen Chromium ve oluşturma kuyruğu

İnsanların en çok karıştırdığı ayrım budur: tarama ve oluşturma ayrı adımlardır. Googlebot “an evergreen version of Chromium” çalıştırır ve Mayıs 2019’da eski Chrome 41’den güncel kararlı sürüme geçerek evergreen olmuştur; bu nedenle ES6+, IntersectionObserver, Web Components ve modern CSS’yi artık işler. Ancak HTML’yi getirir getirmez JavaScript’inizi çalıştırmaz.

Google şöyle der: “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page. The page may stay on this queue for a few seconds, but it can take longer than that. Once Google’s resources allow, a headless Chromium renders the page and executes the JavaScript.” Oluşturma hizmeti (WRS) modern bir tarayıcı gibi davranır ancak bilinmesi gereken tuhaflıkları vardır: etkili olarak durumsuzdur — local/session storage ve çerezler sayfa yüklemeleri arasında temizlenir — bant genişliğinden tasarruf için resim veya video getirmez, agresif önbellekleme yapar (önbellek başlıklarınızı görmezden gelebilir) ve WebSockets veya WebRTC’yi desteklemez. İçeriğiniz yalnızca tıklamadan veya gerçek bir <a href> bağlantısı olmayan JS güdümlü gezinmeden sonra görünüyorsa oluşturma sorunu bekleyin. (Ayrıntılar rendering kardeş sayfasındadır.)

Bayt sınırları

Googlebot URL başına sınırsız indirme yapmaz. Google’ın Mart 2026 tarihli Inside Googlebot güncellemesi itibarıyla, herhangi bir tek URL’nin ilk yaklaşık 2 MB’ını (HTTP başlığı dahil) ve bir PDF’in 64 MB’a kadarını getirir. Rakam değişebilir — Google’ın kendi çerçevesi şöyledir: “this limit is not set in stone and may change over time as the web evolves and HTML pages grow in size,”; önceki belgelerde 15 MB yazıyordu, bu Search’ün sayısı değil daha geniş altyapı varsayılanıydı. Pratik sonuç değişmez: kesimden sonrası getirilmez — “to Googlebot, they simply don’t exist.” Kritik içerik ve işaretlemeyi şişkinliğin üstünde tutun.

Çalışan hata örneği: canonical var ama Googlebot hiç alamıyor

2,4 MB HTML döndüren bir ürün şablonu düşünün. Uygulama, belgenin üst kısmına dev bir ürün durumu nesnesi ve öneri yükü serileştiriyor; canonical, ürün açıklaması, yapılandırılmış veri ve ilgili ürün bağlantıları yaklaşık 2.180.000. bayta kadar görünmüyor. Tarayıcı tüm yanıtı indirir, bu nedenle View Source doğru görünür. Googlebot Search belgelenen yaklaşık 2 MB sınırında durur; bu sonraki sinyaller getirilen kaynakta yoktur.

Yanıtı yalnızca oluşturulmuş DOM’a göre değil, bayt sırasına göre teşhis edin:

curl -sS -D response-headers.txt -o page.html https://example.com/product
wc -c response-headers.txt page.html
LC_ALL=C grep -abo 'rel="canonical"' page.html
LC_ALL=C grep -abo 'application/ld+json' page.html

Yerel bayt sayıları, teslimat aracıları ve yanıt işleme farklı olabileceği için yaklaşık değerlerdir; ancak yararlı ilk soruyu yanıtlar: kritik sinyaller yeterince erken mi, yoksa sınıra yakın ya da sınırın ötesinde mi? Çözüm, aşırı büyük satır içi verileri kaldırıp ertelemek ve temel metadatayı, ana içeriği ve taranabilir bağlantıları erken üretmektir — aynı şişkinliği taşıyıp kesimin değişmesini ummak değil.

Googlebot nasıl kibarca getirir?

• Tarama hızı algoritmik ve kendini sınırlar. “For most sites, Googlebot shouldn’t access your site more than once every few seconds on average.” Sunucunuzun sağlığına göre hızlanır veya geri çekilir.
• Durum kodları kaldıraçtır. 429, 500 veya 503 döndürmek Googlebot’a yavaşlamasını söyler — ancak bu yalnızca hata veren URL’leri değil tüm hostname’i etkiler ve sürdürülen hatalar sayfaları dizinden düşürmeye başlamadan önce yalnızca bir veya iki gün işe yarar. John Mueller şöyle der: “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts,” ve “404s are generally fine & once discovered, Googlebot will retry them anyway.”
• crawl-delay yok sayılır. Google, standart olmayan crawl-delay robots.txt yönergesini hiç işlemez. (Bing buna uyar — gerçek Googlebot/Bingbot ayrımlarından biri.)
• Tarama, düz bir kotayı değil tarama talebini izler — kapasite (sunucunuzun kaldırabileceği) ve talep (popülerlik ve güncellik). Çoğu site için bu sorun değildir; yalnızca gerçek ölçekte etkili olur. Tam anlatım crawl budget sayfasındadır.

Gerçekten Googlebot olduğunu doğrulamak

User-agent başlığı “often spoofed by other crawlers” olduğundan tek başına hiçbir şeyi kanıtlamaz. Google’ın tarayıcıları kendilerini üç şekilde tanıtır: user-agent başlığı, kaynak IP ve bu IP’nin ters DNS hostname’i. İki gerçek doğrulama yöntemi vardır:

1. Manuel (tek seferlik). Kaynak IP’yi ters DNS ile çözümleyin; googlebot.com, google.com veya googleusercontent.com ile biten bir hostname döndüğünü doğrulayın (maske crawl-***-***-***-***.googlebot.com gibi görünür); ardından hostname’i ileri DNS ile çözümleyin ve özgün IP’yi döndürdüğünü doğrulayın.
2. Otomatik (ölçekte). IP’yi Google’ın yayımladığı CIDR aralıklarıyla eşleştirin. Google bunları eski tek googlebot.json dosyasından tarayıcı kategorisine göre birkaç JSON dosyasına ayırdı — Googlebot dosyası https://www.gstatic.com/ipranges/common-crawlers.json’dur (eski googlebot.json URL’si hâlâ aynı veriye yönlendirir).

İkisi de Scripts sekmesinde, macOS/Linux ve Windows için bulunur. Neden uğraşmalı? Çok sayıda trafik Googlebot gibi görünür; bu nedenle “Googlebot’u gösteren” günlükler büyük ölçüde taklitçilerden oluşabilir — güvenmeden önce doğrulayın.

Googlebot bir filo içindeki tek bottur

“Googlebot” gerçekten de biraz yanlış adlandırmadır. Gary Illyes, Mart 2026: “I mean, calling it Googlebot, that’s a misnomer,” ve “Googlebot is not our crawler infrastructure.” Altyapı, kendi ifadesiyle “software as a service, if you like. SaaS” — birçok Google ürününün yararlandığı ortak bir platformdur. Günlüklerinizde gördüğünüz şey onun Search dilimidir: “When you see Googlebot in your server logs, you are just looking at Google Search.” Ayrıca çoğu belgelenemeyecek kadar küçük “dozens, if not hundreds of different crawlers” bulunduğunu söyler.

Googlebot’un yanında gerçekten karşılaşacağınız adlandırılmış botlar arasında Googlebot’un dizelerini/belirteçlerini paylaşan Googlebot-Image, Googlebot-Video ve Googlebot-News, Storebot-Google ve URL Inspection ile Rich Results araçlarını çalıştıran Google-InspectionTool bulunur. İkisi alışılmadık davranır: AdsBot, genel * robots.txt kuralını yok sayar (Disallow: / altında User-agent: * olsa bile onu durdurmaz) ve Google-Safety, robots.txt’yi tamamen yok sayar. AI ile ilgili tarayıcılar — Gemini eğitimini yöneten Google-Extended (sıralama sinyali değildir) ve Googlebot’tan boşaltılan Ar-Ge taramalarını yapan GoogleOther — da vardır; ancak AI crawlers kardeş sayfası bunları ayrıntılı ele aldığı için burada tekrar etmeyeceğim.

Googlebot nasıl kontrol edilir?

Üç kontrol, üç farklı etki:

• robots.txt taramayı durdurur, dizine eklemeyi değil. Düşük değerli URL alanlarında botları dışarıda tutmak için kullanın — asla dizinden çıkarma aracı olarak değil.
• noindex dizine eklemeyi durdurur — ancak etiketi ilk etapta görebilmesi için Googlebot’un sayfayı taramasına izin verilmelidir.
• Parola koruması erişimi tamamen engeller.

Bu bizi en yanlış anlaşılan Googlebot gerçeğine getirir: “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” Robotlarca engellenen bir URL, bir şey ona bağlantı veriyorsa yalnızca URL olarak yine de dizine eklenebilir. Bir sayfayı gerçekten kaldırmak için taramaya izin verin ve noindex ekleyin. Bunu Indexed, though blocked by robots.txt yazısında ayrıntılı anlattım.

Googlebot’un içinde yaşadığı daha geniş işlem hattı — URL keşfi, tarama zamanlayıcısı, oluşturma ve tarama-dizine ekleme-sıralama ayrımları — için crawling merkezine ve How Search Works sayfasına bakın.

AI özeti

Advanced sürümün kısaltılmış özeti:

• Googlebot = Google Search’ün web tarayıcısıdır ve iki çeşidi vardır: Smartphone (mobile-first indexing altında birincil) ve Desktop. Tek bir Googlebot robots.txt belirtecini paylaşırlar; bu nedenle ayrı hedeflenemezler — yalnızca HTTP user-agent başlığıyla ayrılabilirler.
• Ekim 2023’ten beri mobile-first: içerik akıllı telefon aracısında görünmüyorsa dizine eklenmez.
• Evergreen Chromium, ayrı oluşturma kuyruğu: Googlebot güncel Chromium’u çalıştırır ancak JavaScript’i daha sonra, durumsuz bir oluşturma adımında yürütür (depolama/çerezler temizlenir; resim/video getirilmez; agresif önbellekleme). Tarama ≠ oluşturma.
• URL başına yaklaşık 2 MB bayt sınırı (PDF’ler 64 MB), 2026 itibarıyla — kesimin ötesindeki içerik getirilmez. Kesin rakam “taşa yazılı değildir”.
• Kibar, algoritmik getirme: 429/5xx “yavaşla” der (hostname genelinde, kısa süreli); crawl-delay yok sayılır (Bing buna uyar).
• Tarama ≠ sıralama ve robot engeli ≠ dizinden çıkarma — engellenen URL yalnızca URL olarak yine de dizine eklenebilir. Sayfaları noindex ile (tarama açıkken) kaldırın, robots.txt ile değil.
• *.googlebot.com/*.google.com/*.googleusercontent.com alanlarına ters + ileri DNS ile veya Google’ın yayımlanmış IP aralıklarına (common-crawlers.json) göre doğrulayın — user-agent kolayca taklit edilir.
• “Googlebot” tek bir program değil, bir filodur — Googlebot-Image/Video/News, Google-InspectionTool, AdsBot (* kuralını yok sayar), Google-Safety (robots.txt’yi yok sayar) ve AI tarayıcıların (Google-Extended, GoogleOther — AI crawlers kardeş sayfasına bakın) yanında daha büyük bir tarama platformunun Search’e bakan dilimidir.

Resmî belgeler

Arama motorlarından birincil kaynak belgeleri.

Google

• Googlebot — kanonik belge: iki tarayıcı türü, UA dizeleri, bayt sınırları ve tarama/dizine ekleme kontrolleri. Buradan başlayın.
• Google tarayıcılarına ve getiricilerine genel bakış — her Google user-agent’i, üç tarayıcı kategorisi ve yayımlanmış IP aralıkları.
• Google’ın yaygın tarayıcıları — Googlebot ve kardeşleri için eksiksiz UA dizesi ve robot belirteci referansı.
• Google tarayıcılarını ve getiricilerini doğrulama — ters/ileri DNS ve JSON IP aralığı dosyaları.
• Mobile-first indexing en iyi uygulamaları — Smartphone’un neden birincil olduğu ve nelerin tutarlı tutulacağı.
• JavaScript SEO temelleri — evergreen Chromium oluşturucusu ve oluşturma kuyruğu.
• HTTP durum kodları Google tarayıcılarını nasıl etkiler? — 2xx/3xx/4xx/429/5xx tarama davranışını nasıl değiştirir.
• Inside Googlebot (Mart 2026) — güncel bayt sınırları ve “Googlebot yalnızca Google Search’tür” çerçevesi.

Bing / Microsoft (karşılaştırma için)

• Bingbot tarama kontrolü — Bing’in manuel tarama planlaması ve Googlebot’un sahip olmadığı crawl-delay desteği.

Kaynaktan alıntılar

Google’dan kayda geçmiş açıklamalar. Her bağlantı, kaynak sayfada alıntılanan parçaya giden derin bağlantıdır.

Google — Googlebot nedir?

• “Googlebot is the generic name for two types of web crawlers used by Google Search.” — Google Search Central belgeleri. Alıntıya git
• “For most sites Google Search primarily indexes the mobile version of the content. As such the majority of Googlebot crawl requests will be made using the mobile crawler, and a minority using the desktop crawler.” Alıntıya git
• “Google uses the mobile version of a site’s content, crawled with the smartphone agent, for indexing and ranking.” Alıntıya git

Google — oluşturma ve bayt sınırları

• “While Google Search runs JavaScript with an evergreen version of Chromium, there are a few things that you can optimize.” Alıntıya git
• “Googlebot queues all pages with a 200 HTTP status code for rendering, unless a robots meta tag or header tells Google not to index the page.” Alıntıya git
• “Googlebot crawls the first 2MB of a supported file type, and the first 64MB of a PDF file.” Alıntıya git

Google — tarama ve dizine ekleme

• “There’s a difference between crawling and indexing; blocking Googlebot from crawling a page doesn’t prevent the URL of the page from appearing in search results.” — Google Search Central belgeleri. Alıntıya git

Gary Illyes, Google (Search Engine Journal ve Google’ın Mart 2026 blog yazısı üzerinden aktarıldı)

• “I mean, calling it Googlebot, that’s a misnomer.” … “Googlebot is not our crawler infrastructure.” … “it’s software as a service, if you like. SaaS.” Haberi okuyun
• “When you see Googlebot in your server logs, you are just looking at Google Search.” Haberi okuyun

John Mueller, Google (Search Engine Journal’ın Reddit haberleri aracılığıyla)

• “I’d only expect the crawl rate to react that quickly if they were returning 429 / 500 / 503 / timeouts.” … “404s are generally fine & once discovered, Googlebot will retry them anyway.” Haberi okuyun

Googlebot hazırlık kontrol listesi

Googlebot’un sayfalarınızı bulabildiğini, getirebildiğini, oluşturabildiğini ve doğru işleyebildiğini doğrulamak için hızlı kontrol:

• Önemli içeriğe gerçek <a href> bağlantılarıyla ulaşılabiliyor (oluşturucunun izleyemeyeceği yalnızca tıklamayla veya JS güdümlü gezinmeyle değil).
• Mobil ve masaüstü sürümleri eşleşiyor — aynı içerik, yapılandırılmış veri, metadata ve robot etiketleri (mobile-first, akıllı telefon aracısının görünümünün sayıldığı anlamına gelir).
• Kritik içerik ve işaretleme yaklaşık 2 MB getirme kesiminin üstünde; PDF’ler 64 MB’ın altında.
• robots.txt dizine eklenmesini istediğiniz hiçbir şeyi engellemiyor — ayrıca dizinden çıkarmaya çalışmak için onu kullanmıyorsunuz (bu iş noindex’in, tarama izniyle birlikte, görevidir).
• Sunucu hızlı ve istikrarlı yanıtlar döndürüyor — hostname genelinde taramayı yavaşlatan 5xx/429/timeout sayısı minimum.
• crawl-delay’e güvenmiyorsunuz (Google bunu yok sayar).
• Sunucu günlükleri doğrulanmış Googlebot ile kontrol ediliyor (ters + ileri DNS veya IP aralıkları) — taklitçilerin sahtelediği ham user-agent eşleşmeleriyle değil.
• Robotlarca engellenen ve bir bağlantısı olan URL’nin yalnızca URL olarak yine de dizine eklenebileceğini biliyorsunuz.

Googlebot — hızlı başvuru

İki tarayıcı türü

robots.txt ürün belirteci (ikisi için): Googlebot

Günlüklerde göreceğiniz diğer Google tarayıcıları

Hızlı gerçekler

• Getirme sınırı: 2026 itibarıyla URL başına yaklaşık 2 MB (PDF’ler 64 MB) — ötesi getirilmez. (“Taşa yazılı değildir.”)
• Evergreen Chromium ile, daha sonra ayrı bir kuyrukta oluşturur (tarama ≠ oluşturma).
• crawl-delay: Google tarafından yok sayılır (Bing buna uyar).
• 429/5xx: geçici “yavaşla” — tüm hostname’i etkiler.
• Ters + ileri DNS veya yayımlanmış IP aralıkları ile doğrulayın — asla yalnızca UA dizesiyle değil.
• Tarama sıralama faktörü değildir; robot engeli dizinden çıkarma değildir.

Bir botun gerçekten Googlebot olduğunu doğrulayın

User-agent başlığı kolayca taklit edilir; bu nedenle bir ters DNS sorgusuyla (Google alan adıyla bitmelidir) ve ardından aynı IP’ye geri çözülmesi gereken bir ileri DNS sorgusuyla doğrulayın.

macOS / Linux

# 1) Reverse-DNS the IP from your logs — it should end in
#    googlebot.com, google.com, or googleusercontent.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward-DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Windows

nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

Ters arama Google alan adıyla bitmiyorsa veya ileri arama özgün IP ile eşleşmiyorsa bu Googlebot değildir.

Google’ın IP aralıklarına göre ölçekte doğrulayın

Büyük ölçekli kontroller için her istekte DNS yapmak yerine kaynak IP’leri Google’ın yayımladığı CIDR aralıklarıyla eşleştirin. Google eski tek googlebot.json dosyasını kategoriye göre birkaç dosyaya böldü — Googlebot, common-crawlers.json içinde yaşar:

# Fetch the current Googlebot (common crawlers) ranges
curl -s https://www.gstatic.com/ipranges/common-crawlers.json
# The legacy URL still works and redirects to the same data:
# https://developers.google.com/static/search/apis/ipranges/googlebot.json

CIDR öneklerini bu JSON’dan yükleyin ve herhangi bir “Googlebot” erişimine güvenmeden önce günlükteki her IP’nin üyeliğini test edin.

Zaman ayırmaya değer kaynaklar

İlgili yazılarım

• What Is Googlebot & How Does It Work? — tarama/kontrol/doğrulama ayrıntılarıyla Googlebot hakkındaki kapsamlı Ahrefs rehberim.
• Meet the New Web Crawlers: AI Bots Are Closing in on Search Engine Bots — Googlebot’un pay ve hız bakımından AI tarayıcılarla karşılaştırması.
• JavaScript SEO Issues & Best Practices — Googlebot’un yaptığı işin oluşturma tarafı.
• Indexed, though blocked by robots.txt — robotlarca engellenen bir URL’nin neden yine de dizine eklenebileceği.
• The Beginner’s Guide to Technical SEO — Googlebot’un daha büyük resimdeki yeri.

Konuşmam

• How Search Works (SlideShare) — tarama, oluşturma, dizine ekleme ve sıralama hakkındaki anlatımım. (Kalıcı uyarı geçerlidir: “Bu, sistemleri anladığım şekliyle anlatımdır… yüzde 100 eksiksiz veya doğru olmayabilir.”)

Başkalarından

• Google’ın Crawling December serisi — resmî tarama açıklamalarının en iyi yoğunlaştırılmış seti.
• r/TechSEO — tarama/dizine ekleme hata ayıklama topluluğu.
• Googlebot: What it is, how it works & how to optimize (Search Engine Land) — SEL’in editoryal derinliğiyle temel konulara iyi bir ikinci görüş sunan kapsamlı pratik rehber.
• Google explains how crawling works in 2026 (Barry Schwartz, Search Engine Land) — Gary Illyes’in Mart 2026 Inside Googlebot yazısını ve 2 MB bayt sınırı açıklamasını sağlam biçimde ele alır.
• Google Says They Deploy Hundreds of Undocumented Crawlers (Search Engine Journal) — Gary Illyes’in “Googlebot’u adlandırmak yanlış” açıklamalarını ayrıntılı ele alır.
• Is Google’s Two Waves of Indexing Over? (Onely) — Martin Splitt’in tarama-sonra-oluşturma kuyruğu ve aradaki boşluğun daralması hakkındaki kayda geçmiş görüşmesi; WRS zamanlamasına dair hâlâ en açık sektör anlatımı.
• Google Reveals JavaScript Rendering Secrets at Chrome Dev Summit 2018 (Lumar) — WRS’nin hâlâ geçerli olan durumsuz davranışı (çerezler/localStorage temizlenir, resim getirilmez, WebSockets desteklenmez) üzerine ayrıntılı notlar.
• From Googlebot to GPTBot: Who’s crawling your site? (Cloudflare blog) — Googlebot’un “iyi bot” trafiğinde önde olduğunu gösteren tarayıcı payı ve hızına dair Cloudflare Radar verileri.
• Was That Really a Google Bot Crawling My Site? (Imperva Research) — Googlebot taklidine veri destekli bakış; DNS doğrulamasının neden önemli olduğuna bağlam.

Alıntılanmaya değer istatistikler

• Googlebot web’deki en hızlı tarayıcıdır. Cloudflare Radar verilerini incelememe göre: “Googlebot is the fastest crawler on the web according to Cloudflare Radar, with Ahrefsbot being the 2nd fastest.” Kaynak
• AI botlar arama botlarına yaklaşıyor. Cloudflare Radar analizime göre arama motoru tarayıcıları (aralarında Googlebot da var) hâlâ en çok tarayanlar; ancak AI botlar açık bir 2. sıradadır ve birkaç yıl içinde onları geçme yolundadır. Kaynak
• Bayt sınırı: URL başına yaklaşık 2 MB (PDF’ler 64 MB) — rakamın sabit olmadığı açık uyarısıyla Google’ın 2026 itibarıyla belgelenen Googlebot getirme sınırı. Kaynak

Kaçınılması gereken Googlebot hataları

Bir sayfayı dizinden çıkarmak için robots.txt kullanmak. robots.txt taramayı durdurur, dizine eklemeyi değil. Robotlarca engellenen bir URL, bir şey ona bağlantı veriyorsa sonuçlarda (yalnızca URL olarak dizine eklenmiş biçimde) görünebilir. Bunun yerine: Google’ın sayfayı taramasına izin verin ve noindex etiketi ekleyin — onu kaldırmanın tek güvenilir yolu budur.

Masaüstü veya akıllı telefon tarayıcısını robots.txt içinde ayrı hedeflemeye çalışmak. İkisi tek Googlebot ürün belirtecini paylaşır; birine yazılan kural ikisine de uygulanır. Bunun yerine: cihaza göre farklı davranış gerekiyorsa kendi sunucu tarafı mantığınızda HTTP user-agent istek başlığını okuyun — robots.txt bu ayrımı yapamaz.

Bir sayfanın mobil ve masaüstü sürümlerinin birbirinden kopmasına izin vermek. Mobile-first indexing altında dizine eklenen ve sıralanan, akıllı telefon aracısının görünümüdür. Yalnızca masaüstünde bulunan içerik, yapılandırılmış veri, metadata veya robot etiketleri Google için etkili olarak görünmezdir. Bunun yerine: iki sürümü eşzamanlı tutun ve akıllı telefon aracısının gerçekte ne gördüğünü kontrol edin.

Googlebot’u yavaşlatmak için crawl-delay’e güvenmek. Google standart olmayan crawl-delay yönergesini hiç işlemez — bu yalnızca Bing’e özgü bir kaldıraçtır. Bunun yerine: Google’ın gerçekten geri çekilmesine ihtiyacınız varsa 429/500/503 döndürün; bunun tüm hostname’i yavaşlattığını ve sürdürülen hatalar sayfaları dizinden düşürmeye başlamadan önce yalnızca bir veya iki gün etkili olduğunu bilin.

Günlüklerinizdeki Googlebot user-agent dizesine olduğu gibi güvenmek. UA başlığı kolayca taklit edilir ve Googlebot olduğunu iddia eden trafiğin önemli bölümü değildir. Bunun yerine: analitikteki “Googlebot” trafiğini gerçek kabul etmeden önce ters + ileri DNS veya Google’ın yayımlanmış IP aralıklarıyla doğrulayın.

JavaScript’e özgü gezinmenin (tıklama işleyicileri, gerçek <a href> olmaması) normal bağlantı gibi keşfedilip oluşturulacağını varsaymak. Googlebot URL’leri öncelikle bağlantılar üzerinden keşfeder ve oluşturma daha sonra, rastgele kullanıcı arayüzü etkileşimlerini çalıştırmayan ayrı ve durumsuz bir kuyrukta gerçekleşir. Bunun yerine: her önemli yolu JavaScript olmadan çalışan gerçek bir <a href> bağlantısı olarak açığa çıkarın.

Tarama sıklığını sıralama kaldıracı olarak görmek. Daha sık taranmak skor tablosu değildir — sıralanmaya uygun olmak için geçmeniz gereken kapıdır. Bunun yerine: daha fazla tarama isteği çekmeye değil, içerik ve teknik sağlığa emek harcayın.

Yaygın Googlebot sorunları

Bir sayfa robots.txt’de engelli ama aramada görünmeye devam ediyor

• Nedeni: robots.txt yalnızca taramayı durdurur, dizine eklemeyi değil. Başka sayfalar engellenen URL’ye bağlanıyorsa Google onu yalnızca URL olarak (genellikle snippet/açıklama olmadan) yine de dizine ekleyebilir.
• Çözüm: gerçekten sonuçlardan kaldırmak istiyorsanız robots.txt’de taramaya izin verin ve bunun yerine noindex etiketi ekleyin — etiketi görebilmesi için Googlebot’un sayfayı okuyabilmesi gerekir. Çözümü robots-txt-tester aracıyla doğrulayın ve URL’nin durumunu yeniden tarandıktan sonra tekrar kontrol edin.

JavaScript ile oluşturulan içerik dizinde görünmüyor

• Nedeni: tarama ve oluşturma ayrı adımlardır. Getirilen HTML, headless Chromium JavaScript’i çalıştırmadan önce — genellikle saniyeler, bazen çok daha uzun süre — oluşturma kuyruğuna alınır. WRS rastgele kullanıcı arayüzü etkileşimlerini çalıştırmadığından tıklamaya veya <a href> olmayan gezinmeye bağlı içerik hiç oluşmayabilir.
• Çözüm: içeriğin ham HTML yanıtında mı yoksa yalnızca JS çalıştıktan sonra mı bulunduğunu kontrol edin ve önemli yolların gerçek <a href> bağlantıları olduğundan emin olun. render-gap aracı tam bu kontrol için oluşturulmuştur — getirilen ile gerçekten oluşturulan arasındaki farkı gösterir.

Sunucu günlükleri çok fazla “Googlebot” trafiği gösteriyor ama trafik şüpheli

• Nedeni: Googlebot user-agent dizesi kolayca taklit edilir. Ham günlüklerde kendini Googlebot olarak tanıtan trafiğin anlamlı bir bölümü taklitçidir.
• Çözüm: ters DNS (googlebot.com, google.com veya googleusercontent.com ile biten bir hostname döndürmelidir) ve ardından aynı IP’ye geri ileri DNS ile doğrulayın veya toplu günlük kontrolleri için Google’ın yayımlanmış IP aralıklarıyla (common-crawlers.json) eşleştirin — her iki yöntem için Scripts sekmesine bakın ya da sahte Googlebot erişimlerini otomatik işaretleyen log-file-analyzer aracından günlükleri geçirin.

Tarama hızı aniden düştü

• Nedeni: Googlebot’un tarama hızı algoritmik ve kendini sınırlar — sürdürülen 429, 500, 503 veya timeout yanıtları geri çekilmesini söyler ve bu sınırlama yalnızca hata veren URL’lere değil hostname’in tamamına uygulanır.
• Çözüm: http-status-checker aracı veya sunucu günlüklerinizle son sunucu hata oranlarını ve yanıt kodlarını kontrol edin. Hatalar bir veya iki günden uzun sürerse yalnızca daha yavaş tarama değil, sayfaların dizinden düşmeye başlamasını bekleyin. Altta yatan 5xx/429 kaynağını düzeltmek tarama hızını geri getirir — ayrı bir “engeli kaldırma” kaldıraç yoktur.

Yalnızca masaüstünde bulunan içerik sıralanmıyor

• Nedeni: mobile-first indexing altında dizine eklenen ve sıralanan, akıllı telefon aracısının görünümüdür. İçerik, yapılandırılmış veri veya metadata yalnızca masaüstü sürümünde bulunuyorsa Google için etkili olarak görünmezdir.
• Çözüm: mobil ve masaüstü sürümlerin sunduklarını karşılaştırın — akıllı telefon aracısının ne oluşturduğunu görmek için mobile-friendly-tester aracını kullanın ve iki sürümü yeniden eşitleyin.

Googlebot ile çalışmak için araçlar

• robots-txt-tester — Googlebot’in düşündüğünüz gibi çalıştığını varsaymadan önce belirli bir URL’nin robots.txt için izinli mi engelli mi olduğunu kontrol edin.
• log-file-analyzer — gerçek Googlebot tarama etkinliğini görmek ve IP/DNS doğrulamasını geçemeyen, Googlebot olduğunu iddia eden trafiği işaretlemek için sunucu günlüklerinizi ayrıştırın.
• render-gap — Googlebot’un ne getirdiğini JavaScript çalıştıktan sonra gerçekten neyin oluşturulduğuyla karşılaştırın; makalenin tarama-oluşturma ayrımı için doğrudan kullanışlıdır.
• mobile-friendly-tester — mobile-first indexing altında birincil olan akıllı telefon tarayıcısının sayfada ne gördüğünü kontrol edin.
• http-status-checker — sürekli 429/5xx yanıtları Googlebot’un tarama hızını gerçekten yavaşlattığı için sunucunuzun döndürdüğü durum kodlarını doğrulayın.

Üçüncü taraf: Google Search Console’un URL Inspection aracı, hangi tarayıcının (mobil veya masaüstü) getirdiği dahil, Googlebot’un belirli bir URL’yi en son nasıl tarayıp oluşturduğunu gösterir. Screaming Frog, ham HTML’yi oluşturulmuş çıktıyla ölçekte karşılaştırmak için Googlebot olarak bir siteyi tarayabilir.

Quiz

Googlebot hakkında aklınızda ne kaldığını kontrol etmek için beş soru.

Değişiklik günlüğü