Kullanıcı Aracısı

TL;DR — Kullanıcı aracısı, her tarayıcının ve her botun her istekle birlikte “ben buyum” demek için gönderdiği kısa bir metin satırıdır. Google’ın tarayıcısı Googlebot olduğunu söyler; Bing’inki bingbot. robots.txt içinde satırın tamamını yazmazsınız — Googlebot gibi kısa bir ad (bir “belirteç”) kullanırsınız. Ve işin püf noktası şu: bu satır yalnızca metindir, bu yüzden herkes onu taklit edebilir. Bir botun gerçekten iddia ettiği kişi olduğunu bilmenin tek gerçek yolu, isteğinin gerçekte nereden geldiğini kontrol etmektir.

Kullanıcı aracısı nedir

Tarayıcınız her sayfa yüklediğinde, ne olduğunu söyleyen kısa bir metin etiketi gönderir — “Mac’te Chrome’um” gibi bir şey. Bu etiket kullanıcı aracısıdır ve her istekte bir HTTP başlığında taşınır. Sunucular onu okuyabilir ve ona tepki verebilir.

Önemli bir uyarı: istemci bu etiketi kendisi doldurur. Hiçbir şey onu kontrol etmez. Bu bir iddiadır, bir kimlik bilgisi değildir — bu yüzden “Googlebot” diyen bir kullanıcı aracısı, gerçekten Googlebot olarak doğrulanmış bir istekle aynı şey değildir.

Tarayıcılar da aynı şeyi yapar. Googlebot sayfanızı getirdiğinde, Googlebot içeren bir kullanıcı aracısı gönderir. Bingbot getirdiğinde, kullanıcı aracısı bingbot içerir. Bir bot sunucu günlüklerinizde kendini böyle tanıtır.

Dize ile kısa ad

İnsanların “kullanıcı aracısı” derken kastettiği gerçekten iki şey vardır ve bunları karıştırmak çok fazla kafa karışıklığına neden olur:

• Kullanıcı aracısı dizesi, istek başlığındaki tam satırdır. Googlebot’unkisi uzundur ve bir tarayıcıya çok benzer.
• Kullanıcı aracısı belirteci, robots.txt içinde bir botu hedeflemek için kullandığınız kısa addır — Googlebot veya bingbot gibi. Belirteç, tam dizenin yalnızca bir parçasıdır, tamamı değil.

Bu yüzden robots.txt içinde bir kural yazdığınızda kısa belirteci kullanırsınız:

User-agent: Googlebot
Disallow: /private/

Devasa tarayıcı görünümlü dizeyi oraya yapıştırmazsınız.

Dizeye güvenemezsiniz

Hatırlanması gereken tek şey budur. Kullanıcı aracısı satırı düz metindir, bu yüzden her şey onu taklit edebilir. Herhangi bir komut dosyası tek satırlık kodla Googlebot olduğunu iddia edebilir — ve birçoğu, engelleri aşmak için bunu yapar. Google’ın kendisi Googlebot başlığının “sık sık taklit edildiğini” söyler.

Bu, sitenize kimin erişeceğine yalnızca kullanıcı aracısına dayanarak asla karar vermemeniz gerektiği anlamına gelir. Bir ziyaretçinin gerçekten Googlebot olduğunu doğrulamanız gerekiyorsa (örneğin, günlüklerinizi okuyorsanız), isteğin nereden geldiğini kontrol ederek doğrarsınız — ne olduğunu söylediğine değil. Gelişmiş sekmesi tam olarak nasıl yapılacağını adım adım anlatır.

Birkaç tuzak

• robots.txt kullanıcı aracısı adları büyük/küçük harfe duyarsızdır — Googlebot ve googlebot aynıdır.
• Her şeyi User-agent: * ile engellemek, Google’ın tüm botlarını engellemez — reklam tarayıcıları ve güvenlik tarayıcısı joker karakteri yok sayar.
• Bir sayfanın bir sürümünü bir tarayıcıya, gerçek kişilere farklı bir sürümünü göstermek gizlemedir ve Google bunu spam olarak değerlendirir.

Tam resmi istiyor musunuz — belirteç tabloları, her Google ve Bing tarayıcısı, tam doğrulama komutları ve gizleme kuralları — Gelişmiş sekmesine geçin.

TL;DR — Bir kullanıcı aracısı, herhangi bir istemcinin kendini tanımlamak için gönderdiği HTTP istek başlığıdır; isteğe bağlı, istemci tarafından doldurulan meta veridir, doğrulanmış kimlik değildir. Değeri, kullanıcı aracısı dizesidir. Bundan ayrı olarak, robots.txt içinde kullanılan kullanıcı aracısı belirteci (ürün belirteci) vardır — RFC 9309, bunun dizenin bir alt dizesi OLMASI GEREKTİĞİNİ söyler; bu, belgelenmiş istisnaları olan güçlü bir kuraldır (Google-Extended’ın hiç istek dizesi yoktur). Eşleştirme büyük/küçük harfe duyarsızdır, belirteç satırındaki sürüm numaraları/joker karakterler yok sayılır, en spesifik grup kazanır ve aynı belirteçli gruplar birleşir ancak * ile asla birleşmez. Dize önemsiz şekilde taklit edilebilir — Google kendi dizelerini bile “sıklıkla taklit edilen” olarak adlandırır — bu nedenle Google için googlebot.com/google.com/googleusercontent.com veya Bing için search.msn.com adreslerine karşı ters + ileri DNS (herhangi bir proxy/CDN arkasında, gerçek istemci IP’sini kullanın) ile doğrulayın veya yayınlanmış IP aralıklarıyla eşleştirin — ve doğrulanmış bir istek bile yalnızca bir isteğin geldiğini kanıtlar, sayfanın dizine eklendiğini, alındığını veya yapay zeka eğitimi için kullanıldığını değil. AdsBot ve Google-Safety, User-agent: * kuralını yok sayar. Chrome ayrıca tarayıcı UA dizelerinden ayrıntıları donduruyor (User-Agent azaltımı); Client Hints yapılandırılmış ancak isteğe bağlı alternatiftir ve hiçbiri tarayıcı doğrulamasının yerini tutmaz. Kullanıcı aracısı uyarlaması meşru olabilir, ancak tarayıcılara önemli ölçüde farklı içerik göstererek aldatmak gizleme (cloaking) olabilir.

Başlık, dize ve belirteç

Üç şey ve bunları birbirinden ayırmak bu konunun çoğunu oluşturur.

• Başlık. User-Agent bir HTTP istek başlığıdır. Her istemci gönderir: tarayıcınız, curl, bir tarayıcı, bir bot. RFC 9110’a (temel HTTP anlambilim standardı) göre, istemcinin doldurduğu isteğe bağlı bir alandır — sunucunun doğruladığı kimliği doğrulanmış bir kimlik değil, istemci tarafından sağlanan tanımlayıcı meta veridir.
• Dize. Başlığın değeri — yazılımı, sürümü, işleme motorunu ve bazen işletim sistemini tanımlayan serbest biçimli bir satır.
• Belirteç. robots.txt User-agent: satırlarında bir tarayıcıyı hedeflemek için kullanılan kısa tanımlayıcı — Googlebot, bingbot, Google-Extended.

İlişki, insanların kafasını karıştıran kısımdır. RFC 9309 (resmi Robots Exclusion Protocol standardı), belirtecin “tarayıcının gönderdiği tanımlama dizesinin bir alt dizesi OLMASI GEREKTİĞİNİ… HTTP durumunda, ürün belirtecinin User-Agent başlığında bir alt dize OLMASI GEREKTİĞİNİ” söyler. Bu bir SHOULD’dur, bir MUST değil — standardın önerdiği güçlü bir kural, her tarayıcının mekanik olarak bağlı olduğu katı bir gereklilik değil. Google-Extended (aşağıda), bunun belgelenmiş bir istisnasının en net örneğidir. Alt dize kuralını, Google kendi belirteçlerinin çoğu için uyguladığı için evrensel olarak okumayın. Bir sağlayıcı bir belirteç sağladığında, belirteç dizenin bir parçasıdır; robots.txt içinde belirteci hedeflersiniz ve günlüklerinizde dizeyi okursunuz.

Google’ın botlarının kendilerini nasıl tanımladığına dair kendi çerçevesi burada faydalıdır: “Google’ın tarayıcıları kendilerini üç şeyle tanımlar: HTTP user-agent istek başlığı, isteğin kaynak IP adresi ve kaynak IP’nin ters DNS ana bilgisayar adı.” Kullanıcı aracısının üçten yalnızca biri olduğuna dikkat edin — diğer ikisi, onu gerçekten nasıl doğruladığınızdır.

Google-Extended: dizesi olmayan bir belirteç

Belirteç ≠ dize ayrımının en net örneği Google-Extended’dır. Google’ın içeriğinizi Gemini eğitimi ve temellendirme için kullanıp kullanamayacağını kontrol eder — ve hiçbir özel HTTP istek kullanıcı aracısı dizesine sahip değildir. Tarama işleminin kendisi mevcut Googlebot dizeleriyle yapılır; Google-Extended yalnızca bir robots.txt kontrol belirteci olarak vardır. Günlüklerinizde bir istek başlığında “Google-Extended” asla görmezsiniz.

Pratik sonuç: Google-Extended’i engellemek, içeriğinizin yalnızca AI eğitim kullanımını etkiler — Googlebot’un sizi Arama için taramasını ve dizine eklemesini durdurmaz. Bunlar, ayrı belirteçlerle kontrol edilen ayrı kararlardır. (Sitenizi okuyan botların daha geniş resmi için AI tarayıcıları ve tarayıcı bölümüne bakın.)

Googlebot’un kullanıcı aracısı dizeleri

Googlebot “daima güncel”dir — yakın tarihli bir Chrome sürümünde çalışır ve dizesindeki Chrome sürümü periyodik olarak güncellenir (Aralık 2019’dan beri böyledir). Bu nedenle sürüm bir W.X.Y.Z yer tutucusu olarak görünür:

Googlebot Akıllı Telefon (mobil):

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot Masaüstü:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

İçselleştirmeniz gereken iki şey var. İlk olarak, sürümü sabit kodlamayın — W.X.Y.Z değişir ve onunla eşleşme bozulur. Bunun yerine kararlı Googlebot belirtecini eşleştirin. İkinci olarak, robots.txt’de mobil ile masaüstünü ayıramazsınız. Her iki varyant da tek Googlebot belirtecini paylaşır, bu nedenle bir robots.txt kuralı her ikisi için de geçerlidir.

Google’ın tarayıcı belirteçleri

Google, her biri kendi belirtecine sahip bir dizi tarayıcı ve getirici ailesi çalıştırır. En çok karşılaşacaklarınız:

Ve normal kuralları çiğneyenler — User-agent: * öğesini yok sayan özel durum tarayıcıları:

• AdsBot (AdsBot-Google) ve AdsBot Mobile (AdsBot-Google-Mobile) — joker karaktere uymazlar. Onları engellemek için açıkça adlandırmanız gerekir.
• AdSense (Mediapartners-Google) — aynı; genel * öğesini yok sayar.
• Google-Safety — kötü amaçlı yazılım/kötüye kullanım tespiti için kullanılır; robots.txt’yi tamamen yok sayar.

İnsanların gözden kaçırdığı sonuç şudur: User-agent: *, AdsBot veya Google-Safety’yi engellemez. Bir joker karakterle “tüm botları engellerseniz” ve AdsBot’un gittiğini varsayarsanız, gitmemiştir. (Bu, bir sayfanın robots.txt tarafından engellenmiş ancak dizine eklenmiş bölgesine düşmesine neden olan türden bir sürprizdir — tam kontrol hikayesi için robots.txt bölümüne bakın.)

Bingbot’un kullanıcı aracısı dizeleri

Bing, Bingbot’un dizesini 2022’de Microsoft Edge ile işlediğini yansıtacak şekilde yeniden oluşturdu. Güncel dizeler:

Bingbot Masaüstü:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36

Bingbot Mobil:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

robots.txt belirteci yalnızca bingbot’tur. Dikkat edilmesi gereken: 2022 sonrası Bingbot’un dizesi neredeyse gerçek bir Chrome/Edge tarayıcısına benziyor — tek ayırt edici özellik içindeki bingbot/2.0 parçasıdır. UA’ya göre botları filtreleyen veya algılayan herhangi bir mantığınız varsa, bu değişiklik önemlidir.

robots.txt bir belirteci gerçekte nasıl eşleştirir

Bir tarayıcının hangi kural grubuna uyacağını belirleyen birkaç kural vardır (Google’ın robots.txt spesifikasyonuna ve RFC 9309’a göre):

• En spesifik eşleşme kazanır. Google, “tarayıcının kullanıcı aracısıyla eşleşen en spesifik kullanıcı aracısına sahip grubu bularak… doğru kural grubunu belirler.” Bir Googlebot grubu, Googlebot için * grubunu yener.
• Aynı belirteç grupları birleşir — ancak asla * ile değil. Aynı aracıyı adlandıran birden çok grup birleştirilir. Belirli bir aracı grubu ile * grubu birleştirilmez; * yalnızca belirli bir şey eşleşmediğinde yedek olarak kullanılır.
• Büyük/küçük harfe duyarsız. Alan adı ve değer — Googlebot, googlebot, GOOGLEBOT eşdeğerdir.
• Belirteç satırındaki sürüm numaraları ve joker karakterler yok sayılır. Google’a göre, “hem googlebot/1.2 hem de googlebot*, googlebot ile eşdeğerdir.” Bir aileyi eşleştirmek için User-agent: Googlebot* yazamazsınız — oradaki * hiçbir şey yapmaz.

Yani bir User-agent: satırı bir belirteç alır ve bunu tarayıcının kimliğinin düz (büyük/küçük harfe duyarlı olmayan) bir alt dizesi olarak eşleştirir — sürüm sabitleme yok, içinde joker karakter yok.

Dizeye neden güvenemezsiniz — ve nasıl doğrulanır

Kullanıcı aracısı dizesi serbest biçimli metindir. Her şey onu ayarlayabilir. Tek bir curl satırı Googlebot olduğunu iddia eder ve birçok araç ve kötü niyetli bot, engelleri aşmak için tam olarak bunu yapar. Google, kendi Googlebot belgelerinde şöyle der: “Googlebot tarafından kullanılan HTTP kullanıcı aracısı istek başlığı genellikle diğer tarayıcılar tarafından taklit edilir.” Googlebot rehberimde belirttiğim gibi, “Birçok SEO aracı ve bazı kötü niyetli botlar Googlebot gibi davranacaktır. Bu, onları engellemeye çalışan web sitelerine erişmelerine izin verebilir.”

Bu yüzden yalnızca dizeye dayanarak asla bir erişim veya içerik kararı vermeyin. Bunun yerine doğrulayın.

Her iki yöntemden önce bir ön koşul: gerçek kaynak IP’yi alın. Siteniz bir ters proxy, yük dengeleyici veya CDN arkasındaysa, varsayılan erişim günlüğünüzdeki adres proxy’nin IP’si olabilir, tarayıcının değil — orijinal istemci IP’sine ihtiyacınız var (genellikle X-Forwarded-For gibi bir başlıkta iletilir, proxy’nizde doğru yapılandırılmıştır) veya aşağıdaki doğrulama yöntemlerinin hiçbiri bir anlam ifade etmez.

Yöntem 1 — ters + ileri DNS (nokta kontrolleri için en iyisi). Google’ın iki adımı:

1. “Günlüklerinizden erişen IP adresinde host komutunu kullanarak bir ters DNS araması yapın. Alan adının googlebot.com, google.com veya googleusercontent.com olduğunu doğrulayın.”
2. “1. adımda alınan alan adında bir ileri DNS araması yapın… Günlüklerinizdeki orijinal erişen IP adresiyle aynı olduğunu doğrulayın.”

Bingbot için aynı iki adımlı dans, ancak ana bilgisayar adı search.msn.com ile bitmelidir (Bing markalı bir alan adı değil — yaygın bir sürpriz). Komutlar Komut Dosyaları sekmesindedir.

Yöntem 2 — yayınlanan IP aralıkları (ölçekte en iyisi). Google, sabit kodlama için statik bir beyaz liste yayınlamaz (“bu IP adresi aralıkları değişebilir”), ancak eşleştirebileceğiniz makine tarafından okunabilir CIDR JSON dosyaları yayınlar (common-crawlers.json ve daha geniş tarayıcı dosyaları). Bing artık aralıklarını da yayınlıyor. Tam olarak bunun için bir Googlebot IP doğrulama aracı oluşturdum — IP’leri yapıştırın ve bunları sınıflandırır. Bing Webmaster Tools’ta ayrıca yerleşik bir “Bingbot’u Doğrula” aracı vardır.

DNS, tek seferlik bir günlük kontrolü için daha iyidir; IP aralığı eşleştirme, hacimli doğrulama için daha iyidir. Hangisi uyuyorsa onu kullanın — ama birini kullanın. Ve hem beklenen ana bilgisayar adlarını hem de aralık dosyalarını bugün itibarıyla geçerli, kalıcı değil olarak ele alın — Google ve Bing bu yolları daha önce değiştirdi (IP aralığı JSON dosyaları bu makale ilk yazıldığından beri taşındı ve yeniden adlandırıldı), bu yüzden eskiden çalışan bir arama artık eşleşmiyorsa canlı doğrulama belgesini yeniden kontrol edin.

Bir UA eşleşmesi, aşağı akış sonuçlarının kanıtı değildir

Tamamen doğrulanmış bir istek bile — gerçek Googlebot IP’si, ileri doğrulanmış ters DNS, her şey yolunda — yalnızca tek bir şeyi kanıtlar: bu istek sunucunuza ulaştı. Bunu çok daha büyük bir iddiaya yuvarlamak cazip geliyor, ancak bunların her biri ayrı kanıt gerektiren ayrı bir gerçektir:

• İstek alındı — bu kullanıcı aracısına sahip bir istek sunucunuza ulaştı. (Günlük doğrulamasının gerçekte kanıtladığı şey budur.)
• Kimlik doğrulandı — istek gerçekten iddia ettiği tarayıcıdan geldi. (Ters DNS / IP aralığı eşleştirmesinin buna eklediği şey budur.)
• İçerik getirildi ve işlendi — tarayıcı sayfayı başarıyla işledi (hata yok, engellenen kaynak yok). Yalnızca bir isteğin ulaşması bunu garanti etmez.
• Dizine eklendi — URL arama dizinine girdi. Başarılı bir getirme, dizine eklemeyi garanti etmez.
• Alma, alıntılama veya eğitim için kullanıldı — özellikle yapay zeka tarayıcıları için (Google-Extended, GPTBot ve diğerleri), bir tarama, içeriğinizin belirli bir yanıt için alındığının, alıntılandığının veya model eğitiminde kullanıldığının kanıtı değildir. Bunlar, taramanın aşağı akışında yer alan ayrı ve çoğunlukla gözlemlenemeyen adımlardır.

Günlüklerinizde doğrulanmış bir Googlebot isteği gerçek bir sinyaldir — yalnızca gerçekte gösterdiğinden daha fazlasını ima etmeyin.

Web Bot Auth: doğrulamanın yöneldiği yer

2026’da Google, Web Bot Auth ile denemeler yapmaya başladı — “botlar tarafından gönderilen istekleri doğrulamak için kullanılan deneysel bir kriptografik protokol.” Amaç, “kolayca taklit edilebilen başlıkların ötesine geçerek doğrulanmış bir kimliğe ulaşmak ve aracı kimliğini IP adreslerinden ayırmak.” Botlar isteklerini kriptografik olarak imzalar; siteler imzayı Google’ın yayınladığı genel anahtarlara karşı doğrular ve imzalı istekler bir Signature-Agent başlığı taşır. Google’ın kendi uyarısı önemlidir: “Belirli bir aracının her isteğini imzalamıyoruz. Yerleşik bot doğrulama yöntemlerine geri döndüğünüzden emin olun.” Yani bu ek bir özelliktir, bir değiştirme değil — ters DNS ve IP aralıkları bugün için temel yönteminiz olmaya devam ediyor.

Tarayıcılar da UA dizesinden ayrıştırılmakta zorlaşıyor

Yukarıdaki her şey tarayıcılarla ilgili, ancak aynı “dizeye aşırı güvenmeyin” dersi tarayıcılar için de geçerli ve giderek güçleniyor. Chrome, User-Agent reduction özelliğini kullanıma sunuyor: UA dizesinin bazı bölümlerini (tam tarayıcı sürümü, işletim sistemi sürümü, cihaz modeli) tam olarak bildirmek yerine donduruyor veya kabalaştırıyor; böylece dize belirli bir kullanıcıyı parmak izi olarak tanımlamak için kullanılamaz. Google’ın kendi ifadesi: “Ayrıntının inceliği ve bolluğu, kullanıcı tanımlamasına yol açabilir. Bu bilgilerin varsayılan olarak kullanılabilir olması, gizli izlemeye yol açabilir.” Pratikte bu, tam tarayıcı/işletim sistemi/cihaz sürümü için UA dizesi ayrıştırmanın — analitik, cihaz algılama, hata triyajı — giderek daha güvenilmez hale geldiği ve daha da güvenilmez olacağı anlamına gelir.

Chrome’un önerdiği değiştirme User-Agent Client Hints (UA-CH) özelliğidir: tarayıcının yalnızca sunucu açıkça istediğinde gönderdiği yapılandırılmış veri. Düşük entropili ipuçları (tarayıcı markası, ana sürüm, mobil bayrağı) varsayılan olarak gönderilir; yüksek entropili ipuçları (tam sürüm, platform sürümü, cihaz modeli) sunucunun önce bir Accept-CH yanıt başlığı aracılığıyla katılımını gerektirir — bir yayın değil, açık bir anlaşmadır. Buna güvenmeden önce iki uyarı: bu bir Chrome/Chromium ailesi mekanizmasıdır, her tarayıcının gönderdiği bir şey değildir ve desteklendiği yerlerde bile “değer boş olabilir, döndürülmeyebilir veya değişen bir değerle doldurulabilir.” Client Hints, tarayıcı dizesi sorununu çözer; bunlar bir tarayıcı doğrulama mekanizması değildir — Google ve Bing kendi tarayıcılarını hâlâ DNS ve IP aralıkları aracılığıyla doğrular, Client Hints ile değil.

Kullanıcı aracısı hedefleme ve gizleme

Cazip hamle — “Googlebot’u UA’sından tespit edip ona özel bir şey sunmak” — hem teknik olarak kırılgan hem de bir politika ihlalidir.

Kırılgan, çünkü Google tek bir UA ile taramaz. Dönen IP’lerden Googlebot’u (mobil ve masaüstü), Google-InspectionTool’u, AdsBot’u, GoogleOther’ı ve daha fazlasını doğru şekilde işlemeniz gerekir — temiz bir şekilde beyaz listeye almak pratik olarak imkânsızdır.

Bir politika ihlali, çünkü bir tarayıcıya kullanıcılara sunduğundan farklı içerik sunmak gizleme (cloaking) olarak kabul edilir: “kullanıcılara ve arama motorlarına, arama sıralamalarını manipüle etme ve kullanıcıları yanıltma niyetiyle farklı içerik sunmak.” Cezası algoritmik düşürmeden tamamen dizinden çıkarmaya kadar değişir. Şu satıra dikkat edin: meşru uyarlama (duyarlı düzenler, içerik anlaşması) sorun değildir — botlar ve kullanıcılar arasında içeriğin kendisini değiştirmek gizlemeye girer.

Kullanıcı aracısının daha büyük işlem hattındaki yerini görmek için tarama (merkez) ve tarayıcı bölümlerine bakın. Bu botların getirmesine izin verilenleri kontrol etmek için robots.txt’ye bakın.

Yapay zeka özeti

Gelişmiş sürümün yoğunlaştırılmış bir yorumu:

• Üç şey, ayrı tutulur: User-Agent istek başlığı — isteğe bağlı, RFC 9110’a göre istemci tarafından doldurulan meta veri, kimliği doğrulanmış kimlik değil; değeri, kullanıcı aracısı dizesi; ve robots.txt içinde kullanılan belirteç. RFC 9309’a göre belirteç, dizenin bir alt dizesi OLMALIDIR — güçlü bir kural, evrensel bir kural değil.
• Bazı belirteçlerin dizesi yoktur. Google-Extended belgelenmiş istisnadır: yalnızca robots.txt kontrolü olarak var olur (Gemini eğitimi); tarama normal Googlebot dizelerini kullanır. Bunu engellemek Search dizinlemeyi etkilemez.
• Googlebot/Bingbot dizeleri her zaman günceldir — Chrome sürümü W.X.Y.Z olarak görünür ve değişir; kararlı belirteci (Googlebot, bingbot) eşleştirin, asla sürümü değil. Mobil ve masaüstü Googlebot tek bir belirteci paylaşır. 2022 sonrası Bingbot, bingbot/2.0 parçası dışında gerçek bir tarayıcıya benzer.
• robots.txt eşleştirme: en belirli grup kazanır; aynı belirteçli gruplar birleşir ancak asla * ile birleşmez; eşleştirme büyük/küçük harfe duyarsızdır; User-agent: satırındaki sürüm numaraları ve joker karakterler yok sayılır (Googlebot* = Googlebot).
• AdsBot ve Google-Safety User-agent: * yok sayar — onları adlarıyla engelleyin ya da hiç engellemeyin.
• Dize önemsiz şekilde taklit edilebilir (Google kendi ifadesiyle “sık sık taklit edilir”). Önce gerçek istemci IP’sini alın (proxy’ler/CDN’ler günlüklerinizde bunu maskeleyebilir), ardından ters + ileri DNS (googlebot.com/google.com/googleusercontent.com; Bing → search.msn.com) veya yayınlanmış IP aralıklarıyla doğrulayın — Google’ın daha önce yeniden adlandırdığı/taşıdığı dosyalar, bu yüzden bir arama eşleşmezse canlı belgeyi yeniden kontrol edin. Erişim kontrolü için dizeye asla güvenmeyin.
• Doğrulanmış bir istek yine de aşağı akıştaki her şeyin kanıtı değildir. İsteğin alınması, kimliğin doğrulanması, içeriğin işlenmesi, sayfanın dizinlenmesi ve içeriğin alınması/alıntılanması/eğitimde kullanılması ayrı iddialardır ve ayrı kanıt gerektirir — bir günlük kaydı yalnızca ilkini kanıtlar, diğerlerini otomatik olarak değil.
• Web Bot Auth (2026, deneysel) istekleri kriptografik olarak imzalar — ek bir katman, DNS/IP hâlâ yedek olarak kalır.
• Tarayıcı UA dizelerini ayrıştırmak da zorlaşıyor: Chrome’un User-Agent azaltması kesin sürüm/OS/cihaz ayrıntısını dizeden dondurur; Client Hints yapılandırılmış, isteğe bağlı değişimdir — ancak Chrome’a özgüdür ve tarayıcı doğrulamasının yerini tutmaz.
• UA’ya göre farklı içerik sunmak gizlemedir — bir spam politikası ihlali ve Google birçok UA ile taradığı için kırılgandır.

Resmi belgeler

Arama motorlarından ve standarttan birincil kaynak belgeler.

Google

• Google tarayıcıları ve getiricilerine genel bakış (kullanıcı aracıları) — üç kimlik doğrulama sinyali ve tam tarayıcı listesi.
• Google’ın yaygın tarayıcıları — token + kullanıcı aracısı dizesi tablosu.
• Google Özel Durum Tarayıcıları — AdsBot, Mediapartners-Google, Google-Safety ve * istisnaları.
• Google Tarayıcılarından ve Getiricilerinden Gelen İstekleri Doğrulama — iki adımlı DNS yöntemi ve IP aralığı dosyaları.
• Googlebot Nedir — Googlebot dizeleri ve “sıklıkla taklit edilen” notu.
• Google robots.txt Spesifikasyonunu Nasıl Yorumlar — token eşleştirme, büyük/küçük harf duyarsızlığı, yok sayılan joker karakterler.
• Web Bot Kimlik Doğrulaması ile İstekleri Doğrulama (Deneysel) — kriptografik imzalama protokolü.
• Googlebot’un kullanıcı aracısını güncelleme (2019) — dizenin neden W.X.Y.Z gösterdiği.
• Spam Politikaları — Gizleme — tanım ve ceza.

Bing / Microsoft

• Bingbot için kullanıcı aracısı değişikliği duyurusu (Nis 2022) — güncel masaüstü + mobil dizeler (Fabrice Canel).
• Bingbot’un Bingbot Olduğunu Nasıl Doğrularsınız (Ağu 2012) — *.search.msn.com ters DNS yöntemi.
• Bing Webmaster Tools — Bingbot’u Doğrulayın — yerleşik doğrulama aracı.

Standart

• RFC 9110 — HTTP Semantiği, §10.1.5 Kullanıcı Aracısı — temel HTTP spesifikasyonu: User-Agent, kimliği doğrulanmış kimlik değil, isteğe bağlı, istemci tarafından sağlanan bir alandır.
• RFC 9309: Robots Dışlama Protokolü — ürün tokeninin kullanıcı aracısı dizesinin bir alt dizesi olarak resmi SHOULD-düzeyi tanımı.
• MDN — User-Agent başlığı — başlığın kendisinin HTTP sözdizimi.

Tarayıcı UA dizeleri

• Chrome Privacy Sandbox — User-Agent azaltma — Chrome’un UA dizesinde neyin dondurulduğu/kabalaştırıldığı ve neden.
• Chrome for Developers — User-Agent Client Hints — düşük ve yüksek entropi ipuçları ve Accept-CH tercihi.

Kaynaktan alıntılar

Google, Bing ve RFC’den kayıtlı ifadeler. Her bağlantı, kaynak sayfadaki alıntılanan pasaja atlayan bir derin bağlantıdır.

Google — tarayıcılar kendilerini nasıl tanıtır

• “Google’s crawlers identify themselves through three things: the HTTP user-agent request header, the source IP address of the request, and the reverse DNS hostname of the source IP.” (çeviri) «Google’ın tarayıcıları kendilerini üç şeyle tanıtır: HTTP user-agent istek başlığı, isteğin kaynak IP adresi ve kaynak IP’nin ters DNS ana bilgisayar adı.» — Google Search Central belgeleri. Alıntıya git

Google — dize taklit edilir

• “The HTTP user-agent request header used by Googlebot is often spoofed by other crawlers.” — Google Search Central docs. (çeviri) «Googlebot tarafından kullanılan HTTP kullanıcı aracısı istek başlığı genellikle diğer tarayıcılar tarafından taklit edilir.» Alıntıya git

Google — DNS ile doğrulama

• “Run a reverse DNS lookup on the accessing IP address from your logs, using the host command. Verify that the domain name is either googlebot.com, google.com, or googleusercontent.com.” (çeviri) «Günlüklerinizdeki erişen IP adresi üzerinde host komutunu kullanarak bir ters DNS sorgusu çalıştırın. Alan adının googlebot.com, google.com veya googleusercontent.com olduğunu doğrulayın.» Alıntıya git
• “Google doesn’t post a public list of IP addresses for website owners to allowlist because these IP address ranges can change.” (çeviri) «Google, web sitesi sahiplerinin izin listesine eklemesi için genel bir IP adresi listesi yayınlamaz çünkü bu IP adresi aralıkları değişebilir.» Alıntıya git

Google — robots.txt belirteç eşleştirme

• “All non-matching text is ignored (for example, both googlebot/1.2 and googlebot* are equivalent to googlebot).” — Google’s robots.txt spec. (çeviri) «Eşleşmeyen tüm metin yok sayılır (örneğin, hem googlebot/1.2 hem de googlebot*, googlebot ile eşdeğerdir).» Alıntıya git

Google — Web Bot Kimlik Doğrulaması

• “An experimental cryptographic protocol used to authenticate requests sent by bots.” (çeviri) «Botlar tarafından gönderilen istekleri doğrulamak için kullanılan deneysel bir kriptografik protokol.» Alıntıya git
• “We don’t sign every request of a particular agent. Be sure that you fall back to the established methods of bot verification.” (çeviri) «Belirli bir aracının her isteğini imzalamıyoruz. Yerleşik bot doğrulama yöntemlerine geri döndüğünüzden emin olun.» Alıntıya git

Google — gizleme (cloaking)

• “Cloaking refers to the practice of presenting different content to users and search engines with the intent to manipulate search rankings and mislead users.” — Google Search Essentials, Spam Policies. (çeviri) «Gizleme, arama sıralamalarını manipüle etme ve kullanıcıları yanıltma amacıyla kullanıcılara ve arama motorlarına farklı içerik sunma uygulamasını ifade eder.» Alıntıya git

RFC 9309 — belirteç, dizenin bir alt dizesidir

• “The product token SHOULD be a substring of the identification string that the crawler sends to the service. For example, in the case of HTTP, the product token SHOULD be a substring in the User-Agent header.” (çeviri) «Ürün belirteci, tarayıcının hizmete gönderdiği tanımlama dizesinin bir alt dizesi OLMALIDIR. Örneğin, HTTP durumunda, ürün belirteci User-Agent başlığında bir alt dize OLMALIDIR.» Alıntıya git

Patrick Stox — taklit hakkında

• “Many SEO tools and some malicious bots will pretend to be Googlebot. This may allow them to access websites that try to block them.” — from my Googlebot guide on Ahrefs. (çeviri) «Birçok SEO aracı ve bazı kötü amaçlı botlar Googlebot gibi davranacaktır. Bu, onları engellemeye çalışan web sitelerine erişmelerine izin verebilir.» Oku

Tarayıcı → belirteç → dize → doğrula

Referans tablosu. Belirteç, robots.txt dosyasına koyduğunuz şeydir; doğrulama ana bilgisayar adı, gerçek bir isteğin ters DNS çözümlemesinin sonucudur.

robots.txt eşleştirme kurallarına bir bakış

Hızlı bilgiler

• Belirteç = UA dizesinin alt dizesi (RFC 9309). Tüm dize değil.
• Mobil ve masaüstü Googlebot tek belirteci paylaşır — robots.txt’de bunları ayıramazsınız.
• Dizedeki Chrome sürümü W.X.Y.Z biçimindedir — değişir; asla sabit kodlamayın.
• UA dizesi kolayca taklit edilebilir — DNS veya IP ile doğrulayın, dizeye asla güvenmeyin.

Ters ve ileri DNS ile bir botu doğrulayın

Kullanıcı aracısı dizesi tek satırlık curl ile taklit edilebilir. Bir botun gerçek olup olmadığını, gerçekten geldiği IP’yi kontrol ederek doğrulayın. Desen Google ve Bing için aynıdır — yalnızca beklenen ana bilgisayar adı farklıdır.

Önce doğru IP’yi alın: istekler sunucunuza ulaşmadan önce bir ters proxy, yük dengeleyici veya CDN’den geçiyorsa, varsayılan günlükleriniz tarayıcının değil proxy’nin adresini gösterebilir. Aşağıdaki kontrollerden herhangi birini çalıştırmadan önce gerçek istemci IP’sini (doğru yapılandırılmış bir yönlendirme başlığından) kullanın.

macOS / Linux

# --- Googlebot ---
# 1) Reverse DNS the IP from your logs — must end in googlebot.com, google.com, or googleusercontent.com
host 66.249.66.1
# → 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com

# 2) Forward DNS that hostname back — it must resolve to the same IP
host crawl-66-249-66-1.googlebot.com
# → crawl-66-249-66-1.googlebot.com has address 66.249.66.1

# --- Bingbot ---
# Reverse DNS must end in search.msn.com, then forward-confirm back to the IP
host 157.55.39.1
host <the-hostname-it-returned>

Windows

:: Googlebot
nslookup 66.249.66.1
nslookup crawl-66-249-66-1.googlebot.com

:: Bingbot
nslookup 157.55.39.1
nslookup <the-hostname-it-returned>

Ters arama beklenen alan adıyla bitmiyorsa — Google için googlebot.com / google.com / googleusercontent.com, Bing için search.msn.com — veya ileri arama orijinal IP ile eşleşmiyorsa, kullanıcı aracısı dizesi ne söylerse söylesin gerçek bot değildir.

Yayınlanan IP aralıklarıyla eşleştirin (ölçekte)

Çok sayıda isteği doğrulamak için istek başına DNS’i atlayın ve IP’yi motorun yayınladığı CIDR aralıklarıyla eşleştirin. Google makine tarafından okunabilir JSON yayınlar:

https://developers.google.com/static/crawling/ipranges/common-crawlers.json
https://developers.google.com/static/crawling/ipranges/special-crawlers.json
https://developers.google.com/static/crawling/ipranges/user-triggered-fetchers.json

Dosyayı çekin, CIDR kümesini oluşturun ve günlüğe kaydedilen her IP’yi üyelik için test edin. (Bunu sizin için yapan bir Googlebot IP doğrulama aracı oluşturdum.) Bing de aralıklarını yayınlar ve Bing Webmaster Tools’ta yerleşik bir “Verify Bingbot” kontrolü vardır.

Kullanıcı aracısı sağlamlık kontrol listesi

UA kuralları yazmadan veya günlüklerinizdeki bir botla işlem yapmadan önce:

• robots.txt içindeki token’ı hedefliyorsunuz (ör. Googlebot), tam UA dizesini yapıştırmıyorsunuz.
• * satırında sürüm numarası veya User-agent: yok — bunlar yok sayılır (Googlebot* hiçbir şey yapmaz).
• User-agent: *’ın AdsBot veya Google-Safety’yi engellediğini varsaymadınız — engellemez; gerekirse bunları açıkça adlandırın.
• Google-Extended’i engellediyseniz, bunun yalnızca AI eğitim kullanımını etkilediğini anlıyorsunuz — Googlebot, Arama için hâlâ tarar ve dizinler.
• Erişim kontrolünü veya içeriği ham UA dizesine dayandırmıyorsunuz — bu taklit edilebilir.
• “Bu gerçekten Googlebot mu?” kontrolü, ters + ileri DNS (googlebot.com / google.com / googleusercontent.com) veya yayınlanmış IP aralıkları üzerinden yapılır — Bing için search.msn.com.
• Hiçbir yerde sürüme sabitlenmiş UA eşleştirmesi yok — Chrome W.X.Y.Z kısmı değişir.
• Bot UA’sına kullanıcılardan farklı içerik sunmuyorsunuz (bu gizlemedir).

Kullanıcı aracılarıyla çalışmak için araçlar

Kendi ücretsiz araçlarımdan üçü, insanların bu konuya gerçekten geldiği üç görevi kapsar: iddia edilen bir botun gerçek olduğunu doğrulamak, sitenize gerçekte hangi kullanıcı aracılarının eriştiğini görmek ve AI tarayıcılarının ne yapmasına izin verildiğini kontrol etmek.

Googlebot Doğrulayıcı — bu makalenin sürekli döndüğü tam sorun için araç: kullanıcı aracısı dizesi yalnızca metindir, bu yüzden tek başına güvenemezsiniz. Günlüklerinizden bir IP adresi yapıştırın, hangi tarayıcı olduğunu iddia ettiğini seçin (Googlebot, Bingbot ve diğerleri) ve sizin için ters + ileri DNS kontrolünü ve yayınlanmış IP aralığı eşleşmesini çalıştırır, ardından kademeli bir karar döndürür — ters DNS ile doğrulandı, yayınlanmış aralıklarda, taklit edilmiş, doğrulanamaz veya bilinen bir tarayıcı değil. Tek bir IP yerine tüm günü kontrol edecek kadar isabet mi var? Toplu kutuya 500’e kadar IP veya ham günlük satırı yapıştırın.

Günlük Dosyası Analizörü — “hangi kullanıcı aracıları sitemi gerçekten tarıyor?” sorusu için. Bir sunucu erişim günlüğü bırakın (nginx, Apache, IIS/W3C veya JSON) ve tarayıcınızda tamamen ayrıştırır, tarama etkinliğini bota ve bölüme göre ayırır, durum kodu israfını işaretler, AI tarayıcılarını arama tarayıcılarından ayırır ve — bu konu için en önemli kısım — bilinen bir tarayıcının kullanıcı aracısı token’ını iddia eden ancak IP ile desteklemeyen istekleri adlandıran bir taklitçi raporu çalıştırır.

AI-Tarayıcı Erişim Denetleyicisi — Googlebot veya bingbot gibi davranmayan daha yeni token ailesi için. Bir URL girin ve robots.txt dosyanızı her büyük AI tarayıcı kullanıcı aracısı token’ına karşı kontrol eder (GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve daha fazlası), her biri için kazanan kuralı gösterir ve bir llms.txt olup olmadığını işaretler. Google-Extended gibi bir token’ın düşündüğünüzü yapıp yapmadığını doğrulamak için kullanışlıdır — çünkü yukarıda belirtildiği gibi, günlüklerinizde görmek için kendi istek dizesi yoktur.

Kullanıcı aracısı görevleri için istemler

Bu konunun belirlediği belirli tuzaklar etrafında oluşturulmuş iki istem — taklit ve robots.txt token sözdizimi — genel “SEO denetimim” dolgusu değil. Kendi verilerinizi yer tutuculara yapıştırın.

İstem 1 — taklit belirtileri için günlüklerinizden bir grup kullanıcı aracısı dizesini ön inceleyin

Erişim günlüğünüzden çekilmiş bir sütun ham kullanıcı aracısı dizesi yapıştırın (IP’ler değil — bu istem kimliği doğrulayamaz, yalnızca dizenin kendisindeki tutarsızlıkları tespit edebilir):

Here is a list of raw User-Agent strings from my server access log, one per
line. For each one:
1. Say which crawler token it claims to be (e.g. Googlebot, bingbot,
   GPTBot), or "no recognizable token" if none.
2. Flag anything internally inconsistent for that claimed crawler — e.g. a
   claimed Googlebot string missing "compatible; Googlebot" or the
   "+http://www.google.com/bot.html" URL, a claimed bingbot string missing
   "bingbot/2.0", or a Chrome version that looks hand-typed rather than a
   real evergreen build.
3. Remind me that this is a text-pattern check only — it cannot confirm
   identity. Real verification requires reverse+forward DNS or matching
   against the crawler's published IP ranges.

[paste user-agent strings here]

İstem 2 — token eşleştirme hataları için bir robots.txt kontrol edin

Tam robots.txt dosyanızı yapıştırın:

Review this robots.txt file for user-agent token mistakes:
1. Flag any User-agent line that includes a version number or a wildcard
   inside the token (e.g. "Googlebot/1.2" or "Googlebot*") — these are
   ignored, not matched as a family.
2. Check whether User-agent: * is being relied on to block AdsBot-Google,
   AdsBot-Google-Mobile, Mediapartners-Google, or Google-Safety — these
   ignore the wildcard and need their own named group if I want them
   blocked.
3. Note any duplicate groups for the same token that could be merged, and
   confirm token matching here is case-insensitive so I don't need
   near-duplicate groups for casing variants.
4. List which named groups exist and which of Google's/Bing's common
   crawler tokens (Googlebot, Googlebot-Image, Google-Extended, bingbot)
   have no explicit group at all, so I know they're falling through to *.

[paste robots.txt here]

Kendinizi test edin: kullanıcı aracısı

Başlık, dize, token ve bir botun gerçek olup olmadığını doğrulama hakkında beş hızlı soru. Her biri için bir yanıt seçin, ardından kontrol edin.

Zamanınıza değer kaynaklar

İlgili yazılarım

• Googlebot Nedir ve Nasıl Çalışır? — Googlebot’un tam UA dizeleri, doğrulama yöntemleri ve IP doğrulama aracım.
• robots.txt tarafından engellenmesine rağmen dizine eklendi — UA tabanlı engelleme ile robots.txt engellemesinin çakıştığı yer.
• Robots.txt ve SEO: Bilmeniz Gereken Her Şey — kullanıcı aracısı gruplarının ve kurallarının gerçekte nasıl çalıştığı.
• Yeni Web Tarayıcılarıyla Tanışın: Yapay Zeka Botları Arama Motoru Botlarına Yaklaşıyor — günlüklerinizdeki değişen kullanıcı aracısı kadrosu.

Resmi / standartlar

• RFC 9110 — HTTP Semantics, §10.1.5 User-Agent — temel tanım: isteğe bağlı, istemci tarafından sağlanan meta veri.
• RFC 9309: Robots Exclusion Protocol — resmi SHOULD düzeyinde ürün belirteci-alt dize tanımı.
• Google’ın Tarayıcılara ve getiricilere genel bakış ve Google tarayıcılarını doğrulama sayfaları.
• Chrome Privacy Sandbox — User-Agent reduction ve User-Agent Client Hints — tarayıcı UA dizelerinin neden ayrıştırılmasının zorlaştığı ve bunların yerini neyin aldığı.

Başkalarından

• John Mueller — Googlebot’u taklit eden botlar — sahtecilik ve ters DNS’in neden çözüm olduğu hakkında.
• MDN — User-Agent başlığı — başlığın HTTP spesifikasyonu görünümü.
• r/TechSEO — tarama/günlük hata ayıklama topluluğu.
• Web Bot Auth: Google’ın gerçek botları doğrulamak için yeni deneysel yöntemi (Search Engine Land, Barry Schwartz, Mayıs 2026) — kriptografik bot imzalamanın nasıl çalıştığına ve pratikte ne anlama geldiğine dair en iyi haber masası özeti.
• Google-Agent kullanıcı aracısı, sunucu günlüklerindeki yapay zeka aracısı trafiğini tanımlar (Search Engine Land) — robots.txt’yi yok sayan ve Web Bot Auth kullanan yeni kullanıcı tetiklemeli getiriciyi kapsar.
• Google Yeni Bot Yetkilendirme Standardını Test Ediyor (Search Engine Journal) — IETF standardı ve hangi şirketlerin (Amazon, Cloudflare, Akamai, OpenAI) desteklediği hakkında daha geniş sektör bağlamı.
• Bingbot için gelecekteki kullanıcı aracılarını duyurma (Bing Webmaster Blog, Fabrice Canel, Aralık 2019) — 2022 kullanıma sunumundan önce Bingbot’un Edge tabanlı işlemeye geçişinin orijinal duyurusu.
• Microsoft’un Bingbot IP adresleri listesi yayınlandı (Search Engine Land) — Bing’in ölçekte bot doğrulaması için IP aralıklarını yayınlama kararının kapsamı.

Değişiklik günlüğü