AI Tarayıcıları

OpenAI, eğitim, arama ve kullanıcı eylemi botları için ayrı denetimler yayımlar. Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: 2026-07-14 OpenAI: Crawlers Anthropic de eğitim, arama ve kullanıcı isteği aracılarının birbirinden farklı olduğunu belgeler. Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: 2026-07-14 Anthropic: Bot information

Genişletmek için dokunun

The chart compares request trends for the five most active AI bots observed by Cloudflare during the selected four-week period, including Googlebot, ClaudeBot, Meta-ExternalAgent, GPTBot, and Bingbot.

TL;DR — “AI tarayıcıları” tek bir şey değildir; üç türü vardır. Bazı botlar, AI modellerini eğitmek için sitenizi tarar (GPTBot ve ClaudeBot gibi). Bazıları, AI aramasının sizden alıntı yapabilmesi için bir dizin oluşturur (OAI-SearchBot ve PerplexityBot gibi). Bazılarıysa bir kişi az önce soru sorduğu için bir sayfayı canlı olarak getirir (ChatGPT-User gibi). Her birinin robots.txt dosyanızda kendi adı vardır; dolayısıyla her birine bağımsız olarak izin verebilir veya her birini engelleyebilirsiniz. Eğitim botlarını engellemek Google sıralamalarınıza zarar vermez; AI arama botlarını engellemek ise AI yanıtlarında görünmemenize yol açabilir.

AI tarayıcıları nedir?

Arama tarayıcılarını zaten biliyorsunuz: Googlebot veya Bingbot gibi bir tarayıcı, sayfalarınızın arama sonuçlarında görünebilmesi için onları ziyaret eder. AI tarayıcıları ise daha yeni bir gruptur: OpenAI, Anthropic, Google, Apple, Perplexity ve diğer AI şirketlerinin, sayfalarınızı kendi amaçları doğrultusunda getiren botları.

Herhangi bir şeyi engellemeden önce anlaşılması gereken temel nokta şudur: Hepsi aynı işi yapmaz. Üç tür vardır.

1. Eğitim botları, AI modellerinin oluşturulmasına ve geliştirilmesine yardımcı olmak için sayfalarınızı okur. GPTBot (OpenAI) ve ClaudeBot (Anthropic) en bilinen örneklerdir.
2. AI arama botları, aranabilir bir dizin oluşturmak için sayfalarınızı okur; böylece biri ChatGPT veya Perplexity’ye soru sorduğunda sistem yanıt verebilir ve size bağlantı verebilir. OAI-SearchBot ve PerplexityBot bunu yapar.
3. Kullanıcı tarafından tetiklenen getiriciler, bir kişi bir şey sorduğu için belirli bir sayfayı gerçek zamanlı olarak getirir. ChatGPT-User buna bir örnektir: Web’de kendi başına dolaşmaz, bir kullanıcı adına görev yürütür.

Bu ayrım neden önemlidir?

Her botun kendine ait bir adı (user-agent) vardır ve robots.txt dosyanız her birine adıyla izin verebilir veya onu engelleyebilir. Böylece aşağıdaki konuların her biri için karar verebilirsiniz:

• AI şirketlerinin içeriklerimle eğitim yapması benim için sorun mu? → Bu, eğitim botlarıyla ilgilidir.
• ChatGPT ve Perplexity yanıtlarında görünmek istiyor muyum? → Bu, AI arama botlarıyla ilgilidir. Çoğu kişi bunları açık tutmak ister.

Ortadan kaldırılması gereken büyük yanılgı şudur: AI botlarını engellemek Google sıralamalarınıza zarar vermez. Google bunu doğrudan belirtmiştir ve AI eğitim botlarını engelleyen yayıncılar sıralamalarını korumaktadır. Ancak AI arama botlarını engellerseniz AI yanıtlarından kaybolabilirsiniz; bu nedenle yanlış kategoriyi kazara engellemeyin.

Günlüklerinizde göreceğiniz adlar

• GPTBot — OpenAI, eğitim.
• OAI-SearchBot — OpenAI, ChatGPT aramasını destekleyen bot.
• ChatGPT-User — OpenAI, bir kullanıcı istediğinde canlı getirme.
• ClaudeBot — Anthropic, eğitim.
• PerplexityBot — Perplexity, arama/atıflar.
• CCBot — Verileri pek çok AI modelinin eğitiminde kullanılan, kâr amacı gütmeyen Common Crawl kuruluşunun botu.
• Bytespider — ByteDance (TikTok’un ana şirketi), eğitim.
• Applebot — Apple; Siri/Spotlight ve Apple Intelligence’ı destekler.

Göreceğiniz iki ad daha vardır: Google-Extended ve Applebot-Extended. Bunlar gerçek tarayıcılar değildir. Yalnızca robots.txt içinde “don’t use my content to train your AI.” (Türkçe çeviri) “İçeriğimi yapay zekânızı eğitmek için kullanmayın.” anlamına gelen denetim belirteçleridir. Herhangi bir şey getirmezler.

Botlara göre eksiksiz tabloyu, robots.txt tariflerini, “robots.txt kurallarına gerçekten uyuyorlar mı?” tartışmasını ve bunları engelleyip engellememeniz gerektiğini mi arıyorsunuz? Advanced sekmesine geçin.

OpenAI, GPTBot, OAI-SearchBot ve ChatGPT-User ayarlarının birbirinden bağımsız olduğunu belirtir. Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: 2026-07-14 OpenAI: Crawlers Anthropic ise ClaudeBot, Claude-SearchBot ve Claude-User’ı farklı aracılar olarak tanımlar ve bunların robots.txt kurallarını nasıl uyguladığını belgeler. Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: 2026-07-14 Anthropic: Bot information

TL;DR — AI tarayıcıları üç kategoriye ayrılır ve bunları birbirine karıştırmak neredeyse herkesin yaptığı hatadır. Eğitim botları (GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot, Meta-ExternalAgent) model derlemleri oluşturmak için içerik tarar. AI arama botları (OAI-SearchBot, PerplexityBot, Applebot, Amzn-SearchBot) alıntı yapmaya elverişli bir dizin oluşturur. Kullanıcı tarafından tetiklenen getiriciler (ChatGPT-User, Perplexity-User, Claude-User), bir kişi soru sorduğunda sayfayı canlı olarak getirir. Her birinin kendi user-agent’ı ve kendi robots.txt kuralı vardır; bu nedenle GPTBot’u engellemek OAI-SearchBot’u etkilemez. Google-Extended ve Applebot-Extended bot değil, belirteçtir: Tarama yapmaz, yalnızca eğitim/temellendirme kullanımından çıkmanızı sağlar. Eğitim botlarını engellemenin Google sıralamalarına hiçbir etkisi yoktur (Google bunu belirtir ve ampirik veriler bunu destekler); AI arama botlarını engellemek ise AI yanıtlarındaki görünürlüğünüzü azaltır. robots.txt tartışması, kullanıcı getiricileri (işletmeciler kuralların “may not apply” olduğunu söylüyor) ve Perplexity (gizli tarama yaptığı bildirildi) bakımından gerçektir. llms.txt büyük ölçüde okunmayan bir öneridir ve büyük sağlayıcılarca benimsenmemiştir.

Üç kategori — bu konunun omurgası

Adlandırılmış her AI botu üç gruptan birine girer. Grubu doğru belirlerseniz sonraki bütün kararlar (engellemeli miyim, izin vermeli miyim, SEO’ma ne olur?) kendiliğinden netleşir.

1. Eğitim / veri toplama tarayıcıları. Bunlar, LLM’lerin eğitimi ve ince ayarı için derlemler oluşturmak üzere büyük ölçekte tarama yapar. Çoğu yayıncının engellemek istediği botlar bunlardır ve bunlara izin vermemenin arama sıralamalarına hiçbir etkisi yoktur. Üyeler: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Bytespider (ByteDance), Amazonbot (Amazon), Meta-ExternalAgent (Meta), AI2Bot (Allen Institute), cohere-training-data-crawler (Cohere), Diffbot, Timpibot (Timpi), webzio-extended (Webz.io). Ayrıca ayrı tarayıcılar OLMAYAN iki denetim belirteci vardır: Aşağıda ele alınan Google-Extended ve Applebot-Extended.

2. AI arama / dizinleme tarayıcıları. Bunlar, sorguları atıflarla ve size geri dönen bağlantılarla yanıtlamak için kullanılan canlı bir dizin oluşturur. Bunları engellemek AI arama sonuçlarından çıkarılmanıza yol açabilir. Üyeler: OAI-SearchBot (OpenAI — GPTBot’tan ayrıdır), PerplexityBot (Perplexity), Applebot (Apple — Spotlight/Siri/Safari önerilerini destekler), Amzn-SearchBot (Amazon).

3. Kullanıcı tarafından tetiklenen / isteğe bağlı getiriciler. Bunlar, bir bot kendi başına dolaştığı için değil, bir kullanıcı soru sorduğu için belirli bir sayfayı canlı olarak getirir. İşletmeciler genellikle robots.txt kurallarının kullanıcı tarafından başlatılan bir getirmeyi bağlamadığını ileri sürer; bu tartışmalı bir alandır. Üyeler: ChatGPT-User (OpenAI), Perplexity-User (Perplexity), Claude-User ve Claude-SearchBot (Anthropic), Amzn-User (Amazon, Alexa için), Meta-ExternalFetcher (Meta).

User-agent belirteçlerini ve robots.txt uyumluluğunu içeren tam tablo Cheat Sheets sekmesindedir; bu tablo makalenin merkezinde yer alır.

”Bot değil, belirteç” tuzağı (Google-Extended ve Applebot-Extended)

Bu, alandaki en yanlış anlaşılan olgudur; bu nedenle kesin konuşalım. Google-Extended ve Applebot-Extended hiçbir şeyi taramaz. Bağımsız user-agent’ları yoktur ve tarama trafiği oluşturmazlar. Bunlar, mevcut taramaların içeriğinizle ne yapmasına izin verildiğini değiştiren robots.txt denetim belirteçleridir.

• Google-Extended, Google Arama dışındaki temellendirme dâhil olmak üzere Gemini Apps ve Vertex AI üretken modellerinin geliştirilmesi için kullanımı denetler. Google Arama’nın AI Overviews veya AI Mode özelliklerini denetlemez; bunlar Googlebot erişimini kullanır. Google açıkça şöyle der: “Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.” (Türkçe çeviri) “Google-Extended, bir sitenin Google Arama’ya dahil edilmesini etkilemez ve Google Arama’da sıralama sinyali olarak kullanılmaz.” Buna izin vermemek Googlebot’u veya sıralamalarınızı etkilemez.
• Applebot-Extended, Apple için aynı fikri uygular. Apple şöyle der: “Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results.” (Türkçe çeviri) “Applebot-Extended web sayfalarını taramaz. Applebot-Extended’a izin vermeyen web sayfaları yine de arama sonuçlarına dahil edilebilir.” Bu belirteç, Apple’ın temel modellerinin (Apple Intelligence) eğitiminden çıkmanızı sağlar; sayfalarınız gerçek tarayıcı Applebot aracılığıyla Spotlight/Siri’de görünmeye devam eder.

Dolayısıyla Disallow: Google-Extended ve Disallow: Applebot-Extended, bağımsız tarama engellerinden çok ürün kullanım denetimleridir. Yayımlanmış kapsamları sayfaları ilgili arama dizininden çıkarmaz; ancak birbirlerinin yerine kullanılamazlar ve ikisi de yalnızca “eğitim botu” diye adlandırılmamalıdır.

Botlara göre başlıca işletmeciler

OpenAI, birbirinden bağımsız dört beyan edilmiş bot çalıştırır: GPTBot (eğitim — “used to make our generative AI foundation models more useful and safe” (Türkçe çeviri) “üretken yapay zekâ temel modellerimizi daha yararlı ve güvenli hâle getirmek için kullanılır”), OAI-SearchBot (arama — “used to surface websites in search results in ChatGPT’s search features” (Türkçe çeviri) “web sitelerini ChatGPT’nin arama özelliklerindeki sonuçlarda göstermek için kullanılır”), ChatGPT-User (kullanıcı getiricisi — “used for certain user actions in ChatGPT” (Türkçe çeviri) “ChatGPT’deki belirli kullanıcı eylemleri için kullanılır”) ve OAI-AdsBot (eğitim veya arama dizini tarayıcısı olmayan bağımsız bir reklam kapsamı). OpenAI’ın politika cümlesi bütün alan için örnek niteliğindedir: “Each bot setting is independent, allowing webmasters granular control over how their content interacts with different OpenAI systems.” (Türkçe çeviri) “Her bot ayarı bağımsızdır; böylece site yöneticileri içeriklerinin farklı OpenAI sistemleriyle nasıl etkileşime gireceğini ayrıntılı biçimde denetleyebilir.” GPTBot’a izin vermemek, “signals that future data from these materials should be excluded from model training datasets” (Türkçe çeviri) “bu materyallerden gelecek verilerin model eğitim veri kümelerinin dışında tutulması gerektiğini bildirir”; OAI-SearchBot’a izin vermemek ise sitenizin “won’t appear in ChatGPT search results.” (Türkçe çeviri) “ChatGPT arama sonuçlarında görünmez.” anlamına gelir.

Anthropic üç bot çalıştırır: ClaudeBot (eğitim), Claude-SearchBot (arama dizinleme) ve Claude-User (kullanıcı getirmesi). Anthropic, botlarının “respect ‘do not crawl’ signals by honoring industry standard directives in robots.txt” (Türkçe çeviri) “robots.txt içindeki sektör standardı yönergelere uyarak “tarama” sinyallerine saygı gösterir” olduğunu belirtir. Güncel destek sayfası ayrıca Anthropic’e özgü doğrulama için ortak bir yayımlanmış IP listesine yönlendirir. Sağlayıcıya özgü bu liste kimlik kanıtıdır; her bot için geçerli evrensel bir IP veya ters DNS doğrulama kuralı değildir.

Google — temel olgu yukarıdakiyle aynıdır: Google-Extended bir bottan ziyade belirteçtir. Google ayrıca site sahibinin isteğiyle çalışan Vertex AI Agents için tarama yapan ve sıralamayı etkilemeyen Google-CloudVertexBot ile Gemini-Deep-Research ve Google-NotebookLM gibi kullanıcı tarafından tetiklenen aracılar çalıştırır.

Apple, Spotlight/Siri/Safari önerilerini destekleyen ve “may also be used to help train Apple foundation models” (Türkçe çeviri) “Apple temel modellerinin eğitimine yardımcı olmak için de kullanılabilir” olan gerçek tarayıcı Applebot ile Applebot-Extended belirtecini çalıştırır. Applebot’u engellemek sizi Apple aramasından çıkarır; Applebot-Extended’ı engellemek yalnızca eğitimden çıkmanızı sağlar.

Perplexity iki bot beyan eder: PerplexityBot (arama/atıflar — açıkça “not used to crawl content for AI foundation models” (Türkçe çeviri) “yapay zekâ temel modelleri için içerik taramak amacıyla kullanılmaz”; dolayısıyla Perplexity’nin beyan edilmiş bir eğitim tarayıcısı yoktur) ve Perplexity-User (kullanıcı getirmesi). Belgelerinde, getirme işlemi kullanıcı tarafından başlatıldığı için Perplexity-User’ın “generally ignores robots.txt rules” (Türkçe çeviri) “genellikle robots.txt kurallarını yok sayar” olduğu belirtilir. Perplexity ayrıca bildirilen gizli tarama vakalarının konusudur; aşağıdaki tartışmaya bakın.

Amazon üç bot çalıştırır ve burada yararlı bir istisna vardır: Amazonbot (ürünleri geliştirir ve “may be used to train Amazon AI models” (Türkçe çeviri) “Amazon yapay zekâ modellerini eğitmek için kullanılabilir”), Amzn-SearchBot (arama) ve Amzn-User (Alexa kullanıcı getirmeleri). Amazon’ın belgelerine göre Amzn-SearchBot ve Amzn-User üretken AI modeli eğitimi için kesinlikle tarama YAPMAZ; dolayısıyla “bütün AI şirketleri eğitim için içerik tarar” iddiası bir yanılgıdır. Amazon ayrıca noarchive meta etiketine özel bir anlamla uyar: sayfayı model eğitimi için kullanma. Bu, sayfa bazında nadir görülen bir eğitimden çıkma seçeneğidir.

Amazon’ın robots işleyişinde alışılmadık iki operasyonel özellik vardır: Tarayıcıları önceki 30 gün içinde önbelleğe alınmış bir robots.txt kopyasını kullanabilir ve Amazon, dosya getirilemezse tarayıcılarının dosya yokmuş gibi davrandığını belirtir. Bu, başarısız bir denetim getirmesinin Amazon’ın herkese izin veren bir durum gördüğünü kanıtladığı anlamına gelmez; denetim ile Amazon ana makineye farklı zamanlarda veya farklı ağ yolları üzerinden ulaşıyor olabilir. Evidence for this claim Amazon says its crawlers may use a robots.txt copy cached within the previous 30 days. Scope: Amazon crawler behavior only; a current audit fetch cannot identify which cached copy Amazon used. Confidence: high · Verified: 2026-07-19 Amazon: Amazonbot Evidence for this claim Amazon says its crawlers behave as if robots.txt does not exist when they cannot fetch it. Scope: Amazon crawler behavior only; a tool-side fetch failure is not proof that Amazon observed the same failure. Confidence: high · Verified: 2026-07-19 Amazon: Amazonbot

Meta, Meta-ExternalAgent (Llama ve Meta AI için eğitim/dizinleme), Meta-ExternalFetcher (kullanıcı getirmesi) ve ayrıca Facebookbot (bağlantı önizlemeleri — bir AI tarayıcısı değildir) çalıştırır. Meta-ExternalAgent’ı engellemek Facebook bağlantı önizlemelerinizi etkilemez.

Common Crawl (CCBot), açık bir web arşivi tutan kâr amacı gütmeyen bir vakıf tarafından işletilir. Gizli katman budur: Common Crawl veri kümesi ChatGPT, Claude, LLaMA ve daha birçok modelin eğitiminde kullanılmıştır; bu nedenle CCBot’u engellemek, sizi hiçbir zaman doğrudan taramayan modeller üzerinde dolaylı etki yaratır. Common Crawl ayrıca sahte botların kendilerini CCBot olarak tanıttığı konusunda uyarır.

ByteDance (Bytespider) saldırgan örnektir: robots.txt kurallarına uyduğunu beyan eder ancak bunları ihlal ettiği ve çok yüksek istek hacimleri oluşturduğu yaygın biçimde bildirilir. Bilinmesi gereken diğerleri: AI2Bot (Allen Institute, açık modeller / Dolma veri kümesi), Cohere, Diffbot (çıktısı pek çok sonraki AI işlem hattını besleyen yapılandırılmış veri çıkarımı) ve Timpibot / webzio-extended.

AI botları robots.txt kurallarına gerçekten uyuyor mu?

Başlıca işletmecilerin (OpenAI, Anthropic, Google, Apple, Amazon) tümü, eğitim ve arama tarayıcılarının robots.txt kurallarına uyduğunu belgelerinde belirtir. Tartışmalı alan, bazı işletmecilerin isteği bir kişi başlattığı için robots.txt kurallarının geçerli olmayabileceğini açıkça söylediği kullanıcı tarafından tetiklenen getiricilerdir. OpenAI, “these actions are initiated by a user, robots.txt rules may not apply” (Türkçe çeviri) “bu eylemleri bir kullanıcı başlattığı için robots.txt kuralları geçerli olmayabilir”; Perplexity ise Perplexity-User’ın “generally ignores robots.txt rules.” (Türkçe çeviri) “genellikle robots.txt kurallarını yok sayar.” olduğunu söyler. Bu, ihlal değil, beyan edilmiş politikadır.

Perplexity tartışması en çok öne çıkan anlaşmazlıktır ve bunu kesinleşmiş bir bulgu değil, bildirilen bir durum olarak işaretlemek gerekir. Haziran 2024’te Wired ve geliştirici Robb Knight, Perplexity’nin kendisini engellemiş sitelerdeki içeriğe görünüşe göre listelenmemiş IP’ler kullanarak eriştiğini bildirdi. Ağustos 2025’te Cloudflare, Perplexity’nin macOS üzerinde Chrome’u taklit eden gizli bir user-agent kullandığını, engellerden kaçınmak için IP’leri ve ASN’leri değiştirdiğini ve tam Disallow: / taşıyan yeni oluşturulmuş test alan adlarından içerik getirdiğini bildirdi. Cloudflare daha sonra Perplexity’yi doğrulanmış bot listesinden çıkardı. Bunlar ilgili kaynakların belgelenmiş bildirimleri olarak sunulmalıdır; Perplexity’nin kendi belgeleri PerplexityBot’un robots.txt kurallarına uyduğunu savunmaktadır.

Bazı botlar robots.txt kurallarını belirli ölçülerde yok saydığı için Cloudflare uygulamada yaptırım katmanı hâline gelmiştir: ağ düzeyinde engelleme, tek tıklamalı “AI Scrapers and Crawlers” anahtarı, yönetilen robots.txt, robots.txt ihlali takibi ve tarama başına ödeme beta sürümü. Temmuz 2025 itibarıyla yeni Cloudflare alan adları bilinen AI tarayıcılarını varsayılan olarak engeller.

AI tarayıcıları nasıl denetlenir?

• User-agent bazında robots.txt, başlıca ve ayrıntılı denetim aracıdır: GPTBot’u engellemek OAI-SearchBot veya ChatGPT-User’ı engellemez. robots.txt tarifleri (tüm eğitim botlarını veya AI arama botlarını engelleme) Scripts sekmesindedir.
• Eğitim belirteçleri olan Google-Extended ve Applebot-Extended, arama açısından bir bedel yaratmadan Gemini/Apple-Intelligence eğitiminden çıkmanızı sağlar.
• Amazon’ın noarchive meta etiketi, Amazon için sayfa bazında eğitimden çıkma seçeneğidir.
• Cloudflare AI Crawl Control, ağ düzeyinde engelleme/izin verme/ücretlendirme ile yönetilen robots.txt ve Content Signals yönergeleri (search, ai-input, ai-train) sunar; varsayılan değer search=yes, ai-train=no şeklindedir.
• llms.txt, bir öneridir (Jeremy Howard / Answer.AI, Sept 2024); benimsenmiş bir standart değildir ve başlıca tarayıcılarca dikkate alınmaz. Çıkarım sırasında okunması amaçlanan, seçilmiş bir markdown haritasıdır; ancak 137K siteyi kapsayan bir Ahrefs araştırması, yayımlanmış llms.txt dosyalarının 97%‘sinin sıfır istek aldığını ve hiçbir büyük LLM sağlayıcısının bunu resmen benimsemediğini buldu. Bunu AI arama aracı değil, dokümantasyon aracı olarak değerlendirin.
• ai.robots.txt topluluk projesi, 150+ AI bot user-agent’ını listeleyen kapsamlı bir Disallow: / dosyası tutar; tümünü birden engellemek için yararlı bir başvuru kaynağıdır.

Görünürlük öncelikli tarayıcı politikası

AI arama görünürlüğü isteyen herkese açık bir eğitim veya ticaret sitesi için varsayılan politikam şöyledir:

1. İstediğiniz arama yüzeylerini besleyen geleneksel arama tarayıcılarına izin verin; buna Googlebot ve Bingbot da dâhildir.
2. Herkese açık içerikte OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi belgelenmiş AI arama/dizinleme tarayıcılarına izin verin.
3. Sağlayıcıların robots davranışlarının farklı olduğunu dikkate alarak ChatGPT-User, Claude-User ve Perplexity-User gibi amaçlanan kullanıcı yönlendirmeli getiricilere izin verin. Evidence for this claim OpenAI publishes separate controls for GPTBot, OAI-SearchBot, and ChatGPT-User, and says each setting is independent. Scope: OpenAI-declared crawlers and user agents; their purposes and robots behavior are platform-specific. Confidence: high · Verified: 2026-07-14 OpenAI: Crawlers Evidence for this claim Anthropic documents ClaudeBot, Claude-SearchBot, and Claude-User separately and says its bots honor robots.txt directives. Scope: Anthropic-declared bots; user-initiated retrieval has additional product-specific conditions. Confidence: high · Verified: 2026-07-14 Anthropic: Bot information Evidence for this claim Perplexity documents PerplexityBot for search indexing separately from Perplexity-User for user-requested fetches, with different robots behavior. Scope: Perplexity-declared crawlers and published IP ranges; a user-agent string alone does not verify identity. Confidence: high · Verified: 2026-07-28 Perplexity: Crawlers
4. Eğitim/model geliştirme erişimi için ayrı bir hak kararı verin. GPTBot, ClaudeBot, Google-Extended ve diğer eğitim denetimleri arama politikasını paylaşmak zorunda değildir. Bunlara yalnızca bu kullanım yayın politikanızla örtüşüyorsa izin verin.
5. Özel ve operasyonel yolları kimlik doğrulamayla koruyun. /admin/, önizlemeler, hesap verileri ve herkese açık olmayan API’leri sunucu tarafı yetkilendirmenin arkasında tutun; bir Disallow yalnızca tarayıcı tercihidir.
6. WAF denetimlerini aşmadan önce kimliği doğrulayın. Belgelenmiş user-agent’ı güncel sağlayıcı IP aralıkları, ters DNS doğrulaması veya desteklenen bot kimlik doğrulamasıyla birleştirin. Yalnızca taklit edilebilir bir user-agent’a dayanarak geniş kapsamlı bir WAF izin kuralı oluşturmayın.

Belirli bir tarayıcı için geçerli kalması gereken bütün kısıtlamaları yinelemiyorsanız, yalnızca Allow: / demek amacıyla belirli bir user-agent grubu eklemeyin. Robots eşleştirme kurallarında belirli bir grup, sağlayıcıya özgü robots ayrıştırmasına bağlı olarak joker grubun özel yol dışlamalarını devralmak yerine joker grubun yerini alabilir. En basit güvenli dosya çoğu zaman kendi başına güvenli tek bir joker grup ile dar kapsamlı eğitimden çıkma kurallarından oluşur.

Özellikle bu site için mevcut herkese açık politika; yönetici, önizleme, API, tuzak ve ağ geçidi yollarını dışlarken arama, AI girdisi ve AI eğitimi için açık bir izin yaklaşımıdır. Arama ve kullanıcı yönlendirmeli getirmeye izin vermeye devam ederdim. Eğitim erişiminin kanıtlanmış bir atıf faydası olmadığı için ai-train=yes değerini AI görünürlüğü taktiği olarak değil, yalnızca editoryal haklar kararı olarak değiştirirdim.

AI tarayıcı erişimi, AI hazırlığı değildir

Bir izin kuralı en fazla, beyan edilen robots politikasının adlandırılmış bir aracının URL istemesine izin verdiğini kanıtlar. İşletmecinin politikaya uyduğunu, sayfayı getirdiğini, işlediğini, önemli bilgiyi çıkardığını, model bağlamına yerleştirdiğini, ona atıf yaptığını veya bir işlemi tamamladığını kanıtlamaz.

Beş katmanı birbirinden ayrı tutun:

Bu nedenle bir tarayıcı erişimi denetleyicisi politika için “AI hazır” değil, izin verildi, engellendi veya belirsiz sonucunu bildirmelidir. Başarılı bir günlük isteği yalnızca o isteğin gerçekleştiğini kanıtlar; sayfanın bir yanıtta kullanıldığına kanıt değildir. Geçerli bir akış veya araç bildirimi de herkese açık bir sayfanın doğru işlendiğini ya da ödeme sürecinin gösterilen teklifi karşılayabildiğini kanıtlamaz.

Getirme ve atıf katmanları için How AI Search Works, katalog ve işlem hazırlığı için AI Shopping Optimization içeriğini kullanın. Katmanları ayrı tutmak çözümü belirginleştirir: engel için erişim politikasını, çıkarım için sayfa çıktısını, eksik durum için işlemeyi, işletilebilirlik için arayüz sözleşmesini veya başarısız satın alma için ticaret verilerini düzeltin.

E-ticaret sayfalarında çıkarılabilirlik testi, temel ürün kimliğinin ve seçilen teklifin — SKU, grup ID’si, fiyat, para birimi ve kullanılabilirlik — ilk yanıtta bulunduğunu ve işleme sonrasında da birbiriyle uyumlu kaldığını doğrulamalıdır. Ham ve işlenmiş ürün sayfası standardı sunucuda nelerin görünür olması gerektiğini tanımlar; tek başına tarayıcı izni bu sözleşme hakkında hiçbir şey söylemez.

Trafik kaybettiren yanılgı: eğitim ≠ AI arama

Doğru anlaşılması gereken konu şudur: Eğitim botlarını engellemek, AI arama botlarını engellemekle aynı şey değildir. Bunlar zıt sonuçları olan ayrı robots.txt kurallarıdır:

• Eğitim botlarını (GPTBot, ClaudeBot, CCBot, Bytespider ve Google-Extended/Applebot-Extended belirteçleri) engellemek → Google ve ampirik yayıncı verileri tarafından doğrulandığı üzere Google sıralamalarını etkilemez. Model eğitiminden çıkmış olursunuz, hepsi bu.
• AI arama botlarını (OAI-SearchBot, PerplexityBot) engellemek → ChatGPT ve Perplexity yanıtlarındaki görünürlüğünüzü kaybedersiniz. Bu, bedelsiz bir tercih değil, gerçek bir ödünleşimdir.

Çok geniş kapsamlı bir engelleme uygularsanız — örneğin yalnızca eğitimi durdurmak isterken OAI-SearchBot’u da yakalayan genel bir engel — fark ettirmeden kendinizi AI aramasından çıkarabilirsiniz. Her kuralın hangi kategoriyi etkilediğini kesin olarak belirleyin.

Yayıncılar neden engelliyor? Toplumsal sözleşme

Bu tartışmanın varlık nedeni trafiktir. AI botları analizimde belirttiğim gibi, botların web sitelerini taramasının bir maliyeti vardır; arama motorları ile site sahipleri arasındaki toplumsal sözleşmede arama motorları sitelere yönlendirme trafiği göndererek değer katar. Google trafik gönderdiği için (şimdilik) engellenmez. AI tarayıcıları şimdiye kadar çoğunlukla geri trafik göndermiyor ve veriler bu huzursuzluğu destekliyor. Cloudflare Radar analizimde AI botları arama motorlarının ardından açık ara #2 tarayıcıdır ve onları geçme yolundadır. Ayrıntılar Stats sekmesindedir.

Bunun içinde yer aldığı daha geniş işlem hattı — keşif, tarama zamanlayıcısı, işleme ve taramanın dizinlemeden nasıl farklı olduğu — için tarama merkezine ve genel olarak tarayıcı, user-agent, Googlebot, Bingbot ve robots.txt hakkındaki ilişkili konulara bakın.

AI özeti

Advanced sürümünün kısa özeti:

• AI tarayıcıları tek değil, üç kategoridir ve bunları birbirine karıştırmak temel hatadır.
  • Eğitim: GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot, Meta-ExternalAgent, AI2Bot, Cohere, Diffbot — model derlemleri oluşturmak için içerik tarar.
  • AI arama/dizinleme: OAI-SearchBot, PerplexityBot, Applebot, Amzn-SearchBot — atıf yapılabilen bir dizin oluşturur.
  • Kullanıcı tarafından tetiklenen getiriciler: ChatGPT-User, Perplexity-User, Claude-User — bir kişi sorduğunda sayfayı canlı olarak getirir.
• Her botun kendi user-agent’ı ve kendi robots.txt kuralı vardır. GPTBot’u engellemek OAI-SearchBot veya ChatGPT-User’ı engellemez.
• Google-Extended ve Applebot-Extended bot değil, belirteçtir; tarama yapmaz, yalnızca eğitim/temellendirme kullanımından çıkmanızı sağlar. Bunlara izin vermemenin arama açısından hiçbir maliyeti yoktur.
• Eğitim botlarını engellemek ≠ SEO’ya zarar vermek. Google, Google-Extended’ın “does not impact a site’s inclusion in Google Search” (Türkçe çeviri) “bir sitenin Google Arama’ya dâhil edilmesini etkilemediğini” belirtir. Ampirik yayıncı verileri de bunu destekler.
• AI arama botlarını engellemek AI görünürlüğünü gerçekten azaltır; ChatGPT/Perplexity açısından gerçek bir ödünleşimdir.
• Amazon’ın Amzn-SearchBot ve Amzn-User botları taranan içerikle eğitim YAPMAZ (Amazon’a göre). “Bütün AI botları eğitim yapar” iddiası yanılgıdır.
• robots.txt tartışması: Kullanıcı tarafından tetiklenen getiriciler kendilerini kapsam dışında tutar; işletmeciler kuralların “may not apply” (Türkçe çeviri) “geçerli olmayabileceğini” belirtir. Perplexity’nin gizli tarayıcı kullandığı bildirilmiştir (Wired/Robb Knight 2024; Cloudflare 2025). Bunu kesinleşmiş değil, bildirilen bir durum olarak sunun.
• llms.txt benimsenmiş bir standart değil, öneridir; dosyaların 97%‘si okunmaz ve hiçbir büyük LLM bunu desteklemez. Uygulamadaki yaptırım katmanı Cloudflare’dir.

Resmî belgeler

AI işletmecilerinin ve ilgili önerilerin birincil kaynak belgeleri.

OpenAI

• OpenAI bots / crawlers — GPTBot, OAI-SearchBot, ChatGPT-User, OAI-AdsBot ve “each bot setting is independent” politikası.

Anthropic

• Anthropic web’den veri tarar mı? — ClaudeBot, Claude-SearchBot, Claude-User, robots denetimleri ve güncel IP listesi doğrulaması.
• Anthropic tarayıcı IP listesi — sağlayıcıya özgü doğrulama verileri.

Google

• Google’ın yaygın tarayıcıları (Google-Extended dahil) — ürün belirteçleri ve user-agent’lar.
• Yapay zekâ özellikleri ve web siteniz — AI Overviews ve AI Mode kapsamına girişi Google-Extended değil, Googlebot denetler.

Apple

• Applebot hakkında — Applebot ile Applebot-Extended arasındaki fark ve Applebot-Extended’ın web sayfalarını taramaması ayrımı.

Amazon

• Amazonbot — Amazonbot, Amzn-SearchBot, Amzn-User, noarchive ile eğitimden çıkma ve hangi botların eğitim yapmadığı.

Perplexity

• Perplexity tarayıcıları — “generally ignores robots.txt rules” beyanı dâhil PerplexityBot ve Perplexity-User.

Common Crawl

• CCBot — pek çok LLM eğitim verisinin arkasındaki kâr amacı gütmeyen tarayıcı ve kimliğe bürünme uyarısı.

Allen Institute for AI

• AI2 tarayıcı bildirimi — AI2Bot ve nasıl filtreleneceği.

Cloudflare (AI tarayıcı denetimleri)

• AI Crawl Control — engelleme/izin verme/ücretlendirme, izleme ve robots.txt ihlali takibi.
• Yönetilen robots.txt — otomatik olarak sürdürülen AI tarayıcı yönergeleri.
• Yapay zekâ eğitimi için içerik kullanımını denetleme — yönetilen robots.txt, Content Signals ve tarama başına ödeme.

Öneri

• llms.txt belirtimi — çıkarım zamanında kullanılan harita önerisi (benimsenmiş standart değil, bir öneri).
• ai.robots.txt project — topluluk tarafından sürdürülen AI bot user-agent listesi.

Kaynaktan alıntılar

İşletmecilerin ve öneri sahiplerinin kayda geçmiş beyanları. Her bağlantı, doğrulanabildiği durumlarda doğrudan alıntılanan bölüme gider.

OpenAI — bağımsız botlar, bağımsız amaçlar

• “Each bot setting is independent, allowing webmasters granular control over how their content interacts with different OpenAI systems.” (Türkçe çeviri) “Her bot ayarı bağımsızdır; böylece site yöneticileri içeriklerinin farklı OpenAI sistemleriyle nasıl etkileşime gireceğini ayrıntılı biçimde denetleyebilir.” — OpenAI bot belgeleri. Alıntıya git
• GPTBot “used to make our generative AI foundation models more useful and safe.” (Türkçe çeviri) “üretken yapay zekâ temel modellerimizi daha yararlı ve güvenli hâle getirmek için kullanılır.” OAI-SearchBot “used to surface websites in search results in ChatGPT’s search features.” (Türkçe çeviri) “web sitelerini ChatGPT’nin arama özelliklerindeki sonuçlarda göstermek için kullanılır.” ChatGPT-User için: “these actions are initiated by a user, robots.txt rules may not apply.” (Türkçe çeviri) “bu eylemleri bir kullanıcı başlattığı için robots.txt kuralları geçerli olmayabilir.” Alıntıya git

Anthropic — robots denetimleri ve doğrulama kapsamı

• Anthropic; ClaudeBot, Claude-SearchBot ve Claude-User’ı, bunların robots denetimlerini ve ortak bir IP listesi doğrulama yöntemini belgeler. Kaynak

Google — bot değil, belirteç

• “Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.” (Türkçe çeviri) “Google-Extended, bir sitenin Google Arama’ya dahil edilmesini etkilemez ve Google Arama’da sıralama sinyali olarak kullanılmaz.” Alıntıya git

Apple — Applebot-Extended tarama yapmaz

• “Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results.” (Türkçe çeviri) “Applebot-Extended sayfaları taramaz; bu belirtece izin vermeyen sayfalar yine de arama sonuçlarında yer alabilir.” Alıntıya git

Perplexity — kullanıcı getiricisinin kapsam dışı kalması

• PerplexityBot “designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.” (Türkçe çeviri) “Perplexity arama sonuçlarında web sitelerini göstermek ve bunlara bağlantı vermek üzere tasarlanmıştır. Yapay zekâ temel modelleri için içerik taramak amacıyla kullanılmaz.” Perplexity-User: “Since a user requested the fetch, this fetcher generally ignores robots.txt rules.” (Türkçe çeviri) “Getirme isteğini bir kullanıcı yaptığı için bu getirici genellikle robots.txt kurallarını yok sayar.” Alıntıya git

Common Crawl — gizli eğitim katmanı

• CCBot, “democratizing access to web information by producing and maintaining an open repository of web crawl data.” (Türkçe çeviri) “açık bir web tarama verisi deposu üretip sürdürerek web bilgilerine erişimi demokratikleştirmek” amacıyla vardır. Not: “we are aware of crawlers falsely identifying themselves as CCBot.” (Türkçe çeviri) “kendilerini yanlış biçimde CCBot olarak tanıtan tarayıcıların bulunduğunun farkındayız.” Alıntıya git

llms.txt — kendi tanımına göre bir öneri

• “A proposal to standardise on using an /llms.txt file to provide information to help LLMs use a website at inference time.” (Türkçe çeviri) “LLM’lerin çıkarım sırasında bir web sitesini kullanmasına yardımcı olacak bilgileri sunmak için /llms.txt dosyasının kullanımını standartlaştırma önerisi.” — llms.txt belirtimi. Alıntıya git

Ben — toplumsal sözleşme

• “There’s a cost to bots crawling your websites and there’s a social contract between search engines and website owners, where search engines add value by sending referral traffic to websites. Google sends traffic (for now), so they don’t get blocked.” (Türkçe çeviri) “Botların web sitelerinizi taramasının bir maliyeti vardır; arama motorları ile site sahipleri arasında, arama motorlarının sitelere yönlendirme trafiği göndererek değer kattığı bir toplumsal sözleşme bulunur. Google trafik gönderiyor (şimdilik), bu nedenle engellenmiyor.” — Patrick Stox, Ahrefs. Yazıyı okuyun

Ana AI tarayıcı tablosu

Makalenin merkezi. Her önemli AI botu, user-agent belirteci, işletmecisi, kategorisi ve beyan edilen robots.txt uyumluluğu. Belirteçleri tam olarak kopyalayın; robots.txt içinde yazım ve harf büyüklüğü önemlidir.

Tablodan çıkan üç kural

• Bir eğitim botunu (GPTBot, ClaudeBot, CCBot…) engellemek → sıralamayı etkilemez.
• Bir AI arama botunu (OAI-SearchBot, PerplexityBot) engellemek → AI yanıtlarındaki görünürlüğü kaybettirir.
• Google-Extended ve Applebot-Extended, tarayıcı değil belirteçtir; arama açısından hiçbir maliyeti olmayan salt eğitimden çıkma denetimleridir.

Kısa bilgiler

• GPTBot ≠ OAI-SearchBot ≠ ChatGPT-User — üç bağımsız OpenAI kuralı.
• Amazon’ın Amzn-SearchBot ve Amzn-User botları taranan içerikle eğitim yapmaz.
• Amazon, sayfa bazında eğitim yapılmasın sinyali olarak noarchive meta etiketine uyar.
• llms.txt benimsenmiş bir standart değil, bir öneridir; başlıca tarayıcılar bunu dikkate almaz.
• IP’ye göre değil, robots.txt içindeki user-agent’a göre engelleyin (IP engelleri, bir botun robots.txt dosyanızı hiç okuyamamasına neden olabilir).

Neye izin vereceğinizi denetleme ve belirleme

Hangi AI tarayıcılarına izin verileceğini, hangilerinin engelleneceğini veya yalnızca izleneceğini belirlemek için pratik bir süreç.

• Sunucu günlüklerinizi alın ve hangi AI user-agent’larının (GPTBot, ClaudeBot, CCBot, Bytespider, OAI-SearchBot, PerplexityBot, Applebot vb.) size gerçekten ne sıklıkta istek gönderdiğini listeleyin. Gerçeğin kaynağı günlüklerdir.
• Her birini kategorisine ayırın: eğitim, AI arama veya kullanıcı getirmesi. Kararlar markaya değil kategoriye göre verilir.
• Eğitim konusundaki yaklaşımınızı belirleyin. İçeriğinizle eğitim yapılması sizin için uygunsa eğitim botlarına izin verin. Uygun değilse GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot ve Meta-ExternalAgent’ı engelleyin; Google-Extended ve Applebot-Extended belirteçlerini de ekleyin. Bunların hiçbiri Google sıralamalarını etkilemez.
• AI arama yaklaşımınızı dikkatle belirleyin. ChatGPT ve Perplexity yanıtlarında görünmek istiyorsanız OAI-SearchBot ve PerplexityBot’a izin vermeye devam edin. Bunları yalnızca gerçekten AI aramasından çıkmak istiyorsanız engelleyin.
• Yanlış botu yakalamayın. Bir “eğitimi engelle” kuralının AI arama botunu da etkilemediğini doğrulayın. GPTBot ≠ OAI-SearchBot.
• IP’ye göre değil, user-agent’a göre engelleyin; IP engelleri bir botun robots.txt dosyanızı okumasını önleyebilir (Anthropic’in açık uyarısı).
• Şüpheli botları doğrulayın. CCBot ve diğerleri taklit edilebilir; user-agent dizesine güvenmeden önce yayımlanmış IP aralıklarını / ters DNS’yi kontrol edin.
• robots.txt kurallarına güvenilir biçimde uymayan botlar için ağ düzeyinde yaptırımı (Cloudflare AI Crawl Control) değerlendirin.
• SEO hamlesi olarak llms.txt kullanmayın; bu büyük ölçüde okunmayan, başlıca tarayıcılarca dikkate alınmayan bir öneridir. Ondan AI arama görünürlüğü beklemeyin.
• Üç ayda bir yeniden kontrol edin. Sürekli yeni botlar ortaya çıkar (ai.robots.txt listesi iyi bir başvuru kaynağıdır) ve işletmeciler davranışlarını değiştirir.

AI arama trafiğine mal olan hata

Eğitim botlarıyla AI arama botlarını birbirine karıştırmak bu alandaki en pahalı hatadır; yukarıda ortadan kaldırılması gereken yanılgı olarak vurguladığım konu da budur. Model eğitimini durdurmayı amaçlayan bir kural ile AI arama atıflarını durdurmayı amaçlayan bir kural aynı değildir; bunları karıştırmanın zıt sonuçları vardır.

• Yanlış: “AI botlarını” tek bir grup olarak engellemek (GPTBot ile OAI-SearchBot’u birlikte yakalayan tek bir Disallow kuralı). Neden yanlış: Yalnızca eğitimden çıktığınızı sanırken sizi sessizce ChatGPT ve Perplexity yanıtlarından çıkarır. Bunun yerine: Her bot için ayrı, adlandırılmış kurallar yazın; eğitim için GPTBot/ClaudeBot/CCBot/Bytespider’ı engelleyin ve özellikle AI aramasından çıkmak istemediğiniz sürece OAI-SearchBot/PerplexityBot’a izin verin.

Kimlik doğrulamasını erişim politikasıyla karıştırmak

Sağlayıcı tarafından yayımlanmış bir IP listesi, isteği kimin gönderdiğini doğrulamaya yardımcı olabilir. Politikanızın ne olması gerektiğini söylemez ve bir ağ engelini robots kuralına dönüştürmez.

• Yanlış: Doğrulanmış bir aralığı otomatik izin/engelleme kararı olarak ele almak. Neden yanlış: Kimlik, beyan edilen tarama tercihi ve uygulanan ağ erişimi ayrı olgulardır. Bunun yerine: Tarama politikasını belgelenmiş User-agent belirteciyle ifade edin; dosyaya güvenilir biçimde uymayan botlar için bunun üzerine ağ düzeyinde yaptırım (Cloudflare AI Crawl Control) ekleyin.

llms.txt dosyasını AI arama aracı olarak görmek

llms.txt sürekli “AI araması için robots.txt” olarak sunulur; makalenin kendi kaynaklarına göre bu çerçeve yanlıştır.

• Yanlış: AI arama görünürlüğünü veya atıfları artırmasını bekleyerek llms.txt dosyası yayımlamak. Neden yanlış: Bu, benimsenmiş bir standart değil, bir öneridir. 137K siteyi kapsayan bir Ahrefs araştırması, yayımlanmış llms.txt dosyalarının 97%‘sinin sıfır istek aldığını ve hiçbir büyük LLM sağlayıcısının bunu resmen benimsemediğini buldu. Bunun yerine: llms.txt dosyasını en iyi ihtimalle dokümantasyon aracı olarak değerlendirin; çabanızı görünürlüğü gerçekten denetleyen robots.txt kurallarına ve AI arama botlarına yöneltin.

Bir user-agent dizesine doğrulamadan güvenmek

Common Crawl’ın kendi kabulüne göre özellikle CCBot taklit edilir; Bytespider’ın da uyduğunu iddia ettiği kuralları yok saydığı yaygın biçimde bildirilir.

• Yanlış: Günlüklerinizdeki bir User-agent dizesinin iddia ettiği kimliğe sahip olduğunu varsaymak. Neden yanlış: Taklit edilmiş veya kurallara uymayan bir bot, uygulanmayan bir robots.txt kuralı dururken size tam hacimde istek gönderebilir. Bunun yerine: Dizeye güvenmeden önce yüksek hacimli veya şüpheli istekleri işletmecinin yayımlanmış IP aralıkları ya da ters DNS’siyle doğrulayın. Tools sekmesinde tam olarak bu denetim için geliştirilmiş bir araç vardır.

Karar: izin ver, engelle veya izle

1. Önce kategoriyi belirleyin; her şeyi bu karar belirler. Eğitim, AI arama veya kullanıcı getirmesi. Kategoriyi doğru belirlediğinizde sonuç açıktır: Eğitim engelleri SEO açısından güvenlidir; AI arama engelleri AI görünürlüğüne mal olur; kullanıcı getirmesi ise tartışmalıdır.

2. İzin ver / engelle / izle kuralı.

• AI yönlendirme görünürlüğü istiyorsanız AI arama botlarına (OAI-SearchBot, PerplexityBot, Applebot) izin verin; çoğu site böyle yapmalıdır.
• İçeriğinizle eğitim yapılmasını istemiyorsanız eğitim botlarını (GPTBot, ClaudeBot, CCBot, Bytespider) engelleyin; sıralama açısından maliyeti sıfırdır. Gemini/Apple eğitimi için Google-Extended/Applebot-Extended belirteçlerini ekleyin.
• Kullanıcı tarafından tetiklenen getiricileri ve bilinen kötü aktörleri (Bytespider, beyan edilmemiş Perplexity trafiği) izleyin. robots.txt bunları durdurmayabilir; bunları gerçekten görmenin ve denetlemenin yolu günlükler ile ağ düzeyindeki kurallardır.

3. “Bot değil, belirteç” denetimi. Tarama trafiğini değerlendirmeden önce bunun gerçek bir tarayıcı mı yoksa denetim belirteci mi olduğunu sorun. Google-Extended ve Applebot-Extended kendi başlarına hiç trafik oluşturmaz; yalnızca daha önce gerçekleşmiş trafikteki bir izni değiştirir.

4. Eğitim ≠ AI arama (pahalı hata). İki ayrı robots.txt kuralı, zıt sonuçlar. “AI botlarını” asla tek bir grup olarak engellemeyin; aksi hâlde ya eğitimi durduramaz ya da kazara kendinizi AI yanıtlarından silersiniz.

5. robots.txt bir istektir; yaptırım ayrıdır. Protokol kurallara uyan botlarda çalışır. Kendilerini kapsam dışında tutanlar (kullanıcı getiricileri) veya kuralları yok saydığı bildirilenler (Perplexity gizli tarayıcıları, Bytespider) için gerçek yaptırım ağ düzeyindedir (Cloudflare); robots.txt tek başına yeterli olmaz.

Bu AI botunu engellemeli miyim?

Bu karar ağacı, Frameworks sekmesindeki izin ver/engelle/izle kuralını aşamalı olarak uygular. Önce botun üç kategoriden hangisine ait olduğunu belirleyin, ardından sonucunu belirleyen tek soruyu yanıtlayın.

Üç aylık AI botu robots.txt denetimi

Düzenli denetim, yeni AI botları ortaya çıkarken ve işletmeciler davranışlarını değiştirirken robots.txt kurallarınızın gerçeklikle uyumlu kalmasını sağlar. Checklists sekmesi “üç ayda bir yeniden kontrol edin” uyarısını zaten verir; burada bu uyarının ayrıntılı sürümü yer alır.

1. Üç aylık dönemin AI botu isteklerini alın. Hangi AI botlarının size gerçekten ne sıklıkta istek gönderdiğini görmek için sunucu günlüklerinizi sitenin Günlük Dosyası Analiz Aracından geçirin veya bilinen user-agent listesini grep ile arayın (Betikler sekmesinde tam komut vardır).
2. Her botun kategorisini yeniden kontrol edin. Hâlâ eğitim, AI arama veya kullanıcı getirmesi kategorisinde olduğunu doğrulamak için her user-agent’ı Hızlı Başvuru sekmesindeki ana tabloyla karşılaştırın; yeni ve tanınmayan botları ai.robots.txt projesinin listesine göre işaretleyin.
3. Mevcut kurallarınızı test edin. Eğitim kurallarının kazara bir AI arama botunu yakalamadığını doğrulamak için canlı robots.txt dosyasını, her botun user-agent’ıyla robots.txt Tester üzerinden sınayın.
4. Şüpheli veya yüksek hacimli istekleri doğrulayın. Taklit vakaları yaşandığından, user-agent dizesine güvenmeden önce CCBot veya Bytespider gibi botları Googlebot Verifier ile işletmecinin yayımlanmış IP aralıklarına veya ters DNS’sine göre doğrulayın.
5. Üç aylık dönemin AI botu tarama payını kaydedin. Sonraki üç aylık denetimde yalnızca anlık görüntü değil, karşılaştırılabilecek bir eğilim bulunması için eğitim, AI arama ve kullanıcı getirmesi trafiğinin dağılımını kayda geçirin (Nasıl Ölçülür sekmesine bakın).

robots.txt düzenlemenizin amaçladığınız sonucu verdiğini doğrulayın

Eğitim botlarını engellemek için robots.txt dosyasını düzenledikten sonra değişikliği tamamlanmış saymadan önce şu denetimleri çalıştırın. Amaç, eğitim botlarına gerçekten izin verilmezken AI arama botlarının sayfalarınıza hâlâ ulaşabildiğini kanıtlamaktır.

Test 1: AI arama botlarına hâlâ izin veriliyor

• Çalıştırılacak test: URL’yi robots.txt Tester ile OAI-SearchBot ve PerplexityBot user-agent’larına göre kontrol edin veya Googlebot Verifier ile gerçek istekleri doğrulayın.
• Beklenen sonuç: AI yanıtlarında atıf yapılmasını istediğiniz her sayfada ikisi için de “Allowed”.
• Başarısızlık yorumu: “Disallowed” sonucu, eğitim engelleme kuralınızın çok geniş kapsamlı olduğunu ve yanlış user-agent’ı yakaladığını gösterir.
• İzleme aralığı: Test aracı için hemen; botun önbelleğe aldığı robots.txt kopyasının yenilenmesi için birkaç gün bekleyin.
• Geri alma tetikleyicisi: İzin vermeyi amaçladığınız bir AI arama botu Disallowed gösterirse veya değişiklikten sonra o motordan gelen atıflar/yönlendirmeler düşerse.

Test 2: Eğitim botlarına gerçekten izin verilmiyor

• Çalıştırılacak test: Aynı URL’yi robots.txt Tester ile GPTBot, ClaudeBot, CCBot ve Bytespider için kontrol edin.
• Beklenen sonuç: Her biri için “Disallowed”.
• Başarısızlık yorumu: “Allowed” sonucu genellikle belirteçte yazım hatası olduğu anlamına gelir; robots.txt içinde yazım ve harf büyüklüğü önemlidir.
• İzleme aralığı: Hemen.
• Geri alma tetikleyicisi: Gerekmez; sonradan eğitim kullanımını kabul etmeye karar vermediğiniz sürece eğitim engeli için geri alma yoluna ihtiyaç yoktur.

Test 3: Google sıralamaları etkilenmiyor

• Çalıştırılacak test: Eğitim botlarını veya Google-Extended belirtecini engelledikten birkaç hafta sonra etkilenen URL’ler için Search Console Performance/Index Coverage verilerini kontrol edin.
• Beklenen sonuç: Gösterimlerde veya sıralamada önemli bir değişiklik olmaması. Google, Google-Extended için “does not impact a site’s inclusion in Google Search.” demektedir.
• Başarısızlık yorumu: Değişiklikle aynı zamana denk gelen büyük bir gösterim düşüşü genellikle Googlebot’un kendisinin de çok geniş kapsamlı bir kurala yakalandığı anlamına gelir.
• İzleme aralığı: 2-4 hafta (Search Console raporlama gecikmesi).
• Geri alma tetikleyicisi: Gösterimler veya sıralamalar düşerse ve taranabilir olması gereken bir URL’de Googlebot Disallowed görünürse.

AI bot trafiği için kalıcı KPI’lar

Bunları üç aylık dönemler arasında izlemek, tek bir robots.txt düzenlemesinden bağımsız olarak AI botu yaklaşımınızın gerçekten amaçladığınız sonucu verip vermediğini gösterir.

robots.txt — başlıca botları engelleme

Eğitim tarayıcılarını engelleyin, AI aramasını açık tutun. Böylece ChatGPT/Perplexity yanıtlarında görünür kalırken model eğitiminden çıkarsınız. Belirteçleri tam olarak kopyalayın.

# --- AI training crawlers ---
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

# --- Training control tokens (not crawlers) ---
# Opt out of Gemini/Vertex training; search unaffected
User-agent: Google-Extended
Disallow: /

# Opt out of Apple Intelligence training; Applebot search unaffected
User-agent: Applebot-Extended
Disallow: /

AI arama dizinleyicilerini engelleyin (bu, AI yanıtlarındaki görünürlüğü AZALTIR). Bunu yalnızca gerçekten ChatGPT/Perplexity yanıtlarından çıkmak istiyorsanız yapın.

User-agent: OAI-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

Temel ilke: GPTBot’u engellemek OAI-SearchBot veya ChatGPT-User’ı engellemez; her biri bağımsız bir kuraldır.

Erişim günlüklerinizde AI botlarını belirleyin

Hangi AI user-agent’larının size ne sıklıkta istek gönderdiğini bulun.

macOS / Linux

# Count hits per known AI bot in an Apache/Nginx access log
grep -iE 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|Amzn-SearchBot|meta-externalagent|Applebot|AI2Bot|Diffbot' access.log \
  | grep -oiE 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Perplexity-User|CCBot|Bytespider|Amazonbot|Amzn-SearchBot|meta-externalagent|Applebot|AI2Bot|Diffbot' \
  | sort | uniq -c | sort -rn

Windows (PowerShell)

# Count hits per known AI bot in an access log
$bots = 'GPTBot','OAI-SearchBot','ChatGPT-User','ClaudeBot','Claude-User','Claude-SearchBot','PerplexityBot','Perplexity-User','CCBot','Bytespider','Amazonbot','Amzn-SearchBot','meta-externalagent','Applebot','AI2Bot','Diffbot'
Select-String -Path .\access.log -Pattern ($bots -join '|') |
  ForEach-Object { ($_ -split '"')[5] } |
  ForEach-Object { foreach ($b in $bots) { if ($_ -match $b) { $b } } } |
  Group-Object | Sort-Object Count -Descending | Select-Object Count, Name

Bir user-agent dizesi taklit edilebilir (özellikle CCBot); önemli botlarla ilgili işlem yapmadan önce bunları işletmecinin yayımlanmış IP aralıklarıyla veya ters + ileri DNS üzerinden doğrulayın.

Günlük isteklerinizi AI botu kategorisine göre sınıflandırın

Ham sunucu günlüğü satırlarını veya user-agent dizelerinin bir listesini yapıştırın ve bir AI’ın her birini Cheat Sheets sekmesindeki ana tabloya göre sınıflandırmasını sağlayın. Bu, tanımadığınız bot adlarıyla dolu bir günlük dosyasını incelerken yararlıdır.

I have a list of user-agent strings from my server logs. Using this
classification (paste the Cheat Sheets table from this article, or the list
below), classify each user-agent as one of: Training, AI-search, User fetch,
or Control token (not a crawler). Flag any user-agent you don't recognize as
"unknown — verify."

Categories:
- Training: GPTBot, ClaudeBot, CCBot, Bytespider, Amazonbot, Meta-ExternalAgent,
  AI2Bot, cohere-training-data-crawler, Diffbot, Timpibot, webzio-extended
- AI-search: OAI-SearchBot, PerplexityBot, Applebot, Amzn-SearchBot
- User fetch: ChatGPT-User, Perplexity-User, Claude-User, Claude-SearchBot,
  Amzn-User, Meta-ExternalFetcher
- Control token (no crawl traffic): Google-Extended, Applebot-Extended

My user-agent list:
<paste your list here>

Yaklaşımınıza göre bir robots.txt engelleme listesi hazırlayın

Eğitim ve AI arama konusundaki yaklaşımınızı sade bir dille açıklayın ve AI’ın buna karşılık gelen robots.txt kurallarını hazırlamasını sağlayın; ardından yayımlamadan önce çıktıyı robots.txt Tester ile doğrulayın.

Draft a robots.txt block that does the following, using exact, correctly-cased
user-agent tokens for each rule (one User-agent/Disallow pair per bot, don't
combine bots under one User-agent line):

1. Block all training bots: GPTBot, ClaudeBot, CCBot, Bytespider,
   Meta-ExternalAgent, Amazonbot.
2. Also disallow the Google-Extended and Applebot-Extended control tokens
   (training/grounding opt-out only — not real crawlers).
3. Leave OAI-SearchBot and PerplexityBot allowed so AI-search visibility is
   unaffected.

Output only the robots.txt block, no explanation.

AI botlarını doğrulama ve denetleme araçları

• Googlebot Verifier — sunucu günlüğü isteklerini yapıştırarak bir “GPTBot” veya “ClaudeBot” isteğinin gerçekten ilgili işletmecinin yayımlanmış IP aralığından mı, yoksa bir taklitçiden mi geldiğini doğrulayın. Bu, What Not to Do sekmesindeki “user-agent dizesine güvenme” hatasının doğrudan çözümüdür.

• robots.txt Tester — belirli bir URL’ye belirli bir botun user-agent’ı için izin verilip verilmediğini kontrol ederek eğitim engelleme kuralının AI arama botunu da yakalamadığını doğrulayın.

• robots.txt Generator — bir yazım hatasının kuralı sessizce bozabildiği user-agent belirteçlerini elle yazmadan Scripts sekmesindeki eğitim-engelleme / AI-arama-izin kurallarını oluşturun.

• llms.txt Generator + Validator — dokümantasyon amacıyla yine de bir llms.txt dosyası istiyorsanız burada oluşturup doğrulayabilirsiniz; ancak AI arama görünürlüğünü değiştirmesini beklemeyin (What Not to Do bölümüne bakın).

Zaman ayırmaya değer kaynaklar

İlgili yazılarım

• Yeni Web Tarayıcılarıyla Tanışın: AI Botları Arama Motoru Botlarına Yaklaşıyor — Cloudflare Radar analizim; açık ara #2 tarayıcı olarak AI botları ve toplumsal sözleşme çerçevesi.
• Yaklaşık 140 Milyon Web Sitesinin En Çok Engellediği AI Botları — açık web genelinde robots.txt engelleme oranı verileri ve istek hacmi / engelleme oranı ilişkisi.
• ChatGPT, Google’ın Arama Hacminin %12’sine Sahip; Google İse 190 Kat Daha Fazla Trafik Gönderiyor — engelleme tartışmasını yönlendiren AI-arama yönlendirme farkı.
• LLM Araması İçin Optimizasyon Hakkında Gerçekte Bildiklerimiz — daha geniş GEO bağlamı.

Diğer kaynaklar

• Cloudflare: Perplexity gizli ve beyan edilmemiş tarayıcılar kullanıyor — Ağustos 2025 araştırması (bildirilen bulgular).
• Robb Knight: Perplexity AI kullanıcı aracısı hakkında yalan söylüyor — Haziran 2024 tarihli ilk araştırma.
• ai.robots.txt project — topluluk tarafından sürdürülen 150+ AI bot user-agent listesi.
• Known Agents (formerly Dark Visitors) — kapsamlı AI botu dizini.
• Cloudflare: AI bağımsızlığınızı ilan edin (tek tıkla AI botu engelleme) — Cloudflare’in tek tıklamalı “AI Scrapers and Crawlers” anahtarının duyurusu.
• Cloudflare: Yapay zekâ eğitimi için içerik kullanımını denetleme — yönetilen robots.txt, Content Signals yönergeleri ve tarama başına ödeme beta sürümünün açıklaması.
• Heise Online: Sınırsız tarayıcı — Perplexity robots.txt kurallarını yok sayıyor — Perplexity’nin robots.txt kurallarından kaçınmasına ilişkin Haziran 2024 haberi.
• Gizmodo: Perplexity AI internetin kurallarını yok saydı — robots.txt uyumluluğu tartışmasına ilişkin başka bir haber.

Alıntılanmaya değer istatistikler

• AI botları açık ara #2 tarayıcıdır. Cloudflare Radar analizime göre arama motoru botları hâlâ en çok taramayı yapıyor; ancak AI botları kesin biçimde ikinci sırada ve onları geçme yolunda. AI botlarının tüm bot isteklerindeki payı şimdiden yaklaşık 18,9% düzeyinde. Kaynak
• Engellemeyi yönlendiren yönlendirme farkı. ChatGPT, Google’ın arama hacminde anlamlı bir paya sahip olmasına rağmen Google web sitelerine ChatGPT’den yaklaşık 190 kat daha fazla trafik gönderiyor. “Toplumsal sözleşme” savının arkasındaki dengesizlik budur. Kaynak
• Tarama-yönlendirme oranları (Cloudflare, 2025). Yönlendirme ziyareti başına yaklaşık 14 Google taramasına karşılık AI tarayıcılarında çok daha yüksek oranlar görülür: yönlendirme başına binlerce OpenAI taraması ve on binlerce Anthropic taraması mertebesinde. Bu rakamlar yayıncıların bu alışverişi sorgulamasının nedenidir.
• llms.txt gerçeklik denetimi. 137 bin siteyi kapsayan bir Ahrefs araştırmasında sitelerin yaklaşık 28% kadarı bir llms.txt dosyası yayımladı; ancak bu dosyaların 97% kadarı sıfır istek aldı ve hiçbir büyük LLM sağlayıcısı bunu resmen benimsemedi. Kaynak
• Açık web genelindeki engelleme oranları. Yaklaşık 140 milyon siteyi kapsayan araştırmama göre en çok engellenen AI botları GPTBot, CCBot, ClaudeBot, Amazonbot ve Bytespider çevresinde kümeleniyor; engelleme oranları istek hacmiyle birlikte hareket ediyor. Kaynak
• Bytespider erişimi ve yaptırımı. Cloudflare Temmuz 2024’te Bytespider’ı engellemeye başlamadan önce Bytespider, Cloudflare tarafından korunan tüm web sitelerinin 40,40% kadarına erişti; sonrasında trafik 71,45% azaldı. Meta-ExternalAgent, korunan sitelerin 22,16% kadarına erişti; yalnızca GPTBot’un (28,97%) gerisindeydi. Kaynak
• AI botu trafiğindeki büyüme. Cloudflare Radar verileri, AI botu trafiğinin altı ayda 65% arttığını (2025), GPTBot isteklerinin ise Mayıs 2024 ile Mayıs 2025 arasında 305% yükseldiğini gösteriyor. Temmuz 2025 itibarıyla yeni Cloudflare alan adları bilinen AI tarayıcılarını varsayılan olarak engelliyor ve 1 milyondan fazla Cloudflare müşterisi AI botu engelleme özelliğini etkinleştirmiş durumda. Kaynak

Kendinizi sınayın: AI Tarayıcıları

Üç AI tarayıcı kategorisi ve bunlarla ilgili tuzaklar hakkında beş kısa soru. Her biri için bir yanıt seçin, ardından kontrol edin.

Değişiklik günlüğü