AI Arama Ölçüm Metodolojisi

TL;DR — Bir AI arama sonucu bir sıralama değil, tek bir örnektir. Sorunun tam metnini, nerede sorulduğunu, hangi modelin veya ürünün yanıt verdiğini, çalıştırma zamanını ve görüntülenen bağlantıları kaydedin. Aynı testi birkaç kez tekrarlayın. Başarısız çalıştırmaları paydaya katmayın; bot ziyareti, marka adı geçmesi, atıf, tıklama ve dönüşümü aynı olay saymayın.

Kayıt, puandan daha önemlidir

Neyin test edildiğini bilmiyorsanız bir “AI görünürlük puanını” yorumlamak zordur. Aynı istem; tarihe, modele, ülkeye, hesaba veya tekrar sayısına göre farklı yanıtlar üretebilir. Bu nedenle yararlı bir kayıt, gözlemin kendisiyle başlar:

• tam istem ve istemin sürümü;
• ürün, API veya resmî raporlama platformu;
• biliniyorsa istenen model ve isteği gerçekten karşılayan model;
• web üzerinden bilgi getirmenin açık, kapalı veya kullanılamaz oluşu;
• ilgili olduğunda ülke, yerel ayar, cihaz ve hesap durumu;
• tarih, örnek grubu ve tekrar numarası;
• yanıt veya izin verilen kanıtın karması;
• gözlemlenen her bahsetme ve atıf;
• gösteriliyorsa her atfı desteklediği anlaşılan pasaj;
• çıkarma ve metodoloji sürümleri.

Bir çalıştırma başarısız olduysa, reddedildiyse veya istenen veriyi göstermediyse kaydı yine de saklayın. Değeri sıfıra çevirmek yerine değerlendirilmedi olarak işaretleyin.

Birbirinden ayrı tutulması gereken beş olay

1. Getirildi: Doğrulanmış bir tarayıcı veya kullanıcı adına çalışan bir aracı bir URL istedi.
2. Getirildi veya seçildi: Sayfa, gözlemlenebilen bir bilgi getirme kümesine girdi.
3. Bahsedildi: Yanıtta varlığın adı geçti.
4. Atıf verildi: Yanıt bir kaynak URL gösterdi.
5. Ziyaret edildi veya dönüşüm sağlandı: Bir kişi bağlantıyı izleyip ölçülen bir işlemi tamamladı.

İstekte bulunan doğru biçimde doğrulandığında sunucu günlüğü ilk olayı kanıtlayabilir. Normalde diğer dört olayı kanıtlayamaz. Bir yanıt kaydı görünür bir bahsetmeyi veya atfı kanıtlayabilir; ancak sistemin içeride getirip kullandığı bütün kaynakları gösteremez.

Değişiklik önermeden önce testi tekrarlayın

Bir kararlılık etiketi vermeden önce karşılaştırılabilir istemleri en az üç kez çalıştırın; beş tekrar daha iyi bir varsayılandır. Sonucu yalnızca “%60 görünürlük” diye sunmak yerine değerlendirmeye uygun 5 yanıtın 3’ü sayfaya atıf verdi gibi tam bir kesirle gösterin.

Bir atıf bir kez görünüp iki kez kayboluyorsa ilk doğru yorum değişkenliktir. Bu durum kendiliğinden bir dizine ekleme sorunu veya ceza anlamına gelmez.

Değerlendirmeye uygun paydaların, atıf sürekliliğinin, pasaj kapsamının ve olgu çelişkilerinin nasıl ayrı tutulduğunu görmek için örnek paketiyle birlikte AI Arama Kanıt Laboratuvarı’nı deneyin.

TL;DR — Yalnızca ekleme yapılan bir gözlem sözleşmesi ve sürümlü bir istem kayıt sistemi kullanın. Yalnızca istem, platform, bilgi getirme modu, yerel ayar ve yöntem bakımından karşılaştırılabilir panelleri kıyaslayın. İkili sonuçları N değeri ve bir belirsizlik aralığıyla raporlayın. Ham kanıtı, türetilmiş sınıflandırıcılardan ve insan düzeltmelerinden ayrı saklayın. Daha geniş kapsamlı NIST AI Risk Management Framework, bu kayıt düzenini tamamlayan bir yönetişim çerçevesi sunar. Müdahaleleri mümkün olduğunda kontrol gruplarıyla değerlendirin; ancak kontrollü gözlemsel sonuçları bile yalnızca yön gösterici kabul edin.

Gözlem zarfı

Standart gözlem dört katman içermelidir:

Veri edinme

Kaynak türünü açıkça kaydedin:

• tüketici ürünü;
• birinci taraf model API’si;
• web araması kullanan birinci taraf API;
• üçüncü taraf sağlayıcı;
• resmî web yöneticisi raporu;
• doğrulanmış sunucu günlüğü;
• kullanıcı yüklemesi.

Arama kullanan birinci taraf API çağrısı, o API çalıştırmasına ilişkin yararlı kanıttır. Benzer ad taşıyan bir tüketici ürününün doğrudan ölçümü değildir. Bu sınırı depolamada, arayüz etiketlerinde, dışa aktarımlarda ve toplu ölçümlerde koruyun.

Deney bağlamı

Kararlı bir istem kimliği, değiştirilemez istem sürümü, istem karması, platform, bilgi getirme modu, yerel ayar, ülke, cihaz, hesap durumu, örnek grubu ve örnek sıra numarası saklayın. Eğilimleri ölçmek için dondurulmuş bir kıyaslama paneli, yeni istem örüntülerini keşfetmek için ayrı bir keşif paneli kullanın.

Bir istem değiştiğinde yeni bir sürüm oluşturun. Geçmiş gözlemleri sonradan düzenleyip karşılaştırılabilir görünmelerini sağlamayın.

Kanıt

Ham veya karması alınmış yanıt kanıtını; normalleştirilmiş atıf ve bilgi getirme URL’lerini; bahsetme aralıklarını; gösteriliyorsa atıf konumlarını ve kaynaklara dayandırma sorgularını; destekleyici pasajları veya pasaj karmalarını saklayın. İzleme parametrelerini ve URL parçalarını normalleştirirken özgün URL’yi atmayın.

Atıflar için yararlı bir kaynak kaydı şunları içerir:

raw URL → normalized URL → observed canonical or redirect successor
        → answer citation position → supporting passage → observed HTTP status

Bu soy zinciri; yönlendirmelerin, parametrelerin, ortak yayınlanan kopyaların ve taşınmaların kaynak sayılarını şişirmesini önler. Google’ın kanonikleştirme rehberi, ilgili URL birleştirme sinyallerini ve bunların sınırlarını açıklar.

Yorumlama

Çıkarılan her bahsetme, duygu, varlık, olgu ve kayıp nedeni şunları içermelidir:

• sınıflandırıcı veya çıkarıcı sürümü;
• gözlemlendi, türetildi, çıkarım yapıldı veya değerlendirilmedi durumu;
• güven düzeyi ve gerekçesi;
• daha sonra yapılan insan düzeltmeleri.

Bir düzeltme, özgün sınıflandırmayı silmez. Bir sonraki sınıflandırıcı sürümünü değerlendirmek için bir kalibrasyon örneğine dönüşür.

Karşılaştırılabilir ölçümler

Bir eğilim hesaplamadan önce şu değerlerin karşılaştırılabilir olmasını şart koşun:

• istem kimliği ve sürümü;
• platform;
• bilgi getirme modu;
• yerel ayar;
• metodoloji ve çıkarıcı sürümleri.

İsteği gerçekten karşılayan model veya model kontrol noktası değiştiğinde seriye açıklama ekleyin ya da seriyi bölün. Aksi hâlde sağlayıcı güncellemesi, içerik performansındaki bir değişiklik gibi görünebilir.

İkili bir sonuç için payı, değerlendirmeye uygun paydayı, nokta tahminini ve belirsizlik aralığını raporlayın. Retleri, sağlayıcı hatalarını ve kullanılamayan kanıtları paydadan çıkarın; ancak çalışma kalitesi raporunda sayılarını göstermeye devam edin.

Herkese açık platform örnekleri

Bu örnekler, platformları ortak bir sıralamaya zorlamak için değil, kaynağa özgü sözleşmelerin neden gerekli olduğunu göstermek için verilmiştir:

• Google’ın Search Console üretken AI raporuna ilişkin herkese açık açıklaması; gösterimleri, sayfaları, ülkeleri, cihazları ve tarihleri listeler. Bunları belgelenmiş görünürlük alanları olarak saklayın; atfa veya yanıt sırasına dönüştürmeyin. Raporun Haziran 2026’da sınırlı kullanıma sunulacağı duyuruldu. Resmî duyuru
• Microsoft’un Bing Webmaster Tools AI Performance açıklaması; atıf etkinliğini, atıf verilen sayfaları ve örneklenmiş kaynaklara dayandırma sorgularını içerir. Microsoft, bu atıfların bir sayfanın yanıttaki konumunu, otoritesini, sırasını veya rolünü göstermediğini açıkça belirtir. Resmî duyuru

Her kaynağın bağdaştırıcısı bu anlamları korumalı ve belgelenmemiş alanları kullanılamaz olarak işaretlemelidir.

İçerik değişikliği deneyleri

Bir düzenlemeyi değerlendirmeden önce müdahale kaydı oluşturun:

• hipotez;
• etkilenen URL’ler ve kontrol URL’leri;
• istem kimlikleri;
• dağıtım zamanı;
• gözlemlenen yeniden tarama zamanı;
• beklenen ölçüm;
• önceki ve sonraki dönemler.

Kontrolsüz bir önce-sonra sonucu yalnızca yön göstericidir. Karşılaştırılabilir bir kontrol paneli, farkların farkı yaklaşımına izin verir; ancak atama biçimi ve dış koşullar daha güçlü bir nedensellik dili kullanmayı haklı çıkarmıyorsa sonuç yine gözlemseldir.

Bir bulguyu içerik önerisine dönüştürmeden önce tekrarlanan çalıştırmalarda kalıcı olmasını şart koşun. Öneri, kendisini üreten gözlemlere geri bağlanmalıdır.

Olgu ve çelişki izleme

Varlığı, yüklemi, beklenen değeri, kabul edilebilir değişkeleri, birincil kaynağı, geçerlilik tarihlerini, hassasiyeti ve son insan doğrulamasını içeren; insanlarca incelenmiş bir olgu kaydı tutun. Gözlemlenen yanıt iddialarını bu kayıtla karşılaştırın.

Modeller uyuşmadığında çelişki gözlemlendi diye raporlayın. Değerler güncel kanıtlarla denetlenmeden bir kazanan ilan etmeyin. Fiyat, hukuk, tıp, finans ve güvenlikle ilgili olgular daha kısa doğrulama dönemleri ve daha sıkı inceleme kapıları gerektirir.

Tarayıcı kanıtı

Tarayıcı denetimleri isteğin amacına göre değişir. OpenAI, Anthropic ve Perplexity; model geliştirme, arama/dizine ekleme ve kullanıcı yönlendirmeli getirme için ayrı roller belgeler. Kimliği, mümkün olduğunda işletmecinin yayımladığı IP listesiyle, belgelenmiş ters DNS yöntemiyle veya başka bir resmî yöntemle doğrulayın; yalnızca user-agent dizesi kimlik kanıtı değildir.

• OpenAI tarayıcı belgeleri
• Anthropic tarayıcı belgeleri
• Perplexity tarayıcı belgeleri

Doğrulanmış bir istek bile yalnızca o isteği kanıtlar. Bunu yanıtta kullanım, atıf, trafik veya dönüşüm kanıtı olarak göstermeyin. OpenAI’ın bot belgeleri, Anthropic’in tarayıcı rehberi ve Perplexity’nin tarayıcı belgeleri, sağlayıcıya özgü kimlik ve erişim sınırlarını açıklar.

Kaçınılması gereken yaklaşımlar

• Platformlar arasındaki uyuşmazlığı gizleyen evrensel bir puan.
• Tek bir istem çalıştırmasını ses payı diye etiketlemek.
• Kullanılamayan kanıtı sıfır kabul etmek.
• API çıktısıyla tüketici ürününü aynıymış gibi karşılaştırmak.
• Atıflara “sıralama” demek.
• Yönlendirmeleri ve taşınmaları denetlemeden bir 404 atfına halüsinasyon demek.
• Geçmiş istemleri, gözlemleri veya düzeltmeleri yeniden yazmak.
• Sürümünü korumadan bir sınıflandırıcı değişikliğini geçmişe dönük uygulamak.
• Uygun bir deney yapmadan içerik düzenlemesinin artışa neden olduğunu iddia etmek.
• llms.txt, özel AI işaretlemesi veya çok küçük parçaları Google’ın tüm siteler için geçerli gereksinimleri olarak önermek. Google’ın güncel rehberi, üretken Arama özellikleri için bunların gerekli olmadığını belirtir. Resmî rehber

Değişiklik günlüğü