AI Search Evidence Lab
Turn repeated AI-answer captures into evidence you can audit: exact denominators, citation persistence, topic-specific source patterns, prompt coverage, fact conflicts, URL failures, and bounded intervention results.
Example data — fabricated observations that demonstrate repeated citations, a broken URL, a fact conflict, and a correction.
Bundled methodology and source registries last verified Jul 28, 2026.
Runs entirely in your browser — nothing you paste is uploaded, and data is saved locally only when you explicitly choose the browser-save action. Clear saved removes that browser copy without changing the text currently in the editor. Anonymous run-level outcome counters may be used for aggregate research; URLs, domains, IPs, and identifiers are never included, and no statistic is released below 100 runs.
Site passport Local context for this saved site
Local data
Saved targets, named lists, and recent check summaries remain only in this browser.
Rate this tool
What this adds to AI-search measurement
- Observation provenance: exact prompt version, surface, model/checkpoint, retrieval mode, sample group, date, and extraction method.
- Passage-level evidence: distinguish a known cited URL from a citation whose supporting passage was actually captured.
- Repeatability: persistence and 95% Wilson intervals instead of a single-run visibility label.
- Source influence: repeated citations grouped by normalized domain, with prompt and surface breadth shown separately.
- Correction fixtures: human overrides remain attached to the original observation and classifier version.
- Intervention discipline: before/after panels remain directional unless compatible control evidence exists.
Packet structure
The top-level object accepts observations, corrections, and interventions. Historical records should be append-only. Change a prompt by creating a new version; change a classifier or denominator by creating a new methodology version. Do not rewrite earlier captures.
Required observation fields
id, capturedAt, promptId, promptVersion, sampleGroup, sampleOrdinal, source, provider, surface, retrievalMode, evaluationState, extractorVersion, methodologyVersion, evidenceState
How to use it
- Capture repeated answers under the same prompt version, surface, retrieval mode, locale, and methodology.
- Include citations and their passages when the source exposes them. Use a passage hash when retention rules prevent storing the text.
- Paste or upload the normalized packet and review excluded observations before reading rates.
- Investigate fact conflicts and broken URLs manually. A conflict shows disagreement, not which value is correct.
- When evaluating an edit, preserve the deployment and recrawl dates and add a comparable control panel when possible.
Limitations
The lab analyzes supplied evidence; it cannot see undisclosed retrieval, internal ranking, cached context, or every answer shown to every user. Citation frequency is not rank, authority, causal influence, traffic, or conversion. A verified crawler request proves that request, not later use in an answer. Human corrections are counted but never silently rewrite raw evidence.
Frequently asked questions
Does this query AI systems for me?
No. It analyzes observation packets you already captured or exported. Keeping acquisition separate prevents an API execution from being mislabeled as a consumer-product result.
What counts in the denominator?
Only evaluated observations with usable evidence. Refusals, provider failures, and not-evaluated records remain visible but do not become zeroes.
How many repeats do I need?
The ai-search-evidence-v1 contract requires at least three compatible observations before applying a stability label and prefers five. Even then, the result is a sample, not a universal rank.
How does the topic-specific source map work?
Add version-matched prompt records with topic labels. The report groups observed citation domains by those supplied labels and preserves citation appearances, distinct prompt breadth, surface breadth, and captured-passage counts. It does not infer topical authority.
Does a before-and-after increase prove my edit caused it?
No. An uncontrolled change is directional evidence. A compatible control panel makes the inference stronger, but the tool still avoids causal language.
Is pasted data uploaded or stored?
Analysis runs in your browser. Nothing is saved unless you explicitly choose Save in this browser; you can clear that local copy at any time.
Feature requests for Ai Search Evidence Lab
Upvote what you want most. New ideas can be submitted from the floating Feedback menu; requests appear here once approved, and the most-wanted rise to the top.
You won't be emailed about that request anymore.
Loading…
➕ Request a feature
New requests are reviewed before they appear here.
Araç hakkında
Tekrarlanan AI cevap yakalamalarını inceleyin: alıntı kararlılığı, konuya özgü kaynak desenleri, prompt kapsamı, çelişen gerçekler, URL hataları ve sınırlı müdahale sonuçlarını aynı laboratuvarda karşılaştırın.
Yakalamalarınızı kanıt kaynağı ve tarihleriyle yükleyin; araç bir modelin gelecekteki yanıtını tahmin etmez, mevcut gözlemleri düzenler.
Özellikler
- Aynı veya benzer prompt'ların tekrarlarında kaynak ve alıntı kararlılığı.
- Konu, model ve prompt kapsamına göre kaynak desenleri ile eksik kapsama görünümü.
- Cümle gerçekleri arasındaki çatışma, başarısız URL ve kaynağa erişim sinyalleri.
- Sınırlı bir içerik veya kaynak müdahalesi öncesi/sonrası sonuç karşılaştırması.
Nasıl çalışır
AI cevap yakalamalarını model, prompt, tarih ve kaynak bilgisiyle içe aktarın. Önce tekrarlar arasındaki alıntı kararlılığını, sonra konu kaynak desenlerini ve çelişkileri inceleyin. URL hatalarını düzeltin, sınırlı müdahalenin kapsamını kaydedin ve yeni yakalamaları aynı şemayla karşılaştırın.
Sınırlamalar
- Laboratuvar yalnızca yüklediğiniz yakalamaları analiz eder; örneklem dışındaki modelleri, prompt'ları veya cevapları temsil etmez.
- Müdahale sonucu nedensel kanıt değildir. Model güncellemesi, retrieval değişimi ve prompt farkı aynı anda etkili olabilir.
Sık sorulan sorular
Alıntı kararlılığı nasıl ölçülür?
Aynı veya benzer prompt tekrarlarında görünen kaynak ve alıntıları karşılaştırır. Yüksek tekrar oranı gelecekteki her cevapta aynı kaynağın kullanılacağını garanti etmez.
Kaynak deseni neyi gösterir?
Belirli bir konuda hangi alan, URL veya kaynak türlerinin yakalamalarda tekrarlandığını gösterir. Bu, modelin gizli sıralama nedenini açıklayan kesin bir kural değildir.
Gerçek çatışması bulursam ne yapmalıyım?
Çatışan cümleleri ve kaynak tarihlerini yan yana inceleyin, birincil kaynağı doğrulayın ve düzeltme kararını insan incelemesiyle kaydedin.
Bir müdahalenin etkisini kanıtlar mı?
Hayır. Önce/sonra farkını gösterir ancak model, retrieval ve prompt değişimleri de sonucu etkileyebilir. Müdahaleyi sınırlı deney olarak raporlayın.
URL hatası neden önemlidir?
Kırık veya erişilemeyen kaynak alıntının doğrulanmasını engeller. Hatalı URL'yi düzeltin, yanıtı tekrar alın ve yeni yakalamada kaynak kanıtını kontrol edin.