AI 검색 근거 실험실

Turn repeated AI-answer captures into evidence you can audit: exact denominators, citation persistence, topic-specific source patterns, prompt coverage, fact conflicts, URL failures, and bounded intervention results.

Built by Patrick Stox

Observation packet (JSON)

{
  "prompts": [
    {
      "id": "technical-seo-tools",
      "version": "1",
      "text": "Which tools help diagnose technical SEO issues?",
      "status": "frozen_benchmark",
      "origin": "editorial",
      "intent": "recommendation",
      "topics": [
        "technical-seo",
        "tools"
      ],
      "locale": "en-US"
    }
  ],
  "observations": [
    {
      "id": "example-1",
      "capturedAt": "2026-07-01T12:00:00Z",
      "promptId": "technical-seo-tools",
      "promptVersion": "1",
      "promptText": "Which tools help diagnose technical SEO issues?",
      "sampleGroup": "example-week",
      "sampleOrdinal": 1,
      "source": "first_party_api",
      "provider": "example-provider",
      "surface": "model-api-with-search",
      "requestedModel": "example-model",
      "requestedModelVersion": "2026-06",
      "resolvedModel": "example-model",
      "resolvedModelVersion": "2026-06",
      "retrievalMode": "on",
      "evaluationState": "evaluated",
      "answerHash": "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa",
      "citations": [
        {
          "url": "https://example.com/technical-seo/?utm_source=sample",
          "passage": "The guide includes crawl, indexing, and rendering checks.",
          "observedHttpStatus": 200,
          "state": "observed"
        }
      ],
      "mentions": [
        {
          "entity": "Example Tool",
          "span": "Example Tool",
          "sentiment": "positive",
          "state": "observed"
        }
      ],
      "facts": [
        {
          "entity": "Example Tool",
          "predicate": "price",
          "value": "Free",
          "state": "derived"
        }
      ],
      "extractorVersion": "extractor-v1",
      "methodologyVersion": "ai-search-evidence-v1",
      "evidenceState": "observed",
      "confidence": "high"
    },
    {
      "id": "example-2",
      "capturedAt": "2026-07-02T12:00:00Z",
      "promptId": "technical-seo-tools",
      "promptVersion": "1",
      "sampleGroup": "example-week",
      "sampleOrdinal": 2,
      "source": "first_party_api",
      "provider": "example-provider",
      "surface": "model-api-with-search",
      "requestedModel": "example-model",
      "requestedModelVersion": "2026-06",
      "resolvedModel": "example-model",
      "resolvedModelVersion": "2026-06",
      "retrievalMode": "on",
      "evaluationState": "evaluated",
      "answerHash": "bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb",
      "citations": [
        {
          "url": "https://example.com/technical-seo/",
          "passageHash": "cccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccccc",
          "observedHttpStatus": 200,
          "state": "observed"
        },
        {
          "url": "https://other.example.org/invented-study",
          "observedHttpStatus": 404,
          "state": "observed"
        }
      ],
      "mentions": [
        {
          "entity": "Example Tool",
          "span": "Example Tool",
          "sentiment": "neutral",
          "state": "observed"
        }
      ],
      "facts": [
        {
          "entity": "Example Tool",
          "predicate": "price",
          "value": "$9/month",
          "state": "derived"
        }
      ],
      "extractorVersion": "extractor-v1",
      "methodologyVersion": "ai-search-evidence-v1",
      "evidenceState": "observed",
      "confidence": "high"
    },
    {
      "id": "example-3",
      "capturedAt": "2026-07-03T12:00:00Z",
      "promptId": "technical-seo-tools",
      "promptVersion": "1",
      "sampleGroup": "example-week",
      "sampleOrdinal": 3,
      "source": "first_party_api",
      "provider": "example-provider",
      "surface": "model-api-with-search",
      "requestedModel": "example-model",
      "requestedModelVersion": "2026-06",
      "resolvedModel": "example-model",
      "resolvedModelVersion": "2026-06",
      "retrievalMode": "on",
      "evaluationState": "evaluated",
      "answerHash": "dddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddddd",
      "citations": [
        {
          "url": "https://example.com/technical-seo/",
          "passage": "The guide includes crawl, indexing, and rendering checks.",
          "observedHttpStatus": 200,
          "state": "observed"
        }
      ],
      "mentions": [],
      "facts": [],
      "extractorVersion": "extractor-v1",
      "methodologyVersion": "ai-search-evidence-v1",
      "evidenceState": "observed",
      "confidence": "high"
    }
  ],
  "corrections": [
    {
      "id": "example-correction",
      "observationId": "example-2",
      "target": "fact",
      "targetKey": "Example Tool|price",
      "priorValue": "$9/month",
      "correctedValue": "Free",
      "reason": "Matched the wrong product tier.",
      "correctedAt": "2026-07-05T12:00:00Z",
      "correctedBy": "human-reviewer",
      "classifierVersion": "extractor-v1"
    }
  ],
  "interventions": [
    {
      "id": "example-update",
      "hypothesis": "Adding original crawl examples increases citation persistence.",
      "deployedAt": "2026-07-03T00:00:00Z",
      "affectedUrls": [
        "https://example.com/technical-seo/"
      ],
      "promptIds": [
        "technical-seo-tools"
      ],
      "expectedMetric": "citation_rate"
    }
  ]
}

Bundled methodology and source registries last verified 2026년 7월 28일.

전체 과정이 브라우저에서 실행되며 아무것도 업로드되지 않습니다. 브라우저 저장 동작을 명시적으로 선택한 경우에만 데이터가 로컬에 저장됩니다. Clear saved removes that browser copy without changing the text currently in the editor. 익명 실행별 결과 계수는 종합 연구에 사용될 수 있습니다. URL, 도메인, IP 및 식별자는 절대 포함되지 않으며 100회 미만의 실행에 대한 통계는 공개하지 않습니다.

피드백

로컬 데이터

저장된 대상, 이름 있는 목록 및 최근 검사 요약은 이 브라우저에만 남습니다.

이 도구 정보

반복 수집한 AI 답변 기록을 이용해 citation stability, 주제별 source pattern, prompt coverage, fact conflict, URL failure와 제한된 intervention 결과를 분석합니다. 관찰, 수정, methodology version과 제외 데이터를 분리해 rate의 분모를 투명하게 유지합니다.

한 번의 답변은 visibility 측정이 아닙니다. 반복 표본과 Wilson interval은 방향을 더 분명히 하지만 재현 가능한 연구를 대신하지 않습니다.

기능

answer, citation, source, prompt와 run metadata를 포함한 정규화 observation packet
citation stability, prompt coverage, fact conflict, URL failure와 source pattern rate
single-run label 대신 95% Wilson interval과 persistence 표시
compatible control, exclusion log와 로컬 저장이 포함된 intervention 전후 비교

작동 방식

정규화 packet을 붙여 넣거나 업로드하고 먼저 제외된 observation을 확인합니다. prompt, classifier와 denominator version을 고정해 rate와 Wilson interval을 계산하고 compatible control이 있을 때만 intervention을 비교합니다. 과거 기록은 수정하지 않고 correction을 append합니다.

제한사항

입력은 반복 가능한 정규화 관찰을 포함해야 하며 하나의 prompt 또는 provider로 전체 AI visibility를 판단할 수 없습니다.
호환 가능한 control이 없는 intervention 결과는 방향성일 뿐 causal effect estimate가 아닙니다.
제공된 데이터를 분석할 뿐 AI provider를 직접 호출하거나 source의 진실성 또는 모든 URL을 live로 확인하지 않습니다.

자주 묻는 질문

AI 시스템에 대신 질의하나요?

아니요. 사용자가 이미 수집하거나 내보낸 관찰 패킷을 분석합니다. 수집과 분석을 분리하면 API 실행을 소비자 제품 결과로 잘못 표시하지 않게 됩니다.

분모에는 무엇이 포함되나요?

사용 가능한 근거가 있는 평가된 관찰만 포함됩니다. 거부, 제공업체 실패, 평가되지 않은 기록은 계속 표시되지만 0으로 계산하지 않습니다.

반복 관찰은 몇 번 필요한가요?

${methodology.version} 계약은 안정성 라벨을 적용하기 전에 호환되는 관찰을 최소 3개 요구하고 5개를 권장합니다. 그래도 결과는 표본이며 보편적인 순위가 아닙니다.

주제별 출처 지도는 어떻게 작동하나요?

버전이 맞고 주제 라벨이 있는 프롬프트 기록을 추가하세요. 보고서는 제공된 라벨별로 관찰된 인용 도메인을 묶고 인용 등장 횟수, 서로 다른 프롬프트 범위, 노출면 범위, 캡처된 구절 수를 유지합니다. 주제 권위를 추론하지 않습니다.

변경 전후 증가가 내 수정의 효과를 입증하나요?

아니요. 통제되지 않은 변화는 방향성 근거입니다. 호환되는 대조 패널이 있으면 추론은 강해지지만 도구는 여전히 인과관계를 단정하지 않습니다.

붙여 넣은 데이터가 업로드되거나 저장되나요?

분석은 브라우저에서 실행됩니다. 이 브라우저에 저장을 명시적으로 선택하지 않으면 저장하지 않으며 로컬 사본은 언제든 지울 수 있습니다.

다음 단계인용 가능성 및 엔터티 보존 재작성기 — generate the corrected version. 안내는 영어로 제공됩니다.

함께 살펴보는 콘텐츠

도구AI 인용 준비도 검사기 도구인용 격차 검사기 도구AI 콘텐츠 감사