AI 검색 측정 방법론

요약 — AI 검색 결과는 순위가 아니라 표본입니다. 정확한 질문, 질문한 위치, 답변한 모델 또는 제품, 실행 시점, 표시된 링크를 저장하세요. 같은 검사를 여러 번 반복해야 합니다. 실패한 실행은 분모에서 제외하고, 봇 방문, 브랜드 언급, 인용, 클릭, 전환을 같은 사건으로 취급하지 마세요.

점수보다 기록이 중요합니다

무엇을 검사했는지 알 수 없다면 “AI 가시성 점수”를 해석하기 어렵습니다. 같은 프롬프트라도 날짜, 모델, 국가, 계정, 반복 실행에 따라 다른 답변을 만들 수 있습니다. 따라서 유용한 기록은 다음 관찰 정보에서 시작합니다.

• 정확한 프롬프트와 그 버전
• 제품, API 또는 공식 보고 화면
• 알 수 있는 경우 요청한 모델과 실제 사용된 모델
• 웹 검색이 켜짐, 꺼짐, 이용 불가 중 어떤 상태였는지
• 관련 있는 경우 국가, 로케일, 기기, 계정 상태
• 날짜, 표본 그룹, 반복 번호
• 답변 또는 허용된 근거 해시
• 관찰된 모든 언급과 인용
• 공개된 경우 각 인용을 뒷받침하는 것으로 보이는 구절
• 추출 방식과 방법론 버전

실행에 실패했거나 답변을 거부했거나 요청한 데이터를 공개하지 않았더라도 기록은 보존하세요. 이를 0으로 바꾸지 말고 평가하지 않음으로 표시합니다.

구분해야 하는 다섯 가지 사건

1. 가져옴: 검증된 크롤러 또는 사용자가 지시한 에이전트가 URL을 요청했습니다.
2. 검색 또는 선택됨: 페이지가 관찰 가능한 검색 후보 집합에 들어갔습니다.
3. 언급됨: 답변이 해당 엔티티의 이름을 포함했습니다.
4. 인용됨: 답변에 출처 URL이 표시되었습니다.
5. 방문 또는 전환: 사람이 링크를 따라가 측정 가능한 행동을 완료했습니다.

요청자를 올바르게 검증했다면 서버 로그로 첫 번째 사건을 입증할 수 있습니다. 보통 나머지 네 가지는 입증할 수 없습니다. 답변 캡처는 화면에 보이는 언급이나 인용을 입증할 수 있지만, 시스템이 내부적으로 가져오거나 사용한 모든 출처를 보여주지는 않습니다.

변경을 권고하기 전에 반복하세요

안정성 라벨을 붙이기 전에 호환되는 프롬프트를 최소 세 번 실행하세요. 기본값으로는 다섯 번이 더 좋습니다. 결과는 단순히 “가시성 60%”라고 하지 말고 평가 가능한 답변 5개 중 3개가 페이지를 인용함처럼 정확한 분수로 표시하세요.

인용이 한 번 나타나고 두 번 사라졌다면 처음에는 변동성으로 해석하는 것이 맞습니다. 이를 자동으로 색인 문제나 불이익으로 판단해서는 안 됩니다.

AI 검색 근거 연구소에 포함된 예시 패킷을 사용해 평가 가능한 분모, 인용 지속성, 구절 범위, 사실 충돌을 서로 분리하는 방식을 확인해 보세요.

요약 — 추가만 가능한 관찰 계약과 버전이 있는 프롬프트 레지스트리를 사용하세요. 프롬프트·화면·검색 모드·로케일·방법이 호환되는 패널끼리만 비교합니다. 이진 결과에는 표본 수와 불확실성 구간을 함께 보고하세요. 원시 근거를 파생 분류기 및 사람의 수정 사항과 분리해 보존합니다. 더 넓은 NIST AI 위험 관리 프레임워크는 이러한 기록 관리에 보완적인 거버넌스 틀을 제공합니다. 가능하면 대조군을 사용해 개입을 평가하되, 통제된 관찰 결과도 방향성을 나타내는 것으로 다루세요.

관찰 데이터의 외피

표준 관찰 기록은 네 계층을 포함해야 합니다.

획득

출처 유형을 명시적으로 기록하세요.

• 소비자용 제품
• 모델 제공사의 공식 API
• 웹 검색이 포함된 제공사 공식 API
• 제3자 제공업체
• 공식 웹마스터 보고서
• 검증된 서버 로그
• 사용자 업로드

검색이 포함된 제공사 공식 API 호출은 해당 API 실행에 관한 유용한 근거입니다. 이름이 비슷한 소비자용 제품을 직접 측정한 것은 아닙니다. 저장소, UI 라벨, 내보내기, 집계에서 이 경계를 보존하세요.

실험 맥락

안정적인 프롬프트 ID, 변경할 수 없는 프롬프트 버전, 프롬프트 해시, 사용 화면, 검색 모드, 로케일, 국가, 기기, 계정 상태, 표본 그룹, 표본 순번을 저장하세요. 추세에는 고정된 벤치마크 패널을 사용하고, 새로운 프롬프트 패턴을 찾는 탐색 패널은 별도로 운영합니다.

프롬프트가 바뀌면 새 버전을 만드세요. 과거 관찰 기록을 수정해 서로 호환되는 것처럼 보이게 하지 마세요.

근거

원시 또는 해시 처리된 답변 근거, 정규화된 인용·검색 URL, 언급 범위, 공개된 경우 인용 위치와 근거 검색어, 뒷받침하는 구절 또는 구절 해시를 보존하세요. 원본 URL을 버리지 않으면서 추적 매개변수와 URL 조각을 정규화합니다.

인용 출처 기록에는 다음 계보가 유용합니다.

원시 URL → 정규화 URL → 관찰된 표준 URL 또는 리디렉션 후속 URL
         → 답변 내 인용 위치 → 뒷받침 구절 → 관찰된 HTTP 상태

이 계보는 리디렉션, 매개변수, 재배포 사본, 마이그레이션으로 인해 출처 수가 부풀려지는 것을 막습니다. Google의 표준 URL 지정 안내는 관련 URL 통합 신호와 그 한계를 설명합니다.

해석

추출된 모든 언급, 감성, 엔티티, 사실, 손실 사유에는 다음 정보를 포함해야 합니다.

• 분류기 또는 추출기 버전
• 관찰됨, 파생됨, 추론됨, 평가하지 않음 상태
• 신뢰도와 그 근거
• 이후 사람이 수정한 내용

수정이 원래 분류를 삭제해서는 안 됩니다. 수정 결과는 다음 분류기 버전을 평가하는 보정 픽스처가 됩니다.

호환되는 비교

추세를 계산하기 전에 다음 값이 호환되는지 확인하세요.

• 프롬프트 ID와 버전
• 사용 화면
• 검색 모드
• 로케일
• 방법론 및 추출기 버전

실제로 사용된 모델이나 체크포인트가 바뀌면 계열에 주석을 달거나 구간을 나누세요. 그렇지 않으면 제공업체 업데이트가 콘텐츠 성과 변화처럼 보일 수 있습니다.

이진 결과는 분자, 평가 가능한 분모, 점 추정치, 불확실성 구간을 함께 보고하세요. 답변 거부, 제공업체 장애, 이용할 수 없는 근거는 분모에서 제외하되 실행 품질에는 각각의 수를 계속 표시합니다.

공개 플랫폼 사례

다음은 플랫폼을 하나의 공통 순위로 억지로 맞추라는 뜻이 아니라, 출처별 계약이 필요한 이유를 보여주는 사례입니다.

• Google이 공개한 Search Console 생성형 AI 보고서 설명에는 노출, 페이지, 국가, 기기, 날짜가 포함됩니다. 이를 문서화된 가시성 필드로 저장하고 인용이나 답변 순위로 변환하지 마세요. 이 보고서는 2026년 6월 제한적으로 출시한다고 발표되었습니다. 공식 발표
• Microsoft가 공개한 Bing Webmaster Tools AI Performance 설명에는 인용 활동, 인용된 페이지, 표본화된 근거 검색어가 포함됩니다. Microsoft는 이러한 인용이 답변 내 위치, 권위, 순위 또는 페이지의 역할을 나타내지 않는다고 명시합니다. 공식 발표

각 출처의 어댑터는 해당 의미를 보존하고 문서화되지 않은 필드는 이용 불가로 표시해야 합니다.

콘텐츠 변경 실험

수정 결과를 판단하기 전에 개입 기록을 만드세요.

• 가설
• 영향을 받는 URL과 대조 URL
• 프롬프트 ID
• 배포 시점
• 관찰된 재크롤링 시점
• 기대 지표
• 변경 전후 기간

통제하지 않은 변경 전후 결과는 방향성만 나타냅니다. 호환되는 대조 패널을 사용하면 이중차분 관점으로 볼 수 있지만, 배정 방식과 외부 조건이 더 강한 인과 표현을 정당화하지 않는 한 여전히 관찰 연구입니다.

콘텐츠 변경을 권고하기 전에 반복 실행에서 결과가 지속되는지 확인하세요. 권고에는 그 결론을 만든 관찰 기록을 연결해야 합니다.

사실 및 모순 모니터링

엔티티, 술어, 예상 값, 허용 가능한 변형, 1차 출처, 유효 기간, 민감도, 마지막 사람 검증 시점을 포함하는 사람 검토 사실 원장을 유지하세요. 관찰한 답변의 주장을 이 원장과 비교합니다.

모델끼리 의견이 다르면 충돌 관찰됨이라고 보고하세요. 현재 근거와 대조하기 전에는 어느 쪽이 맞는지 선언하지 마세요. 가격, 법률, 의료, 금융, 보안 사실은 검증 기간을 더 짧게 하고 검토 기준을 더 엄격하게 적용해야 합니다.

크롤러 근거

크롤러 제어는 요청 목적에 따라 다릅니다. OpenAI, Anthropic, Perplexity는 모델 개발, 검색·색인, 사용자 지시 가져오기에 서로 다른 역할을 문서화합니다. 가능한 경우 운영자가 공개한 IP 목록, 문서화된 역방향 DNS 또는 다른 공식 메커니즘으로 신원을 확인하세요. 사용자 에이전트 문자열만으로는 신원을 입증할 수 없습니다.

• OpenAI 크롤러 문서
• Anthropic 크롤러 문서
• Perplexity 크롤러 문서

검증된 요청도 그 요청 하나만 입증합니다. 이를 답변 사용, 인용, 트래픽, 전환의 근거로 확대하지 마세요. OpenAI의 봇 문서, Anthropic의 크롤러 안내, Perplexity의 크롤러 문서는 제공업체별 신원 및 접근 경계를 설명합니다.

피해야 할 패턴

• 화면 간 불일치를 숨기는 보편적 점수
• 한 번 실행한 프롬프트를 점유율이라고 표시하는 것
• 이용할 수 없는 근거를 0으로 처리하는 것
• API 출력과 소비자용 제품을 동일한 것으로 비교하는 것
• 인용을 “순위”라고 부르는 것
• 리디렉션과 마이그레이션을 확인하기 전에 404 인용을 환각이라고 부르는 것
• 과거 프롬프트, 관찰, 수정 기록을 다시 쓰는 것
• 버전을 보존하지 않고 분류기 변경을 과거 기록에 소급 적용하는 것
• 적절한 실험 없이 콘텐츠 수정이 증가를 일으켰다고 주장하는 것
• llms.txt, 특수 AI 마크업, 아주 작은 콘텐츠 조각을 Google의 보편적 요구사항으로 권고하는 것. Google의 현재 안내는 생성형 검색 기능에 이러한 요소가 필요하지 않다고 설명합니다. 공식 안내

변경 내역