Metodologia pomiaru wyszukiwania AI

TL;DR — Wynik wyszukiwania AI jest próbką, a nie rankingiem. Zapisz dokładne pytanie, miejsce jego zadania, model lub produkt, który odpowiedział, czas wykonania oraz wyświetlone linki. Powtórz ten sam test kilka razy. Wyłącz nieudane przebiegi z mianownika i nie traktuj wizyty bota, wzmianki o marce, cytowania, kliknięcia i konwersji jako tego samego zdarzenia.

Rejestr ma większe znaczenie niż wynik

„Wynik widoczności AI” trudno zinterpretować, gdy nie wiadomo, co przetestowano. To samo polecenie może dać różne odpowiedzi w różnych dniach, modelach, krajach, kontach lub powtórzeniach. Użyteczny rejestr zaczyna się więc od obserwacji:

• dokładnego promptu i jego wersji;
• produktu, API lub oficjalnej powierzchni raportowania;
• żądanego i rozwiązanego modelu, gdy jest znany;
• informacji, czy pobieranie z sieci było włączone, wyłączone czy niedostępne;
• kraju, lokalizacji, urządzenia i stanu konta, gdy jest to istotne;
• daty, grupy próby i numeru powtórzenia;
• odpowiedzi lub dozwolonego hasha dowodu;
• każdej zaobserwowanej wzmianki i cytowania;
• fragmentu najwyraźniej wspierającego każde cytowanie, gdy jest ujawniony;
• wersji ekstrakcji i metodologii.

Jeśli przebieg się nie powiódł, został odrzucony albo nie ujawnił żądanych danych, zachowaj ten rekord. Oznacz go jako nieoceniony, zamiast zmieniać go na zero.

Pięć zdarzeń, które powinny pozostać oddzielne

1. Pobrane: zweryfikowany crawler lub agent kierowany przez użytkownika zażądał adresu URL.
2. Pobrane lub wybrane: strona trafiła do obserwowalnego zbioru pobierania.
3. Wspomniane: odpowiedź wymieniła encję.
4. Zacytowane: odpowiedź ujawniła źródłowy adres URL.
5. Odwiedzone lub skonwertowane: osoba kliknęła link i wykonała mierzone działanie.

Log serwera może potwierdzić pierwsze zdarzenie, gdy żądający został poprawnie zweryfikowany. Zwykle nie potwierdzi pozostałych czterech. Zapis odpowiedzi może potwierdzić widoczną wzmiankę lub cytowanie, ale nie ujawni każdego źródła, które system pobrał lub wykorzystał wewnętrznie.

Powtórz test przed rekomendowaniem zmiany

Uruchom kompatybilne prompty co najmniej trzy razy przed nadaniem etykiety stabilności; pięć to lepsza wartość domyślna. Pokaż wynik jako dokładny ułamek — na przykład 3/5 kwalifikujących się odpowiedzi zacytowało stronę — zamiast po prostu pisać „60% widoczności”.

Gdy cytowanie pojawia się raz, a znika dwa razy, prawidłową pierwszą interpretacją jest zmienność. Nie jest to automatycznie problem z indeksowaniem ani kara.

Wypróbuj AI Search Evidence Lab z dołączonym przykładowym pakietem, aby zobaczyć, jak oddziela się kwalifikujące mianowniki, trwałość cytowania, pokrycie fragmentu i konflikty faktów.

TL;DR — Używaj append-only kontraktu obserwacji i wersjonowanego rejestru promptów. Porównuj wyłącznie kompatybilne panele promptu/powierzchni/pobierania/lokalizacji/metody. Raportuj wyniki binarne wraz z N i przedziałem niepewności. Przechowuj surowe dowody oddzielnie od wyprowadzonych klasyfikatorów i korekt człowieka. Szersze NIST AI Risk Management Framework zapewnia uzupełniającą ramę zarządzania dla takiego rejestrowania. Oceniaj interwencje z grupami kontrolnymi, gdy to możliwe, ale nawet kontrolowane wyniki obserwacyjne traktuj jako kierunkowe.

Koperta obserwacji

Kanoniczna obserwacja powinna zawierać cztery warstwy:

Pozyskanie

Zapisz typ źródła wprost:

• produkt konsumencki;
• API modelu pierwszej strony;
• API pierwszej strony z wyszukiwaniem w sieci;
• dostawca zewnętrzny;
• oficjalny raport dla webmasterów;
• zweryfikowany log serwera;
• przesłany plik użytkownika.

Wywołanie API pierwszej strony z wyszukiwaniem jest użytecznym dowodem wykonania tego API. Nie jest bezpośrednim pomiarem podobnie nazwanej usługi konsumenckiej. Zachowaj tę granicę w przechowywaniu, etykietach interfejsu, eksportach i agregacjach.

Kontekst eksperymentu

Przechowuj stabilny identyfikator promptu, niezmienną wersję promptu, hash promptu, powierzchnię, tryb pobierania, lokalizację, kraj, urządzenie, stan konta, grupę próby i numer obserwacji. Używaj zamrożonego panelu benchmarkowego do trendów oraz osobnego panelu eksploracyjnego do odkrywania nowych wzorców promptów.

Gdy prompt się zmieni, utwórz nową wersję. Nie edytuj historycznych obserwacji, aby wyglądały na kompatybilne.

Dowody

Zachowuj surowe lub zahashowane dowody odpowiedzi, znormalizowane cytowane i pobrane adresy URL, zakresy wzmianek, pozycje cytowań, gdy są ujawnione, grounding queries, gdy są ujawnione, oraz wspierające fragmenty lub hashe fragmentów. Normalizuj parametry śledzące i fragmenty URL bez odrzucania oryginalnego adresu URL.

Dla cytowań użyteczny rekord źródła zawiera:

raw URL → normalized URL → observed canonical or redirect successor
        → answer citation position → supporting passage → observed HTTP status

Takie pochodzenie zapobiega zawyżaniu liczby źródeł przez przekierowania, parametry, kopie syndykowane i migracje. Wskazówki Google dotyczące kanonikalizacji opisują powiązane sygnały konsolidacji adresów URL i ich ograniczenia.

Interpretacja

Każda wyodrębniona wzmianka, ocena sentymentu, encja, fakt i przyczyna utraty powinna zawierać:

• wersję klasyfikatora lub ekstraktora;
• stan zaobserwowany, wyprowadzony, wywnioskowany albo nieoceniony;
• pewność i jej przyczynę;
• każdą późniejszą korektę człowieka.

Korekta nie usuwa pierwotnej klasyfikacji. Staje się elementem kalibracyjnym do oceny kolejnej wersji klasyfikatora.

Kompatybilne porównania

Przed obliczeniem trendu wymagaj kompatybilnych wartości dla:

• identyfikatora i wersji promptu;
• powierzchni;
• trybu pobierania;
• lokalizacji;
• wersji metodologii i ekstraktora.

Oznacz lub przerwij serię, gdy zmieni się rozpoznany model lub checkpoint. W przeciwnym razie aktualizacja dostawcy może wyglądać jak zmiana skuteczności treści.

Dla wyniku binarnego raportuj licznik, kwalifikujący mianownik, estymatę punktową i przedział niepewności. Wyłącz odrzucenia, awarie dostawcy i niedostępne dowody z mianownika, ale nadal pokazuj ich liczby w jakości przebiegu.

Publiczne przykłady platform

To przykłady pokazujące, dlaczego kontrakty specyficzne dla źródła mają znaczenie, a nie prośba o wtłoczenie platform do wspólnego rankingu:

• Publiczny opis generatywnego raportu AI w Search Console Google wymienia wyświetlenia, strony, kraje, urządzenia i daty. Przechowuj je jako udokumentowane pola widoczności; nie przekształcaj ich w cytowania ani pozycję odpowiedzi. Raport ogłoszono jako ograniczone wdrożenie w czerwcu 2026 r. Oficjalne ogłoszenie
• Publiczny opis AI Performance w Microsoft Bing Webmaster Tools obejmuje aktywność cytowań, cytowane strony i przykładowe grounding queries. Microsoft wyraźnie mówi, że cytowania te nie wskazują miejsca, autorytetu, rankingu ani roli strony w odpowiedzi. Oficjalne ogłoszenie

Adapter każdego źródła powinien zachować te znaczenia i oznaczać nieudokumentowane pola jako niedostępne.

Eksperymenty ze zmianą treści

Utwórz rekord interwencji, zanim ocenisz zmianę:

• hipoteza;
• objęte zmianą i kontrolne adresy URL;
• identyfikatory promptów;
• czas wdrożenia;
• zaobserwowany czas ponownego crawlowania;
• oczekiwana metryka;
• okna przed i po.

Niekontrolowany wynik przed/po jest kierunkowy. Kompatybilny panel kontrolny pozwala spojrzeć na różnicę w różnicach, ale nadal pozostaje to obserwacją, chyba że przydział i warunki zewnętrzne uzasadniają silniejszy język przyczynowy.

Wymagaj, aby ustalenie utrzymało się w powtarzanych przebiegach, zanim zamienisz je w rekomendację dotyczącą treści. Rekomendacja powinna prowadzić z powrotem do obserwacji, które ją wygenerowały.

Monitorowanie faktów i sprzeczności

Prowadź weryfikowany przez człowieka rejestr faktów z encją, predykatem, oczekiwaną wartością, dopuszczalnymi wariantami, źródłem pierwotnym, datami obowiązywania, wrażliwością i datą ostatniej ludzkiej weryfikacji. Porównuj zaobserwowane twierdzenia odpowiedzi z tym rejestrem.

Gdy modele się nie zgadzają, raportuj zaobserwowany konflikt. Nie ogłaszaj zwycięzcy, dopóki wartości nie zostaną sprawdzone względem aktualnych dowodów. Fakty dotyczące cen, prawa, medycyny, finansów i bezpieczeństwa zasługują na krótsze okna weryfikacji i silniejsze bramki przeglądu.

Dowody crawlerów

Elementy sterujące crawlerem różnią się zależnie od celu żądania. OpenAI, Anthropic i Perplexity dokumentują osobne role związane z rozwojem modeli, wyszukiwaniem/indeksowaniem i pobieraniem na żądanie użytkownika. Weryfikuj tożsamość za pomocą opublikowanej przez operatora listy adresów IP, udokumentowanego odwrotnego DNS lub innego oficjalnego mechanizmu, gdy jest dostępny; sam ciąg user-agent nie potwierdza tożsamości.

• Dokumentacja crawlerów OpenAI
• Dokumentacja crawlerów Anthropic
• Dokumentacja crawlerów Perplexity

Nawet zweryfikowane żądanie potwierdza tylko to jedno żądanie. Nie przekształcaj go w dowód użycia odpowiedzi, cytowania, ruchu ani konwersji. Dokumentacja botów OpenAI, wskazówki Anthropic dotyczące crawlerów i dokumentacja crawlerów Perplexity opisują zależne od dostawcy granice tożsamości i dostępu.

Antywzorce

• Uniwersalny wynik ukrywający niezgodę między powierzchniami.
• Pojedynczy przebieg promptu opisany jako udział w głosie.
• Traktowanie niedostępnego dowodu jak zera.
• Porównywanie wyniku API z produktem konsumenckim, jakby były identyczne.
• Nazywanie cytowań „rankingiem”.
• Nazywanie cytowania z 404 halucynacją przed sprawdzeniem przekierowań i migracji.
• Przepisywanie historycznych promptów, obserwacji lub korekt.
• Stosowanie zmiany klasyfikatora wstecz bez zachowania jego wersji.
• Twierdzenie, że zmiana treści spowodowała wzrost, bez odpowiedniego eksperymentu.
• Rekomendowanie llms.txt, specjalnych znaczników AI lub małych fragmentów jako uniwersalnych wymagań Google AI. Aktualne wskazówki Google mówią, że nie są one wymagane dla jego generatywnych funkcji Search. Oficjalne wskazówki

Dziennik zmian