Metodología para medir la búsqueda con IA

TL;DR — Un resultado de búsqueda con IA es una muestra, no una posición. Guarda la pregunta exacta, dónde se formuló, qué modelo o producto respondió, cuándo se ejecutó y qué enlaces aparecieron. Repite la misma prueba varias veces. Mantén los fallos fuera del denominador y no trates una visita de bot, una mención de marca, una cita, un clic y una conversión como el mismo evento.

El registro importa más que la puntuación

Una «puntuación de visibilidad en IA» es difícil de interpretar si no sabes qué se probó. El mismo prompt puede producir respuestas distintas según la fecha, el modelo, el país, la cuenta o la ejecución repetida. Por eso, un registro útil empieza con la observación:

• el prompt exacto y su versión;
• el producto, la API o la superficie oficial de informes;
• el modelo solicitado y el modelo resuelto, cuando se conozca;
• si la recuperación web estaba activada, desactivada o no estaba disponible;
• el país, locale, dispositivo y estado de la cuenta, cuando sean relevantes;
• la fecha, el grupo de muestra y el número de repetición;
• la respuesta o el hash de evidencia permitido;
• cada mención y cada cita observadas;
• el pasaje que aparentemente respalda cada cita, cuando se exponga;
• las versiones de extracción y de metodología.

Si una ejecución falló, fue rechazada o no expuso los datos solicitados, conserva ese registro. Etiquétalo como no evaluado en lugar de convertirlo en cero.

Cinco eventos que deben seguir separados

1. Obtenido: un rastreador verificado o un agente dirigido por el usuario solicitó una URL.
2. Recuperado o seleccionado: la página entró en un conjunto de recuperación observable.
3. Mencionado: la respuesta nombró la entidad.
4. Citado: la respuesta mostró una URL de fuente.
5. Visitado o convertido: una persona siguió un enlace y completó una acción medida.

Un registro del servidor puede demostrar el primer evento cuando el solicitante está verificado correctamente. Normalmente no puede demostrar los otros cuatro. Una captura de la respuesta puede demostrar una mención o una cita visible, pero no puede revelar todas las fuentes que el sistema recuperó o utilizó internamente.

Repite antes de recomendar un cambio

Ejecuta prompts compatibles al menos tres veces antes de aplicar una etiqueta de estabilidad; cinco es un mejor valor predeterminado. Muestra el resultado como una fracción exacta —por ejemplo, 3/5 de las respuestas elegibles citaron la página— en lugar de limitarte a «60 % visible».

Cuando una cita aparece una vez y desaparece dos veces, la interpretación inicial correcta es variabilidad. No es automáticamente un problema de indexación ni una penalización.

Prueba el Laboratorio de evidencia de búsqueda con IA con su paquete de ejemplo incluido para comprobar cómo se mantienen separados los denominadores elegibles, la persistencia de las citas, la cobertura de pasajes y los conflictos de hechos.

TL;DR — Usa un contrato de observación de solo adición y un registro de prompts versionado. Compara únicamente paneles compatibles por prompt, superficie, recuperación, locale y método. Informa los resultados binarios con N y un intervalo de incertidumbre. Conserva la evidencia sin procesar por separado de los clasificadores derivados y las correcciones humanas. El Marco de gestión de riesgos de IA de NIST ofrece un marco de gobernanza complementario para ese registro. Evalúa las intervenciones con controles cuando sea posible, pero considera direccionales incluso los resultados observacionales controlados.

El sobre de observación

La observación canónica debe contener cuatro capas:

Adquisición

Registra explícitamente el tipo de fuente:

• producto de consumo;
• API del modelo del propio proveedor;
• API del propio proveedor con búsqueda web;
• proveedor externo;
• informe oficial para webmasters;
• registro de servidor verificado;
• carga del usuario.

Una llamada a una API del propio proveedor con búsqueda es evidencia útil sobre la ejecución de esa API. No es una medición directa de un producto de consumo con un nombre parecido. Conserva ese límite en el almacenamiento, las etiquetas de la interfaz, las exportaciones y las agregaciones.

Contexto experimental

Guarda un ID de prompt estable, una versión de prompt inmutable, el hash del prompt, la superficie, el modo de recuperación, el locale, el país, el dispositivo, el estado de la cuenta, el grupo de muestra y el ordinal de la muestra. Usa un panel de referencia congelado para las tendencias y otro panel exploratorio para descubrir nuevos patrones de prompts.

Cuando cambie un prompt, crea una versión nueva. No edites las observaciones históricas para que parezcan compatibles.

Evidencia

Conserva la evidencia de la respuesta en bruto o hasheada, las URL citadas y recuperadas normalizadas, los tramos de menciones, las posiciones de las citas cuando se expongan, las consultas de fundamentación cuando se expongan y los pasajes de respaldo o sus hashes. Normaliza los parámetros de seguimiento y los fragmentos de URL sin descartar la URL original.

Para las citas, un registro de fuente útil contiene:

raw URL → normalized URL → observed canonical or redirect successor
        → answer citation position → supporting passage → observed HTTP status

Esa línea de procedencia evita que las redirecciones, los parámetros, las copias sindicadas y las migraciones inflen los recuentos de fuentes. La orientación de Google sobre canonicalización describe las señales relacionadas de consolidación de URL y sus límites.

Interpretación

Cada mención, sentimiento, entidad, hecho y motivo de pérdida extraído debe incluir:

• la versión del clasificador o extractor;
• el estado observado, derivado, inferido o no evaluado;
• la confianza y su motivo;
• cualquier corrección humana posterior.

Una corrección no elimina la clasificación original. Se convierte en un caso de calibración para evaluar la siguiente versión del clasificador.

Comparaciones compatibles

Antes de calcular una tendencia, exige valores compatibles para:

• ID y versión del prompt;
• superficie;
• modo de recuperación;
• locale;
• versiones de metodología y extractor.

Anota el cambio de modelo resuelto o de checkpoint, o divide la serie cuando ocurra. De lo contrario, una actualización del proveedor puede parecer un cambio de rendimiento del contenido.

Para un resultado binario, informa el numerador, el denominador elegible, la estimación puntual y un intervalo de incertidumbre. Excluye del denominador las negativas, los fallos del proveedor y la evidencia no disponible, pero sigue mostrando sus recuentos en la calidad de la ejecución.

Ejemplos de plataformas públicas

Estos son ejemplos de por qué importan los contratos específicos de cada fuente, no una petición para forzar las plataformas a compartir una clasificación:

• La descripción pública de Google de su informe de IA generativa de Search Console enumera impresiones, páginas, países, dispositivos y fechas. Guárdalos como campos de visibilidad documentados; no los transformes en citas ni en posición de respuesta. El informe se anunció como un despliegue limitado en junio de 2026. Anuncio oficial
• La descripción pública de Microsoft sobre el rendimiento de IA en Bing Webmaster Tools incluye actividad de citas, páginas citadas y consultas de fundamentación muestreadas. Microsoft dice explícitamente que esas citas no indican colocación, autoridad, posición ni el papel de una página en una respuesta. Anuncio oficial

El adaptador de cada fuente debe conservar esos significados y marcar como no disponibles los campos no documentados.

Experimentos de cambios de contenido

Crea un registro de intervención antes de juzgar una edición:

• hipótesis;
• URL afectadas y URL de control;
• IDs de prompt;
• hora del despliegue;
• hora de rastreo observada;
• métrica esperada;
• ventanas anterior y posterior.

Un resultado no controlado de antes y después es direccional. Un panel de control compatible permite una perspectiva de diferencias en diferencias, pero sigue siendo observacional salvo que la asignación y las condiciones externas justifiquen un lenguaje causal más contundente.

Exige que el hallazgo persista en ejecuciones repetidas antes de convertirlo en una recomendación de contenido. La recomendación debe enlazar con las observaciones que la generaron.

Supervisión de hechos y contradicciones

Mantén un registro de hechos revisado por humanos con entidad, predicado, valor esperado, variantes aceptables, fuente primaria, fechas de validez, sensibilidad y última verificación humana. Compara las afirmaciones observadas en las respuestas con ese registro.

Cuando los modelos no coincidan, informa conflicto observado. No declares un ganador hasta contrastar los valores con la evidencia actual. Los hechos sobre precios, asuntos legales, medicina, finanzas y seguridad merecen ventanas de verificación más cortas y controles de revisión más estrictos.

Evidencia de rastreadores

Los controles de rastreo difieren según la finalidad de la solicitud. OpenAI, Anthropic y Perplexity documentan funciones separadas para el desarrollo de modelos, la búsqueda o indexación y la obtención dirigida por el usuario. Verifica la identidad mediante una lista de IP publicada por el operador, DNS inverso documentado u otro mecanismo oficial cuando esté disponible; la cadena user-agent por sí sola no demuestra la identidad.

• Documentación de rastreadores de OpenAI
• Documentación de rastreadores de Anthropic
• Documentación de rastreadores de Perplexity

Incluso una solicitud verificada solo demuestra esa solicitud. No la conviertas en evidencia de uso en una respuesta, cita, tráfico o conversión. La documentación de bots de OpenAI, la orientación de rastreadores de Anthropic y la documentación de rastreadores de Perplexity describen los límites de identidad y acceso específicos de cada proveedor.

Antipatrones

• Una puntuación universal que oculta el desacuerdo entre superficies.
• Una sola ejecución de un prompt presentada como cuota de voz.
• Tratar la evidencia no disponible como cero.
• Comparar la salida de una API con un producto de consumo como si fueran idénticos.
• Llamar «posición» a las citas.
• Llamar alucinación a una cita de 404 antes de comprobar las redirecciones y las migraciones.
• Reescribir prompts, observaciones o correcciones históricas.
• Aplicar retroactivamente un cambio de clasificador sin conservar su versión.
• Afirmar que una edición de contenido causó un aumento sin un experimento adecuado.
• Recomendar llms.txt, marcado especial para IA o fragmentos diminutos como requisitos universales de Google. La orientación actual de Google dice que no son necesarios para sus funciones de búsqueda generativa.

Registro de cambios