Archivo llms.txt

llms.txt es una propuesta comunitaria para un archivo Markdown en /llms.txt, no un estándar web adoptado. Evidence for this claim llms.txt is a community proposal for a Markdown file at /llms.txt that offers LLM-friendly site information; it is not a web standard. Scope: The proposal's own specification and stated purpose. Confidence: high · Verified: 2026-07-14 llms.txt proposal Los controles de rastreo publicados por OpenAI utilizan robots.txt y no documentan llms.txt como un control. Evidence for this claim OpenAI documents robots.txt controls for its declared crawlers and does not list llms.txt as a crawler control. Scope: OpenAI's published crawler controls; absence is not proof that no internal system ever fetches the file. Confidence: high · Verified: 2026-07-14 OpenAI: Crawlers

TL;DR — llms.txt es un archivo Markdown que colocas en /llms.txt y que entrega a los sistemas de IA una lista breve y curada de tus páginas más importantes. Un desarrollador llamado Jeremy Howard lo propuso en 2024. Es una buena idea, pero en la práctica casi nadie lo lee: Google lo ignora por completo, y lo principal que sí lo lee son los asistentes de codificación de IA, no los bots de búsqueda que la mayoría de la gente espera alcanzar. Cuesta poco añadirlo y probablemente no moverá tu visibilidad en IA.

Qué es llms.txt

llms.txt es un archivo Markdown simple que colocas en la raíz de tu sitio: yoursite.com/llms.txt. Dentro, escribes el nombre de tu sitio, una descripción de una línea y luego una lista breve de enlaces a tus páginas más importantes, cada una con una nota rápida sobre lo que cubre. La idea es que un sistema de IA pueda leer ese archivo y comprender inmediatamente qué es tu sitio y dónde está lo bueno, en lugar de tener que rastrear y analizar cada página.

Fue propuesto por Jeremy Howard — la persona detrás de fast.ai (un curso popular de aprendizaje profundo) y Answer.AI — en septiembre de 2024.

Lo que se supone que hace vs. lo que realmente hace

La propuesta: las herramientas de IA tienen “ventanas de contexto” limitadas (solo pueden leer cierta cantidad a la vez), y convertir HTML desordenado en texto limpio es difícil. Entonces, ¿por qué no dejar que el propietario del sitio entregue al modelo un mapa ordenado y preescrito?

La realidad es más sobria. Los principales proveedores de búsqueda con IA no lo han adoptado. Google ha dicho claramente que no lo usa. Y cuando Ahrefs estudió 137 000 sitios, el 97 % de los archivos llms.txt publicados recibieron cero solicitudes en un mes — es decir, nada los obtuvo en absoluto.

El único lugar donde realmente se usa es en asistentes de codificación de IA — herramientas como Claude Code que los desarrolladores usan para escribir software. Esos leen llms.txt para orientarse rápidamente en la documentación técnica. Ese es el caso de uso original, y funciona. Simplemente es muy diferente de “this will get my business cited in ChatGPT.” (traducción) «esto hará que mi negocio sea citado en ChatGPT».

¿Es como robots.txt?

Mucha gente asume que llms.txt es “robots.txt para IA”. No lo es.

• robots.txt controla el acceso — les dice a los rastreadores qué pueden obtener, y los bots bien comportados lo obedecen.
• llms.txt ofrece orientación — sugiere qué vale la pena leer, y nada está obligado a escucharlo. No puede bloquear nada.

Si tu objetivo es mantener fuera a los bots de IA, llms.txt no hace nada — eso es trabajo de robots.txt y tu CDN.

¿Deberías molestarte?

Si gestionas documentación para desarrolladores que los agentes de codificación leen, claro — es barato y les ayuda. Si eres un negocio normal que espera que llms.txt aumente tu visibilidad en las respuestas de IA, la respuesta honesta hoy es: no esperes resultados. Dedica ese tiempo a contenido claro y estructura en su lugar.

¿Quieres la especificación, el desglose proveedor por proveedor, los datos de adopción y el ángulo de seguridad? Cambia a la pestaña Avanzado.

La especificación describe un resumen voluntario del sitio amigable para LLM; no establece cumplimiento de rastreo ni comportamiento de indexación. Evidence for this claim llms.txt is a community proposal for a Markdown file at /llms.txt that offers LLM-friendly site information; it is not a web standard. Scope: The proposal's own specification and stated purpose. Confidence: high · Verified: 2026-07-14 llms.txt proposal OpenAI actualmente documenta bots nombrados y configuraciones independientes de robots.txt en su lugar. Evidence for this claim OpenAI documents robots.txt controls for its declared crawlers and does not list llms.txt as a crawler control. Scope: OpenAI's published crawler controls; absence is not proof that no internal system ever fetches the file. Confidence: high · Verified: 2026-07-14 OpenAI: Crawlers

TL;DR — llms.txt es una propuesta (Jeremy Howard, Answer.AI, 3 de septiembre de 2024), no un estándar adoptado. Es un índice Markdown curado en /llms.txt, con un /llms-full.txt opcional de contenido completo. Los bots que la gente espera que lo lean para la búsqueda con IA — OAI-SearchBot, PerplexityBot — apenas registran; el consumidor dominante es Claude Code y otros agentes de codificación. Google lo ignora (Illyes lo confirmó; Mueller lo comparó con la metaetiqueta de palabras clave). En el estudio de Ahrefs de 137 000 sitios, el 97 % de los archivos recibió cero solicitudes, y SE Ranking descubrió que eliminar llms.txt de un modelo de citación mejoraba su precisión. Vale la pena añadirlo para documentación de desarrolladores consumida por agentes de codificación; para GEO/AEO en un sitio normal, los datos no lo respaldan. También existe un riesgo real de inyección de prompts.

Qué es realmente llms.txt

llms.txt es una propuesta — quiero empezar con esa palabra porque es toda la historia. No hay RFC, ni bendición del W3C, ni proceso IETF. Es una sugerencia bien razonada de Jeremy Howard (cofundador de Answer.AI y fast.ai), publicada el 3 de septiembre de 2024, que caló hondo en el mundo de la documentación para desarrolladores y se injertó en el SEO por una comunidad ávida de un atajo hacia la visibilidad en IA.

El problema de diseño que aborda es legítimo. Como dice la especificación, “Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety.” (traducción) «Los modelos de lenguaje grandes dependen cada vez más de la información de los sitios web, pero se enfrentan a una limitación crítica: las ventanas de contexto son demasiado pequeñas para manejar la mayoría de los sitios web en su totalidad.» Y convertir HTML en texto limpio y apto para LLM es, en palabras de la especificación, “difficult and imprecise.” (traducción) «difícil e impreciso». La solución de Howard es permitir que el autor del sitio aplane previamente el contenido que quiere que los modelos vean en Markdown curado.

El formato

/llms.txt es un documento Markdown ordenado:

1. H1 (obligatorio) — nombre del proyecto o sitio.
2. Blockquote — un resumen breve con la información clave.
3. Prosa/listas opcionales — párrafos o viñetas, pero sin encabezados aquí.
4. Listas de enlaces delimitadas por H2 — - [name](url): optional notes.
5. Una sección ## Optional — enlaces secundarios que un modelo puede omitir cuando el contexto es limitado.

Un ejemplo mínimo, de la especificación:

# FastHTML

> FastHTML is a python library which brings together Starlette, Uvicorn, HTMX,
> and fastcore's FT...

## Docs

- [FastHTML quick start](url): A brief overview of many features

## Optional

- [Starlette documentation](url): A subset useful for FastHTML development.

Existen dos convenciones complementarias:

• /llms-full.txt — todo el contenido del sitio aplanado en un solo archivo Markdown. Anthropic, Perplexity y Stripe publican tanto esta forma como la corta.
• La convención de URL .md — ofrecer versiones page.md de páginas individuales para que estén listas para LLM sin el volcado completo.

Una variante más reciente omite por completo los archivos estáticos: Markdown servido en el edge mediante negociación de contenido. El Markdown for Agents de Cloudflare convierte cualquier página HTML en Markdown limpio sobre la marcha cuando un cliente envía Accept: text/markdown — sin archivos .md por página, sin /llms-full.txt que regenerar, sin cambios de plantilla, porque la CDN hace la conversión en el edge (Cloudflare cita ~80 % menos tokens para el agente). Es una función de pago — plan Pro y superiores, no el nivel gratuito — así que en este sitio está a una actualización de Cloudflare de activarse en lugar de algo que haya construido a mano. Si vale la pena activarlo es la misma pregunta abierta que pesa sobre el propio llms.txt: servir a los rastreadores una copia Markdown paralela de cada página es conveniente, pero es otra representación que mantener sincronizada, y Fabrice Canel de Bing ha señalado la duplicación de la carga de rastreo y el riesgo similar al cloaking del contenido alternativo servido en el edge. Revisa tus registros para ver la demanda real de agentes antes de activarlo.

llms.txt vs robots.txt — no son lo mismo

El error más común es pensar que llms.txt es “robots.txt para IA”. No lo es, y confundirlos lleva a malas decisiones.

robots.txt es un estándar real y aplicado. llms.txt es una caja de sugerencias que la mayoría de los sistemas aún no leen. Si quieres controlar el acceso de los rastreadores de IA —que es un objetivo legítimo y aparte—, eso se trata en robots.txt y rastreadores de IA, no aquí.

Quién lo lee realmente

Esta es la sección que importa, porque es donde los datos se alejan más del bombo publicitario. En el estudio de Ahrefs sobre 137 210 dominios (tráfico de mayo de 2026):

• El 97 % de los archivos llms.txt publicados no recibió ninguna solicitud. Solo alrededor del 3 % (unos 1 100 dominios) registró algo de tráfico.
• De los archivos que sí se solicitaron: el 96 % de las solicitudes provino de bots, el 4 % de humanos.
• De las solicitudes de bots, el 77 % provino de herramientas que no son de IA —auditores de SEO (el propio Ahrefs entre ellos), rastreadores anónimos, bots de perfilado técnico—. La ironía del SEO se escribe sola.
• Solo alrededor del 19,5 % provino de herramientas de IA, y al desglosarlo empeora para la teoría del GEO:
  • Agentes e infraestructura de IA (agentes de codificación): ~10,5 %
  • Rastreadores de entrenamiento (GPTBot lideró con el 4,51 %): ~5,3 %
  • Asistentes de IA: ~2,5 %
  • Bots de recuperación de IA —los que construyen índices de citas—: 1,1 %.

Lee esa última línea dos veces. Los bots para los que la mayoría añade llms.txt —OAI-SearchBot, PerplexityBot— “apenas se registraron”. El consumidor de IA dominante es Claude Code, el agente de codificación de Anthropic, que según el estudio “superó en captura a todos los bots de recuperación de IA, asistentes y rastreadores de entrenamiento excepto GPTBot”. Y GPTBot es un rastreador de entrenamiento que rastrea todo sin distinción; su presencia no es evidencia de un análisis intencional de llms.txt.

Otras mediciones independientes llegan al mismo punto. OtterlyAI observó un sitio durante 90 días: de más de 62 100 visitas de bots de IA, exactamente 84 llegaron a /llms.txt —alrededor del 0,1 %—, con un rendimiento “3 veces peor que el de las páginas promedio”. Un análisis aparte de más de 515 millones de eventos de bots de LLM en 90 días encontró 408 solicitudes en total dirigidas a /llms.txt —“estadísticamente insignificante”—.

La conclusión es la división entre documentación para desarrolladores y GEO: llms.txt funciona para lo que Howard lo creó (agentes de codificación que navegan por la documentación de API) y, en gran medida, los bots de citas de búsqueda que la comunidad SEO quiere alcanzar no lo tocan.

Lo que han dicho los proveedores

Google: no, y sin planes. Gary Illyes confirmó en Search Central Live (julio de 2025) que Google no admite llms.txt ni planea hacerlo. John Mueller, la voz más citada aquí, lo comparó con la metaetiqueta de palabras clave (abril de 2025) y lo llamó “muleta temporal, quizá para ahorrar algunos tokens” para las herramientas de codificación de IA —explícitamente no un mecanismo de visibilidad en la búsqueda—. La guía de Google de mayo de 2026 afirmó que los archivos legibles por máquina como llms.txt no son necesarios para AI Overviews ni para AI Mode, que “siguen dependiendo de las señales tradicionales de SEO”. (Google sí publicó brevemente un llms.txt en su documentación para desarrolladores el 3 de diciembre de 2025, y lo retiró el mismo día; luego se atribuyó a una actualización del CMS, no a un cambio de estrategia).

OpenAI: nada. No hay ningún anuncio de que ChatGPT, GPTBot u OAI-SearchBot lo analicen. Los registros del servidor contradicen un uso significativo; OAI-SearchBot “apenas se registró”. OpenAI remite a la gente a robots.txt para el control de rastreadores.

Anthropic — el interesante. Anthropic publica tanto llms.txt como llms-full.txt en docs.anthropic.com/llms.txt, y Claude Code demuestra que obtiene los archivos llms.txt de otros sitios — es el mayor consumidor de IA en los datos. Pero esa es una historia de herramienta de codificación. No hay confirmación de que la capa de búsqueda o citación de Claude.ai respete llms.txt. “El agente de codificación de Anthropic lo lee” y “el índice de búsqueda de Anthropic confía en él” son afirmaciones diferentes, y solo la primera está respaldada.

Perplexity — dice que sí, los datos dicen que rara vez. Perplexity ha declarado que recupera llms.txt y lo usa para “priorizar la selección de páginas.” Pero la obtención proactiva es el problema: PerplexityBot “apenas se registró” en los datos de solicitudes, y hay “casi cero actividad de PerplexityBot solicitando archivos llms.txt de forma proactiva.” Pega una URL de llms.txt en Perplexity y lo lee sin problemas; el uso autónomo y proactivo es la brecha entre la política y la práctica.

Bing/Microsoft, Apple, Meta — sin posición pública. Trátalos como no confirmados.

¿Influye en las citas de IA?

Sin beneficio demostrado. SE Ranking modeló 300 000 dominios con una regresión XGBoost + análisis SHAP y descubrió que eliminar llms.txt del modelo mejoraba su precisión — su conclusión: “LLMs.txt no parece impactar directamente la frecuencia de citas de IA. Al menos no todavía.” Un estudio de Search Engine Land con 10 sitios y 180 días vio que 8 de 10 sitios no mostraron cambios medibles, y los dos “ganadores” tenían cambios de confusión (cobertura de relaciones públicas, nuevas páginas de preguntas frecuentes, correcciones técnicas) que no puedes separar del propio llms.txt.

La comparación con meta keywords — ¿justa o no?

La analogía de Mueller con la metaetiqueta de keywords se sostiene en los puntos que importan: ambas son autodescripciones del propietario del sitio, ninguna está verificada, y ambas están abiertas a la manipulación/encubrimiento — podrías mostrar una cosa en llms.txt y otra en la página. Esa manipulabilidad es exactamente por qué un producto serio de búsqueda con IA no confiará en una autodescripción por encima de las páginas reales. El contraargumento (Carolyn Shelby) es que llms.txt al menos apunta a URLs reales que deben cumplir — es “un reflector, no una lista de deseos.” Ambos tienen razón, y el resultado práctico es el mismo: los sistemas de búsqueda con IA no dependen de él.

Cuándo vale la pena añadirlo — y cuándo omitirlo

Añádelo si gestionas documentación para desarrolladores o una referencia de API cuya audiencia principal son agentes de codificación con IA (Claude Code, Cursor, Copilot, Codeium). Ese es el caso de uso para el que se creó, y funciona.

Omítelo — o al menos no esperes retornos de visibilidad en IA — para sitios de contenido, medios, comercio electrónico y sitios empresariales comunes. El costo es de ~20 minutos; el beneficio de GEO hoy es casi nulo; y esos 20 minutos se emplean mejor en la estructura del contenido, la cobertura de preguntas frecuentes y los fundamentos de optimización de búsqueda con IA que realmente mueven la visibilidad en IA. Los titulares de alta adopción (la cifra de 844K+ de BuiltWith) están inflados por la implementación automática de plataformas — Mintlify implementó llms.txt en todos sus sitios de documentación alojados a la vez. La adopción no es uso; el 97 % de los archivos reciben cero solicitudes.

El ángulo de seguridad

Esto está poco reportado y es real: como los agentes de IA están diseñados para confiar en lo que hay en llms.txt, el archivo es una superficie de ataque natural. El estudio de Ahrefs señaló a actores malintencionados que sondean archivos llms.txt en busca de vulnerabilidades de inyección de prompts. Si publicas uno, trátalo como sensible a la seguridad: mantenlo en control de versiones, alerta sobre cambios no autorizados y nunca pongas nada en él que no mostrarías públicamente.

Implementarlo (si decides hacerlo)

• Ubicación: /llms.txt en la raíz del dominio, servido como text/plain o text/markdown, HTTP 200.
• Selecciona, no vuelques: 20–50 de tus enlaces más importantes. Si enumeras todo, un modelo podría rastrear directamente — la selección es el punto completo.
• Opcionalmente sirve /llms-full.txt para contextos que quieran todo tu contenido.
• Valida: carga el archivo en Claude, ChatGPT o Perplexity y pídele que resuma tu sitio; luego revisa los registros del servidor después de unas semanas para ver solicitudes reales.
• Existen generadores para VitePress (vitepress-plugin-llms), Docusaurus (docusaurus-plugin-llms), WordPress (“Website LLMs.txt”), Drupal, además de una CLI de Python (llms_txt2ctx).

La conclusión: bajo costo, beneficio GEO actualmente casi nulo, genuinamente útil para el caso de uso de agentes de codificación para el que nació. Revisa tus propios registros del servidor antes de decidir — si ves tráfico de Claude-Code/Cursor, llms.txt puede ayudarles; si buscas a OAI-SearchBot y PerplexityBot, no es la palanca.

Resumen de IA

Una versión condensada de la versión avanzada:

• llms.txt es una propuesta, no un estándar — Jeremy Howard (Answer.AI/fast.ai), 3 de septiembre de 2024. Un índice Markdown seleccionado en /llms.txt; opcional /llms-full.txt con contenido completo.
• No es robots.txt para IA. robots.txt controla el acceso y se aplica; llms.txt es consultivo y no puede bloquear nada.
• Casi nadie lo lee. Ahrefs (137 000 sitios): el 97 % de los archivos recibió cero solicitudes. De los archivos solicitados, el 77 % de los hits de bots eran herramientas no IA (auditores SEO), y los bots de recuperación de IA — los que construyen citas — eran solo el 1,1 %.
• Claude Code es el consumidor de IA dominante, no los bots de búsqueda. OAI-SearchBot y PerplexityBot “apenas se registraron”.
• Google lo ignora. Illyes confirmó que no hay soporte/planes; Mueller lo comparó con la metaetiqueta de palabras clave. OpenAI: nada. Perplexity: afirma soporte, pero la obtención proactiva es mínima. Anthropic publica el suyo propio + Claude Code lo lee, pero el uso en la capa de búsqueda no está confirmado.
• No se muestra beneficio de citas. SE Ranking (300K dominios): eliminar llms.txt del modelo mejoró la precisión.
• Vale la pena para documentación de desarrolladores consumida por agentes de codificación; omítelo como estrategia GEO para sitios normales. Riesgo de inyección de prompts — trátalo como sensible a la seguridad.

Documentación oficial

Material de fuente primaria — la especificación, la propuesta y los archivos y declaraciones propios de los proveedores.

La especificación y la propuesta

• llmstxt.org — la especificación: formato de archivo, /llms.txt vs /llms-full.txt, y la justificación en tiempo de inferencia.
• La propuesta original (Jeremy Howard, 3 de septiembre de 2024) — el anuncio de Answer.AI.
• AnswerDotAI/llms-txt en GitHub — el repositorio, las herramientas y la CLI llms_txt2ctx.

Archivos propios de los proveedores

• llms.txt de Anthropic — un ejemplo en vivo (Anthropic también publica llms-full.txt).
• llms.txt de Perplexity — otro ejemplo en vivo.

La posición oficial de Google

• Google ha declarado que archivos legibles por máquina como llms.txt no son necesarios para AI Overviews o AI Mode, que dependen de señales SEO tradicionales (guía de mayo de 2026); Gary Illyes confirmó que no hay soporte ni planes en Search Central Live (julio de 2025). Consulta la cobertura de Search Engine Journal de la declaración de John Mueller para la articulación más citada.

Citas de la fuente

Declaraciones públicas sobre llms.txt — de Google, el creador de la especificación y los investigadores que lo midieron.

John Mueller, defensor de búsqueda de Google (17 de abril de 2025)

• “AFAIK none of the AI services have said they’re using LLMs.TXT (and you can tell when you look at your server logs that they don’t even check for it). To me, it’s comparable to the keywords meta tag – this is what a site-owner claims their site is about … (Is the site really like that? well, you can check it. At that point, why not just check the site directly?)” (traducción) «Hasta donde sé, ninguno de los servicios de IA ha dicho que estén usando LLMs.TXT (y puedes notarlo cuando miras los registros de tu servidor: ni siquiera lo comprueban). Para mí, es comparable a la etiqueta meta de palabras clave: esto es lo que el propietario de un sitio afirma que trata su sitio… (¿Es el sitio realmente así? Bueno, puedes comprobarlo. En ese punto, ¿por qué no simplemente revisar el sitio directamente?)» Cobertura

Gary Illyes, Google Search Central (Search Central Live, julio de 2025)

• Confirmado: Google no admite llms.txt y no tiene planes de hacerlo. (Reportado desde el evento; no se identificó una URL de transcripción primaria; confírmalo antes de tratarlo como definitivo.)

Jeremy Howard, creador (Answer.AI)

• “A proposal to standardise on using an /llms.txt file to provide information to help LLMs use a website at inference time.” (traducción) «Una propuesta para estandarizar el uso de un archivo /llms.txt para proporcionar información que ayude a los LLM a usar un sitio web en el momento de la inferencia.» llmstxt.org
• De la especificación, sobre el problema central: “Large language models increasingly rely on website information, but face a critical limitation: context windows are too small to handle most websites in their entirety.” (traducción) «Los modelos de lenguaje grandes dependen cada vez más de la información de los sitios web, pero enfrentan una limitación crítica: las ventanas de contexto son demasiado pequeñas para manejar la mayoría de los sitios web en su totalidad.» llmstxt.org

Brett Tabke, Pubcon / WebmasterWorld (marzo de 2025)

• “we just don’t need people thinking they are different from any other spider.” (traducción) «Simplemente no necesitamos que la gente piense que son diferentes de cualquier otro rastreador.» Search Engine Land

Carolyn Shelby, Search Engine Land (9 de julio de 2025 — la opinión disidente)

• “Llms.txt curates a list of real URLs, and the content has to exist – and deliver – when the model gets there.” (traducción) «Llms.txt selecciona una lista de URLs reales, y el contenido tiene que existir y entregarse cuando el modelo llegue allí». Y “Think of llms.txt like a treasure map for AI systems – one you draw yourself. It’s not a wish list. It’s a spotlight.” (traducción) «Piensa en llms.txt como un mapa del tesoro para sistemas de IA, uno que dibujas tú mismo. No es una lista de deseos. Es un foco». Search Engine Land

¿Deberías implementar llms.txt? — una lista de verificación

Trabaja de arriba a abajo. El primer «sí» que encaje suele resolverlo.

• ¿Tu audiencia principal son agentes de codificación de IA (Claude Code, Cursor, Copilot, Codeium) que leen documentación para desarrolladores / una referencia de API? → Sí, agrégalo. Este es el caso de uso para el que fue creado y funciona.
• ¿Lo estás agregando puramente para mejorar las citas de búsqueda de IA para un sitio de contenido, medios, comercio electrónico o negocio general? → No esperes resultados. Los datos muestran ningún beneficio de citas; dedica el tiempo a la estructura del contenido en su lugar.
• ¿Has revisado primero los registros de tu servidor? Busca tráfico de Claude-Code/Cursor (llms.txt puede ayudarles) vs OAI-SearchBot/PerplexityBot (no moverá esa aguja).
• ¿Lo estás tratando como robots.txt para IA? → Detente. No bloquea nada. Usa robots.txt + tu CDN para el control de acceso.

Si publicas uno:

• Colócalo en /llms.txt (raíz), sirve text/plain/text/markdown, HTTP 200.
• Selecciona de 20 a 50 de tus URLs más importantes — no vuelques el sitemap.
• Mantenlo en control de versiones y alerta sobre cambios no autorizados (riesgo de inyección de prompts — los agentes están construidos para confiar en él).
• No pongas nada que no mostrarías públicamente.
• Opcionalmente, sirve /llms-full.txt para contextos de contenido completo.
• Valida: carga la URL en Claude/ChatGPT/Perplexity, pide un resumen del sitio; vuelve a revisar los registros del servidor después de unas semanas para ver solicitudes reales.

Soporte de proveedores — hoja de referencia

Quién realmente admite llms.txt (a mediados de 2026)

Datos rápidos

• Propuesto: Jeremy Howard (Answer.AI/fast.ai), 3 de septiembre de 2024. Una propuesta, no un estándar adoptado.
• Archivos: /llms.txt (corto, curado) y /llms-full.txt opcional (contenido completo convertido a Markdown).
• Formato: Nombre H1 → resumen en blockquote → listas de enlaces H2 (- [name](url): note) → sección ## Optional.
• vs robots.txt: robots.txt = control de acceso, aplicado. llms.txt = guía, consultiva, no bloquea nada.
• El número: El 97 % de los archivos publicados reciben cero solicitudes (Ahrefs, 137 000 sitios).
• Lector de IA dominante: Claude Code, no los bots de búsqueda.
• Beneficio de citación: ninguno demostrado (SE Ranking: eliminarlo mejoró la precisión del modelo).
• Seguridad: riesgo de inyección de prompts — controla su versión, alerta sobre cambios.

Errores de llms.txt que debes evitar

Tratar el archivo como un estándar de control de acceso

llms.txt no permite ni bloquea el rastreo. Usa robots.txt, autenticación y otros controles de acceso reales para esa tarea.

Prometer un aumento de visibilidad en IA

El soporte de los proveedores y la obtención observada son limitados. Describe el archivo como una ayuda opcional de navegación, no como una palanca de ranking o citación.

Publicar URLs sensibles o privadas

El archivo es público y fácil de descubrir. Incluye solo recursos destinados al consumo público; nunca uses la oscuridad como protección.

Generar un sitemap sin curar en Markdown

La propuesta es más útil como una guía corta y legible para humanos de los recursos importantes. Un volcado enorme añade coste de mantenimiento sin aclarar qué páginas importan.

Problemas comunes de llms.txt

El archivo devuelve HTML en lugar de Markdown

Síntoma: /llms.txt muestra un shell de aplicación, un 404 con marca o el destino de una redirección. Causa probable: Una ruta comodín o una regla de CDN intercepta la ruta de texto. Solución: Sirve el archivo directamente en la raíz con una respuesta exitosa y contenido en texto plano o Markdown, y luego solicítalo sin cookies.

Los enlaces del archivo fallan o redirigen repetidamente

Síntoma: Al intentar abrir los enlaces, el lector no consigue recuperar los recursos enumerados en sus direcciones preferidas. Causa probable: Esto ocurre porque el archivo se generó a partir de una navegación obsoleta o de rutas relativas que ya no llevan al destino previsto. Solución: revisa cada dirección una por una, sustituye las ubicaciones retiradas y utiliza direcciones HTTPS principales y estables para que los recursos sigan disponibles.

Ningún bot solicita el archivo

Síntoma: Los registros no muestran tráfico hacia /llms.txt. Causa probable: Los sistemas que te importan no soportan ni descubren la propuesta. Solución: Confirma la cobertura de registros y deja el archivo como un experimento de bajo coste; no añadas trucos específicos de rastreadores ni infieras un problema del sitio a partir de cero solicitudes.

Prompts para curar llms.txt

Build a proposed llms.txt outline from this public URL inventory. Keep only canonical,
durable resources that help an agent understand the site or complete a task. Group them
under short Markdown headings, write one factual description per link, and flag URLs
that redirect, duplicate another page, require authentication, or may expose sensitive
information. Do not claim the file affects rankings or citations.

[paste inventory]

Review this llms.txt file against the supplied crawl results. Report broken or
redirecting URLs, non-canonical links, descriptions unsupported by the destination,
missing high-value documentation, and sections that are too broad to be useful. Return
a corrected draft using only public URLs from the inputs.

[paste file and crawl results]

Marcos para decidir si usar llms.txt

La prueba de coste–consumidor–contenido

1. Coste: ¿Puede el equipo generar y mantener el archivo con poco trabajo continuo?
2. Consumidor: ¿Hay un agente o flujo de trabajo identificado que realmente lo lea?
3. Contenido: ¿Tiene el sitio documentación pública estable que valga la pena curar?

Implementa cuando los tres sean creíbles. Si el consumidor es hipotético, trata el archivo como un experimento y limita el presupuesto de mantenimiento.

Mantén los roles separados

• robots.txt: orientación sobre el acceso de rastreadores.
• Mapa del sitio XML: descubrimiento de URLs para motores de búsqueda.
• llms.txt: guía de lectura curada propuesta para sistemas de IA.
• MCP: protocolo de ejecución mediante el cual un agente puede descubrir e invocar recursos o herramientas.

Un archivo no debe evaluarse como si realizara el trabajo de otro sistema.

Herramientas para llms.txt

• Generador + Validador de llms.txt: Redacta un archivo curado y verifica su estructura y recursos enlazados antes de publicarlo.
• Comprobador de Acceso de Rastreadores de IA: Audita los controles de acceso reales de los rastreadores por separado; llms.txt no sustituye esta comprobación.
• curl: Verifica el estado, las redirecciones, el tipo de contenido y el cuerpo en la ruta raíz exacta.
• Registros del servidor o CDN: Determina si los agentes de usuario nombrados solicitan el archivo; la ausencia es una observación, no una prueba de un problema de posicionamiento.
• Un comprobador de enlaces: Revalida cada destino curado según un calendario para que la guía no se deteriore.

Validar una publicación de llms.txt

Probar la respuesta de la raíz

Prueba a realizar: Solicita /llms.txt directamente sin cookies y sin seguir redirecciones. Resultado esperado: Una respuesta exitosa contiene el Markdown previsto en la ruta raíz. Interpretación del fallo: El enrutamiento o la implementación no exponen el archivo. Ventana de monitoreo: Inmediata. Disparador de reversión: La ruta sirve un shell HTML, un documento de error o una redirección no relacionada.

Probar cada recurso listado

Prueba a realizar: Rastrea las URLs del archivo y compara cada destino con su descripción. Resultado esperado: Los recursos canónicos públicos se resuelven correctamente y coinciden con el propósito declarado. Interpretación del fallo: La guía está desactualizada o es engañosa. Ventana de monitoreo: Inmediata y luego según el calendario de actualización de la documentación. Disparador de reversión: Una URL listada expone material privado o falla de manera consistente.

Probar honestamente el resultado declarado del experimento

Prueba a realizar: Consulta los registros del servidor para /llms.txt por agente de usuario después de la publicación. Resultado esperado: Las solicitudes, si las hay, se registran y son atribuibles; cero también es un resultado válido. Interpretación del fallo: El registro puede ser incompleto o los consumidores pueden no soportar la propuesta. Ventana de monitoreo: Varios ciclos normales de rastreo. Disparador de reversión: Ninguno solo por tráfico cero; elimina solo cuando el mantenimiento o el riesgo de exposición supere el valor del archivo.

Pon a prueba tus conocimientos: llms.txt

Recursos que valen tu tiempo

La fuente original

• llmstxt.org — la especificación.
• Publicación de propuesta de Jeremy Howard (3 de septiembre de 2024) — la justificación, directamente del creador.
• AnswerDotAI/llms-txt — el repositorio y las herramientas.

Los datos (léelos antes de implementar cualquier cosa)

• ¿Qué es llms.txt y debería importarte? — Ahrefs — la visión general de Ryan Law; el marco del 28 % de publicación / 97 % de cero solicitudes.
• El estudio de adopción de llms.txt — Ahrefs — Louise Linehan y Xibeijia Guan, 137 210 dominios: quién solicita realmente los archivos (Claude Code domina la IA; los bots de recuperación apenas se registran) y el hallazgo sobre inyección de prompts.
• ¿Importa llms.txt? Seguimos 10 sitios — Search Engine Land — estudio de 180 días; 8 de 10 sitios no mostraron cambios medibles.
• El experimento de llms.txt — OtterlyAI — 90 días, un sitio: 84 de 62 100+ visitas de bots de IA llegaron a /llms.txt.

El debate

• No, llms.txt no es el “nuevo meta keywords” — Carolyn Shelby, Search Engine Land — la defensa más sólida de llms.txt.
• Conoce llms.txt, un estándar propuesto — Search Engine Land — el resumen de pros y contras y la crítica de Brett Tabke.

Mis escritos relacionados en este sitio

• Rastreadores de IA — controlando los bots (que es para lo que llms.txt no sirve), y dónde vive realmente la historia del control de acceso.

De la industria

• SE Ranking: El estado de llms.txt — estudio XGBoost/SHAP de 300 000 dominios que encontró que eliminar llms.txt del modelo de citas mejoró la precisión; también tiene desglose de tasa de adopción por nivel de tráfico.
• Wix AI Search Lab — mitos de llms.txt (Crystal Carter, junio de 2026) — lectura más optimista; 1 400+ archivos revisados, argumenta que los propios archivos llms.txt aparecen en los resultados de IA incluso si la adopción es irregular.
• Google dice que LLMs.txt es comparable a la metaetiqueta de palabras clave — Search Engine Journal — cita completa de John Mueller y contexto de abril de 2025.
• presenc.ai: Estado de llms.txt 2026 — matriz de soporte proveedor por proveedor; trate con cuidado las afirmaciones “confirmadas” de Anthropic/Perplexity (las fuentes primarias no siempre se citan).
• llms.txt está muerto. Más precisamente: un fracaso. — Kai Spriestersbach (Medium) — agrega datos de 90 días de OtterlyAI, la confirmación de Gary Illyes y el incidente de 24 horas de Google en un resumen escéptico.

Estadísticas que vale la pena citar

• El 97 % de los archivos llms.txt publicados recibieron cero solicitudes en un mes (estudio de Ahrefs, 137 210 dominios, mayo de 2026). Solo alrededor del 3 % vio algo de tráfico. Fuente
• Claude Code es el consumidor de IA dominante de llms.txt — “superó en solicitudes a todos los bots de recuperación de IA, asistentes y rastreadores de entrenamiento excepto GPTBot” (el bot de entrenamiento). Los bots de recuperación que construyen índices de citas fueron solo el 1,1 % de las solicitudes. Fuente
• El 77 % de las solicitudes de bots a archivos llms.txt provinieron de herramientas no de IA — auditores de SEO, rastreadores anónimos, bots de perfilado técnico — no de IA en absoluto. Fuente
• 84 de 62 100+ visitas de bots de IA llegaron a /llms.txt en 90 días en un sitio monitoreado (~0,1 %), con un rendimiento “3 veces peor que las páginas promedio”. Fuente
• Eliminar llms.txt de un modelo de citas mejoró su precisión — SE Ranking, 300 000 dominios, análisis XGBoost + SHAP. Sin beneficio de citación demostrado “al menos no todavía”. Fuente
• Adopción ≠ uso. BuiltWith contó 844 000+ sitios con llms.txt (octubre de 2025), pero gran parte es despliegue automático de plataformas (Mintlify lo implementó en todos los sitios de documentación alojados a la vez), no decisiones individuales informadas.
• Solo 408 solicitudes apuntaron a /llms.txt entre 515 millones+ de eventos de tráfico de bots de IA analizados en 90 días (análisis de limy.ai) — descrito como “estadísticamente insignificante”.
• El 10,13 % de los sitios han adoptado llms.txt en una muestra de 300 000 dominios (estudio de SE Ranking, 2026) — aproximadamente 1 de cada 10, sin diferencia significativa por nivel de tráfico (tráfico bajo 9,88 %, tráfico alto 8,27 %). Fuente

Registro de cambios