llms.txt

llms.txt: qué es este archivo y qué se registra de él

llms.txt es una convención propuesta: un archivo Markdown en la raíz de un sitio web que describe el sitio a los modelos de lenguaje y los remite a las páginas importantes. No prohíbe nada ni se reserva nada. Esta página explica qué contiene el archivo, en qué se diferencia de robots.txt, de ai.txt y de una reserva de minería de textos y datos, y por qué lo que un archivo así decía en un día concreto puede convertirse más tarde en una cuestión. Guías para redactar el archivo hay de sobra; esta página trata de su registro.

Qué es llms.txt

La convención se propuso en septiembre de 2024 y está publicada en llmstxt.org. Es una propuesta, no una norma de un organismo de normalización, y nada obliga a un sitio a publicar el archivo ni a un sistema de IA a leerlo. Según la propuesta, el archivo se llama llms.txt y se encuentra en la raíz del sitio (/llms.txt), o en un subdirectorio, para las direcciones que cuelgan de él. Está escrito en Markdown y sigue un orden fijo:

• un encabezado de primer nivel con el nombre del sitio o del proyecto (la única parte obligatoria);
• opcionalmente, un breve resumen en una cita en bloque y otros párrafos explicativos;
• cualquier número de secciones de segundo nivel, cada una con una lista de enlaces con una breve descripción, normalmente a páginas en Markdown sencillo.

La finalidad, en palabras de la propuesta, es dar a los modelos de lenguaje información concisa y seleccionada en un solo lugar, en vez de dejar que se abran paso por un sitio pensado para lectores humanos. Un ejemplo mínimo para un sitio inventado:

# Example Shop
> Furniture for small flats, shipped within the EU.

## Products
- [Catalogue](https://shop.example/catalogue.md): all items with dimensions and prices
- [Delivery](https://shop.example/delivery.md): countries, lead times, returns

## Optional
- [Press](https://shop.example/press.md): company history and contact

En qué se diferencia de robots.txt, de ai.txt y de una reserva

Los archivos dirigidos a las máquinas hacen cosas distintas, y esa diferencia es el objeto de esta página:

• robots.txt indica a los rastreadores, por el nombre con el que se identifican, qué rutas pueden solicitar. Restringe.
• ai.txt es una convención más reciente, sin normalizar, que expresa una postura hacia los sistemas de IA. Declara.
• Una reserva de minería de textos y datos (por ejemplo, en /.well-known/tdmrep.json) expresa que un titular de derechos se reserva ese uso. Cómo la trata la ley se explica en la página sobre minería de textos y datos y la reserva legible por máquina.
• llms.txt describe. Ofrece a un modelo de lenguaje una vía guiada hacia el contenido y no contiene ningún mecanismo para rechazar nada. La propuesta no lo presenta como una reserva, y si tiene alguna relevancia con arreglo a una ley concreta es una cuestión jurídica que esta página no responde.

Por qué su contenido en un día concreto puede importar

Un archivo llms.txt es una declaración que un sitio hace sobre sí mismo, dirigida a las máquinas, en un momento dado. Puede nombrar páginas, describir ofertas y cambiar de una semana a otra sin dejar rastro: el servidor no conserva historial, y cuando se edita el archivo, la versión anterior desaparece. La pregunta suele plantearse más tarde y es una pregunta de hecho: qué ofrecía este sitio a los sistemas de IA sobre sí mismo ese día, a qué páginas los remitía y cuándo cambió eso. Una captura de pantalla de hoy muestra el hoy, y un registro del servidor es la palabra de una de las partes. Lo que responde a la pregunta es un registro hecho el mismo día por alguien que no sabía que algún día se plantearía.

Para el ejemplo inventado de más arriba, un registro así mostraría que el 3 de marzo el archivo enumeraba las páginas de catálogo y de entrega, que en una fecha posterior apareció una sección de prensa y que en otra fecha el archivo ya no estaba.

Qué registra MachineWitness de él

El archivo probatorio obtiene /llms.txt en la raíz de cada dominio que observa, cada día, junto con robots.txt, ai.txt y tdmrep.json. Lo hace en sus dos testigos, operados de forma independiente. De cada obtención guarda lo que se sirvió: los bytes exactos, las cabeceras de respuesta completas, una huella SHA-256 del contenido y la hora en UTC. Cuando el archivo no existe, también se registra: un HTTP 404 sin contenido, que muestra que ese día no se servía nada en esa dirección. Cada día se sella esa misma noche en una raíz pública y se ancla con marcas de tiempo fuera de este archivo probatorio. Qué guardamos enumera todas las direcciones y límites.

Aquí caben dos límites. Solo se obtiene la dirección de la raíz; un llms.txt situado en un subdirectorio no se obtiene. Y el archivo probatorio registra el llms.txt tal como se sirvió: no lo interpreta, no comprueba si los enlaces funcionan y no valora lo que dice.

Si necesita el registro

• Si un dominio ya se observa y desde cuándo: la comprobación de cobertura, gratuita.
• Un dominio que aún no se observa y que debe registrarse cada día a partir de ahora: la observación diaria.
• Qué decía el archivo en días concretos, como documento con instrucciones para verificarlo: un extracto probatorio.

Un registro solo puede comenzar el día en que empieza la observación; no puede hacerse para días anteriores.