llms.txt

llms.txt : ce qu'est ce fichier et ce que l'archive en enregistre

llms.txt est une convention proposée : un fichier Markdown à la racine d'un site web qui décrit le site aux modèles de langage et les renvoie vers les pages qui comptent. Il n'interdit rien et ne réserve rien. Cette page explique ce que contient le fichier, en quoi il diffère de robots.txt, d'ai.txt et d'une réserve relative à la fouille de textes et de données, et pourquoi ce qu'un tel fichier indiquait un jour précis peut devenir une question par la suite. Les guides pour rédiger le fichier ne manquent pas ; cette page porte sur son enregistrement.

Ce qu'est llms.txt

La convention a été proposée en septembre 2024 et est publiée sur llmstxt.org. Il s'agit d'une proposition, non d'une norme d'un organisme de normalisation, et rien n'oblige un site à publier le fichier ni un système d'IA à le lire. Selon la proposition, le fichier s'appelle llms.txt et se trouve à la racine d'un site (/llms.txt), ou dans un sous-répertoire, pour les adresses qui en dépendent. Il est rédigé en Markdown et suit un ordre fixe :

• un titre de premier niveau portant le nom du site ou du projet (la seule partie obligatoire) ;
• éventuellement un bref résumé sous forme de citation en bloc et d'autres paragraphes explicatifs ;
• un nombre quelconque de sections de second niveau, chacune étant une liste de liens accompagnés d'une courte description, le plus souvent vers des pages en Markdown simple.

Le but, selon les termes de la proposition, est de donner aux modèles de langage des informations concises et choisies en un seul endroit, plutôt que de les laisser se frayer un chemin dans un site conçu pour des lecteurs humains. Un exemple minimal pour un site fictif :

# Example Shop
> Furniture for small flats, shipped within the EU.

## Products
- [Catalogue](https://shop.example/catalogue.md): all items with dimensions and prices
- [Delivery](https://shop.example/delivery.md): countries, lead times, returns

## Optional
- [Press](https://shop.example/press.md): company history and contact

En quoi il diffère de robots.txt, d'ai.txt et d'une réserve

Les fichiers qui s'adressent aux machines font des choses différentes, et cette différence est l'objet de cette page :

• robots.txt indique aux robots d'exploration, sous le nom qu'ils annoncent, quels chemins ils peuvent récupérer. Il restreint.
• ai.txt est une convention plus récente, non normalisée, qui exprime une position à l'égard des systèmes d'IA. Il déclare.
• Une réserve relative à la fouille de textes et de données (par exemple dans /.well-known/tdmrep.json) exprime qu'un titulaire de droits se réserve cet usage. La manière dont la loi la traite est exposée sur la page consacrée à la fouille de textes et de données et à la réserve lisible par machine.
• llms.txt décrit. Il offre à un modèle de langage une entrée guidée dans le contenu et ne comporte aucun mécanisme pour refuser quoi que ce soit. La proposition ne le présente pas comme une réserve, et savoir s'il a une portée quelconque au regard d'une loi donnée est une question de droit à laquelle cette page ne répond pas.

Pourquoi son contenu à une date donnée peut compter

Un fichier llms.txt est une déclaration qu'un site fait sur lui-même, à l'attention des machines, à un moment donné. Il peut nommer des pages, décrire des offres et changer d'une semaine à l'autre sans laisser de trace : un serveur ne garde aucun historique, et lorsque le fichier est modifié, la version précédente disparaît. La question se pose généralement plus tard et c'est une simple question de fait : que proposait ce site aux systèmes d'IA sur lui-même ce jour-là, vers quelles pages les renvoyait-il, et quand cela a-t-il changé ? Une capture d'écran faite aujourd'hui montre aujourd'hui, et un journal de serveur est la parole d'une des parties. Ce qui répond à la question, c'est un enregistrement fait le jour même par quelqu'un qui ignorait que la question serait un jour posée.

Pour l'exemple fictif ci-dessus, un tel enregistrement montrerait que, le 3 mars, le fichier énumérait les pages de catalogue et de livraison, qu'une rubrique presse est apparue à une date ultérieure et qu'à une autre date le fichier n'existait plus.

Ce que MachineWitness en enregistre

L'archive récupère /llms.txt à la racine de chaque domaine qu'elle observe, chaque jour, avec robots.txt, ai.txt et tdmrep.json. Elle le fait sur ses deux témoins exploités de manière indépendante. Pour chaque récupération, elle conserve ce qui a été servi : les octets exacts, les en-têtes de réponse complets, une empreinte SHA-256 du contenu et l'heure en UTC. Lorsque le fichier n'existe pas, cela est également enregistré : un HTTP 404 sans contenu, qui montre que ce jour-là rien n'était servi à cette adresse. Chaque journée est scellée la nuit même dans une racine publique et ancrée par horodatage en dehors de cette archive. Ce que nous conservons énumère toutes les adresses et limites.

Deux limites s'imposent ici. Seule l'adresse à la racine est récupérée ; un fichier llms.txt placé dans un sous-répertoire ne l'est pas. Et l'archive consigne le fichier tel qu'il a été servi : elle n'en lit pas le sens, ne vérifie pas si les liens fonctionnent et n'apprécie pas ce qu'il dit.

Si l'enregistrement vous est nécessaire

• Savoir si un domaine est déjà observé, et depuis quand : la vérification de couverture, gratuite.
• Un domaine qui n'est pas encore observé et qui doit être enregistré chaque jour à partir de maintenant : l'observation quotidienne.
• Ce que le fichier indiquait à des dates précises, sous forme de document accompagné des instructions pour le vérifier : un extrait probatoire.

Un enregistrement ne peut commencer que le jour où l'observation débute ; il ne peut pas être fait pour des jours antérieurs.