Ce que nous conservons sur un domaine

Changement de méthode, applicable au 3 août 2026

À compter de cette date, l'archive applique les règles ci-dessous. Elles sont énoncées ici plutôt que laissées implicites, parce qu'un changement de méthode change ce qu'un enregistrement daté permet de prouver. Rien de ce qui précède le 3 août 2026 n'a été modifié ; les journées antérieures conservent la méthode en vigueur au moment de leur scellement.

Deux anneaux. Les règles diffèrent entre un petit noyau et un vaste anneau large. L'anneau large est défini par un critère énoncé, non par une sélection : tous les domaines de l'Union figurant dans la liste Tranco du premier million, telle que récupérée le 2 août 2026. Le noyau est un ensemble bien plus restreint de domaines observés de plus près. Il est constitué à la main et nous n'en publions pas encore les critères ; il doit donc se lire comme une sélection de travail, et non comme un registre établi.

• Les quatre fichiers de réserve restent récupérés chaque jour, pour chaque domaine. C'est la partie qui porte la valeur juridique, et elle est inchangée.
• La page d'accueil est récupérée chaque semaine, et non chaque jour, pour les domaines de l'anneau large. La conséquence, dite franchement : lorsqu'un site n'exprime sa réserve que dans une balise meta ou un en-tête HTTP de sa page d'accueil, notre relevé de cette réserve dans l'anneau large est précis à la semaine, non au jour. Pour le noyau, rien ne change : la page d'accueil y est toujours récupérée quotidiennement.
• Les plafonds d'octets visent les fichiers, non la page d'accueil. Depuis le 20 septembre 2026, la page d'accueil est conservée en entier dans les deux anneaux ; ce qui les sépare est la fréquence de la collecte, non la part de la page qui subsiste. Un plafond demeure là où un fichier peut atteindre n'importe quelle taille : 256 Ko pour les fichiers lisibles par machine de l'anneau large, 5 Mo pour le sitemap du noyau. Tout ce qui dépasse est marqué truncated, afin qu'un fragment ne soit jamais présenté comme un tout. Une limite de fonctionnement s'applique à tout : une récupération individuelle supérieure à 32 Mo est interrompue à cette taille et marquée truncated de la même façon. Elle concerne les fichiers multimédias, les serveurs défaillants et les flux sans fin, non les documents, et elle ne change rien à ce que le relevé établit pour ce qu'il contient.
• Les réponses d'erreur sont consignées sans leur corps. Le code de statut, l'ensemble des en-têtes, la taille et l'empreinte du contenu sont conservés, de sorte que la réalité et la forme de l'erreur restent prouvables ; la page d'erreur elle-même n'est pas stockée. Une exception : les corps de réponse 403 Forbidden sont conservés jusqu'à 32 Ko, parce qu'un refus visant les robots y est parfois formulé.

Changement de méthode, applicable au 17 septembre 2026

À compter de cette date, le relevé s'étend en trois points. Comme auparavant, rien d'antérieur n'a été modifié : les journées précédant le 17 septembre 2026 conservent la méthode en vigueur au moment de leur scellement. Le premier passage sous le nouveau périmètre a commencé le 17 septembre 2026 à 03:00 UTC.

Le noyau repose désormais sur un critère énoncé. Jusqu'au 16 septembre 2026, il était une sélection de travail de 115 domaines, constituée à la main. Depuis le 17 septembre, il compte 1 133 domaines, composés ainsi : 1 057 domaines d'organisations de l'Union qui publient, recensées dans Wikidata avec un site actif, qu'il s'agisse de journaux et de sites d'information, de radiodiffuseurs, d'éditeurs de livres, d'agences de presse et d'agences photographiques ou de sociétés de gestion collective, et dont le site portait en même temps un signal adressé aux robots d'exploration IA que nous avions déjà relevé : une règle visant un robot IA nommé dans le robots.txt ou un en-tête Content-Signal. Ils se répartissent dans 26 États membres. S'y ajoutent 43 autres éditeurs recensés dans Wikidata qui figuraient déjà dans l'anneau et ne portent pas un tel signal ; 14 domaines conservés de la sélection antérieure pour un motif énoncé ; 4 domaines qui portent un tel signal mais n'ont pas d'entrée dans Wikidata ; et les 15 domaines de la propre société de l'exploitant, tenus comme série de contrôle plutôt que dissimulés. Pour chaque domaine du noyau, le relevé nomme désormais l'organisation, son pays et son identifiant Wikidata. Lorsque Wikidata attribue un domaine à plus d'une organisation, le libellé le plus court a été retenu et l'entrée est marquée comme non arrêtée (61 domaines), à corriger au fil de la curation ; le domaine lui-même n'en est pas affecté. Les règles du noyau du 3 août 2026, page d'accueil quotidienne et absence de plafond d'octets, s'appliquent à tous depuis le 17 septembre. L'anneau large est inchangé. Un domaine de la propre société de l'exploitant, qui ne se résout plus dans le DNS, a été retiré de l'anneau le même jour, et trois autres y ont été ajoutés ; le manifeste de l'anneau à cette date énumère chaque domaine avec son anneau.

Déclarations des opérateurs. Pour chacun de 13 opérateurs de robots (AI2, Amazon, Anthropic, Apple, Cohere, Common Crawl, Diffbot, DuckDuckGo, Google, Microsoft, Mistral, OpenAI, Perplexity), les déclarations que l'opérateur publie lui-même sur ses robots, la page de documentation et les plages d'adresses IP publiées (JSON), sont récupérées chaque jour, sans plafond d'octets, puis hachées, scellées et ancrées comme tout autre artefact : 26 adresses. Nous ne vérifions pas si un accès a réellement eu lieu depuis ces plages ; seul est attesté ce que l'opérateur a déclaré au jour T. Là où une redirection existait, c'est la cible qui est consignée, afin que la provenance porte le document et non la redirection. Écartées, motif énoncé : les pages qui ne livrent rien à un client sans navigateur (la documentation des robots de Meta), parce qu'une coquille vide ne prouve rien. L'état de ce jour pour cette série est délivré sous forme d'extrait probatoire du domaine de l'opérateur, comme tout autre, au tarif publié.

Déclarations des fournisseurs. Par le même mécanisme, les politiques d'utilisation, conditions et politiques de robots publiées par 12 de ces opérateurs (AI2, Amazon, Anthropic, Apple, Cohere, Common Crawl, Diffbot, DuckDuckGo, Google, Meta, Microsoft, Mistral) : 32 adresses, chaque jour, sans plafond d'octets. Deux opérateurs, OpenAI et Perplexity, ne livrent pas ces pages à un client qui n'est pas un navigateur ; leurs conditions ne figurent donc pas dans le relevé, et nous le disons ici plutôt que de combler la lacune par d'autres moyens. Ensemble, elles forment le pendant des fichiers de réserve : ce qu'un site avait réservé au jour T, et ce que l'opérateur avait déclaré le même jour sur sa propre conduite. Rien n'est évalué : le relevé conserve le texte, non un jugement à son sujet. Comme les déclarations des opérateurs ci-dessus, l'état de ce jour pour cette série est délivré sous forme d'extrait probatoire du domaine de l'opérateur, au tarif publié.

Changement de méthode, applicable au 20 septembre 2026

À compter de cette date, le noyau est observé à six adresses supplémentaires par domaine. Comme auparavant, rien d'antérieur n'a été modifié : les journées précédant le 20 septembre 2026 conservent la méthode en vigueur au moment de leur scellement. L'anneau large est inchangé et reçoit toujours cinq requêtes par domaine, rien de plus.

Ce qui a été ajouté, et pourquoi maintenant. Deux sortes de fichiers qui s'adressent aux machines plutôt qu'aux lecteurs. La première énonce un prix plutôt qu'un refus : /.well-known/rsl.xml et /rsl.xml, le document de licence de la spécification Really Simple Licensing, récupéré aux deux emplacements parce que la spécification désigne le premier, tandis que les adoptants que nous observons font pointer leur robots.txt vers le second. La seconde sorte est ce qu'un site déclare aux agents autonomes : l'A2A Agent Card (/.well-known/agent-card.json), l'ancien manifeste de plugin (/.well-known/ai-plugin.json) et le répertoire de clés servant à authentifier les requêtes signées des robots (/.well-known/http-message-signatures-directory). Ajouté à leurs côtés : /sitemap.xml, le fichier lui-même et jamais les adresses qu'il énumère ; il peut montrer qu'une page existait déjà à une date donnée.

L'adoption, le jour où nous avons commencé, était quasi nulle, et nous le disons au lieu de le taire. Mesuré sur l'ensemble du noyau les 19 et 20 septembre 2026 : deux domaines servaient une ligne de licence RSL, et exactement un domaine sur 1 119 servait l'un des fichiers destinés aux agents. Nous n'avons pas attendu que cela change. Un relevé qui commence après qu'une pratique s'est répandue ne peut pas montrer quand elle a commencé, et un fichier absent est lui-même une déclaration datée : au jour T, ce domaine n'a rien déclaré aux agents. Conserver cette déclaration ne coûte presque rien, car les réponses d'erreur sont consignées sans leur corps.

Un plafond d'octets, et une omission délibérée. Le noyau reste sans plafond, à une seule exception : le sitemap est plafonné à 5 Mo et tout ce qui dépasse est marqué truncated. C'est le seul de ces fichiers qui puisse atteindre plusieurs mégaoctets, et ce qu'il sert à montrer repose sur les entrées qu'il contient, non sur l'exhaustivité de la liste. Délibérément non ajoutés : les chemins de découverte proposés pour le Model Context Protocol. Deux chemins concurrents existent et aucun n'avait été intégré à cette spécification au moment de la rédaction ; en consigner un chaque jour bâtirait une série ininterrompue sur une adresse qui ne sera peut-être jamais la bonne. Lorsqu'un chemin sera arrêté, son ajout constituera un nouveau changement de méthode, énoncé ici comme celui-ci.

Changement de méthode, applicable au 29 septembre 2026

À compter de cette date, chaque page d'accueil de l'anneau large a son propre jour fixe dans la semaine. L'engagement ne change pas : la page d'accueil est récupérée au moins une fois par semaine, les quatre fichiers de réserve chaque jour. Seul change le jour de la semaine. Le témoin 1 applique la règle à partir de son passage du 29 septembre 2026, le témoin 2 à partir de son passage du 30 septembre 2026. Les journées antérieures conservent la méthode en vigueur au moment de leur scellement.

La règle, pour que chacun puisse la recalculer. On prend le nom d'hôte de l'adresse de la page d'accueil en minuscules, sans port, et on en calcule le SHA-256. L'empreinte se lit comme un unique entier non signé en ordre big-endian ; on y ajoute le décalage du témoin (0 pour le témoin 1, 3 pour le témoin 2) et on prend le reste modulo 7 : c'est le créneau du domaine. Un jour appartient au créneau n lorsque le nombre de jours écoulés depuis le 1er janvier 1970 laisse le reste n modulo 7. Une page d'accueil de l'anneau large est récupérée un jour donné si elle n'a jamais été conservée, si sa dernière copie conservée date de sept jours ou plus, ou si le jour appartient à son créneau et qu'elle n'a pas déjà été conservée ce jour-là. Un domaine injoignable le jour venu est donc retenté chaque jour suivant jusqu'à ce qu'une copie soit conservée, puis retrouve son créneau.

Pourquoi. Jusque-là, une page d'accueil arrivait à échéance sept jours après sa dernière copie conservée. L'anneau large ayant été constitué par lots, des lots entiers arrivaient à échéance le même jour de la semaine : deux nuits de la semaine portaient presque toutes les pages d'accueil de l'anneau large, et cinq presque aucune. La règle les répartit uniformément. Les décalages diffèrent volontairement entre les témoins : les deux témoins récupèrent une même page d'accueil à des jours différents, de sorte que la défaillance d'un seul jour ne peut la faire manquer chez les deux, et chaque page d'accueil est vue deux fois par semaine, une fois par chaque témoin, à des jours différents. La conséquence est dite ouvertement : pour une page d'accueil de l'anneau large, les deux témoins ne détiennent pas, en règle générale, de copie du même jour. Ce que les deux témoins détiennent pour le même jour, ce sont les quatre fichiers de réserve, récupérés quotidiennement par chacun.

La transition. Le changement ne fait croître aucun écart au-delà de sept jours. Durant la première semaine, certaines pages d'accueil sont récupérées moins de sept jours après leur copie précédente, une seule fois, parce que leur nouveau créneau arrive plus tôt ; ensuite, chaque domaine est récupéré sur son créneau.

Changement de méthode, applicable au 5 octobre 2026

À partir de ce jour, un jour scellé peut contenir, outre les observations, une empreinte supplémentaire : les déclarations de la liste IA Oui/Non confirmées ou modifiées depuis le sceau précédent. Ce n'est pas une observation. Elle consigne ce que des personnes nous ont déclaré, non ce qu'un domaine a servi, et sa classe le dit : son adresse est https://machinewitness.eu/liste/erklaert et son statut erklaert. Un jour sans de telles déclarations n'a pas cette empreinte et est constitué exactement comme auparavant.

L'empreinte, pour que chacun puisse la recalculer. Elle a la même forme que toute autre empreinte du jour. Elle couvre un fichier contenant les déclarations de ce jour, triées, chacune sha256("mwdecl-v1|" key "|" kind "|" platform "|" target "|" choice "|" day), la clé étant une valeur aléatoire que seule la personne a reçue, avec le justificatif. Les déclarations sont combinées deux à deux comme les observations, et la racine qui en résulte figure dans les métadonnées de l'empreinte. Sans la clé, une déclaration ne nomme personne ; avec elle, la personne peut prouver une entrée depuis le justificatif jusqu'à la racine quotidienne publiée, même après l'avoir effacée. La page de vérification est /liste/pruefen.

Pourquoi elle reste à part. Observations et déclarations répondent à des questions différentes. Une empreinte propre, de classe propre, laisse tout ce qui concerne les observations inchangé, et aucun nombre d'observations publié par cette archive ne la compte.

Le contenu lui-même

GET https://beispielfirma.example/robots.txt
→ HTTP 200, 412 octets

User-agent: *
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Les octets exacts que le serveur a délivrés, conservés sans modification et compressés. Non pas notre résumé, ni un rendu : les octets. Dans un litige, la question n'est jamais « que dit le fichier » mais « que disait-il le 14 août 2027 ».

L'empreinte

payload_sha256 = 9f2a41d7c8e05b3a…7d1e6084bb93c2f5
payload_size   = 412 octets

Une empreinte SHA-256 (hash) est un code court, de longueur fixe, calculé à partir des octets exacts d'un fichier. Changez un seul caractère et le code change entièrement, et il est impossible en pratique de fabriquer un fichier différent portant le même code. Elle fonctionne comme l'empreinte d'une version déterminée d'un document. C'est aussi le numéro de classement : le contenu est stocké sous sa propre empreinte, de sorte que rien ne peut être substitué sans que l'étiquette cesse de correspondre.

Les circonstances de la délivrance

observed_at   = 2027-08-14 03:00:11 UTC
observer_id   = witness-1
status_code   = 200
final_url     = https://www.beispielfirma.example/robots.txt   (après redirection)
http_version  = HTTP/1.1
headers       = content-type: text/plain; charset=UTF-8
                cache-control: max-age=600
                x-served-by: cache-fra-…
                (en-têtes de réponse complets, mot pour mot)
tls_version   = TLSv1.3
peer_cert     = subject:  *.beispielfirma.example
                issuer:   GlobalSign Atlas R3 DV TLS CA
                valid:    2027-06-01 → 2028-06-01
                sha256:   3b8c07f2ad91…e5240ac71f6b88
                (empreinte du certificat du serveur,
                 plus les cinq champs analysés ci-dessus)
peer_cert_chain = 3b8c07f2ad91…e5240ac71f6b88   (certificat du serveur)
                6f1d0ba47c33…9a7e1c40db2f51   (intermédiaire)
                c04e83fa1d67…2b95e7708aa361   (intermédiaire)
                (la chaîne telle que le serveur l'a délivrée, dans
                 cet ordre ; chaque certificat conservé en entier)
observer_addr = l'adresse IP depuis laquelle notre observateur s'est connecté
peer_addr     = l'adresse IP qui a répondu

C'est ce que les juristes appellent la chaîne de conservation de la preuve : non pas simplement « ce fichier existait », mais « ce serveur, présentant ce certificat TLS, a délivré ces octets à cet observateur à cet instant ». Le certificat TLS importe parce qu'il rattache la délivrance à une partie capable d'obtenir un certificat pour ce domaine. L'ensemble est scellé avec le contenu, de sorte qu'aucun élément ne peut être échangé ensuite.

Ce qui est exactement consigné ici, et ce qui ne l'est pas. Depuis le 15 septembre 2026, nous conservons la chaîne de certificats complète telle que le serveur la délivre : le certificat du serveur et les intermédiaires transmis avec lui, chacun conservé en entier, les empreintes étant consignées dans l'ordre d'arrivée. Il ne s'agit pas d'une chaîne reconstruite au regard de notre propre magasin de confiance : un témoin consigne ce qui a été délivré, et la question de savoir si cette chaîne est valide appartient à l'expert, non à nous. Nous continuons à consigner à côté l'empreinte SHA-256 du certificat du serveur ainsi que les cinq champs analysés ci-dessus.

Ce changement ne rétroagit pas. Pour les observations antérieures au 15 septembre 2026, seule l'empreinte existe, non le certificat ; lorsque ce certificat est nécessaire, il peut en général être obtenu de manière indépendante auprès des registres publics de transparence des certificats (RFC 6962), l'infrastructure d'audit sur laquelle s'appuient les navigateurs. Les enregistrements plus anciens conservent l'état qui était le leur à l'époque, et rien n'est complété après coup. Cela honore l'engagement que cette page portait depuis le 1^er août 2026.

Les deux adresses. observer_addr et peer_addr doivent contenir l’adresse IP et le port depuis lesquels notre témoin se connecte, ainsi que l’adresse qui répond. Jusqu’au 24 septembre 2026, ces deux champs sont restés vides dans chaque observation : notre logiciel demandait les adresses à sa bibliothèque réseau sous des noms que celle-ci n’utilise pas. Nous l’avons constaté en préparant le premier document de livraison et l’avons corrigé pour le 25 septembre 2026. Cette correction était incomplète : sous la charge parallèle de la récupération quotidienne, les adresses n’étaient lues qu’après que la connexion avait déjà été rendue, si bien que du 25 au 29 septembre 2026 seule une observation sur vingt environ les porte (les captures individuelles, comme le relevé à date, portent les deux). Corrigé à nouveau pour le 30 septembre 2026 ; à partir de ce jour, chaque récupération ayant reçu une réponse porte les deux adresses. Les enregistrements antérieurs gardent l’état qu’ils avaient, et rien n’est complété après coup.

L'indicateur de changement

changed = true   (l'empreinte diffère de l'observation précédente)

Positionné lorsque l'empreinte du jour diffère de celle de la veille pour la même ressource. C'est la raison d'être de cette archive : ces fichiers changent en silence, sans historique public, et le changement lui-même est souvent le fait contesté.