llms.txt

llms.txt: was die Datei ist und was das Archiv davon festhält

llms.txt ist eine vorgeschlagene Konvention: eine Markdown-Datei im Wurzelverzeichnis einer Website, die die Seite Sprachmodellen beschreibt und auf die wichtigen Seiten verweist. Sie verbietet nichts und behält nichts vor. Diese Seite erklärt, was in der Datei steht, wie sie sich von robots.txt, ai.txt und einem Vorbehalt für das Text- und Data-Mining unterscheidet und warum es später zur Frage werden kann, was eine solche Datei an einem bestimmten Tag enthielt. Anleitungen, wie man die Datei schreibt, gibt es genug; diese Seite handelt von ihrer Aufzeichnung.

Was llms.txt ist

Die Konvention wurde im September 2024 vorgeschlagen und ist auf llmstxt.org veröffentlicht. Es handelt sich um einen Vorschlag, nicht um einen Standard einer Normungsorganisation; nichts verpflichtet eine Website, die Datei bereitzustellen, oder ein KI-System, sie zu lesen. Nach dem Vorschlag heißt die Datei llms.txt und liegt im Wurzelverzeichnis einer Website (/llms.txt) oder, für die darunterliegenden Adressen, in einem Unterpfad. Sie ist in Markdown geschrieben und folgt einer festen Reihenfolge:

• eine Überschrift erster Ebene mit dem Namen der Website oder des Projekts (der einzige Pflichtteil);
• optional eine kurze Zusammenfassung als Blockzitat und weitere erläuternde Absätze;
• beliebig viele Abschnitte mit Überschrift zweiter Ebene, jeweils eine Liste von Links mit kurzer Beschreibung, meist auf Seiten in schlichtem Markdown.

Der Zweck besteht nach dem Wortlaut des Vorschlags darin, Sprachmodellen knappe, ausgewählte Informationen an einer Stelle zu geben, statt sie eine für Menschen gebaute Website durcharbeiten zu lassen. Ein minimales Beispiel für eine erfundene Website:

# Example Shop
> Furniture for small flats, shipped within the EU.

## Products
- [Catalogue](https://shop.example/catalogue.md): all items with dimensions and prices
- [Delivery](https://shop.example/delivery.md): countries, lead times, returns

## Optional
- [Press](https://shop.example/press.md): company history and contact

Wie sie sich von robots.txt, ai.txt und einem Vorbehalt unterscheidet

Die Dateien, die sich an Maschinen richten, leisten Verschiedenes, und genau dieser Unterschied ist der Gegenstand dieser Seite:

• robots.txt sagt Crawlern, unter dem Namen, den sie angeben, welche Pfade sie abrufen dürfen. Sie beschränkt.
• ai.txt ist eine neuere, nicht standardisierte Konvention, die eine Haltung gegenüber KI-Systemen ausdrückt. Sie erklärt.
• Ein Vorbehalt für das Text- und Data-Mining (etwa in /.well-known/tdmrep.json) bringt zum Ausdruck, dass ein Rechtsinhaber sich diese Nutzung vorbehält. Wie das Gesetz ihn behandelt, steht auf der Seite zu Text- und Data-Mining und dem maschinenlesbaren Nutzungsvorbehalt.
• llms.txt beschreibt. Sie bietet einem Sprachmodell einen geführten Zugang zu den Inhalten und enthält keinen Mechanismus, irgendetwas abzulehnen. Der Vorschlag stellt sie nicht als Vorbehalt dar, und ob sie nach einem bestimmten Gesetz irgendeine Bedeutung hat, ist eine Rechtsfrage, die diese Seite nicht beantwortet.

Warum ihr Inhalt an einem bestimmten Tag zählen kann

Eine llms.txt ist eine Aussage, die eine Website zu einem bestimmten Zeitpunkt über sich selbst gegenüber Maschinen macht. Sie kann Seiten benennen, Angebote beschreiben und sich von einer Woche zur nächsten spurlos ändern: Ein Server führt keinen Verlauf, und wird die Datei bearbeitet, ist die frühere Fassung weg. Die Frage danach kommt meist später und ist eine schlichte Tatsachenfrage: Was hat diese Website KI-Systemen an diesem Tag über sich angeboten, auf welche Seiten hat sie sie verwiesen, und wann hat sich das geändert? Ein Screenshot von heute zeigt heute, und ein Serverlog ist das Wort einer der Parteien. Die Antwort liefert eine Aufzeichnung, die am Tag selbst von jemandem gemacht wurde, der nicht wusste, dass die Frage je gestellt würde.

Für die erfundene Beispielseite oben würde eine solche Aufzeichnung zeigen, dass die Datei am 3. März die Katalog- und die Lieferseite aufführte, dass an einem späteren Datum ein Abschnitt für die Presse hinzukam und dass sie an einem weiteren Datum nicht mehr vorhanden war.

Was MachineWitness davon festhält

Das Archiv ruft /llms.txt im Wurzelverzeichnis jeder beobachteten Domain jeden Tag ab, zusammen mit robots.txt, ai.txt und tdmrep.json. Das geschieht auf beiden unabhängig betriebenen Zeugen. Bei jedem Abruf wird gespeichert, was ausgeliefert wurde: die genauen Bytes, die vollständigen Antwort-Header, ein SHA-256-Fingerabdruck des Inhalts und die Zeit in UTC. Existiert die Datei nicht, wird auch das festgehalten: ein HTTP 404 ohne gespeicherten Inhalt, der zeigt, dass an diesem Tag unter dieser Adresse nichts ausgeliefert wurde. Jeder Tag wird noch in derselben Nacht in eine öffentliche Wurzel versiegelt und außerhalb dieses Archivs mit einem Zeitstempel versehen. Welche Adressen und Grenzen genau gelten, steht unter Was wir speichern.

Zwei Grenzen gehören dazu. Abgerufen wird nur die Adresse im Wurzelverzeichnis; eine llms.txt in einem Unterpfad wird nicht abgerufen. Und das Archiv hält die Datei so fest, wie sie ausgeliefert wurde: Es liest sie nicht auf ihren Sinn, prüft nicht, ob die Links funktionieren, und bewertet nicht, was darin steht.

Wenn Sie die Aufzeichnung brauchen

• Ob eine Domain schon beobachtet wird und seit wann: die Abdeckungsprüfung, kostenlos.
• Eine Domain, die noch nicht beobachtet wird und ab jetzt jeden Tag aufgezeichnet werden soll: die tägliche Beobachtung.
• Was die Datei an bestimmten Tagen gesagt hat, als Dokument mit Anleitung zur Nachprüfung: ein Beweisauszug.

Eine Aufzeichnung kann erst an dem Tag beginnen, an dem die Beobachtung startet; für frühere Tage lässt sie sich nicht nachholen.