llms.txt

llms.txt: czym jest ten plik i co z niego zapisuje archiwum

llms.txt to proponowana konwencja: plik Markdown w katalogu głównym strony internetowej, który opisuje stronę modelom językowym i kieruje je do istotnych podstron. Niczego nie zakazuje i niczego nie zastrzega. Ta strona wyjaśnia, co zawiera plik, czym różni się od robots.txt, ai.txt i zastrzeżenia dotyczącego eksploracji tekstów i danych oraz dlaczego to, co taki plik zawierał w określonym dniu, może później stać się przedmiotem pytania. Poradników, jak napisać taki plik, nie brakuje; ta strona dotyczy jego utrwalenia.

Czym jest llms.txt

Konwencję zaproponowano we wrześniu 2024 r. i opublikowano na llmstxt.org. Jest to propozycja, a nie norma organizacji normalizacyjnej, i nic nie zobowiązuje strony do publikacji pliku ani systemu AI do jego odczytu. Według propozycji plik nazywa się llms.txt i znajduje się w katalogu głównym strony (/llms.txt) albo w podkatalogu, dla adresów, które się w nim znajdują. Jest napisany w języku Markdown i ma stałą kolejność:

• nagłówek pierwszego poziomu z nazwą strony lub projektu (jedyna część obowiązkowa);
• opcjonalnie krótkie streszczenie w cytacie blokowym oraz dalsze akapity objaśniające;
• dowolna liczba sekcji drugiego poziomu, każda w postaci listy odnośników z krótkim opisem, zwykle do stron w zwykłym Markdown.

Celem, według słów propozycji, jest dostarczenie modelom językowym zwięzłych, wyselekcjonowanych informacji w jednym miejscu, zamiast zmuszania ich do przedzierania się przez stronę zbudowaną dla ludzi. Minimalny przykład dla wymyślonej strony:

# Example Shop
> Furniture for small flats, shipped within the EU.

## Products
- [Catalogue](https://shop.example/catalogue.md): all items with dimensions and prices
- [Delivery](https://shop.example/delivery.md): countries, lead times, returns

## Optional
- [Press](https://shop.example/press.md): company history and contact

Czym różni się od robots.txt, ai.txt i zastrzeżenia

Pliki skierowane do maszyn robią różne rzeczy, a ta różnica jest przedmiotem tej strony:

• robots.txt wskazuje robotom (crawlerom), pod nazwą, którą się przedstawiają, jakie ścieżki mogą pobierać. Ogranicza.
• ai.txt to nowsza, niezstandaryzowana konwencja wyrażająca stanowisko wobec systemów AI. Deklaruje.
• Zastrzeżenie dotyczące eksploracji tekstów i danych (na przykład w /.well-known/tdmrep.json) wyraża, że uprawniony zastrzega sobie takie korzystanie. Jak traktuje je prawo, wyjaśnia strona o eksploracji tekstów i danych oraz zastrzeżeniu nadającym się do odczytu maszynowego.
• llms.txt opisuje. Wskazuje modelowi językowemu drogę do treści i nie zawiera żadnego mechanizmu odmowy. Propozycja nie przedstawia go jako zastrzeżenia, a to, czy ma on jakiekolwiek znaczenie na gruncie określonej ustawy, jest kwestią prawną, na którą ta strona nie odpowiada.

Dlaczego jego treść z określonego dnia może mieć znaczenie

Plik llms.txt jest oświadczeniem, które strona składa o sobie, skierowanym do maszyn, w określonym momencie. Może wymieniać podstrony, opisywać ofertę i zmieniać się z tygodnia na tydzień bez śladu: serwer nie prowadzi historii, a gdy plik zostanie zmieniony, poprzednia wersja znika. Pytanie o to pojawia się zwykle później i jest zwykłym pytaniem o fakty: co ta strona oferowała systemom AI o sobie w tym dniu, do jakich podstron je kierowała i kiedy to się zmieniło? Zrzut ekranu zrobiony dzisiaj pokazuje dzień dzisiejszy, a dziennik serwera jest oświadczeniem jednej ze stron. Odpowiedź daje zapis sporządzony w tym samym dniu przez kogoś, kto nie wiedział, że to pytanie kiedykolwiek padnie.

W wymyślonym przykładzie powyżej taki zapis pokazałby, że 3 marca plik wymieniał strony katalogu i dostawy, że w późniejszym terminie pojawiła się sekcja dla prasy, a w innym terminie pliku już nie było.

Co z niego zapisuje MachineWitness

Archiwum pobiera /llms.txt w katalogu głównym każdej obserwowanej domeny, codziennie, razem z robots.txt, ai.txt i tdmrep.json. Robi to na obu swoich niezależnie prowadzonych świadkach. Przy każdym pobraniu zapisuje to, co zostało wysłane: dokładne bajty, pełne nagłówki odpowiedzi, odcisk SHA-256 treści i czas w UTC. Gdy pliku nie ma, również to jest zapisywane: HTTP 404 bez treści, co pokazuje, że tego dnia pod tym adresem nic nie było wysyłane. Każdy dzień jest jeszcze tej samej nocy pieczętowany w publicznym korzeniu i zakotwiczany za pomocą znaczników czasu poza tym archiwum. Co przechowujemy wymienia wszystkie adresy i limity.

Należą tu dwa ograniczenia. Pobierany jest tylko adres w katalogu głównym; llms.txt w podkatalogu nie jest pobierany. Archiwum zapisuje plik tak, jak został wysłany: nie czyta go pod kątem znaczenia, nie sprawdza, czy odnośniki działają, i nie ocenia, co jest w nim napisane.

Jeśli potrzebują Państwo zapisu

• Czy domena jest już obserwowana i od kiedy: sprawdzenie zasięgu, bezpłatne.
• Domena, która nie jest jeszcze obserwowana i ma być zapisywana codziennie od teraz: codzienna obserwacja.
• Co plik zawierał w określonych dniach, jako dokument z instrukcją weryfikacji: wyciąg dowodowy.

Zapis może się zacząć dopiero w dniu rozpoczęcia obserwacji; nie można go sporządzić dla wcześniejszych dni.