llms.txt

llms.txt: che cos'è il file e che cosa ne registra l'archivio

llms.txt è una convenzione proposta: un file Markdown nella radice di un sito web che descrive il sito ai modelli linguistici e li rimanda alle pagine importanti. Non vieta nulla e non riserva nulla. Questa pagina spiega che cosa contiene il file, in che cosa si distingue da robots.txt, da ai.txt e da una riserva relativa all'estrazione di testo e di dati, e perché ciò che un file simile diceva in un giorno preciso può diventare in seguito una questione. Le guide per scrivere il file non mancano; questa pagina riguarda la sua registrazione.

Che cos'è llms.txt

La convenzione è stata proposta nel settembre 2024 ed è pubblicata su llmstxt.org. Si tratta di una proposta, non di una norma di un organismo di normazione, e nulla obbliga un sito a pubblicare il file né un sistema di IA a leggerlo. Secondo la proposta, il file si chiama llms.txt e si trova nella radice di un sito (/llms.txt), oppure in un sottopercorso per gli indirizzi che ne dipendono. È scritto in Markdown e segue un ordine fisso:

• un titolo di primo livello con il nome del sito o del progetto (l'unica parte obbligatoria);
• facoltativamente un breve riassunto in una citazione a blocco e ulteriori paragrafi esplicativi;
• un numero qualsiasi di sezioni di secondo livello, ciascuna con un elenco di link accompagnati da una breve descrizione, di norma verso pagine in Markdown semplice.

Lo scopo, nelle parole della proposta, è fornire ai modelli linguistici informazioni concise e selezionate in un unico luogo, invece di lasciare che si facciano strada in un sito pensato per lettori umani. Un esempio minimo per un sito inventato:

# Example Shop
> Furniture for small flats, shipped within the EU.

## Products
- [Catalogue](https://shop.example/catalogue.md): all items with dimensions and prices
- [Delivery](https://shop.example/delivery.md): countries, lead times, returns

## Optional
- [Press](https://shop.example/press.md): company history and contact

In che cosa si distingue da robots.txt, da ai.txt e da una riserva

I file rivolti alle macchine fanno cose diverse, e questa differenza è l'oggetto di questa pagina:

• robots.txt indica ai crawler, con il nome con cui si presentano, quali percorsi possono richiamare. Limita.
• ai.txt è una convenzione più recente, non standardizzata, che esprime una posizione nei confronti dei sistemi di IA. Dichiara.
• Una riserva relativa all'estrazione di testo e di dati (ad esempio in /.well-known/tdmrep.json) esprime che un titolare dei diritti si riserva tale utilizzo. Come la tratta la legge è illustrato nella pagina sull'estrazione di testo e di dati e la riserva leggibile dalle macchine.
• llms.txt descrive. Offre a un modello linguistico un accesso guidato ai contenuti e non contiene alcun meccanismo per rifiutare alcunché. La proposta non lo presenta come una riserva, e se abbia una qualche rilevanza ai sensi di una determinata legge è una questione giuridica a cui questa pagina non risponde.

Perché il suo contenuto in un giorno determinato può contare

Un file llms.txt è una dichiarazione che un sito fa su di sé, rivolta alle macchine, in un dato momento. Può nominare pagine, descrivere offerte e cambiare da una settimana all'altra senza lasciare traccia: un server non conserva alcuno storico, e quando il file viene modificato la versione precedente scompare. La domanda arriva di solito più tardi ed è una semplice domanda di fatto: che cosa offriva questo sito ai sistemi di IA su di sé quel giorno, a quali pagine li rimandava e quando è cambiato? Uno screenshot fatto oggi mostra l'oggi, e un log del server è la parola di una delle parti. Ciò che risponde alla domanda è una registrazione fatta il giorno stesso da qualcuno che non sapeva che la domanda sarebbe mai stata posta.

Per l'esempio inventato qui sopra, una simile registrazione mostrerebbe che il 3 marzo il file elencava le pagine del catalogo e della consegna, che in una data successiva è comparsa una sezione stampa e che in un'altra data il file non c'era più.

Che cosa ne registra MachineWitness

L'archivio richiama /llms.txt nella radice di ogni dominio che osserva, ogni giorno, insieme a robots.txt, ai.txt e tdmrep.json. Lo fa su entrambi i suoi testimoni gestiti in modo indipendente. Per ogni richiamo conserva ciò che è stato servito: i byte esatti, gli header di risposta completi, un'impronta SHA-256 del contenuto e l'ora in UTC. Quando il file non esiste, anche questo viene registrato: un HTTP 404 senza contenuto, che mostra che quel giorno a quell'indirizzo non veniva servito nulla. Ogni giornata viene sigillata la stessa notte in una radice pubblica e ancorata con marche temporali al di fuori di questo archivio. Che cosa conserviamo elenca tutti gli indirizzi e i limiti.

A questo punto vanno indicati due limiti. Viene richiamato solo l'indirizzo nella radice; un llms.txt in un sottopercorso non viene richiamato. E l'archivio registra il file così come è stato servito: non ne legge il significato, non verifica se i link funzionano e non valuta ciò che vi è scritto.

Se Le serve la registrazione

• Se un dominio è già osservato e da quando: la verifica di copertura, gratuita.
• Un dominio non ancora osservato che deve essere registrato ogni giorno d'ora in poi: l'osservazione quotidiana.
• Che cosa diceva il file in giorni determinati, come documento con le istruzioni per verificarlo: un estratto probatorio.

Una registrazione può iniziare solo il giorno in cui parte l'osservazione; non si può fare per i giorni precedenti.