Estrazione di testo e di dati

Estrazione di testo e di dati e riserva leggibile dalle macchine

Il diritto dell'Unione consente di effettuare copie ai fini dell'estrazione di testo e di dati (text and data mining), salvo che il titolare dei diritti si sia riservato tale utilizzo. Per i contenuti pubblicati online la riserva deve essere espressa in forma leggibile dalle macchine. Questa pagina riporta il testo della legge, indica in quali file e segnali una simile riserva si esprime nella pratica e spiega perché ciò che essi dicevano in un giorno determinato è il fatto che in seguito occorrerà dimostrare.

Il testo della legge

La regola è contenuta nell'articolo 4 della direttiva sul diritto d'autore e sui diritti connessi nel mercato unico digitale. Il paragrafo 1 obbliga gli Stati membri a prevedere un'eccezione per le riproduzioni e le estrazioni di opere cui si abbia legalmente accesso, ai fini dell'estrazione di testo e di dati. Il paragrafo 3 la subordina a una condizione:

«L'eccezione o la limitazione di cui al paragrafo 1 si applica a condizione che l'utilizzo delle opere e di altri materiali di cui a tale paragrafo non sia stato espressamente riservato dai titolari dei diritti in modo appropriato, ad esempio attraverso strumenti che consentano lettura automatizzata in caso di contenuti resi pubblicamente disponibili online.»

Direttiva (UE) 2019/790, art. 4, paragrafo 3. Fonte: EUR-Lex, CELEX 32019L0790.

La Germania ha recepito la disposizione nel § 44b della legge sul diritto d'autore (Urheberrechtsgesetz, UrhG). Il comma 1 definisce l'estrazione di testo e di dati, il comma 2 consente le copie e il comma 3 disciplina la riserva:

«(1) Per estrazione di testo e di dati si intende l'analisi automatizzata di una o più opere digitali o digitalizzate allo scopo di ricavarne informazioni, in particolare su schemi, tendenze e correlazioni.

(2) È consentita la riproduzione di opere legittimamente accessibili ai fini dell'estrazione di testo e di dati. Le copie devono essere cancellate quando non sono più necessarie a tale scopo.

(3) Gli utilizzi di cui al comma 2, prima frase, sono consentiti solo se il titolare dei diritti non se li è riservati. Per le opere accessibili online, la riserva di utilizzo è efficace soltanto se espressa in forma leggibile dalle macchine.»

§ 44b UrhG, traduzione non ufficiale; fa fede solo il testo tedesco. Fonte del testo tedesco: gesetze-im-internet.de (Ministero federale della Giustizia).

Anche il regolamento sull'IA richiama la stessa riserva. L'articolo 53, paragrafo 1, lettera c), dispone che i fornitori di modelli di IA per finalità generali:

«attuano una politica volta ad adempiere al diritto dell'Unione in materia di diritto d'autore e diritti ad esso collegati e, in particolare, a individuare e rispettare, anche attraverso tecnologie all'avanguardia, una riserva di diritti espressa a norma dell'articolo 4, paragrafo 3, della direttiva (UE) 2019/790».

Regolamento (UE) 2024/1689, art. 53, paragrafo 1, lettera c). Fonte: EUR-Lex, CELEX 32024R1689.

Dove si trova in pratica una riserva leggibile dalle macchine

Nessuno di questi testi indica un formato di file. In pratica le riserve rivolte alle macchine si esprimono in pochi punti, e in tutti è una macchina a leggerle, senza l'intervento di una persona:

• /robots.txt: il più antico file di istruzioni del web. Si rivolge ai crawler con il nome con cui si presentano e stabilisce quali percorsi possono richiamare.
• /.well-known/tdmrep.json: il TDM Reservation Protocol, elaborato in un W3C Community Group proprio per esprimere una riserva rispetto all'estrazione di testo e di dati.
• Header HTTP e meta tag della pagina principale: lo stesso protocollo può essere dichiarato in un header di risposta o nell'intestazione HTML, senza un file a parte.
• /ai.txt e /llms.txt: convenzioni più recenti, rivolte ai sistemi di IA e non standardizzate. Che cos'è llms.txt e in che cosa si distingue da una riserva è spiegato in una pagina dedicata.

Quale di queste forme soddisfi il requisito in un caso concreto è una questione giuridica, e questa pagina non vi risponde. Una questione di fatto, invece, ammette risposta: che cosa dicesse un determinato file o header in un determinato giorno.

Perché occorre poter dimostrare il giorno

Una riserva è lo stato di un file in un dato momento. Il server non ne conserva alcuno storico: quando il file robots.txt viene modificato, la versione precedente scompare, e nulla sul server dice quando sia cambiato né che cosa dicesse prima. La questione di una riserva si pone però di solito mesi dopo il giorno a cui si riferisce. A quel punto uno screenshot fatto oggi mostra l'oggi, e un log del server è la parola di una delle parti.

Serve allora una registrazione fatta il giorno stesso, da qualcuno che non sapeva che la domanda sarebbe mai stata posta.

Che cosa registra questo archivio

Dal 22 luglio 2026 due testimoni gestiti in modo indipendente prelevano questi file per circa 128.000 domini dell'UE: robots.txt, ai.txt, tdmrep.json e llms.txt ogni giorno per ogni dominio, gli header e i meta tag della pagina principale ogni giorno per ogni dominio, e la pagina principale completa ogni giorno nell'anello principale e una volta alla settimana nell'anello ampio. Ogni giornata viene sigillata la stessa notte in una radice pubblica e ancorata con marche temporali al di fuori di questo archivio, in modo che nessuno possa modificarla in seguito, nemmeno noi. Che cosa conserviamo elenca tutti gli indirizzi e i limiti; come funziona mostra come un terzo verifica una registrazione senza di noi.

• Se un dominio è già osservato e da quando: la verifica di copertura, gratuita.
• Che cosa dicevano i suoi file in giorni determinati, come documento con le istruzioni per verificarlo: un estratto probatorio.
• Un dominio che deve essere registrato ogni giorno d'ora in poi: l'osservazione quotidiana.

L'archivio registra ciò che è stato servito. Non valuta se una riserva sia efficace, se un crawler l'abbia rispettata o chi fosse legittimato a esprimerla.