Per i gestori di siti
Il crawler MachineWitness
Ultimo aggiornamento: 23 luglio 2026
Se è arrivato a questa pagina dai log del Suo server: è il nostro crawler che si presenta. È gestito da Martin Schenk S.L. ed è volutamente piccolo, cortese e identificabile.
Che cosa fa
Una volta al giorno richiede a un dominio un piccolo insieme fisso di file pubblici leggibili dalle macchine:
- /robots.txt: le regole per i crawler
- /ai.txt: le dichiarazioni sull'uso da parte dell'IA
- /.well-known/tdmrep.json: le riserve di estrazione di testo e di dati
- /llms.txt: le indicazioni per i modelli linguistici
- la risposta della pagina iniziale, per le sue intestazioni ed eventuali meta tag d'uso (con un limite rigido di dimensione)
Registra esattamente ciò che è stato servito, affinché possa essere verificato in seguito. Non esegue la scansione dei contenuti del Suo sito, non segue collegamenti verso la Sua applicazione, non invia moduli, non effettua l'accesso e non raccoglie dati personali oltre a quelli eventualmente contenuti in quei file pubblici.
Come si comporta
- Si identifica con lo user-agent indicato sopra e un indirizzo di contatto.
- Rispetta il Suo robots.txt per ogni file, tranne il robots.txt stesso: prelevare il file delle regole è la convenzione consolidata che rende verificabili quelle regole.
- Applica limiti rigidi di dimensione e frequenza: una manciata di richieste minuscole, una volta al giorno. Il carico sul Suo server è trascurabile.
- Smette di esplorare qualunque dominio su richiesta.
Chiedere l'esclusione, o la rimozione di un record
Scriva a bot@machinewitness.eu. Possiamo:
- Escludere il Suo dominio da ogni scansione futura, su richiesta. Le chiederemo di dimostrare che ha il controllo del dominio (un record DNS TXT, oppure un file a un percorso che indichiamo noi), affinché nessun altro possa far escludere il Suo dominio; e / oppure
- Rimuovere un record esistente: il contenuto conservato viene eliminato e sostituito da un marcatore di cancellazione, mentre la struttura di prova crittografica è mantenuta, cosicché l'integrità dell'archivio circostante regga ancora. Si veda la nostra informativa sulla privacy.
Può anche vietare i file elencati sopra nel Suo robots.txt, e noi lo rispetteremo per il futuro.
Perché lo facciamo
Queste dichiarazioni leggibili dalle macchine possono cambiare o sparire senza lasciare traccia. Un registro quotidiano neutrale e sigillato di ciò che è stato servito consente a chiunque, Lei compreso, di provare in seguito che cosa il Suo sito dichiarasse effettivamente in un dato giorno. Siamo un testimone, non un investigatore: registriamo e sigilliamo, senza prendere posizione. Si veda che cosa facciamo e che cosa non facciamo.