Für Domaininhaber

Der MachineWitness-Crawler

Stand: 11. September 2026

Wenn Sie über Ihre Server-Protokolle auf diese Seite gekommen sind: Das ist unser Crawler, der sich vorstellt. Er wird von Martin Schenk S.L. betrieben und ist bewusst klein, höflich und eindeutig erkennbar.

Was er tut

Einmal am Tag ruft er von einer Domain einen kleinen, festen Satz öffentlicher, maschinenlesbarer Dateien ab:

• /robots.txt: die Crawler-Regeln
• /ai.txt: Erklärungen zur KI-Nutzung
• /.well-known/tdmrep.json: Vorbehalte gegen Text- und Data-Mining
• /llms.txt: Hinweise für Sprachmodelle
• die Antwort der Startseite, wegen ihrer Header und etwaiger Meta-Angaben zur Nutzung (mit harter Größengrenze)

Er zeichnet genau das auf, was ausgeliefert wurde, damit es später überprüfbar ist. Er durchsucht nicht die Inhalte Ihrer Seite, folgt keinen Links in Ihre Anwendung, sendet keine Formulare, meldet sich nirgends an und erhebt keine personenbezogenen Daten über das hinaus, was in diesen öffentlichen Dateien zufällig steht.

Wie er sich verhält

• Er gibt sich mit dem obigen User-Agent und einer Kontaktadresse zu erkennen.
• Er beachtet Ihre robots.txt für jede Datei außer der robots.txt selbst: die Regeldatei abzurufen ist die übliche Konvention, die Regeln überhaupt erst prüfbar macht.
• Er hält harte Größen- und Frequenzgrenzen ein: eine Handvoll winziger Anfragen, einmal täglich. Die Last für Ihren Server ist vernachlässigbar.
• Er stellt das Crawlen einer Domain auf Zuruf ein.

Ausschluss verlangen oder einen Datensatz löschen lassen

Schreiben Sie an bot@machinewitness.eu. Wir werden:

• Ihre Domain ausschließen: von jedem künftigen Crawl, auf Verlangen. Wir bitten Sie, die Verfügungsgewalt über die Domain nachzuweisen (ein DNS-TXT-Eintrag oder eine Datei unter einem von uns genannten Pfad), damit niemand sonst Ihre Domain ausschließen lassen kann; und/oder
• Einen vorhandenen Datensatz entfernen: der gespeicherte Inhalt wird gelöscht und durch eine Löschmarke ersetzt, während die kryptographische Nachweisstruktur erhalten bleibt, sodass die Unversehrtheit des umgebenden Archivs weiter trägt. Siehe unsere Datenschutzerklärung.

Sie können die oben genannten Dateien auch in Ihrer robots.txt sperren; das beachten wir ab dem Zeitpunkt der Sperre.

Warum wir das tun

Diese maschinenlesbaren Erklärungen können sich ändern oder verschwinden, ohne eine Spur zu hinterlassen. Eine neutrale, versiegelte Tagesaufzeichnung dessen, was ausgeliefert wurde, erlaubt es jedem, auch Ihnen, später nachzuweisen, was Ihre Seite an einem bestimmten Tag tatsächlich erklärt hat. Wir sind Zeuge, nicht Ermittler: wir zeichnen auf und versiegeln, und nehmen keine Seite ein. Siehe was wir tun und was nicht.