Archivblockade vor KI: Bedrohung für das Web-Erbe

Verlage blockieren Web-Archive: Eine Bedrohung für das digitale Erbe in der KI-Ära

Große Medienhäuser wie The New York Times und The Guardian errichten technische Barrieren, um zu verhindern, dass das Internet Archive ihre Seiten indiziert. Diese gehen über die Standard-robots.txt-Datei hinaus und zielen darauf ab, Web-Scraping für das Training von KI-Modellen zu blockieren. Dieser Ansatz birgt jedoch das Risiko, historische Schnappschüsse von Webseiten zu verlieren – die einzige verbliebene Quelle für Originalinhalte.

EFF-Senioranalyst Joe Mullin vergleicht das mit einem Verbot für Bibliotheken, Kopien von Zeitungen aufzubewahren. Seit den 1990er Jahren erfasst das Internet Archive Schnappschüsse von Nachrichten-Websites, einschließlich Bearbeitungen und gelöschter Artikel. Diese Blockaden schneiden Historiker, Journalisten und Forscher von authentischen Versionen der Publikationen ab.

Rolle des Internet Archive bei der Erhaltung der Webgeschichte

Das Internet Archive fungiert als gemeinnützige digitale Bibliothek und erstellt Indizes sowie Kopien von Web-Ressourcen. Das funktioniert ähnlich wie bei Suchmaschinen, wo das Kopieren von Inhalten als fair use nach US-Rechtsprechung gilt.

• Die einzige Quelle für Originale: Viele Artikel werden unbemerkt bearbeitet oder gelöscht; das Archiv sichert ihre ursprünglichen Versionen.
• Langfristige Speicherung: Fast 30 Jahre Daten für akademische Forschung und Fact-Checking.
• Gemeinnützige Ausrichtung: Die Organisation nutzt keine kommerziellen KI-Trainings, sondern konzentriert sich auf die Bewahrung des kulturellen Erbes.

Verlage rechtfertigen diese Blockaden mit Klagen gegen KI-Unternehmen wegen unbefugten Scrapings. The New York Times hat bereits mehrere Verfahren eingeleitet und fordert Entschädigung für Inhalte, die im Modelltraining verwendet wurden.

Warum Blockieren der falsche Weg ist

Mullin betont, dass diese Maßnahmen KI-Bots nicht aufhalten, aber Jahrzehnte der Dokumentation vernichten werden. Suchmaschinen sind rechtlich geschützt, weil Indexierung das Kopieren von Inhalten erfordert. Archive sollten ebenso das Recht haben, Seiten zum öffentlichen Nutzen zu cachen.

Gerichtsurteile zum KI-Scraping könnten Grenzen setzen, aber sie dürften nicht auf gemeinnützige Bibliotheken anwendbar sein. Das Herausschmeißen von Archiven löscht den historischen Nachweis aus und opfert Daten in einem Kampf, an dem Archivare gar nicht beteiligt sind.

Rechtliche Aspekte von Indexierung und Archivierung

In den USA deckt fair use die Erstellung von Suchindizes und Archiven ab:

• Zweck und Charakter: Gemeinnützig und bildend – spricht stark für fair use.
• Art des Werks: Faktenbasierte Medieninhalte eignen sich hervorragend zur Archivierung.
• Umfang: Nur die für die Indexierung nötigen Kopien.
• Marktwirkung: Archive konkurrieren nicht mit Originalen; sie erhalten sie.

EFF argumentiert, dass Präzedenzfälle für Google und Bing auch auf das Internet Archive zutreffen. Einschränkungen für KI sollten diese bewährten Praktiken nicht tangieren.

Wichtige Erkenntnisse

• Das Blockieren von Archiven stoppt kein KI-Scraping, zerstört aber historische Aufzeichnungen von Webinhalten.
• Das Internet Archive ist ein unverzichtbares Werkzeug zur Überprüfung von Änderungen in Medienpublikationen.
• Fair use schützt gemeinnützige Archivierung genauso wie Suchmaschinen.
• Verlage riskieren, digitales Erbe in ihrem Kampf gegen KI-Unternehmen dauerhaft zu verlieren.
• EFF-Empfehlung: Den Zugriff für kommerzielle KI und gemeinnützige Bibliotheken unterscheiden.

Auswirkungen auf das digitale Erbe

Das Opfern öffentlicher Daten zur Kontrolle von KI ist ein irreversibler Fehler, sagt Mullin. Der Verlust archivalischer Kopien erschwert die Analyse von Propaganda, Fake News und der Entwicklung von Narrativen. KI-Entwickler und Forscher historischer Daten werden mit einem Mangel an authentischen Quellen kämpfen.

Für IT-Fachleute ist das ein Weckruf, Web-Scraping- und Archivierungspraktiken neu zu überdenken. Erwarten Sie neue Protokolle wie robots.txt-Regeln, die Bots nach User-Agent unterscheiden, oder dezentralisierte Archive auf Blockchain für mehr Widerstandsfähigkeit.

— Editorial Team