KI-Schwachstellen: Fiktive Krankheit täuschte ChatGPT

Falsches Krankheitsexperiment enthüllt AI-Sicherheitslücken bei der wissenschaftlichen Datenverarbeitung

Ein Medizinwissenschaftler der Universität Göteborg erfand eine fiktive Krankheit namens „Biksonomie“ und veröffentlichte gefälschte Preprints auf Preprints.org. Große Sprachmodelle wie ChatGPT und Google Gemini begannen bald darauf, diese Informationen als Tatsachen zu behandeln, was zur Verbreitung falscher medizinischer Behauptungen führte.

Wie KI Erfindung für Wahrheit hielt

Das Experiment startete 2024 mit der Veröffentlichung zweier erfundener Studien, die Symptome wie Augenreizungen und Verdunkelung der Haut um die Augenlider beschrieben – verursacht angeblich durch blaues Licht von Bildschirmen. Die Dokumente enthielten offensichtliche Fälschungsmerkmale: nicht existierende Autoren, erfundene Institutionen und sogar Referenzen auf Science-Fiction-Werke. Trotz dieser Warnsignale indizierten KI-Systeme die Inhalte und zitierten sie fortan.

Im Frühjahr 2024:

• Beschrieb Microsoft Copilot Biksonomie als seltene Erkrankung;
• Riet Google Gemini zur Konsultation eines Augenarztes;
• Nutzte Perplexity erfundene Statistiken;
• Unterstützte ChatGPT bei der Diagnose der Symptome.

Diese Reaktion offenbart algorithmische Schwächen bei der Quellenprüfung: KI-Systeme stützen sich stark auf externe Datenbanken, ohne tiefe Faktenchecks vorzunehmen.

Auswirkungen auf die wissenschaftliche Gemeinschaft

Die gefälschten Preprints drangen in die echte Fachliteratur ein: Einer wurde im Journal Cureus als Form der periokulären Melanose zitiert. Das Journal zog den Verweis später zurück, und Preprints.org entfernte die Materialien am 10. April 2026 und kennzeichnete sie als gefälscht.

Solche Vorfälle verdeutlichen Risiken innerhalb des Wissenspfads – von Preprint-Servern über KI-Modelle bis hin zu peer-reviewten Publikationen. Ursachen liegen in der automatisierten Indizierung, bei der oft das Format dem Inhalt vorgezogen wird, sowie im Mangel an strenger Moderation in frühen Phasen.

Wichtige Erkenntnisse

• KI-Modelle integrieren leicht gefälschte wissenschaftliche Texte ohne kritische Bewertung;
• Gefälschte Studien mit offensichtlichen Fehlern verbreiten sich weiterhin über Chatbots;
• Das Problem betrifft nicht nur KI, sondern auch Peer-Review-Prozesse;
• Kommerzielle Ausbeutung ist möglich, etwa durch Werbung für fragwürdige Gesundheitsprodukte;
• Dringender Bedarf an verbesserter Quellenverifizierung bei KI-Modellen und Publikationsplattformen.

Auswirkungen auf KI- und Medizinbranche

Dieser Fall hat die Debatte über die Zuverlässigkeit von KI im Gesundheitswesen beschleunigt. Mögliche Folgen sind irreführende Informationen für Nutzer, die Bots zur Selbstbehandlung nutzen. Die Branche sieht steigende Nachfrage nach mehrstufigen Validierungsprozessen – kombinierte Expertenmoderation, Algorithmen zur Erkennung gefälschter Inhalte und transparente Quellenkennzeichnung.

Der größere Kontext zeigt: KI trainiert auf Open-Access-Daten, wo Preprints stark zugenommen haben – um ein Vielfaches seit den 2010er Jahren. Ohne Filter entsteht so fruchtbarer Boden für Fehlinformationen. Entwickler wie OpenAI und Google führen bereits Updates ein, um Modelle skeptischer gegenüber zweifelhaften Quellen zu machen.

Das Experiment unterstreicht die Notwendigkeit eines Gleichgewichts zwischen Geschwindigkeit und Genauigkeit bei der Informationsverarbeitung – besonders in sicherheitskritischen Bereichen wie der Medizin.

— Editorial Team