Vulnérabilités IA : Maladie Fictive a Trompé ChatGPT

Une expérience sur une maladie fictive révèle les failles de l'IA dans le traitement des données scientifiques

Un chercheur médical de l'Université de Göteborg a inventé une maladie imaginaire appelée « biksonomie » et publié des prépublications falsifiées sur Preprints.org. Très vite, les grands modèles linguistiques, dont ChatGPT et Google Gemini, ont commencé à traiter ces informations comme des faits avérés, propageant ainsi de fausses affirmations médicales.

Comment l’IA a pris un canular pour une vérité

L’expérience a débuté en 2024 par la publication de deux articles fictifs décrivant des symptômes tels qu’une irritation oculaire et un assombrissement de la peau autour des paupières, attribués à la lumière bleue des écrans. Les documents présentaient pourtant des signes évidents de falsification : auteurs inexistants, institutions inventées, et même des références à de la science-fiction. Malgré ces indices, les systèmes d’IA ont indexé le contenu et commencé à le citer.

Dès le printemps 2024 :

• Microsoft Copilot a décrit la biksonomie comme une affection rare ;
• Google Gemini a recommandé de consulter un ophtalmologiste ;
• Perplexity a cité des statistiques inventées ;
• ChatGPT a aidé à poser un diagnostic symptomatique.

Cette réaction met en lumière les faiblesses algorithmiques dans la vérification des sources, car l’IA s’appuie fortement sur des bases de données externes sans effectuer de vérification approfondie.

Conséquences pour la communauté scientifique

Les fausses prépublications ont pénétré la littérature académique réelle : l’une d’elles a été citée dans la revue Cureus comme une forme de mélanose périoculaire. La revue a ensuite retiré la référence, et Preprints.org a supprimé les documents le 10 avril 2026, les qualifiant de falsifiés.

Ces incidents illustrent les risques liés au flux de connaissance — des serveurs de prépublications aux modèles d’IA, puis aux publications évaluées par des pairs. Les causes profondes résident dans l’indexation automatisée, où la forme prime souvent sur le fond, ainsi que dans l’absence de modération rigoureuse en amont.

Enseignements clés

• Les modèles d’IA intègrent facilement des textes scientifiques falsifiés sans évaluation critique ;
• Des articles truqués aux défauts évidents se diffusent tout de même via les chatbots ;
• Ce problème touche non seulement l’IA, mais aussi les processus d’évaluation par les pairs ;
• Une exploitation commerciale est envisageable, par exemple pour promouvoir des produits de santé douteux ;
• Une vérification accrue des sources est urgente, tant pour les modèles d’IA que pour les plateformes de publication.

Impact sur les secteurs de l’IA et de la médecine

Ce cas a accéléré le débat sur la fiabilité de l’IA en matière de santé. Parmi les conséquences, on note le risque de tromper les utilisateurs qui s’appuient sur les chatbots pour un autodiagnostic. Le secteur connaît une demande croissante de validation multicouche — combinant modération par des experts, algorithmes de détection de contenus falsifiés et étiquetage transparent des sources.

Dans un contexte plus large, l’IA s’entraîne sur des données en libre accès, où les prépublications ont explosé, multipliant par dizaines depuis les années 2010. Sans filtres, ce terrain devient fertile pour la désinformation. Des développeurs comme OpenAI et Google déploient déjà des mises à jour visant à rendre leurs modèles plus sceptiques face aux sources ambigües.

L’expérience souligne la nécessité d’un équilibre entre rapidité et précision dans le traitement de l’information — particulièrement dans des domaines critiques comme la médecine.

— Editorial Team