Słabości AI: fałszywa choroba oszukała ChatGPT

Eksperyment z fałszywą chorobą ujawnił podatność AI na dezinformację naukową

Badaczka medyczna z Uniwersytetu w Getyndze stworzyła wymyśloną chorobę zwaną bixonomanią i opublikowała fałszywe preprinty na platformie Preprints.org. Wkrótce potem największe modele językowe, w tym ChatGPT i Google Gemini, zaczęły traktować te informacje jako prawdziwe, co doprowadziło do szerzenia się nieprawdziwych danych medycznych.

Jak AI zaakceptowało fałszywki jako fakt

Eksperyment rozpoczął się w 2024 roku od publikacji dwóch fikcyjnych artykułów opisujących objawy takie jak podrażnienie oczu czy przebarwienia skóry wokół powiek, rzekomo wywołane światłem niebieskim z ekranów. Dokumenty zawierały oczywiste ślady sfałszowania: nieistniejących autorów, wymyślone instytucje oraz nawet nawiązania do literatury fantastycznonaukowej. Mimo to systemy AI przeindeksowały treści i zaczęły je cytować.

Na wiosnę 2024 roku:

• Microsoft Copilot opisywał bixonomanię jako rzadkie schorzenie;
• Google Gemini zalecał konsultację u okulisty;
• Perplexity przytaczał wymyśloną statystykę;
• ChatGPT pomagał diagnozować objawy.

Taka reakcja ujawnia słabość algorytmów w weryfikacji źródeł — polegają one na zewnętrznych bazach danych bez dogłębnej analizy wiarygodności.

Skutki dla środowiska naukowego

Fałszywe preprinty przedostały się do rzeczywistej literatury: jeden z nich został zacytowany w czasopiśmie Cureus jako forma melanozy okołoodbytowej. Czasopismo później wycofało odwołanie, a platforma Preprints.org usunęła materiały 10 kwietnia 2026 roku, oznaczając je jako sfałszowane.

Te incydenty pokazują ryzyko w łańcuchu wiedzy — od serwerów preprintowych przez modele AI po publikacje. Przyczyny tkwią w automatycznym indeksowaniu, gdzie formatowanie jest ważniejsze niż treść, oraz braku surowej moderacji na wczesnych etapach.

Na co warto zwrócić uwagę

• Modele AI łatwo integrują fałszywe teksty naukowe bez krytycznej analizy;
• Fałszywki z widocznymi śladami sfałszowania nadal są rozpowszechniane przez chatboty;
• Problem dotyczy nie tylko AI, ale także procesów recenzji;
• Istnieje ryzyko nadużyć komercyjnych, np. promowania wątpliwych produktów;
• Konieczne są lepsze mechanizmy weryfikacji źródeł zarówno dla modeli, jak i platform.

Wpływ na branżę AI i medycynę

Ten przypadek przyspiesza dyskusję na temat wiarygodności AI w opiece zdrowotnej. Skutki mogą obejmować wprowadzanie użytkowników w błąd, zwłaszcza tych, którzy korzystają z botów do samodiagnozy. W branży rośnie zapotrzebowanie na wielopoziomową weryfikację: połączenie eksperckiej moderacji, algorytmów wykrywania fałszywej informacji oraz znakowania źródeł.

Ogólny kontekst pokazuje, że AI uczy się na otwartych danych, wśród których udział preprintów stale rośnie — od 2010 roku liczba ta wzrosła dziesięciokrotnie. Bez odpowiednich filtrów powstaje ryzyko szerzenia dezinformacji. Deweloperzy, tacy jak OpenAI czy Google, już wdrażają aktualizacje mające zwiększyć sceptycyzm modeli wobec niepewnych źródeł.

Eksperyment podkreśla potrzebę równowagi między szybkością przetwarzania informacji a ich rzetelnością, szczególnie w wrażliwych obszarach, takich jak medycyna.

— Editorial Team