Zranitelnosti AI: falešná nemoc oklamala ChatGPT

Experiment s falešnou nemocí odhalil zranitelnost AI při zpracování vědeckých dat

Výzkumnice z univerzity v Goethenburgu vytvořila smyšlené onemocnění zvané "biksonomanie" a zveřejnila padělané preprinty na platformě Preprints.org. Během krátké doby začaly velké jazykové modely, včetně ChatGPT a Google Gemini, tuto informaci považovat za pravdivou, čímž se rozšířily nepravdivé lékařské údaje.

Jak umělá inteligence přijala padělek jako pravdu

Experiment započal v roce 2024 zveřejněním dvou fiktivních studií popisujících symptomy jako podráždění očí a ztmavnutí kůže kolem víček, údajně způsobené modrým světlem obrazovek. Dokumenty obsahovaly zjevné znaky falzifikace: neexistující autory, vymyšlené instituce a dokonce odkazy na sci-fi díla. Přesto systémy AI tyto materiály zaindexovaly a začaly je citovat.

K jaru 2024:

• Microsoft Copilot popisoval biksonomanii jako vzácné onemocnění;
• Google Gemini doporučoval konzultaci s oftalmologem;
• Perplexity uváděl vymyšlené statistiky;
• ChatGPT pomáhal diagnostikovat příznaky.

Tato reakce odhaluje slabost algoritmů při ověřování zdrojů, které spoléhají na externí databáze bez hloubkové analýzy obsahu.

Důsledky pro vědeckou komunitu

Falešné preprinty pronikly i do reálné literatury: jeden byl citován v časopise Cureus jako forma periorbitální melanozy. Časopis později odkaz stáhl a platforma Preprints.org materiály odstranila 10. dubna 2026 s označením „zfalšované".

Tyto incidenty ilustrují rizika v řetězci poznání – od serverů s předtištěnými pracemi přes modely AI až po publikované články. Příčiny leží v automatizovaném indexování, kde formát má přednost před obsahem, a v nedostatku přísné moderace v raných fázích šíření informací.

Co je důležité vědět

• Modely AI snadno integrují falešné vědecké texty bez kritického posouzení;
• Padělky s jasnými znaky falzifikace se stejně šíří prostřednictvím chatbotů;
• Problém se dotýká nejen umělé inteligence, ale i procesů recenzního hodnocení (peer review);
• Hrozí komerční zneužití, například propagace pochybných produktů;
• Je nutné zlepšit ověřování zdrojů jak pro AI modely, tak pro publikační platformy.

Dopad na odvětví AI a medicínu

Tento případ urychlil debatu o spolehlivosti AI ve zdravotnictví. Mezi důsledky patří potenciální zavádění uživatelů, kteří využívají boty pro samodiagnostiku. Ve vývojářském prostředí roste poptávka po vícevrstvé kontrole: kombinaci expertní moderace, algoritmů detekce padělků a jasném označování zdrojů.

Celkový kontext ukazuje, že AI se učí z otevřených dat, kde podíl preprintů neustále roste – od roku 2010 se jejich počet desítkykrát zvýšil. Bez efektivních filtrů to vytváří riziko šíření dezinformací. Vývojáři jako OpenAI a Google již implementují aktualizace, které mají modely naučit většímu skepstitismu vůči nejasným nebo podezřelým zdrojům.

Experiment zdůrazňuje nutnost vyvážit rychlost zpracování informací s jejich pravdivostí, zejména v citlivých oblastech jako je medicína.

— Editorial Team