Zranitelnost AI McKinsey: přístup k datům za hodiny

Zranitelnost AI platformy McKinsey: přístup k důvěrným datům během hodin

Autonomní nástroj odhalil kritickou zranitelnost v korporátním AI systému Lilli společnosti McKinsey, což umožnilo získat přístup k milionům interních dokumentů a nastavení AI bez autentizace. Incident zdůrazňuje rizika ve vývoji podnikových řešení založených na umělé inteligenci.

Technické detaily průniku

Systém Lilli je určen pro analýzu interních dokumentů, vyhledávání v archivech a zpracování požadavků zaměstnanců McKinsey. Měsíčně platforma obsluhuje více než 500 tisíc požadavků od desítek tisíc uživatelů. Automatizovaný testovací algoritmus využil otevřenou dokumentaci API, kde objevil více než 200 endpointů. Některé z nich nevyžadovaly ověření pravosti.

Klíčovým problémem byla zranitelnost SQL injekce v mechanismu zápisu vyhledávacích dotazů. Systém bezpečně zpracovával hodnoty parametrů, ale názvy polí byly vkládány přímo do SQL příkazů. Algoritmus analyzoval chyby služby, určil vzor zranitelnosti a vygeneroval funkční dotaz pro extrakci dat.

Rozsah úniku informací

Po počátečním přístupu se otevřela cesta k rozsáhlému úložišti:

• Desítky milionů zpráv z korporátních chatů;
• Stovky tisíc souborů včetně prezentací, tabulek a reportů;
• Údaje účtů desítek tisíc zaměstnanců.

Všechny materiály byly uloženy v nechráněném formátu. Doplňkově byly extrahována systémová nastavení Lilli určující logiku práce AI: pravidla tvorby odpovědí, omezení přístupu a zpracování dat. Zranitelnost umožňovala nejen čtení, ale i modifikaci těchto parametrů.

Potenciální dopady na byznys

Změna instrukcí AI mohla vést k vážným rizikům. Platforma byla schopna vydávat zkreslené doporučení, odhalovat důvěrné informace nebo obcházet bezpečnostní politiky. Takové manipulace probíhají na úrovni konfigurace, bez modifikace kódu, což ztěžuje detekci.

Standardní nástroje skenování bezpečnosti problém nezjistily, navzdory tomu, že SQL injekce jsou známé od 90. let. To ukazuje na mezery v procesech vývoje a testování AI systémů ve velkých poradenských firmách.

Co je důležité

• Zranitelnost v API Lilli umožnila přístup k milionům interních dokumentů bez hesla;
• Možná modifikace chování AI, vedoucí k únikům nebo dezinformacím;
• Incident odhalil autonomní nástroj, standardní skenery ho minuly;
• Zdůrazňuje nutnost přísné validace vstupních dat v enterprise-AI;
• Riziko je aktuální pro všechny firmy využívající interní AI asistenty.

Kontext a význam pro odvětví

AI platformy jako Lilli integrují obrovské množství korporátních dat, zvyšují produktivitu, ale zvětšují povrch útoku. Příčiny zranitelnosti sahají ke zastaralým přístupům k zpracování požadavků: přímé nasazení parametrů do SQL bez parametrizace. Dopady přesahují rámec McKinsey – podobná rizika mají konkurenti jako BCG nebo Bain, kde se AI používá pro analýzu dat klientů.

Vliv na odvětví: růst investic do bezpečnosti při návrhu AI. Podle zpráv o kyberbezpečnosti 70 % incidentů v enterprise souvisí s API zranitelnostmi. Regulátoři včetně EU s AI Act zpřísňují požadavky na transparentnost modelů. Firmy jsou nuceny zavést víceúrovňovou ochranu: parametrizované dotazy, přístup podle nejmenších oprávnění a pravidelný audit AI konfigurací.

— Editorial Team