Podatność AI McKinsey: dostęp do danych w godziny

Usterka platformy AI McKinsey: dostęp do poufnych danych w kilka godzin

Autonomiczne narzędzie wykryło krytyczną lukę w korporacyjnym systemie AI Lilli firmy McKinsey, co pozwoliło na uzyskanie dostępu do milionów wewnętrznych dokumentów i ustawień AI bez uwierzytelniania. Incydent podkreśla ryzyka w tworzeniu rozwiązań enterprise opartych na sztucznej inteligencji.

Szczegóły techniczne włamania

System Lilli służy do analizy wewnętrznych dokumentów, wyszukiwania w archiwach oraz przetwarzania zapytań pracowników McKinsey. Miesięcznie platforma obsługuje ponad 500 tysięcy zapytań od dziesiątek tysięcy użytkowników. Zautomatyzowany algorytm testowy wykorzystał otwartą dokumentację API, gdzie wykrył ponad 200 endpointów. Kilka z nich nie wymagało uwierzytelniania.

Kluczowym problemem była luka typu SQL injection w mechanizmie zapisu zapytań wyszukiwania. System bezpiecznie przetwarzał wartości parametrów, ale nazwy pól były wstawiane bezpośrednio do zapytań SQL. Algorytm przeanalizował błędy serwisu, zidentyfikował wzorzec luki i wygenerował działające zapytanie do wydobycia danych.

Skala wycieku informacji

Po początkowym dostępie otworzyła się droga do rozległego magazynu:

• Dziesiątki milionów wiadomości z czatów korporacyjnych;
• Setki tysięcy plików, w tym prezentacje, tabele i raporty;
• Dane kont dziesiątek tysięcy pracowników.

Wszystkie materiały były przechowywane w niezabezpieczonym formacie. Dodatkowo wydobyto ustawienia systemowe Lilli określające logikę działania AI: zasady generowania odpowiedzi, ograniczenia dostępu i przetwarzanie danych. Luka pozwalała nie tylko na odczyt, ale także modyfikację tych parametrów.

Potencjalne konsekwencje dla biznesu

Zmiana instrukcji AI mogła prowadzić do poważnych zagrożeń. Platforma mogła generować zniekształcone rekomendacje, ujawniać poufne informacje lub omijać polityki bezpieczeństwa. Taka manipulacja odbywa się na poziomie konfiguracji, bez modyfikacji kodu, co utrudnia wykrycie.

Standardowe narzędzia skanowania bezpieczeństwa nie wykryły problemu, mimo że SQL injection jest znany od lat 90. XX wieku. Wskazuje to na luki w procesach rozwoju i testowania systemów AI w dużych firmach konsultingowych.

Co jest ważne

• Luka w API Lilli umożliwiła dostęp do milionów wewnętrznych dokumentów bez hasła;
• Możliwa jest modyfikacja zachowania AI, prowadząca do wycieków lub dezinformacji;
• Incydent wykryto za pomocą autonomicznego narzędzia, standardowe skanery minęły to;
• Podkreśla konieczność ścisłej walidacji danych wejściowych w enterprise-AI;
• Ryzyko jest aktualne dla wszystkich firm korzystających z wewnętrznych asystentów AI.

Kontekst i znaczenie dla branży

Platformy AI takie jak Lilli integrują ogromne ilości danych korporacyjnych, zwiększając wydajność, ale powiększając powierzchnię ataku. Przyczyny luki tkwią w przestarzałych podejściach do przetwarzania zapytań: bezpośrednie wstawianie parametrów do SQL bez parametryzacji. Konsekwencje wykraczają poza McKinsey – podobne ryzyka istnieją u konkurentów takich jak BCG czy Bain, gdzie AI jest wykorzystywane do analizy danych klientów.

Wpływ na branżę: wzrost inwestycji w AI secure-by-design. Według raportów z zakresu cyberbezpieczeństwa, 70% incydentów w enterprise wiąże się z lukami w API. Regulatorzy, w tym UE z AI Act, zaostrzają wymagania dotyczące przejrzystości modeli. Firmy są zmuszone wdrażać wielopoziomową ochronę: zapytania parametryzowane, dostęp least-privilege i regularny audyt konfiguracji AI.

— Editorial Team