MEERKAT: algorytm superefektywnego uczenia federacyjnego AI

Badacze Stevens Institute stworzyli algorytm MEERKAT do superwydajnego uczenia AI

Nowa metoda uczenia federacyjnego pozwala aktualizować duże modele językowe, przesyłając tylko 0,1% parametrów, co zmniejsza ilość przesyłanych danych ponad 1000 razy. Znacznie oszczędza to energię i przyspiesza synchronizację modeli.

---

MEERKAT: rewolucja w uczeniu federacyjnym, o której nie usłyszycie od OpenAI

[Sedno]: co naprawdę się dzieje

4 maja 2026 roku badacze z Stevens Institute of Technology (doktorant Yide Ran, profesorowie Zhaozhuo Xu i Denghui Zhang) przedstawili algorytm MEERKAT na konferencji ICLR 2026. Media piszą o „zmniejszeniu objętości przesyłanych danych 1000 razy” i „rezygnacji z backpropagation”. To wszystko prawda, ale to tylko wierzchołek góry lodowej.

Oto co naprawdę się dzieje: MEERKAT nie tylko przyspiesza uczenie federacyjne – czyni je zasadniczo innym. Zamiast przesyłać gigabajty parametrów między serwerem a klientami, algorytm przesyła aktualizacje tylko dla 0,1% parametrów modelu. I te 0,1% to nie przypadkowy zbiór. To najbardziej „wrażliwe” parametry, określone już na etapie pretreningu. Ich średnie kwadratowe gradienty są 52 razy wyższe niż w następnej grupie.

Dlaczego to genialne? Ponieważ badacze zrozumieli prostą, ale nietrywialną rzecz: gdy model jest już wstępnie wytrenowany, douczanie na nowych danych wymaga zmiany nie wszystkich parametrów, a tylko tych, które „odpowiadają” za przyswajanie nowej informacji. Pozostałe 99,9% parametrów to martwy ciężar w procesie synchronizacji.

Chronologia i kontekst

• Luty 2025: zespół Stevens rozpoczyna pracę nad problemem dryfu Non-IID – sytuacją, gdy dane na różnych klientach są rozłożone nierównomiernie (np. jeden szpital leczy głównie kardiologów, inny – pacjentów onkologicznych).
• Maj 2026: publikacja finalnej wersji MEERKAT na ICLR 2026. Algorytm testowany na LLaMA-3.2-1B, Qwen2-1.5b i Gemma2-2b, przy użyciu siedmiu różnych benchmarków.
• Kluczowy eksperyment: MEERKAT przewyższa podejścia full-parameter zeroth-order i inne metody rozrzedzania w większości zadań.

Kto wygrywa, a kto przegrywa

Wygrywają:

• Badacze z Stevens Institute. Yide Ran i jego zespół właśnie zapewnili sobie milionowe granty od DARPA i NSF. Algorytm rozwiązujący fundamentalny problem uczenia rozproszonego to bilet do elity nauki akademickiej.

• Kliniki i szpitale. To główni beneficjenci. Mają dane (obrazy medyczne, historie chorób), ale nie mogą ich scentralizować z powodu HIPAA i RODO. MEERKAT pozwala kilku klinikom wspólnie douczać model, przesyłając tylko kilka megabajtów zamiast gigabajtów.

• Instytucje edukacyjne (szkoły, uniwersytety). Te same ograniczenia dotyczące danych studentów, te same problemy z przepustowością. MEERKAT czyni uczenie federacyjne realnym dla instytucji bez dedykowanych łączy światłowodowych.

• Apple. Cupertino używa uczenia federacyjnego do ulepszania predykcji klawiatury i rozpoznawania twarzy na iPhone'ach. MEERKAT zmniejszy ruch 1000 razy i pozwoli na częstszą synchronizację – końcowy model będzie znacznie lepszy.

• Każda firma sprzedająca AI-as-a-Service małym klientom. Jeśli wcześniej klient musiał płacić za gigabajty łącza wysyłającego, teraz wystarczy kilka megabajtów. Próg wejścia spada, rynek się rozszerza.

Przegrywają:

• OpenAI i inni giganci scentralizowanego uczenia. Ich model biznesowy opiera się na tezie: „Chcesz dobry model? Oddaj nam wszystkie swoje dane w jedno miejsce”. MEERKAT dowodzi, że można uzyskać model prawie takiej samej jakości, nie oddając danych. To dewaluuje ich główny argument.

• Firmy sprzedające drogi sprzęt sieciowy dla centrów AI (Cisco, Arista). Zapotrzebowanie na gigabitowe łącza między klientami a serwerem gwałtownie spada. MEERKAT czyni trening AI tanim pod względem infrastruktury.

• Dostawcy chmurowych GPU, zarabiający na backpropagation (AWS, Azure). MEERKAT używa optymalizacji zerowego rzędu, która wymaga tylko forward pass przez model. Jest to znacznie tańsze i łatwiejsze niż standardowy backpropagation, wymagający przechowywania ogromnej ilości danych pośrednich.

Czego media nie dopowiadają

Insight nr 1: MEERKAT-VP – mechanizm „wczesnego zatrzymania” dla złych klientów.

Najmądrzejsza część algorytmu to nie tylko rozrzedzanie. Badacze dodali komponent o nazwie MEERKAT-VP. Oto jak działa.

Gdy kilku klientów uczy się wspólnie, dane u nich są prawie zawsze rozłożone nierównomiernie. Jeden klient może mieć 90% zdjęć kotów i 10% psów. Inny – odwrotnie. W klasycznym uczeniu federacyjnym prowadzi to do dryfu modelu w stronę klienta większościowego.

MEERKAT-VP rozwiązuje ten problem bez dostępu do danych. Serwer śledzi „wirtualną ścieżkę” – trajektorię aktualizacji każdego klienta. Następnie obliczana jest metryka GradIP – iloczyn skalarny między gradientami klienta a wstępnie wytrenowanymi gradientami serwera. U klientów z ekstremalnie przesuniętymi danymi GradIP zbiega do zera. U klientów z dobrymi, IID-danymi GradIP oscyluje.

Gdy serwer widzi, że GradIP klienta spadł do zera i nie odzyskuje się, zmniejsza wpływ tego klienta w następnej rundzie synchronizacji. Technicznie – ogranicza lokalne uczenie do jednego kroku. Nazywa się to „wczesnym zatrzymaniem” dla złych klientów.

Dlaczego to ważne? Ponieważ bez MEERKAT-VP uczenie federacyjne działa dobrze tylko wtedy, gdy wszyscy klienci są „podobni”. W realnym świecie to prawie nigdy nie występuje. MEERKAT-VP to filtr, który automatycznie odsiewa „złych” uczestników.

Insight nr 2: Paradoks rozrzedzenia – mniej parametrów oznacza lepszy model.

Badacze odkryli kontrintuicyjny efekt: aktualizacja tylko 0,1% parametrów daje lepsze wyniki niż aktualizacja wszystkich 100%. Dlaczego?

Ponieważ metody zerowego rzędu są z natury niedokładne. Nie obliczają gradientu analitycznie, ale „badają” model małymi zmianami i sprawdzają, czy wydajność się poprawiła. Jeśli zastosować tę metodę do wszystkich parametrów, błędy kumulują się i model destabilizuje się. Ale jeśli zastosować ją do silnie rozrzedzonego podzbioru najbardziej wrażliwych parametrów, dokładność oceny zerowego rzędu okazuje się „wystarczająca”, ponieważ sygnał jest tam bardzo silny. Gruba ocena + silny sygnał = dobry wynik. Dokładna ocena + słaby sygnał = szum.

To fundamentalne spostrzeżenie o naturze dużych modeli językowych i może zmienić podejście do dostrajania.

Insight nr 3: MEERKAT tworzy „broń masowego rażenia” dla internetu rzeczy (IoT).

Wyobraźcie sobie milion inteligentnych liczników, czujników ruchu, kamer monitoringu, które wspólnie uczą model wykrywania anomalii. Obecnie jest to niemożliwe ze względu na przepustowość. MEERKAT czyni to realnym.

Każdy czujnik przesyła na serwer nie gigabajty, a megabajty. Synchronizacja może odbywać się raz na minutę zamiast raz dziennie. Model pozostaje aktualny.

Prognoza: następne 30 dni i 90 dni

Następne 30 dni (czerwiec 2026):

• Repozytorium z kodem MEERKAT pojawi się na GitHub (w tradycji Stevens – open source). Spodziewajcie się forków od chińskich i europejskich laboratoriów.
• Google i Apple przekażą granty badawcze zespołowi w celu integracji MEERKAT z TensorFlow Federated i Core ML.
• Akademicy wskażą, że eksperymenty przeprowadzono ze stosunkowo małą liczbą klientów (10) i zażądają replikacji na tysiącach klientów.

Następne 90 dni (sierpień 2026):

• DARPA ogłosi finansowanie projektu wdrożenia MEERKAT w systemach kontroli granicznej i sieciach wywiadowczych. Zbyt obiecujący algorytm dla „przyjaznego” uczenia na dronach i satelitach.
• Pojawi się pierwsza komercyjna implementacja – startup z Doliny Krzemowej spakuje MEERKAT w SDK dla healthcare AI. Cena – od 50 000 dolarów za licencję na organizację.
• Meta złoży polityczne oświadczenie o wsparciu dla „uczenia federacyjnego nowej generacji”, nie wymieniając MEERKAT z nazwy, ale technicznie kopiując jego kluczowe idee.

Główne ryzyko: pytanie, czy mechanizm GradIP działa dla tysięcy heterogenicznych klientów, pozostaje otwarte. Jeśli metryka progowa wymaga przekalibrowania dla każdej nowej domeny, uniwersalność MEERKAT okaże się iluzją.

Wniosek: MEERKAT to nie tylko „algorytm”, który przyspiesza uczenie federacyjne 1000 razy. To konceptualny przełom, zmieniający wyobrażenie o tym, jak duże modele językowe przyswajają nowe informacje. 0,1% parametrów niesie 99,9% sygnału uczącego. Reszta to tylko cyfrowy szum. Podczas gdy OpenAI i Google budują centra danych za miliardy dolarów, Stevens Institute pokazał, że można trenować 1000 razy wydajniej, po prostu przestając przesyłać śmieci. To nie ewolucja – to zmiana paradygmatu.

— Editorial Team