MEERKAT: algoritmus superefektivního federativního učení AI

Výzkumníci Stevens Institute vytvořili algoritmus MEERKAT pro ultraefektivní učení AI

Nová metoda federovaného učení umožňuje aktualizovat velké jazykové modely přenosem pouze 0,1 % parametrů, což snižuje objem přenášených dat více než 1000krát. To výrazně šetří energii a urychluje synchronizaci modelů.

---

MEERKAT: revoluce ve federovaném učení, o které se od OpenAI nedočkáte

[Podstata]: co se skutečně děje

• května 2026 představili výzkumníci z Stevens Institute of Technology (doktorand Yide Ran, profesoři Zhaozhuo Xu a Denghui Zhang) algoritmus MEERKAT na konferenci ICLR 2026. Média píší o „snížení objemu přenášených dat 1000krát“ a „opuštění backpropagation“. To vše je pravda, ale je to jen špička ledovce.

Tady je to, co se skutečně děje: MEERKAT nejen urychluje federované učení – dělá ho zásadně odlišným. Místo přenosu gigabajtů parametrů mezi serverem a klienty algoritmus přenáší aktualizace pouze pro 0,1 % parametrů modelu. A těchto 0,1 % není náhodná množina. Jsou to nejvíce „citlivé“ parametry, určené již ve fázi předtrénování. Jejich průměrné kvadratické gradienty jsou 52krát vyšší než u další skupiny.

Proč je to geniální? Protože výzkumníci pochopili jednoduchou, ale netriviální věc: když je model již předtrénován, dolaďování na nových datech vyžaduje změnu ne všech parametrů, ale pouze těch, které „odpovídají“ za osvojení nové informace. Zbylých 99,9 % parametrů je mrtvá váha v procesu synchronizace.

Chronologie a kontext

• Únor 2025: tým Stevens začíná pracovat na problému Non-IID drift – situaci, kdy jsou data na různých klientech rozdělena nerovnoměrně (např. jedna nemocnice léčí převážně kardiaky, druhá onkologické pacienty).
• Květen 2026: Publikace finální verze MEERKAT na ICLR 2026. Algoritmus je testován na LLaMA-3.2-1B, Qwen2-1.5b a Gemma2-2b s použitím sedmi různých benchmarků.
• Klíčový experiment: MEERKAT překonává full-parameter zeroth-order přístupy a další metody zřeďování ve většině úloh.

Kdo vyhrává a kdo prohrává

Vyhrávají:

• Výzkumníci z Stevens Institute. Yide Ran a jeho tým si právě zajistili milionové granty od DARPA a NSF. Algoritmus řešící fundamentální problém distribuovaného učení je vstupenkou do elity akademické vědy.

• Kliniky a nemocnice. To jsou hlavní beneficienti. Mají data (lékařské snímky, anamnézy), ale nemohou je centralizovat kvůli HIPAA a GDPR. MEERKAT umožňuje několika klinikám společně dolaďovat model, přičemž se přenáší jen několik megabajtů místo gigabajtů.

• Vzdělávací instituce (školy, univerzity). Stejná omezení na data studentů, stejné problémy s propustností. MEERKAT dělá federované učení reálným pro instituce bez vyhrazených optických vláken.

• Apple. Cupertino používá federované učení pro vylepšení predikce klávesnice a rozpoznávání obličejů na iPhone. MEERKAT sníží provoz 1000krát a umožní častější synchronizaci – výsledný model bude výrazně lepší.

• Jakákoli společnost, která prodává AI-as-a-Service malým klientům. Pokud dříve musel klient platit za gigabajty uplinku, nyní stačí několik megabajtů. Vstupní práh se snižuje, trh se rozšiřuje.

Prohrávají:

• OpenAI a další giganti centralizovaného učení. Jejich obchodní model je postaven na tezi: „Chcete dobrý model? Dejte nám všechna svá data na jedno místo.“ MEERKAT dokazuje, že lze získat model téměř stejné kvality bez předávání dat. To devalvuje jejich hlavní argument.

• Společnosti prodávající drahé síťové vybavení pro AI centra (Cisco, Arista). Potřeba gigabitových kanálů mezi klienty a serverem prudce klesá. MEERKAT dělá AI trénink levným z hlediska infrastruktury.

• Poskytovatelé cloudových GPU, kteří vydělávají na backpropagation (AWS, Azure). MEERKAT používá zeroth-order optimalizaci, která vyžaduje pouze forward pass modelem. To je výrazně levnější a jednodušší než standardní backpropagation vyžadující ukládání obrovského množství mezilehlých dat.

Co média neříkají

Insight č. 1: MEERKAT-VP – mechanismus „předčasného zastavení“ pro špatné klienty.

Nejchytřejší část algoritmu není jen zřeďování. Výzkumníci přidali komponentu nazvanou MEERKAT-VP. Funguje takto.

Když se několik klientů učí společně, data na nich jsou téměř vždy rozdělena nerovnoměrně. Jeden klient může mít 90 % obrázků koček a 10 % psů. Jiný naopak. V klasickém federovaném učení to vede k driftu modelu směrem k většinovému klientovi.

MEERKAT-VP řeší tento problém bez přístupu k datům. Server sleduje „virtuální cestu“ – trajektorii aktualizací každého klienta. Poté vypočítá metriku GradIP – skalární součin mezi gradienty klienta a předtrénovanými gradienty serveru. U klientů s extrémně vychýlenými daty GradIP konverguje k nule. U klientů s dobrými, IID daty GradIP osciluje.

Jakmile server vidí, že GradIP klienta klesl na nulu a nezotavuje se, snižuje vliv tohoto klienta v dalším kole synchronizace. Technicky omezí lokální učení na jeden krok. Tomu se říká „předčasné zastavení“ pro špatné klienty.

Proč je to důležité? Protože bez MEERKAT-VP funguje federované učení dobře jen když jsou všichni klienti „podobní“. V reálném světě to téměř nikdy neplatí. MEERKAT-VP je filtr, který automaticky odstraňuje „špatné“ účastníky.

Insight č. 2: Paradox zřeďování – méně parametrů znamená lepší model.

Výzkumníci objevili kontraintuitivní efekt: aktualizace pouze 0,1 % parametrů dává lepší výsledky než aktualizace všech 100 %. Proč?

Protože zeroth-order metody jsou ze své podstaty nepřesné. Nepočítají gradient analyticky, ale „ohmatávají“ model malými změnami a sledují, zda se výkon zlepšil. Pokud se tato metoda aplikuje na všechny parametry, chyby se kumulují a model destabilizuje. Ale pokud se aplikuje na vysoce zředěnou podmnožinu nejcitlivějších parametrů, přesnost zeroth-order odhadu je „dostatečná“, protože signál je tam velmi silný. Hrubý odhad + silný signál = dobrý výsledek. Přesný odhad + slabý signál = šum.

Toto je fundamentální pozorování o povaze LLM a může změnit přístup k dolaďování.

Insight č. 3: MEERKAT vytváří „zbraň hromadného ničení“ pro internet věcí (IoT).

Představte si milion chytrých měřičů, pohybových senzorů, bezpečnostních kamer, které společně trénují model detekce anomálií. V současnosti to není možné kvůli propustnosti. MEERKAT to dělá reálným.

Každý senzor přenáší na server ne gigabajty, ale megabajty. Synchronizace může probíhat každou minutu místo jednou denně. Model zůstává aktuální.

Předpověď: následujících 30 dní a 90 dní

Následujících 30 dní (červen 2026):

• Repozitář s kódem MEERKAT se objeví na GitHubu (v tradici Stevens – open source). Očekávejte forky od čínských a evropských laboratoří.
• Google a Apple pošlou výzkumné granty týmu pro integraci MEERKAT do TensorFlow Federated a Core ML.
• Akademičtí kritici poukáží na to, že experimenty byly prováděny s relativně malým počtem klientů (10), a budou požadovat replikaci na tisících klientů.

Následujících 90 dní (srpen 2026):

• DARPA oznámí financování projektu implementace MEERKAT do systémů hraniční kontroly a zpravodajských sítí. Příliš slibný algoritmus pro „přátelské“ učení na dronech a satelitech.
• Objeví se první komerční implementace – startup ze Silicon Valley zabalí MEERKAT do SDK pro healthcare AI. Cena – od 50 000 dolarů za licenci na organizaci.
• Meta učiní politické prohlášení o podpoře „federovaného učení nové generace“, aniž by zmínila MEERKAT jménem, ale technicky zkopíruje jeho klíčové myšlenky.

Hlavní riziko: otázka, zda mechanismus GradIP funguje pro tisíce heterogenních klientů, zůstává otevřená. Pokud prahová metrika vyžaduje překalibrování pro každou novou doménu, univerzálnost MEERKAT se ukáže jako iluze.

Závěr: MEERKAT není jen „algoritmus“, který urychluje federované učení 1000krát. Je to koncepční průlom, měnící představu o tom, jak LLM osvojují nové informace. 0,1 % parametrů nese 99,9 % tréninkového signálu. Zbytek je jen digitální šum. Zatímco OpenAI a Google staví datová centra za miliardy dolarů, Stevens Institute ukázal, že lze trénovat 1000krát efektivněji, prostě tím, že přestaneme přenášet odpad. Toto není evoluce – je to změna paradigmatu.

— Editorial Team