MEERKAT: supereffizienter föderierter Lernalgorithmus für KI

Forscher des Stevens Institute entwickeln MEERKAT-Algorithmus für ultraeffizientes KI-Training

Die neue Methode des föderierten Lernens aktualisiert große Sprachmodelle, indem nur 0,1 % der Parameter übertragen werden, was das Datenübertragungsvolumen um mehr als das 1000-fache reduziert. Dies spart erheblich Energie und beschleunigt die Modellsynchronisation.

---

MEERKAT: Eine Revolution im föderierten Lernen, von der Sie bei OpenAI nichts hören werden

[Das Wesentliche]: Was wirklich passiert

Am 4. Mai 2026 stellten Forscher des Stevens Institute of Technology (Doktorand Yide Ran, Professoren Zhaozhuo Xu und Denghui Zhang) auf der ICLR 2026 den MEERKAT-Algorithmus vor. Die Medien berichten über „Reduzierung des Datenübertragungsvolumens um das 1000-fache“ und „Eliminierung der Rückpropagation“. All das stimmt, ist aber nur die Spitze des Eisbergs.

Hier ist, was wirklich passiert: MEERKAT beschleunigt nicht nur föderiertes Lernen – es macht es grundlegend anders. Anstatt Gigabyte an Parametern zwischen Server und Clients zu übertragen, sendet der Algorithmus Aktualisierungen für nur 0,1 % der Modellparameter. Und diese 0,1 % sind keine zufällige Auswahl. Es sind die „empfindlichsten“ Parameter, die während der Vortrainingsphase bestimmt werden. Ihre mittleren quadratischen Gradienten sind 52-mal höher als die der nächsten Gruppe.

Warum ist das genial? Weil die Forscher eine einfache, aber nicht triviale Tatsache erkannten: Wenn ein Modell bereits vortrainiert ist, erfordert das Feintuning auf neuen Daten nicht die Änderung aller Parameter, sondern nur derer, die für die Aufnahme neuer Informationen zuständig sind. Die restlichen 99,9 % der Parameter sind totes Gewicht im Synchronisationsprozess.

Zeitplan und Kontext

• Februar 2025: Das Stevens-Team beginnt mit der Arbeit am Non-IID-Drift-Problem – einer Situation, in der Daten über verschiedene Clients ungleich verteilt sind (z. B. behandelt ein Krankenhaus hauptsächlich Herzpatienten, ein anderes Krebspatienten).
• Mai 2026: Veröffentlichung der endgültigen Version von MEERKAT auf der ICLR 2026. Der Algorithmus wird auf LLaMA-3.2-1B, Qwen2-1.5b und Gemma2-2b mit sieben verschiedenen Benchmarks getestet.
• Schlüsselexperiment: MEERKAT übertrifft Full-Parameter-Zeroth-Order-Ansätze und andere Sparsifizierungsmethoden bei den meisten Aufgaben.

Wer gewinnt und wer verliert

Gewinner:

• Forscher des Stevens Institute. Yide Ran und sein Team haben sich gerade Multi-Millionen-Dollar-Zuschüsse von DARPA und NSF gesichert. Ein Algorithmus, der ein grundlegendes Problem des verteilten Lernens löst, ist ein Ticket in die Elite der akademischen Wissenschaft.

• Kliniken und Krankenhäuser. Sie sind die Hauptnutznießer. Sie haben Daten (medizinische Bilder, Krankengeschichten), können diese aber aufgrund von HIPAA und DSGVO nicht zentralisieren. MEERKAT ermöglicht es mehreren Kliniken, gemeinsam ein Modell zu verfeinern, wobei nur wenige Megabyte statt Gigabyte übertragen werden.

• Bildungseinrichtungen (Schulen, Universitäten). Gleiche Einschränkungen bei Schülerdaten, gleiche Bandbreitenprobleme. MEERKAT macht föderiertes Lernen für Einrichtungen ohne dedizierte Glasfaserleitungen machbar.

• Apple. Cupertino nutzt föderiertes Lernen, um die Tastaturvorhersage und Gesichtserkennung auf iPhones zu verbessern. MEERKAT wird den Datenverkehr um das 1000-fache reduzieren und häufigere Synchronisationen ermöglichen – das resultierende Modell wird deutlich besser sein.

• Jedes Unternehmen, das KI als Dienstleistung an kleine Kunden verkauft. Bisher musste ein Kunde für Gigabyte Uplink bezahlen; jetzt reichen ein paar Megabyte. Die Einstiegshürde sinkt, der Markt wächst.

Verlierer:

• OpenAI und andere zentralisierte Lernriesen. Ihr Geschäftsmodell basiert auf der Prämisse: „Willst du ein gutes Modell? Gib uns alle deine Daten an einem Ort.“ MEERKAT beweist, dass man ein Modell nahezu gleicher Qualität erhalten kann, ohne Daten preiszugeben. Das entwertet ihr Hauptargument.

• Unternehmen, die teure Netzwerkausrüstung für KI-Zentren verkaufen (Cisco, Arista). Der Bedarf an Gigabit-Verbindungen zwischen Clients und Server sinkt drastisch. MEERKAT macht KI-Training in Bezug auf Infrastruktur günstig.

• Cloud-GPU-Anbieter, die von Rückpropagation profitieren (AWS, Azure). MEERKAT verwendet Zeroth-Order-Optimierung, die nur einen Vorwärtsdurchlauf durch das Modell erfordert. Dies ist deutlich günstiger und leichter als die standardmäßige Rückpropagation, die das Speichern riesiger Mengen an Zwischendaten erfordert.

Was die Medien nicht sagen

Erkenntnis Nr. 1: MEERKAT-VP – Ein „Early Stopping“-Mechanismus für schlechte Clients.

Der klügste Teil des Algorithmus ist nicht nur die Sparsifizierung. Die Forscher fügten eine Komponente namens MEERKAT-VP hinzu. So funktioniert sie.

Wenn mehrere Clients gemeinsam trainieren, sind ihre Daten fast immer nicht IID. Ein Client kann 90 % Katzenbilder und 10 % Hunde haben. Ein anderer kann das Gegenteil haben. Im klassischen föderierten Lernen führt dies zu einer Modellverschiebung in Richtung des Mehrheits-Clients.

MEERKAT-VP löst dies, ohne auf Daten zuzugreifen. Der Server verfolgt einen „virtuellen Pfad“ – die Aktualisierungstrajektorie jedes Clients. Dann berechnet er eine Metrik namens GradIP – das Skalarprodukt zwischen den Gradienten des Clients und den vortrainierten Gradienten des Servers. Clients mit extrem verzerrten Daten haben GradIP, das gegen Null konvergiert. Clients mit guten, IID-Daten haben GradIP, das oszilliert.

Sobald der Server sieht, dass das GradIP eines Clients auf Null gefallen ist und sich nicht erholt, reduziert er den Einfluss dieses Clients in der nächsten Synchronisationsrunde. Technisch gesehen wird das lokale Training auf einen Schritt beschränkt. Dies wird als „Early Stopping“ für schlechte Clients bezeichnet.

Warum ist das wichtig? Denn ohne MEERKAT-VP funktioniert föderiertes Lernen nur gut, wenn alle Clients „ähnlich“ sind. In der realen Welt ist das fast nie der Fall. MEERKAT-VP ist ein Filter, der automatisch „schlechte“ Teilnehmer aussortiert.

Erkenntnis Nr. 2: Das Sparsitätsparadoxon – Weniger Parameter bedeuten ein besseres Modell.

Die Forscher entdeckten einen kontraintuitiven Effekt: Die Aktualisierung von nur 0,1 % der Parameter liefert bessere Ergebnisse als die Aktualisierung aller 100 %. Warum?

Weil Zeroth-Order-Methoden von Natur aus ungenau sind. Sie berechnen Gradienten nicht analytisch; sie „sondieren“ das Modell mit kleinen Änderungen und prüfen, ob sich die Leistung verbessert. Wenn man eine solche Methode auf alle Parameter anwendet, akkumulieren sich Fehler und das Modell destabilisiert sich. Wenn man sie jedoch auf eine hochgradig spärliche Teilmenge der empfindlichsten Parameter anwendet, ist die Genauigkeit der Zeroth-Order-Schätzung „gut genug“, weil das Signal dort sehr stark ist. Grobe Schätzung + starkes Signal = gutes Ergebnis. Genaue Schätzung + schwaches Signal = Rauschen.

Dies ist eine grundlegende Beobachtung über die Natur großer Sprachmodelle, die den Ansatz zum Feintuning verändern könnte.

Erkenntnis Nr. 3: MEERKAT schafft eine „Massenbereitstellungswaffe“ für das Internet der Dinge (IoT).

Stellen Sie sich eine Million intelligente Zähler, Bewegungssensoren, Überwachungskameras vor, die gemeinsam ein Anomalieerkennungsmodell trainieren. Derzeit ist dies aufgrund der Bandbreite unmöglich. MEERKAT macht es real.

Jeder Sensor überträgt nicht Gigabyte, sondern Megabyte an den Server. Die Synchronisation kann einmal pro Minute statt einmal pro Tag erfolgen. Das Modell bleibt auf dem neuesten Stand.

Prognose: Nächste 30 Tage und 90 Tage

Nächste 30 Tage (Juni 2026):

• Das MEERKAT-Code-Repository wird auf GitHub erscheinen (in Stevens-Tradition – Open Source). Erwarten Sie Forks von chinesischen und europäischen Laboren.
• Google und Apple werden Forschungszuschüsse an das Team richten, um MEERKAT in TensorFlow Federated und Core ML zu integrieren.
• Akademische Kritiker werden darauf hinweisen, dass Experimente mit einer relativ kleinen Anzahl von Clients (10) durchgeführt wurden, und eine Wiederholung mit Tausenden von Clients fordern.

Nächste 90 Tage (August 2026):

• DARPA wird die Finanzierung eines Projekts zur Bereitstellung von MEERKAT in Grenzkontrollsystemen und Geheimdienstnetzwerken ankündigen. Ein zu vielversprechender Algorithmus für „freundliches“ Training auf Drohnen und Satelliten.
• Die erste kommerzielle Implementierung wird erscheinen – ein Startup aus dem Silicon Valley wird MEERKAT in ein SDK für KI im Gesundheitswesen verpacken. Preis: ab 50.000 $ pro Organisationslizenz.
• Meta wird eine politische Erklärung abgeben, die „das nächste Generation des föderierten Lernens“ unterstützt, ohne MEERKAT namentlich zu erwähnen, aber technisch seine Kernideen kopieren.

Hauptrisiko: Die Frage, ob der GradIP-Mechanismus für Tausende heterogener Clients funktioniert, bleibt offen. Wenn die Schwellenwertmetrik für jede neue Domäne neu kalibriert werden muss, wird sich die Universalität von MEERKAT als illusorisch erweisen.

Fazit: MEERKAT ist nicht nur ein „Algorithmus“, der föderiertes Lernen um das 1000-fache beschleunigt. Es ist ein konzeptioneller Durchbruch, der unser Verständnis davon verändert, wie große Sprachmodelle neue Informationen aufnehmen. 0,1 % der Parameter tragen 99,9 % des Trainingssignals. Der Rest ist nur digitales Rauschen. Während OpenAI und Google milliardenschwere Rechenzentren bauen, hat das Stevens Institute gezeigt, dass man 1000-mal effizienter trainieren kann, indem man einfach aufhört, Müll zu übertragen. Das ist keine Evolution – es ist ein Paradigmenwechsel.

— Editorial Team