Destillation von Gemini für On-Device-KI auf Apple-Geräten
Apple integriert die Fähigkeiten von Googles Gemini nicht nur über Cloud-Abfragen, sondern destilliert das Modell, damit es auf dem iPhone läuft. Der Zugriff auf Geminis interne Berechnungen ermöglicht die Erstellung kompakter Versionen, die die Denkkette des Originals mit 1,2 Billionen Parametern nachahmen. Dadurch sinken die Ressourcenanforderungen, ohne dass die Kernlogik verloren geht.
Mechanismus der Modell-Destillation
Bei der Destillation wird ein kompaktes Studentenmodell auf Daten des Lehrmodells – dem vollständigen Gemini – trainiert. Apple erhält nicht nur fertige Antworten, sondern die gesamte Denkkette, was für die Erhaltung der Qualität entscheidend ist. Dieses Studentenmodell reproduziert Geminis komplexes Reasoning lokal mit minimalem Rechenaufwand.
Der Prozess umfasst:
- Zugriff auf Zwischenschritte der Berechnungen: Keine API-Antworten, sondern interne Tensoren und Aktivierungen.
- Nachahmung der Denkkette: Das Studentenmodell lernt, die Abfolge der Denkschritte zu wiederholen.
- Parameterkompression: Von 1,2 Billionen auf Größen, die für die NPU des iPhone geeignet sind.
Trotz seiner Effizienz ist die Methode nicht fehlerfrei: Geminis Spezialisierungen (z. B. Multimodalität) passen nicht immer zu Siris Aufgaben. Feinabstimmung ist nötig, um den Sprachassistenten und den Datenschutz anzupassen.
Apples Strategie: On-Device-Inferenz
Apple setzt auf lokale KI-Verarbeitung und minimiert Cloud-Aufrufe. Destillierte Gemini-Modelle passen in Apple Intelligence und verleihen Siri Autonomie. Das passt zu ihrer Datenschutzrichtlinie – Daten verlassen das Gerät nie.
Tests umfassen:
- Eigenständige Siri-App für iOS 27.
- Erweiterte Ask Siri-Funktion.
- Integration in die WWDC-Präsentation am 8. Juni.
Das Apple Foundation Models-Team entwickelt parallel auch proprietäre Lösungen. Die Ziele sind vage: Es könnten Allzweckmodelle oder Nischenmodelle optimiert für Apple Silicon-Hardware sein.
Technische Herausforderungen und Perspektiven
Destillation erfordert ein Abwägen von Modellgröße und Leistung. Der iPhone Neural Engine (NPU) mit 35 TOPS bewältigt Modelle bis zu wenigen Milliarden Parametern, doch Geminis Denkkette verursacht zusätzlichen Overhead. Optimierungen umfassen Quantisierung und Pruning.
Potenzial:
- Verbesserung von Siri in Bereichen, in denen Gemini stark ist (Codierung, Analyse).
- Hybridmodus: lokales Modell + Cloud-Fallback.
- Skalierung auf andere Geräte (iPad, Mac).
Eigene Modelle zu entwickeln könnte die Abhängigkeit von Google mindern, doch Destillation beschleunigt den Rollout.
Wichtige Punkte
- Apple nutzt Geminis interne Berechnungen für die Destillation, nicht nur die API.
- Kompakte Modelle kopieren die Denkkette und laufen lokal auf dem iPhone.
- Siri erhält On-Device-KI in iOS 27, Präsentation bei der WWDC am 8. Juni.
- Feinabstimmung nötig wegen Spezialisierungsunterschieden.
- Strategie priorisiert Datenschutz ohne Cloud-Abfragen.
— Editorial Team
Noch keine Kommentare.