Distillation de Gemini pour iPhone : Détails

Distillation de Gemini pour l'IA embarquée sur les appareils Apple

Apple intègre les capacités de Gemini de Google non seulement via des requêtes cloud, mais en distillant le modèle pour le faire tourner sur iPhone. L'accès aux calculs internes de Gemini permet de créer des versions compactes qui reproduisent la chaîne de pensée de l'original comptant 1,2 billion de paramètres. Cela réduit les besoins en ressources sans perdre la logique principale.

Mécanisme de distillation du modèle

La distillation consiste à entraîner un modèle « étudiant » compact sur les données du « professeur » — le Gemini complet. Apple obtient non seulement des réponses prêtes à l'emploi, mais la chaîne de pensée complète, ce qui est crucial pour préserver la qualité. Ce modèle étudiant reproduit le raisonnement complexe de Gemini localement, en utilisant un minimum de calculs.

Le processus inclut :

• Accès aux calculs intermédiaires : Pas des réponses API, mais des tenseurs internes et activations.
• Imitation de la chaîne de pensée : Le modèle étudiant apprend à répéter la séquence des étapes de raisonnement.
• Compression des paramètres : De 1,2 billion à des tailles adaptées au NPU de l'iPhone.

Malgré son efficacité, la méthode n'est pas parfaite : les spécialisations de Gemini (p. ex., multimodalité) ne s'alignent pas toujours sur les tâches de Siri. Un réglage fin est nécessaire pour s'adapter à l'assistant vocal et à la confidentialité des données.

Stratégie d'Apple : Inférence embarquée

Apple met l'accent sur le traitement IA local, en minimisant les appels cloud. Les modèles Gemini distillés s'intègrent dans Apple Intelligence, conférant à Siri une autonomie. Cela s'aligne sur sa politique de confidentialité — les données ne quittent jamais l'appareil.

Les tests incluent :

• Application Siri autonome pour iOS 27.
• Fonctionnalité Ask Siri améliorée.
• Intégration dans la présentation WWDC du 8 juin.

L'équipe Apple Foundation Models développe aussi des solutions propriétaires en parallèle. Les objectifs restent ambigus : cela pourrait concerner des modèles polyvalents ou des modèles spécialisés optimisés pour le matériel Apple Silicon.

Défis techniques et perspectives

La distillation exige d'équilibrer taille du modèle et performances. Le Neural Engine de l'iPhone (NPU) avec 35 TOPS peut gérer des modèles jusqu'à quelques milliards de paramètres, mais la chaîne de pensée de Gemini ajoute une surcharge. L'optimisation inclut la quantification et l'élagage.

Potentiel :

• Améliorer Siri dans les domaines où Gemini excelle (codage, analyse).
• Mode hybride : modèle local + repli sur le cloud.
• Extension à d'autres appareils (iPad, Mac).

Développer des modèles internes pourrait réduire la dépendance à Google, mais la distillation accélère le déploiement.

Points clés

• Apple utilise les calculs internes de Gemini pour la distillation, pas seulement l'API.
• Les modèles compacts copient la chaîne de pensée, s'exécutant localement sur iPhone.
• Siri obtiendra l'IA embarquée dans iOS 27, présentation à la WWDC le 8 juin.
• Un réglage fin est nécessaire en raison des incompatibilités de spécialisation des modèles.
• La stratégie met l'accent sur la confidentialité sans requêtes cloud.

— Editorial Team