Sova AI : Agent IA pour Android sans PC

Sova AI : Un agent IA autonome pour l'automatisation des tâches sur Android

Sova AI est une application mobile pour Android qui implémente un agent IA capable de contrôler des applications et d'exécuter des tâches utilisateur directement sur l'appareil. Elle ne nécessite ni ADB, ni connexion USB, ni accès root, ni PC. Elle fonctionne via l'API d'accessibilité, en analysant l'arborescence des éléments de l'écran et les captures d'écran. Elle prend en charge les commandes vocales comme assistant par défaut.

Différences par rapport aux solutions existantes

La plupart des assistants IA pour appareils mobiles (utilisation sur PC, navigateur) sont liés à un ordinateur, limitant la mobilité. Sova AI fonctionne exclusivement sur le téléphone, simulant des clics, des défilements, des lancements d'applications et d'autres actions utilisateur. Elle combine l'analyse de l'arborescence de l'interface utilisateur avec la vision par ordinateur pour la précision, minimisant l'utilisation de tokens LLM.

Modèles IA pris en charge

L'application utilise BYOK (Bring Your Own Key) — l'utilisateur fournit une clé API d'un fournisseur. Intégration avec :

• OpenAI
• Anthropic
• Google
• Grok
• Alibaba (Qwen)
• Deepseek

Les clés sont stockées localement, sans transmission vers des serveurs. La prise en charge des modèles locaux (Ollama, LM Studio) est prévue pour fonctionner sans API cloud.

Cas d'utilisation pratiques

Sova AI a été testé dans des tâches réelles :

• Commander des taxis (Uber) et de la nourriture
• Réserver des tables de restaurant
• Automatiser Tinder
• Travailler avec des applications de caméra et d'astronomie
• Écrire des messages sur Telegram, X (Twitter)
• Rechercher et créer des playlists sur Spotify, YouTube

Les limites sont définies par la vitesse du LLM — pas adapté aux jeux en temps réel, mais fonctionne dans les jeux au tour par tour (par exemple, la préférence).

Installation et disponibilité

L'application n'est pas disponible sur Google Play en raison des restrictions de l'API d'accessibilité. Distribuée via APK depuis le site web, Samsung Galaxy Store et Xiaomi GetApps. L'installation est simple, adaptée à tous les niveaux d'utilisateurs. Actuellement gratuite.

Points clés :

• Autonomie totale : aucun PC, root ou matériel spécial requis.
• Intégration flexible des LLM via BYOK.
• Économie de tokens grâce à la combinaison de l'arborescence de l'interface et des captures d'écran.
• Contrôle vocal comme assistant système.
• Limitations : pas pour les tâches en temps réel à haute fréquence.

Implémentation technique

Sous le capot — API d'accessibilité Android pour accéder à la hiérarchie des éléments de l'écran. Complétée par l'analyse des captures d'écran pour les tâches où la structure textuelle est insuffisante. Le LLM génère des séquences d'actions (clics, glissements, saisie de texte). L'optimisation des tokens réduit les coûts : le modèle se concentre sur les fragments clés de l'interface utilisateur.

Pour les développeurs : ouverture aux nouveaux fournisseurs de LLM — les demandes d'intégration sont acceptées. Les modèles locaux contourneront les dépenses cloud.

— Editorial Team