Sova AI: autonomiczny agent AI do automatyzacji zadań na Androidzie
Sova AI to mobilna aplikacja na Androida, która implementuje agenta AI zdolnego do zarządzania aplikacjami i wykonywania zadań użytkownika bezpośrednio na urządzeniu. Nie wymaga ADB, połączenia USB, uprawnień root ani komputera PC. Działa przez Accessibility API, analizując drzewo elementów ekranu i zrzuty ekranu. Obsługuje komendy głosowe jako asystent domyślny.
Różnice w stosunku do istniejących rozwiązań
W większości asystentów AI na urządzenia mobilne (computer-use, browser-use) są one przywiązane do komputera PC, co ogranicza mobilność. Sova AI działa wyłącznie na telefonie, symulując kliknięcia, przewijanie, uruchamianie aplikacji i inne działania użytkownika. Łączy parsowanie drzewa UI z wizją komputerową dla precyzji, minimalizując zużycie tokenów LLM.
Obsługiwane modele AI
Aplikacja wykorzystuje BYOK (Bring Your Own Key) — użytkownik dostarcza klucz API dostawcy. Integracja z:
- OpenAI
- Anthropic
- Grok
- Alibaba (Qwen)
- Deepseek
Klucze przechowywane są lokalnie, bez przesyłania na serwery. Planowane jest wsparcie dla modeli lokalnych (Ollama, LM Studio) do pracy bez chmurowych API.
Praktyczne scenariusze zastosowania
Sova AI został przetestowany w rzeczywistych zadaniach:
- Zamawianie taksówek (Uber) i jedzenia
- Rezerwacja stolików w restauracjach
- Automatyzacja Tindera
- Praca z kamerą i aplikacjami astronomicznymi
- Pisanie wiadomości w Telegramie, X (Twitter)
- Wyszukiwanie i tworzenie playlist w Spotify, YouTube
Granice możliwości określa prędkość LLM — nie nadaje się do gier w czasie rzeczywistym, ale działa w turowych (np. preferans).
Instalacja i dostępność
Aplikacja nie jest dostępna w Google Play z powodu ograniczeń Accessibility API. Rozpowszechniana przez APK ze strony internetowej, Samsung Galaxy Store i Xiaomi GetApps. Instalacja jest prosta, odpowiednia dla użytkowników na każdym poziomie. Na razie bezpłatna.
Co ważne:
- Pełna autonomia: bez PC, root ani specjalnego sprzętu.
- Elastyczna integracja z LLM przez BYOK.
- Oszczędność tokenów dzięki kombinacji drzewa UI i zrzutów ekranu.
- Sterowanie głosowe jako asystent systemowy.
- Ograniczenia: nie dla zadań high-frequency w czasie rzeczywistym.
Realizacja techniczna
Pod maską — Accessibility API Androida dla dostępu do hierarchii elementów ekranu. Uzupełnione analizą zrzutów ekranu dla zadań, gdzie struktura tekstowa jest niewystarczająca. LLM generuje sekwencje działań (kliknięcia, przesunięcia, wprowadzanie tekstu). Optymalizacja pod tokeny redukuje koszty: model skupia się na kluczowych fragmentach UI.
Dla deweloperów: otwartość na nowych dostawców LLM — przyjmowane są prośby o integrację. Modele lokalne pozwolą obejść koszty chmurowe.
— Editorial Team
Brak komentarzy.