Sova AI: autonomní umělá inteligence pro automatizaci úkolů na Androidu
Sova AI je mobilní aplikace pro Android, která implementuje umělou inteligenci schopnou ovládat aplikace a plnit úkoly uživatele přímo na zařízení. Nevyžaduje ADB, USB připojení, root práva ani počítač. Funguje přes Accessibility API, analyzuje strom prvků obrazovky a snímky obrazovky. Podporuje hlasové příkazy jako výchozí asistent.
Rozdíly oproti stávajícím řešením
Většina asistentů umělé inteligence pro mobilní zařízení (computer-use, browser-use) je vázána na počítač, což omezuje mobilitu. Sova AI funguje výhradně na telefonu, simuluje kliknutí, posouvání, spouštění aplikací a další akce uživatele. Kombinuje parsování UI stromu s počítačovým viděním pro přesnost, minimalizuje spotřebu tokenů LLM.
Podporované modely umělé inteligence
Aplikace využívá BYOK (Bring Your Own Key) – uživatel poskytuje API klíč poskytovatele. Integrace s:
- OpenAI
- Anthropic
- Grok
- Alibaba (Qwen)
- Deepseek
Klíče jsou uloženy lokálně, bez přenosu na servery. Plánuje se podpora lokálních modelů (Ollama, LM Studio) pro práci bez cloudových API.
Praktické scénáře použití
Sova AI byl testován v reálných úkolech:
- Objednávání taxíku (Uber) a jídla
- Rezervace stolů v restauracích
- Automatizace Tinderu
- Práce s kamerou a astronomickými aplikacemi
- Psaní zpráv v Telegramu, X (Twitter)
- Hledání a vytváření playlistů na Spotify, YouTube
Hranice možností jsou určeny rychlostí LLM – není vhodný pro real-time hry, ale funguje v tahových (například preferans).
Instalace a dostupnost
Aplikace není dostupná v Google Play kvůli omezením Accessibility API. Distribuuje se přes APK z webu, Samsung Galaxy Store a Xiaomi GetApps. Instalace je jednoduchá, vhodná pro všechny úrovně uživatelů. Zatím zdarma.
Co je důležité:
- Úplná autonomie: bez počítače, rootu nebo speciálního vybavení.
- Flexibilní integrace s LLM přes BYOK.
- Úspora tokenů díky kombinaci UI stromu a snímků obrazovky.
- Hlasové ovládání jako systémový asistent.
- Omezení: není pro high-frequency real-time úkoly.
Technická realizace
Pod kapotou – Accessibility API Android pro přístup k hierarchii prvků obrazovky. Doplňuje se analýzou snímků obrazovky pro úkoly, kde textová struktura nestačí. LLM generuje sekvence akcí (kliknutí, přejetí, zadání textu). Optimalizace pro tokeny snižuje náklady: model se zaměřuje na klíčové fragmenty UI.
Pro vývojáře: otevřenost novým poskytovatelům LLM – žádosti o integraci jsou přijímány. Lokální modely umožní obejít cloudové výdaje.
— Editorial Team
Zatím žádné komentáře.