Hybridní architektura AI a TinyML: bezpečná integrace do robotiky
Tradiční přístupy k integraci LLM do robotiky se potýkají s kritickými problémy: nedeterminismus modelů, zpoždění zpracování a bezpečnostní rizika. V článku rozebíráme hybridní architekturu OpenGrall, kde LLM odpovídá za strategické plánování, zatímco TinyML zajišťuje bezpečné provádění akcí v reálném čase.
Bezpečnost jako architektický princip
LLM jsou svou podstatou nedeterministické – stejný prompt může generovat různé příkazy. Přímé předávání takových příkazů na motory vede k nepředvídatelnému chování. Řešení OpenGrall spočívá v rozdělení odpovědností: LLM formuluje strategické cíle, ale konečné rozhodnutí o provedení akce provádí palubní řídicí jednotka na bázi TinyML.
TinyML model spuštěný na mikrokontroléru (ESP32/STM32) zpracovává data senzorů s latencí méně než 10 ms. On:
- Má absolutní právo veta na příkazy od LLM
- Kontroluje fyzická omezení platformy (inerce, nosnost)
- Zajistí nouzové zastavení při detekci překážek
- Řídí aktivní zavěšení a složité mechanické systémy
Trénink TinyML probíhá v simulátoru s přesným fyzikálním modelem platformy. To umožňuje neuronové síti „cítit železo“: počítat zrychlení/brzdění, kompenzovat nerovnosti, optimalizovat trajektorii pohybu. Vstupní data – minimální souprava: data dálkoměrů, odometrie, IMU.
Modularita místo monolitu
Populární VLA modely (Vision-Language-Action) se často používají jako černé skřínky, což vytváří problémy:
- Nemožnost přidání nových senzorů bez přetrénování
- Obrovské nároky na výpočetní zdroje
- Chybějící průhlednost v rozhodování
OpenGrall aplikuje princip rozdělení:
- LLM agent (Vikhr/Gemma/YandexGPT)
- Formuluje strategické cíle
- Analyzuje komprimovaná data senzorů
- Generuje JSON příkazy s parametry
- Vysvětluje logiku akcí
- Vykonávací úroveň (TinyML/VLA/hardcode)
- Převádí příkazy na fyzické akce
- Kontroluje bezpečnost
- Adaptuje se na konkrétní platformu
Tento přístup přináší klíčové výhody:
- Bezpečnost se stává deterministickou, ne pravděpodobnostní
- LLM lze vyměnit bez přepisování celého systému
- Platforma se snadno adaptuje na nové typy robotů (hexapody, kvadrokoptéry)
- Paralelní vývoj fyzické a logické úrovně
Architektura bez blokování
Kritická chyba většiny implementací – synchronizace LLM s rychlými senzory. OpenGrall používá asynchronní WebSocket architekturu:
- Server (spouští se na jakémkoli zařízení) – centrální spínač
- Klienti se registrují s rolí (operator/agent/esp/lidar)
- Standardizovaný JSON protokol místo .msg souborů
- Dynamické vážení dat přes WeightCalculator
Systém SensorMemory automaticky snižuje váhu senzoru při anomáliích. Například pokud je lidar znečištěný (všechny sektory ukazují stejnou vzdálenost), jeho data se ignorují do vyčištění. To eliminuje potřebu ručního slučování dat – LLM sama určuje, kterým zdrojům věřit, analyzuje váhu a stáří dat.
Optimalizace tokenů a promptů
Hlavní nepřítel výkonu – neefektivní přenos dat do LLM. OpenGrall aplikuje dva klíčové metody:
1. Komprese senzorových dat
Surové mračno bodů lidarů (tisíce hodnot/sek) se převádí na 8 sektorů s klíčovými parametry. Příklad zpracování:
- Objekty blíže 80 cm: úhel, vzdálenost, velikost, rychlost
- Dynamická aktualizace: stáří dat, váha senzoru
2. Systémový prompt
Kritické instrukce (formát odpovědi, dostupné příkazy) se zašijí do modelu přes Ollama. To ušetří až 300 tokenů na požadavek:
You robot Graal. Dimensions: 51×32×37sm.
0°=↑=directly
Reply JSON: {"action":"move_forward","params":{"speed":300},"reasoning":"..."}
...Faktický požadavek na LLM obsahuje pouze aktuální data:
CURRENT SITUATION:
Time: 1712345720.45
Current intent: inspect the corridor
DIALOG:
Human: Graal, posmotri that tam aheadi
Robot: Understood, investigating
SENSOR DATA (by importantsti):
• lidar: front=0.4m, front_left=1.2m...Co je důležité
- Absolutní veto TinyML mění bezpečnost z pravděpodobnostního parametru na deterministickou záruku
- Modulární architektura umožňuje měnit LLM, senzory a platformu nezávisle
- Dynamické vážení dat nahrazuje složité algoritmy slučování senzorů
- Systémové prompty snižují tokeny o 65 %, což umožňuje použití lokálních modelů <1B
- WebSocket protokol zajišťuje kompatibilitu s jakýmkoli zařízením, včetně mikrokontrolérů
Dokonce experimentální senzory (např. ultrazvukový sonar na třech mikrofonech) se integrují bez změny kódu agenta. LLM sama interpretuje surová data a porovnává je s údaji jiných senzorů. To vytváří evoluční systém, kde každý nový modul zvyšuje celkovou inteligenci robota.
— Editorial Team
Zatím žádné komentáře.