# Hybrydowa architektura AI i TinyML: bezpieczna integracja w robotykę
Tradycyjne podejścia do integracji LLM w robotykę napotykają krytyczne problemy: niedeterministyczność modeli, opóźnienia w przetwarzaniu i ryzyka bezpieczeństwa. W artykule omawiamy hybrydową architekturę OpenGrall, w której LLM odpowiada za strategiczne planowanie, a TinyML zapewnia bezpieczne wykonywanie działań w czasie rzeczywistym.
Bezpieczeństwo jako zasada architektoniczna
LLM z natury są niedeterministyczne — ten sam prompt może generować różne polecenia. Bezpośrednie przekazywanie takich poleceń do silników prowadzi do nieprzewidywalnego zachowania. Rozwiązanie OpenGrall to podział odpowiedzialności: LLM formułuje strategiczne cele, ale ostateczną decyzję o wykonaniu działania podejmuje pokładowy kontroler oparty na TinyML.
Model TinyML uruchomiony na mikrokontrolerze (ESP32/STM32) przetwarza dane z sensorów z opóźnieniem poniżej 10 ms. On:
- Ma absolutne prawo weta wobec poleceń od LLM
- Kontroluje fizyczne ograniczenia platformy (bezruchliwość, udźwig)
- Zapewnia awaryjne zatrzymanie po wykryciu przeszkód
- Zarządza aktywnym zawieszeniem i złożonymi systemami mechanicznymi
Szkolenie TinyML odbywa się w symulatorze z precyzyjnym modelem fizycznym platformy. Pozwala to sieci neuronowej „czuć sprzęt": obliczać przyspieszenie/hamowanie, kompensować nierówności, optymalizować trajektorię ruchu. Dane wejściowe to minimalny zestaw: dane z dalmierzów, odometria, IMU.
Modułowość zamiast monolitu
Popularne modele VLA (Vision-Language-Action) często używane są jako czarne skrzynki, co tworzy problemy:
- Niemożność dodania nowych sensorów bez ponownego uczenia
- Ogromne wymagania zasobów obliczeniowych
- Brak przejrzystości w podejmowaniu decyzji
OpenGrall stosuje zasadę podziału:
- Agent LLM (Vikhr/Gemma/YandexGPT)
- Formułuje strategiczne cele
- Analizuje skompresowane dane sensorów
- Generuje polecenia JSON z parametrami
- Wyjaśnia logikę działań
- Poziom wykonawczy (TinyML/VLA/hardkod)
- Przekształca polecenia w fizyczne działania
- Kontroluje bezpieczeństwo
- Adaptuje się do konkretnej platformy
To podejście daje kluczowe zalety:
- Bezpieczeństwo staje się deterministyczne, a nie probabilistyczne
- LLM można wymienić bez przepisywania całego systemu
- Platforma łatwo adaptuje się do nowych typów robotów (heksapody, kwadrokoptery)
- Równoległy rozwój poziomów fizycznego i logicznego
Architektura bez blokad
Krytyczny błąd większości implementacji to synchronizacja LLM z szybkimi sensorami. OpenGrall używa asynchronicznej architektury WebSocket:
- Serwer (uruchamiany na dowolnym urządzeniu) — centralny przełącznik
- Klienci rejestrują się z rolą (operator/agent/esp/lidar)
- Standaryzowany protokół JSON zamiast plików .msg
- Dynamiczne ważenie danych przez WeightCalculator
System SensorMemory automatycznie obniża wagę sensora przy anomaliach. Na przykład, jeśli lidar jest zabrudzony (wszystkie sektory pokazują tę samą odległość), jego dane są ignorowane do czasu oczyszczenia. To eliminuje potrzebę ręcznego fuzjonowania danych — LLM sama określa, którym źródłom ufać, analizując wagę i wiek danych.
Optymalizacja tokenów i promptów
Główny wróg wydajności to nieefektywne przekazywanie danych do LLM. OpenGrall stosuje dwa kluczowe metody:
1. Kompresja danych sensorowych
Surowa chmura punktów lidaru (tysiące wartości/sek) jest przekształcana w 8 sektorów z kluczowymi parametrami. Przykład przetwarzania:
- Obiekty bliżej 80 cm: kąt, odległość, rozmiar, prędkość
- Dynamiczna aktualizacja: wiek danych, waga sensora
2. Systemowy prompt
Krytyczne instrukcje (format odpowiedzi, dostępne polecenia) są wbudowane w model przez Ollama. To oszczędza do 300 tokenów na zapytanie:
You robot Graal. Dimensions: 51×32×37sm.
0°=↑=directly
Reply JSON: {"action":"move_forward","params":{"speed":300},"reasoning":"..."}
...Faktyczne zapytanie do LLM zawiera tylko aktualne dane:
CURRENT SITUATION:
Time: 1712345720.45
Current intent: inspect the corridor
DIALOG:
Human: Graal, posmotri that tam aheadi
Robot: Understood, investigating
SENSOR DATA (by importantsti):
• lidar: front=0.4m, front_left=1.2m...Co ważne
- Absolutne weto TinyML przekształca bezpieczeństwo z parametru probabilistycznego w deterministyczną gwarancję
- Modułowa architektura pozwala zmieniać LLM, sensory i platformę niezależnie
- Dynamiczne ważenie danych zastępuje złożone algorytmy fuzji sensorów
- Systemowe prompty skracają tokeny o 65%, umożliwiając użycie lokalnych modeli <1B
- Protokół WebSocket zapewnia kompatybilność z dowolnymi urządzeniami, w tym mikrokontrolerami
Nawet eksperymentalne sensory (np. ultradźwiękowy sonar na trzech mikrofonach) integrują się bez zmian w kodzie agenta. LLM samodzielnie interpretuje surowe dane, porównując je z odczytami innych czujników. To tworzy ewoluujący system, w którym każdy nowy moduł podnosi ogólny intelekt robota.
— Editorial Team
Brak komentarzy.