混合 AI 机器人技术：LLM 和 TinyML 的安全集成

## 混合 AI 与 TinyML 架构：机器人安全集成

传统将 LLM 集成到机器人中的方法面临关键挑战：模型非确定性、处理延迟以及安全风险。本文剖析 OpenGrall 混合架构，其中 LLM 负责战略规划，TinyML 确保安全的实时动作执行。

安全作为架构原则

LLM 本质上是非确定性的——相同的提示可能生成不同的命令。直接将此类命令传递给电机会导致不可预测的行为。OpenGrall 的解决方案是职责分离：LLM 设置战略目标，但基于 TinyML 的机载控制器做出动作执行的最终决定。

TinyML 模型运行在微控制器（ESP32/STM32）上，以低于 10 ms 的延迟处理传感器数据。它：

• 对 LLM 命令拥有绝对否决权
• 监控平台的物理极限（惯性、载荷能力）
• 在检测到障碍物时确保紧急停止
• 管理主动悬挂和复杂机械系统

TinyML 训练在配备平台精确物理模型的模拟器中进行。这让神经网络“感知硬件”：计算加速/制动、补偿不平表面、优化运动轨迹。输入数据是最小集：测距仪数据、里程计、IMU。

模块化优于整体式

流行的 VLA 模型（Vision-Language-Action）常被当作黑箱使用，带来问题：

• 无法在不重新训练的情况下添加新传感器
• 海量计算资源需求
• 决策过程缺乏透明度

OpenGrall 采用关注点分离：

• LLM Agent (Vikhr/Gemma/YandexGPT)

- 设置战略目标

- 分析压缩传感器数据

- 生成带参数的 JSON 命令

- 解释动作推理

• 执行层 (TinyML/VLA/硬编码)

- 将命令转换为物理动作

- 强制执行安全

- 适应特定平台

这种方法带来关键益处：

• 安全从概率性转为确定性
• 可在不重写整个系统的情况下更换 LLM
• 平台轻松适应新型机器人（六足机器人、四旋翼）
• 物理层与逻辑层并行开发

无锁架构

大多数实现中的关键缺陷是同步 LLM 与快速传感器。OpenGrall 使用异步 WebSocket 架构：

• 服务器（运行在任意设备上）——中央枢纽
• 客户端 以角色注册（operator/agent/esp/lidar）
• 标准化 JSON 协议 而非 .msg 文件
• 动态数据加权 通过 WeightCalculator

SensorMemory 系统在异常时自动降低传感器的权重。例如，如果 lidar 脏了（所有扇区显示相同距离），其数据将被忽略，直至清洁。这消除了手动数据融合的需求——LLM 通过分析数据权重和时效自行决定信任哪些来源。

令牌与提示优化

主要性能杀手是向 LLM 传输低效数据。OpenGrall 使用两种关键方法：

1. 传感器数据压缩

原始 lidar 点云（每秒数千值）转换为 8 个扇区及关键参数。示例处理：

• 距离小于 80 cm 的物体：角度、距离、大小、速度
• 动态更新：数据时效、传感器权重

2. 系统提示

关键指令（响应格式、可用命令）通过 Ollama 嵌入模型。这每请求节省多达 300 个令牌：

You robot Graal. Dimensions: 51×32×37sm.
0°=↑=directly
Reply JSON: {"action":"move_forward","params":{"speed":300},"reasoning":"..."}
...

实际 LLM 请求仅包含当前数据：

CURRENT SITUATION:
Time: 1712345720.45
Current intent: inspect the corridor

DIALOG:
Human: Graal, posmotri that tam aheadi
Robot: Understood, investigating

SENSOR DATA (by importantsti):
  • lidar: front=0.4m, front_left=1.2m...

关键要点

• TinyML 绝对否决权 将安全从概率参数转为确定性保证
• 模块化架构 允许独立更改 LLM、传感器和平台
• 动态数据加权 取代复杂传感器融合算法
• 系统提示 减少 65% 令牌，支持使用本地模型 <1B
• WebSocket 协议 确保与任意设备兼容，包括微控制器

即使是实验性传感器（例如基于三个麦克风的超声波声纳）也能无需更改代理代码即可集成。LLM 独立解释原始数据，并与其他传感器交叉验证。这构建了一个演化系统，每个新模块都提升机器人的整体智能。

— Editorial Team