ClawRouter: směrování LLM pro snížení nákladů na API

Optimalizace nákladů na LLM API pomocí ClawRouter: Směrování dotazů podle složitosti

Vývojáři často přeplácejí za výkonné modely jako Claude Sonnet při zpracování jednoduchých úloh: přejmenování proměnných, psaní docstring nebo překlad textu. ClawRouter to řeší klasifikací promptů podle složitosti a jejich směrováním do vhodného modelu. Během týdenního testování klesly náklady na API z 47 $ na 1,80 $ při zachování kvality odpovědí.

Router funguje lokálně, bez externích volání pro klasifikaci. Každý dotaz je hodnocen podle 15 parametrů: délka promptu, přítomnost kódu, znaky reasoning („dokaž“, „analyzuj“), tool use, agentní příkazy („spusť“, „uprav“). Na základě skóre je prompt zařazen do jedné z úrovní: SIMPLE, MEDIUM, COMPLEX, REASONING. V úrovni je vybrán levný model.

Příklady směrování:

Váš dotaz: "co je mutex?"
  → Skóre: SIMPLE (0,92 confidence)
  → Model: NVIDIA gpt-oss-120b (zdarma)
  → Úspora: 100%

Váš dotaz: "přepiš tuto React-komponentu na hooky a přidej zpracování chyb"
  → Skóre: COMPLEX (0,85 confidence)
  → Model: GPT-4o (2,50 $/10,00 $ za 1M)
  → Úspora: ~60 % vs Opus

Váš dotaz: "dokaž, že sqrt(2) je iracionální"
  → Skóre: REASONING (0,97 confidence)
  → Model: DeepSeek Reasoner (0,55 $/2,19 $)
  → Úspora: ~90 % vs Opus

Instalace a platba

Instalace pomocí skriptu nebo npm:

curl -fsSL https://blockrun.ai/ClawRouter-update | bash

# Nebo
npm install -g @blockrun/clawrouter

Platba přes USDC na síti Base (L2 Ethereum). Lokální peněženka se vytvoří automaticky, doplnění 5 $ stačí na tisíce dotazů. Výhoda pro AI-agenty: není potřeba účtů nebo karet. Pro vývojáře – bariéra 15–20 minut na nastavení krypto-peněženky.

Čtyři profily směrování:

• auto: rovnováha ceny/kvality.
• eco: úspora až 95 %.
• premium: priorita kvality.
• free: pouze bezplatné modely jako NVIDIA gpt-oss-120b.

Klíčové funkce

• Fallbacky: při chybách (rate limit, 500) automatický přechod k dalšímu modelu.
• Session pinning: fixace modelu na relaci dialogu.
• Fallback na free-tier: při prázdné peněžence – přechod na bezplatný model bez výpadků.

Klasifikátor rule-based: rychlý (<1 ms), předvídatelný, ale na edge-případech zaostává za ML-routery (krátký prompt s O(n log n) tříděním je klasifikován jako SIMPLE).

Srovnání alternativ

| Řešení | Typ směrování | Dostupnost | Vlastnosti |

|-------------|-----------------|----------------------|--------------------------------------|

| OpenRouter | Agregátor | Cloud, kartou | Ruční výběr modelu, nízký práh |

| RouteLLM | ML-klasifikátor| Open source | Vyžaduje nasazení a trénování |

| Martian | ML s predikcí kvality | Enterprise | Uzavřený, pro byznys |

| ClawRouter | Rule-based | Open source, lokálně| Crypto-platba, připravený z krabice |

RouteLLM podle údajů ICLR 2025 zachovává 95 % kvality GPT-4, posílá do něj 14 % dotazů (úspora 75–85 %).

Omezení

• Rule-based skóre: chyby na hraničních případech.
• Pouze crypto-platba: nepodporuje karty.
• Žádný post-check kvality: levný model může dát slabou odpověď bez opakování.
• Mladý projekt: dokumentace skromná, podpora přes Telegram.

Co je důležité

• Úspora až 95 % díky směrování jednoduchých úlh do levných modelů.
• Lokální klasifikace bez zpoždění a externích API.
• Automatické fallbacky a session fixace modelu.
• Vhodné pro pet-projekty a AI-agenty s krypto-peněženkami.
• Rule-based přístup: rychlý, ale vyžaduje ladění na edge-případech.

— Editorial Team