ClawRouter: routing LLM w celu obniżenia kosztów API

Optymalizacja kosztów API LLM dzięki ClawRouter: routing zapytań według złożoności

Deweloperzy często przepłacają za potężne modele, takie jak Claude Sonnet, przy przetwarzaniu prostych zadań: zmiana nazw zmiennych, pisanie docstringów czy tłumaczenie tekstu. ClawRouter rozwiązuje ten problem, klasyfikując prompty według złożoności i kierując je do odpowiedniego modelu. W tygodniowym teście koszty API spadły z 47 do 1,80 dolara przy zachowaniu jakości odpowiedzi.

Router działa lokalnie, bez zewnętrznych wywołań do klasyfikacji. Każde zapytanie jest oceniane według 15 parametrów: długość promptu, obecność kodu, znaczniki rozumowania („udowodnij”, „przeanalizuj”), użycie narzędzi, polecenia agentowe („uruchom”, „edytuj”). Na podstawie wyniku prompt trafia do jednej z kategorii: SIMPLE, MEDIUM, COMPLEX, REASONING. W kategorii wybierany jest tani model.

Przykłady routingu:

Twoje zapytanie: "co to jest mutex?"
  → Klasyfikator: SIMPLE (pewność 0,92)
  → Model: NVIDIA gpt-oss-120b (bezpłatnie)
  → Oszczędność: 100%

Twoje zapytanie: "przepisz ten komponent React na hooki i dodaj obsługę błędów"
  → Klasyfikator: COMPLEX (pewność 0,85)
  → Model: GPT-4o (2,50 dolara/10,00 dolarów za 1M)
  → Oszczędność: ~60% w porównaniu z Opus

Twoje zapytanie: "udowodnij, że sqrt(2) jest niewymierne"
  → Klasyfikator: REASONING (pewność 0,97)
  → Model: DeepSeek Reasoner (0,55 dolara/2,19 dolarów)
  → Oszczędność: ~90% w porównaniu z Opus

Instalacja i płatności

Instalacja przez skrypt lub npm:

curl -fsSL https://blockrun.ai/ClawRouter-update | bash

# Lub
npm install -g @blockrun/clawrouter

Płatności przez USDC w sieci Base (L2 Ethereum). Lokalny portfel jest tworzony automatycznie, doładowanie 5 dolarów wystarcza na tysiące zapytań. Zaleta dla agentów AI: brak potrzeby kont lub kart. Dla deweloperów — bariera 15-20 minut na konfigurację portfela kryptowalutowego.

Cztery profile routingu:

• auto: równowaga ceny i jakości.
• eco: oszczędność do 95%.
• premium: priorytet jakości.
• free: tylko bezpłatne modele, takie jak NVIDIA gpt-oss-120b.

Kluczowe funkcje

• Fallbacki: przy błędach (limit szybkości, 500) automatyczne przejście do następnego modelu.
• Session pinning: przypisanie modelu do sesji dialogu.
• Fallback na free-tier: przy pustym portfelu — przejście na bezpłatny model bez awarii.

Klasyfikator oparty na regułach: szybki (<1 ms), przewidywalny, ale w przypadkach granicznych ustępuje routerom ML (krótki prompt z sortowaniem O(n log n) klasyfikowany jako SIMPLE).

Porównanie alternatyw

| Rozwiązanie | Typ routingu | Dostępność | Cechy |

|-------------|--------------|------------|-------|

| OpenRouter | Agregator | Chmurowy, kartą | Ręczny wybór modelu, niski próg |

| RouteLLM | Klasyfikator ML | Open source | Wymaga wdrożenia i treningu |

| Martian | ML z przewidywaniem jakości | Enterprise | Zamknięty, dla biznesu |

| ClawRouter | Oparty na regułach | Open source, lokalnie | Płatności krypto, gotowy do użycia |

RouteLLM według danych ICLR 2025 zachowuje 95% jakości GPT-4, wysyłając do niego 14% zapytań (oszczędność 75-85%).

Ograniczenia

• Klasyfikator oparty na regułach: błędy w przypadkach granicznych.
• Tylko płatności krypto: brak wsparcia kart.
• Brak sprawdzania jakości po odpowiedzi: tani model może dać słabą odpowiedź bez ponawiania.
• Młody projekt: skąpa dokumentacja, wsparcie przez Telegram.

Co jest ważne

• Oszczędność do 95% dzięki kierowaniu prostych zadań do tanich modeli.
• Lokalna klasyfikacja bez opóźnień i zewnętrznych API.
• Automatyczne fallbacki i przypisanie modelu do sesji.
• Nadaje się do projektów hobbystycznych i agentów AI z portfelami krypto.
• Podejście oparte na regułach: szybkie, ale wymaga dostosowania w przypadkach granicznych.

— Editorial Team