Optimalizace promptu pro Claude: úspora 9,5 % tokenů díky odstranění zbytečných frází
Modely jako Claude Sonnet vynakládají až 11 % výstupních tokenů na úvodní fráze, meta-komentáře a závěrečné zdvořilosti. Experiment na 500 dotazech ukázal, jak tři řádky v system promptu sníží tento odpad bez ztráty smyslu odpovědi.
Testování odhalilo 11,3 % „odpadu“ v odpovědích: model začínal „Jasně!“, „Skvělá otázka!“ nebo přidával vysvětlení procesu odpovídání a končil „Doufám, že jsem pomohl“. Pro backend integrace s JSON parsováním to znamená zbytečné náklady.
Metodika měření
Shromážděna vzorka 500 typických úkolů: klasifikace požadavků, extrakce polí z dokumentů, shrnutí e-mailů, odpovědi podle předpisů. Parametry: claude-sonnet-4-5, temperature=0.2, standardní system prompt.
Skript v Pythonu s regulárními výrazy parsuje výstupy:
FILLER_PATTERNS = [
r"^(Jasně|Bezpochyby|Samozřejmě|Dobře)[,!.]",
r"^(Skvěle|Skvělá otázka|Úžasně)[!.]",
r"^(S radostí|Rád)",
r"^(Pojďme|Dovolte)",
r"(Doufám,? (že jsem pomohl|že to pomůže)",
r"(Pokud (máte)? (ještě)?otázky)",
r"(Dejte vědět,? pokud)",
]Ruční označení 50 odpovědí potvrdilo přesnost 94 %. Zbytek je chyba směrem dolů.
Rozpis „odpadu“:
- Úvodní fráze („Jasně!“, „Skvěle!“) — 28 %
- Meta-komentáře („teď udělám…“) — 34 %
- Závěrečné fráze ( „doufám, že pomohlo“) — 22 %
- Přeformulování otázky — 16 %
Ruční čištění 100 odpovědí neovlivnilo podstatu.
Optimalizace system promptu
Původní prompt:
Jsi asistent pro zpracování [DOMÉNA]. Odpovídej přesně,
spoléhej se jen na poskytnutý kontext. Pokud dat chybí —
upřímně to řekni.Přidáno:
Formát odpovědi:
- Žádné úvody, chválení otázky, vysvětlení „co teď udělám“.
- Žádné závěrečné fráze typu „doufám, že pomohlo“.
- Hned k věci. Pokud je potřeba seznam — hned seznam. Pokud číslo — hned číslo.Opakovaný průchod 500 dotazů: „odpad“ klesl na 1,8 %. Úspora — 9,5 % tokenů.
Příklad výpočtu nákladů:
| Dotazů/den | Průměrná odpověď (tokeny) | Úspora/měsíc (Kč) |
|------------|----------------------------|-------------------|
| 2000 | 400 | ~100 000 |
| 20 000 | 400 | ~1 000 000 |
V reálném projektu — 112 000 Kč za měsíc. Navíc zkrácení kontextu v dalších krocích.
Omezení a případy návratu
Ne všem scénářům vyhovuje ořezávání:
- Klientový chat: Bez zdvořilostí odpovědi působily hrubě. Metrika spokojenosti klesla — vrátili jsme.
- Řetězce s tool use: Model si bez meta-popisu plánu pletl nástroje. Vrátili pro stabilitu.
Doporučení: Používat v strojově orientovaných úkolech (JSON, API), zachovat v uživatelských chatech.
Klíčové body
- 11,3 % tokenů na „odpad“ v základním nastavení Claude Sonnet.
- Úspora 9,5 % po třech řádcích v promptu.
- Regulární výrazy chytají 94 % zbytečného textu.
- Ořezávání je bezpečné pro podstatu odpovědi, ale škodlivé v tool chains a UX chatech.
- Dále — čištění vstupních tokenů od uživatelských preambulí.
— Editorial Team
Zatím žádné komentáře.