# Tokenizér Claude Opus 4.7: skutečná spotřeba tokenů a důsledky pro vývojáře
Aktualizace tokenizéru v Claude Opus 4.7 vedla k nárůstu spotřeby tokenů o 30–45 % ve srovnání s verzí 4.6. Při nezměněných cenách a rate limitech to přímo ovlivňuje náklady na sessiony, efektivitu cachování a dostupnost Max-plánů. Provedli jsme nezávislá měření na reálných a syntetických datech, abychom posoudili rozsah změn a jejich opodstatněnost.
Výsledky měření: čísla proti slibům Anthropic
Anthropic v průvodci migrací uvedla, že nový tokenizér bude spotřebovávat „přibližně 1,0–1,35krát více tokenů". Skutečná data ukazují překročení uvedených hodnot:
- Vážené poměrné poměry na reálných datech (7 vzorků z Claude Code): 1,325x (8 254 → 10 937 tokenů)
- Technická dokumentace: 1,47x (478 → 704 tokenů)
- Kód v TypeScriptu: 1,36x (1 208 → 1 640 tokenů)
- Anglická próza: 1,20x (508 → 611 tokenů)
- CJK-jazyky: 1,01x (minimální změna)
Pro měření byl použit endpoint /v1/messages/count_tokens bez inferenci. Klíčové závěry:
- Nejvyšší růst je u technických textů a kódu
- Latinská abeceda a programování trpí více než próza
- Čínština, japonština a korejština jsou téměř nedotčeny
Příklad kódu pro měření:
from anthropic import Anthropic
client = Anthropic()
for model in ["claude-opus-4-6", "claude-opus-4-7"]:
r = client.messages.count_tokens(
model=model,
messages=[{"role": "user", "content": sample_text}],
)
print(f"{model}: {r.input_tokens} tokens")Proč je tokenů více: analýza změn
Tři klíčové vzorce v chování nového tokenizéru:
- Zkrácené sub-word merges pro angličtinu a kód
- Počet znaků na token klesl z 4,33 na 3,60 v angličtině
- Pro TypeScript z 3,66 na 2,69
- Model text rozděluje na menší jednotky
- Různá míra dopadu na typy obsahu
- Kód trpí více než próza (1,29–1,39x oproti 1,20x)
- Opakující se vzorce v kódu (klíčová slova, importy) se nyní láme
- CJK-jazyky jsou ovlivněny minimálně (1,01x)
- Posun směrem k doslovnému dodržování instrukcí
- Anthropic tvrdí zlepšení precision na nízkých úrovních effortu
- Menší tokeny umožňují attention pracovat s jednotlivými slovy
- Potvrzeno zpětnou vazbou partnerů (Notion, Warp, Factory)
Důležité: změny zahrnují nejen tokenizér, ale i váhy modelu a post-trénink. Přispění konkrétní komponenty nelze izolovat.
Testování dodržování instrukcí: IFEval benchmark
Pro ověření slíbeného zlepšení byl použit IFEval (Google, 2023) — benchmark s ověřitelnými omezeními:
- 20 promptů z 541 s pevným seedem
- Hodnocení strict a loose režimů
- Binární kontrola přes Python grader
Výsledky:
| Metrika | Opus 4.6 | Opus 4.7 | Δ |
|----------------------|----------|----------|----|
| Strict, prompt-level | 17/20 (85%) | 18/20 (90%) | +5pp |
| Strict, instruction-level | 25/29 (86%) | 26/29 (90%) | +4pp |
| Loose, prompt-level | 18/20 (90%) | 18/20 (90%) | 0 |
Klíčové pozorování:
- Zlepšení pouze v strict režimu (přesné dodržování formátu)
- Jediný rozdělující prompt: řetězec ze 4 omezení
- Změna pouze pro
change_case:english_capital(0/1 → 1/1) - Efekt je statisticky nevýznamný kvůli malému vzorku (N=20)
Závěr: malé, ale cílené zlepšení v přísném dodržování instrukcí. Nepotvrzuje „dramatické zlepšení", slíbené v oznámení.
Ekonomický výpočet: jak růst tokenů ovlivňuje náklady
Zvažme typickou session Claude Code (80 iterací):
Kontextové komponenty:
- Statický prefix: 6K tokenů (CLAUDE.md + nástroje)
- Historie dialogu: růst na 160K tokenů k 80. iteraci
- Nový vstup: ~500 tokenů/iteraci
- Výstup: ~1 500 tokenů/iteraci
- Cache hit rate: 95 %
Srovnání nákladů na session
Opus 4.6:
- Cache reads: $3.40
- Nový vstup: $0.20
- Výstup: $3.00
- Celkem: $6.65
Opus 4.7:
- Nárůst tokenů v prefixu: 1,325x
- Průměrný cachovaný prefix: 115K tokenů (oproti 86K)
- Cache reads: $4.54
- Nový vstup: $0.26
- Výstup: $3.00–$3.90
- Celkem: $7.86–$8.76
Rozdíl: +20–30 % k celkovým nákladům. Pro Max-plány to znamená:
- Dříve dosažené rate limitů
- Zkrácení dostupného času v 5hodinovém okně
- Nárůst nákladů na cache-write operace
Dopad na prompt caching
Tři kritické změny pro architekturu cachování:
- Cold start je dražší o 30–45 %
- Prompt cache je rozdělen podle verzí modelů
- Přechod z 4.6 na 4.7 vynuluje cache
- Primární zápis prefixu vyžaduje více tokenů
- Růst objemu cache úměrně tokenům
- CLAUDE.md roste o 1,445x
- Každý cache-read je nyní dražší
- Poměr výhod cachování klesá
- Nekompatibilita historických dat
- Sessiony na různých verzích dávají různé metriky
- Problémy s billingem a monitorováním
- Vyžaduje přepočet rozpočtů při přechodu
Kritické scénáře
- Úprava CLAUDE.md po přechodu
- Změna seznamu nástrojů
- Změna modelů v rámci projektu
- Události kompakce cache
Co je důležité
- Skutečný růst tokenů překračuje slíbené 1,35x (dosažené 1,47x pro techdoku)
- Ekonomický efekt — +20–30 % k nákladům na sessiony při nezměněných cenách
- Přísné instrukce se vykonávají o 5 pp lépe, ale rozdíl je statisticky nevýznamný
- Cachování se stává méně efektivním kvůli zvětšení prefixů
- Max-plány narážejí na rate limitů dříve, zejména při práci s kódem
Pro vývojáře se doporučuje:
- Přepočítat rozpočty na základě nových koeficientů
- Optimalizovat CLAUDE.md pro snížení tokenů
- Monitorovat cache-hit rate po přechodu
- Testovat kritické scénáře na přísné dodržování instrukcí
— Editorial Team
Zatím žádné komentáře.