Claude Opus 4.7 Tokenizer: Realer Token-Verbrauch und Implikationen für Entwickler
Das Tokenizer-Update in Claude Opus 4.7 hat zu einem 30–45 % höheren Token-Verbrauch im Vergleich zu Version 4.6 geführt. Bei unveränderten Preisen und Ratenlimits wirkt sich dies direkt auf Sitzungskosten, Cache-Effizienz und die Verfügbarkeit des Max-Plans aus. Wir haben unabhängige Messungen an realen und synthetischen Daten durchgeführt, um den Umfang der Änderungen zu bewerten und ob sie gerechtfertigt sind.
Messergebnisse: Zahlen vs. Anthropics Versprechen
Anthropics Migrationsleitfaden gibt an, dass der neue Tokenizer „etwa 1,0–1,35-mal mehr Tokens“ verwenden wird. Die tatsächlichen Daten zeigen, dass es diese Werte übersteigt:
- Gewichteter Faktor bei realen Daten (7 Proben aus Claude Code): 1,325x (8.254 → 10.937 Tokens)
- Technische Dokumentation: 1,47x (478 → 704 Tokens)
- TypeScript-Code: 1,36x (1.208 → 1.640 Tokens)
- Englischer Prosatext: 1,20x (508 → 611 Tokens)
- CJK-Sprachen: 1,01x (minimale Änderung)
Messungen wurden mit dem /v1/messages/count_tokens-Endpoint ohne Inferenz durchgeführt. Wichtigste Erkenntnisse:
- Die größte Zunahme gibt es bei technischen Texten und Code
- Lateinisches Alphabet und Programmierung leiden stärker als Prosa
- Chinesisch, Japanisch und Koreanisch sind kaum betroffen
Beispielcode für Messungen:
from anthropic import Anthropic
client = Anthropic()
for model in ["claude-opus-4-6", "claude-opus-4-7"]:
r = client.messages.count_tokens(
model=model,
messages=[{"role": "user", "content": sample_text}],
)
print(f"{model}: {r.input_tokens} tokens")Warum Tokens zugenommen haben: Analyse der Änderungen
Drei zentrale Muster im Verhalten des neuen Tokenizers:
- Kürzere Sub-Wort-Merges für Englisch und Code
- Zeichen pro Token gesunken von 4,33 auf 3,60 im Englischen
- Bei TypeScript – von 3,66 auf 2,69
- Das Modell zerlegt Text in kleinere Einheiten
- Unterschiedliche Auswirkungen auf Inhaltstypen
- Code leidet stärker als Prosa (1,29–1,39x vs. 1,20x)
- Wiederholende Muster im Code (Schlüsselwörter, Imports) werden nun fragmentiert
- CJK-Sprachen minimal betroffen (1,01x)
- Verschiebung hin zu wörtlicher Anweisungstreue
- Anthropic wirbt mit verbesserter Präzision bei geringem Aufwand
- Kleinere Tokens ermöglichen Aufmerksamkeit auf einzelne Wörter
- Bestätigt durch Partnerfeedback (Notion, Warp, Factory)
Wichtig: Die Änderungen betreffen nicht nur den Tokenizer, sondern auch Modellgewichte und Post-Training. Eine Isolierung des Beitrags einer einzelnen Komponente ist unmöglich.
Test der Anweisungstreue: IFEval-Benchmark
Um die behauptete Verbesserung zu überprüfen, haben wir IFEval (Google, 2023) verwendet – ein Benchmark mit überprüfbaren Einschränkungen:
- 20 Prompts aus 541 mit festem Seed
- Strenge und lockere Bewertungsmodi
- Binäre Überprüfungen via Python-Grader
Ergebnisse:
| Metrik | Opus 4.6 | Opus 4.7 | Δ |
|-----------------------------|---------------|---------------|------|
| Strict, Prompt-Ebene | 17/20 (85 %) | 18/20 (90 %) | +5 PP |
| Strict, Anweisungsebene | 25/29 (86 %) | 26/29 (90 %) | +4 PP |
| Loose, Prompt-Ebene | 18/20 (90 %) | 18/20 (90 %) | 0 |
Wichtigste Beobachtungen:
- Verbesserung nur im strengen Modus (exakte Formatkonformität)
- Einzelner unterscheidender Prompt: Kette aus 4 Einschränkungen
- Änderung nur bei
change_case:english_capital(0/1 → 1/1) - Effekt statistisch unbedeutend aufgrund kleiner Stichprobe (N=20)
Fazit: Geringe, aber gezielte Verbesserung bei strenger Anweisungstreue. Unterstützt nicht die im Anschreiben behauptete „dramatische Verbesserung“.
Wirtschaftliche Auswirkungen: Wie Token-Wachstum Kosten beeinflusst
Betrachten Sie eine typische Claude-Code-Sitzung (80 Iterationen):
Kontextkomponenten:
- Statisches Präfix: 6K Tokens (CLAUDE.md + Tools)
- Gesprächsverlauf: wächst bis Iteration 80 auf 160K Tokens
- Frischer Input: ~500 Tokens/Iteration
- Output: ~1.500 Tokens/Iteration
- Cache-Trefferquote: 95 %
Sitzungskostenvergleich
Opus 4.6:
- Cache-Lesevorgänge: $3,40
- Frischer Input: $0,20
- Output: $3,00
- Gesamt: $6,65
Opus 4.7:
- Token-Zunahme beim Präfix: 1,325x
- Durchschnittliches gecachtes Präfix: 115K Tokens (vs. 86K)
- Cache-Lesevorgänge: $4,54
- Frischer Input: $0,26
- Output: $3,00–$3,90
- Gesamt: $7,86–$8,76
Differenz: +20–30 % Gesamtkosten. Für Max-Pläne bedeutet das:
- Schnelleres Erreichen von Ratenlimits
- Weniger verfügbare Zeit im 5-Stunden-Fenster
- Höhere Kosten für Cache-Schreibvorgänge
Auswirkungen auf Prompt-Caching
Drei kritische Änderungen für die Cache-Architektur:
- Cold Starts 30–45 % teurer
- Prompt-Cache segmentiert nach Modellversionen
- Wechsel von 4.6 zu 4.7 löscht den Cache
- Erstes Präfix-Schreiben erfordert mehr Tokens
- Cache-Volumen wächst proportional zu Tokens
- CLAUDE.md steigt um Faktor 1,445
- Jeder Cache-Lesevorgang kostet nun mehr
- Cache-Nutzenratio sinkt
- Inkompatibilität historischer Daten
- Sitzungen auf verschiedenen Versionen ergeben unterschiedliche Metriken
- Abrechnungs- und Überwachungsprobleme
- Budget-Neuberechnungen beim Wechsel nötig
Kritische Szenarien
- Bearbeitung von CLAUDE.md nach Upgrade
- Änderung von Tool-Listen
- Modellwechsel mitten im Projekt
- Cache-Kompaktierungsereignisse
Wichtigste Erkenntnisse
- Realer Token-Anstieg übersteigt die angegebenen 1,35x (bis 1,47x bei Tech-Docs)
- Wirtschaftlicher Effekt: +20–30 % Sitzungskosten bei unveränderten Preisen
- Strenge Anweisungen werden 5 PP besser befolgt, aber Differenz statistisch unbedeutend
- Caching weniger effizient durch größere Präfixe
- Max-Pläne erreichen Ratenlimits früher, besonders bei Code
Empfehlungen für Entwickler:
- Budgets mit neuen Faktoren neu berechnen
- CLAUDE.md optimieren, um Tokens zu reduzieren
- Cache-Trefferquote nach Upgrade überwachen
- Kritische Szenarien auf strenge Anweisungstreue testen
— Editorial Team
Noch keine Kommentare.