Tokeniseur de Claude Opus 4.7 : Consommation réelle des tokens et implications pour les développeurs
La mise à jour du tokeniseur dans Claude Opus 4.7 a entraîné une augmentation de 30–45 % de la consommation de tokens par rapport à la version 4.6. Les prix et les limites de taux restant inchangés, cela impacte directement les coûts des sessions, l'efficacité du cache et la disponibilité des plans Max. Nous avons réalisé des mesures indépendantes sur des données réelles et synthétiques pour évaluer l'ampleur des changements et déterminer s'ils sont justifiés.
Résultats des mesures : Chiffres vs. Promesses d'Anthropic
Le guide de migration d'Anthropic indique que le nouveau tokeniseur utilisera « environ 1,0–1,35 fois plus de tokens ». Les données réelles montrent qu'il dépasse ces chiffres :
- Ratio pondéré sur données réelles (7 échantillons de Claude Code) : 1,325x (8 254 → 10 937 tokens)
- Documentation technique : 1,47x (478 → 704 tokens)
- Code TypeScript : 1,36x (1 208 → 1 640 tokens)
- Prose anglaise : 1,20x (508 → 611 tokens)
- Langues CJK : 1,01x (changement minime)
Les mesures ont utilisé l'endpoint /v1/messages/count_tokens sans inférence. Principales conclusions :
- L'augmentation la plus importante concerne les textes techniques et le code
- L'alphabet latin et la programmation sont plus affectés que la prose
- Le chinois, le japonais et le coréen sont à peine impactés
Exemple de code pour les mesures :
from anthropic import Anthropic
client = Anthropic()
for model in ["claude-opus-4-6", "claude-opus-4-7"]:
r = client.messages.count_tokens(
model=model,
messages=[{"role": "user", "content": sample_text}],
)
print(f"{model}: {r.input_tokens} tokens")Pourquoi les tokens ont augmenté : Analyse des changements
Trois tendances clés dans le comportement du nouveau tokeniseur :
- Fusions de sous-mots plus courtes pour l'anglais et le code
- Caractères par token passés de 4,33 à 3,60 en anglais
- Pour TypeScript — de 3,66 à 2,69
- Le modèle découpe le texte en unités plus petites
- Impact variable selon les types de contenu
- Le code est plus affecté que la prose (1,29–1,39x vs. 1,20x)
- Les motifs répétitifs dans le code (mots-clés, imports) sont désormais fragmentés
- Les langues CJK sont peu affectées (1,01x)
- Virage vers un suivi littéral des instructions
- Anthropic revendique une précision améliorée à faible effort
- Des tokens plus petits permettent à l'attention de se concentrer sur des mots individuels
- Confirmé par les retours des partenaires (Notion, Warp, Factory)
Important : Les changements n'affectent pas seulement le tokeniseur, mais aussi les poids du modèle et le post-entraînement. Il est impossible d'isoler la contribution d'un seul composant.
Test du suivi des instructions : Benchmark IFEval
Pour vérifier l'amélioration revendiquée, nous avons utilisé IFEval (Google, 2023) — un benchmark avec des contraintes vérifiables :
- 20 prompts sur 541 avec graine fixe
- Modes d'évaluation strict et souple
- Vérifications binaires via un gradateur Python
Résultats :
| Métrique | Opus 4.6 | Opus 4.7 | Δ |
|---------------------------|---------------|---------------|------|
| Strict, niveau prompt | 17/20 (85 %) | 18/20 (90 %) | +5 pp |
| Strict, niveau instruction| 25/29 (86 %) | 26/29 (90 %) | +4 pp |
| Souple, niveau prompt | 18/20 (90 %) | 18/20 (90 %) | 0 |
Observations clés :
- Amélioration uniquement en mode strict (conformité exacte au format)
- Prompt différenciateur unique : chaîne de 4 contraintes
- Changement uniquement pour
change_case:english_capital(0/1 → 1/1) - Effet statistiquement insignifiant en raison de l'échantillon réduit (N=20)
Conclusion : Amélioration mineure mais ciblée dans le suivi strict des instructions. Cela ne soutient pas l'« amélioration spectaculaire » annoncée.
Impact économique : Comment la croissance des tokens affecte les coûts
Considérons une session typique de Claude Code (80 itérations) :
Composants du contexte :
- Préfixe statique : 6K tokens (CLAUDE.md + outils)
- Historique de conversation : atteint 160K tokens à l'itération 80
- Entrée fraîche : ~500 tokens/itération
- Sortie : ~1 500 tokens/itération
- Taux de succès de cache : 95 %
Comparaison des coûts de session
Opus 4.6 :
- Lectures de cache : 3,40 $
- Entrée fraîche : 0,20 $
- Sortie : 3,00 $
- **Total : 6,65 $
Opus 4.7 :
- Augmentation des tokens de préfixe : 1,325x
- Préfixe mis en cache moyen : 115K tokens (vs. 86K)
- Lectures de cache : 4,54 $
- Entrée fraîche : 0,26 $
- Sortie : 3,00–3,90 $
- **Total : 7,86–8,76 $
Différence : +20–30 % des coûts globaux. Pour les plans Max, cela signifie :
- Atteindre les limites de taux plus tôt
- Temps disponible réduit dans la fenêtre de 5 heures
- Coûts d'opérations d'écriture de cache plus élevés
Impact sur la mise en cache des prompts
Trois changements critiques pour l'architecture de cache :
- Démarrages à froid 30–45 % plus chers
- Cache des prompts segmenté par versions de modèle
- Passage de 4.6 à 4.7 efface le cache
- Écriture initiale du préfixe nécessite plus de tokens
- Volume de cache croissant proportionnellement aux tokens
- CLAUDE.md augmente de 1,445x
- Chaque lecture de cache coûte désormais plus cher
- Le ratio d'avantage du cache diminue
- Incompatibilité des données historiques
- Les sessions sur différentes versions donnent des métriques différentes
- Problèmes de facturation et de surveillance
- Recalculs de budget nécessaires lors du changement
Scénarios critiques
- Modification de CLAUDE.md après mise à niveau
- Changement des listes d'outils
- Changement de modèle en milieu de projet
- Événements de compaction de cache
Conclusions clés
- Croissance réelle des tokens dépasse le 1,35x annoncé (jusqu'à 1,47x pour les docs techniques)
- Effet économique : +20–30 % des coûts des sessions aux prix inchangés
- Instructions strictes suivies 5 pp mieux, mais différence statistiquement insignifiante
- Mise en cache moins efficace en raison de préfixes plus grands
- Plans Max atteignent les limites de taux plus tôt, surtout avec du code
Recommandations pour les développeurs :
- Recalculer les budgets avec les nouveaux ratios
- Optimiser CLAUDE.md pour réduire les tokens
- Surveiller le taux de succès de cache après mise à niveau
- Tester les scénarios critiques pour le suivi strict des instructions
— Editorial Team
Aucun commentaire pour le moment.