# Claude Opus 4.7 토크나이저: 실제 토큰 소비량과 개발자에 미치는 영향
Claude Opus 4.7의 토크나이저 업데이트로 인해 버전 4.6에 비해 토큰 소비량이 30–45% 증가했습니다. 가격과 속도 제한이 변하지 않은 상황에서 이는 세션 비용, 캐싱 효율성, Max 플랜 가용성에 직접적인 영향을 미칩니다. 우리는 실제 데이터와 합성 데이터를 사용한 독립적인 측정을 통해 변경 규모를 평가하고, 이 변화가 정당한지 확인했습니다.
측정 결과: 숫자 vs. Anthropic의 약속
Anthropic의 마이그레이션 가이드에 따르면 새 토크나이저는 "약 1.0–1.35배 더 많은 토큰을 사용"한다고 명시되어 있습니다. 실제 데이터는 이 수치를 초과합니다:
- 실제 데이터 가중 평균 비율 (Claude Code의 7개 샘플): 1.325x (8,254 → 10,937 tokens)
- 기술 문서: 1.47x (478 → 704 tokens)
- TypeScript 코드: 1.36x (1,208 → 1,640 tokens)
- 영어 산문: 1.20x (508 → 611 tokens)
- CJK 언어: 1.01x (최소 변화)
측정은 추론 없이 /v1/messages/count_tokens 엔드포인트를 사용했습니다. 주요 요약:
- 기술 텍스트와 코드에서 가장 큰 증가
- 라틴 알파벳과 프로그래밍이 산문보다 더 큰 피해
- 중국어, 일본어, 한국어는 거의 영향 없음
측정용 샘플 코드:
from anthropic import Anthropic
client = Anthropic()
for model in ["claude-opus-4-6", "claude-opus-4-7"]:
r = client.messages.count_tokens(
model=model,
messages=[{"role": "user", "content": sample_text}],
)
print(f"{model}: {r.input_tokens} tokens")토큰 증가 이유: 변경 사항 분석
새 토크나이저의 세 가지 주요 패턴:
- 영어와 코드에 대한 더 짧은 서브워드 병합
- 영어에서 토큰당 문자 수가 4.33에서 3.60으로 감소
- TypeScript의 경우 3.66에서 2.69로
- 모델이 텍스트를 더 작은 단위로 분해
- 콘텐츠 유형에 따른 다양한 영향
- 코드가 산문보다 더 큰 피해 (1.29–1.39x vs. 1.20x)
- 코드의 반복 패턴(키워드, import)이 이제 분산됨
- CJK 언어는 최소 영향 (1.01x)
- 리터럴 지시 따르기 방향 전환
- Anthropic은 낮은 노력 수준에서 개선된 정밀도를 주장
- 작은 토큰으로 주의가 개별 단어에 집중
- 파트너 피드백(Notion, Warp, Factory)으로 확인
중요: 변경은 토크나이저뿐만 아니라 모델 가중치와 사후 훈련에도 영향을 미칩니다. 단일 구성 요소의 기여를 분리하는 것은 불가능합니다.
지시 따르기 테스트: IFEval 벤치마크
주장된 개선을 확인하기 위해 IFEval (Google, 2023)을 사용했습니다. 검증 가능한 제약이 있는 벤치마크입니다:
- 541개 중 20개 프롬프트 (고정 시드)
- 엄격 모드와 느슨한 모드 평가
- Python 그레이더를 통한 이진 검사
결과:
| Metric | Opus 4.6 | Opus 4.7 | Δ |
|-------------------------|---------------|---------------|------|
| Strict, prompt-level | 17/20 (85%) | 18/20 (90%) | +5pp |
| Strict, instruction-level | 25/29 (86%) | 26/29 (90%) | +4pp |
| Loose, prompt-level | 18/20 (90%) | 18/20 (90%) | 0 |
주요 관찰:
- 엄격 모드(정확한 형식 준수)에서만 개선
- 단일 차이 프롬프트: 4개 제약 체인
change_case:english_capital에서만 변경 (0/1 → 1/1)- 작은 샘플(N=20)로 인해 통계적으로 유의미하지 않음
결론: 엄격한 지시 따르기에서 사소하지만 타겟팅된 개선. 발표된 "극적인 개선"을 뒷받침하지 않음.
경제적 영향: 토큰 증가가 비용에 미치는 영향
전형적인 Claude Code 세션(80회 반복)을 고려:
컨텍스트 구성 요소:
- 정적 접두사: 6K tokens (CLAUDE.md + tools)
- 대화 기록: 80회 반복 시 160K tokens로 증가
- 신규 입력: 반복당 ~500 tokens
- 출력: 반복당 ~1,500 tokens
- 캐시 적중률: 95%
세션 비용 비교
Opus 4.6:
- 캐시 읽기: $3.40
- 신규 입력: $0.20
- 출력: $3.00
- 총계: $6.65
Opus 4.7:
- 접두사 토큰 증가: 1.325x
- 평균 캐시된 접두사: 115K tokens (vs. 86K)
- 캐시 읽기: $4.54
- 신규 입력: $0.26
- 출력: $3.00–$3.90
- 총계: $7.86–$8.76
차이: 전체 비용 +20–30%. Max 플랜의 경우:
- 속도 제한에 더 빨리 도달
- 5시간 창에서 가용 시간 감소
- 높은 캐시 쓰기 작업 비용
프롬프트 캐싱에 미치는 영향
캐싱 아키텍처에 세 가지 중요한 변경:
- 콜드 스타트 30–45% 더 비쌈
- 프롬프트 캐시가 모델 버전별로 분할
- 4.6에서 4.7로 전환 시 캐시 삭제
- 초기 접두사 쓰기에 더 많은 토큰 필요
- 캐시 용량이 토큰에 비례해 증가
- CLAUDE.md 1.445x 증가
- 모든 캐시 읽기 비용 증가
- 캐싱 이익 비율 하락
- 과거 데이터 호환성 문제
- 다른 버전 세션에서 다른 메트릭 발생
- 청구 및 모니터링 문제
- 전환 시 예산 재계산 필요
치명적 시나리오
- 업그레이드 후 CLAUDE.md 편집
- 도구 목록 변경
- 프로젝트 중 모델 전환
- 캐시 압축 이벤트
주요 요약
- 실제 토큰 증가가 명시된 1.35x를 초과 (기술 문서 최대 1.47x)
- 경제적 효과: 가격不变 시 세션 비용 +20–30%
- 엄격 지시 따르기 5pp 향상, 하지만 통계적으로 유의미하지 않음
- 캐싱 효율성 저하 (더 큰 접두사로 인해)
- Max 플랜 코드 작업 시 속도 제한에 더 빨리 도달
개발자 추천:
- 새 비율로 예산 재계산
- CLAUDE.md 최적화로 토큰 줄이기
- 업그레이드 후 캐시 적중률 모니터링
- 엄격 지시 따르기 치명적 시나리오 테스트
— Editorial Team
아직 댓글이 없습니다.