태그별 기사: turboquant

로컬 200B 모델: Bonsai와 TurboQuant

1-bit 가중치 Bonsai 8B와 KV-cache 압축 TurboQuant 분석. 가중치 14배, 캐시 6배 메모리 감소. 235B 모델 계산. 거대 모델을 로컬에서 실행하는 방법 알아보기.

TurboQuant: LLM KV-cache 6배 압축

Google의 TurboQuant 분석: PolarQuant + QJL로 정확도 손실 없이 6배 KV-cache 압축. 추론 가속 최대 8배. LLM 개발자를 위한 벤치마크, 작동 원리.