TurboQuant: AI를 위한 무손실 KV-cache 압축

터보퀀트: AI 모델 최적화를 위한 KV 캐시 압축 알고리즘

Google의 TurboQuant은 벡터 양자화를 사용하여 트랜스포머 KV 캐시의 병목 현상을 해결하며, 메모리 소비를 줄이면서 정확도를 유지합니다. 이 알고리즘은 PolarQuant과 QJL을 결합하여 요소당 3비트까지 압축하면서 장기 컨텍스트 작업에서 성능을 유지합니다. 이를 통해 자원이 제한된 하드웨어에서 대형 LLM을 실행할 수 있게 됩니다.

이 방법은 어텐션 메커니즘의 키-값 쌍을 대상으로 하며, 전통적인 양자화는 데이터 블록에 대한 상수를 저장하는 데 따른 오버헤드를 발생시킵니다. TurboQuant은 극좌표와 잔차 오류 양자화를 사용하여 이러한 비용을 제거합니다.

PolarQuant: 오버헤드 없는 압축

PolarQuant은 메모리 벡터의 데카르트 좌표를 극좌표로 변환하여 중복 상수를 제거합니다. X, Y, Z 축을 따른 거리를 저장하는 대신 반지름과 각도를 사용하여 코드북 메모리를 최소화합니다.

이 접근 방식의 장점:

• 메타데이터 저장을 위한 제로 오버헤드.
• 벡터 공간 기하학 보존.
• 기존 벡터 검색 파이프라인과의 호환성.

이는 특히 의미 검색 시스템의 인덱싱을 가속화하는 데 유용하며, GloVe 데이터셋(d=200)에서 TurboQuant이 1@k 리콜을 달성합니다.

QJL: Johnson-Lindenstrauss를 활용한 오류 보정

PolarQuant 적용 후, QJL은 1비트 잔차에 적용됩니다. 이 알고리즘은 Johnson-Lindenstrauss Transform(JLT)을 활용해 고차원 데이터를 저차원 공간으로 투영하면서 거리를 보존합니다.

QJL에는 다음이 포함됩니다:

• 오류를 랜덤 JLT 행렬에 투영.
• 쿼리 정확도와 압축 데이터를 균형 있게 하는 특화된 추정기.
• 디코딩을 위한 추가 메모리 오버헤드 없음.

결과적으로 모델 미세 조정 없이 고정밀 유사도 복구가 가능합니다.

벤치마크 및 성능

TurboQuant은 Gemma, Mistral 같은 오픈 LLM에서 LongBench, Needle In A Haystack, ZeroSCROLLS, RULER, L-Eval 등의 벤치마크로 테스트되었습니다. Llama-3.1-8B-Instruct에서 스칼라 곱 왜곡과 리콜에서 베이스라인을 능가하면서 KV 캐시 크기를 최소화합니다.

Needle In A Haystack 작업(긴 컨텍스트에서 조각 찾기)에서 3비트 KV 압축은 원본 모델의 정확도를 유지하고 추론을 가속화합니다. TurboQuant은 3~8비트 수준에서 최적화된 JAX 베이스라인 대비 어텐션 로짓에서 속도 향상을 제공합니다.

주요 지표:

• KV 캐시 메모리 최소 6배 감소.
• 더 작은 인덱스로 인한 더 빠른 벡터 검색.
• 재학습 없이 안정적인 성능.

중요한 점

• TurboQuant은 PolarQuant과 QJL을 결합해 품질 손실 없이 극한 KV 캐시 압축을 실현합니다.
• LLM의 장기 컨텍스트를 지원해 추론 속도를 20-30% 향상시킵니다.
• 최소 메모리 사용으로 벡터 검색 및 의미 인덱스에 이상적입니다.
• Gemma, Mistral, Llama 모델에서 재학습 없이 작동합니다.
• 추론에 한정되며 훈련 문제는 해결하지 않습니다.

배포 전망

이 알고리즘은 대형 벡터 데이터베이스의 프로덕션 시나리오에 적합하며 인덱스 빌드 지연을 줄입니다. LLM의 경우 긴 시퀀스에 대한 KV 캐시를 최적화해 소비자 하드웨어에서 모델 실행을 가능하게 합니다. ICLR 2026 발표에서 확장성이 검증될 예정입니다.

— Editorial Team