Artículos por etiqueta: polarquant

TurboQuant: compresión 6x de LLM KV-cache

Desglose de TurboQuant de Google: PolarQuant + QJL para compresión 6x de KV-cache sin pérdida de precisión. Aceleración de inferencia hasta 8x. Benchmarks, principio de operación para desarrolladores de LLM.