Artículos por etiqueta: long-context

TurboQuant: caché KV de 3 bits para LLM sin pérdidas

Aprende cómo Google TurboQuant comprime el caché de clave-valor de LLM a 3 bits, acelerando la inferencia 8x. Benchmarks en Gemma/Mistral, aplicación en RAG. Para desarrolladores.