Artículos por etiqueta: quantization

TurboQuant: caché KV de 3 bits para LLM sin pérdidas

Aprende cómo Google TurboQuant comprime el caché de clave-valor de LLM a 3 bits, acelerando la inferencia 8x. Benchmarks en Gemma/Mistral, aplicación en RAG. Para desarrolladores.

Lila-Leech: retículo 24D en 10 líneas de código

Despliega modelos 4B en smartphones con compresión 44.9x. Frozen Leech Core para Edge AI sin servidores. Explora código y métricas SR/CN. Para desarrollador intermedio/senior.