Artykuły według tagu: quantization

TurboQuant: 3-bitowy KV-cache dla LLM bez strat

Dowiedz się, jak Google TurboQuant kompresuje key-value cache LLM do 3 bitów, przyspieszając inferencję 8-krotnie. Benchmarki na Gemma/Mistral, zastosowanie w RAG. Dla programistów.

Lila-Leech: siatka 24D w 10 liniach kodu

Wdrażajcie modele 4B na smartfonach z 44,9x kompresją. Frozen Leech Core dla Edge AI bez serwerów. Zapoznajcie się z kodem i metrykami SR/CN. Dla middle/senior dev.