Články podle tagu: quantization

TurboQuant: 3bitová KV cache pro LLM bez ztrát

Zjistěte, jak Google TurboQuant komprimuje key-value cache LLM na 3 bity, zrychluje inference 8násobně. Benchmarky na Gemma/Mistral, použití v RAG. Pro vývojáře.

Lila-Leech: 24D mřížka za 10 řádků kódu

Nasazujte 4B modely na smartfonech s 44,9x kompresí. Frozen Leech Core pro Edge AI bez serverů. Prozkoumejte kód a metriky SR/CN. Pro middle/senior dev.