Články podle tagu: turboquant

Lokální 200B modely: Bonsai a TurboQuant

Rozbor 1-bitových vah Bonsai 8B a komprese KV-cache TurboQuant. Snížení paměti v 14x pro váhy, 6x pro cache. Výpočty pro 235B-modely. Zjistěte, jak spustit giganty lokálně.

TurboQuant: komprese KV-cache LLM 6x

Rozbor TurboQuant od Google: PolarQuant + QJL pro 6x kompresi KV-cache bez ztráty přesnosti. Zrychlení inference až 8x. Benchmarky, princip fungování pro vývojáře LLM.