Artykuły według tagu: turboquant

Lokalne modele 200B: Bonsai i TurboQuant

Analiza 1-bitowych wag Bonsai 8B i kompresji KV-cache TurboQuant. Redukcja pamięci w 14x dla wag, 6x dla cache. Obliczenia dla modeli 235B. Dowiedz się, jak uruchomić gigantów lokalnie.

TurboQuant: kompresja KV-cache’u LLM 6-krotnie

Rozłóż TurboQuant od Google: PolarQuant + QJL do 6x kompresji KV-cache bez utraty precyzji. Przyspieszenie inferencji do 8x. Benchmarki, zasada działania dla deweloperów LLM.