Artikel nach Tag: turboquant

Lokale 200B-Modelle: Bonsai und TurboQuant

Aufschlüsselung der 1-Bit-Gewichte Bonsai 8B und KV-Cache-Kompression TurboQuant. Speicherverringerung 14x für Gewichte, 6x für Cache. Berechnungen für 235B-Modelle. Erfahren Sie, wie man Giganten lokal ausführt.

TurboQuant: 6x Komprimierung des LLM KV-Caches

Analyse von Googles TurboQuant: PolarQuant + QJL für 6x KV-Cache-Komprimierung ohne Genauigkeitsverlust. Inferenz-Beschleunigung bis zu 8x. Benchmarks, Funktionsprinzip für LLM-Entwickler.