Lokale 200B-Modelle: Bonsai und TurboQuant
Aufschlüsselung der 1-Bit-Gewichte Bonsai 8B und KV-Cache-Kompression TurboQuant. Speicherverringerung 14x für Gewichte, 6x für Cache. Berechnungen für 235B-Modelle. Erfahren Sie, wie man Giganten lokal ausführt.
