Artículos por etiqueta: 1bit-quant

Modelos locales 200B: Bonsai y TurboQuant

Desglose de pesos 1-bit Bonsai 8B y compresión KV-cache TurboQuant. Reducción de memoria 14x para pesos, 6x para caché. Cálculos para modelos 235B. Aprende cómo ejecutar gigantes localmente.