Artículos por etiqueta: float16

Cuantización de LLM: Modelo de 160GB en un Portátil

Aprende cómo cuantizar grandes LLMs a 4 bits sin pérdida de calidad. Cuantización simétrica/asimétrica, código, benchmarks. Ejecuta modelos de 80B localmente — guía para desarrolladores.