Alucinaciones LLM: Artefactos de Compresión de Datos

Alucinaciones en LLM como Artefactos de Compresión con Pérdida: Una Perspectiva de la Teoría de la Información

Los LLM funcionan como compresores de datos con pérdida: predecir el siguiente token equivale a comprimir un vasto corpus de texto en parámetros del modelo. Según el teorema de Shannon, la calidad de la predicción determina directamente la tasa de compresión. Las alucinaciones ocurren durante la descompresión, cuando el modelo reconstruye información perdida con fragmentos plausibles pero inexactos.

La Base Matemática de la Predicción y la Compresión

En un nivel fundamental, los LLM implementan la predicción de la distribución del siguiente token basándose en el contexto. Esto es matemáticamente idéntico a la codificación aritmética, donde un predictor probabilístico minimiza los bits por entropía de la fuente.

def predict_next_token(context: str) -> Distribution:
    """Predicción de token = descompresión de la representación comprimida"""
    pass

Los pesos del modelo almacenan conocimiento comprimido del conjunto de datos de entrenamiento. Aumentar el tamaño del modelo eleva la tasa de bits, reduciendo las pérdidas pero sin eliminarlas por completo.

Comparación con JPEG:

| JPEG | LLM |

|------|-----|

| Bloques grandes | Patrones generales |

| Detalles finos | Hechos raros |

| Artefactos de borde | Alucinaciones |

| Calidad 1–100% | Parámetros 7B–405B |

Por qué los LLM Sobresalen en Código pero Luchan con las Matemáticas

El código se comprime eficientemente debido a su sintaxis estricta y estructuras repetitivas. Patrones como for i in range(n) se preservan casi sin pérdidas, similar a áreas uniformes grandes en una imagen.

Las matemáticas sufren por la pérdida de números precisos—detalles finos sin patrones. Ejemplo:

> 17 × 38?
GPT: 646  # correcto

> 1847 × 9283?
GPT: 17,143,301  # error, correcto: 17,143,501

Las combinaciones raras causan artefactos, análogos a desenfocar números en JPEG.

• Código: Alta compresibilidad debido a vocabulario y estructuras limitados.
• Matemáticas: Requiere almacenamiento o cálculo exacto, no disponible en un enfoque con pérdida.
• Hechos: Los eventos raros se pierden primero.

La Temperatura como Regulador de Artefactos

El parámetro de temperatura controla el muestreo de la distribución:

# temperatura=0.0: argmax, artefactos nítidos
# temperatura=0.7: probabilidades equilibradas
# temperatura=1.5: ruido, 'creatividad'
# temperatura→∞: aleatoriedad

La temperatura baja aumenta el determinismo pero fija los artefactos. La temperatura alta añade variabilidad, difuminando las pérdidas.

Técnicas para Minimizar Artefactos en Términos de Compresión

Las técnicas de LLM se reinterpretan a través de una lente de compresión:

• RAG: Insertar datos sin pérdida en el contexto, evitando representaciones comprimidas.
• Ajuste fino: Recodificar con prioridades en dominios objetivo.
• Ingeniería de prompts: Guiar el decodificador a bloques relevantes en el espacio latente.
• RLHF: Optimizar para calidad subjetiva, como modelos psicoacústicos en audio.
• Prompt del sistema: Configurar el perfil del decodificador.

| Técnica | Analogía de Compresión |

|-----------|---------------------|

| RAG | Inserción sin pérdida |

| Ajuste fino | Nuevo perfil de códec |

| Prompt | Buscar en archivo comprimido |

La Imposibilidad de Eliminar Completamente las Alucinaciones

Los artefactos son inevitables al comprimir por debajo de la entropía de los datos. Aumentar el tamaño del modelo (tasa de bits) o usar memoria externa reduce las pérdidas, pero ajustar 10 TB en 70 GB siempre dejará huecos. Las promesas de una 'solución completa' ignoran la teoría de la información.

La memoria humana es análoga: la confabulación llena las pérdidas con detalles plausibles debido a limitaciones de almacenamiento.

Conclusiones Clave

• Las alucinaciones no son errores sino artefactos de descompresión con pérdida según Shannon.
• Aumentar los parámetros reduce pero no elimina las pérdidas.
• RAG y el ajuste fino son herramientas para compensación local de artefactos.
• El código y los patrones se preservan mejor que los hechos exactos.
• La temperatura regula la visibilidad de los artefactos, no su presencia.

Los LLM como memoria artificial: eficientes para patrones generales, con fugas para detalles. La ingeniería considerando su naturaleza de compresión es clave para aplicaciones confiables.

— Editorial Team