Hallucinations LLM : Artefacts de compression de données

Hallucinations des LLM comme artefacts de compression avec perte : une perspective de la théorie de l'information

Les LLM fonctionnent comme des compresseurs de données avec perte : prédire le token suivant équivaut à compresser un vaste corpus de texte en paramètres de modèle. Selon le théorème de Shannon, la qualité de la prédiction détermine directement le taux de compression. Les hallucinations surviennent lors de la décompression, lorsque le modèle reconstruit les informations perdues avec des fragments plausibles mais inexacts.

La base mathématique de la prédiction et de la compression

Fondamentalement, les LLM implémentent la prédiction de la distribution du token suivant en fonction du contexte. Cela est mathématiquement identique au codage arithmétique, où un prédicteur probabiliste minimise les bits par entropie source.

def predict_next_token(context: str) -> Distribution:
    """Prédiction de token = décompression de la représentation compressée"""
    pass

Les poids du modèle stockent les connaissances compressées de l'ensemble d'entraînement. Augmenter la taille du modèle élève le débit binaire, réduisant les pertes sans les éliminer complètement.

Comparaison avec JPEG :

| JPEG | LLM |

|------|-----|

| Grands blocs | Modèles généraux |

| Détails fins | Faits rares |

| Artefacts de bord | Hallucinations |

| Qualité 1–100% | Paramètres 7B–405B |

Pourquoi les LLM excellent en code mais peinent en maths

Le code se compresse efficacement grâce à une syntaxe stricte et des structures répétitives. Des motifs comme for i in range(n) sont préservés presque sans perte, similaires aux grandes zones uniformes d'une image.

Les maths souffrent de la perte des nombres précis — des détails fins sans motifs. Exemple :

> 17 × 38 ?
GPT : 646  # correct

> 1847 × 9283 ?
GPT : 17 143 301  # erreur, correct : 17 143 501

Les combinaisons rares provoquent des artefacts, analogues au flou des nombres en JPEG.

• Code : Haute compressibilité grâce à un vocabulaire et des structures limités.
• Maths : Nécessite un stockage ou un calcul exact, indisponible dans une approche avec perte.
• Faits : Les événements rares sont perdus en premier.

La température comme régulateur d'artefacts

Le paramètre de température contrôle l'échantillonnage de la distribution :

# température=0.0 : argmax, artefacts nets
# température=0.7 : probabilités équilibrées
# température=1.5 : bruit, 'créativité'
# température→∞ : aléatoire

Une basse température augmente le déterminisme mais fige les artefacts. Une haute température ajoute de la variabilité, brouillant les pertes.

Techniques pour minimiser les artefacts en termes de compression

Les techniques LLM sont réinterprétées à travers une lentille de compression :

• RAG : Insérer des données sans perte dans le contexte, contournant les représentations compressées.
• Fine-tuning : Ré-encoder avec des priorités sur les domaines cibles.
• Prompt Engineering : Guider le décodeur vers les blocs pertinents dans l'espace latent.
• RLHF : Optimiser pour une qualité subjective, comme les modèles psychoacoustiques en audio.
• Prompt système : Configurer le profil du décodeur.

| Technique | Analogie de compression |

|-----------|---------------------|

| RAG | Insertion sans perte |

| Fine-tuning | Nouveau profil de codec |

| Prompt | Recherche dans le fichier compressé |

L'impossibilité d'éliminer complètement les hallucinations

Les artefacts sont inévitables lors de la compression en dessous de l'entropie des données. Augmenter la taille du modèle (débit binaire) ou utiliser une mémoire externe réduit les pertes, mais compresser 10 To en 70 Go laissera toujours des lacunes. Les promesses d'une 'solution complète' ignorent la théorie de l'information.

La mémoire humaine est analogue : la confabulation comble les pertes avec des détails plausibles dus aux limites de stockage.

Points clés à retenir

• Les hallucinations ne sont pas des erreurs mais des artefacts de décompression avec perte selon Shannon.
• Augmenter les paramètres réduit mais n'élimine pas les pertes.
• Le RAG et le fine-tuning sont des outils pour compenser localement les artefacts.
• Le code et les motifs sont mieux préservés que les faits exacts.
• La température régule la visibilité des artefacts, pas leur présence.

Les LLM comme mémoire artificielle : efficaces pour les modèles généraux, fuyants pour les détails. Ingénierie avec la nature de compression en tête est clé pour des applications fiables.

— Editorial Team