Wie man Halluzinationen in LLMs reduziert: 7 bewährte Techniken

Wie Halluzinationen in LLMs reduziert werden: 7 bewährte Techniken

Wie Halluzinationen in LLMs reduziert werden: 7 bewährte Techniken

Große Sprachmodelle (LLMs) sind leistungsstarke Werkzeuge, neigen jedoch dazu, plausible, aber faktisch falsche Informationen zu generieren – ein Phänomen, das als Halluzination bekannt ist. Für Entwickler und Unternehmen, die diese Modelle einsetzen, ist das Erlernen wie Halluzinationen in LLMs reduziert werden der Schlüssel zum Aufbau zuverlässiger, vertrauenswürdiger Anwendungen. Dieser Artikel fasst aktuelle Forschungsergebnisse von führenden akademischen Konferenzen und Institutionen zusammen und bietet sieben belegte, quellengestützte Techniken.

Was Sie lernen werden

Am Ende dieses Leitfadens verstehen Sie die Kernmechanismen, die LLM-Halluzinationen antreiben, und haben einen klaren, umsetzbaren Rahmen mit sieben verschiedenen Techniken zu deren Minderung. Sie erfahren, welche Strategien – von Prompting und Retrieval bis hin zu fortgeschrittenen Inferenzzeit-Interventionen – für verschiedene Aufgaben am besten geeignet sind, und Sie sind in der Lage, einen mehrschichtigen Ansatz zu implementieren, um die faktische Genauigkeit in Ihren eigenen Anwendungen drastisch zu verbessern.

1. Chain-of-Verification (CoVe): Selbstkorrektur durch Hinterfragen

Chain-of-Verification (CoVe), eine von Meta AI-Forschern entwickelte Methode, ist eine leistungsstarke Prompting-Strategie, die das Modell zwingt, seine eigenen Ausgaben kritisch zu prüfen. Anstatt einen ersten Entwurf zu akzeptieren, macht CoVe das LLM zu seinem eigenen Faktenprüfer.

So funktioniert es: Dieser Ansatz gliedert sich in vier aufeinanderfolgende Schritte:

1. Basisantwort generieren: Das Modell erstellt seine erste Antwort auf eine Anfrage.
2. Verifikationsfragen planen: Das Modell generiert eine Liste spezifischer Fragen, die dazu dienen, die in seiner ersten Antwort gemachten faktischen Behauptungen zu überprüfen.
3. Verifikation durchführen: Das Modell beantwortet diese Verifikationsfragen, idealerweise unabhängig von seinem ersten Entwurf, um Verzerrungen zu vermeiden. Die effektivste Variante, „Factored + Revise“, beantwortet jede Frage separat.
4. Endgültige Antwort generieren: Basierend auf gefundenen Widersprüchen oder Lücken erstellt das Modell eine überarbeitete, korrigierte endgültige Antwort.

Die Evidenz: In Tests mit dem LLaMA-65B-Modell erhöhte CoVe den FactScore bei Biografie-Generierungsaufgaben signifikant von etwa 63,7 auf etwa 71,4 Punkte. Diese Leistung übertraf sogar die von ChatGPT und Perplexity.ai bei mehreren Benchmarks und zeigte, dass effektive Selbstverifikation Modelle übertreffen kann, die auf externe Websuchen angewiesen sind.

2. Retrieval-Augmented Generation (RAG) mit einer Dualstrategie

Retrieval-Augmented Generation (RAG) verankert die Ausgabe des Modells in externem, überprüfbarem Wissen. Dies ist eine primäre Verteidigung gegen Halluzinationen, aber nicht alle RAG-Implementierungen sind gleich. Um Einschränkungen wie Über-Retrieval oder das Abrufen irrelevanter Informationen zu überwinden, entstehen fortschrittliche Dualstrategie-Methoden.

Ein bewährter Ansatz: Forscher haben eine Dualstrategie-RAG-Methode namens ACTD entwickelt, die ein „Selbstwissens-Beurteilungsmodul“ verwendet, um zunächst zu entscheiden, ob ein Retrieval überhaupt notwendig ist. Wenn das Modell basierend auf seinem internen Wissen antworten kann, tut es dies. Wenn ein Retrieval erforderlich ist, zerlegt ein „Aufgabenzerlegungsmodul“ die Frage in Unterfragen, um granularere und relevantere Passagen abzurufen. Diese Methode übertraf bestehende RAG-Ansätze bei faktischen Frage-Antwort-Benchmarks wie NQ, TriviaQA und PopQA und erreichte eine durchschnittliche Verbesserung von +0,75 Prozentpunkten beim Exact Match gegenüber dem bisherigen Stand der Technik.

3. „Langsames Denken“ mit Baumsuchalgorithmen

Im Gegensatz zur standardmäßigen autoregressiven Generierung, die Text Token für Token ohne Überlegung produziert, betrachtet diese Technik die Generierung als einen bewussten Denkprozess. Das HaluSearch-Framework beispielsweise integriert Baumsuchalgorithmen wie die Monte-Carlo-Baumsuche (MCTS), um mehrere Denkpfade zu erkunden, bevor es sich für eine endgültige Antwort entscheidet. Es verwendet ein Selbstbewertungs-Belohnungsmodell, um jeden Schritt zu bewerten und die Suche zum zuverlässigsten Generierungspfad zu führen. Um dies recheneffizient zu halten, verwendet es einen dynamischen Umschaltmechanismus zwischen „schnellen“ und „langsamen“ Denkmodi. Es hat sich gezeigt, dass dieser Ansatz Basislinienmethoden bei der Reduzierung von Halluzinationen signifikant übertrifft.

4. Kontrastives Decodieren: Nutzung halluzinierter Ausgaben

Kontrastives Decodieren ist eine Inferenzzeit-Technik, die die Ausgabequalität verbessert, indem die Wahrscheinlichkeiten eines „guten“ Modells (des Experten) mit denen eines „schlechten“ (des Amateurs) kontrastiert werden. Jüngste Innovationen haben diesen Ansatz erheblich verfeinert.

• DeCoRe (Decoding by Contrasting Retrieval Heads): Diese Methode basiert auf der Erkenntnis, dass spezifische „Retrieval Heads“ in einem Transformer-Modell für die Extraktion kontextueller Informationen verantwortlich sind. Durch das Maskieren dieser Heads, um einen „halluzinierten“ Zustand zu induzieren, kontrastiert DeCoRe die Ausgaben des Basismodells mit denen des maskierten Modells, um faktische Informationen zu verstärken. Dies führte zu einer Verbesserung von 18,6 % bei Zusammenfassungsaufgaben und 10,9 % bei der Befolgung von Anweisungen.
• HICD (Hallucination-Inducing via Attention Dispersion for Contrastive Decoding): Dieser Ansatz wählt einen anderen Weg, indem er für die Vorhersage entscheidende Attention Heads auswählt und deren Aufmerksamkeit streut, um gezielt Halluzinationen zu induzieren. Die ursprüngliche Ausgabe wird dann mit dieser induzierten halluzinierten Ausgabe kontrastiert, um ein effektiveres Signal für die Decodierung genauer Texte zu erzeugen.

5. Psychologiegesteuerte feinkörnige Bearbeitung

Ein neuartiger Ansatz, das Two Stage Psychology-Guided Fine-Grained Editing and Sampling (PGFES)-Framework, wendet psychologische Konzepte an, um Halluzinationen zu verstehen und zu mildern. Es klassifiziert Halluzinationen zunächst in Typen wie Konfabulation, Suggestibilität und kognitive Dissonanz. Mithilfe eines aufmerksamkeitserweiterten MLP-Probes identifiziert es „Wahrhaftigkeitsrichtungen“ in den internen Repräsentationen des Modells für jeden Halluzinationstyp. Während der Inferenz wird der interne Zustand des Modells entlang dieser Richtungen feinkörnig bearbeitet, um eine Reihe überarbeiteter Antworten zu generieren. Ein dynamischer Gewichtungsmechanismus sampelt dann aus diesen Antworten, um die konsistenteste und faktischste endgültige Ausgabe zu erzeugen. In Experimenten mit dem TruthfulQA-Datensatz verbesserte diese Methode den Wahrhaftigkeitswert um 20,4 % im Vergleich zur Basislinie.

6. Selektives Enthaltungs-Lernen: Wissen, wann man nicht antworten sollte

Manchmal ist der effektivste Weg, eine Halluzination zu verhindern, die Antwort ganz zu vermeiden. Selektives Enthaltungs-Lernen, wie es die „Seal“-Methode demonstriert, ist ein Trainingsziel, das dem Modell beibringt, seine eigenen Wissensgrenzen zu erkennen. Das Modell wird trainiert, Token, die nicht mit seiner tatsächlichen Wissensverteilung übereinstimmen, selektiv abzulehnen, indem es ein spezielles [REJ]-Token ausgibt. Dies ermöglicht es, unbegründeten oder unsicheren Antworten keine hohe Wahrscheinlichkeit zuzuweisen. Während der Inferenz verwendet ein regularisiertes Decodierungsziel die gelernte [REJ]-Wahrscheinlichkeit, um unsichere Vorhersagen zu bestrafen, wodurch Halluzinationen, die durch Wissensfehlausrichtung verursacht werden, effektiv gemildert werden.

7. Aspektbasierte kausale Enthaltung: Proaktive Zuverlässigkeit

Einen Schritt weiter als die nachträgliche Enthaltung geht das Aspect-Based Causal Abstention (ABCA)-Framework, das eine frühe, proaktive Enthaltung durch die Analyse der internen Diversität des Wissens eines LLMs ermöglicht. Dieser Ansatz schätzt die kausalen Effekte verschiedener „Aspekte“ (z. B. eine Frage aus rechtlicher vs. historischer Perspektive betrachtet) auf die Wissenszuverlässigkeit des Modells. Wenn diese Aspekteffekte inkonsistent sind, signalisiert dies einen Wissenskonflikt. Wenn sie konsistent die Enthaltung unterstützen, signalisiert dies eine Wissensunzulänglichkeit. Dies ermöglicht eine interpretierbare, hochmoderne Verbesserung der Enthaltungszuverlässigkeit und verhindert unzuverlässige Antworten, bevor sie generiert werden.

Vergleichsübersichtstabelle

Technik	Am besten geeignet für	Kernstärke	Fazit
Chain-of-Verification (CoVe)	Offene Generierung, Biografien	Leistungsstarke Selbstkorrektur durch Prompting	Eine unverzichtbare Basis-Prompting-Strategie.
RAG (Dualstrategie)	Frage-Antwort, wissensintensive Aufgaben	Verankert Ausgabe in externen, überprüfbaren Fakten	Unverzichtbar für Aufgaben, die aktuelles oder obskures Wissen erfordern.
„Langsames Denken“ (Baumsuche)	Komplexes Denken, mehrstufige Probleme	Erkundet mehrere Pfade für Genauigkeit	Am besten, wenn Genauigkeit entscheidend und Latenz weniger wichtig ist.
Kontrastives Decodieren (DeCoRe, HICD)	Zusammenfassung, Kontextvervollständigung	Hohe Wirkung ohne Training oder zusätzliche Modelle	Eine erstklassige Inferenz-nur-Lösung für kontextuelle Treue.
Psychologiegesteuerte Bearbeitung	Allgemeinwissen, TruthfulQA	Reduziert ein breites Spektrum an Halluzinationstypen	Ein vielversprechender Forschungsansatz für ganzheitliche Verbesserung.
Selektive Enthaltung (Seal)	Risikoaverse Anwendungen, Gesundheitswesen	Kennt seine Grenzen, um Fehler zu vermeiden	Kritisch, wenn falsche Antworten hohe Risiken bergen.
Kausale Enthaltung (ABCA)	Proaktive Zuverlässigkeit, Wissenskonflikte	Verhindert Fehler, bevor sie auftreten	Ein hochmoderner Ansatz zur Maximierung der Zuverlässigkeit.

Wie wir ausgewählt haben

Die Auswahl dieser sieben Techniken basiert auf den folgenden Kriterien: Effektivität, nachgewiesen durch empirische Ergebnisse auf Standard-Benchmarks; Innovation, Hervorhebung neuartiger und unterschiedlicher Mechanismen zur Reduzierung von Halluzinationen; Quellenautorität, Priorisierung von Peer-Review-Papieren aus erstklassigen Veranstaltungen wie ACL, EMNLP, AAAI und renommierten Forschungseinrichtungen; und Praktikabilität, Bewertung der Anwendbarkeit der Technik für Entwickler, von einfachem Prompting bis hin zu komplexeren Systemdesigns.

Fazit

Wie Halluzinationen in LLMs reduziert werden ist eine komplexe Herausforderung, die eine mehrgleisige Strategie erfordert. Für die meisten Entwickler bietet der Einstieg mit RAG und Chain-of-Verification (CoVe) eine leistungsstarke, schnell zu implementierende Verteidigung. Für Anwendungen, die höchste Zuverlässigkeit erfordern, sollten Sie die Implementierung einer kontrastiven Decodierungsmethode wie DeCoRe oder die Erkundung der selektiven Enthaltung (Seal) in Betracht ziehen, um sicherzustellen, dass Ihr Modell weiß, wann es „Ich weiß es nicht“ sagen soll.

Quellen

1. Kadotani, S., Nishida, K., & Nishida, K. (2025). Learning from Hallucinations: Mitigating Hallucinations in LLMs via Internal Representation Intervention. Findings of the ACL: IJCNLP 2025.
2. Cheng, X., Li, J., Zhao, W. X., & Wen, J.-R. (2025). Think More, Hallucinate Less: Mitigating Hallucinations via Dual Process of Fast and Slow Thinking. Findings of the ACL: ACL 2025.
3. Hu, W., Zhang, W., Jiang, Y., Zhang, C. J., Wei, X., & Qing, L. (2025). Removal of Hallucination on Hallucination: Debate-Augmented RAG. Proceedings of the 63rd Annual Meeting of the ACL (Volume 1: Long Papers).
4. Gema, A. P., Jin, C., Abdulaal, A., Diethe, T., Teare, P., Alex, B., Minervini, P., & Saseendran, A. (2025). DeCoRe: Decoding by contrasting retrieval heads to mitigate hallucinations. Findings of the ACL: EMNLP 2025.
5. Chen, L., Wu, X., Xiong, Z., & Kang, X. (2025). Two Stage Psychology-Guided Fine-Grained Editing and Sampling Approach for Mitigating Hallucination in Large Language Models. Proceedings of the Annual Meeting of the Cognitive Science Society.
6. Dhuliawala, S., et al. (Meta AI) (2023). Chain-of-Verification Reduces Hallucination in Large Language Models.
7. Lv, J., Li, Z., Gan, J., Ren, W., Chen, S., & Wang, J. (2026). Dual-strategy retrieval-augmented generation for anomaly recovery in large language models. Pattern Recognition. ScienceDirect.
8. Huang, L., Feng, X., Ma, W., et al. (2025). Alleviating Hallucinations from Knowledge Misalignment in Large Language Models via Selective Abstention Learning. Proceedings of the 63rd Annual Meeting of the ACL (Volume 1: Long Papers).
9. Nguyen, V., et al. (2025). Hallucinate Less by Thinking More: Aspect-Based Causal Abstention for Large Language Models. AAAI 2026. arXiv:2511.17170.
10. Kumar, A., Kim, H., Nathani, J. S., & Roy, N. (2025). Improving the Reliability of LLMs: Combining Chain-of-Thought Reasoning and Retrieval-Augmented Generation. arXiv:2505.09031.
11. Jiang, X., Ye, H., Zhu, Y., Zheng, X., Chen, Z., & Gong, J. (2025). HICD: Hallucination-Inducing via Attention Dispersion for Contrastive Decoding to Mitigate Hallucinations in Large Language Models. Findings of the ACL: ACL 2025.

— Editorial Team