Was ist eine KI-Halluzination?
ModelleEine KI-Halluzination ist eine Antwort eines Sprachmodells, die sprachlich plausibel wirkt, inhaltlich aber falsch oder frei erfunden ist. Sie entsteht, weil das Modell das wahrscheinlichste nächste Wort erzeugt und nicht zwischen belegtem Wissen und geratener Formulierung unterscheidet.
Kurz vorwegHalluzinationen verschwinden nicht durch ein besseres Modell. Zur KI-Qualitätssicherung
Halluzination: Definition
Eine Halluzination ist eine Modellausgabe, die wie eine belegte Aussage aussieht, aber keine Grundlage hat: erfundene Zahlen, nicht existierende Quellen, falsch zusammengesetzte Fakten. Der Begriff ist fachlich umstritten, weil er dem Modell eine Wahrnehmung unterstellt - treffender ist Konfabulation: Das Modell füllt eine Lücke mit dem, was sprachlich am besten passt.
Die Ursache liegt in der Funktionsweise. Ein Sprachmodell sagt das wahrscheinlichste nächste Token voraus; es besitzt keinen internen Abgleich mit einer Wahrheitsquelle und keine Markierung dafür, welcher Teil einer Antwort belegt ist. Dazu kommt ein Anreizproblem: Forscher von OpenAI haben im September 2025 dargelegt, dass gängige Bewertungsverfahren Raten belohnen und Zurückhaltung bestrafen - ein Modell, das rät, schneidet in der Trefferquote besser ab als eines, das bei Unsicherheit schweigt.
Nicht jede falsche Antwort ist eine Halluzination. Steht der Fehler bereits im Quelldokument, ist es ein Datenfehler; stammt er aus veraltetem Trainingswissen, ist es ein Aktualitätsproblem. Eine Halluzination im engeren Sinn entsteht ohne jede Quelle. Deshalb wirkt dagegen vor allem Grounding: die Antwort an abgerufene Dokumente binden und dem System erlauben, ohne Treffer nicht zu antworten.
- Kurz gesagt
- Plausibel formuliert, inhaltlich falsch
- Ursache
- Das Modell optimiert auf Wahrscheinlichkeit, nicht auf Wahrheit
- Auch genannt
- Konfabulation
- Gegenmittel
- Grounding per Retrieval, Quellenangaben, Abbruch bei Unsicherheit, Evaluation
- Abzugrenzen von
- Fehlern im Quelldokument und veraltetem Trainingswissen
Wie entstehen KI-Halluzinationen?
Drei Ursachen kommen in der Praxis zusammen:
- Kein WahrheitsabgleichDas Modell erzeugt Wahrscheinlichkeiten über Wortteile, keine geprüften Aussagen. Ob eine Formulierung belegt oder geraten ist, kann es selbst nicht unterscheiden.
- Lücken im KontextFehlt die passende Stelle im mitgelieferten Text, füllt das Modell die Lücke sprachlich plausibel auf, statt die Antwort zu verweigern.
- Anreiz zum RatenBewertungsverfahren und Nutzer belohnen eine flüssige Antwort stärker als ein ehrliches „nicht gefunden“. Wer rät, sieht in der Trefferquote besser aus.
Was hilft gegen Halluzinationen?
Kein Baustein löst das Problem allein. Wirksam ist die Kombination - und jeder Baustein hat eine Grenze:
| Maßnahme | Wirkung | Grenze |
|---|---|---|
| Retrieval (RAG) | Antwort wird an abgerufene Dokumente gebunden | Schlechte Treffer erzeugen elegant formulierte falsche Antworten |
| Quellenangabe je Aussage | Jede Aussage wird nachprüfbar | Aufwand in der Aufbereitung, jemand muss die Quelle auch öffnen |
| Abbruch bei Unsicherheit | Das System darf „nicht gefunden“ antworten | Zu strenge Schwellen senken die Trefferquote spürbar |
| Evaluation mit eigenem Testset | Rückschritte werden vor dem Ausrollen sichtbar | Gemessen wird nur, was im Testset steht |
| Freigabe durch Menschen | Fehler erreichen den Empfänger nicht | Skaliert nur bis zu einer bestimmten Menge an Vorgängen |
Woran erkennt man eine Halluzination?
Typische Signale sind Antworten ohne Quellenangabe, Quellen, die sich nicht auffinden lassen, und auffällig glatte Zahlen. Gefährlich sind nicht die offensichtlich falschen Antworten, sondern die knapp danebenliegenden: richtige Struktur, plausible Zahl, falsche Norm.
Belastbar prüfen lässt sich das nur systematisch: Ein System, das je Aussage die Belegstelle mitliefert, macht die Prüfung zu einem Klick. Ein System ohne Quellen verlagert die Prüfung in den Kopf des Lesers - und dort findet sie selten statt.
Was gegen Halluzinationen wirklich hilft
Die Reihenfolge ist bewusst gewählt: die ersten beiden Punkte wirken stärker als jeder Modellwechsel.
- Quellen mitliefern: das Modell antwortet aus mitgegebenen Textstellen statt aus dem Gedächtnis
- Belegpflicht erzwingen: ohne Fundstelle keine Aussage, auch nicht als Zusammenfassung
- Nichtwissen erlauben: \u201eDazu liegt nichts vor\u201c muss eine zulässige Antwort sein
- Gegen einen Testsatz messen: geprüfte Fragen mit bekannter Antwort, bei jeder Änderung erneut
- Kritische Fälle an Menschen geben: dort, wo eine falsche Antwort teuer wird
Halluzination oder Fehler?
Die Unterscheidung ist keine Wortklauberei: die beiden Fälle brauchen unterschiedliche Gegenmaßnahmen.
| Kriterium | Halluzination | Verarbeitungsfehler |
|---|---|---|
| Ursache | das Modell füllt eine Lücke mit Plausiblem | eine Quelle war falsch, veraltet oder unvollständig |
| Erkennbar an | es gibt keine Fundstelle für die Aussage | die Fundstelle existiert, sagt aber etwas anderes |
| Gegenmaßnahme | Belegpflicht und erlaubtes Nichtwissen | Datenqualität und Aktualität der Quelle |
| Ein besseres Modell | hilft wenig | hilft gar nicht |
Die erste Frage in einem KI-Projekt ist nicht, wie gut das Modell formuliert, sondern ob sich jede Aussage auf eine Stelle in einem Dokument zurückführen lässt. Systeme ohne diese Rückführung werden im Fachbereich nach wenigen Wochen nicht mehr benutzt.
„Ein größeres Modell halluziniert nicht mehr.“ Neuere Modelle halluzinieren seltener, aber nicht nie - und sie formulieren Falsches überzeugender. Verlässlich wird ein System nicht durch das Modell, sondern durch Grounding, Quellenangaben und die Möglichkeit, keine Antwort zu geben.
Häufige Fragen zu Halluzination
Lassen sich Halluzinationen vollständig verhindern?
Nein. Solange ein Sprachmodell Text erzeugt, kann es Falsches erzeugen. Deutlich senken lässt sich das Risiko: Antworten an abgerufene Quellen binden, Belegstellen verlangen, dem System ein „nicht gefunden“ erlauben und kritische Fälle einem Menschen vorlegen.
Hilft RAG gegen Halluzinationen?
RAG senkt das Risiko, weil das Modell aus mitgelieferten Dokumenten antwortet statt aus dem Gedächtnis. Die Qualität entsteht dabei im Retrieval: Findet die Suche die falschen Stellen, formuliert das Modell den Fehler nur eleganter.
Was unterscheidet eine Halluzination von einem Datenfehler?
Eine Halluzination entsteht im Modell, ohne Quelle. Ein Datenfehler steht bereits im Dokument oder Quellsystem und wird nur weitergereicht. Beide brauchen unterschiedliche Gegenmaßnahmen: das eine Grounding, das andere Datenqualität.
Antwortqualität entsteht nicht durch das Modell, sondern durch den Aufbau darum herum - wir schauen uns Ihren an.
Zur KI-Qualitätssicherung