Warum Firmen-Chatbots schlechte Antworten geben 2026

Pexon Consulting | 10 Min. Lesezeit | 16.07.2026

TL;DR

Die meisten Firmen-Chatbots geben schlechte Antworten nicht wegen des Modells, sondern wegen der Bausteine drumherum: schwaches Retrieval, fehlendes Grounding, veraltete Daten und keine Qualitätsmessung. Rund 70 Prozent der Enterprise-RAG-Projekte erreichen deshalb nie die Produktion. Pexon Consulting (80 Mitarbeiter, Microsoft-Partner, Deutschland) findet die tatsächliche Ursache und baut den Chatbot so, dass er belastbare Antworten liefert.

Das Problem: klingt gut, liegt falsch

Ein Firmen-Chatbot, der überzeugend formuliert und trotzdem Unsinn erzählt, ist gefährlicher als einer, der gar nicht erst antwortet. Denn die schöne Sprache verdeckt, dass die Antwort inhaltlich daneben liegt. Nutzer verlieren nach ein paar solcher Erlebnisse das Vertrauen, und das Projekt stirbt still.

Der wichtigste Befund vorweg: Das Modell ist selten schuld. Moderne Sprachmodelle formulieren hervorragend. Schlechte Antworten entstehen fast immer davor, in der Kette, die dem Modell die richtigen Informationen liefern soll. Genau deshalb erreichen rund 70 Prozent der Enterprise-RAG-Deployments nie den Produktivbetrieb, und der Grund ist fast immer architektonisch.

Dieser Artikel geht die vier häufigsten Ursachen durch und zeigt, wie man sie behebt.

Das Retrieval findet das Falsche

Die kurze Antwort: Wenn der Chatbot dem Modell die falschen Textstellen vorlegt, kann selbst das beste Modell keine richtige Antwort geben. Der häufigste Fehler steckt im Chunking, also darin, wie Dokumente in durchsuchbare Abschnitte zerlegt werden. Zu große Abschnitte verwässern die Suche, zu kleine reißen den Kontext auseinander.

Dazu kommt die Wahl des Embedding-Modells. Ein Modell, das für Englisch optimiert ist, findet in deutschen Fachtexten schlechter die passenden Stellen. Ein sauberes Chunking mit passendem Embedding ist der größte einzelne Hebel für die Antwortqualität.

# Chunking mit erhaltenem Kontext, statt stumpf nach Zeichen zu schneiden
from langchain.text_splitter import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=700, chunk_overlap=120,      # Ueberlappung haelt Zusammenhang
    separators=["nn", "n", ". ", " "]    # an natuerlichen Grenzen trennen
)

Unsere klare Empfehlung: Bevor Sie am Modell drehen, prüfen Sie das Retrieval. In den allermeisten Fällen liegt hier die Ursache. Wie sich Retrieval-Qualität stufenweise verbessern lässt, zeigt unser Beitrag zu RAG-Qualität von Prototyp bis Produktion.

Kein Grounding, also halluziniert das Modell

Wenn der Chatbot keine belegten Quellen bekommt oder sie ignorieren darf, füllt das Modell die Lücke mit einer plausibel klingenden Erfindung. Grounding bedeutet, das Modell strikt an die gefundenen Quellen zu binden und es sagen zu lassen, wenn es keine Antwort hat, statt zu raten.

Ein gut gebauter Chatbot antwortet lieber „dazu finde ich nichts“ als eine erfundene Zahl zu nennen. Wir raten dringend dazu, diese Ehrlichkeit einzubauen. Ein Chatbot, der Nichtwissen zugibt, ist vertrauenswürdiger als einer, der immer eine Antwort hat. Wann sich für komplexere Fälle ein agentischer Ansatz lohnt, ordnen wir in den verwandten Themen am Ende ein.

Die Wissensbasis ist veraltet oder überteilt

Ein Chatbot ist nur so gut wie die Daten, auf die er zugreift. Zwei Fehler sind hier verbreitet. Erstens veraltete Inhalte: Wenn die alte und die neue Version eines Dokuments beide indexiert sind, zitiert der Chatbot mal die eine, mal die andere. Zweitens Oversharing: Der Chatbot findet Inhalte, die der fragende Nutzer gar nicht sehen dürfte, weil die Berechtigungen nicht sauber durchgereicht werden.

Beides untergräbt das Vertrauen sofort. Eine Wissensbasis braucht deshalb einen klaren Prozess für Aktualität und eine Zugriffskontrolle, die im Retrieval greift, nicht erst in der Anzeige.

Niemand misst die Qualität

Der stille Grund, warum Chatbots schlecht bleiben: Niemand misst systematisch, wie gut sie antworten. Ohne Evals, also feste Testfragen mit erwarteten Antworten, optimiert das Team nach Gefühl und merkt nicht, wenn eine Änderung die Qualität verschlechtert.

Unsere klare Position: Ein Chatbot ohne Eval-Set ist ein Blindflug. Erst wenn jede Änderung gegen dieselben Testfragen läuft, wird aus Herumprobieren echte Verbesserung. Ein belastbares Enterprise-RAG-System bringt genau diese Messung von Anfang an mit, statt sie später nachzurüsten.

Häufig gestellte Fragen

Warum gibt unser Firmen-Chatbot falsche Antworten?

Fast immer wegen der Bausteine um das Modell herum, nicht wegen des Modells selbst. Die häufigsten Ursachen sind schwaches Retrieval durch schlechtes Chunking, fehlendes Grounding, sodass das Modell halluziniert, veraltete oder überteilte Daten in der Wissensbasis und fehlende Qualitätsmessung. Das Modell formuliert gut, es bekommt nur die falschen Informationen.

Liegt es am Sprachmodell?

Selten. Moderne Modelle formulieren hervorragend und sind kaum je die Ursache schlechter Antworten. Der Fehler steckt fast immer davor, in der Kette, die dem Modell die richtigen Quellen liefern soll. Bevor Sie das Modell tauschen, sollten Sie das Retrieval und das Grounding prüfen.

Was ist Grounding bei einem Chatbot?

Grounding bindet die Antwort strikt an die gefundenen Quellen und erlaubt dem Modell, Nichtwissen zuzugeben, statt zu raten. Ein gegroundeter Chatbot antwortet lieber „dazu finde ich nichts“ als eine erfundene Zahl. Das reduziert Halluzinationen deutlich und ist einer der wichtigsten Bausteine für Vertrauen.

Warum ist Chunking so wichtig?

Weil es bestimmt, welche Textstellen der Chatbot überhaupt findet. Zu große Abschnitte verwässern die Suche, zu kleine reißen den Kontext auseinander. Zusammen mit einem für Deutsch geeigneten Embedding-Modell ist sauberes Chunking der größte einzelne Hebel für die Antwortqualität.

Wie stellt man sicher, dass ein Chatbot besser wird?

Mit Evals: festen Testfragen und erwarteten Antworten, gegen die jede Änderung läuft. Ohne diese Messung optimiert das Team nach Gefühl und merkt Verschlechterungen nicht. Erst ein Eval-Set macht aus Herumprobieren nachvollziehbare Verbesserung und verhindert, dass ein Update die Qualität heimlich senkt.

Nächster Schritt

Wenn Ihr Chatbot überzeugend klingt, aber inhaltlich daneben liegt, finden wir die tatsächliche Ursache in der Kette von Retrieval bis Eval. Ehrlich, auch wenn die Antwort heißt, dass die Wissensbasis zuerst aufgeräumt gehört.

Verwandte Themen