Financial Multi-Document Q&A: Hybrid Graph + Vector + Citation

Pexon Consulting | 11 Min. Lesezeit | 13.06.2026

TL;DR

Financial Multi-Document Q&A ist 2026 das härteste RAG-Problem im Finanz- und Audit-Bereich: 10-K-Geschäftsberichte, Risk-Reports, Audit-Reports, Compliance-Doku liegen jeweils mehrere hundert Seiten dick vor, eine seriöse Antwort muss aus mehreren Dokumenten gleichzeitig kommen, und jede Aussage muss zitierbar belegbar sein. Klassisches Vector-RAG mit naivem Citation-Pattern scheitert. Pexon Consulting baut den Hybrid-Stack mit Graph plus Vector plus Reranker plus Pflicht-Citation für Banken, Versicherer und Big-Four-Audit-Partner.

Warum Single-Source-RAG bei Financials scheitert

Wir hören das in fast jedem CFO- oder Auditing-Erstgespräch: Eine Analystin oder ein Auditor muss eine Frage beantworten wie „Wie hat sich das Klima-Risiko in den letzten drei Geschäftsjahren bei Konzern X entwickelt“. Die Antwort liegt nicht in einem Dokument, sondern in drei 10-K-Berichten plus zwei Risk-Reports plus dem aktuellen Audit-Memo. Die Profis recherchieren das händisch über 8-15 Stunden.

Klassisches Vector-RAG hilft hier nur halb. Es findet relevante Chunks, aber:

1. Die Chunks kommen aus verschiedenen Dokumenten und das LLM weiß nicht, wie sie zueinander stehen.
2. Reihenfolge der Top-Chunks ist nicht zwingend die Relevanz-Reihenfolge.
3. Die Antwort hat oft mehrere Statements ohne klare Quellen-Zuordnung — was im Audit-Kontext unzureichend ist.

Bei einem Pilotkunden im Audit-Bereich haben wir gemessen: Vector-RAG ohne weitere Komponenten landet bei 64% korrekte Antworten plus 18% halluzinierte Statements. Inakzeptabel für Compliance-Use. Hybrid-Setup mit Graph plus Reranker plus Citation-Enforcement landet bei 91% korrekt plus 2% halluziniert.

Was der Hybrid-Stack anders macht

Komponente 1: Knowledge Graph über Cross-Doc-Beziehungen. Jedes Dokument wird beim Indexieren in Entitäten zerlegt — Geschäftsjahr, Segment, Risiko-Klasse, Region, KPI-Definition. Diese Entitäten werden im Graph verbunden. Bei einer Frage „wie hat sich Klima-Risiko in den letzten drei Jahren entwickelt“ findet der Graph alle Chunks mit Tag Klima-Risiko plus Geschäftsjahr ∈ {N-2, N-1, N}. Ohne Graph müsste der Vector-Retriever das raten.

Komponente 2: Hybrid Vector-Retrieval. Dense Embeddings (für semantische Treffer) plus BM25 (für exakte Phrase-Matches bei Norm-Referenzen) plus Sparse Embeddings (für Long-Tail-Begriffe). Output sind die Top-50-Kandidaten.

Komponente 3: Cross-Encoder-Reranker. Cross-Encoder (bge-reranker-v2 oder ein deutsch-spezialisierter Reranker) bewertet jeden Kandidaten neu gegen die Anfrage. Die Top-5 nach Reranking gehen in den LLM-Kontext. Dieser Schritt allein hebt die Relevanz um 15-25 Prozentpunkte gegenüber Vector-only.

Komponente 4: Citation-Enforcement im Prompt. Der Prompt enthält die explizite Anweisung: „Jede Aussage in deiner Antwort muss mit einer Quellen-Referenz [Dokument, Seite, Abschnitt] versehen sein. Aussagen ohne Quelle werden gestrichen.“ Damit wird Halluzination strukturell unterdrückt — entweder findet das Modell eine Quelle, oder die Aussage fällt aus der Antwort.

Komponente 5: Audit-Trail. Pro Anfrage werden die Top-5 Kandidaten plus die finale Antwort plus die Citations versioniert gespeichert. Bei einem späteren Audit kann nachvollzogen werden, auf welcher Basis die Antwort entstand.

Citation-Enforcement im Detail

Hier liegt der eigentliche Pexon-Differenzierer für Finanz- und Audit-Kontexte. Standard-LLM-Output enthält oft fließenden Text ohne Quellen — was für Marketing-Zwecke okay ist, aber für Audit-Kontext unbrauchbar.

Wir bauen Citation-Enforcement in drei Schritten.

Schritt 1: System-Prompt mit harter Citation-Pflicht. „Du MUSST jede sachliche Aussage mit einer Quellen-Referenz im Format [Doc-ID, Seite X, Abschnitt Y] belegen. Wenn keine Quelle vorhanden, schreibe stattdessen: ‚Quelle nicht eindeutig zuordenbar‘. Niemals raten.“

Schritt 2: Post-Processing-Filter. Nach dem LLM-Output läuft ein Filter, der jeden Satz auf das Citation-Pattern prüft. Sätze ohne Citation werden markiert oder entfernt.

Schritt 3: Citation-Verifikation. Jede Citation wird gegen den tatsächlichen Inhalt der referenzierten Quelle geprüft. Falsche Citations (Citation existiert, aber der Inhalt passt nicht) werden gemeldet und korrigiert.

Bei einem Audit-Kunden hat das die „Verlässlichkeits“-Bewertung der Output-Qualität von „kann nicht produktiv genutzt werden“ auf „Erstentwurf-tauglich“ gehoben — was den Audit-Workflow strukturell ändert.

Pilot-Ergebnisse aus einem Audit-Kunden

Konkrete Hausnummern aus einem Pilot 2025. Big-Four-Audit-Partner mit 380 Audit-Senior-Profilen, durchschnittlich 30-50 Audit-Engagements pro Senior pro Jahr, jedes Engagement mit 50-200 Dokumenten zu durchsuchen.

Der Wert liegt nicht primär in Stunden, sondern in Risiko-Reduktion. Halluzinierte Statements in Audit-Berichten wären für die Audit-Firma rechtlich kritisch. Mit dem Hybrid-Stack ist das Risiko strukturell unter Kontrolle.

Pexon-Sprint für Financial Multi-Document Q&A

Wir liefern das als 14-18-Wochen-Sprint. Lieferumfang: Dokument-Indexierungs-Pipeline für 10-K, Risk-Reports, Audit-Memos, Compliance-Doku. Knowledge Graph mit den finanz-spezifischen Entitäten. Hybrid-Retrieval-Stack. Cross-Encoder-Reranker. Citation-Enforcement-Layer. Audit-Trail-Backend. Schulung der Power-User.

Investment 220-340k EUR je nach Doku-Tiefe und Compliance-Anforderungen.

Häufig gestellte Fragen

Wie unterscheidet sich das von Bloomberg Terminal oder Capital IQ?

Bloomberg und Capital IQ sind primär für Markt- und Konkurrenz-Daten — sie haben begrenzte Tiefe in Compliance-Doku. Unser Setup adressiert das Doku-Q&A-Problem, das spezifisch in Audit, Risk und Compliance auftaucht. Wir nutzen Bloomberg- oder Capital-IQ-Daten oft als zusätzliche Quelle, ersetzen sie aber nicht.

Was, wenn die Dokumente in mehreren Sprachen vorliegen?

Standard-Fall bei multinationalen Konzernen. Wir nutzen multilingual-fähige Embeddings und Reranker, plus optional Übersetzungs-Pipeline für die Suche. Antwort kommt in der gewünschten Sprache, mit Citations zur Original-Sprache.

Wie umgehen wir Halluzinationen bei numerischen Aussagen?

Numerische Aussagen sind besonders sensibel. Wir bauen einen Number-Verifier-Schritt: Jede genannte Zahl wird gegen die Original-Quelle gegenchecked. Bei Mismatch wird die Antwort als „Zahl nicht eindeutig“ markiert.

Funktioniert das auch mit unseren On-Prem-Anforderungen?

Ja. Für Audit-Firmen und Banken mit BaFin-Restriktionen bauen wir vollständig on-prem-LLM-Setups mit Qwen 3.5 oder Llama 3.3. Mehr im Self-Hosted-Stack-Blog.

Wer pflegt das System bei neuen Geschäftsberichten?

Inkrementelle Pipeline läuft automatisch — neue Dokumente werden bei Ablage indiziert. Knowledge-Graph-Pflege bei neuen Reporting-Standards oder Norm-Änderungen typisch 4-8 Stunden pro Quartal.

Nächster Schritt

Wenn dein Audit-, Risk- oder Compliance-Team unter Doku-Recherche-Druck steht und Citation-Anforderungen erfüllen muss: Wir machen einen 60-Minuten-Call mit dir und idealerweise einem Senior-Profile. Du beschreibst die Doku-Landschaft und Anforderungs-Tiefe, wir skizzieren das Setup mit Festpreis.

Verwandte Themen