TL;DR
Sovereign RAG ist die Antwort auf BaFin, DORA, BSI C5 und EU AI Act, wenn Azure-DE-Region nicht reicht. Wir trennen vier Tiers — von DSGVO-Basis bis Air-Gapped — und zeigen, welcher Stack pro Tier trägt. Open-Source-LLMs schließen die Qualitätslücke zu GPT-4o auf unter ein Prozent.
Warum dieser Beitrag jetzt steht
Seit Januar 2025 ist DORA scharf, ab August 2026 greift der EU AI Act für GPAI-Modelle in voller Tiefe, und die BaFin liest BAIT/VAIT-Auslagerungs-Prüfungen seit Anfang 2026 sichtbar strenger. Gleichzeitig hat das BSI im Mai 2026 erstmals klare Kriterien für eine „Sovereign Cloud“ definiert. Wer heute einen Banken-Chatbot, eine Schadens-KI bei einem Versicherer oder eine Behörden-Wissenssuche plant, kann sich nicht mehr hinter „läuft ja in EU-Region“ verstecken.
Wir bauen seit 2023 RAG-Stacks in regulierten Branchen — Banking, Insurance, Industrie, Behörden-nah über Beratungshäuser. Unsere Erfahrung aus diesen Projekten: Die Entscheidung „Azure OpenAI versus on-prem Llama“ ist kein technisches Coin-Flip, sondern eine vierdimensionale Tier-Frage. Dieser Beitrag liefert das Pattern und den konkreten Stack je Tier.
Was Sovereign RAG bedeutet — und was nicht
Sovereign RAG meint eine RAG-Architektur, deren komplette Stack-Tiefe — Vector DB, Embedding-Modell, LLM, Orchestrierung, Logs, Telemetrie — im EU-Rechtsraum unter EU-eigentümer-kontrollierter Infrastruktur läuft. Ohne CLOUD-Act-Exposure. Das ist nicht dasselbe wie EU-Region.
Drei Abgrenzungen, die wir in jedem Discovery-Workshop klären:
Der mittlere Pfad ist der gefährlichste. Eine Azure-DE-Region ändert nichts daran, dass Microsoft als US-Mutter unter den CLOUD Act fällt. Das ist kein hypothetisches Risiko mehr — die EuGH-Linie nach Schrems II und die DORA-Anforderungen zur Provider-Konzentration zwingen Banken und Versicherer, das Thema aktiv zu adressieren.
Regulatorische Treiber — was wirklich greift
Wir sehen in Audits einen Wildwuchs an Halbwissen zu DORA, BaFin und EU AI Act. Die Faktenlage, kompakt:
Eine Zahl, die in keinem Vorstandstermin fehlen sollte: Laut Advisori sind 44 bis 66 Prozent der Finanzunternehmen aktuell nicht DORA-compliant. Gleichzeitig liegt der globale IaaS-Spend für Sovereign Cloud 2026 bei rund 80 Milliarden USD (Gartner, 09.02.2026). Der Markt zieht — die Frage ist nur, ob du auf der Anbieter-Seite oder auf der Bußgeld-Seite sitzt.
Das 4-Tier-Decision-Pattern
Wir entscheiden Sovereign-RAG-Architekturen nicht entlang „Cloud ja/nein“, sondern entlang vier Tiers. Tier zuerst, Technologie danach.
Der Decision-Tree als Pseudocode, wie wir ihn in Workshops einsetzen:
def select_sovereign_tier(use_case):
if use_case.classification in {"VS-NfD", "GEHEIM", "STRENG_GEHEIM"}:
return "T4_AIRGAPPED"
if use_case.regulator in {"BaFin", "BAIT", "VAIT", "DORA-critical"}:
if use_case.data_class == "PII_FINANCIAL":
return "T3_SOVEREIGN"
return "T2_BAFIN_HYPERSCALER_DE"
if use_case.contains_personal_data and use_case.industry in {"healthcare", "public"}:
return "T3_SOVEREIGN"
if use_case.contains_personal_data:
return "T2_BAFIN_HYPERSCALER_DE"
return "T1_DSGVO_BASIS"Wichtiger Punkt aus unserer Erfahrung: Wer T2 wählt, muss den Exit-Plan nach T3 dokumentieren. DORA-Auditoren fragen genau danach. „Wir sind auf Azure DE und das reicht“ ist keine Antwort mehr.
Der Reference-Stack, Layer für Layer
Ab Tier 3 lohnt sich der Open-Source-Stack. Hier ist, was wir aktuell als Default empfehlen — vorletztes Update Mai 2026, getestet in zwei Banking-Projekten und einem Industrie-Use-Case.
Frontend. Open WebUI oder LibreChat. Beide self-hostbar, beide mit User-Management, beide DSGVO-konform deploybar. Unsere Wahl in 80 Prozent der Projekte: Open WebUI, wegen aktiverer Community.
Orchestration. LangGraph self-hosted plus LiteLLM Proxy. LangGraph für Multi-Step-Agents, LiteLLM für Model-Routing und Cost-Tracking. Wichtig: LiteLLM ohne Audit-Log ist eine DORA-Lücke — siehe Anti-Pattern-Sektion.
LLM-Layer. Llama 3.3 70B Instruct oder Qwen 2.5 72B Instruct. MMLU-Werte: Qwen 86,1 Prozent, Llama 86,0 Prozent, GPT-4o 86,4 Prozent. Der Gap zu Closed-Source liegt unter einem Prozent. Für deutsche Fachtexte testen wir zusätzlich Mistral Large 2 und — als Symbolpolitik mit BMWK-Förderung von 14 Mio EUR — Teuken-7B (4 Bio. Tokens Training, 24 EU-Sprachen). Teuken ist noch nicht Production-Reasoning-Backbone, aber als spezialisierter Embedder oder Klassifikator brauchbar.
Re-Ranker. bge-reranker-v2-m3. Ohne Re-Ranker halbiert sich der Top-K-Recall in praktisch jedem Setup — wir sehen das in jedem zweiten Übernahme-Projekt.
Retrieval. Hybrid aus BM25 und Dense. Dense allein ist eine teure Illusion bei deutschen Fachbegriffen, Aktenzeichen, Produktnummern. BM25 fängt das ab.
Embeddings. BGE-M3 (8.192 Token Kontextfenster, 100+ Sprachen) oder multilingual-E5-large. Bei reinem Deutsch experimentieren wir mit Teuken-Derivaten, der Reifegrad ist aber nicht da, wo BGE-M3 steht.
Vector DB. Qdrant, Weaviate oder Milvus ab einer Größenordnung von 10 Millionen Vektoren. Darunter reicht pgvector. Wer pgvector bei 50 Millionen Vektoren betreibt, baut sich einen Performance-Crash — wir haben das im Februar bei einem Mittelständler aufgeräumt.
Audit-Layer. OpenTelemetry für Traces, Loki für Logs, RAGAS für kontinuierliche Eval. Ohne Eval-Pipeline in CI ist jeder Sovereign-RAG-Stack ein Halluzinations-Generator mit Compliance-Anstrich.
Infrastruktur. STACKIT (Schwarz-Gruppe), IONOS, OVHcloud, Open Telekom Cloud oder on-prem. Für T3 sind alle vier brauchbar, für T4 nur on-prem.
Ein lauffähiges Docker-Compose-Skeleton, das wir als Discovery-Artefakt mitbringen:
version: "3.9"
services:
qdrant:
image: qdrant/qdrant:latest
ports: ["6333:6333"]
volumes: ["./qdrant_data:/qdrant/storage"]
vllm:
image: vllm/vllm-openai:latest
command: >
--model meta-llama/Llama-3.3-70B-Instruct
--tensor-parallel-size 4
--max-model-len 32768
deploy:
resources:
reservations:
devices: [{ driver: nvidia, count: 4, capabilities: [gpu] }]
litellm:
image: ghcr.io/berriai/litellm:main
environment:
LITELLM_MASTER_KEY: sk-sovereign
LITELLM_LOG: INFO
depends_on: [vllm]
openwebui:
image: ghcr.io/open-webui/open-webui:main
environment:
OPENAI_API_BASE_URL: http://litellm:4000
depends_on: [litellm]Wer das eins zu eins übernimmt, hat einen lauffähigen Stack — aber noch keinen DORA-tauglichen. Audit-Logging, RBAC, Eval-Hooks und Backup-Strategie fehlen bewusst. Das ist die Discovery-Lücke, die wir in Workshops schließen.
vLLM-Setup für Llama 3.3 70B auf 4×H100
Die Latency-Werte aus zwei Projekten: 30 bis 60 Token pro Sekunde pro User, Time-to-First-Token bei 200 Millisekunden. Das reicht für interaktive Chat-UIs und für Underwriting-Assist im Echtbetrieb.
docker run --gpus all --shm-size=10g
-p 8000:8000
-v ~/.cache/huggingface:/root/.cache/huggingface
vllm/vllm-openai:latest
--model meta-llama/Llama-3.3-70B-Instruct
--tensor-parallel-size 4
--max-model-len 32768
--gpu-memory-utilization 0.92
--enable-prefix-cachingWichtig: Llama-Lizenz prüfen. Die 700-Mio-MAU-Klausel greift bei Schwarz-Gruppe oder Telekom, nicht bei einem 5.000-MA-Mittelständler. Aber lesen muss man sie trotzdem.
Performance und TCO — die ehrliche Rechnung
Selbst-Host versus API ist keine ideologische Frage, sondern eine Token-Volumen-Frage. Die Zahlen, die wir in TCO-Modellen verwenden:
Daraus folgt eine pragmatische Position, die wir in jedem Kundengespräch vertreten: Unterhalb von 10 Millionen Token pro Tag ist die TCO-Story für Self-Host schwach. Oberhalb von 30 Millionen Token pro Tag wird sie zwingend. Dazwischen entscheiden Compliance und strategische Autonomie — nicht die Excel-Tabelle.
Was wir nicht akzeptieren: Self-Host-Pläne ohne explizite Budgetposition für Senior-Engineer-Zeit. 3 bis 6 Tausend USD pro Monat für Modell-Updates, Eval-Pflege, Sicherheits-Patches sind die Mindest-Größenordnung.
European Tech Stack — Munich AI Factory und Germany Stack
Im Februar 2026 hat die Telekom zusammen mit NVIDIA und Polarise die „Industrial AI Cloud“ in München angekündigt — knapp 10.000 NVIDIA Blackwell GPUs, rund 0,5 ExaFLOPS, Investment etwa eine Milliarde EUR. Parallel hat sich der Germany Stack formiert: Telekom (T Cloud, Connectivity), SAP (Plattform), Siemens (SIMCenter). Erster Sovereign-AI-Tenant: Noxtua für Legal-AI.
Für Mittelständler ist das relevant, weil T Cloud Public und der STACKIT AI Catalogue grundsätzlich buchbar sind. Konfidenz mittel: Pricing ist noch undurchsichtig, und für ein 200-MA-Unternehmen lohnt sich der Munich-AI-Factory-Zugang aktuell nicht. Für Banken, Versicherer und Industrie-Konzerne ist es die ernsthafteste europäische Alternative zu Azure und AWS, die seit Jahren da ist.
Unsere Position: Wer einen Sovereign-RAG-Stack heute baut, sollte STACKIT, T-Systems OTC und IONOS jeweils in einem 1-Tages-Spike testen, bevor er sich festlegt. Die Anbieter unterscheiden sich messbar in GPU-Verfügbarkeit, Netzwerk-Latenz zu deutschen RZ-Standorten und in der Tiefe der C5-Zertifizierung. Eine pauschale Empfehlung „nimm STACKIT“ oder „nimm OTC“ gibt es nicht.
Anti-Patterns, die wir regelmäßig aufräumen
Aus zwei Jahren Sovereign-RAG-Projekten haben sich acht Fehlermuster verfestigt. Wir sehen sie immer wieder — bei In-House-Teams ebenso wie bei Beratungs-Vorprojekten.
- „Sovereign“ als Marketing-Label ohne CLOUD-Act-Prüfung. Azure DE-Region bleibt Microsoft-Tochter. Wenn das im AVV nicht adressiert ist, ist es keine Sovereign-Architektur, sondern eine Powerpoint-Folie.
- LiteLLM ohne Audit-Log. Jeder Prompt, jede Response, jede Modell-Auswahl muss DORA-konform geloggt werden. Default-Setup von LiteLLM liefert das nicht.
- pgvector bei mehr als 10 Millionen Vektoren. Funktioniert in Demo-Setups, kollabiert in Produktion. Qdrant oder Milvus ab dieser Größenordnung.
- Open-Source-LLM ohne Eval-Pipeline. Ohne RAGAS in CI sind Halluzinationen unentdeckt. Das ist EU-AI-Act-relevant ab Hochrisiko-Klassifikation.
- Embedding-Modell-Wechsel ohne Re-Index. Wer von BGE-M3 auf E5 wechselt, ohne neu zu indexieren, hat einen kaputten Index — Symptom: Retrieval-Recall stürzt ab, Antworten werden generisch.
- Kein Re-Ranker. Top-K-Recall halbiert sich gegenüber Setup mit bge-reranker-v2-m3. Trivial einzubauen, oft vergessen.
- Teuken-7B als Production-Reasoning-Backbone. Symbolpolitisch nutzbar, technisch nicht auf dem Niveau von Llama 3.3 oder Qwen 2.5. Als Embedder oder Klassifikator brauchbar.
- Llama-Lizenz nicht gelesen. Die 700-Mio-MAU-Klausel ist für die meisten Mittelständler irrelevant, aber sie ungelesen zu lassen, ist Compliance-Naivität.
FAQ
Was ist Sovereign RAG und wie unterscheidet es sich von normalem RAG?
Sovereign RAG bedeutet, dass die komplette Stack-Tiefe — Vector DB, Embedding-Modell, LLM, Orchestrierung, Logs — im EU-Rechtsraum unter EU-eigentümer-kontrollierter Infrastruktur läuft. Normales RAG bedeutet meist Azure OpenAI plus Azure AI Search in einer EU-Region — die CLOUD-Act-Exposure bleibt, weil Microsoft US-Mutter ist. Der Unterschied wird ab Tier 3 unserer Klassifikation zwingend.
Reicht Azure DE-Region für BaFin-Compliance oder brauche ich on-prem?
Für T2-Use-Cases (Marketing-Bot, interne Wissens-Suche ohne PII) reicht Azure DE inklusive AVV und Logging-Disable. Für T3 (Underwriting, Schadens-Assist, Kunden-Chatbot mit Kontodaten) empfehlen wir STACKIT, IONOS oder T-Systems OTC. Der harte Grund: DORA-Auditoren fragen nach Exit-Plänen, und ein Azure-Exit ist nicht in 90 Tagen darstellbar.
Welches Open-Source-LLM eignet sich für deutsche Fachtexte?
Unsere Erfahrung: Llama 3.3 70B und Qwen 2.5 72B liefern beide MMLU-Werte über 86 Prozent und reagieren auf deutsche Fachterminologie sauber. Mistral Large 2 ist die EU-eigene Alternative, schwächer bei sehr langen Kontexten. Teuken-7B ist ein BMWK-gefördertes Forschungsmodell mit 24 EU-Sprachen — als Embedder spannend, nicht als Reasoning-Backbone.
Was kostet ein Sovereign-RAG-Stack im Vergleich zu OpenAI?
36-Monats-TCO bei 50 Millionen Token pro Tag: rund 392 Tausend USD Self-Host versus 378 Tausend USD OpenAI. Der Breakeven liegt bei etwa 11 Milliarden Token pro Monat. Unterhalb davon zahlst du Sovereignty als Aufschlag — was ab BaFin/DORA-Tier ökonomisch vertretbar ist, weil die Strafgröße bei zwei Prozent Welt-Umsatz liegt.
Wie integriere ich SharePoint/Confluence/DMS-Daten DSGVO-konform?
Über einen ETL-Layer mit Access-Control-Propagation. Sprich: Die Berechtigungen aus SharePoint, Confluence oder dem DMS müssen in den Vector-Store mitgegeben werden (Document-Level ACL), und der Retrieval-Filter muss das beim Query-Zeitpunkt durchsetzen. Tools wie Unstructured.io, LlamaIndex und LangChain liefern Connectoren — die ACL-Propagation ist Custom-Code. Ohne diesen Schritt gibst du jedem Chatbot-User die Sicht eines Admin.
Nächster Schritt
Wenn du eine Sovereign-RAG-Architektur planst und vor der Tier-Entscheidung stehst — oder einen bestehenden Stack auf DORA-Compliance prüfen lassen willst — bringen wir die Tier-Auswahl und das Reference-Architecture-Bild in vier Stunden auf den Tisch.
Sovereign-RAG-Workshop: Tier-Auswahl und Architektur in 4 Stunden
