Sovereign On-Prem RAG für DACH-regulierte Branchen

Pexon Consulting | 11 Min. Lesezeit | 13.06.2026

TL;DR

Sovereign On-Prem RAG ist 2026 die strukturelle Antwort für DACH-Kunden, die produktive RAG-Stacks brauchen, aber Hyperscaler-Cloud aus Compliance-, Souveränitäts- oder Branchen-Vorgaben strukturell nicht akzeptieren können: Banking unter BaFin, Versicherer unter Solvency II, KRITIS-Betreiber, Defence, einige öffentliche Auftraggeber. Pexon Consulting baut den vollständig souveränen Stack: Open-Source-LLM auf eigener Hardware, Vector-DB on-prem, RAG-Pipeline in eigener Infrastruktur, ohne externe Cloud-Anteile.

Warum DACH-regulierte Branchen Sovereign brauchen

Wir hören das aktuell wöchentlich in CISO-Erstgesprächen: Eine Bank, Versicherung oder KRITIS-Betreiber will produktiv RAG einsetzen, hat die ersten PoCs auf OpenAI oder Anthropic gemacht. Dann kommt der Audit oder die interne Compliance-Prüfung — die Cloud-Variante geht so nicht produktiv.

Die strukturellen Treiber:

BaFin-Bankaufsichtsanforderungen (BAIT). Strikte Anforderungen an Drittparteien-Risiken und Auslagerungs-Kontrolle. Bei AI-Cloud-Komponenten ist die Drittparteien-Bewertung schwierig.

Solvency II (Versicherer). Vergleichbare Drittparteien- und Auslagerungs-Vorgaben. Plus Vorgaben zu IT-Risiko-Management.

KRITIS-Konkretisierung BSI. Klare Anforderungen an Vor-Ort-Audit-Rechte und Identitätsketten. US-Cloud-Vendoren erfüllen diese strukturell nicht.

Defence und NATO-relevante Workloads. VS-NfD, NATO RESTRICTED — Hyperscaler-Cloud ist hier nicht akkreditiert.

Geopolitischer Risikoausgleich. Auch ohne formale Vorgabe: Manche Vorstände wollen US-CLOUD-Act-Reichweite strukturell ausschließen, auch wenn AVV/SCC technisch funktionieren.

Für all diese Treiber ist Sovereign On-Prem die Antwort, die in der Compliance-Prüfung besteht.

Der vollständige Sovereign RAG-Stack

Was unterscheidet einen Sovereign-Stack von einem Cloud-Stack? Jede Komponente muss auf eigener Infrastruktur laufen, ohne externe API-Calls in der Verarbeitungs-Kette.

Komponente 1: LLM on-prem. Open-Source-Modelle auf eigener H100- oder L40S-Hardware. Aktuelle produktive Wahl 2026: Qwen 3.5 Medium 122B-A10B (BFCL v4 72.2, sehr gute deutsche Sprache), Llama 3.3 70B (etwas weniger Tool-Use-Qualität, dafür englisch stark), Mistral Large 2 (gute Mehrsprachigkeit), Aleph Alpha Pharia 7B (deutsch-spezialisiert, BSI-konformer Anbieter). datenmaskierung

Komponente 2: Embedding-Modell on-prem. Für RAG-Retrieval brauchst du ein Embedding-Modell. Cohere API kommt nicht in Frage. Standard-Wahl: bge-large-de für deutsche Inhalte, e5-mistral-7b-instruct für mehrsprachige Setups, multilingual-e5-large als Allrounder. Alles unter Apache 2.0 lizenziert, läuft auf deiner Hardware.

Komponente 3: Reranker on-prem. Cross-Encoder zur Top-N-Sortierung. bge-reranker-v2-m3 ist Standard 2026, Apache-lizenziert.

Komponente 4: Vector-DB on-prem. Postgres-pgvector für moderate Volumen (bis 5-10 Mio Chunks), Qdrant für höhere Volumen oder Multi-Tenant. Beide self-hostbar.

Komponente 5: Orchestrierung on-prem. LangGraph plus FastMCP für Tool-Anbindungen, alles in eigenem K8s. Mehr im Self-Hosted-Agent-Stack-Blog.

Komponente 6: Observability on-prem. OpenTelemetry plus Grafana-Stack (Tempo, Loki, Prometheus). Keine Telemetrie an externe Dienste. Mehr im OTel-AI-Agent-Blog.

Was du in Kauf nimmst

Klare Trade-offs gegenüber Cloud-RAG.

Modell-Qualität. Open-Source-Modelle liegen 2026 etwa 8-15 Prozentpunkte unter Claude Opus 4.7 oder GPT-4o auf den meisten Benchmarks. Bei strukturierten Fachfragen ist die Lücke kleiner, bei komplexem Reasoning größer. Bei rein-deutschen Use-Cases (Banking, Versicherung) ist Aleph Alpha Pharia oft konkurrenzfähig.

Hardware-Investment. H100-Server kosten 25.000-35.000 EUR pro Stück. Ein typisches Sovereign-Setup braucht 2-4 GPUs plus Drumherum (CPU-Server, Storage, Networking). Initial-Investment 80-200k EUR Hardware plus 150-280k EUR Pexon-Setup-Sprint.

Operations-Aufwand. Hardware muss gepatcht, gemonitored, im Lebenszyklus gemanaged werden. Wir bieten das als Managed Service an — wenn ihr es selbst betreibt, braucht ihr eine Senior-DevOps-Stelle.

Modell-Update-Geschwindigkeit. Frontier-Cloud-Modelle bekommen monatliche Updates. Open-Source-Modelle deutlich seltener. Wer „immer das aktuellste Modell“ braucht, hat in der Cloud das ehrlichere Setup.

Wann lohnt sich Sovereign

Wir empfehlen Sovereign On-Prem in vier Konstellationen.

Banking unter BAIT mit Drittparteien-Konzentration. Wenn die Drittparteien-Konzentration bei eurer BaFin-Risk-Bewertung kritisch wird, ist Sovereign der Befreiungs-Schlag.

KRITIS-Tier-1. Direkte BSI-Aufsicht. Hyperscaler-Variante ist strukturell schwierig.

Defence und NATO-relevante Workloads. VS-NfD und höher. Auf der Defence-Grade-Plattform als Basis.

Geopolitisch-strategische Vorstands-Entscheidung. Wenn der Vorstand US-Cloud-Act strukturell ausschließen will, unabhängig von der konkreten Compliance-Lage. Häufig bei staatlichen Versicherern oder Halbstaats-Betrieben.

In allen anderen Fällen empfehlen wir den Cloud-Pfad mit Bedrock mit EU-Profil oder Azure Sweden — schneller produktiv, modernerer Modell-Stack, geringerer Operations-Aufwand.

Pexon-Sprint für Sovereign On-Prem RAG

Wir liefern das als 12-16-Wochen-Sprint. Lieferumfang: Hardware-Beschaffung und Setup (oder Anbindung an eure bestehende Hardware), vLLM-Cluster für die Modell-Inferenz, Vector-DB-Setup mit pgvector oder Qdrant, RAG-Pipeline mit LangGraph, Embedding- und Reranker-Modelle, OpenTelemetry-Observability, Schulung der Engineering-Truppe.

Investment je nach Hardware-Scope 250-450k EUR. Bei Bring-Your-Own-Hardware deutlich günstiger (150-250k EUR). Laufende Kosten 1.500-4.500 EUR pro Monat für Hardware-Strom plus 8.000-18.000 EUR pro Monat Operations bei Managed Service.

Häufig gestellte Fragen

Können wir auch nur Teile on-prem haben?

Hybrid-Setups sind möglich. Häufiger Fall: LLM on-prem für sensible Workloads, Cloud für Standard-Workloads, mit klarer Routing-Logik. LiteLLM als Gateway dazwischen. Mehr im LiteLLM-Router-Blog.

Was, wenn wir keine eigene RZ-Kapazität haben?

Wir bieten Hosting in unserem Augsburg-Rechenzentrum als Managed Service an. Hardware steht physisch dort, dedizierte Kunden-Pods, betrieben von Pexon-Engineers. Vorteil: Sofort startbar ohne eigene Hardware-Beschaffung.

Wie aktuell halten wir das LLM?

Modell-Updates passieren typisch alle 3-6 Monate. Neue Qwen-Version, neue Llama-Version, neue Mistral-Version. Wir prüfen die Releases, testen gegen euren Use-Case-Set, deployen kontrolliert mit Rollback-Pfad. Update-Aufwand pro Iteration 2-5 Tage Engineering.

Sind on-prem-Modelle DSGVO-trivial?

DSGVO-mäßig viel einfacher als Cloud — Daten verlassen euer Netz nicht. Keine externe Drittparteien-Bewertung nötig. AVV-Anforderungen entfallen für die Modell-Komponente.

Wie reagiert die BaFin auf Open-Source-LLM-Setups?

Keine spezifische Position gegen Open-Source. BaFin bewertet die operative Reife — kann das Haus den Stack sicher betreiben, sind Risk-Management-Prozesse vorhanden. Bei sauberem Setup ist Open-Source on-prem oft die einfachere BaFin-Story als Cloud.

Nächster Schritt

Wenn dein Unternehmen in einer regulierten DACH-Branche operiert und ein vollständig souveräner RAG-Stack zwingend wird: Wir machen einen 60-Minuten-Architektur-Call mit dir und idealerweise dem CISO oder Compliance-Officer. Du beschreibst die regulatorische Lage und Use-Case-Profile, wir skizzieren das Setup mit Festpreis.

Verwandte Themen