Private RAG mit LlamaIndex: On-Premise ohne Cloud-Lock-in

Pexon Consulting | 11 Min. Lesezeit | 20.04.2026

TL;DR

Private RAG bedeutet: LlamaIndex orchestriert Retrieval und Generierung, aber LLM (Llama 4, Mistral Small 4, Qwen 3.5) und Vector Store (Qdrant, Weaviate) laufen on-prem oder in der souveränen Cloud. Pexon Consulting (80 Engineers, ISO 27001, Microsoft Partner) baut das Pilot-System in 6 Wochen. Typische Ersparnis: 1,20 EUR pro Nutzer und Monat statt 25 EUR für ChatGPT Enterprise.

Das 25-Euro-Problem: Warum Enterprise-RAG auf ChatGPT scheitert

ChatGPT Enterprise kostet Listenpreis 25 USD pro User und Monat. Bei 5.000 Nutzern sind das 1,5 Millionen USD pro Jahr — bevor irgendein Use Case evaluiert ist. Und das ist nur die Preisseite des Problems. Die technische Seite: ChatGPT Enterprise ist ein geschlossenes System. Sie können das Modell nicht austauschen, keine eigenen Embeddings einsetzen, keine Fachterminologie feintunen und keinen Audit-Trail in Ihre SIEM-Infrastruktur integrieren.

Für regulierte Branchen kommt die Vertragsseite dazu. Banken (MaRisk AT 4.3.5, BaFin BAIT), Versicherungen (VAIT), Energieversorger (KRITIS-Dachgesetz, NIS-2), Maschinenbauer (Cyber Resilience Act ab 11.12.2027) — sie alle brauchen Nachweise, wer wann welche Daten verarbeitet hat. ChatGPT Enterprise liefert die Daten-Residenz (EU), aber nicht die Modell-Kontrolle und nicht die Exit-Strategie.

Wir sehen bei Kunden ab 500 Nutzern deshalb einen Kipp-Punkt: Ab dieser Größe rechnet sich Private RAG klar gegen Public-LLM-Abos — nicht nur finanziell, sondern auch vertraglich.

Die vier Komponenten einer Private-RAG-Architektur

Eine produktive Private-RAG-Plattform besteht aus vier entkoppelten Schichten. LlamaIndex als Orchestrator ist der Klebstoff, der Vector Store, Embedding-Modell, LLM-Inferenz und Evaluations-Layer zusammenhält.

1. Vector Store (Retrieval-Schicht). Qdrant und Weaviate sind 2026 die beiden produktionserprobten Open-Source-Kandidaten. Qdrant ist schlanker im Betrieb, Weaviate hat stärkere Multi-Tenancy-Funktionen. Beide laufen on-prem in einem Kubernetes-Cluster, beide skalieren in die Millionen Dokumente. Für regulierte Branchen mit Fokus auf Betriebs-Einfachheit empfehlen wir aktuell Qdrant.

2. Embedding-Modell. Für deutsche Fachsprache nutzen wir bge-m3 oder jina-embeddings-v3 on-prem. Die Modelle laufen auf einer CPU-Instanz oder einer kleinen GPU (ab T4), kosten nichts an API-Gebühren und liefern auf deutschen Fachbegriffen vergleichbare Retrieval-Qualität wie text-embedding-3-large.

3. LLM-Inferenz. Hier ist der Spielraum am größten. Die drei aktuellen Empfehlungen für 2026:

• Llama 4 (Meta, April 2025) — solides General-Purpose-Modell, gute deutsche Sprachqualität, zwei Varianten (Scout: 17B/109B, Maverick: 17B/400B MoE).
• Mistral Small 4 (März 2026) — schnell, effizient, 24B Parameter, liefert bei strukturierten Aufgaben (Function Calling, JSON Output) besonders stabile Ergebnisse.
• Qwen 3.5 (Februar 2026, Alibaba) — Mixture-of-Experts mit 397B Parametern, aktuell das stärkste Open-Source-Modell für komplexe Reasoning-Aufgaben und multilinguale Workloads.

Inference-Runtime: vLLM für produktive Hochlast-Workloads (Token-Throughput 3–5× schneller als HuggingFace Transformers), Ollama für Entwickler-Workstations und kleinere Pilot-Umgebungen. Beide sprechen OpenAI-kompatible APIs — damit ist LlamaIndex-Code identisch zu Azure-OpenAI-Deployments.

4. Orchestrierung und Eval. LlamaIndex koordiniert Retrieval, Reranking und LLM-Calls. Für Monitoring integrieren wir LangFuse oder OpenLLMetry als Observability-Layer — beides self-hosted auf dem gleichen Kubernetes-Cluster.

Die Architektur im Überblick:

Ein LlamaIndex-Snippet, das gegen die on-prem-Infrastruktur läuft:

from llama_index.core import VectorStoreIndex, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.openai_like import OpenAILike
from llama_index.vector_stores.qdrant import QdrantVectorStore
from qdrant_client import QdrantClient

# vLLM OpenAI-kompatibler Endpoint (on-prem)
Settings.llm = OpenAILike(
    model="meta-llama/Llama-4-Maverick",
    api_base="https://vllm.intern.firma.de/v1",
    api_key="local",          # beliebig, wird von vLLM ignoriert
    temperature=0.1,
    max_tokens=1500,
)

# On-prem Embeddings (bge-m3 läuft auf CPU/GPU-Pod)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-m3",
    device="cuda",            # oder "cpu"
)

# Qdrant on-prem
qdrant = QdrantClient(url="https://qdrant.intern.firma.de")
vector_store = QdrantVectorStore(
    client=qdrant,
    collection_name="betriebshandbuecher",
)

index = VectorStoreIndex.from_vector_store(vector_store)
response = index.as_query_engine(similarity_top_k=5).query(
    "Fehlercode E-812 bei Kühlaggregat Typ 3 — Diagnose-Schritte?"
)
print(response)

Kein einziger API-Call verlässt das eigene Netz. Die Daten bleiben in der Firma, die Kostenstruktur ist capex-lastig statt opex-lastig (einmal-GPU-Invest statt monatliche Token-Rechnung).

Kosten-Vergleich: 1,20 EUR vs. 25 EUR pro User und Monat

Die Zahl „0,38 EUR pro User und Monat“ aus unserem Liebherr-Projekt (Private AI mit SSO und RBAC) ist die untere Grenze dessen, was Private RAG kosten kann. Der Deutz-Case mit über 5.000 aktiven Nutzern liegt nach unseren Messungen bei 1,20 EUR pro User und Monat inklusive Support und Monitoring — und enthält deutlich mehr Compute-Last als ein reiner Dokumenten-Chatbot.

Die Rechnung dahinter, vereinfacht für 5.000 Nutzer und 2026-Hardware:

Für dasselbe Szenario mit ChatGPT Enterprise: 5.000 Nutzer × 25 EUR = 125.000 EUR pro Monat. Die Differenz zahlt den gesamten Pilot plus die Plattform-Engineering-Ressourcen im ersten Jahr mehrfach zurück.

Ein Caveat: Unter 500 Nutzern dreht sich die Rechnung. Da wird die GPU-Fixkosten-Basis pro User zu teuer, und ChatGPT Enterprise oder Azure OpenAI Pay-As-You-Go sind die ökonomisch sinnvollere Wahl. Private RAG ist ein Enterprise-Thema, kein Startup-Thema.

Wann ChatGPT Enterprise trotzdem die bessere Wahl ist

Ehrlichkeit beim Kunden-Gespräch spart Zeit. Private RAG ist nicht immer die richtige Antwort. Drei Szenarien, bei denen wir aktiv von On-Prem abraten:

Unter 500 aktive Nutzer. Die Grundkosten für GPUs, Monitoring und 24/7-Betriebsteam amortisieren sich nicht. Starten Sie mit Azure OpenAI (DSGVO-konform über EU-Region) oder ChatGPT Enterprise und migrieren Sie später, wenn das Volumen passt.

Kein DevOps-Team mit Kubernetes-Kompetenz. Private RAG bedeutet einen laufenden Kubernetes-Cluster mit GPU-Knoten, Model-Serving, Monitoring und Sicherheits-Patches. Wer das Team nicht hat oder nicht aufbauen will, kauft sich ein operatives Problem. Unsere Empfehlung in dem Fall: Managed Private AI auf STACKIT oder Open Telekom Cloud — deutsche Cloud-Anbieter, aber LLM als SaaS.

Keine fachspezifischen Daten. Wer nur allgemeine Frage-Antwort-Szenarien bedient („Was ist in unserer Urlaubsrichtlinie?“), profitiert kaum vom Private-AI-Vorteil. Die Differenzierung von Private RAG entsteht durch proprietäre Daten — Konstruktionsdaten, Schadensakten, Kundenhistorie, Service-Protokolle. Ohne die ist ChatGPT Enterprise die schnellere Lösung.

Unsere klare Position: Private RAG ist ab 1.000 Nutzern mit sensiblen Fach-Daten fast immer die richtige Wahl. Darunter: sauber rechnen und nicht aus Ideologie entscheiden.

Implementierungs-Pfad: 6-Wochen-Pilot mit Festpreis

Wir liefern Private-RAG-Pilots als Festpreis-Pakete zwischen 50.000 und 80.000 EUR, Laufzeit 6–8 Wochen. Der Aufbau:

• Woche 1: Datenquellen-Audit (SharePoint, Confluence, PLM, Netzlaufwerke), Use-Case-Auswahl (1 Use Case, nicht 10), Hardware-Entscheidung (eigene GPUs oder STACKIT/OTC).
• Woche 2–3: Infrastruktur-Aufbau. Kubernetes-Cluster mit GPU-Node-Pool, Qdrant-Deployment, vLLM-Service, LangFuse-Monitoring. Wer auf STACKIT baut, überspringt diese Woche.
• Woche 4–5: Daten-Ingestion und Retrieval-Tuning. Embedding-Pipeline, Chunking-Strategie, Reranking-Kette. In der Praxis der kritischste Teil — gute Retrieval-Qualität ist der Unterschied zwischen „Wow“ und „Ach so“.
• Woche 6: Evaluation auf echten Kunden-Queries (mind. 50 Beispiele), LangFuse-Dashboards, Übergabe und Runbook.

Am Ende des Pilots gibt es eine Go/No-Go-Entscheidung mit messbaren Daten: Retrieval-Accuracy, End-to-End-Latency, LLM-Halluzinations-Rate, User-Feedback-Score. Wer weitergehen will, bekommt direkt den Rollout-Plan auf 5.000+ Nutzer.

Häufig gestellte Fragen

Was kostet Private RAG für ein Unternehmen mit 1.000 Nutzern?

Operativer Betrieb rund 2,50–4 EUR pro User und Monat bei 1.000 Nutzern (GPU-Fixkosten werden auf weniger Köpfe verteilt). Pilot-Investition 50.000–80.000 EUR, Rollout auf 1.000 Nutzer typischerweise weitere 150.000–250.000 EUR. Amortisation gegen ChatGPT Enterprise (25 EUR × 1.000 × 12 = 300.000 EUR/Jahr) nach 10–14 Monaten — danach reine Ersparnis.

Welches Open-Source-LLM ist 2026 das beste für Enterprise RAG?

Für Deutsch und General-Purpose: Llama 4 Scout (17B/109B) oder Mistral Small 4. Für komplexe Reasoning-Aufgaben und mehrsprachige Workloads: Qwen 3.5 MoE. Wir evaluieren bei jedem Kunden parallel auf echten Kunden-Queries — die Antwort ist branchenabhängig und ändert sich alle 3–6 Monate durch neue Model-Releases.

Qdrant oder Weaviate für den Vector Store?

Qdrant bei einfacheren Betriebs-Anforderungen, Weaviate bei Multi-Tenancy und Hybrid-Suche (Dichte + BM25). Für 80 % unserer Kunden ist Qdrant die richtige Wahl — leichter zu betreiben, weniger Betriebs-Footprint, aktiv gepflegte Community. Weaviate nehmen wir bei stark strukturierten Daten mit Graph-Charakter.

Brauche ich wirklich vLLM, oder reicht Ollama?

Ollama für Entwickler-Workstations und kleine Pilot-Setups (< 50 Nutzer gleichzeitig). vLLM für produktive Hochlast ab 100 gleichzeitiger User — der Token-Throughput ist 3–5× höher durch Paged Attention und Continuous Batching. In der Praxis starten wir mit Ollama im Pilot und migrieren zu vLLM beim Produktiv-Rollout.

Ist Private RAG DSGVO-, NIS-2- und DORA-konform?

Wenn die Architektur sauber gebaut ist, ja. Entscheidend sind drei Punkte: Daten-Residenz im eigenen Netz oder in souveräner Cloud (STACKIT, OTC), dokumentiertes ICT-Risk-Management-Framework (DORA Art. 5–15 für Banken, KRITIS-Anforderungen für Energieversorger), und Audit-Trail über alle LLM-Interaktionen. Wir liefern Compliance-Pakete für alle drei Regelwerke mit dem Pilot mit.

Nächster Schritt

Wenn Sie gerade gegen die 25-Euro-pro-User-Rechnung argumentieren oder einen Private-AI-Piloten starten wollen:

Verwandte Themen