Eigene KI-Plattform mit OpenWebUI und LiteLLM (DSGVO-konform)

Pexon Consulting | 10 Min. Lesezeit | 09.06.2026

TL;DR

Eigene KI-Plattform ist 2026 die Standard-Antwort auf das ChatGPT-Schatten-IT-Problem im Mittelstand: 71% der Mitarbeiter nutzen ChatGPT bereits, oft mit dienstlichen Daten, ohne dass IT und Datenschutz Kontrolle haben. OpenWebUI als Frontend plus LiteLLM als Model-Router plus eine kontrollierte Modell-Auswahl (Claude über Bedrock, GPT über Azure OpenAI, Open-Source-Modelle on-prem) ist der saubere Pfad. Pexon Consulting baut das als 6-8-Wochen-Sprint mit DSGVO-Architektur, SSO-Anbindung und User-Cost-Caps.

Warum die ChatGPT-Schatten-IT die Geschäftsführung 2026 zwingt

Wir hören das aktuell in fast jedem CTO-Erstgespräch: Eine interne Studie oder Audit hat ergeben, dass 60-80% der Wissensarbeiter ChatGPT regelmäßig dienstlich nutzen — meist über private Accounts, oft mit personenbezogenen Daten oder Geschäftsinternem. Der Datenschutzbeauftragte schreibt das Memo, der CTO bekommt die Aufgabe, das zu lösen. Verbieten geht nicht, die Produktivitäts-Vorteile sind zu real. Tolerieren auch nicht, weil das DSGVO-Risiko zu groß ist. Die Antwort heißt eigene KI-Plattform.

Eigene KI-Plattform meint nicht „wir bauen ein eigenes LLM“ — die Frontier-Modelle bleiben Claude, GPT, Gemini, plus optional Open-Source-Modelle für sensitive Workloads. Eigene KI-Plattform meint eine kontrollierte Frontend-Schicht plus Model-Router plus Auth plus Cost-Tracking plus Audit-Trail, in der die Mitarbeiter mit den Modellen arbeiten können, ohne dass die Daten in unkontrollierten US-Cloud-Accounts landen.

Der Standard-Stack 2026 dafür ist OpenWebUI plus LiteLLM. OpenWebUI ist eine ChatGPT-ähnliche UI, die self-hosted läuft. LiteLLM ist ein OpenAI-kompatibler Router, der hinter sich beliebige Modelle anschließt — Claude über Bedrock, GPT über Azure OpenAI, Llama oder Qwen on-prem. Die Mitarbeiter sehen eine vertraute Oberfläche, die IT hat die volle Kontrolle.

Was die Architektur konkret tut

Komponenten:

OpenWebUI als Frontend. Self-hosted Web-Anwendung, ChatGPT-ähnlich. SSO-Anbindung an euer IdP (Entra ID, Keycloak), Team- und Rollen-Logik, Konversations-Historie pro User, Dokumenten-Upload mit RAG, Bild-Generation falls gewünscht, Tool-Use-Konfiguration. Läuft als Docker-Container auf einem K8s-Cluster, AKS oder OpenShift, plus Postgres für die User-Konversationen.

LiteLLM als Router. OpenAI-kompatibles API-Gateway. Empfängt die Anfragen von OpenWebUI, routet je nach Modell-Wahl an den richtigen Provider — Claude an Bedrock mit EU-Profil, GPT-4o an Azure OpenAI Sweden, Llama on-prem an vLLM-Cluster. Rate-Limits pro User, Cost-Tracking pro Tool-Call und User, Fallback-Routing falls ein Provider down ist.

Modell-Pool je Use-Case. Statt einer Modell-Auswahl bauen wir typischen Mittelstand-Mix: Claude Sonnet 4.6 als Default für komplexe Aufgaben, Claude Haiku 4.5 für einfache Lookups (kosteneffizient), GPT-4o für Multimodal mit Bild, Llama 3.3 70B oder Qwen 3.5 Medium on-prem für sensitive Workloads. User wählt das Modell im OpenWebUI, IT kann Defaults und Limits setzen.

DSGVO-Architektur. Alle Provider-Calls gehen über EU-Regionen — Bedrock mit EU-Profil, Azure OpenAI Sweden Central, Vertex in der EU, on-prem im eigenen Rechenzentrum. Anthropic-, OpenAI- und Google-DPAs gegengezeichnet. Keine externen Trace-Exports — Logs und Audit-Trail landen in eurem eigenen Loki oder Postgres.

Cost- und User-Management. Pro User monatliches Budget-Cap konfigurierbar (z.B. 50 EUR Default, 200 EUR für Power-User). Bei Erreichen geht der User in einen Read-Only-Modus oder bekommt eine Warnung. Cost-Reports pro Team monatlich, sodass das Controlling die Verteilung sieht.

Roll-out aus 13 Pilot-Calls

Wir hatten in den letzten neun Monaten 13 Erstgespräche zu genau diesem Setup. Drei Cluster typischer Anforderungen.

Cluster 1: Schatten-IT auflösen. Häufigster Use-Case. Die IT will ChatGPT-Adoption legalisieren, eine offiziell freigegebene Plattform anbieten und die persönlichen ChatGPT-Accounts zurückdrängen. Hier ist OpenWebUI plus Claude über Bedrock das Standard-Setup. Setup-Zeit 6-8 Wochen, Investment 65-95k EUR, plus 2.500-7.500 EUR monatlich Modell-Kosten für eine 500-1.500-User-Plattform.

Cluster 2: Multi-Modell-Strategie. Tech-affinere Kunden wollen je Use-Case das richtige Modell — Claude für Doku, GPT für Multimodal, Open-Source für sensitive Workloads. Hier brauchst du LiteLLM als Router, plus typisch ein vLLM-Cluster on-prem für die Open-Source-Modelle. Setup 10-14 Wochen, Investment 110-160k EUR, plus Hardware bei vorhandenem Bedarf.

Cluster 3: Vollständige Sovereignty. Stark regulierte Branchen (Banking, Energie, Defense) wollen keine externen Cloud-Anteile. Hier bauen wir mit Open-Source-Modellen (Qwen 3.5 Medium, Llama 3.3 70B) auf eigener H100-Hardware, voll on-prem. Setup 12-20 Wochen, Investment 140-250k EUR plus Hardware. Mehr im Self-Hosted Agent Stack Blog.

Häufig gestellte Fragen

Können die Mitarbeiter dann gar nicht mehr ChatGPT privat nutzen?

Können sie schon — privat. Was die IT durchsetzen kann: Die Nutzung von ChatGPT mit dienstlichen Daten auf dienstlichen Geräten wird per Policy untersagt, weil die eigene Plattform die saubere Alternative anbietet. Bei den Pilotkunden, die das gut gemacht haben, sind die Mitarbeiter froh über die offizielle Alternative, weil sie die rechtliche Grauzone selbst nicht wollten.

Was kostet eine eigene Plattform monatlich für 1.000 User?

Typische Hausnummern: 2.500-4.500 EUR Modell-Kosten bei moderater Nutzung (Claude Sonnet plus Haiku-Mix), 800-1.500 EUR Infrastruktur-Kosten (K8s-Cluster, Postgres, Storage), 1.000-2.500 EUR Wartung und Updates. Insgesamt 4.300-8.500 EUR monatlich für 1.000 aktive User. Gegenüber Microsoft Copilot Enterprise mit 28 USD pro User und Monat (also 28.000 USD oder 26.000 EUR) ist die Eigenplattform deutlich günstiger — bei vergleichbarer oder besserer Funktion.

Wie unterscheidet sich das von Microsoft Copilot Enterprise?

Copilot ist ein Microsoft-Produkt mit fester Tarif-Struktur, fester Modell-Wahl (GPT) und tiefen M365-Integrationen. OpenWebUI plus LiteLLM ist eine selbst-gehostete Plattform mit freier Modell-Wahl, eigenem Tool-Use-Konzept und Self-Service-Konfiguration. Beide haben Berechtigung — wir kombinieren sie oft, wo Copilot für M365-Workflows läuft und die Eigenplattform für komplexe Multi-Modell-Workflows.

Funktioniert das auch ohne K8s?

Ja, Docker Compose auf einem stärkeren Server reicht für die ersten 100-300 User. Wir empfehlen K8s ab 500 Usern oder wenn ihr ohnehin K8s habt. Für stark regulierte Setups bauen wir auch auf OpenShift oder Rancher.

Was passiert mit den Konversations-Historien?

Sie liegen in eurem Postgres, on-prem oder in eurer Cloud. Retention konfigurierbar (typisch 90-365 Tage, je nach Anforderung). User kann seine Konversationen jederzeit löschen, IT kann globale Lösch-Policies durchsetzen. Bei DSGVO-Anfragen klare Trail.

Nächster Schritt

Wenn deine IT die ChatGPT-Schatten-IT auflösen will oder du eine Multi-Modell-Strategie suchst: Wir machen einen 45-Minuten-Call mit dir und idealerweise dem CTO oder Datenschutzbeauftragten. Du beschreibst die User-Zahlen und Compliance-Anforderungen, wir skizzieren die Plattform mit Festpreis-Sprint.

Verwandte Themen