Open-Source KI-Stack für Unternehmen: OpenWebUI, LiteLLM, Milvus und n8n im Praxiseinsatz

Pexon Consulting | 12 Min. Lesezeit | 31.03.2026

TL;DR

Ein Open-Source KI-Stack aus OpenWebUI, LiteLLM, Milvus und n8n gibt Unternehmen volle Kontrolle über ihre KI-Infrastruktur — ohne Vendor Lock-in und mit Betriebskosten ab 500 EUR/Monat für 50 User. Pexon Consulting (80 Mitarbeiter, Microsoft Partner, ISO 27001) hat diesen Stack bei mehreren Mittelständlern in Produktion gebracht. Die ersten produktiven Use Cases laufen nach sechs Wochen.

Was ein Open-Source KI-Stack konkret bedeutet

Die Idee klingt bestechend einfach: Statt Azure OpenAI Service oder AWS Bedrock zu buchen, betreibt das eigene IT-Team den kompletten KI-Stack auf eigener Infrastruktur. OpenWebUI als Chat-Oberfläche, LiteLLM als Model-Router, Milvus als Vektordatenbank für RAG, n8n für Workflow-Automatisierung. Alles Open Source, alles unter eigener Kontrolle.

In der Praxis sehen wir zwei Typen von Organisationen, die diesen Weg gehen. Der erste Typ hat regulatorische Gründe — Behörden, Finanzdienstleister, Organisationen mit strengen Datenschutzauflagen, die keine Daten an US-Cloud-Provider senden dürfen. Der zweite Typ will strategische Unabhängigkeit: kein Vendor Lock-in, keine überraschenden Preiserhöhungen, volle Transparenz über die eigene KI-Nutzung.

Beide Motivationen sind legitim. Aber der Weg dahin ist komplexer als ein docker-compose up.

Architektur: Die vier Bausteine und wie sie zusammenspielen

Schauen wir uns den Stack im Detail an — mit echten Konfigurationen, nicht mit Marketing-Slides.

OpenWebUI — die Oberfläche für alle

OpenWebUI gibt Ihren Mitarbeitern eine ChatGPT-ähnliche Oberfläche, die auf Ihrem eigenen Server läuft. Multi-User-Management, LDAP/SSO-Anbindung, Rollenrechte pro Team. Der entscheidende Vorteil gegenüber einer selbstgebauten Chat-UI: Die User-Akzeptanz. Wer ChatGPT kennt, findet sich sofort zurecht.

# docker-compose.yml — OpenWebUI mit LiteLLM Backend
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    ports:
      - "3000:8080"
    environment:
      - OPENAI_API_BASE_URL=http://litellm:4000/v1
      - OPENAI_API_KEY=${LITELLM_MASTER_KEY}
      - WEBUI_AUTH=true
      - ENABLE_RAG_WEB_SEARCH=true
    volumes:
      - open-webui-data:/app/backend/data
    depends_on:
      - litellm

LiteLLM — ein API-Gateway für 100+ Modelle

LiteLLM ist der eigentliche Hebel im Stack. Es übersetzt alle Modell-Anfragen in ein einheitliches OpenAI-kompatibles Format. Ob Llama 3.1 auf dem eigenen GPU-Server, Mistral Large über die EU-API oder Claude über Anthropic — für OpenWebUI sieht alles gleich aus.

Das klingt nach einem netten Feature. In der Praxis ist es eine strategische Entscheidung: Sie können Modelle tauschen, ohne dass sich für die User irgendetwas ändert. Als DeepSeek im Januar 2025 günstiger wurde als GPT-4o, haben unsere Kunden das Modell in LiteLLM umgeroutet — ohne eine einzige Zeile Code zu ändern.

# litellm_config.yaml — Modell-Routing mit Fallback
model_list:
  - model_name: "standard"
    litellm_params:
      model: ollama/llama3.1:70b
      api_base: http://gpu-server:11434
  - model_name: "standard"
    litellm_params:
      model: mistral/mistral-large-latest
      api_key: os.environ/MISTRAL_API_KEY
  # Fallback: wenn lokale GPU ausgelastet
  - model_name: "premium"
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: os.environ/ANTHROPIC_API_KEY

router_settings:
  routing_strategy: "latency-based-routing"
  num_retries: 2
  timeout: 30

Wir raten davon ab, ausschließlich auf lokale Modelle zu setzen. Die Realität: Llama 3.1 70B ist gut, aber bei komplexen Analysen oder Code-Generierung merken die User den Unterschied zu Claude oder GPT-4o. Der smarte Ansatz ist ein Hybrid — lokale Modelle für 80% der Anfragen (einfache Fragen, Zusammenfassungen, Übersetzungen), Premium-APIs für die restlichen 20%.

Milvus — Vektordatenbank für RAG

Ohne Retrieval-Augmented Generation ist ein KI-Chatbot nur ein teures Spielzeug. Milvus speichert Ihre Dokumente als Vektoren und findet relevante Passagen in Millisekunden. SharePoint-Inhalte, Confluence-Wikis, PDF-Handbücher — alles wird durchsuchbar.

# Milvus Standalone starten (für <50 User ausreichend)
docker run -d --name milvus-standalone 
  -p 19530:19530 -p 9091:9091 
  -v milvus-data:/var/lib/milvus 
  milvusdb/milvus:v2.4.4 
  milvus run standalone

Ein häufiger Fehler: Teams indizieren tausende Dokumente und wundern sich, warum die Antwortqualität schlecht ist. Das Problem ist fast nie die Vektordatenbank, sondern das Chunking. Wir haben gelernt, dass semantisches Chunking (nach Absätzen und Überschriften) bei technischer Dokumentation 40-60% bessere Ergebnisse liefert als fixes 512-Token-Chunking.

n8n + MCP — Workflow-Automatisierung

n8n verbindet den KI-Stack mit Ihren bestehenden Systemen. Seit 2026 unterstützt n8n das Model Context Protocol (MCP) bidirektional: n8n kann MCP-Server als Tools für seine AI Agents nutzen, und externe AI Agents können n8n-Workflows per MCP aufrufen.

Konkret heißt das: Ein Mitarbeiter fragt im Chat „Erstelle mir ein Angebot für Kunde XY“, und n8n holt automatisch die letzten Bestellungen aus dem ERP, die offenen Tickets aus dem CRM und den aktuellen Preiskatalog — der KI-Agent bekommt den vollen Kontext, ohne dass der User manuell Daten zusammensuchen muss.

Der Gateway-Baustein entscheidet in der Praxis über Modellwechsel, Kostentransparenz und Zugriffskontrolle und ist damit der Teil, an dem selbstgebaute Stacks am häufigsten kippen. Wer ihn nicht dauerhaft selbst pflegen will, lässt das LLM-Gateway mit LiteLLM produktiv betreiben.

Was dieser Stack wirklich kostet

Lassen Sie uns über Geld reden. Die Marketingversprechen der Hyperscaler klingen günstig — bis die erste echte Rechnung kommt. Azure OpenAI Service: Die kalkulierten 4 EUR/Monat werden in der Produktion schnell zu 1.900 EUR, wenn Fine-Tuning-Modelle, provisioned Throughput und Support dazukommen.

Auf der anderen Seite: Self-Hosted ist auch nicht kostenlos. Hier eine ehrliche Aufstellung:

Infrastruktur (On-Premise, 50 User):

• GPU-Server (1x NVIDIA A100 80GB): ~15.000 EUR einmalig, oder 800-1.200 EUR/Monat als Mietserver
• Kubernetes-Cluster (3 Nodes): 200-400 EUR/Monat (Hetzner, OVH oder eigene Hardware)
• Storage für Vektordatenbank: 50-100 EUR/Monat
• Laufende API-Kosten für Premium-Modelle (20% der Anfragen): 200-500 EUR/Monat

Summe: 1.250-2.200 EUR/Monat für 50 User. Das sind 25-44 EUR pro User pro Monat.

Zum Vergleich: Microsoft Copilot kostet 30 EUR/User/Monat — aber nur für Microsoft-365-Kontext, kein eigenes RAG, kein Custom-Modell, keine Workflow-Automatisierung. Bei 50 Usern zahlen Sie 1.500 EUR/Monat für deutlich weniger Flexibilität.

Der Break-even gegenüber Managed Services liegt bei unseren Kunden zwischen 4 und 8 Monaten. Danach spart der Open-Source-Stack 30-50% gegenüber vergleichbaren Cloud-KI-Diensten.

Wer sollte diesen Weg gehen — und wer nicht

Unsere klare Empfehlung: Ein Open-Source KI-Stack lohnt sich ab 30 Usern und mit mindestens einem Vollzeit-DevOps-Engineer im Team. Darunter überwiegt der Betriebsaufwand den Kostenvorteil.

Drei Szenarien, in denen wir den Stack empfehlen:

Datensouveränität ist Pflicht. Behörden, Finanzdienstleister, Unternehmen mit ITAR-/DSGVO-sensitiven Daten. Hier gibt es keine Alternative — die Daten dürfen das eigene Rechenzentrum nicht verlassen. Der Bitkom Open Source Monitor 2025 zeigt: 53% der deutschen Unternehmen nennen rechtliche Unsicherheit als größtes Hemmnis beim KI-Einsatz. Ein selbst gehosteter Stack löst dieses Problem an der Wurzel.

Strategische Unabhängigkeit. Wer heute 100% auf Azure OpenAI setzt, zahlt morgen den Preis, den Microsoft verlangt. Die Token-Preise sind in den letzten 18 Monaten zwar gefallen, aber die Komplexität der Abrechnungsmodelle hat zugenommen. Provisioned Throughput Units, Fine-Tuning-Hosting-Gebühren, Data Zone Pricing — das wird nicht einfacher.

Spezial-Use-Cases. RAG über interne Maschinenhandbücher, Computer Vision in der Fertigung, domänenspezifische Fine-Tunes. Hier brauchen Sie die Kontrolle über Modelle und Daten-Pipeline, die kein Managed Service in dieser Tiefe bietet.

Wann wir abraten: Wenn Ihr Team keine Kubernetes-Erfahrung hat und Sie schnell produktiv sein wollen. Dann starten Sie besser mit Azure OpenAI oder Amazon Bedrock und migrieren später. Ein gescheitertes Open-Source-Projekt bringt niemanden weiter.

Der Weg in Produktion: 6-Wochen-Fahrplan

Wir haben diesen Stack bei mehreren Kunden eingeführt. Der kürzeste Weg in Produktion sieht so aus:

Woche 1-2: Infrastruktur + Basisstack. Kubernetes-Cluster aufsetzen, OpenWebUI + LiteLLM deployen, SSO anbinden. Am Ende der zweiten Woche loggen sich die ersten 5-10 Pilotuser ein und chatten mit Llama 3.1.

Woche 3-4: RAG-Pipeline. Milvus deployen, Embedding-Pipeline aufsetzen, erste Dokumentensammlung indizieren. Chunking-Strategie testen. Erfahrungsgemäß braucht das Feintuning der Chunk-Größe und Retrieval-Parameter 3-4 Iterationen.

Woche 5-6: Workflows + Rollout. n8n anbinden, erste Automatisierungen bauen (z.B. „Frage an den Chatbot löst Ticket-Erstellung aus“), User-Schulung, Monitoring einrichten. Go-Live für alle User.

Das ist ambitioniert, aber machbar — wenn die Infrastruktur-Entscheidungen (GPU-Sizing, Hosting-Provider, Netzwerk) vorher geklärt sind. Genau dafür haben wir den 6-Wochen-Piloten entwickelt.

GPU-Sizing: Welche Hardware für welche Last

Die Frage „Welche GPU brauche ich?“ kommt in jedem Erstgespräch. Die Antwort hängt von drei Faktoren ab: Modellgröße, gleichzeitige User und Antwortgeschwindigkeit.

# Faustregel: VRAM-Bedarf pro Modell (FP16)
# Llama 3.1 8B:   ~16 GB VRAM → RTX 4090 reicht
# Llama 3.1 70B:  ~140 GB VRAM → 2x A100 80GB oder 4x A10G
# Mistral Large:  API-only (kein Self-Hosting)
# Mixtral 8x22B:  ~88 GB VRAM → 2x A100 80GB

# Gleichzeitige User (Throughput):
# 1x A100 80GB: ~10-15 gleichzeitige Anfragen (Llama 70B)
# 2x A100 80GB: ~25-30 gleichzeitige Anfragen
# Für 50 User (davon ~5-8 gleichzeitig): 1x A100 80GB genügt

Wir sehen bei unseren Kunden, dass 50 User im Schnitt 3-8 gleichzeitige Anfragen erzeugen. Eine A100 80GB reicht dafür — mit LiteLLM-Fallback auf eine Cloud-API für Lastspitzen. GPU-Mietserver bei europäischen Anbietern wie Hetzner oder OVH kosten 800-1.200 EUR/Monat für eine A100, deutlich günstiger als AWS oder Azure GPU-Instanzen.

Sicherheit und Compliance: Was Sie beachten müssen

Ein selbst gehosteter Stack ist nicht automatisch sicherer als ein Cloud-Service. Er gibt Ihnen nur die Möglichkeit, ihn sicherer zu machen. Ob Sie das auch tun, hängt von Ihrer Umsetzung ab.

Unsere Mindestanforderungen für produktive Open-Source-KI-Stacks:

• Netzwerk: OpenWebUI und LiteLLM hinter einem Reverse Proxy (Traefik, nginx) mit TLS. Milvus und Ollama nur im internen Netzwerk erreichbar, kein öffentlicher Port.
• Authentifizierung: SSO via SAML/OIDC, kein lokaler Login für Enduser. Admin-Zugang mit MFA.
• Logging: Alle Prompts und Antworten protokollieren (für Compliance-Audits). OpenWebUI speichert Chatverläufe per Default — prüfen Sie, ob die Speicherdauer Ihren Anforderungen entspricht.
• Updates: Monatliche Security-Patches für alle Container-Images. OpenWebUI und LiteLLM releasen häufig — bleiben Sie maximal 2 Major-Versionen hinter dem aktuellen Stand.

Für regulierte Branchen (DORA, NIS2, BAIT) brauchen Sie zusätzlich ein Betriebshandbuch, dokumentierte Incident-Response-Prozesse und regelmäßige Penetrationstests. Das ist Aufwand, aber der gleiche Aufwand, den Sie auch bei jeder anderen kritischen Infrastruktur haben.

Drei Fehler, die wir bei Self-Hosted-KI immer wieder sehen

Fehler 1: Alles lokal erzwingen. Manche Organisationen bestehen darauf, dass kein einziger API-Call nach extern geht. Das Ergebnis: Llama 3.1 8B auf einer zu kleinen GPU, langsame Antworten, frustrierte User, das Projekt stirbt nach drei Monaten. Der pragmatische Weg ist ein Hybrid-Ansatz mit LiteLLM — 80% lokal, 20% über europäische API-Anbieter (Mistral, Aleph Alpha) für anspruchsvolle Aufgaben.

Fehler 2: RAG ohne Daten-Strategie. „Wir indizieren einfach mal alles aus SharePoint“ klingt nach einem Plan. Ist es aber nicht. Ohne kuratierte Datenquellen, saubere Metadaten und regelmäßige Re-Indizierung bekommen Sie halluzinierende Antworten mit veralteten Dokumenten als Quelle. Starten Sie mit einer Dokumentensammlung (z.B. nur technische Handbücher), messen Sie die Antwortqualität, und erweitern Sie schrittweise.

Fehler 3: Kein Monitoring. In der Cloud sehen Sie Token-Verbrauch, Fehlerraten und Latenz im Dashboard. On-Premise müssen Sie das selbst bauen. LiteLLM bringt ein Admin-Dashboard mit, aber für ernsthaftes Monitoring brauchen Sie Prometheus + Grafana. Planen Sie das von Anfang an ein, nicht als Nachgedanke.

Häufig gestellte Fragen

Was kostet ein Open-Source KI-Stack für 50 Mitarbeiter?

Rechnen Sie mit 1.250-2.200 EUR/Monat für Infrastruktur, GPU-Mietserver und anteilige API-Kosten — also 25-44 EUR pro User. Ein 6-Wochen-Pilotprojekt für Architektur, Deployment und erste Use Cases liegt bei 60.000-80.000 EUR. Ab dem vierten Monat sparen Sie gegenüber vergleichbaren Managed Services.

Brauche ich eigene GPUs oder reichen Cloud-GPUs?

Für den Start empfehlen wir GPU-Mietserver bei europäischen Anbietern (Hetzner, OVH) — 800-1.200 EUR/Monat für eine A100 80GB. Eigene Hardware lohnt sich erst ab 18-24 Monaten Laufzeit. Für 50 User mit Llama 3.1 70B reicht eine einzelne A100 mit LiteLLM-Fallback auf Cloud-APIs für Lastspitzen.

Open-Source KI-Stack oder Microsoft Copilot — was ist besser?

Copilot ist die richtige Wahl, wenn Sie rein im Microsoft-365-Kosmos arbeiten und schnell produktiv sein wollen. Der Open-Source-Stack gewinnt bei Datensouveränität, Flexibilität (eigene Modelle, eigenes RAG, eigene Workflows) und langfristigen Kosten. Wir haben Kunden, die beides parallel betreiben — Copilot für Office-Produktivität, den eigenen Stack für domänenspezifische Use Cases.

Wie viel DevOps-Kapazität braucht der Betrieb?

Im laufenden Betrieb rechnen wir mit 2-4 Stunden pro Woche für Updates, Monitoring und kleinere Anpassungen. Das setzt voraus, dass die initiale Einrichtung sauber dokumentiert ist und Kubernetes-Grundkenntnisse vorhanden sind. Für die Ersteinrichtung planen Sie 4-6 Wochen mit einem erfahrenen Engineer.

Kann ich den Stack später in die Cloud migrieren — oder umgekehrt?

Ja, das ist einer der größten Vorteile. LiteLLM abstrahiert die Modell-Schicht, Milvus läuft auf Kubernetes — ob On-Premise oder in der Cloud. Wir haben Kunden, die On-Premise gestartet sind und später Teile in eine Private Cloud (Azure Stack HCI, AWS Outposts) verschoben haben. Der umgekehrte Weg — von Azure OpenAI zu Self-Hosted — ist mit LiteLLM als Zwischenschicht ebenfalls möglich, ohne die Anwendungen umzubauen.

Nächster Schritt

Wenn Sie evaluieren, ob ein Open-Source KI-Stack für Ihre Organisation der richtige Weg ist: Wir haben den 6-Wochen-Piloten genau dafür gebaut. Architektur-Review, GPU-Sizing, Deployment und die ersten produktiven Use Cases — alles in einem Paket.

Verwandte Themen