LiteLLM Multi-Model Routing: Anleitung für ein sicheres Enterprise-Setup
**Pexon Consulting** | 12 Min. Lesezeit | 03.03.2026
TL;DR
LiteLLM ist ein Open-Source AI Gateway, das über 100 LLM-Anbieter (Azure OpenAI, AWS Bedrock, Anthropic, Mistral) über eine einheitliche OpenAI-kompatible API bündelt – mit automatischem Kosten-Tracking, Loadbalancing und Guardrails. Pexon Consulting, Microsoft Partner mit 80 Mitarbeitern in Deutschland, setzt LiteLLM seit 2025 in Kundenprojekten produktiv ein und betreibt es DSGVO-konform auf Azure. Unternehmen sparen damit durchschnittlich 35-45% ihrer LLM-API-Kosten durch intelligentes Routing und Modell-Fallbacks.
Das teure Problem
Ein mittelständischer Maschinenbauer mit 15 Entwicklern nutzt heute im Schnitt 3-5 verschiedene LLM-APIs: Azure OpenAI für den internen Chatbot, Anthropic Claude für Code-Reviews, Mistral für die französische Kundenkommunikation. Jeder Provider hat eine eigene API, eigene SDKs, eigene Abrechnungslogik.
Laut Gartner nutzen über 90% der produktiven KI-Teams bereits 5 oder mehr LLMs gleichzeitig (Gartner Hype Cycle for Generative AI, 2025). Ohne zentrale Steuerung explodieren die Kosten.
Die versteckten Kosten
Warum klassische Lösungsansätze scheitern
Die Lösung: LiteLLM als zentrales AI Gateway
LiteLLM ist ein Open-Source Proxy Server, der alle LLM-API-Aufrufe über einen einzigen Endpunkt bündelt. Ihre Anwendungen sprechen die OpenAI-API – LiteLLM routet im Hintergrund an den richtigen Provider. Kosten-Tracking, Rate Limiting und Guardrails sind eingebaut.
Den produktiven Gateway-Pfad beschreibt der LiteLLM-Hub. Ob das Routing in Ihre Landschaft passt, klären Sie im Plattform-Check (45 Min).
Warum jetzt der richtige Zeitpunkt ist
- Technologisch: Der AI-Gateway-Markt ist von 400 Mio. USD (2023) auf 3,9 Mrd. USD (2024) gewachsen – die Technologie ist produktionsreif.
- Regulatorisch: DSGVO und NIS2 erfordern Kontrolle über KI-Datenflüsse. LiteLLM als Self-Hosted Gateway hält alle Daten in Ihrer Azure-Umgebung.
- Wirtschaftlich: Die Inferenz-Kosten sind seit 2023 um das 10-fache gesunken. Unternehmen, die jetzt nicht auf Multi-LLM umsteigen, zahlen zu viel für ein einzelnes Premium-Modell.
ROI-Rechnung (Beispiel: 300 Mitarbeiter, 20 Entwickler)
Break-Even: Nach 3 Wochen (Open-Source-Version kostenlos, Setup 2-3 Personentage) 3-Jahres-TCO: 432.000 EUR vs. 259.200 EUR = 172.800 EUR gespart
Die Ausgaben für KI in Deutschland erreichen 2025 rund 10 Mrd. EUR (Statista). Wer diese Budgets nicht zentral steuert, verbrennt Geld.
Technische Umsetzung: LiteLLM in 30 Minuten einrichten
Diese Anleitung zeigt das Setup auf Azure mit Docker. Für On-Premise oder AWS Bedrock passen Sie die Provider-Konfiguration entsprechend an. Wenn Sie eigene Modelle on-premise hinter dem Gateway bereitstellen, sollten Sie vorher wissen, wie Sie vLLM produktiv betreiben.
Chat, Agenten und Ownership liegen auf der Open-Source-KI-Plattform, nicht in diesem Gateway-Howto.
Schritt 1: Installation
# Option A: pip (für Entwicklung/Test)
pip install 'litellm[proxy]'
# Option B: Docker (für Produktion)
docker pull ghcr.io/berriai/litellm:main-latest
Schritt 2: config.yaml erstellen
Die zentrale Konfigurationsdatei definiert alle verfügbaren Modelle und deren Routing:
model_list:
# Azure OpenAI (DSGVO-konform, EU West)
- model_name: gpt-4o
litellm_params:
model: azure/gpt-4o
api_base: https://ihr-endpoint.openai.azure.com/
api_key: os.environ/AZURE_API_KEY
api_version: "2024-10-21"
# Fallback: Anthropic Claude (für Code-Tasks)
- model_name: claude-sonnet
litellm_params:
model: anthropic/claude-sonnet-4-20250514
api_key: os.environ/ANTHROPIC_API_KEY
# Budget-Modell: Mistral (für einfache Aufgaben)
- model_name: mistral-large
litellm_params:
model: mistral/mistral-large-latest
api_key: os.environ/MISTRAL_API_KEY
# Routing: GPT-4o als Standard, Claude als Fallback
router_settings:
routing_strategy: least-busy
num_retries: 3
timeout: 30
# Kosten-Tracking aktivieren
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
database_url: os.environ/DATABASE_URL
Schritt 3: Proxy starten
# Entwicklung
litellm --config config.yaml --port 4000
# Produktion (Docker Compose)
docker compose up -d
Schritt 4: Bestehende Anwendungen umstellen
Ihre Anwendungen ändern nur die base_url – der Rest bleibt identisch:
from openai import OpenAI
# Vorher: Direkt zu Azure OpenAI
# client = OpenAI(api_key="...", base_url="https://endpoint.openai.azure.com/")
# Nachher: Über LiteLLM Gateway
client = OpenAI(
api_key="sk-litellm-masterkey",
base_url="http://litellm-gateway:4000"
)
response = client.chat.completions.create(
model="gpt-4o", # LiteLLM routet an Azure
messages=[{"role": "user", "content": "Zusammenfassung erstellen"}]
)
Schritt 5: Kosten-Tracking und Budgets
# In config.yaml ergänzen:
litellm_settings:
max_budget: 5000 # EUR Monatsbudget gesamt
budget_duration: 1m
# Pro Team/API-Key individuelle Budgets über die Admin-UI setzen
Das integrierte Dashboard unter http://litellm-gateway:4000/ui zeigt Kosten pro Modell, Team und Zeitraum in Echtzeit.
Security-Anforderungen
Pexon Consulting empfiehlt: LiteLLM als Container auf Azure Kubernetes Service (AKS) mit Private Endpoint und Azure AD Authentication. So bleiben alle Daten in Ihrer Azure-Umgebung – DSGVO-konform ohne Kompromisse. Wenn Sie den Betrieb dieser Plattform nicht selbst übernehmen wollen, können Sie KI-Workloads auf Kubernetes betreiben lassen.
SSO für LiteLLM: Optionen mit und ohne Enterprise-Lizenz
Bei SSO werden zwei Anmeldungen oft vermischt: die Admin-UI von LiteLLM, in der Ihr Plattform-Team Modelle, Teams, Keys und Budgets verwaltet, und das Chat-Frontend, über das Mitarbeitende mit den Modellen arbeiten. Für die Endnutzer brauchen Sie meist kein LiteLLM-SSO. Für die Admin-UI hängt es davon ab, wie viele Personen sich dort anmelden.
Was die Lizenz regelt (Stand 16.09.2026)
- Der LiteLLM-Code ist außerhalb des Ordners
enterprise/MIT-lizenziert. Für den Enterprise-Teil gilt eine eigene Lizenz, die im Produktivbetrieb eine gültige Enterprise-Lizenz verlangt. - SSO für die Admin-UI (Microsoft Entra ID, Google, Okta oder ein generischer OIDC-Anbieter) ist laut Doku ein Enterprise-Feature. Seit Version 1.76.0 ist SSO aber für bis zu 5 Nutzer kostenlos, darüber ist eine Enterprise-Lizenz nötig.
- Auch die JWT- und OIDC-Authentifizierung gegenüber dem Proxy, etwa mit Tokens aus Entra ID, ist als Enterprise-Feature gekennzeichnet.
- Eine öffentliche Preisliste gibt es nicht. Enterprise wird jährlich lizenziert, der Preis richtet sich laut LiteLLM nach der Request-Kapazität des Gateways, der Architektur und dem Support-Umfang. Zum Testen gibt es einen Trial-Key für 30 Tage.
Drei Wege im Vergleich
Welcher Weg passt?
- Kleines Plattform-Team: Melden sich höchstens fünf Personen per SSO an der Admin-UI an, nutzen Sie das eingebaute SSO ohne Lizenz.
- Breite Belegschaft im Chat: SSO gehört an das Frontend (Option A). Wie das mit Entra ID konkret aussieht, zeigt unsere Anleitung Open WebUI SSO mit Azure Entra ID einrichten.
- Größeres Admin-Team ohne Lizenz: Kombinieren Sie A mit einem OIDC-Proxy vor der Admin-UI (Option B) und legen Sie die LiteLLM-Konten bewusst schlank an.
- Rollen aus Entra ID, JWT-Auth für Anwendungen, Audit-Logs oder Support-SLA gefordert: Dann ist Option C der saubere Weg, und der Lizenzpreis gehört in die Kalkulation.
Wie wir das Gateway mit Entra ID, Budgets und Audit-Log produktiv aufsetzen, beschreibt die Seite LiteLLM Enterprise-Gateway.
Quellen (abgerufen am 16.09.2026): LiteLLM-Doku SSO for Admin UI, Enterprise, OIDC/JWT-based Auth, Event Hooks for SSO Login, Open WebUI; litellm.ai/pricing; LICENSE und enterprise/LICENSE.md auf GitHub; Open-WebUI-Doku SSO; oauth2-proxy-Doku Microsoft Entra ID.
Praxis: Maschinenbauer mit 500 Mitarbeitern
Ausgangslage:
- 5 verschiedene LLM-Provider (Azure OpenAI, Anthropic, Mistral, Cohere, lokales Llama)
- 22 Entwickler mit individuellen API-Keys
- Keine zentrale Kostenkontrolle – monatliche Überraschungen zwischen 8.000 und 18.000 EUR
- DSGVO-Bedenken bei 3 von 5 Providern
Umsetzung in 4 Wochen:
Ergebnis nach 3 Monaten:
- 42% weniger LLM-Kosten durch intelligentes Routing (Budget-Modelle für einfache Tasks)
- 0 Stunden für Provider-Integration neuer Modelle (vorher: 2-3 Wochen)
- 100% DSGVO-konform durch Self-Hosted Gateway auf Azure West Europe
- Echtzeit-Kostentransparenz pro Team, Projekt und Use Case
Häufig gestellte Fragen
Was kostet LiteLLM für ein Unternehmen? LiteLLM Open Source ist kostenlos – Sie zahlen nur Ihre LLM-API-Kosten und die Infrastruktur, auf der Sie den Proxy betreiben. LiteLLM Enterprise wird jährlich lizenziert. Eine öffentliche Preisliste gibt es nicht, der Preis richtet sich laut Anbieter nach Request-Kapazität, Architektur und Support-Umfang (Stand 16.09.2026). Aus einem Kundengespräch kennen wir eine genannte Größenordnung von rund 30.000 USD pro Jahr – ein Einzelfall, kein Listenpreis. Für den Einstieg reicht meist die Open-Source-Version.
Braucht LiteLLM für SSO eine Enterprise-Lizenz? Für die Admin-UI ab dem sechsten Nutzer ja: Seit Version 1.76.0 ist SSO für bis zu 5 Nutzer kostenlos, darüber verlangt LiteLLM eine Enterprise-Lizenz. Für Endnutzer im Chat lösen Sie SSO am Frontend, etwa mit Open WebUI und Entra ID, ohne LiteLLM-Lizenz. Die Optionen im Vergleich stehen im Abschnitt SSO für LiteLLM.
LiteLLM vs. OpenRouter vs. Portkey – welches Gateway ist das richtige? LiteLLM ist Self-Hosted (volle Datenkontrolle, DSGVO-konform) mit ca. 8ms Latenz und kostenlos. OpenRouter ist ein gehosteter Service mit 5% Aufschlag auf alle Requests – einfacher, aber keine Datenkontrolle. Portkey bietet Enterprise-Governance ab 49 USD/Monat, ist aber ebenfalls ein gehosteter Service. Für deutsche Unternehmen mit DSGVO-Anforderungen ist LiteLLM Self-Hosted auf Azure die einzige Option, die alle Daten in der eigenen Umgebung hält.
Ist LiteLLM DSGVO-konform einsetzbar? Ja, wenn Sie LiteLLM als Self-Hosted Container betreiben (Docker oder Kubernetes). In dieser Konfiguration verlassen keine Daten Ihre Infrastruktur – LiteLLM selbst sendet keine Telemetrie an BerriAI. Pexon Consulting deployt LiteLLM standardmäßig auf Azure West Europe mit Private Endpoints, sodass auch die Verbindung zu Azure OpenAI über das Microsoft-Backbone läuft. BerriAI ist SOC-2 Type 2 und ISO 27001 zertifiziert.
Welche LLM-Anbieter unterstützt LiteLLM? Stand 2026 unterstützt LiteLLM über 100 Provider in nativer oder OpenAI-kompatibler Form: Azure OpenAI, AWS Bedrock (inkl. Anthropic Claude, Meta Llama), Google Vertex AI, Mistral, Cohere, Ollama (für lokale Modelle), NVIDIA NIM, Hugging Face und viele mehr. Neue Provider werden meist innerhalb weniger Tage nach Release unterstützt. Die vollständige Liste pflegt BerriAI auf GitHub mit aktuell über 39.000 Stars.
Wie aufwändig ist die Migration bestehender Anwendungen? Minimal: Da LiteLLM eine OpenAI-kompatible API bereitstellt, müssen Sie in Ihren Anwendungen lediglich die base_url ändern – von https://api.openai.com auf http://ihr-litellm-gateway:4000. Der restliche Code bleibt identisch. Bei Pexon-Projekten dauert die komplette Migration typischerweise 2-5 Personentage für 10-20 Anwendungen. Die Produktionsanforderung liegt bei mindestens 4 CPU-Cores und 8 GB RAM.



