LiteLLM Multi-Model Routing: Anleitung für ein sicheres Enterprise-Setup

3 März. 2026 | AI

Inhaltsverzeichnis

 

LiteLLM Multi-Model Routing: Anleitung für ein sicheres Enterprise-Setup

**Pexon Consulting** | 12 Min. Lesezeit | 03.03.2026


TL;DR

LiteLLM ist ein Open-Source AI Gateway, das über 100 LLM-Anbieter (Azure OpenAI, AWS Bedrock, Anthropic, Mistral) über eine einheitliche OpenAI-kompatible API bündelt – mit automatischem Kosten-Tracking, Loadbalancing und Guardrails. Pexon Consulting, Microsoft Partner mit 80 Mitarbeitern in Deutschland, setzt LiteLLM seit 2025 in Kundenprojekten produktiv ein und betreibt es DSGVO-konform auf Azure. Unternehmen sparen damit durchschnittlich 35-45% ihrer LLM-API-Kosten durch intelligentes Routing und Modell-Fallbacks.

Vorher Nachher
LLM-API-Kosten 12.000 EUR/Monat (3 Provider einzeln) 7.200 EUR/Monat (-40%)
Integration neuer Modelle 2-3 Wochen pro Provider 15 Minuten (Config-Änderung)
Kosten-Transparenz Keine (Einzelrechnungen) Echtzeit-Dashboard pro Team/Projekt

Das teure Problem

Ein mittelständischer Maschinenbauer mit 15 Entwicklern nutzt heute im Schnitt 3-5 verschiedene LLM-APIs: Azure OpenAI für den internen Chatbot, Anthropic Claude für Code-Reviews, Mistral für die französische Kundenkommunikation. Jeder Provider hat eine eigene API, eigene SDKs, eigene Abrechnungslogik.

Die Rechnung: 15 Entwickler x 4 Stunden/Woche Provider-spezifischer Code x 95 EUR/Stunde = 285.600 EUR verlorene Produktivität pro Jahr

Laut Gartner nutzen über 90% der produktiven KI-Teams bereits 5 oder mehr LLMs gleichzeitig (Gartner Hype Cycle for Generative AI, 2025). Ohne zentrale Steuerung explodieren die Kosten.

Die versteckten Kosten

Kostenfaktor Typischer Ist-Zustand Mit LiteLLM Gateway
Provider-Integration 2-3 Wochen pro neuem LLM 15 Min. Config-Änderung
Kosten-Tracking Manuelle Excel-Auswertung Echtzeit pro Team/Key
Modell-Wechsel Code-Änderung + Deployment Routing-Regel in YAML
Ausfallsicherheit Kein Fallback Automatisches Failover
Ob ein Gateway im Unternehmen trägt, entscheidet die Ebene darunter: Identity und Access mit Entra ID und RBAC, Data Platform und Knowledge Layer, dazu das Platform Engineering, in dem das Gateway sitzt. Wo ein LLM-Gateway im AI-Stack sitzt →

Warum klassische Lösungsansätze scheitern

Ansatz Warum er nicht funktioniert
„Jedes Team nutzt seinen eigenen API-Key“ Keine Kostenkontrolle, kein Überblick, DSGVO-Risiko bei US-Providern
„Wir bauen einen eigenen Wrapper“ Wartungsaufwand für 100+ Modelle unrealistisch, kein Loadbalancing
„Wir nutzen nur einen Provider“ Vendor Lock-in, kein Best-Model-for-Task möglich, teuer bei Spezialaufgaben

Die Lösung: LiteLLM als zentrales AI Gateway

LiteLLM ist ein Open-Source Proxy Server, der alle LLM-API-Aufrufe über einen einzigen Endpunkt bündelt. Ihre Anwendungen sprechen die OpenAI-API – LiteLLM routet im Hintergrund an den richtigen Provider. Kosten-Tracking, Rate Limiting und Guardrails sind eingebaut.

Den produktiven Gateway-Pfad beschreibt der LiteLLM-Hub. Ob das Routing in Ihre Landschaft passt, klären Sie im Plattform-Check (45 Min).

Warum jetzt der richtige Zeitpunkt ist

  1. Technologisch: Der AI-Gateway-Markt ist von 400 Mio. USD (2023) auf 3,9 Mrd. USD (2024) gewachsen – die Technologie ist produktionsreif.
  2. Regulatorisch: DSGVO und NIS2 erfordern Kontrolle über KI-Datenflüsse. LiteLLM als Self-Hosted Gateway hält alle Daten in Ihrer Azure-Umgebung.
  3. Wirtschaftlich: Die Inferenz-Kosten sind seit 2023 um das 10-fache gesunken. Unternehmen, die jetzt nicht auf Multi-LLM umsteigen, zahlen zu viel für ein einzelnes Premium-Modell.

ROI-Rechnung (Beispiel: 300 Mitarbeiter, 20 Entwickler)

Kategorie Vorher Nachher Einsparung
LLM-API-Kosten 144.000 EUR/Jahr (3 Provider) 86.400 EUR/Jahr -40%
Entwicklerzeit Integration 480 h/Jahr 40 h/Jahr -92%
Compliance-Aufwand 160 h/Jahr (3 DPAs, 3 Audits) 40 h/Jahr (1 Gateway) -75%

Break-Even: Nach 3 Wochen (Open-Source-Version kostenlos, Setup 2-3 Personentage) 3-Jahres-TCO: 432.000 EUR vs. 259.200 EUR = 172.800 EUR gespart

Die Ausgaben für KI in Deutschland erreichen 2025 rund 10 Mrd. EUR (Statista). Wer diese Budgets nicht zentral steuert, verbrennt Geld.


Technische Umsetzung: LiteLLM in 30 Minuten einrichten

Diese Anleitung zeigt das Setup auf Azure mit Docker. Für On-Premise oder AWS Bedrock passen Sie die Provider-Konfiguration entsprechend an. Wenn Sie eigene Modelle on-premise hinter dem Gateway bereitstellen, sollten Sie vorher wissen, wie Sie vLLM produktiv betreiben.

Chat, Agenten und Ownership liegen auf der Open-Source-KI-Plattform, nicht in diesem Gateway-Howto.

Schritt 1: Installation

# Option A: pip (für Entwicklung/Test)
pip install 'litellm[proxy]'

# Option B: Docker (für Produktion)
docker pull ghcr.io/berriai/litellm:main-latest

Schritt 2: config.yaml erstellen

Die zentrale Konfigurationsdatei definiert alle verfügbaren Modelle und deren Routing:

model_list:
  # Azure OpenAI (DSGVO-konform, EU West)
  - model_name: gpt-4o
    litellm_params:
      model: azure/gpt-4o
      api_base: https://ihr-endpoint.openai.azure.com/
      api_key: os.environ/AZURE_API_KEY
      api_version: "2024-10-21"

  # Fallback: Anthropic Claude (für Code-Tasks)
  - model_name: claude-sonnet
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: os.environ/ANTHROPIC_API_KEY

  # Budget-Modell: Mistral (für einfache Aufgaben)
  - model_name: mistral-large
    litellm_params:
      model: mistral/mistral-large-latest
      api_key: os.environ/MISTRAL_API_KEY

# Routing: GPT-4o als Standard, Claude als Fallback
router_settings:
  routing_strategy: least-busy
  num_retries: 3
  timeout: 30

# Kosten-Tracking aktivieren
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
  database_url: os.environ/DATABASE_URL

Schritt 3: Proxy starten

# Entwicklung
litellm --config config.yaml --port 4000

# Produktion (Docker Compose)
docker compose up -d

Schritt 4: Bestehende Anwendungen umstellen

Ihre Anwendungen ändern nur die base_url – der Rest bleibt identisch:

from openai import OpenAI

# Vorher: Direkt zu Azure OpenAI
# client = OpenAI(api_key="...", base_url="https://endpoint.openai.azure.com/")

# Nachher: Über LiteLLM Gateway
client = OpenAI(
    api_key="sk-litellm-masterkey",
    base_url="http://litellm-gateway:4000"
)

response = client.chat.completions.create(
    model="gpt-4o",  # LiteLLM routet an Azure
    messages=[{"role": "user", "content": "Zusammenfassung erstellen"}]
)

Schritt 5: Kosten-Tracking und Budgets

# In config.yaml ergänzen:
litellm_settings:
  max_budget: 5000        # EUR Monatsbudget gesamt
  budget_duration: 1m

# Pro Team/API-Key individuelle Budgets über die Admin-UI setzen

Das integrierte Dashboard unter http://litellm-gateway:4000/ui zeigt Kosten pro Modell, Team und Zeitraum in Echtzeit.

Security-Anforderungen

Anforderung LiteLLM-Feature Pexon-Empfehlung
DSGVO Art. 32 Self-Hosted, keine Daten an BerriAI Azure West Europe, Private Endpoint
Authentifizierung Virtuelle API-Keys (Open Source); JWT/OIDC-Auth und SSO (Enterprise, SSO für bis zu 5 Nutzer kostenlos) Entra ID am Chat-Frontend oder per Enterprise-Lizenz, siehe SSO für LiteLLM
Audit-Logging Alle Requests in PostgreSQL Azure Monitor + Log Analytics
Rate Limiting Pro Key, pro Modell, pro Team TPM-Limits passend zu Azure-Quota

Pexon Consulting empfiehlt: LiteLLM als Container auf Azure Kubernetes Service (AKS) mit Private Endpoint und Azure AD Authentication. So bleiben alle Daten in Ihrer Azure-Umgebung – DSGVO-konform ohne Kompromisse. Wenn Sie den Betrieb dieser Plattform nicht selbst übernehmen wollen, können Sie KI-Workloads auf Kubernetes betreiben lassen.


SSO für LiteLLM: Optionen mit und ohne Enterprise-Lizenz

Bei SSO werden zwei Anmeldungen oft vermischt: die Admin-UI von LiteLLM, in der Ihr Plattform-Team Modelle, Teams, Keys und Budgets verwaltet, und das Chat-Frontend, über das Mitarbeitende mit den Modellen arbeiten. Für die Endnutzer brauchen Sie meist kein LiteLLM-SSO. Für die Admin-UI hängt es davon ab, wie viele Personen sich dort anmelden.

Was die Lizenz regelt (Stand 16.09.2026)

  • Der LiteLLM-Code ist außerhalb des Ordners enterprise/ MIT-lizenziert. Für den Enterprise-Teil gilt eine eigene Lizenz, die im Produktivbetrieb eine gültige Enterprise-Lizenz verlangt.
  • SSO für die Admin-UI (Microsoft Entra ID, Google, Okta oder ein generischer OIDC-Anbieter) ist laut Doku ein Enterprise-Feature. Seit Version 1.76.0 ist SSO aber für bis zu 5 Nutzer kostenlos, darüber ist eine Enterprise-Lizenz nötig.
  • Auch die JWT- und OIDC-Authentifizierung gegenüber dem Proxy, etwa mit Tokens aus Entra ID, ist als Enterprise-Feature gekennzeichnet.
  • Eine öffentliche Preisliste gibt es nicht. Enterprise wird jährlich lizenziert, der Preis richtet sich laut LiteLLM nach der Request-Kapazität des Gateways, der Architektur und dem Support-Umfang. Zum Testen gibt es einen Trial-Key für 30 Tage.

Drei Wege im Vergleich

Option So funktioniert es Vorteile Nachteile
A) SSO am Chat-Frontend
z. B. Open WebUI mit OIDC und Entra ID
Mitarbeitende melden sich per Entra ID in Open WebUI an. Open WebUI spricht LiteLLM mit einem virtuellen Key an und kann Nutzer-ID, Name oder E-Mail als Header mitsenden (ENABLE_FORWARD_USER_INFO_HEADERS). LiteLLM ordnet die Nutzung darüber Personen zu (user_header_mappings). Keine LiteLLM-Lizenz für die Endnutzer nötig. Anmeldung mit dem bestehenden Firmenkonto. Nutzung und Kosten bleiben pro Person nachvollziehbar. Schützt nur den Chat, nicht die LiteLLM-Admin-UI. Die Zuordnung ist nur so verlässlich wie die Open-WebUI-Verwaltung, denn dort können Admins Namen und E-Mails ändern. Open WebUI unterstützt nur einen OIDC-Anbieter gleichzeitig.
B) Reverse Proxy mit OIDC vor der Admin-UI
z. B. oauth2-proxy mit Entra ID
Die Admin-UI ist nur erreichbar, wenn sich jemand vorher am vorgeschalteten Proxy mit seinem Entra-ID-Konto angemeldet hat. Open Source, kein Eingriff in LiteLLM. Die Anmelderichtlinien Ihres Tenants, etwa MFA, greifen vor der UI. oauth2-proxy bringt einen eigenen Entra-ID-Provider mit. Ohne weitere Anpassung nur eine Zugangssperre: Danach folgt die normale LiteLLM-Anmeldung, Rollen kommen nicht aus Entra ID. Die Übernahme der Proxy-Identität in die UI (Custom UI SSO Sign-in Handler) steht in der Doku unter derselben Enterprise-Kennzeichnung wie SSO. Eine Komponente mehr im Betrieb.
C) Enterprise-Lizenz mit nativem SSO LiteLLM spricht Entra ID direkt an, eingerichtet über eine App-Registrierung (MICROSOFT_CLIENT_ID, MICROSOFT_TENANT). Eine Anmeldung. Rollen wie proxy_admin oder internal_user lassen sich über App Roles aus Entra ID zuweisen. Dazu kommen SCIM, Audit-Logs, JWT- und OIDC-Auth sowie Support mit SLA. Jährliche Lizenz ohne öffentlichen Listenpreis, Angebot nur über den Vertrieb. Kosten und Beschaffung müssen sich gegenüber A plus B rechnen.

Welcher Weg passt?

  • Kleines Plattform-Team: Melden sich höchstens fünf Personen per SSO an der Admin-UI an, nutzen Sie das eingebaute SSO ohne Lizenz.
  • Breite Belegschaft im Chat: SSO gehört an das Frontend (Option A). Wie das mit Entra ID konkret aussieht, zeigt unsere Anleitung Open WebUI SSO mit Azure Entra ID einrichten.
  • Größeres Admin-Team ohne Lizenz: Kombinieren Sie A mit einem OIDC-Proxy vor der Admin-UI (Option B) und legen Sie die LiteLLM-Konten bewusst schlank an.
  • Rollen aus Entra ID, JWT-Auth für Anwendungen, Audit-Logs oder Support-SLA gefordert: Dann ist Option C der saubere Weg, und der Lizenzpreis gehört in die Kalkulation.

Wie wir das Gateway mit Entra ID, Budgets und Audit-Log produktiv aufsetzen, beschreibt die Seite LiteLLM Enterprise-Gateway.

Quellen (abgerufen am 16.09.2026): LiteLLM-Doku SSO for Admin UI, Enterprise, OIDC/JWT-based Auth, Event Hooks for SSO Login, Open WebUI; litellm.ai/pricing; LICENSE und enterprise/LICENSE.md auf GitHub; Open-WebUI-Doku SSO; oauth2-proxy-Doku Microsoft Entra ID.


Praxis: Maschinenbauer mit 500 Mitarbeitern

Ausgangslage:

  • 5 verschiedene LLM-Provider (Azure OpenAI, Anthropic, Mistral, Cohere, lokales Llama)
  • 22 Entwickler mit individuellen API-Keys
  • Keine zentrale Kostenkontrolle – monatliche Überraschungen zwischen 8.000 und 18.000 EUR
  • DSGVO-Bedenken bei 3 von 5 Providern

Umsetzung in 4 Wochen:

Woche Phase Ergebnis
1 Assessment: Welche Modelle werden wofür genutzt? Modell-Matrix mit 12 Use Cases
2 LiteLLM auf AKS deployen, Config für alle 5 Provider Gateway live, Admin-UI verfügbar
3 Migration: Teams stellen API-Calls um 18 von 22 Entwicklern migriert
4 Optimierung: Routing-Regeln, Budgets, Fallbacks Cost-Dashboard, Team-Budgets aktiv

Ergebnis nach 3 Monaten:

  • 42% weniger LLM-Kosten durch intelligentes Routing (Budget-Modelle für einfache Tasks)
  • 0 Stunden für Provider-Integration neuer Modelle (vorher: 2-3 Wochen)
  • 100% DSGVO-konform durch Self-Hosted Gateway auf Azure West Europe
  • Echtzeit-Kostentransparenz pro Team, Projekt und Use Case

Häufig gestellte Fragen

Was kostet LiteLLM für ein Unternehmen? LiteLLM Open Source ist kostenlos – Sie zahlen nur Ihre LLM-API-Kosten und die Infrastruktur, auf der Sie den Proxy betreiben. LiteLLM Enterprise wird jährlich lizenziert. Eine öffentliche Preisliste gibt es nicht, der Preis richtet sich laut Anbieter nach Request-Kapazität, Architektur und Support-Umfang (Stand 16.09.2026). Aus einem Kundengespräch kennen wir eine genannte Größenordnung von rund 30.000 USD pro Jahr – ein Einzelfall, kein Listenpreis. Für den Einstieg reicht meist die Open-Source-Version.

Braucht LiteLLM für SSO eine Enterprise-Lizenz? Für die Admin-UI ab dem sechsten Nutzer ja: Seit Version 1.76.0 ist SSO für bis zu 5 Nutzer kostenlos, darüber verlangt LiteLLM eine Enterprise-Lizenz. Für Endnutzer im Chat lösen Sie SSO am Frontend, etwa mit Open WebUI und Entra ID, ohne LiteLLM-Lizenz. Die Optionen im Vergleich stehen im Abschnitt SSO für LiteLLM.

LiteLLM vs. OpenRouter vs. Portkey – welches Gateway ist das richtige? LiteLLM ist Self-Hosted (volle Datenkontrolle, DSGVO-konform) mit ca. 8ms Latenz und kostenlos. OpenRouter ist ein gehosteter Service mit 5% Aufschlag auf alle Requests – einfacher, aber keine Datenkontrolle. Portkey bietet Enterprise-Governance ab 49 USD/Monat, ist aber ebenfalls ein gehosteter Service. Für deutsche Unternehmen mit DSGVO-Anforderungen ist LiteLLM Self-Hosted auf Azure die einzige Option, die alle Daten in der eigenen Umgebung hält.

Ist LiteLLM DSGVO-konform einsetzbar? Ja, wenn Sie LiteLLM als Self-Hosted Container betreiben (Docker oder Kubernetes). In dieser Konfiguration verlassen keine Daten Ihre Infrastruktur – LiteLLM selbst sendet keine Telemetrie an BerriAI. Pexon Consulting deployt LiteLLM standardmäßig auf Azure West Europe mit Private Endpoints, sodass auch die Verbindung zu Azure OpenAI über das Microsoft-Backbone läuft. BerriAI ist SOC-2 Type 2 und ISO 27001 zertifiziert.

Welche LLM-Anbieter unterstützt LiteLLM? Stand 2026 unterstützt LiteLLM über 100 Provider in nativer oder OpenAI-kompatibler Form: Azure OpenAI, AWS Bedrock (inkl. Anthropic Claude, Meta Llama), Google Vertex AI, Mistral, Cohere, Ollama (für lokale Modelle), NVIDIA NIM, Hugging Face und viele mehr. Neue Provider werden meist innerhalb weniger Tage nach Release unterstützt. Die vollständige Liste pflegt BerriAI auf GitHub mit aktuell über 39.000 Stars.

Wie aufwändig ist die Migration bestehender Anwendungen? Minimal: Da LiteLLM eine OpenAI-kompatible API bereitstellt, müssen Sie in Ihren Anwendungen lediglich die base_url ändern – von https://api.openai.com auf http://ihr-litellm-gateway:4000. Der restliche Code bleibt identisch. Bei Pexon-Projekten dauert die komplette Migration typischerweise 2-5 Personentage für 10-20 Anwendungen. Die Produktionsanforderung liegt bei mindestens 4 CPU-Cores und 8 GB RAM.


Ihr nächster Schritt

LiteLLM Enterprise-Gateway
Das Gateway steht. Enterprise-tauglich wird es durch Guardrails, Audit-Log und Kostenkontrolle.
Multi-Cloud-Routing mit Fallback, PII-Redaction gegen die OWASP LLM Top 10, Observability über Langfuse und Prometheus, dazu die Nachweise, die der EU AI Act verlangt. Wir bauen das in fünf Phasen vom Enterprise-Discovery bis zum Managed Service. Jede Stufe ist einzeln als Festpreis-Paket startbar, ohne Tagessatz-Lawine.
Sie wollen zuerst wissen, ob sich das Routing überhaupt rechnet? Der LLM-Token-Kostenrechner liefert die Größenordnung vorab, kostenlos und ohne Kontaktformular.
Pilot als Festpreis-Paket 15.000 bis 25.000 EUR in 2 bis 4 Wochen · Self-hosted Infrastruktur 200 bis 800 EUR im Monat · HITL-Gates und Audit-Log ab Tag 1

Verwandte Themen

Sie suchen professionelle Unterstützung? Mehr zu:

Microsoft Fabric. Bilder Blogtemplate Whitepaper

Claude Code im Unternehmen

  • Praxis-Guide für IT-Leiter – mit konkreten Einblicken zu Kosten, Sicherheit und Rollout von Claude Code im Unternehmen.

Beratungsgespräch

Sichern Sie sich Ihre kostenfreie Erstberatung

Analyse Ihres individuellen Cloud- oder KI-Bedarfs
Erste Empfehlungen zu Umsetzungsstrategien
Transparente Einblicke in unsere Methoden, Technologien & Referenzen