Pexon Consulting | 8 Min. Lesezeit | 06.07.2026
TL;DR
MLflow AI Gateway ist ein LLM-Proxy, der direkt im MLflow-Server (ab Version 3.0) steckt: eine OpenAI-kompatible API über Dutzende Provider, mit Fallbacks, Traffic-Splitting und Budget-Tracking. Der Unterschied zu reinen Proxys: Jeder Gateway-Request wird automatisch zum MLflow-Trace. Pexon Consulting baut das DSGVO-konform in Ihre Umgebung.
Was MLflow AI Gateway von einem reinen Proxy unterscheidet
Die kurze Antwort: Observability ist nicht angeflanscht, sondern eingebaut. Ein dedizierter Proxy wie LiteLLM routet Anfragen und exponiert Metriken — das Tracing hängst du über Callbacks an ein zweites Tool. Beim MLflow AI Gateway wird jeder Request, der durch das Gateway läuft, automatisch als MLflow-Trace erfasst. Kosten, Latenz, Token und später die Evaluations-Ergebnisse liegen damit in einer Plattform statt in drei.
Technisch ist das Gateway ein datenbank-gestützter Proxy im MLflow-Tracking-Server (Details in der offiziellen MLflow-AI-Gateway-Doku). Seit MLflow 3.11 bringt es native Provider-Integrationen mit — OpenAI, Anthropic, Google Gemini, Amazon Bedrock, Azure OpenAI, Mistral, Cohere, DeepSeek, Groq, TogetherAI, xAI, OpenRouter, Ollama, Vertex AI — ohne LiteLLM als Abhängigkeit. Das war vorher anders und ist der Grund, warum MLflow jetzt als eigenständige Gateway-Option zählt.
So richten Sie MLflow AI Gateway ein
Der Kern ist eine config.yaml, in der Sie logische Endpunkte auf Provider mappen — inklusive Fallback-Kette. Änderungen werden per Hot-Reload übernommen, ohne den Server neu zu starten.
# config.yaml — Endpunkt mit Fallback-Kette
endpoints:
- name: chat-default
endpoint_type: llm/v1/chat
model:
provider: anthropic
name: claude-sonnet-4-6 # Primär-Modell
config:
anthropic_api_key: $ANTHROPIC_API_KEY
fallbacks: # bei Fehler/Rate-Limit automatisch
- provider: openai
name: gpt-4.1
config:
openai_api_key: $OPENAI_API_KEY
# Gateway starten (Teil des MLflow-Servers, ab MLflow >= 3.0)
pip install "mlflow>=3.13"
mlflow gateway start --config-path config.yaml --port 5000
# OpenAI-kompatibel abfragen — jeder Call wird automatisch zum Trace
curl http://localhost:5000/gateway/chat-default/invocations
-H "Content-Type: application/json"
-d '{"messages":[{"role":"user","content":"Fasse den Bericht zusammen."}]}'
Das war der einfache Teil. In einer Stunde haben Sie Routing, Fallbacks und Traces auf Ihrem Rechner laufen. Genau hier fängt aber die eigentliche Arbeit an.
MLflow AI Gateway oder LiteLLM?
Unsere klare Position: Es hängt davon ab, ob Sie ein Gateway oder eine Plattform wollen. Wenn Sie einen dedizierten LLM-Proxy brauchen, exotische Provider bedienen oder bereits das LiteLLM-SDK im Stack haben, bleibt LiteLLM die pragmatischere Wahl — es unterstützt mehr Long-Tail-Provider und bringt einen Prometheus-/metrics-Endpunkt mit. Wie LiteLLM sich gegen andere schlägt, steht in unserem LLM-Gateway-Vergleich mit Kong, Portkey und Helicone und im direkten Vergleich LiteLLM gegen OpenRouter.
MLflow spielt seine Stärke aus, wenn Sie Gateway, Tracing, Evaluation und Prompt-Management ohnehin über den gesamten AI-Lifecycle zusammenhaben wollen — statt vier Tools zu integrieren. Wer schon MLflow für Experiment-Tracking nutzt, bekommt das Gateway praktisch geschenkt. Das ist im Kern eine LLM-Gateway-Entscheidung, keine Modell-Entscheidung.
Guardrails und Governance
Ab MLflow 3.12 kommen Guardrails direkt im Gateway dazu: konfigurierbare Content-Policies, die einen Request prüfen, bevor er das Modell erreicht — oder die Antwort, bevor sie den Nutzer erreicht. Jede Guardrail bewertet den Inhalt gegen natürlichsprachliche Vorgaben und blockiert oder redigiert (etwa PII), wenn er gegen die Policy verstößt.
In der Praxis ist das der Punkt, an dem ein Gateway vom Bequemlichkeits-Tool zum Compliance-Baustein wird. Wir raten allerdings davon ab, sich allein auf gateway-seitige Guardrails zu verlassen — sie sind eine Schicht, kein vollständiges DSGVO-Konzept. Die Datenhaltung, das Auth-Modell und das Logging entscheiden mehr über die Konformität als der Guardrail-Filter selbst.
Häufig gestellte Fragen
Was kostet MLflow AI Gateway?
Die Software ist Open Source (Apache 2.0), es fallen keine Lizenzkosten an — MLflow hat über 20.000 GitHub-Sterne und 900+ Contributor (Stand Juli 2026). Kosten entstehen für Betrieb, GPU/Provider-Nutzung und die Produktivsetzung (Auth, HA, DSGVO). Der Modellverbrauch läuft über Ihre Provider-Verträge.
MLflow AI Gateway vs LiteLLM — was ist besser?
Kommt auf das Ziel an. LiteLLM ist der spezialisierte Proxy mit mehr Providern und Prometheus-Metriken; MLflow AI Gateway bringt Routing plus natives Tracing, Eval und Prompt-Management in einer Plattform. Wenn Observability zentral ist und Sie MLflow ohnehin nutzen, gewinnt MLflow.
Braucht MLflow AI Gateway noch LiteLLM?
Nein, seit MLflow 3.11 nicht mehr. Das Gateway bringt native Provider-Integrationen für OpenAI, Anthropic, Gemini, Bedrock, Azure OpenAI, Mistral, DeepSeek, Ollama, Vertex und weitere mit — ohne LiteLLM als Abhängigkeit.
Ist MLflow AI Gateway DSGVO-konform einsetzbar?
Grundsätzlich ja, aber nicht out of the box. Nativ bietet es nur HTTP Basic Authentication. Für den Produktivbetrieb brauchen Sie EU-Hosting, SSO/Entra-Anbindung, sauberes Secrets- und Logging-Konzept. Genau diese Lücke schließen wir im Pilot.
Kann ich lokale Modelle wie Ollama oder vLLM anbinden?
Ja. MLflow AI Gateway unterstützt Ollama nativ, und über OpenAI-kompatible Endpunkte lassen sich self-hosted Backends wie vLLM einbinden. Damit routet dasselbe Gateway zwischen Cloud-Providern und lokalen Modellen.
Nächster Schritt
Wenn Sie ein LLM-Gateway mit Observability brauchen und abwägen, ob MLflow der richtige Weg ist, schauen wir uns Ihren Stack an und schneiden den Piloten auf Ihre Provider und Compliance-Anforderungen zu.
Verwandte Themen
→LangFuse vs. LangSmith vs. Helicone: LLM-Observability



