Azure AI Foundry vs LiteLLM: Managed oder self-hosted

Constantin, Pexon Consulting | 9 Min. Lesezeit | 29.07.2026

TL;DR

Azure AI Foundry oder ein eigenes LiteLLM-Gateway? Foundry ist der gemanagte Weg mit weniger Betrieb, LiteLLM der self-hosted mit voller Kontrolle und Datenhoheit. Die Entscheidung hängt an Regulatorik und Betriebsreife, nicht an Features. Pexon baut beide und sagt ehrlich, welcher zu Ihnen passt.

Zwei Wege zum selben Ziel

Beide lösen dasselbe Problem: den Zugriff auf viele LLMs hinter einer Schnittstelle, mit Routing, Failover und Kostenkontrolle. Nur der Weg dahin ist grundverschieden. Azure AI Foundry, das frühere Azure AI Foundry unter dem neuen Dach Microsoft Foundry, ist die gemanagte Plattform: Microsoft betreibt sie, Sie bekommen Model Router, Managed Compute und Governance out of the box. LiteLLM ist das offene Gateway, das Sie selbst hosten, konfigurieren und betreiben.

Die Frage ist also keine nach dem besseren Werkzeug, sondern nach dem passenden Betriebsmodell. Wer Microsoft Foundry grundsätzlich einordnen will, findet den Überblick in unserem Beitrag zu Microsoft Foundry.

Was für Azure AI Foundry spricht

Der Reiz von Foundry ist die geringe Reibung. Sie bekommen Zugriff auf einen breiten Modellkatalog, einen Model Router, der pro Aufgabe automatisch wählt, und die Governance-Bausteine direkt integriert, ohne selbst etwas betreiben zu müssen. Für ein Team ohne eigene Platform-Kapazität ist das der schnellste Weg in Produktion.

Unsere klare Position: Wenn Ihr Stack ohnehin auf Azure liegt, Ihre Daten die EU Data Zone akzeptieren und Sie kein Platform-Team für den Betrieb eines Gateways abstellen wollen, ist Foundry die pragmatische Wahl. Sie zahlen mit etwas weniger Kontrolle und der Bindung an einen Anbieter, gewinnen dafür Tempo und Wartungsfreiheit.

Was für ein eigenes LiteLLM-Gateway spricht

LiteLLM dreht die Rechnung um: maximale Kontrolle, dafür der Betrieb bei Ihnen. Sie bestimmen, welche Anbieter angebunden werden, wie geroutet wird und wo die Anfragen langlaufen. Der entscheidende Vorteil ist die Datenhoheit. Ein self-hosted Gateway im eigenen Netz sieht keinen externen Vermittler. Für regulierte Umgebungen, in denen der Datenstrom das Haus nicht verlassen darf, ist das oft die einzig saubere Option.

# LiteLLM self-hosted: Sie definieren Anbieter und Routing selbst
model_list:
  - model_name: frontier
    litellm_params: { model: anthropic/claude-opus-4-8 }
  - model_name: lokal
    litellm_params: { model: ollama/gemma-4-31b, api_base: http://ollama.internal:11434 }
# Betrieb, Updates und Monitoring liegen bei Ihnen

Wie sich so ein Gateway konkret aufsetzen lässt, inklusive Routing nach Kosten, ist ein eigenes Thema (siehe Verwandte Themen). Der Preis dieser Freiheit ist der Betrieb: Sie brauchen ein Team, das das Gateway wartet, skaliert und überwacht.

Die Entscheidung nach Regulatorik und Betriebsreife

Zwei Fragen entscheiden fast immer. Erstens die Datenklasse: Reicht die EU Data Zone von Azure, oder verlangt Ihre Regulatorik, dass kein US-Vermittler den Datenstrom sieht? Bei §203, KRITIS oder harten BaFin-Fällen führt der Weg zum self-hosted Gateway. Zweitens die Betriebsreife: Haben Sie ein Platform-Team, das ein Gateway dauerhaft betreibt, oder brauchen Sie Wartungsfreiheit?

In der Praxis fahren viele Unternehmen einen Mittelweg: Foundry für unkritische, breite Nutzung und ein self-hosted LiteLLM für die sensiblen Datenströme. Eine dritte Option ist eine Control-Plane wie Portkey, die zwischen beiden Welten vermittelt (siehe Verwandte Themen). Welches Gateway als Plattform-Baustein taugt, ordnet unsere Übersicht zum LLM-Gateway ein.

Häufig gestellte Fragen

Azure AI Foundry oder LiteLLM, was ist besser?

Keins ist pauschal besser. Foundry ist die gemanagte Wahl mit wenig Betriebsaufwand und Azure-Integration. LiteLLM ist self-hosted mit voller Kontrolle und Datenhoheit. Die Entscheidung hängt an Ihrer Datenklasse und daran, ob Sie ein Team für den Gateway-Betrieb haben.

Wann brauche ich ein self-hosted Gateway wie LiteLLM?

Wenn echte Datenhoheit gefordert ist, also bei Berufsgeheimnisträgern nach §203, in KRITIS-Umgebungen oder bei harter BaFin-Aufsicht. Dann darf kein externer Vermittler den Datenstrom sehen, und nur ein Gateway im eigenen Netz erfüllt das zuverlässig.

Ist Azure AI Foundry DSGVO-konform?

Mit der EU Data Zone bleibt die Verarbeitung geografisch in Europa, was für viele Fälle ausreicht. Der Vorbehalt bleibt, dass Microsoft als US-Konzern dem CLOUD Act unterliegt. Für die höchsten Anforderungen ist deshalb self-hosted die sichere Antwort.

Was kostet der Betrieb der beiden Varianten?

Foundry rechnet nutzungsbasiert ab und spart Betriebsaufwand. LiteLLM ist quelloffen und kostenlos, verursacht aber Kosten für Infrastruktur und Betrieb. Bei hohem, stabilem Volumen und vorhandenem Platform-Team kann self-hosted günstiger sein, bei geringer Last ist managed oft wirtschaftlicher.

Kann ich beide kombinieren?

Ja, das ist in der Praxis häufig. Foundry deckt die breite, unkritische Nutzung ab, ein self-hosted LiteLLM übernimmt die sensiblen Datenströme. Eine Control-Plane kann zusätzlich beide Welten unter einer Governance zusammenführen. Die Datenklasse entscheidet, welcher Weg pro Anwendungsfall greift.

Nächster Schritt

Sie stehen vor der Entscheidung zwischen einer gemanagten Foundry und einem eigenen Gateway und wollen keine Bauchentscheidung treffen? Wir bewerten Ihre Regulatorik und Betriebsreife und empfehlen den Weg, der zu Ihnen passt.

Verwandte Themen