Azure AI Foundry an LiteLLM: Fläche statt zweite Kontrollplane

Constantin, Azure- und Plattformberater bei Pexon Consulting | 10 Min. Lesezeit | 11.09.2026

TL;DR: Azure AI Foundry kurz am Gateway

Azure AI Foundry ist die Microsoft-Fläche: Katalog, Azure OpenAI, EU-Datenzone, Purview. LiteLLM bleibt Keys, Routing und Verbrauch. Pexon Consulting (80 Mitarbeitende, Deutschland, Microsoft Partner) hängt beides an dieselbe offene KI-Plattform. Foundry ohne Gateway läuft in Azure, steuert aber keine Apps außerhalb des Portals.

Das Problem: zwei Konsolen, keine gemeinsame Kontrolle

Foundry ist eingerichtet, das erste Deployment heißt gpt-4o-eu. Trotzdem liegt in der Fachanwendung ein zweiter Key, im Chat ein dritter, und niemand kann den Monat nach Team schneiden.

Das ist kein Feature-Mangel im Portal. Das Portal sieht Projekte. Es sieht nicht jede App, die denselben Katalog heimlich umgeht.

Wir raten davon ab, das als „Foundry gegen LiteLLM“ zu verkaufen. Wer 2026 noch managed versus self-hosted als Glaubensfrage stellt, verdoppelt Governance. Microsoft-Häuser kaufen beides an einer Plane.

Warum Azure AI Foundry Fläche ist, nicht Gegner

Microsoft nennt das Produkt 2026 Microsoft Foundry. Sucher bleiben bei Azure AI Foundry. Wir schreiben den Suchbegriff, nennen die Umbenennung einmal, und hören auf zu tun, als wäre es eine zweite Firma.

Die Fläche kann, was Azure kann: Modelle sold by Azure, Azure OpenAI, Purview auf Interaktionen, Deployment-Typen inklusive DataZoneStandard. Microsoft Learn beschreibt den Typ so: Prompts und Antworten werden in der Azure EU Data Boundary verarbeitet, nicht in einem beliebigen Global-Pool.

Das Gateway kann, was das Portal nicht will: ein Key-Inventar über Chat, Agenten und Fach-Apps. Routing zu einem zweiten Backend, wenn Foundry für eine Klasse nicht reicht. Budget-Caps, bevor die Azure-Rechnung die Überraschung liefert.

Unsere klare Empfehlung: Foundry bleibt in Azure. LiteLLM hängt davor. Wer Foundry abschalten will, weil Open WebUI existiert, widerspricht der Mutterseite.

So hängt Azure AI Foundry an LiteLLM

Der Schnitt ist langweilig, und das ist gut so. Foundry bleibt der Endpoint. Das Gateway spricht OpenAI-kompatibel mit ihm.

# LiteLLM v1.100.1, Stand 10.09.2026: Foundry als Backend, nicht als zweite Plane
model_list:
  - model_name: foundry-eu
    litellm_params:
      model: azure/gpt-4o-eu
      api_base: https://meine-foundry.openai.azure.com
      api_key: os.environ/FOUNDRY_KEY
      api_version: "2024-10-21"
  - model_name: fallback-oss
    litellm_params:
      model: openai/gpt-oss-20b
      api_base: http://vllm.internal:8000/v1
# spend, keys, audit: LiteLLM. Katalog und Purview: Foundry.

Drei Dinge gehören nicht in dieses Snippet: der Listenpreis, der Allianz-Deal, der Copilot-Seat. Seat gegen Token steht auf Verbrauch statt Sitz. Office bleibt auf dem Copilot-Hybrid.

LiteLLM v1.100.1 ist am 10.09.2026 erschienen. Das Repo hatte am 11.09.2026 58.503 GitHub-Stars (BerriAI/litellm). Stars sind kein Kaufgrund. Sie markieren, dass das Gateway nicht auf einer Folie von 2024 stehen geblieben ist.

Foundry ohne Gateway: ehrlich ja, und dann fehlt etwas

Sie können Azure AI Foundry betreiben, ohne Pexon und ohne LiteLLM. Das ist kein Trick-Satz. Der Tenant gehört Ihnen.

Dann liegen Projekte, Keys und Budgets dort, wo Microsoft sie hinlegt. Eine App reicht oft. Drei Apps erzeugen drei Ausnahmen. Eine Ausnahme wird zum Schatten-Key.

Pexon hängt trotzdem Spend und Keys an das Gateway. Nicht weil Foundry schlecht wäre. Weil die Fläche nicht die Inventarliste ist.

Wer nur den Tenant härten will, bleibt im Azure-Baum. Diese URL ist die Anbindung an die offene KI-Plattform. Der Gateway-Keil steht auf dem LiteLLM-Hub.

Worauf Sie bei DataZone und Purview achten

Residenz der Disk ist nicht der Verarbeitungspfad. germanywestcentral auf der Karte beruhigt den Vorstand. GlobalStandard darf Prompts trotzdem außerhalb der Zone rechnen.

1. Deployment-Typ lesen, nicht nur die Region.
2. DataZoneStandard oder regional, wenn die EU-Frage ernst ist.
3. Purview für Foundry-Interaktionen einschalten, wenn der Microsoft-Pfad der Nachweis sein soll.
4. Gateway-Logs zusätzlich führen: App, Team, Modell, nicht nur Projekt im Portal.
5. Copilot-Seat nicht als Ersatz für Punkt 3 und 4 verkaufen.

Wir raten aktuell davon ab, Global-SKUs „erstmal“ zu nehmen und den Pfad später umzubauen. Der Umbau trifft jedes Prompt-Log, das Sie schon geschrieben haben.

Die Einstiegsanleitung für das Gateway selbst bleibt die LiteLLM-Anleitung fürs Enterprise-Setup. Was Foundry im Azure-Baum ist, bleibt der Foundry-Leitfaden. Hier geht es nur um den Schnitt.

Was wir in der ersten Woche tatsächlich anfassen

Kein Terraform-Roman. Vier Dateien, vier Fragen.

Die erste Datei ist die Modell-Liste im Gateway. Steht foundry-eu drin, oder zeigt die Fach-App noch auf den Portal-Key? Wenn beides parallel läuft, haben Sie keinen Schnitt. Sie haben eine Schonfrist, die niemand beendet.

Die zweite Datei ist der Deployment-Typ. DataZoneStandard oder regional, aufgeschrieben, nicht „steht in Frankfurt“. Wir haben schon Tenants gesehen, in denen das Portal EU sagt und das Deployment Global meint. Der Unterschied fällt erst auf, wenn jemand das Prompt-Log liest.

Die dritte Datei ist das Budget. Foundry hat eigene Caps. Das Gateway hat eigene Caps. Beide zu setzen und keines zu lesen ist Theater. Eine Zahl, ein Owner, eine Mail wenn sie reißt.

Die vierte Datei ist der Audit-Export. Purview für den Microsoft-Pfad. Gateway für App und Team. Wenn nur eines von beiden existiert, können Sie die andere Hälfte nicht erklären.

Das ist unspektakulär. Es ist auch der Grund, warum ein Portal-PoC nach sechs Wochen immer noch ein PoC ist.

Wir sehen bei Kunden denselben Ablauf: erste Woche Modelle, zweite Woche Entsetzen über den zweiten Key, dritte Woche die Frage nach uns. Früher den Schnitt zu setzen kostet weniger Diskussion als später drei Ausnahmen einzusammeln.

Drei Fehler, die wir nicht noch einmal mitmachen

Erstens Foundry als Chat-Ersatz für Copilot. Dann sitzen dieselben 150 Power-User in einer zweiten Oberfläche und die Governance verdoppelt sich. Office bleibt Office.

Zweitens LiteLLM als Foundry-Killer. Dann erklären Sie dem Microsoft-Haus, warum der Katalog, den es schon bezahlt, plötzlich Feind ist. Der Katalog bleibt. Die Plane kommt davor.

Drittens der stille Global-Default. „Wir stellen später um“ heißt: jedes bisherige Log ist die falsche Geographie. Stellen Sie den Typ in Woche eins.

Ein vierter Fehler, seltener, aber teuer: Purview einschalten und das Gateway-Log weglassen, oder umgekehrt. Prüfer fragen nach dem Prompt der Fach-App. Das Portal kennt die App oft nicht beim Namen.

Keine dieser Fallen braucht eine neue Lizenz. Sie brauchen eine Entscheidung, wer Keys besitzt.

Wenn Sie unsicher sind, ob der Tenant schon „fertig“ ist: fertig ist er, sobald ein Modell antwortet. Fertig für die Fläche ist er erst, wenn eine App den Katalog nur noch über das Gateway sieht. Dazwischen liegt die Schonfrist, in der jeder einen eigenen Key rechtfertigt. Die Schonfrist endet nicht von allein.

Ein praktischer Test dauert zehn Minuten. Rufen Sie denselben Foundry-Endpoint einmal direkt und einmal über LiteLLM auf. Wenn die Traces nicht in demselben Spend-Report landen, haben Sie zwei Kontrollen. Zwei Kontrollen heißen: die teurere gewinnt, die andere wird vergessen. Wir wollen eine. Den Test können Sie ohne uns machen. Wenn er rot ist, ist der Check die nächste Stunde, nicht ein weiteres Portal-Projekt. Drei Wörter mehr Wahrheit als jede Folie.

Häufig gestellte Fragen

Azure AI Foundry oder LiteLLM: was soll ich kaufen?

Beides an einer Plane, wenn Azure schon da ist. Foundry ist Katalog und Laufzeit. LiteLLM ist Keys und Verbrauch. Ein Entweder-oder erzeugt zwei Policies. Pexon Consulting baut den Schnitt, nicht die Glaubensfrage.

Was kostet die Anbindung von Azure AI Foundry an das Gateway?

Es gibt keinen Listenpreis in diesem Artikel. Der Einstieg ist der Plattform-Check in 45 Minuten. Foundry-Token rechnet Azure. Die Anbindung bepreist Sales nach Scope.

Ist Azure AI Foundry eine Copilot-Alternative?

Nein. Copilot bleibt Office. Foundry bleibt Fläche. Wer ersetzen will, gehört auf die Copilot-Ersatz-Seite, nicht hierher. Hybrid heißt: Seat in M365, Fachdaten am Gateway.

Geht Foundry ohne Gateway?

Ja. Dann fehlt das Inventar über Apps. Sobald Chat und Fachanwendungen denselben Katalog nutzen, wird das Portal zur Ausnahmeverwaltung.

Für wen lohnt der Schnitt nicht?

Für Teams ohne Azure. Für Häuser, in denen wirklich nur Office die KI ist. Für alle, die Foundry als zweite Marke neben der offenen Plattform aufbauen wollen. Das widerspricht der Mutter.

Nächster Schritt

Verwandte Themen