Pexon Consulting | 10 Min. Lesezeit | 08.03.2026
TL;DR
Azure AI Foundry — seit November 2025 unter dem Namen Microsoft Foundry — ist Microsofts zentrale Plattform für Enterprise-KI. Über 80.000 Unternehmen nutzen sie, 80% der Fortune 500. Pexon Consulting ist Microsoft Partner mit 80 Spezialisten und hat über 30 KI-Projekte auf Azure AI Foundry umgesetzt — von RAG-Systemen über Chatbots bis zu Document Intelligence Pipelines. In diesem Leitfaden erklären wir, was die Plattform kann, was sie kostet und wo die Fallstricke liegen. Wer Foundry im eigenen Tenant produktiv setzen will, findet die Umsetzung auf der Azure AI Foundry Beratung.
Was Azure AI Foundry eigentlich ist — und was nicht
Wenn Sie in den letzten zwei Jahren versucht haben, Microsofts KI-Angebot zu verstehen, sind Sie nicht allein. Azure OpenAI Service, Azure AI Studio, Azure AI Services, Azure Machine Learning — die Produktnamen haben sich schneller geändert als die Dokumentation hinterherkam. Hier die Kurzfassung: Azure AI Foundry ist die Zusammenführung von allem. Was früher Azure AI Studio hieß, wurde im November 2024 zu Azure AI Foundry umbenannt. Ein Jahr später, im November 2025, hat Microsoft den Namen nochmal geändert — zu Microsoft Foundry. Der technische Unterbau ist derselbe geblieben. Die Plattform besteht aus vier Teilen: Das Foundry Portal ist die Web-Oberfläche. Hier wählen Sie Modelle aus, testen Prompts, konfigurieren RAG-Pipelines und überwachen Deployments. Für IT-Leiter ist das die Oberfläche, die sie bei Demos sehen. Das Foundry SDK ist die Programmierschnittstelle. Python, C#, JavaScript — alles was Ihre Entwickler brauchen, um KI in bestehende Anwendungen zu integrieren. Seit Februar 2026 ist die REST API v1 GA (General Availability), was für Produktionsumgebungen wichtig ist. Der Foundry Agent Service ermöglicht den Bau von KI-Agenten, die Werkzeuge nutzen, Datenbanken abfragen und mehrstufige Aufgaben lösen können. Neu seit Anfang 2026: Durable Agent Orchestration — Agenten, die Neustarts überleben und tagelang auf menschliche Freigaben warten können. Der Model Catalog bietet Zugriff auf über 11.000 Modelle. Nicht nur OpenAI (GPT-4o, o3, GPT-image-1.5), sondern auch Anthropic Claude, Meta Llama, Mistral, Cohere und dutzende weitere. Über 1.500 Kunden nutzen bereits sowohl OpenAI- als auch Anthropic-Modelle auf der Plattform.
Warum Unternehmen von der Vielfalt profitieren — und wann sie schadet
Der Model Catalog klingt nach einem Vorteil. 11.000 Modelle, alles in einer Plattform. In der Praxis erleben wir bei unseren Kunden aber oft das Gegenteil: Zu viele Optionen führen zu Verwirrung. Ein Versicherungsunternehmen, mit dem wir gearbeitet haben, hatte nach sechs Monaten vier verschiedene Modelle im Einsatz — GPT-4o für den Chatbot, Claude für die Dokumentenanalyse, Llama für interne Tests und ein Fine-Tuned Modell für die Schadensklassifikation. Die Kosten waren dreimal so hoch wie nötig, weil niemand die Token-Preise der verschiedenen Modelle verglichen hatte. Unsere Empfehlung: Starten Sie mit einem Modell. GPT-4o ist für die meisten Enterprise-Use-Cases die richtige Wahl — nicht weil es das beste ist, sondern weil es das breiteste Einsatzspektrum hat und die Azure-Integration am tiefsten geht. Fügen Sie ein zweites Modell nur hinzu, wenn ein konkreter Use Case es erfordert: Claude 4 für lange Dokumente (200k Token Context), Cohere Rerank für RAG-Pipelines, ein kleines Modell wie Phi-4 für Edge-Deployments.
PTU oder Pay-as-you-go: Die Kostenfrage
Die häufigste Frage in Erstgesprächen. Und die Antwort ist weniger kompliziert als Microsoft sie darstellt. Pay-as-you-go rechnet pro Token ab. Sie zahlen nur, was Sie verbrauchen. Das ist ideal für Prototypen, Piloten und Workloads unter 1.800 EUR pro Monat. Der Nachteil: Keine garantierte Kapazität. Wenn Azure ausgelastet ist, bekommen Sie HTTP 429 Errors (Rate Limiting). Provisioned Throughput Units (PTU) reservieren dedizierte Kapazität. Sie zahlen einen festen Stundensatz pro PTU, unabhängig von der tatsächlichen Nutzung. Das Minimum liegt bei etwa 2.448 USD pro Monat. Dafür bekommen Sie garantierte Latenz und keine Rate Limits. Die Faustregel aus unseren Projekten: Sobald Ihre monatlichen Token-Kosten 1.800 EUR überschreiten, fahren Sie mit PTU günstiger. Ein Fertigungsunternehmen mit einem internen Wissens-Chatbot für 500 Nutzer spart mit PTU-Reservierung etwa 30-40% gegenüber Pay-as-you-go — vorausgesetzt, die Auslastung liegt konstant über 60%. Seit 2026 gibt es drei PTU-Varianten: Regional (günstigste Latenz), Data Zone (Daten bleiben in der EU — relevant für DSGVO) und Global (niedrigster Preis, aber Daten können in andere Regionen fließen). Für deutsche Unternehmen empfehlen wir Data Zone Provisioned mit der Region Sweden Central oder West Europe.
Foundry Local: KI ohne Cloud
Das Feature, das bei regulierten Kunden die meiste Aufmerksamkeit bekommt: Foundry Local. Seit Anfang 2026 können Sie Microsofts KI-Modelle vollständig on-premise betreiben — auf eigener Hardware, ohne Internetverbindung, mit APIs die identisch zur Cloud-Version sind. Das löst ein echtes Problem. Banken unter BaFin-Aufsicht, Versicherungen mit DORA-Anforderungen, Energieversorger mit KRITIS-Einstufung — für diese Unternehmen war die Cloud-Abhängigkeit bisher ein Blocker. Mit Foundry Local entfällt dieses Argument. In der Praxis ist Foundry Local allerdings kein Selbstläufer. Sie brauchen GPU-Hardware (mindestens NVIDIA A100, besser H100), ein Team das die Infrastruktur betreibt, und die Modellauswahl ist eingeschränkter als in der Cloud. Wir setzen Foundry Local bei unseren Kunden aus Fertigung und Versicherung ein, wenn regulatorische Anforderungen es erzwingen — nicht als Default. Alternativ bieten wir Private KI-Infrastruktur mit Open-Source-Modellen wie Llama 3 oder Mistral an, die bei vergleichbarer Leistung deutlich günstiger im Betrieb sind: 0,38 EUR pro User pro Monat statt 15-45 EUR bei Cloud-APIs.
RAG auf Azure AI Foundry: So bauen wir es
Retrieval Augmented Generation ist der Use Case, den wir am häufigsten umsetzen. Ein KI-System, das auf Ihre Unternehmensdaten zugreift und präzise Antworten liefert — ohne Halluzinationen, mit Quellenangabe. Die Architektur auf Azure AI Foundry sieht so aus: Ihre Dokumente — PDFs, Word-Dateien, SharePoint-Inhalte, Confluence-Seiten — werden durch Azure AI Document Intelligence extrahiert und in Chunks aufgeteilt. Diese Chunks werden von einem Embedding-Modell (text-embedding-3-large) vektorisiert und in Azure AI Search als Vektordatenbank gespeichert. Wenn ein Nutzer eine Frage stellt, sucht Azure AI Search die relevantesten Chunks (Hybrid Search: Vektor + Keyword). Ein Reranker (Cohere Rerank 4, seit kurzem verfügbar) sortiert die Ergebnisse nach Relevanz. Dann generiert GPT-4o eine Antwort basierend auf den gefundenen Chunks — mit Quellenangabe und Konfidenz-Score. Das klingt straightforward, und technisch ist es das auch. Die Schwierigkeit liegt im Tuning: Chunk-Größe, Overlap, Reranking-Schwellenwert, System-Prompt. In unseren RAG-Projekten investieren wir etwa 40% der Projektzeit in dieses Tuning — weil die Antwortqualität direkt davon abhängt. Ein konkretes Beispiel: Für einen Kunden aus der Energiebranche haben wir ein RAG-System auf 12.000 technische Dokumente (DIN-Normen, Wartungshandbücher, Prüfprotokolle) gebaut. Die Servicetechniker fragen das System per Teams-Chat und bekommen in unter 3 Sekunden die relevante Passage aus dem richtigen Dokument. Die Suchzeit pro Anfrage sank von durchschnittlich 15 Minuten auf unter 30 Sekunden.
Sicherheit und Compliance: Was IT-Leiter wissen müssen
Azure AI Foundry ist ISO 27001, SOC 2 und DSGVO-konform. Das steht in jedem Microsoft-Deck. Was nicht drin steht: Die Verantwortung für die KI-spezifischen Compliance-Themen liegt beim Kunden. Drei Punkte, die wir in jedem Projekt klären: Datenhaltung. Bei Standard-Deployments (Global) können Ihre Prompts und Antworten in jeder Azure-Region verarbeitet werden. Für DSGVO-Compliance brauchen Sie ein Data Zone Deployment mit expliziter Region-Auswahl (West Europe oder Sweden Central). Das ist ein Konfigurationsschritt, den viele Teams übersehen. Für Claude-Modelle in Foundry gilt das nicht: Dort gibt es keine EU-Datenzone, und Anthropic ist selbst Verarbeiter. Content Safety. Azure AI Foundry hat einen integrierten Content Safety Filter, der problematische Inhalte blockiert. Der Filter ist standardmäßig aktiv und lässt sich in vier Stufen konfigurieren. Für Enterprise-Use-Cases empfehlen wir die mittlere Stufe — streng genug für Compliance, aber nicht so aggressiv, dass legitime Anfragen blockiert werden. EU AI Act. Seit August 2025 gelten die Transparenzpflichten des EU AI Act. Wenn Sie KI-generierte Inhalte an Endkunden ausgeben — Chatbot-Antworten, automatische E-Mails, generierte Berichte — müssen diese als KI-generiert gekennzeichnet werden. Azure AI Foundry bietet dafür keine automatische Lösung. Das müssen Sie in Ihrer Anwendungsschicht implementieren. Wir haben dafür bei Pexon Consulting ein Compliance-Template entwickelt, das Kennzeichnung, Logging und Content Safety in einem Azure Consulting Paket abdeckt.
Was Azure AI Foundry kostet — realistisch
Microsoft hat die Preisseite bewusst komplex gestaltet. Hier die Zahlen, die Sie für eine Budget-Planung brauchen. Für einen typischen Enterprise-Chatbot mit RAG (GPT-4o, Azure AI Search, Document Intelligence) rechnen wir mit 800-2.500 EUR pro Monat an Azure-Kosten — je nach Anzahl der Nutzer und Dokumente. Die Projektkosten für Setup und Integration liegen bei 15.000-50.000 EUR. Der Azure AI Search Service — die Vektordatenbank — ist oft der größte Kostentreiber. Der Standard-Tier (S1) kostet etwa 250 EUR pro Monat. Für größere Dokumentenbestände (>100.000 Seiten) brauchen Sie S2 oder S3, was schnell auf 1.000-3.000 EUR pro Monat steigt. Document Intelligence für die Dokumentenextraktion kostet 10 USD pro 1.000 Seiten im Read-Modus, 50 USD pro 1.000 Seiten im Layout-Modus. Für ein einmaliges Onboarding von 50.000 Dokumenten sind das 500-2.500 USD. Die Modell-Kosten (GPT-4o) liegen bei Pay-as-you-go bei etwa 2,50-5,00 USD pro 1 Million Token (Input). Bei 500 Nutzern mit durchschnittlich 10 Anfragen pro Tag sind das 200-400 EUR pro Monat.
Häufig gestellte Fragen
Was ist der Unterschied zwischen Azure AI Foundry und Microsoft Foundry? Es ist dasselbe Produkt. Microsoft hat Azure AI Foundry im November 2025 in Microsoft Foundry umbenannt — zum dritten Mal in zwei Jahren (Azure AI Studio → Azure AI Foundry → Microsoft Foundry). Die Funktionalität hat sich beim Rebranding nicht geändert. Die alte Dokumentation unter dem Namen Azure AI Foundry ist weiterhin gültig. In der Praxis verwenden die meisten Teams noch den Namen Azure AI Foundry, weil er spezifischer ist. Was kostet Azure AI Foundry für ein Enterprise-Projekt? Die Azure-Kosten für einen typischen RAG-Chatbot liegen bei 800-2.500 EUR pro Monat (GPT-4o + Azure AI Search + Document Intelligence). Dazu kommen einmalige Projektkosten von 15.000-50.000 EUR für Setup, Integration und Tuning. Pexon Consulting bietet einen 6-Wochen-Piloten ab 15.000 EUR an, der einen funktionierenden Prototyp liefert. Azure AI Foundry vs. AWS Bedrock: Welche Plattform ist besser? Beide Plattformen bieten Multi-Model-Zugang (OpenAI, Anthropic, Meta, Mistral). Azure AI Foundry hat den Vorteil der tiefen Microsoft-Integration — Active Directory, Teams, SharePoint, Microsoft 365. Wenn Ihr Unternehmen bereits im Microsoft-Ökosystem arbeitet, ist Azure AI Foundry die natürlichere Wahl. AWS Bedrock hat Vorteile bei der Sagemaker-Integration und bei Kunden, die bereits auf AWS standardisiert sind. Über 80.000 Unternehmen nutzen Azure AI Foundry, was das größere Enterprise-Ökosystem darstellt. Brauche ich PTU für meinen KI-Use-Case? Kommt drauf an. PTU (Provisioned Throughput Units) reservieren dedizierte GPU-Kapazität und eliminieren Rate Limits. Das lohnt sich ab ca. 1.800 EUR monatlichen Token-Kosten oder wenn Sie garantierte Latenz brauchen (unter 2 Sekunden Antwortzeit). Für Prototypen und Piloten reicht Pay-as-you-go. Für produktive Chatbots mit 500+ Nutzern empfehlen wir PTU mit Data Zone Deployment für DSGVO-Konformität. Ist Azure AI Foundry DSGVO-konform? Ja, aber mit Einschränkungen. Die Plattform ist ISO 27001 und SOC 2 zertifiziert. Für DSGVO-Konformität müssen Sie ein Data Zone Deployment wählen (West Europe oder Sweden Central), den Content Safety Filter aktivieren und die Datenverarbeitung im Auftragsverarbeitungsvertrag (AVV) mit Microsoft regeln. Seit dem EU AI Act (August 2025) müssen KI-generierte Inhalte zusätzlich als solche gekennzeichnet werden — das implementiert Azure AI Foundry nicht automatisch.
Nächster Schritt
Verwandte Themen
- Azure AI Foundry Beratung und Implementierung
- RAG und KI-Dokumentensuche auf Azure
- Private KI-Infrastruktur On-Premise
- Enterprise KI-Chatbot Implementierung
- Azure Consulting für Enterprise-Workloads
Für Claude gelten in Foundry eigene Regeln: Anthropic ist dort unabhängiger Verarbeiter, und eine EU-Datenzone gibt es Stand September 2026 nicht. Was das praktisch heißt, steht in Claude auf Microsoft Foundry, die Alternativen dazu in unserer Übersicht der vier Bezugswege.
