Azure AI Stack: Foundry, AI Search, Doc Intelligence, AKS-Ingestion

Pexon Consulting | 12 Min. Lesezeit | 10.06.2026

TL;DR

Azure AI Stack Enterprise ist 2026 die häufigste Cloud-Architektur, die wir bei Microsoft-affinen Mittelständlern bauen: Eine integrierte End-to-End-Plattform aus Microsoft Foundry (LLM-Hosting), Azure AI Search (Vector + Hybrid Retrieval), Azure Document Intelligence (OCR), AKS mit Prefect-Ingestion-Pipelines, Blob Storage für Rohdaten, Anbindung an bestehendes DWH und SAP. Pexon Consulting baut diese Stacks als 12-16-Wochen-Sprint mit klaren DSGVO-Patterns und Production-Hardening.

Warum Azure als integrierte Plattform sinnvoll ist

Wir hören das in fast jedem CIO-Erstgespräch mit Mittelständlern: „Wir sind Microsoft-Shop, kann der KI-Stack auf Azure laufen?“ Die ehrliche Antwort ist: Ja, sehr gut sogar — wenn man die Services richtig kombiniert. Microsoft hat 2025/2026 das AI-Portfolio konsolidiert (Microsoft Foundry, Azure AI Search, Document Intelligence) und mit den bestehenden Plattform-Services (AKS, Blob Storage, Synapse) zu einem stimmigen Stack verwoben.

Die Vorteile des integrierten Azure-Stacks gegenüber Multi-Cloud-Setups: Erstens eine Vertragsbeziehung mit klaren AVV und EU-Region-Garantien. Zweitens eine Identity-Welt mit Entra ID, das ihr ohnehin nutzt. Drittens eine Netzwerk-Architektur mit Private Link, Service Endpoints, klaren VNet-Patterns. Viertens integrierte Observability über Azure Monitor und Application Insights.

Nachteile: Modell-Diversität ist eingeschränkt im Vergleich zu Multi-Provider-Setups (mehr im LiteLLM Router Blog). Und Azure-Service-Preise summieren sich. Wir behandeln beide Themen ehrlich in der Architektur-Phase.

Die sieben Layer im Detail

Layer 1: LLM-Hosting via Microsoft Foundry. Foundry hostet seit 2025 nicht nur OpenAI-Modelle, sondern auch Claude (ohne EU-Datenzone) und Open-Source-Modelle (Llama, Phi, Mistral). Für deutsche Kunden empfehlen wir die Microsoft Foundry „Data Zone (EU)“ Variante — Verarbeitung garantiert in EU-Region, Microsoft-DPA gilt, BSI-C5-Testat vorhanden. Für Claude gilt das nicht: Dort gibt es keine EU-Datenzone, und Anthropic ist selbst Verarbeiter.

Konkret nutzen wir typisch GPT-4o als Default-Modell für allgemeine Use-Cases, GPT-4o-mini für hochvolumige günstige Aufrufe (Klassifikation, Embedding-Generierung). Für Claude-spezifische Workloads (Coding-Agents, Computer Use) routen wir über Bedrock (EU-Profil) parallel — Hybrid-Setup mit LiteLLM als Router. Foundry Standalone ist für Setups, die rein Microsoft-stack wollen, die einfachere Wahl.

Layer 2: Retrieval via Azure AI Search. Azure AI Search bietet seit 2024 Hybrid-Retrieval (Vector + BM25 + Semantic Ranker) als integrierten Service. Das ersetzt den Selbst-Bau aus Postgres-pgvector plus BM25 plus Cross-Encoder, den wir in anderen Stacks oft empfehlen. Vorteil: Managed Service, skaliert automatisch, integrierte Sicherheits-Features.

Nachteil: Premium-Pricing. Bei großen Bestand-Indizes (1M+ Dokumente) wird AI Search schnell teuer (typisch 4.000-12.000 EUR pro Monat). Bei moderaten Volumen (10k-200k Dokumente) ist es preislich attraktiv und schneller produktiv als Selbst-Bau.

Layer 3: OCR via Azure Document Intelligence. Das ehemalige Form Recognizer ist seit 2024 unter dem neuen Namen positioniert und stark erweitert. Layout-API für allgemeine Dokumente, Pre-Built-Models für spezifische Doku-Typen (Rechnungen, Quittungen, IDs), Custom-Modelle für eigene Doku-Typen. Bei guten Scans 96-98% OCR-Genauigkeit auf typischen Mittelstand-Dokumenten.

Layer 4: Ingestion via AKS + Prefect. Hier kommt der eigene Engineering-Anteil. Daten müssen aus den Quellen (SAP, DWH, Blob Storage, externe APIs) in die richtigen Layer fließen — meist als Bronze (Raw) → Silver (Cleansed) → Gold (Business-Ready) Pattern. Wir nutzen Prefect 3.x als Orchestrator, weil es flexibler als Airflow ist und bessere Python-Integration hat.

Prefect läuft als Worker-Cluster auf AKS, Jobs werden parallel verteilt, Failover bei Worker-Crashes ist eingebaut. Wir bauen pro Datenquelle eine Standard-Flow-Definition mit Retry-Logic, Error-Handling, Logging in Application Insights.

Layer 5: Raw Storage via Azure Blob Storage. Bronze-Layer für unverarbeitete Daten — PDFs, Bilder, Excel-Dumps. Hot/Cool/Archive-Tiering nach Alter, Lifecycle Management automatisch konfiguriert. Verschlüsselung mit Customer-Managed Keys (CMK) für regulierte Branchen.

Layer 6: Strukturierte Daten via DWH. Bestehendes Synapse Analytics, Microsoft Fabric oder ein anderes Enterprise-DWH bleibt der Single-Source-of-Truth für strukturierte Geschäftsdaten. Anbindung an AI Search und LLM-Pipelines über OData oder SQL-Queries. Wir bauen typisch eine Caching-Schicht (Redis oder Postgres) dazu, damit häufige Queries nicht den DWH-Performance-Belastet wirken.

Layer 7: ERP via SAP. SAP bleibt das Buch- und Auftrags-System. Lese-Anbindung an die AI-Pipelines über OData (RAP-basiert in S/4HANA) oder RFC für ältere ECC-Setups. Schreib-Operationen nur über kontrollierte BAPI-Wrapper mit klaren Audit-Trails. Wir behandeln das tiefer im MCP-Server für SAP Blog.

Wie der Stack in der Praxis zusammenspielt

Beispiel-Use-Case: Customer-Support-Chatbot, der Anfragen aus dem internen Service-Portal beantwortet.

Schritt 1: User stellt eine Frage im Service-Portal. Frontend ruft den Chatbot-Endpunkt auf AKS auf.

Schritt 2: AKS-Service nimmt die Anfrage entgegen, läuft durch einen LangGraph-Agent (mehr im Agent-Routing-Blog).

Schritt 3: Der Agent ruft Azure AI Search für die Wissensbasis-Lookup. AI Search hat die Service-Handbücher, FAQs und historischen Support-Tickets indiziert. Hybrid-Retrieval gibt Top-5 relevante Chunks zurück.

Schritt 4: Bei kunden-spezifischen Fragen ruft der Agent SAP über einen MCP-Server (Read-only). Kundendaten, offene Bestellungen, Service-Verträge.

Schritt 5: Der Agent ruft Foundry (GPT-4o) für die Antwort-Generierung. Kontext sind die AI-Search-Treffer plus die SAP-Daten plus die Konversations-Historie.

Schritt 6: Antwort wird zurückgegeben, Trace landet in MLflow (mehr im MLflow Tracing Blog).

Schritt 7: Parallel: Prefect-Flow auf AKS aktualisiert nightly die AI-Search-Indizes mit neuen Service-Handbüchern aus Blob Storage und neuen FAQs aus dem DWH.

Pexon-Sprint-Setup

Wir liefern den vollständigen Azure-AI-Stack als 12-16-Wochen-Sprint mit festem Preis.

Wochen 1-3: Architektur-Workshop mit IT-Sicherheit, Datenschutz, Compliance. Foundation-Setup mit Foundry, AI Search, Document Intelligence, AKS-Baseline (siehe auch unser AKS-für-regulierte-Branchen-Blog für KRITIS/BaFin-Setups).

Wochen 4-7: Prefect-Ingestion-Pipelines aufbauen. Source-System-Anbindungen (Blob Storage, DWH, SAP). Bronze-Silver-Gold-Layer-Definition. Erste Test-Ingestion auf 5-10% des Bestand-Datenvolumens.

Wochen 8-11: Document Intelligence Pipelines für die wichtigsten Doku-Typen. AI Search-Index-Aufbau, Hybrid-Retrieval-Konfiguration, Semantic-Ranker-Tuning. Erste produktive Use-Cases live.

Wochen 12-16: Production-Hardening, Monitoring-Setup mit Application Insights plus MLflow, Schulung der Engineering-Truppe, Übergabe inkl. Runbooks und Architektur-Doku.

Investment 175-280k EUR je nach Scope und Daten-Komplexität. Typischer Use-Case-Stack-Umfang im ersten Sprint: 2-4 produktive Use-Cases (Customer Support, Document Intelligence, Knowledge Search, ein spezifisches Backoffice-Workflow).

Häufig gestellte Fragen

Was kostet der Azure-Bill monatlich für einen typischen Setup?

Bei einem Setup mit Foundry (moderate Nutzung), AI Search (50k-200k Dokumente), Document Intelligence (5.000-15.000 Dokumente pro Monat), AKS (3-Node-Cluster), Blob Storage (5-15 TB) liegen die Azure-Kosten typisch bei 12.000-25.000 EUR pro Monat. Plus DWH und SAP-Lizenzen, die ihr ohnehin habt.

Wie unterscheidet sich Foundry von Azure OpenAI Service?

Foundry ist das Dach-Portfolio, in dem Azure OpenAI Service ein Teil ist plus Anthropic Claude plus Open-Source-Modelle (Llama, Phi, Mistral). Wer historisch nur Azure OpenAI nutzt, kann jetzt über Foundry auch Claude einbinden — funktional ähnlich wie Bedrock, aber ohne EU-Datenzone, und Anthropic ist dort selbst Verarbeiter.

Lohnt sich Microsoft Fabric als zusätzlicher Layer?

Bei Kunden, die bereits Microsoft Fabric oder Synapse Analytics produktiv nutzen, integriert es sich nahtlos. Bei Kunden ohne bestehende Fabric-Investition empfehlen wir es nicht als Erstes — die Komplexität ist hoch. Wir behandeln das tiefer in einem separaten Fabric-Setup-Sprint.

Können wir das Mit Multi-Cloud-Setup kombinieren?

Ja, häufige Anforderung. Wir bauen Hybrid-Stacks: Azure als Haupt-Stack, Bedrock mit EU-Profil für Claude-spezifische Workloads, on-prem-vLLM für sensitive Workloads. LiteLLM als Router zwischen den Welten. Komplexer im Setup, aber strategisch oft sinnvoll.

Wie DSGVO-tragfähig ist der Stack wirklich?

Sehr tragfähig, wenn die Region-Konfiguration richtig gemacht ist. Foundry „Data Zone EU“, AI Search in einer EU-Region (Frankfurt oder Schweden), Document Intelligence in EU-Region, AKS Frankfurt, Blob Storage in EU-Region. Microsoft-DPA gegengezeichnet, AVV nach Art. 28 DSGVO, BSI-C5-Testat vorhanden. Für Banking unter BaFin und KRITIS-Branchen plus die regulierte AKS-Baseline.

Nächster Schritt

Wenn dein Mittelstand-Unternehmen Microsoft-affin ist und einen integrierten AI-Stack plant: Wir machen einen 60-Minuten-Architektur-Call mit dir und idealerweise dem CTO oder Plattform-Engineering-Lead. Du beschreibst die bestehende Azure-Landung und die geplanten Use-Cases, wir skizzieren den Stack mit Festpreis-Sprint.

Verwandte Themen