Azure AI Foundry vs Bedrock vs On-Prem GPU: DACH-Decision-Matrix

Pexon Consulting | 11 Min. Lesezeit | 15.06.2026

TL;DR

Azure AI Foundry vs Bedrock ist 2026 die häufigste Cloud-Plattform-Frage für deutsche Mittelständler — On-Prem-GPU ist der dritte Pfad für Sovereignty-getriebene Setups. Pexon Consulting liefert eine kompakte Decision-Matrix für DACH-Kunden: Foundry für Microsoft-affine Stacks mit Sweden-Central-Region, Bedrock für Multi-Modell-Workloads mit Frankfurt-Region, On-Prem für höchste Souveränitäts- oder Defence-Anforderungen. Die Wahl entscheidet über 6-12 Monate Time-to-Production.

Was die drei Pfade strukturell unterscheidet

Wir hören das aktuell in fast jedem CISO-Erstgespräch mit Mittelständlern: Drei Cloud- bzw. Infrastruktur-Optionen liegen auf dem Tisch, jede mit eigenen Stärken. Die Diskussion springt zwischen Kostenvergleich, Compliance und Modell-Verfügbarkeit, ohne dass klar wird, welche Dimensionen für den konkreten Use-Case zählen.

Azure AI Foundry (vormals Azure AI Studio plus Modell-Katalog) ist Microsofts Plattform-Antwort für AI-Workloads. Modell-Marketplace mit GPT-4o, o3, Claude, Llama, Phi, Mistral. Tiefe Integration in das Microsoft-Ökosystem — Entra ID, Foundation Model Catalog, Azure OpenAI Service als Sub-Komponente. Für deutsche Kunden ist Sweden Central die typische Region, Switzerland North für höhere Souveränitäts-Anforderungen.

AWS Bedrock ist AWS‘ Antwort auf den gleichen Markt. Frontier-Stärke: Anthropic Claude (alle Versionen verfügbar, Anthropic ist AWS-Investor), plus Llama, Mistral, Cohere. Kein GPT, kein o3. Frankfurt-Region (eu-central-1) ist DSGVO-Standard, Irland (eu-west-1) als Backup. Cross-Region-Inference innerhalb der EU für Lastspitzen.

On-Prem GPU ist der Sovereignty-Pfad. Eigene Hardware, eigenes Rechenzentrum oder Managed-Hosting bei deutschem Anbieter. Open-Source-Modelle (Qwen 3.5, Llama 3.3, Mistral) auf H100- oder L40S-Clustern. Keine US-Cloud-Anteile in der Verarbeitungs-Kette. Mehr im Pattern für sovereign-konforme AI-Plattformen.

Die drei Pfade lösen unterschiedliche Probleme. Foundry und Bedrock konkurrieren um Speed-to-Production und Modell-Vielfalt. On-Prem konkurriert um Souveränität und Cost-Stabilität bei hohem Volumen.

Wann Azure AI Foundry gewinnt

Drei klare Konstellationen.

Konstellation 1: Microsoft-affiner Stack. Wenn euer M365 läuft, Entra ID euer IdP ist, Apps in Azure deployed sind, und ihr ohnehin Copilot Studio oder Power Platform nutzt, ist Foundry die natürliche Erweiterung. Anbindung über die Standard-SDKs ist 1-2 Tage, Compliance-Lage über bestehendes Microsoft-AVV abgedeckt. Mehr zur End-to-End-Architektur eines Microsoft-AI-Stacks.

Konstellation 2: GPT-Familie als Modell-Wahl. Wenn ihr aus Qualitäts- oder Use-Case-Gründen explizit GPT-4o oder o3 nutzen wollt, ist Foundry der einzige Pfad mit EU-Region. Bedrock hat kein GPT, On-Prem hat kein Frontier-LLM.

Konstellation 3: Identity-Propagation über Multi-Backend-Workflows. Wenn eure Agents User-Identity in mehrere Microsoft-Backend-Systeme propagieren müssen (SharePoint, Dynamics, Power Platform), ist die native Foundry-Integration deutlich angenehmer als bei Bedrock-zu-Microsoft-Brücken. Mehr im Pattern für User-Identity-Pass-Through über mehrere Systeme.

Wann AWS Bedrock gewinnt

Drei klare Konstellationen.

Konstellation 1: Claude als Primär-Modell. Wenn Claude Opus 4.7 oder Sonnet 4.6 euer Hauptmodell ist (häufig bei Coding-Workloads, Complex-Reasoning, Multi-Agent-Setups), bietet Bedrock die direkteste Beziehung — Anthropic ist AWS-Investor, neue Claude-Modelle landen oft zuerst auf Bedrock in der EU. Foundry-Marketplace bietet Claude auch, aber mit etwas Verzögerung.

Konstellation 2: AWS-affiner Backend-Stack. Wenn eure Apps auf EKS laufen, ihr S3 und Aurora nutzt, eure DBAs AWS RDS pflegen, ist Bedrock die natürliche Erweiterung. Pattern ähnlich zur Foundry-Argumentation, nur AWS-spezifisch.

Konstellation 3: KRITIS-Setups mit BSI-C5-Anforderungen. Beide Hyperscaler haben BSI-C5-Testat, aber AWS hat in einigen Mittelstand-KRITIS-Setups die etwas einfachere Audit-Story durch detailliertere Sub-Auftragsverarbeitungs-Doku. Wir bauen produktiv beide Pfade — die Wahl hängt vom konkreten Audit-Profil ab.

Wann On-Prem GPU der einzige Weg ist

Vier Konstellationen, in denen On-Prem strukturell notwendig wird.

Konstellation 1: VS-NfD oder höher. Verschlusssachen-Workflows in Behörden, Defence, KRITIS-Tier-1. Beide Hyperscaler sind nicht VS-NfD-zertifiziert. Mehr zur Defence-Grade-Plattform mit Air-Gap-Fähigkeit.

Konstellation 2: BaFin-Tier-1-Banking. Bei großen Banken mit strengster Drittparteien-Bewertung wird der US-Hyperscaler-Pfad schwierig. Wir sehen das in 15-20% der Banking-Erstgespräche.

Konstellation 3: Geopolitisch-strategische Vorstands-Entscheidung. Auch ohne formale Regulator-Vorgabe wollen einige Vorstände US-CLOUD-Act strukturell ausschließen. Häufig bei staatlichen oder halbstaatlichen Setups.

Konstellation 4: Hohes konstantes Volumen. Bei monatlichen Modell-Kosten über 8.000 EUR auf Hyperscaler wird On-Prem-Hardware (250-450k EUR Investment) wirtschaftlich kompetitiv. Break-even typisch nach 24-36 Monaten.

Wie leicht diese Schwelle unterschätzt wird, zeigt ein Fall aus unserer eigenen Vertriebspraxis: Mitte 2026 entschied sich ein Unternehmen bei einem Projektvolumen von 24.000 EUR für den Aufbau eigener GPU-Kapazität statt einer API-Anbindung an Claude. Rechnerisch liegt ein solches Projekt weit unter der 8.000-EUR-Monatsschwelle, ab der sich eigene Hardware zu tragen beginnt: Kapitalbindung und laufender Betriebsaufwand stehen dann in keinem Verhältnis zur Workload. Vergleichbare Datenkontrolle liefert in dieser Größenordnung der Betrieb über Bedrock mit EU-Profil (Einstieg eu-central-1), ohne Vorab-Investment in Hardware.

Hybrid-Setups als pragmatische Antwort

Bei den meisten Mittelständlern, die wir 2026 begleiten, ist die ehrliche Antwort weder Foundry noch Bedrock noch On-Prem allein, sondern ein klar strukturierter Hybrid.

Pattern aus drei Pexon-Kunden: Foundry für M365-integrierte Workflows (Customer-Support-Bots mit SharePoint-Anbindung, Copilot-Studio-Erweiterungen), Bedrock für Claude-zentrierte Workloads (Coding-Agents, Document-Intelligence-Pipelines), On-Prem-GPU für die 5-10% sensitive Workloads. Gateway-Layer (LiteLLM) routet je nach Use-Case und Daten-Klassifikation. Mehr zum LLM-Routing-Pattern über mehrere Provider.

Cost-Profil: bei einem 1.500-Mitarbeiter-Setup typisch 60% Foundry, 25% Bedrock, 15% On-Prem. Die Hybrid-Komplexität kostet ca 12-18% Operations-Overhead, lohnt sich aber bei klar getrennten Use-Case-Profilen.

Pexon-Decision-Sprint

Wir liefern die Infrastruktur-Entscheidung als 2-Wochen-Sprint mit klarem Outcome.

Woche 1: Use-Case-Inventur und Anforderungs-Mapping. Welche Workloads, welche Modelle, welche Compliance-Stufen, welches Volumen. Klassifikation in Foundry-Bedrock-OnPrem-Eignung.

Woche 2: Live-Benchmark. Wir setzen die für eure Use-Cases relevanten Komponenten auf und messen Latenz, Cost, Modell-Qualität gegen ein Eval-Set aus euren echten Anfragen.

Output: Entscheidungs-Vorlage mit klarer Empfehlung pro Workload-Klasse, TCO-Rechnung über 36 Monate, Migrations-Pfad und Risiko-Analyse. Azure Migration in die Cloud

Investment 22-34k EUR Sprint-Festpreis.

Häufig gestellte Fragen

Welche Region ist für deutsche DSGVO-Anforderungen optimal?

Bei Foundry: Sweden Central als Hauptwahl, Switzerland North bei höchster Souveränitäts-Anforderung. Bei Bedrock für Claude: das EU-Profil (Einstieg eu-central-1, Verarbeitung in EU-Regionen), als Einzelregion nur Stockholm oder Irland. Beide haben Microsoft- bzw. AWS-AVV-Standard, BSI-C5-Testat und ISO 27001/27017/27018.

Wie verhält sich Google Vertex AI?

Vertex AI hat für Gemini auch europe-west3 (Frankfurt), für Claude die EU-Multi-Region und für ältere Claude-Modelle Belgien (europe-west1). Für Gemini-zentrierte Use-Cases vergleichbar zu Foundry/Bedrock. Wir sehen aktuell wenig Mittelstand-Nachfrage nach Vertex — die meisten DACH-Kunden bleiben bei Microsoft- oder AWS-Stacks. Bei Gemini-Bedarf empfehlen wir die Hybrid-Variante mit Vertex als Drittpfad.

Was bei sehr hohem Volumen wirtschaftlich?

Faustregel: Bei monatlichen Modell-Token-Kosten über 8.000 EUR fängt On-Prem an, wirtschaftlich zu werden. Bei 12.000-15.000 EUR/Monat ist On-Prem typisch günstiger über 36 Monate. Konkrete Rechnung hängt von Auslastungs-Profil und Strom-Kosten ab. Mehr im Pattern für On-Prem-LLM-Setups.

Wie schwierig ist die Migration zwischen den Pfaden?

Mit sauberem Abstraktions-Layer (LiteLLM oder ähnlicher Provider-Router) typisch 2-4 Wochen Engineering pro Workload. Ohne sauberen Layer (direkte SDK-Calls in Anwendungs-Code) kann eine Migration 8-12 Wochen dauern. Wir empfehlen LiteLLM oder einen ähnlichen Router von Tag 1 — entkoppelt die App-Schicht von der Provider-Wahl.

Was bei multi-LLM-Strategien?

Bei Mittelstand-Setups mit mehreren Modellen (z.B. Claude für Coding, GPT für Multimodal, Llama on-prem für sensitive) ist die natürliche Architektur ein Gateway-Layer plus Use-Case-Routing. Gateway entkoppelt App vom konkreten Provider, Routing-Logik basiert auf Daten-Klassifikation und Use-Case-Typ.

Nächster Schritt

Wenn euer Engineering-Team gerade zwischen Foundry, Bedrock und On-Prem entscheiden muss: Wir machen einen 45-Minuten-Call mit dir und idealerweise dem CISO oder Engineering-Lead. Du beschreibst Use-Case-Profile und Compliance-Anforderungen, wir skizzieren den 2-Wochen-Decision-Sprint mit Festpreis.

Verwandte Themen