Pexon Consulting | 11 Min. Lesezeit | 31.03.2026
TL;DR
Private AI Banking bedeutet: eigene KI-Infrastruktur, die DORA, EU AI Act und BaFin-Anforderungen erfüllt — ohne Datenabfluss an Dritte. Pexon Consulting (80 Mitarbeiter, Microsoft Partner, ISO 27001) baut diese Plattformen auf Azure Confidential Computing mit SSO, Audit-Logging und Modell-Governance. Produktive Systeme laufen nach sechs Wochen, Betriebskosten ab 2.600 EUR/Monat.
Schatten-KI: Das 4,6-Millionen-Dollar-Problem
98% der Unternehmen haben Mitarbeiter, die unautorisierte KI-Tools nutzen. Im Banking und bei Versicherern ist das nicht nur ein IT-Problem — es ist ein Compliance-Verstoß.
Ein Sachbearbeiter, der Kundendaten in ChatGPT einfügt, um eine Schadenmeldung zusammenzufassen. Ein Analyst, der Kreditdaten durch ein kostenloses LLM schickt, um Muster zu finden. Das passiert heute, jeden Tag, in regulierten Finanzunternehmen. Die BaFin-Prüfer werden danach fragen.
Die Zahlen sind ernüchternd: Der IBM Cost of a Data Breach Report 2025 beziffert die durchschnittlichen Kosten eines Shadow-AI-bezogenen Datenlecks auf 4,63 Millionen US-Dollar — 670.000 Dollar mehr als bei konventionellen Breaches. Jedes fünfte Unternehmen hat bereits einen solchen Vorfall erlebt.
Die Alternative ist nicht „keine KI“. Das funktioniert 2026 nicht mehr. Die Alternative ist eine Private AI Plattform, die Ihre Mitarbeiter nutzen wollen — weil sie genauso komfortabel ist wie ChatGPT, aber auf Ihrer eigenen Infrastruktur läuft.
Was DORA und der EU AI Act konkret von Ihrer KI verlangen
Seit dem 17. Januar 2025 gilt DORA direkt. BAIT wird bis Ende 2026 vollständig abgelöst. Ab 02.12.2027 greifen die High-Risk-Regeln des EU AI Act für Kreditscoring und Versicherungs-Risikobewertung. Drei Regulierungen, ein Ziel: Sie müssen wissen, was Ihre KI tut, und das nachweisen können.
Wir haben die relevanten Anforderungen auf das reduziert, was für eine Private AI Plattform operativ bedeutsam ist:
DORA (Art. 5-15): IKT-Risikomanagement
- Jedes KI-System muss in Ihr IKT-Risikomanagement eingebettet sein — je nach Kritikalität für den Geschäftsprozess
- Drittparteienrisiko: Wenn Sie Azure OpenAI oder AWS Bedrock nutzen, ist Microsoft/Amazon ein IKT-Drittanbieter. Das bedeutet: Auslagerungsvertrag, Exit-Strategie, regelmäßige Überwachung
- Incident Reporting: KI-Ausfälle, die kritische Geschäftsprozesse betreffen, müssen innerhalb der DORA-Fristen gemeldet werden
EU AI Act: High-Risk-Klassifikation
Kreditscoring, Bonitätsprüfung und Risikobewertung bei Lebens- und Krankenversicherungen sind explizit als Hochrisiko-KI-Systeme eingestuft. Das bedeutet ab 02.12.2027:
- Risikomanagement-System für jedes Hochrisiko-KI-System
- Daten-Governance mit dokumentierter Datenherkunft
- Technische Dokumentation und Logging aller Ein-/Ausgaben
- Menschliche Aufsicht über automatisierte Entscheidungen
- Konformitätsbewertung — bei Kreditinstituten kombinierbar mit dem SREP-Verfahren der Bankenaufsicht
BaFin-Orientierungshilfe (Dezember 2025)
Die BaFin hat im Dezember 2025 eine Orientierungshilfe zu IKT-Risiken beim KI-Einsatz veröffentlicht. Kein Gesetz, aber ein deutliches Signal: Die Aufsicht betrachtet KI-Systeme entlang ihres gesamten Lebenszyklus — von der Datenbeschaffung über die Modellentwicklung bis zur Stilllegung. Wer das ignoriert, riskiert Beanstandungen bei der nächsten Prüfung.
Architektur einer Private AI Banking Plattform
Reden wir über Technik. Eine Private AI Plattform für regulierte Finanzunternehmen hat vier Schichten, und jede muss auditierbar sein.
# Architektur-Überblick: Private AI Banking Stack
# Alle Komponenten in Azure West Europe / Germany West Central
Schicht 1 - Zugang:
- Azure AD / Entra ID (SSO, MFA, Conditional Access)
- Open WebUI (Chat-Interface, Rollenrechte pro Team)
- API Gateway (Rate Limiting, Request Logging)
Schicht 2 - Model Routing:
- LiteLLM Proxy (OpenAI-kompatibles API-Gateway)
- Modelle: Azure OpenAI (GPT-4o), Llama 3.1 auf Azure ML
- Fallback-Routing + Budget-Limits pro Abteilung
Schicht 3 - Daten & RAG:
- Azure AI Search / Milvus (Vektordatenbank)
- Dokumenten-Pipeline (Chunking, Embedding, Indexierung)
- Azure Blob Storage (verschlüsselt, Customer-Managed Keys)
Schicht 4 - Governance:
- Azure Monitor + Log Analytics (alle Prompts + Responses)
- Content Safety Filter (PII-Erkennung, Toxizitätsfilter)
- Modell-Registry (Versionierung, Rollback-Fähigkeit)Der entscheidende Punkt: Azure Confidential Computing. Dabei laufen Ihre KI-Workloads in hardwarebasierten Trusted Execution Environments (TEEs). Selbst Microsoft als Cloud-Betreiber kann die Daten während der Verarbeitung nicht einsehen. Für Banken und Versicherer, die Kundendaten durch LLMs verarbeiten, ist das der Unterschied zwischen „theoretisch DSGVO-konform“ und „nachweisbar geschützt“.
Warum „einfach Azure OpenAI buchen“ nicht reicht
Das kennen Sie vermutlich: Die IT-Abteilung schlägt Azure OpenAI vor, das Compliance-Team winkt ab. Zu viel Drittparteienrisiko, zu wenig Kontrolle, unklar wie man das IKT-Risikomanagement abbildet.
Und sie haben recht — teilweise.
Azure OpenAI ist ein solides Produkt. Aber für regulierte Finanzunternehmen fehlen drei Dinge, die Sie selbst bauen müssen:
Prompt-Logging für Audits. Azure OpenAI loggt keine Inhalte der Anfragen — aus Datenschutzgründen. Für DORA brauchen Sie aber lückenlose Nachvollziehbarkeit. Also brauchen Sie eine Zwischenschicht (LiteLLM oder ein eigenes API Gateway), das jeden Prompt und jede Antwort in Ihrem eigenen Log Analytics speichert.
Abteilungsweite Zugriffssteuerung. Nicht jeder Mitarbeiter darf die gleichen Modelle nutzen. Der Fraud-Analyst braucht GPT-4o für komplexe Musteranalysen, der Sachbearbeiter reicht Llama 3.1 für Textzusammenfassungen. Mit LiteLLM definieren Sie Budget-Limits und Modellzugriff pro Azure-AD-Gruppe.
Modell-Governance. Wenn die BaFin fragt „Welches Modell hat diese Entscheidung beeinflusst?“ — dann brauchen Sie eine Antwort. Modell-Registry mit Versionierung, dokumentierte Prompt-Templates, Rollback auf vorherige Modellversionen. Das liefert kein Cloud-Service out of the box.
# LiteLLM Config: Modellzugriff nach Abteilung
# Fraud-Team: GPT-4o + Llama 70B
# Sachbearbeitung: nur Llama 3.1 8B (kostengünstig, schnell)
# Compliance: GPT-4o mit zusätzlichem Content Safety Filter
curl -X POST http://litellm-proxy:4000/chat/completions
-H "Authorization: Bearer ${TEAM_API_KEY}"
-H "Content-Type: application/json"
-d '{
"model": "gpt-4o",
"messages": [{"role": "user", "content": "Fasse diese Schadenmeldung zusammen..."}],
"metadata": {
"team": "claims-processing",
"audit_trail": true,
"pii_filter": "enabled"
}
}'Was das kostet — ehrlich gerechnet
Wir raten davon ab, mit einer Vollausbaustufe zu starten. Eine Private AI Banking Plattform wächst schrittweise, und die Kosten skalieren mit.
Phase 1: Pilot (50 User, 3 Monate)
Azure Confidential VMs (NC-Serie): 1.800 EUR/Monat. Azure AI Search: 300 EUR/Monat. Azure OpenAI Token-Kosten: 500 EUR/Monat. Summe: ~2.600 EUR/Monat — das sind 52 EUR pro User. Dafür bekommen Sie eine DORA-konforme KI-Plattform mit SSO, Audit-Logging und Content Safety.
Zum Vergleich: Microsoft 365 Copilot kostet 26 EUR/User/Monat, hat aber kein Audit-Logging für Prompts, keine Modellwahl, kein eigenes RAG über Ihre Fachdokumente, und keine Möglichkeit, Hochrisiko-KI-Anforderungen des EU AI Act abzubilden.
Phase 2: Rollout (200 User)
Die Infrastrukturkosten steigen nicht linear. Azure AI Search und die Governance-Schicht bleiben gleich. Hauptkostentreiber ist das LLM-Token-Volumen — bei 200 Usern rechnen wir mit 1.500-2.500 EUR/Monat für Azure OpenAI. Gesamtkosten: 4.500-6.000 EUR/Monat, also 22-30 EUR pro User.
Einmalige Projektkosten:
Architektur-Design, DORA-Mapping, Deployment, Penetrationstest, Betriebshandbuch und Mitarbeiterschulung. In unseren Projekten liegt das bei 80.000-120.000 EUR für den 6-Wochen-Piloten inklusive Compliance-Dokumentation. Das ist kein kleines Budget — aber günstiger als ein einziger Shadow-AI-Vorfall.
Der Weg in Produktion bei einem regulierten Institut
Bei Banken und Versicherern dauert der Weg in Produktion länger als bei einem Maschinenbauer. Nicht wegen der Technik, sondern wegen der Abstimmung mit Compliance, Datenschutz und interner Revision. Planen Sie das von Anfang an ein, statt hinterher überrascht zu sein.
Woche 1-2: Architektur + Compliance-Mapping. Welche KI-Use-Cases sind geplant? Welche fallen unter die High-Risk-Klassifikation des EU AI Act? Wie bilden wir das IKT-Risikomanagement nach DORA ab? Am Ende steht ein Architektur-Dokument, das Ihre Compliance-Abteilung und die interne Revision abnehmen können.
Woche 3-4: Deployment + Security. Azure Landing Zone einrichten, Confidential VMs provisionieren, LiteLLM + Open WebUI deployen, SSO anbinden, Audit-Logging konfigurieren. Penetrationstest durch einen externen Dienstleister.
Woche 5-6: Pilotbetrieb + Dokumentation. 30-50 Pilotuser aus zwei Fachabteilungen. Erste RAG-Pipeline über ausgewählte Fachdokumente. Betriebshandbuch für den IT-Betrieb, Benutzerhandbuch für die Fachabteilungen. Übergabe an den internen Betrieb.
Danach ist die Plattform produktiv — und Sie haben die Dokumentation, die Sie beim nächsten BaFin-Audit brauchen.
Häufig gestellte Fragen
Was kostet Private AI Banking für 50 Mitarbeiter?
Ab 2.600 EUR/Monat für die Azure-Infrastruktur (52 EUR/User), plus einmalig 80.000-120.000 EUR für das Pilotprojekt inklusive Compliance-Dokumentation. Bei 200 Usern sinken die Pro-Kopf-Kosten auf 22-30 EUR/Monat. Der Break-even gegenüber Shadow-AI-Risiken und Einzellizenzen liegt bei 6-9 Monaten.
Private AI Banking oder Microsoft Copilot — was passt besser für regulierte Institute?
Copilot ist schneller ausgerollt und deckt Office-Produktivität gut ab. Für DORA-konformes Prompt-Logging, eigene Modellwahl, RAG über Fachdokumente und High-Risk-KI nach EU AI Act brauchen Sie eine eigene Plattform. Viele unserer Kunden im Banking betreiben beides parallel — Copilot für Standard-Office, die eigene Plattform für fachspezifische KI-Use-Cases.
Erfüllt Azure OpenAI allein die DORA-Anforderungen?
Nein, nicht ohne Zusatzmaßnahmen. Azure OpenAI loggt keine Prompt-Inhalte. Für das IKT-Risikomanagement nach DORA brauchen Sie eine Zwischenschicht (API Gateway oder LiteLLM), die alle Ein- und Ausgaben protokolliert, plus Modell-Governance mit Versionierung und Rollback. Azure liefert die Infrastruktur — die Governance-Schicht müssen Sie selbst bauen oder bauen lassen.
Wie gehen wir mit der BaFin-Orientierungshilfe zu KI um?
Die Orientierungshilfe vom Dezember 2025 ist kein Gesetz, aber ein klares Signal der Aufsicht. Sie verlangt, dass KI-Systeme entlang ihres gesamten Lebenszyklus im IKT-Risikomanagement abgebildet werden — von der Datenbeschaffung bis zur Stilllegung. Wir empfehlen, die Orientierungshilfe als Checkliste für das Architektur-Design zu nutzen und die Umsetzung zu dokumentieren, bevor die Prüfer fragen.
Können wir Open-Source-Modelle wie Llama 3 in einem regulierten Umfeld einsetzen?
Ja, und wir empfehlen das sogar für bestimmte Use Cases. Llama 3.1 auf Azure Confidential VMs gibt Ihnen volle Kontrolle über das Modell — kein Drittparteienrisiko, keine Token-Kosten, keine Datenverarbeitung durch Externe. Für Hochrisiko-KI-Systeme nach EU AI Act brauchen Sie allerdings zusätzliche Dokumentation: Modellherkunft, Trainingsdaten-Governance und ein Risikomanagement-System. Das ist machbar, erfordert aber Aufwand in der initialen Dokumentation.
Nächster Schritt
Wenn Sie eine Private KI-Infrastruktur für Ihr Institut evaluieren: Unser 6-Wochen-Pilot deckt Architektur, DORA-Mapping, Deployment und Compliance-Dokumentation ab — alles, was Sie für die nächste BaFin-Prüfung brauchen.
Verwandte Themen
→Pexon für Versicherungen: KI und Cloud
→Pexon für Banking: Digitalisierung und Compliance
