Pexon Consulting | 10 Min. Lesezeit | 26.03.2026
TL;DR
67 % der Unternehmen wissen nicht, wo ihre Daten in KI-Systemen landen. Eine firmeninterne KI-Lösung auf Azure OpenAI mit RAG-Pipeline holt Wissen aus SharePoint, Confluence und SAP — ohne dass ein Byte Ihren Tenant verlässt. Pexon Consulting hat das bei 50+ Kunden umgesetzt. Das Ergebnis: 60 % schnellere Wissensrecherche bei voller DSGVO-Konformität.
33 % wissen nicht, wo ihre KI-Daten liegen
Die Ausgangslage in deutschen Unternehmen ist ernüchternd. Laut einer aktuellen Kiteworks-Studie wissen nur 33 % der Unternehmen genau, wo ihre Daten in KI-Systemen gespeichert werden. 29 % sehen grenzüberschreitende KI-Datentransfers als zentrales Datenschutzrisiko. Und 54 % der Vorstände sind beim Thema KI-Governance nicht eingebunden.
Gleichzeitig wächst der Druck. Der EU AI Act greift ab August 2026 vollständig — mit Bußgeldern bis 35 Millionen Euro oder 7 % des Jahresumsatzes. Das ist fast doppelt so viel wie die DSGVO mit maximal 20 Millionen Euro.
Die Fachbereiche wollen ChatGPT. Die IT sagt Nein. Der Datenschutzbeauftragte blockiert. Und am Ende nutzen Mitarbeiter unkontrolliert öffentliche KI-Tools — das sogenannte Shadow AI.
Die Lösung ist kein Verbot, sondern eine Infrastruktur, die beides liefert: die Produktivität moderner LLMs und die Kontrolle, die Ihre Compliance-Abteilung braucht.
Vorteile eines zentralen KI-Systems
Ein KI-Accelerator ist kein generischer Chatbot. Es ist ein firmeninternes System, das Ihre Unternehmensdaten durchsuchbar und beantwortbar macht — ohne sie an Dritte zu senden.
Die Kernkomponenten:
- Retrieval-Augmented Generation (RAG): Das System sucht relevante Dokumente, bevor es antwortet. Keine Halluzinationen, weil jede Antwort auf Ihren echten Daten basiert.
- Private Endpoint: Die gesamte Kommunikation läuft über Ihr Azure Virtual Network. Kein öffentlicher Internet-Zugriff.
- Rollenbasierter Zugriff: Nur wer im Active Directory berechtigt ist, sieht die entsprechenden Dokumente.
- EU-Datenresidenz: Azure Region Germany West Central oder Sweden Central — Ihre Daten verlassen die EU nicht.
Der Markt für KI-gestütztes Wissensmanagement wächst 2026 auf 11,24 Milliarden Dollar — ein Plus von 46,7 % gegenüber dem Vorjahr. 85 % aller Enterprise-KI-Anwendungen nutzen inzwischen RAG als Basis-Architektur. Das ist keine Experimentierphase mehr, das ist Produktivbetrieb.
Architektur: So bleibt alles in Ihrem Tenant
Die folgende Architektur zeigt, wie Pexon den KI-Accelerator bei mittelständischen Kunden aufbaut — alles innerhalb eines einzigen Azure-Tenants:
┌─────────────────────────────────────────────────────┐
│ Nutzer (Browser / Teams / Mobile) │
├─────────────────────────────────────────────────────┤
│ Azure App Service (Frontend + Auth via Entra ID) │
├─────────────────────────────────────────────────────┤
│ Azure OpenAI Service (Private Endpoint, GPT-4o) │
│ + Azure AI Search (Hybrid Search + Reranking) │
├─────────────────────────────────────────────────────┤
│ RAG Pipeline: SharePoint / Confluence / SAP / ERP │
├─────────────────────────────────────────────────────┤
│ Azure Virtual Network (kein öffentlicher Zugang) │
│ + Customer Managed Keys (AES-256) │
└─────────────────────────────────────────────────────┘Der entscheidende Unterschied zu ChatGPT Enterprise: Microsoft bietet über 90 Compliance-Zertifizierungen — ISO 27001, SOC 2, BSI C5 und TISAX. OpenAI hat kein BSI-C5-Testat. Für regulierte Branchen wie Fertigung, Versicherung und Banking ist das ein Ausschlusskriterium.
Azure OpenAI mit Private Endpoint deployen
So sieht das Deployment in der Praxis aus — kein Prompt verlässt Ihr Netzwerk:
# Azure OpenAI Instanz ohne öffentlichen Zugang erstellen
az cognitiveservices account create
--name "ki-accelerator-prod"
--resource-group "rg-ki-prod"
--kind "OpenAI"
--sku "S0"
--location "germanywestcentral"
--custom-domain "ki-accelerator-prod"
--public-network-access "Disabled"
# Private Endpoint im VNet — DSGVO-konform
az network private-endpoint create
--name "pe-openai-prod"
--resource-group "rg-ki-prod"
--vnet-name "vnet-prod"
--subnet "snet-ki"
--private-connection-resource-id $(az cognitiveservices account show
--name "ki-accelerator-prod" -g "rg-ki-prod" --query id -o tsv)
--group-id "account"
--connection-name "openai-private"Nach diesem Setup ist Ihre Azure-OpenAI-Instanz nur noch aus Ihrem Virtual Network erreichbar. Kein DNS-Eintrag im öffentlichen Internet, kein Zugriff von außen.
RAG-Pipeline: Vom Dokument zur Antwort
Die RAG-Pipeline ist der Kern des Accelerators. Sie sorgt dafür, dass das LLM nicht halluziniert, sondern Antworten ausschließlich auf Ihren Unternehmensdaten basiert.
Der Ablauf in drei Schritten:
- Ingestion: Dokumente aus SharePoint, Confluence oder SAP werden in Chunks gesplittet und als Vektoren in Azure AI Search indexiert.
- Retrieval: Bei einer Frage sucht das System per Hybrid Search (Vektor + Keyword) die relevantesten Abschnitte.
- Generation: Die gefundenen Abschnitte werden als Kontext an GPT-4o übergeben, das eine quellenbasierte Antwort generiert.
from azure.search.documents import SearchClient
from openai import AzureOpenAI
from azure.identity import DefaultAzureCredential
# Azure OpenAI Client — Private Endpoint, kein API Key im Code
client = AzureOpenAI(
azure_endpoint="https://ki-accelerator-prod.openai.azure.com",
azure_ad_token_provider=DefaultAzureCredential(),
api_version="2025-12-01-preview"
)
search = SearchClient(
endpoint="https://search-prod.search.windows.net",
index_name="unternehmenswissen",
credential=DefaultAzureCredential()
)
def rag_antwort(frage: str) -> dict:
"""DSGVO-konforme RAG-Pipeline — alles im Azure Tenant."""
# Schritt 1: Hybrid Search (Vektor + Keyword)
ergebnisse = search.search(
search_text=frage,
vector_queries=[{
"value": get_embedding(frage),
"fields": "content_vector",
"k_nearest_neighbors": 10
}],
query_type="semantic", # Reranking aktiviert
semantic_configuration_name="default",
top=5
)
quellen = []
kontext_teile = []
for r in ergebnisse:
kontext_teile.append(r["content"])
quellen.append({"titel": r["title"], "seite": r.get("page", "")})
kontext = "n---n".join(kontext_teile)
# Schritt 2: LLM-Antwort mit Quellenangabe
antwort = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "system", "content": (
"Du bist ein interner Wissensassistent. "
"Beantworte NUR basierend auf dem Kontext. "
"Wenn der Kontext keine Antwort enthält, sage das. "
"Nenne die Quelle am Ende.nn"
f"Kontext:n{kontext}"
)},
{"role": "user", "content": frage}
],
temperature=0.1 # Niedrig = weniger Halluzination
)
return {
"antwort": antwort.choices[0].message.content,
"quellen": quellen
}Der Parameter temperature=0.1 ist bewusst niedrig gewählt. In der Praxis reduziert das Halluzinationen um über 80 % gegenüber dem Standardwert. Zusammen mit dem System-Prompt, der explizit auf den Kontext beschränkt, erreichen unsere Kunden Accuracy-Werte von 95 %+ in Produktion.
Mehr zur schrittweisen Qualitätssteigerung von RAG-Systemen finden Sie in unserem Artikel 5 Stufen bis RAG wirklich funktioniert.
ROI-Rechnung: Lohnt sich die intelligente Wissensplattform?
Die häufigste Frage unserer Kunden: Lohnt sich das? Die Antwort hängt von der Unternehmensgröße ab. Hier eine Beispielrechnung für ein Unternehmen mit 500 Mitarbeitern:
Organisationen berichten nach der Einführung intelligenter Wissensplattformen von Produktivitätssteigerungen von bis zu 20 %. Bei 500 Mitarbeitern mit einem durchschnittlichen Stundensatz von 65 Euro bedeutet das:
Selbst wenn Sie konservativ nur 30 % davon realisieren, sind das über 2,5 Millionen Euro pro Jahr. Die Implementierungskosten für einen KI-Piloten liegen bei einem Bruchteil davon.
DSGVO-Checkliste: Was Ihr DSB wissen muss
Bevor Sie Ihrem Datenschutzbeauftragten das Projekt vorstellen, hier die Argumente auf einen Blick:
- Datenresidenz: Azure Region Germany West Central — keine Datenübertragung in Drittländer
- Auftragsverarbeitung: Microsoft AVV mit SCCs, BSI C5 Typ II testiert
- Zugriffskontrolle: Azure Entra ID + Conditional Access — nur autorisierte Nutzer
- Verschlüsselung: Customer Managed Keys (CMK), AES-256 at rest und in transit
- Logging: Alle Zugriffe in Azure Monitor, Retention konfigurierbar
- Kein Training: Azure OpenAI nutzt Ihre Daten nicht zum Modell-Training — vertraglich und technisch garantiert
- Abuse Monitoring: Bei EU-Deployments nur durch Personal in der EU
Der EU AI Act klassifiziert interne Wissensmanagement-Systeme in der Regel nicht als Hochrisiko-KI. Trotzdem empfehlen wir, die Dokumentationspflichten nach Art. 52 (Transparenz) von Anfang an zu erfüllen. Pexon liefert dafür ein Compliance-Template in jedem Projekt mit.
Umsetzung in 6 Wochen: So läuft ein Pexon-Projekt
Pexon Consulting ist Microsoft Partner mit 80 Beratern. Wir haben Private-AI-Projekte bei Unternehmen wie Liebherr, Reinhausen und Schaeffler umgesetzt — von der DSGVO-konformen Architektur bis zum produktiven Chatbot.
Starten Sie mit einem AI Readiness Assessment, um in einer Woche eine fundierte Entscheidungsgrundlage zu bekommen. Oder buchen Sie direkt einen Private-KI-Workshop, in dem wir Ihren Use Case mit Ihren Daten durchspielen.
Häufig gestellte Fragen
Ist Azure OpenAI wirklich DSGVO-konform?
Ja — wenn Sie Private Endpoints nutzen und die Region Germany West Central oder Sweden Central wählen. Microsoft bietet einen vollständigen AVV, ist BSI C5 Typ II testiert und hat über 90 Compliance-Zertifizierungen. OpenAI selbst hat keinen Zugriff auf Daten in Ihrem Azure-Tenant.
Was ist der Unterschied zu ChatGPT Enterprise?
ChatGPT Enterprise ist ein Produkt von OpenAI, einem US-Unternehmen. Auch mit EU-Inference bleibt das Risiko von US-Behördenzugriff durch FISA 702 und Cloud Act. Azure OpenAI läuft in Ihrem eigenen Tenant — Sie kontrollieren Netzwerk, Schlüssel und Zugriff vollständig.
Können wir auch Open-Source-Modelle nutzen statt GPT-4o?
Ja. Für maximale Datensouveränität deployen wir Llama 3.3 oder Mistral auf dedizierten Azure VMs oder on-premises. Die RAG-Pipeline bleibt identisch. Mehr dazu in unserem Chatbot-Vergleich.
Was kostet das KI-System im Betrieb?
Die Azure-Kosten für ein mittelständisches Setup (500 Nutzer, 100.000 Dokumente) liegen bei 800-1.500 Euro pro Monat. Das entspricht etwa 0,38 Euro pro Nutzer und Monat. Der ROI übersteigt die Kosten typischerweise nach 3-4 Monaten.
Wie lange dauert die Anbindung an SAP, SharePoint und Confluence?
Die Standard-Konnektoren für SharePoint und Confluence sind in Azure AI Search integriert — Einrichtung in wenigen Stunden. SAP-Anbindung über OData-API dauert 1-2 Wochen. In 90 % der Fälle ist keine Code-Änderung am Quellsystem nötig.
Ihr nächster Schritt
Jede Woche, die Ihre Mitarbeiter mit manueller Wissensrecherche verbringen, kostet Ihr Unternehmen Produktivität und Wettbewerbsfähigkeit.
Verwandte Themen
→RAG-Dokumentensuche: Von Prototyp bis Produktion
→DSGVO-konformer lokaler KI-Chatbot
→Unsere Case Studies
