Intro
Unternehmen wollen KI schnell und sicher produktiv setzen. Entscheidend sind Datenhoheit, regionale Bereitstellung, Security-Architektur und Compliance. Pexon plant, implementiert und betreibt KI-Lösungen in der Cloud oder lokal – pragmatisch, auditierbar und skalierbar.
Datenspeicherung und Kontrolle
• Klare Datenflüsse: Eingaben, Outputs, Protokolle und Modelle werden getrennt behandelt.
• Datenhoheit: Speicherung in der gewählten EU-Region oder lokal.
• Kein Modelltraining mit Kundendaten bei Azure OpenAI; Prompts und Outputs verbleiben in der Region.
• Zugriff nur über definierte Rollen und Policies mit Least-Privilege.
Ein zentrales Thema bei der Nutzung von AI-Diensten ist die Frage, wo die Daten gespeichert werden und wer darauf Zugriff hat. Viele Unternehmen befürchten, dass ihre Daten möglicherweise an Drittanbieter wie OpenAI oder Microsoft gesendet werden könnten, um Modelle zu trainieren oder zu verbessern. Ein weiteres Anliegen ist die geografische Lage der Daten, da es häufig erforderlich ist, diese innerhalb von Deutschland oder Europa zu speichern.
Bei der Verwendung von AI-Diensten wie dem AI Enterprise Service von OpenAI besteht die Herausforderung, dass die Kontrolle über den Speicherort der Daten begrenzt ist. Es ist möglich, dass Daten außerhalb der EU gespeichert werden. Daher arbeiten wir bei AI-Projekten oft mit Microsoft Azure, AWS oder Google Cloud, um sicherzustellen, dass die Daten innerhalb der gewünschten geografischen Region bleiben.
Lokale vs. Cloud-Bereitstellung
• Lokal (On-Prem/Edge): volle Kontrolle, geeignet für besonders sensible Daten, erfordert passende Infrastruktur (GPU/CPU/RAM).
• Cloud-Plattformen: Microsoft Azure, AWS, Google Cloud mit EU-Regionen, Managed Services und schneller Skalierung.
• Hybride Modelle: sensible Daten lokal, inferencing in EU-Cloud mit Private Endpoints.
Microsoft Azure bietet eine Vielzahl von Managed Services, die es ermöglichen, Daten innerhalb von Deutschland oder Europa zu speichern. Azure verfügt über zahlreiche Rechenzentren weltweit, darunter etwa zehn in Europa. In diesen Rechenzentren sind eigene Versionen von Modellen wie GPT-4 oder Open-Source-Modelle wie LLaMA verfügbar. Alle diese Rechenzentren sind nach ISO 27001 und den Cloud Computing Richtlinien C5 des BSI zertifiziert, was einen hohen Sicherheitsstandard garantiert.
Ein wichtiger Punkt ist, dass weder Eingabedaten noch Outputs an Microsoft oder OpenAI gesendet werden. Diese Daten werden auch nicht für das Training von Modellen verwendet. Diese Sicherheitsgarantie gibt Microsoft in Form eines Commitments an die Nutzer weiter.
Regionale Verfügbarkeit von AI-Services
Wenn Unternehmen AI-Lösungen auf Azure nutzen möchten, sollten sie prüfen, in welchen Regionen die benötigten Services verfügbar sind. Microsoft bietet eine dynamische Liste, die regelmäßig aktualisiert wird, um die Verfügbarkeit der Services weltweit darzustellen. Unternehmen sollten sicherstellen, dass die gewählten AI-Services in einer Region verfügbar sind, die den Datenschutzanforderungen entspricht.
Vernetzung und Zugriff auf AI-Services
Ein praktisches Beispiel für die Implementierung einer AI-Lösung wäre die Erstellung eines virtuellen Netzwerks (VNet) in der Region EU West. Dieses Netzwerk kann mit dem lokalen On-Premise-Netzwerk des Unternehmens verbunden werden, sodass eine sichere Kommunikation zwischen den AI-Services und den Unternehmensdaten möglich ist. Der gesamte Datenverkehr erfolgt über den Azure-Backbone, ohne das öffentliche Internet zu nutzen.
Verschlüsselung und Sicherheit
Azure bietet zwei Arten der Verschlüsselung an: „Encryption at Transit“ und „Encryption at Rest“. Während die „Encryption at Transit“ standardmäßig mit TLS 1.2 erfolgt, können Unternehmen bei der „Encryption at Rest“ auch eigene Schlüssel verwenden, um eine zusätzliche Sicherheitsebene zu schaffen. Diese „Double Encryption“ ist besonders für Unternehmen mit hohen Sicherheitsanforderungen relevant, kann jedoch zu langsameren Antwortzeiten führen und sollte nur eingesetzt werden, wenn es regulatorisch erforderlich ist.
Security und Verschlüsselung
• Transportverschlüsselung: TLS 1.2+.
• Ruhende Daten: Encryption at Rest, optional kundenseitig verwaltete Schlüssel (CMK).
• Double Encryption möglich; nur einsetzen, wenn regulatorisch nötig, da Latenz steigt.
• Secret Management, HSM, rotationsfähige Keys.
Netz- und Zugriffsarchitektur
• Virtuelle Netzwerke und Private Link/Endpoints; kein Traffic über das öffentliche Internet, Nutzung des Azure-Backbone.
• Segmentierung nach System, Datenklasse und Workflow.
• Zero-Trust-Prinzip, Conditional Access, MFA, PIM, Just-in-Time-Zugriffe.
• Protokollierung über SIEM, Audit-Trails für KI-Workflows und Agenten.
Compliance und Governance
• ISO 27001, BSI C5, DSGVO als Basis; technische und organisatorische Maßnahmen integriert.
• Model- und Prompt-Governance, Richtlinien für verantwortungsvolle KI, Schutz vor Datenabfluss.
• EU AI Act: Risikoklassifizierung, Data Provenance, Human-in-the-Loop, Dokumentation.
KI-Agenten, Workflows und Automatisierung
• Typische Use Cases: Chatbots, Voice Agents, Prozess-Automatisierung, RAG-Suche.
• Guardrails, Output-Filter, Policy-Enforcement und Monitoring pro Agent.
• Versionierte Workflows, reproduzierbare Deployments (CI/CD), Canary/Rollback.
Plattform- und Systemauswahl
• Azure OpenAI in EU-Regionen, Microsoft Fabric, Azure AI Search, Azure Functions.
• Open-Source-Modelle wie Llama/Mistral für lokale Szenarien oder dedizierte Cluster.
• Kosten- und Performance-Abwägung: Token-Kosten, Latenz, GPU-Auslastung, Skalierung.
Vorgehen von Pexon
-
Assessment: Ziele, Daten, Security-Anforderungen, Compliance.
-
Architektur: Region, Plattform, Netz, Schlüsselmanagement, Logging.
-
Implementierung: Infrastruktur, Agenten, Workflows, Integration in Systeme und Prozesse.
-
Betrieb: Monitoring, KPIs, Kostenkontrolle, Security-Updates, Enablement des Teams.
Ergebnisse
-
Produktive KI-Lösungen mit messbarer Effizienzsteigerung und auditierbarer Sicherheit.
-
Klare Kostenstruktur, skalierbare Plattform, minimaler manueller Aufwand in Workflows.
-
Schnelle Time-to-Value mit wiederverwendbaren Komponenten.
Fazit: Erfolgreiche AI-Implementierung durch Planung und Sicherheit
Die Einführung von AI in Unternehmen erfordert sorgfältige Planung und die Einhaltung strenger Sicherheitsrichtlinien. Durch die Nutzung von Cloud-Services wie Microsoft Azure können Unternehmen sicherstellen, dass ihre Daten geschützt bleiben und alle regulatorischen Anforderungen erfüllt werden. Sollten Sie Fragen zur Implementierung von AI in Ihrem Unternehmen haben, stehen wir Ihnen gerne zur Verfügung und unterstützen Sie bei der Entwicklung maßgeschneiderter Lösungen.
FAQ
Frage: Werden unsere Daten für das Training von Modellen genutzt?
Antwort: Bei Azure OpenAI werden Kundendaten nicht zum Modelltraining verwendet; Prompts und Outputs verbleiben in der gewählten Region.
Frage: Wo liegen unsere Daten?
Antwort: In der von Ihnen gewählten EU-Region oder lokal; inkl. Verschlüsselung und rollenbasiertem Zugriff.
Frage: Was, wenn ein benötigter Service in einer Region noch nicht verfügbar ist?
Antwort: Wir prüfen regionale Alternativen, Private Link-Konnektivität oder lokale Bereitstellung mit OSS-Modellen.
Frage: Lohnt sich eine lokale Implementierung?
Antwort: Bei sehr sensiblen Daten oder strengen Latenzvorgaben ja; sonst bringt die Cloud oft geringere Betriebskosten und schnellere Skalierung.
Frage: Welche Kosten entstehen?
Antwort: Abhängig von Modellwahl, Token-Volumen, Infrastruktur und Integrationsaufwand; wir liefern eine transparente Kostenschätzung vor Projektstart.
