Audit und Fälle: welche privaten Accounts laufen, welches Material abfließt. Schatten-KI mit SSO und Gateway zu stoppen, ist die Aufgabe der Schatten-KI-Seite, nicht dieses Artikels.
Constantin Budin, Principal Data & AI bei Pexon Consulting | 9 Min. Lesezeit | 03.08.2026
TL;DR
Dieser Artikel ist die Inventur: private ChatGPT-Accounts, Midjourney, unkoordinierte Copilot-Sitze, welches Material in den Prompt wandert. Die Canonical-Lösung mit SSO, Gateway und Audit steht auf der Cluster-Seite. Hier keine zweite Plattform-LP und kein Cutover-Versprechen.
Das Problem: Schatten-KI ist schon da, nur nicht kontrolliert
Die unbequeme Wahrheit zuerst: In den meisten Unternehmen ab 150 Mitarbeitern läuft KI längst produktiv, nur eben unkontrolliert. In einem unserer Projekte bei einer Inhouse-Agentur mit rund 200 Mitarbeitern fanden wir etwa 20 ChatGPT-Einzellizenzen (überwiegend privat bezahlt), dazu rund 20 Copilot-Lizenzen und 15 bis 20 Midjourney-Accounts, alle unkoordiniert. Bei einem Bauzulieferer mit etwa 1.000 Mitarbeitern waren es rund 23 Nutzer auf ChatGPT Business, dazu M365 Copilot, vereinzelt Claude auf Führungsebene und eine lokale Testinstanz.
Der Kern ist immer gleich: Mitarbeitende greifen zu privaten Accounts, weil sie produktiv sein wollen. Und mit jedem Prompt geht ein Stück Kontrolle über die eigenen Daten verloren.
Wie groß der blinde Fleck ist, zeigt eine Zahl aus demselben Industrie-Projekt: 18 Use-Case-Ideen waren offiziell in einer Excel-Liste erfasst, und nach Einschätzung der Fachbereiche gab es mindestens ebenso viele nicht erfasste Schatten-Initiativen. Für jede erfasste KI-Nutzung existiert also ungefähr eine, von der niemand weiß.
Was auf dem Spiel steht
Der Datenabfluss ist nicht abstrakt. In den Projekten ging es um konkret sensibles Material: Embargodaten und Bilder noch nicht gelaunchter Produkte in der Agentur, strukturierte PIM-Produktdaten beim Industriekunden, regulierte Bankdaten im Finanzsektor. Alles Material, das in einem privaten ChatGPT-Account nichts zu suchen hat.
Dazu kommen drei Governance-Lücken, die jede Revision aufdeckt: kein Kostenüberblick, keine Nachvollziehbarkeit, kein Audit-Trail. Und die offene Frage, ob der jeweilige Anbieter auf euren Daten trainiert.
Die naheliegende Reaktion, KI-Tools per Richtlinie zu verbieten, ist die schlechtere Lösung. Ein Verbot verlagert die Nutzung nur weiter ins Verborgene und kostet den Produktivitätsvorsprung, den eure Leute bereits haben. Der Ausweg ist nicht Verzicht, sondern Kontrolle.
Die Lösung: eine zentrale, selbst kontrollierte KI-Plattform
Die Antwort auf Schatten-KI ist nicht noch ein ChatGPT-Wrapper, sondern eine Governance-Architektur mit einem klaren Prinzip: Es gibt genau einen Weg, auf dem KI-Anfragen das Haus verlassen, und den kontrolliert ihr.
Technisch ist das ein LLM-Gateway als einziger Modell-Egress. In der Praxis hat sich dafür LiteLLM etabliert, ein Open-Source-Gateway mit rund 53.000 GitHub-Stars und über 240 Millionen Docker-Pulls (Stand August 2026), das mehr als 100 Modelle über eine einheitliche Schnittstelle anspricht. Davor sitzt ein Chat-Frontend wie Open WebUI (rund 128.000 GitHub-Stars, Mitte 2026), das euren Mitarbeitern die vertraute ChatGPT-artige Oberfläche gibt. Dahinter hängen Vektordatenbank für Dokumente, Cost-Tracking und Logging.
Das Ziel ist der Satz, den wir in einem Kundenprojekt wörtlich im Anforderungsdokument stehen hatten: Leitplanken statt Wildwuchs. Fachbereiche dürfen verschiedene LLMs nutzen, ohne dass Daten unkontrolliert abfließen.
Governance zurückgewinnen
Eine zentrale, selbst kontrollierte Plattform löst die gewachsene Schatten-KI-Landschaft ab, statt sie zu bekämpfen. Der zweite Effekt ist strategisch: Weil das Gateway modell-agnostisch ist, tauscht oder ergänzt ihr LLMs jederzeit ohne Änderung an den Anwendungen. Das schützt euch vor Preis- und Strategieänderungen einzelner Anbieter, ein Punkt, der 2026 angesichts ständig wechselnder Modell-Preise real Geld wert ist.
So sieht eine minimale Gateway-Konfiguration aus, die genau dieses Kosten-Routing abbildet:
# litellm config.yaml - zentrales Gateway als einziger Modell-Egress
model_list:
- model_name: standard # günstiges Modell für einfache Anfragen
litellm_params:
model: azure/gpt-4o-mini
- model_name: premium # Premium-Modell gezielt für Ausnahmen
litellm_params:
model: azure/gpt-4o
- model_name: reasoning
litellm_params:
model: anthropic/claude-sonnet-4
litellm_settings:
max_budget: 500 # Budget-Guard pro Abrechnungszeitraum
success_callback: ["langfuse"] # zentrales Logging für den Audit-Trail
general_settings:
master_key: os.environ/LITELLM_MASTER_KEYDSGVO und EU-Hosting sind nicht verhandelbar
In jedem seriösen Plattform-Projekt stehen drei Rahmenbedingungen fest, bevor die erste Zeile Konfiguration geschrieben wird: EU-Hosting, DSGVO-Konformität und keine Nutzung eurer Daten zu Trainingszwecken durch den Anbieter. Das ist kein Nice-to-have, das ist die Eintrittskarte.
Dazu kommen zwei technische Schutzschichten, die im privaten Account schlicht fehlen: PII-Redaction auf Gateway-Ebene, die personenbezogene Daten entfernt, bevor sie ins Modell oder ins Log wandern, und die automatische Löschung von Chatverläufen, standardmäßig nach 30 Tagen. Mit dem EU AI Act, dessen relevante Pflichten ab August 2026 greifen, wird dieser Nachweisdruck weiter steigen.
Wie sich diese Governance-Schicht im Detail bauen lässt, haben wir in unserem Beitrag zu SSO, Audit-Logs und Compliance für self-hosted LLMs beschrieben. Der grundsätzliche Rahmen dahinter ist unsere KI-Governance-Beratung.
Wie Governance konkret aussieht
Drei Bausteine machen den Unterschied zwischen „kontrolliert“ und „Schatten“ aus. Ohne sie ist jede Plattform nur ein weiteres unkontrolliertes Tool.
SSO über Entra ID
Der Login läuft ausschließlich über eure vorhandene Entra ID, eingeschränkt auf definierte dynamische Nutzergruppen. Damit ist Schluss mit dem privaten Account als Wildwuchs-Anmeldung: Wer das Unternehmen verlässt, verliert automatisch den Zugang, und niemand nutzt die Plattform ohne Identität. Wie das technisch sauber aufgesetzt wird, zeigt unser Beitrag zu Open WebUI mit Azure Entra ID.
Cost-Tracking pro Nutzer, Abteilung und Applikation
Das Gateway trackt Kosten feingranular je Modell, Nutzergruppe und Use-Case. Das ist die Grundlage für interne Kostenverrechnung (Chargeback) und für den Business-Case „eigene Plattform statt Pro-Kopf-Lizenzen“. Und es erlaubt Kosten-Routing: einfache Anfragen laufen auf günstige Modelle, Premium-Modelle nur dort, wo sie wirklich gebraucht werden.
Audit-Trail und Logging
Der Audit-Trail protokolliert administrative Änderungen an Modellen, Limits und Zugriffsrechten. Eine Row-Level-Permission sorgt dafür, dass die KI nie mehr Rechte bekommt als der anfragende Nutzer, ein Punkt, der bei RAG auf interne Dokumente entscheidend ist. Was genau geloggt wird, ist konfigurierbar: nur Metadaten (Nutzer, Zeit, Modell, Tokens, Kosten, Quelle) oder bei Bedarf und Freigabe auch Inhalte. Genau diese Frage, nur Metadaten oder auch Chat-Inhalte, war in einem unserer Workshops der zentrale Diskussionspunkt mit dem Datenschutz.
Vorgehen: schlanker Start, modularer Ausbau
Eine KI-Plattform ist kein Big-Bang-Projekt. Der Einstieg läuft als Fixpreis-Startpaket (Plattform-Fundament plus erster Use-Case), danach baut ihr modular aus, ohne Neuaufbau oder Migration.
Zwei reale Größenordnungen aus unseren Projekten: In der Inhouse-Agentur stand die Plattform inklusive Schulung in rund drei Wochen, zum Festpreis von 13.200 Euro, gestartet als POC mit fünf Testnutzern und einem klaren Skalierungspfad auf rund 270 Nutzer. Beim Industriekunden lief es gestaffelt in einen Infrastruktur-Track und einen Use-Case-Track, mit einem Startpaket über sechs bis acht Wochen und einem Einstieg zwischen 50.000 und 70.000 Euro. Die laufenden Betriebskosten der Startkonfiguration lagen bei rund 400 bis 600 Euro pro Monat.
On-Premise oder Azure, beides möglich
Die Architektur ist containerisiert (Docker), später optional auf Kubernetes und On-Prem-GPU für hochsensible Fälle. Das gibt euch echte Wahlfreiheit statt Cloud-Zwang.
Die Agentur startete komplett on-premise auf vorhandener Hardware, also ohne zusätzliche Infrastrukturkosten, mit der Option, später ohne Neuaufbau nach Azure zu migrieren. Der Industriekunde nutzte direkt seine bestehende Azure-Landingzone. Beides ist richtig, es hängt an eurer vorhandenen Infrastruktur und eurem Schutzbedarf, nicht an einer Ideologie.
Sonderfall regulierte Branchen: Banking und Versicherung
Im Bankenumfeld ist Schatten-KI stoppen nicht Kür, sondern Pflicht. DORA, EU AI Act, DSGVO sowie Auslagerungs- und Drittparteienanforderungen machen aus einer Governance-Empfehlung eine regulatorische Notwendigkeit. Bei einer BaFin-regulierten Spezialbank war genau das der Auslöser: nicht die Technik, sondern die regulatorischen und organisatorischen Rahmenbedingungen waren die größte Herausforderung.
Für diese Fälle liefern wir mehr als Technik: eine regulatorisch tragfähige Plattformarchitektur, ein Governance- und Betriebsmodell, die Einordnung von DORA-, AI-Act- und Auslagerungsanforderungen sowie die Einbindung spezialisierter Legal- und Regulatorik-Partner. Dazu die ehrliche Abwägung zwischen self-hosted AI, europäischen Hosting-Anbietern und Hyperscaler.
Häufig gestellte Fragen
Was ist Schatten-KI und warum ist sie ein Problem?
Schatten-KI ist die unkontrollierte Nutzung von KI-Tools über private Accounts wie ChatGPT, Copilot oder Midjourney, ohne Freigabe der IT. Das Problem: sensible Firmendaten fließen an externe Anbieter ab, niemand hat Überblick über Kosten, Nutzung oder Compliance. In der Praxis nutzen oft 20 bis 30 Mitarbeiter parallel privat bezahlte Accounts.
Wie ersetzen wir private ChatGPT-Accounts, ohne die Mitarbeiter auszubremsen?
Indem die zentrale Plattform mindestens so gut ist wie das private Tool. Der Login läuft über euer SSO (Entra ID), die Chat-Oberfläche (Open WebUI) ist vertraut, im Hintergrund routet ein LLM-Gateway auf mehrere Modelle. Der Mitarbeiter merkt kaum einen Unterschied, die IT gewinnt volle Kontrolle zurück. Genau daran scheitern Verbotslösungen: Sie sind schlechter als das, was die Leute schon haben.
Ist die Plattform DSGVO-konform und wo liegen die Daten?
Ja. Nicht verhandelbare Rahmenbedingungen sind EU-Hosting, DSGVO-Konformität und keine Nutzung eurer Daten zu Trainingszwecken. Dazu kommen PII-Redaction auf Gateway-Ebene, automatische Löschung von Chatverläufen (Standard 30 Tage) und ein dokumentierter Freigabeprozess mit eurem Datenschutz.
Müssen wir in die Cloud, oder geht das on-premise?
Beides. In einem Projekt lief die Plattform komplett on-premise auf vorhandener Server-Hardware, ohne zusätzliche Infrastrukturkosten. In einem anderen auf der bestehenden Azure-Landingzone. Die Architektur ist containerisiert und modular, eine spätere Azure-Migration ist ohne Neuaufbau möglich. Für hochsensible Fälle ist der Betrieb eigener Modelle auf GPU-Hardware möglich.
Wie behalten wir die Kosten pro Abteilung im Griff?
Über das zentrale LLM-Gateway läuft Cost-Tracking pro Nutzer, Abteilung und Applikation. Das erlaubt interne Kostenverrechnung (Chargeback) und einen belastbaren Business-Case gegenüber Pro-Kopf-Lizenzen. Kosten-Routing schickt einfache Anfragen an günstige Modelle und Premium-Modelle nur gezielt an Ausnahmefälle.
Was kostet der Einstieg und wie lange dauert er?
Der Einstieg läuft als Fixpreis-Startprojekt. Ein schlanker Plattform-Rollout inklusive Schulung ist in rund drei Wochen produktiv (ab etwa 13.200 Euro). Ein größeres, gestaffeltes Programm mit erstem Use-Case liegt bei rund 50.000 bis 70.000 Euro und sechs bis acht Wochen. Danach baut ihr modular aus.
Nächster Schritt
Wenn bei euch gerade 20 oder mehr Leute über private Accounts arbeiten, ist die erste Frage nicht „welches Tool“, sondern „wie bekommen wir die Kontrolle zurück, ohne die Produktivität abzuwürgen“. Genau das klären wir in einem kurzen Gespräch.
Verwandte Themen
→LLM-Gateway als zentraler Modell-Egress: die Plattform-Basis
