EU AI Act nach dem Omnibus: Was Mittelstand-CIOs jetzt tun

EU AI Act ab 2.8.2026: Was Mittelstand-CIOs jetzt vorbereiten müssen — GPAI-Pflichten, AI Literacy, BNetzA-Enforcement, Strafrahmen bis 7% Umsatz und konkrete CIO-Checkliste.

4 Juli. 2026 | Compliance

Inhaltsverzeichnis

Pexon Consulting | 11 Min. Lesezeit | 22.05.2026


TL;DR

Der EU AI Act ist ab 2. August 2026 voll anwendbar — mit einer wichtigen Ausnahme: Annex-III-Hochrisiko-Pflichten wurden durch das Digital Omnibus auf Dezember 2027 verschoben. Was ab August scharf greift: GPAI-Anbieter-Pflichten, Watermarking für neue GenAI-Systeme (Art. 50) und aktive BNetzA-Marktüberwachung. AI Literacy (Art. 4) gilt seit Februar 2025 als Förderpflicht ohne eigenes Bußgeld. Wir zeigen, was Mittelstand-CIOs in den nächsten zehn Wochen umsetzen müssen — ohne Panik, aber mit Plan.

Frist Was wird scharf
02.02.2025 (bereits aktiv) Verbotene Praktiken, AI Literacy als Pflicht
02.08.2025 (bereits aktiv) GPAI-Pflichten neue Modelle, Governance, Strafen-Klauseln
02.08.2026 Anwendung außer Hochrisiko, BNetzA-Marktüberwachung, Watermarks neu (Art. 50)
02.12.2026 Watermarks für bestehende GenAI-Systeme
02.12.2027 Annex-III-Hochrisiko-Pflichten (verschoben durch Digital Omnibus)
02.08.2028 Annex-I-Hochrisiko (Medizin, Maschinen, Spielzeug)

Die wichtigste Klarstellung zuerst: Annex III ist verschoben

In den letzten Wochen kursiert in unserer Beratungspraxis eine Halbwahrheit: „Am 2. August wird alles scharf.“ Stimmt nicht. Der EU-Gesetzgeber hat mit dem Digital-Omnibus (VO (EU) 2026/1744, in Kraft seit 27.07.2026) die Hochrisiko-Pflichten für Annex-III-Systeme — also HR-Tools, Kreditscoring, Versicherungs-Underwriting, kritische Infrastruktur — auf den 2. Dezember 2027 verschoben.

Was bedeutet das praktisch? Wir sehen drei Reaktionsmuster: erstens „wir warten bis 2027“ (gefährlich), zweitens „wir machen trotzdem Tempo“ (richtig), drittens „wir nutzen die Zeit für saubere Architektur statt Pflaster-Lösungen“ (am besten). Die Verschiebung ist ein Geschenk, keine Entwarnung. Denn was am 2. August 2026 trotzdem greift, betrifft praktisch jedes Unternehmen, das KI einsetzt.

Konkret werden ab August scharf: die GPAI-Anbieter-Pflichten (also Microsoft, OpenAI, Anthropic, Google — und deren Vertrags- und Doku-Reichweite zu Ihnen), Watermarking-Pflichten für neue GenAI-Outputs (Art. 50), die Marktüberwachung durch die Bundesnetzagentur, und das Strafsystem mit bis zu 7 Prozent vom Weltumsatz für verbotene Praktiken (Hochrisiko- und Transparenzverstöße: bis 3 Prozent). Letzteres ist seit 2025 in Kraft, wird aber ab August 2026 mit Marktüberwachung durchsetzbar.


Wer in Deutschland zuständig ist — und warum das wichtig ist

Anders als bei der DSGVO gibt es keine 16 Landesbehörden, sondern eine zentrale Aufsicht: die Bundesnetzagentur via Koordinierungs- und Kompetenzstelle für KI-Verordnung (KoKIVO) und das KI-Marktüberwachungs- und Innovations-Gesetz (KI-MIG). Das bedeutet einheitliche Auslegung und kein Bundesländer-Roulette. Für unsere Banking- und Versicherungskunden relevant: BaFin und Bundesbank haben Mitprüfungsrechte bei Hochrisiko-KI in Finanzdienstleistungen.

Unsere Empfehlung: Behandeln Sie BNetzA-Schreiben mit derselben Priorität wie Datenschutz-Aufsichtsanfragen. Wer erst nach drei Wochen reagiert, signalisiert mangelnde Governance — und genau das ist das Erste, was bei Strafzumessung berücksichtigt wird.


Strafrahmen — und warum die KMU-Klausel wirklich hilft

35 Millionen Euro oder 7 Prozent vom Welt-Umsatz, je nachdem was höher ist. Diese Zahl wird in jeder zweiten LinkedIn-Diskussion zitiert und löst zuverlässig CIO-Schweißausbrüche aus. Für Mittelständler ist die Realität entspannter — wenn man Artikel 99 wirklich liest.

Verstoß Max-Strafe Großkonzern KMU-Sonderregel
Verbotene Praktiken (Art. 5) 35 Mio. EUR oder 7% Welt-Umsatz (höherer Wert) niedrigerer Wert von beiden
Hochrisiko-Verstöße 15 Mio. EUR oder 3% Welt-Umsatz niedrigerer Wert von beiden
Falsche Auskünfte 7,5 Mio. EUR oder 1% Welt-Umsatz niedrigerer Wert von beiden

Konkretes Rechenbeispiel: Ein Mittelständler mit 200 Mio. EUR Umsatz. Verbotene Praktik (Art. 5): 7% wären 14 Mio., 35 Mio. sind höher — also greift bei ihm der niedrigere Wert 14 Mio. EUR. Hochrisiko-Verstoß: 3% sind 6 Mio., 15 Mio. sind höher — Strafrahmen liegt bei 6 Mio. EUR. Das ist immer noch existenzbedrohend, aber kein 35-Mio-Beil.

Wichtiger als die Maximalstrafe ist die Strafzumessung. Die BNetzA wird laut KoKIVO-Leitlinien fünf Faktoren stark gewichten: Vorsatz vs. Fahrlässigkeit, Größe des Unternehmens, Schaden für Betroffene, Kooperationsverhalten, vorhandene Governance-Struktur. Genau letzterer Punkt ist die gute Nachricht: Wer ein KI-Inventar, Schulungsnachweise und einen benannten KI-Governance-Owner vorweisen kann, landet im untersten Strafrahmen oder kommt mit einer Anordnung statt Bußgeld davon.


Anbieter oder Betreiber? Die teuerste Verwechslung der nächsten Monate

Das ist die wichtigste Unterscheidung im EU AI Act — und gleichzeitig die häufigste Verwirrung in unseren Beratungsterminen. Anbieter ist, wer ein KI-System entwickelt, in Verkehr bringt oder unter eigenem Namen vermarktet. Betreiber ist, wer ein bestehendes KI-System nutzt. Klingt einfach, ist es nicht.

Wer Copilot oder ChatGPT Enterprise einkauft und Mitarbeitern bereitstellt, ist Betreiber. Wer eigene Daten in ein Open-Source-Modell wie Llama 3.3 fine-tuned und im eigenen Produkt einsetzt — wird Anbieter. Wer eine GPT-4-API in seine HR-Software einbaut und unter eigenem Branding ausrollt — wird Anbieter. Das ist der teuerste Klassifizierungsfehler, den wir in der Praxis sehen.

Entscheidungs-Tree (vereinfacht)

   Nutzen Sie KI?
        |
        ja
        |
   Eigenes Modell trainiert oder fine-tuned?  ─── ja ──► ANBIETER (voller Pflichtenkatalog)
        |
        nein
        |
   Vermarkten Sie unter eigenem Namen?  ─── ja ──► ANBIETER
        |
        nein
        |
   Reine Nutzung fertiger Lösung?  ─── ja ──► BETREIBER (schlanker Pflichtenkatalog)

Die Betreiber-Pflichten aus Artikel 26 (für Hochrisiko-Systeme ab 02.12.2027) sind machbar: Audit-Trail mindestens 6 Monate aufbewahren, Human Oversight operational sicherstellen (nicht nur auf dem Papier), Betroffene informieren wenn KI-Entscheidungen sie betreffen, und bei Hochrisiko-Systemen den Anbieter über Vorfälle benachrichtigen. Anbieter-Pflichten sind eine andere Liga: Konformitätsbewertung, Risk-Management-System, technische Dokumentation, Post-Market-Monitoring, CE-Kennzeichnung bei Hochrisiko.

Unsere Empfehlung an jeden Mittelstand-CIO: Listen Sie diese Woche alle KI-Systeme, die unter Ihrem Logo oder über Ihr Branding nach außen oder zu Mitarbeitern gehen — und prüfen Sie jeden einzelnen Fall auf Anbieter-Status. Fine-Tuning oder Custom-RAG kann aus einem harmlosen Betreiber-Setup einen Anbieter-Fall machen, ohne dass das Marketing es merkt.


AI Literacy — die unterschätzte Bombe

Artikel 4 gilt seit Februar 2025: Anbieter und Betreiber ergreifen Maßnahmen, um die KI-Kompetenz aller Personen mit KI-Bezug zu fördern. Seit dem Digital-Omnibus heißt das „fördern“ statt ein Niveau „sicherstellen“, und Art. 4 steht nicht im Bußgeldkatalog von Art. 99. Klingt nach weichem Soft-Skill-Thema, ist aber ein guter Gradmesser dafür, wer seine Hausaufgaben gemacht hat.

Was wir in unseren Audits regelmäßig sehen: Unternehmen interpretieren AI Literacy als „wir haben mal in einer Townhall eine Folie zu ChatGPT gezeigt“. Das reicht nicht. Die EU-Kommission hat in einer Q&A im Februar 2025 klargestellt: Es muss rollenspezifisch sein, dokumentiert, regelmäßig aufgefrischt, und nachweisbar. Kein fixes Curriculum, keine Pflicht-Zertifizierung — aber Bring-Schuld.

Wer ist Adressat?

  1. Alle Mitarbeiter mit KI-Nutzung — auch wer „nur“ Copilot in Excel nutzt
  2. Werkstudenten, Praktikanten, befristete Verträge — kein Schlupfloch
  3. Freelancer und externe Dienstleister, wenn sie KI im Unternehmensnamen einsetzen
  4. Führungskräfte — explizit benannt, denn Entscheidungsverantwortung ohne KI-Verständnis ist riskant
  5. IT-Betrieb und Datenschutz-Team — vertiefte Kenntnisse, nicht nur Awareness

Was reicht als Nachweis? Aus unserer Praxis bewährt: schriftliche KI-Richtlinie pro Rolle, jährliche verpflichtende E-Learning-Module mit Lerntests, Dokumentation Was/Wer/Wann/Inhalt in einem zentralen System, und ein KI-Governance-Owner als Ansprechpartner. Das ist mit überschaubarem Aufwand machbar — wenn man jetzt anfängt und nicht im Juli.


Welche Hochrisiko-Bereiche treffen Mittelstand wirklich?

Annex III listet acht Hochrisiko-Bereiche. Für deutsche Mittelständler sind drei relevant, fünf praktisch nie. Diese Gewichtung übersehen die meisten Compliance-Anbieter, die pauschal alle acht durchprüfen wollen.

Annex-III-Bereich Mittelstand-Relevanz Typisches System
HR-Tools (Recruiting, Performance, Promotion) sehr hoch ab 100 MA LinkedIn Recruiter, Workday, Personio mit KI-Modul
Kreditscoring/Bonität hoch bei Banken/Versicherern/FinTech Eigenes Scoring oder Schufa-API plus Modell
Versicherungs-Underwriting hoch bei Versicherern Tarif-/Risiko-Engines
Kritische Infrastruktur (Smart Grid, SCADA) mittel bei Energieversorgern Anomalie-Detektion in OT
Bildung praktisch nie Mittelstand —
Strafverfolgung praktisch nie —
Migration/Grenzkontrolle praktisch nie —
Justiz/Demokratie praktisch nie —

In unserer Erfahrung kommt der größte Bumerang aus HR. Recruiting-Tools, die KI-basiert Lebensläufe filtern oder Kandidaten ranken, sind ab 100 MA praktisch unvermeidbar. Wer LinkedIn Recruiter mit KI-Empfehlungen nutzt, ist Betreiber eines Hochrisiko-Systems — mit allen Artikel-26-Pflichten ab Dezember 2027. Und ja, das gilt auch für die Personalvermittler, die Sie beauftragen. Wer einen externen Recruiter mit KI-Sourcing arbeiten lässt, übernimmt Mitverantwortung.


Die CIO-Checkliste für Mai bis August 2026

Wir haben mit Mittelstand-CIOs aus Banking, Versicherung, Fertigung und Energie in den letzten Monaten einen pragmatischen Acht-Punkte-Plan iteriert. Das ist kein Rechtsberatungsersatz — aber es ist das, was wir in der Praxis als Mindestnachweis sehen, bevor BNetzA-Schreiben kommen.

  1. KI-Inventar erstellen — inklusive Shadow-IT

Listen Sie jedes KI-System mit Anbieter, Use Case, Datenkategorien, Verantwortlichem. Shadow-IT: Fragen Sie Marketing nach Midjourney/Stable Diffusion, Sales nach privaten ChatGPT-Accounts, HR nach KI-Modulen im Recruiting-Tool. Wir finden in Audits regelmäßig 30-50% mehr Systeme als im offiziellen Asset-Register.

  1. Risiko-Klassifizierung pro System

Jedes System nach EU AI Act in vier Kategorien: verboten, hochrisiko (Annex III), begrenztes Risiko, minimales Risiko. Bei Unsicherheit konservativ einstufen und mit Datenschutz/Compliance abklären.

  1. GPAI-Anbieter-Dokumentation einholen

Bei Microsoft Copilot, ChatGPT Enterprise, Claude for Enterprise, Gemini: Technische Dokumentation und Trainings-Daten-Summary anfordern. Die Anbieter sind seit 2. August 2025 dazu verpflichtet. Archivieren Sie die Doku — bei Audit müssen Sie zeigen, dass Sie als Betreiber Ihre Due Diligence gemacht haben.

  1. AI-Literacy-Schulungsnachweise dokumentieren

E-Learning-Modul, Teilnahmenachweis, Inhalt, Datum, Rolle. Wer letztes Jahr eine generische „KI-Awareness“-Folie gezeigt hat: das reicht nicht. Rollenspezifisch nachschulen.

  1. DSGVO-Schnittstelle definieren

DSFA und KI-Risk-Assessment sind nicht dasselbe, aber überlappen. Für jedes KI-System mit personenbezogenen Daten brauchen Sie beides. Wir empfehlen ein gemeinsames Template, das beide Anforderungen abdeckt.

  1. HR-Tools mit besonderer Sorgfalt

Höchstes Risiko, häufigster Compliance-Verstoß. Anbieter-Bestätigung zur Hochrisiko-Klassifizierung einholen, Kandidaten-Information aktualisieren (Art. 26 Abs. 11), Human Oversight im Entscheidungsprozess dokumentieren.

  1. Audit-Logging aktivieren

Wer KI-Nutzung nicht loggt, kann bei Audit nichts vorlegen. Mindestens: Wer hat wann welches System mit welchem Input genutzt, welcher Output kam raus, welche Entscheidung wurde getroffen. 6 Monate Aufbewahrung Mindeststandard.

  1. KI-Governance-Owner benennen

Ein Name, eine Person, eine Mail-Adresse. Idealerweise eine Schnittstelle aus IT, Compliance und Fachbereich. Bei BNetzA-Anfragen muss diese Person innerhalb von 48 Stunden antworten können.


Sieben Anti-Patterns, die wir wöchentlich sehen

Aus unserer Erfahrung mit über 30 KI-Compliance-Projekten in den letzten 12 Monaten sind das die teuersten Fehleinschätzungen — sortiert nach Häufigkeit, nicht nach Strafhöhe:

  1. „Wir nutzen nur ChatGPT, betrifft uns nicht.“ Falsch. Betreiber-Pflichten greifen ab Mitarbeiter 1, AI Literacy ohnehin.
  2. „Wir warten bis BNetzA klopft.“ Riskant. AI Literacy ist seit Februar 2025 in Kraft (ohne eigenes Bußgeld), Bußgeld-Klauseln seit August 2025.
  3. Shadow-KI ignorieren. Marketing mit Midjourney, Sales mit privatem ChatGPT, HR mit LinkedIn Recruiter — das ist der Audit-Killer.
  4. Anbieter-vs-Betreiber-Verwechslung. Fine-Tuning macht aus einem Betreiber einen Anbieter. Custom-RAG mit eigenem Branding ebenso.
  5. DSGVO mit AI Act verwechseln. Beide nötig, beide unterschiedlich. Eine DSFA ersetzt keine KI-Risiko-Klassifizierung.
  6. GPAI-Anbieter-Doku nicht einholen. Microsoft, OpenAI und Google müssen liefern. Wer nicht nachfragt, hat bei Audit keine Verteidigung.
  7. AI Literacy als Pflicht-Folie. Eine Townhall-Folie ist kein Schulungsnachweis. Rollenspezifisch, dokumentiert, jährlich.

Zahlen, die in CIO-Vorstandspräsentationen funktionieren

Diese vier Zahlen aus dem Bitkom-Branchenmonitor 2026 helfen, im Vorstand das Budget freizukriegen:

  • 41 Prozent deutscher Unternehmen nutzen KI aktiv (2024 waren es noch 17 Prozent) — das ist die Mehrheit, nicht mehr die Avantgarde
  • 48 Prozent planen den Einsatz in den nächsten 12 Monaten
  • 21 Prozent haben eine formale KI-Strategie — der Implementation Gap zwischen „wir nutzen“ und „wir steuern“ ist die größte Risiko-Quelle
  • 77 Prozent der KI-Nutzer berichten, dass sich ihre Wettbewerbsposition verbessert hat

Die unangenehmen Zahlen, die selten gezeigt werden: 33 Prozent sagen, KI sei teurer als erwartet. 19 Prozent haben bereits Mitarbeiter wegen KI entlassen. Und 285 Milliarden Euro Schaden durch KI-gestützte Wirtschaftskriminalität in Deutschland pro Jahr — das ist der Kontext, in dem die BNetzA Bußgelder zumessen wird.


Was wir konkret machen — und was wir nicht machen

Wir bei Pexon haben aus den letzten 30 KI-Compliance-Projekten ein Vorgehen entwickelt, das in 8 Wochen ein BNetzA-fähiges Mindestniveau erreicht: Woche 1-2 KI-Inventar inklusive Shadow-IT-Workshop, Woche 3-4 Risiko-Klassifizierung und Anbieter-Doku-Beschaffung, Woche 5-6 Governance-Setup und AI-Literacy-Rollout-Plan, Woche 7-8 Audit-Logging-Implementierung und Dokumentations-Übergabe.

Was wir nicht machen: Pauschale Annex-III-Vollaudits für Mittelständler ohne HR-/Finanz-/Energie-Hochrisiko-System. Wer keine relevanten Annex-III-Systeme hat, braucht keinen 50.000-Euro-Audit. Wir sagen das auch dann, wenn der Audit-Umsatz schöner wäre als ehrliche Beratung.


Häufig gestellte Fragen

Bin ich vom EU AI Act betroffen wenn ich nur ChatGPT nutze?

Ja. Wer KI nutzt, ist Betreiber im Sinne des EU AI Act. AI Literacy nach Artikel 4 gilt schon heute, die Artikel-26-Pflichten greifen für Hochrisiko-Systeme nach Anhang III ab 2. Dezember 2027. Der Pflichtenkatalog ist schlanker als beim Anbieter, aber existiert. Verpflichtend sind Maßnahmen zur Förderung der KI-Kompetenz (kein Zertifikat vorgeschrieben); Use-Case-Dokumentation und Human Oversight werden beim Hochrisiko-Einsatz Pflicht.

Was kostet EU AI Act Compliance für Mittelstand?

In unserer Erfahrung bei Mittelständlern ohne Annex-III-Hochrisiko-System: 30.000-60.000 EUR einmaliger Aufwand für Inventar, Governance, Dokumentation und Schulungs-Rollout, plus 1.000-3.000 EUR pro Monat laufender Aufwand. Bei Hochrisiko-Systemen (HR, Kreditscoring): plus 40.000-80.000 EUR Konformitätsbewertung pro System.

Wer haftet — Anbieter oder Betreiber?

Anbieter haftet primär nach Produkthaftungs-Logik für das System selbst. Betreiber haftet für Pflichtverletzungen aus Artikel 26 — also wenn er das System falsch einsetzt, kein Human Oversight hat oder Betroffene nicht informiert. In der Praxis treffen beide Seiten Pflichten, und Anbieter-Verträge sollten Haftungsteilung klar regeln. Wer Fine-Tuning macht, kann ungewollt zum Anbieter werden und damit den vollen Pflichtenkatalog erben.

Reicht ein Verhaltenskodex?

Nein. Verhaltenskodizes (Code of Practice) sind freiwillige Selbstverpflichtungen, die einzelne Pflichten erleichtern können, aber die gesetzlichen Anforderungen nicht ersetzen. Wer einen Verhaltenskodex unterzeichnet, verschafft sich bei der BNetzA Goodwill und kann auf „vermutete Konformität“ für bestimmte GPAI-Aspekte hoffen. Die operative Compliance — Inventar, Governance, AI Literacy, Audit-Logging — muss trotzdem stehen.

Wie hoch ist die Strafe wirklich?

Maximalstrafe für verbotene Praktiken: 35 Mio. EUR oder 7% Welt-Umsatz, je nach höherem Wert. Für KMU greift die Sonderregel: der niedrigere der beiden Werte. Bei einem Mittelständler mit 200 Mio. EUR Umsatz bedeutet das maximal 14 Mio. EUR Strafe bei verbotenen Praktiken, 6 Mio. EUR bei Hochrisiko-Verstößen. Die BNetzA wird Strafzumessung an Governance-Niveau koppeln — wer dokumentierte Strukturen hat, landet im untersten Rahmen.


Was Sie jetzt tun

Wir bieten einen Compliance-Check für Ihren KI-Bestand: zwei Workshops, KI-Inventar inklusive Shadow-IT, Risiko-Klassifizierung, GPAI-Anbieter-Doku-Status und Acht-Wochen-Plan mit Blick auf die Anhang-III-Frist am 02.12.2027. Festpreis, kein Annex-III-Vollaudit wenn nicht nötig.

[EU AI Act Compliance-Check für Ihren KI-Bestand anfragen](https://pexon-consulting.de/ki-beratung/euaiactcheckliste/)


Verwandte Themen


Microsoft Fabric. Bilder Blogtemplate Whitepaper

Whitepaper Zero Trust K8s

  • Wie Sie mit Istio die NIS-2 Haftungsrisiken technisch eliminieren

Beratungsgespräch

Sichern Sie sich Ihre kostenfreie Erstberatung

Analyse Ihres individuellen Cloud- oder KI-Bedarfs
Erste Empfehlungen zu Umsetzungsstrategien
Transparente Einblicke in unsere Methoden, Technologien & Referenzen