KI Integration Mittelstand: 8 Wochen vom Use Case zum Produktivbetrieb

KI Integration Mittelstand bei Pexon: Use-Case-Auswahl auf Wirkung, Pilot in 8 Wochen, Anbindung an ERP, MES und PLM, Self-Hosted oder Azure EU. Fokus auf produzierendes Gewerbe und Maschinenbau zwischen 300…

2 Juni. 2026 | AI

Inhaltsverzeichnis

Pexon Consulting | 10 Min. Lesezeit | 13.05.2026


TL;DR

KI Integration Mittelstand heißt bei uns: Use-Case-Auswahl auf Wirkung statt Hype, Pilot in 8 Wochen, Anbindung an bestehende ERP-, MES- und PLM-Systeme, Self-Hosted oder Azure EU. Pexon Consulting fokussiert sich auf produzierendes Gewerbe und Maschinenbau zwischen 300 und 3.000 Mitarbeitern — 80 MA, Deutschland, Microsoft Partner. Unsere Kunden bringen den ersten produktiven Use Case in 6 bis 10 Wochen live, statt nach 18 Monaten Pilot-Friedhof.

Klassischer Ansatz KI Integration Mittelstand bei Pexon
Time-to-Production 12–18 Monate 6–10 Wochen
Anteil produktiv genutzte Piloten 30–40% 85–95%
Anbindung an Bestandssysteme nachgelagert von Tag 1
DSGVO/EU-AI-Act-Klärung bei Audit im Setup

Warum so viele KI-Piloten im Mittelstand auf der Strecke bleiben

Bitkom hat 2024 erhoben: 32 Prozent der deutschen Mittelständler nutzen KI produktiv. Das klingt nach Fortschritt — bis man die andere Seite sieht. Das Mittelstand-Digital Zentrum spricht von einer Scheiterquote der KI-Piloten in der Fertigung von rund 60 Prozent. Bei zehn gestarteten Initiativen kommen vier in den Echtbetrieb. Sechs verschwinden in Folien, Excel-Tracking-Boards und Slack-Kanälen, die irgendwann niemand mehr öffnet.

Das Problem ist meist nicht die Technik. Wir sehen drei wiederkehrende Muster, an denen es real scheitert:

Erster Bruch — Use Case ohne Geschäftsfall. Der Innovationsmanager kommt mit „Wir machen jetzt was mit KI“. Es wird ein Chatbot gebaut, weil ChatGPT in der Vorstandssitzung gut ankam. Drei Monate später fragt jemand, wer den Chatbot eigentlich braucht. Antwort: niemand mit messbarem Schmerz. Pilot tot.

Zweiter Bruch — Kein Anschluss an die Bestandssysteme. Der Pilot läuft auf einer Spielwiese mit drei PDFs. Sobald er an SAP, das MES oder das PLM angebunden werden soll, beginnt die Diskussion mit der internen IT über Schnittstellen, die in vier Monaten frei werden. Vier Monate später sind die Förderlogik und die Aufmerksamkeit vorbei.

Dritter Bruch — DSGVO und EU AI Act zu spät bedacht. Ein Maschinenbauer hatte einen funktionierenden RAG-Bot für Servicetechniker. Beim internen Datenschutz-Audit fiel auf, dass das Modell in den USA gehostet wurde und Servicetickets mit Kundennamen drinstanden. Roll-Out gestoppt, Neukonzeption gefordert, 4 Monate verloren.

Wer diese drei Brüche im Setup vermeidet, kommt von 60 Prozent Scheiterquote auf 5 bis 15 Prozent. Das ist der Unterschied, den wir liefern.


Wo KI im produzierenden Gewerbe wirklich Geld bringt

Bevor wir ein Setup-Wort sagen, klären wir mit Ihnen den Use Case. Das sind die fünf Felder, in denen wir bei mittelständischen Fertigungs- und Maschinenbau-Kunden die größten Hebel sehen — sortiert nach Häufigkeit, mit der wir sie umsetzen:

Servicetechniker-Assistent (KI-Suche im Wartungswissen). Servicetechniker haben Zugriff auf 15.000 bis 60.000 Seiten Dokumentation: Wartungshandbücher, Schaltpläne, Reparaturanleitungen, alte Tickets, Fehlerbilder. Die Suche darin kostet pro Einsatz 20 bis 45 Minuten. RAG mit Vision-Language-Modell für Schaltpläne reduziert das auf 2 bis 5 Minuten. Hebel: 200 bis 350 EUR pro Einsatz und Techniker, bei 12 Technikern und 20 Einsätzen pro Tag also 500.000 bis 800.000 EUR pro Jahr.

Auftragsklärung und Angebotserstellung. Der Vertrieb verarbeitet 200 bis 600 Anfragen pro Monat. Jede Anfrage muss gegen Kapazität, Material und ähnliche Vorgängerangebote geprüft werden. Ein RAG-System mit Anbindung an CRM, ERP und Angebotsarchiv liefert Vorschläge in 30 Sekunden, wo der Vertrieb sonst 25 bis 90 Minuten braucht. Hebel: 1.500 bis 3.000 zusätzlich qualifizierte Angebote pro Jahr ohne Personalaufbau.

Dokumenten-Verarbeitung im Einkauf und in der QS. Auftragsbestätigungen, Lieferscheine, Prüfzeugnisse, 8D-Reports — alles landet als PDF oder Papier. Document Intelligence extrahiert strukturiert, prüft gegen Bestellung oder Spezifikation und meldet Abweichungen. Hebel: 60 bis 80 Prozent weniger manuelle Erfassung, plus die Abweichungen, die im manuellen Prozess durchrutschen.

Qualitätsprüfung mit Computer Vision. An Fertigungslinien mit hoher Stückzahl und visuell prüfbaren Merkmalen ersetzt ein Computer-Vision-Modell die manuelle Endkontrolle. Investitionsschwelle höher (Kameras, Beleuchtung, GPU vor Ort), Hebel aber bei 0,5 bis 1,5 Prozent Ausschussreduktion. Bei 80 Millionen Materialeinsatz sind das 400.000 bis 1,2 Millionen EUR pro Jahr.

Forecasting und Bedarfsplanung. Wenn Sie eine saubere Verkaufshistorie und einen vernünftigen Stamm- und Bewegungsdatenbestand haben, ist klassisches Machine Learning oft schon der größte Hebel — nicht generative KI. Wir sehen 15 bis 25 Prozent Verbesserung bei Bestandsreichweite ohne Service-Level-Verlust.

Wir starten bei 80 Prozent unserer Mittelstand-Projekte mit Use Case 1 oder 3. Beide haben kurzen Time-to-Value (8 Wochen sind realistisch), klaren ROI und brauchen keine Großinvestition in Hardware.


Wie wir die KI Integration Mittelstand in 8 Wochen aufsetzen

Unser Pilot folgt einem festen Rhythmus, den wir über mehr als 40 Engagements im Mittelstand kalibriert haben:

Woche 1 — Use-Case-Workshop und Datenscreening. Zwei Tage Workshop mit Ihren Fachbereichen plus IT. Wir bewerten 3 bis 6 Use-Case-Kandidaten nach Hebel, Datenverfügbarkeit, Schnittstellen-Aufwand und Compliance-Profil. Am Ende der Woche steht der priorisierte Use Case, der Erfolgsmesser und das Cut-off-Kriterium für den Pilot fest.

Woche 2-3 — Datenintegration und Modellauswahl. Wir docken an ERP (SAP, ProAlpha, Infor), MES, PLM oder DMS an. Bei den meisten Mittelständlern reichen vorhandene REST-APIs oder Datenbank-Replikate. Parallel wird das Modell ausgewählt — Azure OpenAI GPT-4o, Claude Sonnet, Llama 3.3 70B selbst gehostet oder Mistral. Die Wahl ist keine Glaubensfrage, sondern eine Compliance- und Kostenfrage.

Woche 4-6 — Build und iteratives Testing. Wir bauen das System produktionsreif, nicht als Demo. Heißt: Audit-Logging, Rollen und Rechte, Anbindung an Single Sign-On, Monitoring. In den Tests sitzen die späteren Nutzer aus dem Fachbereich, nicht nur die IT. Iteration alle 3 bis 5 Tage.

# Beispiel: Pexon-Setup-CLI für Azure-RAG-Stack
pexon-stack init 
  --use-case service-assistent 
  --llm azure-openai-gpt4o 
  --region westeurope 
  --datasources sharepoint,sap-pm,confluence 
  --auth azure-ad
# Liefert: Terraform-Module, GitOps-Repo, CI-Pipeline, Audit-Schema

Woche 7 — Pilotbetrieb mit echten Nutzern. 20 bis 40 Anwender aus dem Fachbereich arbeiten produktiv mit dem System. Wir messen gegen die in Woche 1 definierte Erfolgsmetrik. Bei Servicetechniker-Use-Cases ist das typisch die durchschnittliche Suchzeit pro Einsatz.

Woche 8 — Übergabe und Skalierungsplan. Das System läuft produktiv. Wir übergeben an Ihre IT mit dokumentiertem Runbook, Architektur-Diagramm und 30-tägigem Hyper-Care. Parallel definieren wir den Skalierungsplan für die nächsten 12 Monate: welche weiteren Use Cases, welche Reihenfolge, welche Hardware-Investitionen.

Wenn Sie nach acht Wochen kein produktiv genutztes System haben, haben wir unser Versprechen gebrochen. Das ist die einfache Messlatte. Wir setzen uns bei 92 Prozent der Pilote auf der Innenseite dieser Latte.


Stack und Architektur für mittelständische Fertigung

Wir sind hier opinionated. Unsere klare Empfehlung für 80 Prozent der mittelständischen Fertigungs- und Maschinenbau-Kunden:

Schicht Empfehlung Warum
LLM-Inferenz Azure OpenAI EU (Westeurope/Schweden) DSGVO-konform, Microsoft Partner-Vertrag deckt EU AI Act ab
Embedding-Modell text-embedding-3-large oder bge-m3 selbst gehostet Beide stark in DE, m3 für sensible Daten
Vektor-Index Azure AI Search oder Qdrant Search bei reiner Azure-Architektur, Qdrant bei On-Prem
Orchestrierung LangChain oder LlamaIndex LangChain für komplexe Agents, LlamaIndex für reine RAG
Frontend Eigene Webapp oder Microsoft Teams App Teams App bei <500 Nutzern, Webapp bei höherem Customizing
Datenintegration n8n oder Azure Logic Apps n8n bei On-Prem-Stack, Logic Apps bei reiner Cloud
Audit-Log Azure Monitor + dediziertes Schema Pflicht für ISO 9001 und IATF 16949

Bei Kunden mit harten Compliance-Anforderungen — Wehrtechnik, Pharma, Kritische Infrastruktur oder bei Wettbewerber-sensiblen Daten — bauen wir die Lösung komplett On-Premises auf einer NVIDIA L40S oder H100 GPU. Das macht den Pilot teurer (130.000 bis 200.000 EUR statt 75.000 bis 120.000 EUR), aber Ihre Daten verlassen das Werk nie.

Wir raten aktuell davon ab, eigene Foundation-Modelle zu trainieren. Das ist 2026 für 99 Prozent der Mittelständler Geldverschwendung. Sauberes Fine-Tuning auf Bestandsdaten plus RAG ist in 95 Prozent der Fälle ausreichend.


Was kostet das wirklich — und wann amortisiert es sich

Ein 8-Wochen-Pilot liegt zwischen 75.000 und 150.000 EUR. Die Spanne hängt an drei Faktoren: Komplexität des Use Cases, Anzahl der Datenquellen und Hosting-Modell (Azure günstiger, On-Premises teurer durch Hardware).

Im Pilot enthalten sind: Use-Case-Workshop, Datenintegration zu 2 bis 3 Quellen, Setup der KI-Pipeline, produktiv genutzter MVP mit 20 bis 40 Echtnutzern, Schulung von 3 bis 5 Power-Usern, 30 Tage Hyper-Care, Architektur-Dokumentation und Skalierungsplan.

Laufende Betriebskosten danach hängen vom Setup ab:

  • Azure-Hosting EU bei 100 bis 500 Nutzern: 1.800 bis 6.000 EUR pro Monat
  • On-Premises auf eigener GPU: 700 bis 1.800 EUR pro Monat (Betrieb, Updates, Modell-Refresh), einmalig 35.000 bis 90.000 EUR Hardware
  • Pflege und Weiterentwicklung: typisch 12 bis 25 Beratungstage pro Quartal, also 22.000 bis 55.000 EUR

ROI-Rechnung am Beispiel Servicetechniker-Assistent bei einem Maschinenbauer mit 12 Servicetechnikern und 20 Einsätzen pro Tag:

  • Eingesparte Suchzeit pro Einsatz: 25 Minuten × 240 Einsätze pro Tag × 220 Arbeitstage = 22.000 Stunden pro Jahr
  • Bei 95 EUR Stundensatz: 2.090.000 EUR theoretisch
  • Realistisch abrufbar (Konservativ 40 Prozent davon, weil Zeit nicht 1:1 in Output umgewandelt wird): 836.000 EUR

Bei 110.000 EUR Pilot plus 50.000 EUR Betriebskosten im ersten Jahr amortisiert sich das System bei diesem Beispiel in unter 3 Monaten. Auch bei wesentlich konservativeren Annahmen liegt der ROI bei 6 bis 12 Monaten — und das ist die Schwelle, an der Geschäftsführer und Inhaber die Entscheidung treffen.


Worauf Sie bei der Auswahl Ihres KI-Partners achten sollten

Wir sehen viel Marktbewegung. Hier sind sieben Punkte, an denen wir Anbieter regelmäßig durchfallen sehen — gerade bei mittelständischen Kunden:

  1. Mittelstandserfahrung ist kein Marketing-Claim, sondern Referenzliste. Fragen Sie nach drei konkreten Kundenprojekten in Ihrer Branche mit Größenordnung 300 bis 3.000 MA. Wer nur DAX-Konzerne oder Startups als Referenz hat, versteht Ihren Kontext nicht.
  2. Hands-on statt Powerpoint. Lassen Sie sich in Woche 1 des Pilots zeigen, wer den Code schreibt. Wenn der Architekt nach dem Kick-off verschwindet und nur noch Junior-Berater auftauchen, ist das ein Warnsignal.
  3. Bestandssysteme von Tag 1. Wenn der Anbieter „wir starten mit einer Spielwiese, anbinden machen wir später“ sagt — Vertrag nicht unterschreiben. Genau das ist Pilot-Friedhof.
  4. Self-Hosted-Option. Mindestens auf Anfrage. Wer nur SaaS anbietet, scheitert im ersten ernsthaften Compliance-Gespräch mit Ihrem Datenschutzbeauftragten.
  5. Audit-Log granular. ISO 9001, IATF 16949 und im Pharma-Umfeld GMP fordern Nachvollziehbarkeit. Pauschale Logs reichen nicht — jede KI-Entscheidung muss revisionssicher protokolliert sein.
  6. Quellenangabe in jedem KI-Output. Halluzinationen ohne Quelle sind im produzierenden Gewerbe disqualifizierend. Jede Antwort muss auf konkrete Dokumente referenzieren.
  7. Pilot-Cut-Off-Kriterium schriftlich. Was bedeutet „erfolgreich“ konkret? Welche Metrik, welcher Schwellwert? Wenn das nicht in der ersten Pilot-Woche dokumentiert wird, gibt es am Ende keinen ehrlichen Soll-Ist-Vergleich.

Häufig gestellte Fragen

Was kostet eine KI Integration im Mittelstand bei Pexon?

Der Standard-Pilot liegt zwischen 75.000 und 150.000 EUR und dauert 8 Wochen. Enthalten sind Use-Case-Workshop, Datenintegration, produktiver MVP mit Echtnutzern, Schulung und 30 Tage Hyper-Care. Die Spanne hängt an Komplexität des Use Cases (einfacher Chatbot günstiger, Multi-System-RAG teurer), Anzahl der Datenquellen und Hosting-Modell. Laufende Betriebskosten ab Monat 3 liegen bei 1.800 bis 6.000 EUR monatlich bei Azure-Hosting, niedriger bei On-Premises.

Lohnt sich KI für unseren Mittelstand mit 600 Mitarbeitern überhaupt — oder ist das eher was für Konzerne?

Die ehrliche Antwort: Es kommt auf den Use Case an. Für reine Forschungsprojekte ohne klaren Geschäftsfall lohnt KI im Mittelstand selten. Für Use Cases mit messbarem Schmerz (Servicetechniker-Suche, Auftragsklärung, Dokumentenverarbeitung) sehen wir bei Kunden zwischen 300 und 3.000 Mitarbeitern die besten ROI-Quoten. Konzerne haben mehr Datensilos und politische Hürden, der Mittelstand entscheidet schneller und sieht den Effekt direkt im EBIT.

Selbst entwickeln oder Standardsoftware kaufen?

Das ist die häufigste Frage. Unsere Empfehlung: Standardsoftware wo es geht (Copilot, Standard-Chatbots, vorgefertigte OCR), Eigenentwicklung wo Sie Ihre Daten und Ihren Prozess differenzieren wollen. Servicetechniker-Assistenten und Auftragsklärung sind fast immer Eigenentwicklung, weil Ihre Wartungshandbücher und Ihr CRM-Setup spezifisch sind. Office-KI ist immer Standard. Mischformen sind sinnvoll — wir empfehlen kein „alles selbst bauen“.

Wie verhindern wir, dass die KI sensible Konstruktionsdaten an einen US-Cloud-Anbieter schickt?

Drei Mechanismen. Erstens: Azure OpenAI EU-Hosting mit „no training“ und Microsoft EU Data Boundary — Daten bleiben in der EU. Zweitens: Bei harten Compliance-Anforderungen On-Premises-Setup mit lokalem LLM (Llama 3.3, Mistral). Drittens: Wir signieren auf Wunsch AVV und Auftragsverarbeitungsvereinbarung, die den Datenfluss explizit dokumentieren. Bei Wehrtechnik- und Pharma-Kunden bauen wir komplett abgeschottet ohne Internet-Anbindung.

Was passiert mit der KI, wenn ein neuer EU AI Act in Kraft tritt?

Der EU AI Act ist seit August 2024 in Kraft, die meisten Pflichten greifen ab August 2026. Für 95 Prozent der Mittelstands-Use-Cases (Servicetechniker-Assistent, Dokumentenverarbeitung, RAG-Suche) gilt „Minimal Risk“ oder „Limited Risk“ — heißt: Transparenzpflichten, aber keine Genehmigungsprozesse. Hochrisiko-KI im Maschinenbau ist eher selten und betrifft konkret die Computer-Vision-Qualitätsprüfung bei sicherheitskritischen Bauteilen. Wir prüfen die Einstufung bei jedem Pilot explizit mit und dokumentieren sie revisionssicher.


Nächster Schritt

Wenn Sie zwischen 300 und 3.000 Mitarbeiter haben, in der Fertigung oder im Maschinenbau aktiv sind und mindestens einen konkreten KI-Use-Case im Kopf haben — oder zwei Use Cases, zwischen denen Sie schwanken — ist das Thema einen ehrlichen 90-Minuten-Termin wert. Wir bewerten mit Ihnen den Use Case auf Hebel, Datenverfügbarkeit und Compliance-Profil und sagen Ihnen ehrlich, ob ein Pilot bei Ihnen aktuell sinnvoll ist.


Verwandte Themen


Microsoft Fabric. Bilder Blogtemplate Whitepaper

Claude Code im Unternehmen

  • Praxis-Guide für IT-Leiter – mit konkreten Einblicken zu Kosten, Sicherheit und Rollout von Claude Code im Unternehmen.

Beratungsgespräch

Sichern Sie sich Ihre kostenfreie Erstberatung

Analyse Ihres individuellen Cloud- oder KI-Bedarfs
Erste Empfehlungen zu Umsetzungsstrategien
Transparente Einblicke in unsere Methoden, Technologien & Referenzen