Unstrukturierte Daten im Mittelstand: So nutzt KI Ihr verborgenes Wissen

Pexon Consulting | 10 Min. Lesezeit | 25.03.2026

TL;DR

80 % aller Unternehmensdaten sind unstrukturiert — E-Mails, PDFs, Verträge, technische Zeichnungen. Die meisten Mittelständler nutzen dieses Wissen nicht. Mit Document Intelligence und RAG-Systemen lassen sich diese Daten heute erschließen, durchsuchbar machen und in bestehende Prozesse integrieren. Dieser Artikel zeigt, wie das konkret funktioniert, was es kostet und wo der ROI liegt.

80 % Ihrer Daten liegen brach — und es werden täglich mehr

Laut IDC sind 80 bis 90 Prozent aller neu erzeugten Unternehmensdaten unstrukturiert. Das sind keine abstrakten Zahlen aus Silicon-Valley-Studien. Das betrifft jedes Maschinenbauunternehmen mit 200 Mitarbeitenden: Die Wartungsprotokolle im Dateisystem. Die 14.000 PDFs in der technischen Dokumentation. Die E-Mail-Korrespondenz mit Lieferanten. Die Vertrags-Scans im Archiv.

Gleichzeitig wächst das Volumen unstrukturierter Daten laut Gartner jährlich um 55 bis 65 Prozent — dreimal schneller als strukturierte Daten in ERP oder CRM. Das globale Datenvolumen wird 2026 voraussichtlich 221 Zettabyte erreichen.

Das Problem dabei: 80 Prozent dieser Daten werden nie genutzt. Ein Maschinenbauer speichert zwar jedes Prüfprotokoll, aber wenn ein Servicetechniker im Feld eine Fehlermeldung zu einer Baureihe sucht, blättert er trotzdem manuell durch Ordner — oder fragt den Kollegen, der seit 20 Jahren dabei ist.

Was sind unstrukturierte Daten — und warum scheitern klassische Ansätze?

Unstrukturierte Daten folgen keinem festen Schema. Im Gegensatz zu einer Datenbanktabelle mit definierten Spalten enthalten sie Freitext, Bilder, Tabellen in variablen Formaten und eingebettete Metadaten.

Typische Formate im Mittelstand:

Klassische Ansätze scheitern an diesen Daten:

• Volltextsuche im Dateisystem: Findet nur exakte Wortübereinstimmungen, versteht keine Synonyme, scheitert an gescannten PDFs komplett.
• Manuelle Verschlagwortung: Funktioniert bei 200 Dokumenten. Bei 200.000 ist sie unbezahlbar und inkonsistent.
• DMS-Systeme ohne KI: Erfordern strukturierte Eingabe durch Mitarbeitende. Was nicht korrekt abgelegt wird, ist verloren.

Die Konsequenz: Wissen geht verloren, wenn Mitarbeitende das Unternehmen verlassen. Prozesse dauern länger, weil Informationen manuell zusammengesucht werden. Und KI-Projekte scheitern, bevor sie starten — weil die Datenbasis nicht zugänglich ist.

So funktioniert KI-gestützte Dokumentenverarbeitung

Der technologische Durchbruch der letzten zwei Jahre liegt in der Kombination aus drei Bausteinen: OCR und Layout-Erkennung, Vektorisierung und semantische Suche (RAG) sowie Large Language Models zur Interpretation.

Schritt 1: Document Intelligence — Dokumente maschinenlesbar machen

Document Intelligence (ehemals Azure Form Recognizer, heute Teil der Microsoft Foundry Tools) extrahiert Text, Tabellen und Struktur aus beliebigen Dokumenten. Seit November 2025 verarbeitet der Dienst zusätzlich Bilder, Audio und Video über eine einheitliche API.

# Azure Document Intelligence — PDF-Extraktion (Python SDK)
from azure.ai.documentintelligence import DocumentIntelligenceClient
from azure.core.credentials import AzureKeyCredential

client = DocumentIntelligenceClient(
    endpoint="https://<your-resource>.cognitiveservices.azure.com/",
    credential=AzureKeyCredential("<your-key>")
)

# Layout-Analyse: Text, Tabellen, Abschnitte erkennen
with open("wartungsprotokoll.pdf", "rb") as f:
    poller = client.begin_analyze_document("prebuilt-layout", body=f)
    result = poller.result()

for page in result.pages:
    for line in page.lines:
        print(f"  {line.content}")

# Tabellen extrahieren
for table in result.tables:
    print(f"Tabelle: {table.row_count} Zeilen, {table.column_count} Spalten")
    for cell in table.cells:
        print(f"  [{cell.row_index},{cell.column_index}] {cell.content}")

Der Vorteil gegenüber reiner OCR: Document Intelligence versteht die Dokumentenstruktur. Es erkennt, dass eine Zahl in einer Tabellenzelle steht und nicht im Fließtext. Es unterscheidet Überschriften von Absätzen. Und es liefert Konfidenzwerte, mit denen nachgelagerte Systeme entscheiden können, ob ein Ergebnis manuell geprüft werden muss.

Schritt 2: RAG — Dokumente semantisch durchsuchbar machen

Retrieval Augmented Generation (RAG) geht einen Schritt weiter: Statt nur Text zu extrahieren, werden Dokumente in Vektoren umgewandelt und in einer Datenbank gespeichert. Wenn ein Nutzer eine Frage stellt — etwa „Welche Wartungsintervalle gelten für Baureihe X7?“ — sucht das System semantisch nach relevanten Passagen und generiert eine Antwort mit Quellenangabe.

Architektur: RAG-System für technische Dokumentation

┌─────────────────────────────────────────────────┐
│  Nutzer-Frage: "Wartungsintervall Baureihe X7?" │
└──────────────────────┬──────────────────────────┘
                       │
                       ▼
┌──────────────────────────────────────────────────┐
│  Azure AI Search (Vektor-Index)                  │
│  → Semantische Suche über 50.000 Dokumente       │
│  → Top-5 relevante Passagen mit Konfidenz-Score  │
└──────────────────────┬───────────────────────────┘
                       │
                       ▼
┌──────────────────────────────────────────────────┐
│  LLM (GPT-4o / GPT-4.1 via Azure OpenAI)        │
│  → Generiert Antwort aus gefundenen Passagen     │
│  → Nennt Quell-Dokument und Seitenzahl           │
└──────────────────────┬───────────────────────────┘
                       │
                       ▼
┌──────────────────────────────────────────────────┐
│  Antwort:                                        │
│  "Baureihe X7 hat ein Wartungsintervall von      │
│   500 Betriebsstunden. Quelle: Wartungshandbuch  │
│   X7-Rev3, Seite 42."                            │
└──────────────────────────────────────────────────┘

Der entscheidende Unterschied zu einem klassischen Chatbot: Das RAG-System halluziniert nicht frei. Es antwortet ausschließlich auf Basis Ihrer Unternehmensdokumente und benennt die Quelle. Wenn keine passende Information vorhanden ist, sagt es das.

ROI-Rechnung: Was bringt Document Intelligence konkret?

Die abstrakten 80-Prozent-Statistiken helfen bei der Vorstandspräsentation. Für die Investitionsentscheidung brauchen Sie konkrete Zahlen. Hier eine realistische Rechnung für einen Maschinenbauer mit 300 Mitarbeitenden:

Rechnen wir konservativ: 15 Servicetechniker suchen täglich je 30 Minuten nach Informationen in Dokumenten. Bei einem internen Stundensatz von 65 Euro sind das:

Ein RAG-System reduziert diese Suchzeit erfahrungsgemäß um 80 bis 90 Prozent. Dazu kommen Einsparungen in der Rechnungsprüfung, im Vertragsmanagement und bei Compliance-Anfragen.

Die Implementierungskosten für ein produktionsreifes System liegen zwischen 40.000 und 80.000 Euro. Der Break-Even ist bei den meisten unserer Kunden nach 4 bis 8 Monaten erreicht.

DSGVO und Datenschutz: Was Sie beachten müssen

Ein RAG-System, das auf internen Dokumenten arbeitet, verarbeitet mit hoher Wahrscheinlichkeit personenbezogene Daten — Namen in E-Mails, Unterschriften auf Verträgen, Mitarbeiterdaten in Protokollen.

Die Datenschutzkonferenz (DSK) hat Anfang 2026 eine Orientierungshilfe zu RAG-basierten KI-Systemen veröffentlicht. Die wichtigsten Punkte:

• Rechtsgrundlage: Prüfen Sie, ob Art. 6 Abs. 1 lit. f DSGVO (berechtigtes Interesse) für Ihren Use Case ausreicht, oder ob Sie eine Einwilligung benötigen.
• Zweckbindung: Dokumente, die für einen bestimmten Zweck erhoben wurden, dürfen nicht ohne Weiteres für KI-Training oder -Suche verwendet werden.
• Datensparsamkeit: Vektorisieren Sie nur die Dokumente, die für den jeweiligen Anwendungsfall relevant sind — nicht das gesamte Dateisystem.
• Löschkonzept: Wenn ein Dokument gelöscht wird, muss auch der zugehörige Vektor aus dem Index entfernt werden.

Unsere Empfehlung: Setzen Sie auf eine DSGVO-konforme Architektur, bei der die Daten in Ihrer eigenen Azure-Tenant-Umgebung oder On-Premise verbleiben. Azure AI Search und Azure OpenAI verarbeiten Daten innerhalb der EU-Region und nutzen Kundendaten nicht für das Training eigener Modelle.

Häufig gestellte Fragen

Welche Dokumente eignen sich für KI-gestützte Verarbeitung?

Grundsätzlich alle textbasierten Dokumente: PDFs, Word-Dateien, E-Mails, gescannte Unterlagen, technische Zeichnungen mit Textanteilen. Rein grafische Dokumente (CAD-Zeichnungen ohne Text) erfordern spezialisierte Vision-Modelle. Wir empfehlen, mit dem Dokumententyp zu starten, der den größten Suchaufwand verursacht — bei Maschinenbauern sind das typischerweise Wartungsanleitungen und Prüfberichte.

Wie genau ist die KI-gestützte Extraktion?

Azure Document Intelligence erreicht bei standardisierten Dokumenten (Rechnungen, Formulare) eine Extraktionsgenauigkeit von über 95 Prozent. Bei komplexeren Layouts wie mehrseitigen Verträgen oder technischen Spezifikationen liegt die Genauigkeit bei 85 bis 92 Prozent. Für kritische Prozesse empfehlen wir eine Human-in-the-Loop-Schleife, bei der Ergebnisse unter einem definierten Konfidenzwert manuell geprüft werden.

Brauchen wir eine eigene KI-Abteilung für die Umsetzung?

Nein. Ein Document-Intelligence-Projekt erfordert kein ML-Engineering-Team. Die Azure-Dienste sind vorkonfiguriert und über APIs ansprechbar. Was Sie brauchen: einen technischen Ansprechpartner, der Ihre Dokumentenlandschaft kennt, und einen Implementierungspartner, der die Integration in Ihre bestehende IT-Landschaft übernimmt. Unsere Workshops sind genau dafür konzipiert.

Was kostet der laufende Betrieb eines RAG-Systems?

Die Azure-Kosten setzen sich aus drei Komponenten zusammen: Document Intelligence (ca. 0,01 € pro Seite), Azure AI Search (ab ca. 250 €/Monat für den Standard-Tier) und Azure OpenAI (ca. 0,005–0,02 € pro Abfrage). Für einen typischen Mittelstandskunden mit 50.000 Dokumenten und 500 Abfragen pro Tag liegen die monatlichen Betriebskosten bei 400 bis 800 Euro.

Wie lange dauert die Implementierung?

Ein Proof of Concept mit 1.000 Dokumenten ist in zwei Wochen realisierbar. Die produktionsreife Lösung mit Anbindung an bestehende Systeme (DMS, ERP, E-Mail) benötigt typischerweise 6 bis 12 Wochen. Wir nutzen dafür ein bewährtes Stufenmodell, das mit einem Assessment startet und schrittweise skaliert.

Ihr nächster Schritt: Assessment statt Aktionismus

Bevor Sie Technologie evaluieren, klären Sie drei Fragen:

1. Wo verlieren Sie heute am meisten Zeit durch manuelle Dokumentensuche oder -verarbeitung?
2. Welche Dokumente enthalten das kritischste Wissen, das bei Fluktuation verloren geht?
3. Welche Compliance-Anforderungen stellen Ihre Branche oder Kunden an die Dokumentation?

In unserem AI Readiness Assessment analysieren wir genau diese Fragen — zusammen mit Ihrer IT und den Fachabteilungen. Das Ergebnis ist eine priorisierte Roadmap mit konkreten Use Cases, Aufwandsschätzung und ROI-Berechnung.

Kein Foliensatz. Eine Entscheidungsgrundlage.

Denn die 80 Prozent ungenutzter Daten in Ihrem Unternehmen sind kein technisches Problem. Sie sind eine strategische Chance. Die Technologie ist bereit — seit Azure AI Document Intelligence, Azure AI Search und GPT-4.1 über die Microsoft Foundry Plattform zusammenspielen, lässt sich ein produktionsreifes System in Wochen statt Monaten aufbauen.

Verwandte Themen