Schritt-für-Schritt-Anleitung: Wie Sie ein RAG-System im Unternehmen konzipieren

Phillip Pham von Pexon Consulting | 14 Min. Lesezeit | 03.03.2026

TL;DR

Retrieval Augmented Generation (RAG) verbindet Large Language Models mit Ihren Unternehmensdaten — das LLM greift vor jeder Antwort auf Ihre Dokumente, Wikis und Datenbanken zu und liefert so faktenbasierte, halluzinationsarme Ergebnisse. Pexon Consulting, Microsoft Partner mit 80 Mitarbeitern in Deutschland, hat RAG-Systeme bei Unternehmen wie Liebherr und Mecklenburgische produktiv umgesetzt — DSGVO-konform auf Azure. Ein typisches RAG-Projekt amortisiert sich in 4-6 Monaten durch 60-70% schnellere Informationssuche.

RAG-System-Beratung: Pakete, Preise und Ergebnis

Was ein RAG-System kostet, hängt vom Reifegrad ab, den Sie brauchen. Drei Pakete, transparent kalkuliert:

Referenzfall: Ein Maschinenbauer mit rund 800 Mitarbeitern senkte die Support-Anfragen um 67 %, die Informationssuche fiel von 45 Minuten auf 15 Sekunden.

Das teure Problem

Ein Maschinenbauer mit 500 Mitarbeitern hat typischerweise 15.000-50.000 technische Dokumente: Wartungsanleitungen, Stücklisten, Normen, Kundenkorrespondenz, Projektdokumentationen. Diese liegen verteilt in SharePoint, Confluence, Netzlaufwerken und SAP — ohne semantische Suche.

Laut MIT und RAND Corporation scheitern 70-85% aller KI-Initiativen an den erwarteten Ergebnissen. Der häufigste Grund: Das LLM wurde ohne Anbindung an die tatsächlichen Unternehmensdaten eingesetzt und halluziniert.

Die versteckten Kosten schlechter Wissenssuche

Warum klassische Lösungsansätze scheitern

RAG löst genau diese Probleme: Das LLM bleibt aktuell, weil es bei jeder Anfrage live auf Ihre Dokumente zugreift — kein erneutes Training nötig. Und die Quellenangabe pro Antwort macht Halluzinationen sofort erkennbar.

Die Lösung: RAG als Enterprise-Wissensplattform

Ein RAG-System besteht aus drei Kernkomponenten: einer Indexierung-Pipeline (Ihre Dokumente werden in Vektoren umgewandelt), einer Retrieval-Schicht (die relevantesten Dokumentenabschnitte werden gefunden) und einem LLM (das aus den gefundenen Abschnitten eine Antwort generiert).

Warum jetzt der richtige Zeitpunkt ist

1. Technologisch: Embedding-APIs kosten 95% weniger als vor 2 Jahren. Vektordatenbanken laufen stabil auf Standard-Cloud-Instanzen ab 50 EUR/Monat.
2. Regulatorisch: Der EU AI Act (2024-2027) verlangt nachvollziehbare KI-Entscheidungen mit Quellennachweis — genau das liefert RAG.
3. Wirtschaftlich: Gartner prognostiziert, dass bis 2026 40% aller Enterprise-Anwendungen KI-Agenten enthalten werden (2025: unter 5%). RAG ist die Grundlage für diese Agenten.

ROI-Rechnung (Beispiel: 300 Mitarbeiter, Maschinenbau)

Projektkosten (typisch): 60.000-120.000 EUR (Assessment, Aufbau, Pilotphase, Rollout) Break-Even: Nach 4-6 Monaten 3-Jahres-ROI: 180.000 EUR Investition vs. 1.400.000 EUR Einsparung = Faktor 7,8x Weltweit werden 2026 rund 2,5 Billionen USD für KI ausgegeben (Gartner, Januar 2026). Unternehmen, die jetzt kein RAG implementieren, verlieren den Anschluss an Wettbewerber, die ihre technische Dokumentation bereits durchsuchbar gemacht haben.

Die Rechnung geht allerdings erst auf, wenn aus dem RAG-Backend eine Oberfläche wird, die Mitarbeiter täglich nutzen. Wer diesen Schritt nicht selbst bauen will, kann bei Pexon einen KI-Chatbot für Unternehmen entwickeln lassen, inklusive Rechteprüfung, Quellenanzeige und Anbindung an SharePoint oder Confluence.

Technische Umsetzung: RAG-System Schritt für Schritt

Schritt 1: Datenquellen anbinden

Identifizieren Sie alle Wissensquellen, die Ihr RAG-System durchsuchen soll:

Schritt 2: Chunking-Strategie wählen

Die Qualität Ihres RAG-Systems steht und fällt mit dem Chunking — dem Aufteilen großer Dokumente in suchbare Abschnitte.

Pexon Consulting empfiehlt für Fertigungsunternehmen: Semantic Chunking mit 512-Token-Zielgröße und 20% Overlap. Damit werden Wartungsanleitungen und Stücklisten korrekt segmentiert, ohne Kontext zu verlieren. Mehr zu Chunking-Strategien: Chunking Best Practices für RAG-Systeme

Schritt 3: Vektordatenbank auswählen

Die Vektordatenbank speichert die Embeddings Ihrer Dokumente und ermöglicht die semantische Suche.

Detaillierter Vergleich: Vespa als Enterprise-Vektordatenbank

Schritt 4: Retrieval-Pipeline konfigurieren

# Beispiel: Hybrid Search mit Azure AI Search
from azure.search.documents import SearchClient
from azure.search.documents.models import VectorizableTextQuery

search_client = SearchClient(
    endpoint="https://ihr-search.search.windows.net",
    index_name="unternehmenswissen",
    credential=credential
)

# Hybrid: Vektor + Keyword-Suche kombiniert
results = search_client.search(
    search_text="Wartungsintervall Hydraulikpumpe Typ H200",
    vector_queries=[
        VectorizableTextQuery(
            text="Wartungsintervall Hydraulikpumpe Typ H200",
            k_nearest_neighbors=5,
            fields="content_vector"
        )
    ],
    select=["content", "source", "page_number"],
    top=5
)

Schritt 5: LLM-Antwortgenerierung mit Quellenangabe

from openai import AzureOpenAI

client = AzureOpenAI(
    azure_endpoint="https://ihr-endpoint.openai.azure.com/",
    api_version="2024-10-21"
)

# Kontext aus Retrieval-Ergebnissen zusammenbauen
context = "nn".join([
    f"[Quelle: {r['source']}, S.{r['page_number']}]n{r['content']}"
    for r in results
])

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": (
            "Du bist ein technischer Assistent. "
            "Beantworte Fragen NUR basierend auf dem Kontext. "
            "Gib IMMER die Quelle an. "
            "Sage 'Dazu habe ich keine Information' wenn der Kontext "
            "keine Antwort enthält."
        )},
        {"role": "user", "content": (
            f"Kontext:n{context}nn"
            f"Frage: Wie oft muss die Hydraulikpumpe H200 gewartet werden?"
        )}
    ]
)

Security-Anforderungen für Enterprise RAG

Praxis: Maschinenbauer mit 800 Mitarbeitern

Ausgangslage:

• 35.000 technische Dokumente in SharePoint, SAP und auf Netzlaufwerken
• 250 Service-Techniker im Außendienst ohne schnellen Zugriff auf aktuelle Wartungsanleitungen
• 40 Stunden pro Woche Rückfragen an die zentrale Technik-Hotline
• Kritisches Wissensabfluss-Risiko: 12 erfahrene Ingenieure gehen in 3 Jahren in Rente

Umsetzung in 6 Wochen:

Ergebnis nach 3 Monaten:

• 67% weniger Anfragen an die Technik-Hotline (von 160/Woche auf 53)
• 12 Minuten statt 45 Minuten durchschnittliche Suchzeit pro Anfrage
• 94% Nutzerzufriedenheit bei Service-Technikern (vorher: 38% mit SharePoint-Suche)
• 480.000 EUR geschätzte Jahreseinsparung durch reduzierte Suchzeiten und weniger Hotline-Aufwand

Häufig gestellte Fragen

Was kostet ein RAG-System für ein mittelständisches Unternehmen? Ein typisches RAG-Projekt bei Pexon Consulting kostet 60.000-120.000 EUR für Assessment, Aufbau und Pilotphase (6 Wochen). Die laufenden Infrastrukturkosten liegen bei 500-2.000 EUR/Monat (Azure AI Search + Compute + LLM-API). Für einen schnellen Einstieg bietet Pexon einen 2-Stunden-Workshop ab 2.500 EUR an. Der Break-Even liegt typischerweise bei 4-6 Monaten — danach spart das System mehr als es kostet. RAG vs. Fine-Tuning — was ist besser für Unternehmenswissen? RAG ist in 90% der Fälle die bessere Wahl für Unternehmenswissen. Fine-Tuning kostet 50.000-200.000 EUR, muss bei jeder Dokumentenänderung wiederholt werden und bietet keine Quellenangabe. RAG greift bei jeder Anfrage live auf aktuelle Dokumente zu, kostet einen Bruchteil und zeigt die Quelle jeder Antwort. Fine-Tuning ist nur sinnvoll, wenn das LLM einen bestimmten Schreibstil oder eine Fachsprache lernen soll — nicht für Wissensabfragen. Welche Vektordatenbank eignet sich für deutsche Unternehmen? Für Azure-Kunden empfiehlt Pexon Consulting Azure AI Search (ab 250 EUR/Monat) — native Integration, Hybrid Search und EU-Hosting. Für höhere Volumina oder On-Premise-Anforderungen setzen wir Vespa ein (Open Source, Self-Hosted). Weaviate bietet EU-Hosting ab 25 EUR/Monat und eignet sich für Prototypen. Entscheidend ist: Die Datenbank muss in der EU gehostet sein und Hybrid Search (Vektor + Keyword) unterstützen — reine Vektorsuche verpasst exakte Begriffe wie Artikelnummern oder Normen. Ist ein RAG-System DSGVO-konform betreibbar? Ja, wenn alle Komponenten in der EU gehostet werden. Pexon Consulting deployt RAG standardmäßig auf Azure West Europe: Azure AI Search (EU), Azure OpenAI (EU Data Zone, seit 2024 verfügbar) und Private Endpoints für alle Verbindungen. Personenbezogene Daten in Dokumenten werden über Document ACLs (Zugriffsberechtigungen aus SharePoint) geschützt — ein Nutzer sieht nur Antworten aus Dokumenten, auf die er auch direkt Zugriff hat. Das System ist ISO 27001 und SOC-2 konform. Wie lange dauert die Implementierung eines RAG-Systems? Ein funktionierender Prototyp mit 5.000-10.000 Dokumenten steht typischerweise nach 2-3 Wochen. Der produktive Rollout mit allen Datenquellen, Zugriffssteuerung und Mobile App dauert 4-6 Wochen. Die größte Zeitinvestition ist nicht die Technik, sondern das Daten-Assessment: Welche Quellen enthalten das wertvollste Wissen? Wie sind die Zugriffsrechte strukturiert? Bei Pexon-Projekten investieren wir 30% der Zeit in diese Vorarbeit — das zahlt sich in der Antwortqualität aus.

Ihr nächster Schritt

Verwandte Themen

• RAG und KI-Dokumentensuche im Unternehmen
• Chunking Best Practices für RAG-Systeme
• Vespa Streaming Search für Enterprise RAG
• KnowledgePilot: KI-Wissensassistent für Unternehmen
• Chatbot für SharePoint als Wissensquelle
• SAP S/4HANA RAG: KI-Chatbot für SAP-Daten
• Wissensmanagement bei Personalwechsel sichern