KI-Chatbot Kosten: 0,38 bis 30 € pro User im Mittelstand

Pexon Consulting | 12 Min. Lesezeit | 31.03.2026

TL;DR

Ein interner KI-Chatbot kostet im Mittelstand zwischen 0,38 € und 30 € pro User und Monat — je nach Architektur. Pexon Consulting, Microsoft-Partner mit 80 Mitarbeitern in Deutschland, baut Self-Hosted-Chatbots auf Azure, die 85 % günstiger sind als SaaS-Lizenzen und dabei DSGVO-konform bleiben. Typischer Pilot: 6 Wochen, ab 25.000 €.

Warum „einfach ChatGPT Teams kaufen“ keine Lösung ist

68 % der deutschen Unternehmen planen laut Bitkom-Studie 2025 Investitionen in KI-Technologien. Gleichzeitig nutzen 42 % der Beschäftigten bereits Schatten-KI — private ChatGPT-Accounts mit Firmendaten, ohne jede Kontrolle.

Die naheliegende Reaktion: Microsoft Copilot oder ChatGPT Enterprise ausrollen. 30 € pro User pro Monat, fertig. Bei 500 Mitarbeitern sind das 180.000 € im Jahr — und trotzdem fehlt die Anbindung an interne Wissensdatenbanken, ERP-Systeme oder Ticketsysteme. Die Mitarbeiter bekommen ein besseres Google, aber keinen Kollegen, der das Unternehmen kennt.

Wir sehen bei unseren Kunden drei wiederkehrende Probleme mit SaaS-Chatbots:

• Datenabfluss: Prompts und Dokumente verlassen das Unternehmensnetzwerk. Bei Kunden in regulierten Branchen (Versicherung, Energie, Banking) ist das ein Compliance-Risiko, das kein CISO unterschreibt.
• Keine Integration: Der Chatbot kann keine internen Datenquellen durchsuchen. Ohne RAG-Anbindung beantwortet er nur allgemeine Fragen — dafür braucht niemand 30 €/User.
• Vendor Lock-in: Preiserhöhungen von 20-40 % pro Jahr sind bei KI-SaaS keine Seltenheit. Microsoft hat Copilot innerhalb von 12 Monaten von 30 auf 40 €/User angehoben.

Die drei Architektur-Optionen im Überblick

Bevor wir über KI Chatbot Kosten reden, muss die Architektur-Entscheidung stehen. Alles andere folgt daraus.

Option 1: SaaS-Chatbot (ChatGPT Enterprise, Microsoft Copilot)

Schnell eingeführt, null Infrastruktur-Aufwand. Daten liegen beim Anbieter. Kosten: 15-40 €/User/Monat, skaliert linear. Bei 500 Usern: 90.000-240.000 €/Jahr. Für Unternehmen ohne eigene IT-Abteilung oder mit reinem Office-Fokus kann das passen. Für alle anderen wird es teuer und eingeschränkt.

Option 2: Managed Cloud (Azure OpenAI Service)

Das Modell läuft in Ihrer eigenen Azure-Subscription. Daten bleiben in der EU-Region (West Europe). Sie nutzen GPT-4o oder GPT-4.1 über die Azure API, zahlen nach Verbrauch und können RAG, Dokumentensuche und Integrationen frei aufbauen. Kosten: 2.000-8.000 €/Monat für ein typisches Mittelstands-Setup mit 200-500 Usern — das sind 4-16 €/User.

Option 3: Self-Hosted (Open Source auf eigener Infrastruktur)

Open-Source-Modelle wie Llama 3, Mistral oder Phi-3 auf eigenen Servern oder in einer Private Cloud. Komplette Datensouveränität, keine laufenden Lizenzkosten für das Modell. Dafür brauchen Sie GPU-Hardware und ein Team, das den Betrieb übernimmt. Kosten: 0,38-2 €/User/Monat nach Initial-Setup.

Unsere klare Empfehlung für den Mittelstand: Option 2 als Einstieg, Option 3 als Langfristziel. Azure OpenAI liefert Enterprise-Qualität ohne GPU-Beschaffung. Sobald die Use Cases stehen und das Volumen stimmt, lohnt der Wechsel auf Self-Hosted.

Beide empfohlenen Wege, Azure OpenAI als Einstieg und Self-Hosted als Ziel, brauchen jemanden, der die Plattform aufbaut und danach betreibt. Wer das nicht intern besetzen will, kann sich unser Festpreis-Angebot für den internen KI-Chatbot ansehen und die Zahlen gegen die eigene Kalkulation stellen.

Kostenvergleich: Was Sie wirklich bezahlen

Hier wird es konkret. Wir rechnen mit einem typischen Mittelständler: 400 Mitarbeiter, davon 250 aktive Chatbot-Nutzer, 15.000 Anfragen pro Monat.

¹ Copilot durchsucht M365-Daten, aber kein ERP, kein Ticketsystem, keine eigene Dokumentenbasis.

Die Zahlen stammen aus unseren Projekten der letzten 12 Monate. Wir haben das für Kunden in der Fertigung und im Versicherungsumfeld so kalkuliert. Der Break-Even für Self-Hosted gegenüber SaaS liegt bei 14-18 Monaten.

Was in dieser Tabelle nicht steht: der Produktivitätsgewinn. Bei einem Maschinenbauer mit 800 Mitarbeitern hat der interne Chatbot die durchschnittliche Suchzeit für technische Dokumentation von 23 auf 4 Minuten reduziert. Das sind 19 Minuten pro Anfrage, bei 200 Anfragen pro Tag.

Architektur eines internen KI-Chatbots auf Azure

So sieht ein typisches Setup aus, das wir in 6 Wochen deployen:

# Azure-Ressourcen für den Chatbot-Stack
az group create --name rg-chatbot-prod --location westeurope

az cognitiveservices account create 
  --name oai-chatbot-prod 
  --resource-group rg-chatbot-prod 
  --kind OpenAI 
  --sku S0 
  --location swedencentral  # GPT-4o Verfügbarkeit

az search service create 
  --name search-chatbot-prod 
  --resource-group rg-chatbot-prod 
  --sku standard 
  --location westeurope  # Daten bleiben in der EU

Die Kernkomponenten:

1. Azure OpenAI Service — GPT-4o oder GPT-4.1 als Sprachmodell. Input-Kosten: ca. 2,50 $/Mio. Tokens, Output: 10 $/Mio. Tokens. Für 15.000 Anfragen/Monat mit durchschnittlich 800 Tokens pro Anfrage landen Sie bei ca. 180 €/Monat reine API-Kosten.
2. Azure AI Search — Vektor-Datenbank für RAG. Hier liegen Ihre internen Dokumente als Embeddings. Standard-Tier: ca. 250 €/Monat.
3. Frontend — Open WebUI, LibreChat oder eine eigene React-App. Läuft als Container auf Azure App Service (ab 70 €/Monat) oder auf Kubernetes.
4. Dokumenten-Pipeline — Azure Functions oder ein Python-Service, der PDFs, Word-Dokumente und Confluence-Seiten in Chunks zerlegt, Embeddings berechnet und in den Suchindex schreibt.

# Vereinfachte RAG-Pipeline: Dokument → Chunks → Embeddings → Index
from azure.ai.openai import AzureOpenAI
from azure.search.documents import SearchClient

client = AzureOpenAI(
    azure_endpoint="https://oai-chatbot-prod.openai.azure.com/",
    api_version="2024-10-21"
)

def embed_and_index(chunks: list[str], search_client: SearchClient):
    """Chunks in Azure AI Search indexieren."""
    embeddings = client.embeddings.create(
        model="text-embedding-3-large",
        input=chunks
    )
    documents = [
        {
            "id": f"chunk-{i}",
            "content": chunk,
            "embedding": emb.embedding
        }
        for i, (chunk, emb) in enumerate(zip(chunks, embeddings.data))
    ]
    search_client.upload_documents(documents)
    # ca. 0,13 $ pro 1 Mio. Tokens für Embeddings

Das Ganze steht hinter einem Azure Virtual Network mit Private Endpoints. Kein Traffic verlässt die Azure-Region, kein Prompt geht an OpenAI direkt.

Anbietervergleich: 5 Optionen für den Mittelstand

Statt einer endlosen Feature-Matrix konzentrieren wir uns auf das, was für IT-Leiter entscheidend ist: Wo liegen die Daten, was kostet es, und wie schnell steht es?

Microsoft Copilot — 30-40 €/User/Monat. Stark im M365-Ökosystem. Schwach bei allem außerhalb von Office: kein SAP, kein eigenes ERP, keine Dokumenten-KI jenseits von SharePoint. Für Unternehmen, deren Wissensarbeit zu 90 % in Teams, Outlook und SharePoint stattfindet, trotzdem eine Überlegung wert.

ChatGPT Enterprise — 25 €/User/Monat (Staffelpreise ab 150 Seats). Beste Modellqualität, Custom GPTs für Abteilungs-Bots. Daten liegen in den USA, SOC 2 zertifiziert. Für regulierte Branchen in der EU ein Ausschlusskriterium — es gibt keine EU-Datenresidenz-Option.

Azure OpenAI + Open WebUI — 4-16 €/User/Monat je nach Volumen. Unsere Empfehlung für den Mittelstand. Datenresidenz in der EU, Pay-per-Use, volle RAG-Integration möglich. Nachteil: Sie brauchen jemanden, der es aufbaut und betreibt.

Open-Source Self-Hosted (Llama 3 + vLLM) — 0,38-2 €/User/Monat nach Setup. Maximale Kontrolle, keine Abhängigkeiten. Aber: GPU-Hardware beschaffen (3-6 Monate Lieferzeit für A100/H100), Betriebsteam aufbauen, Modell-Updates selbst managen. Lohnt sich ab 500+ Usern oder bei strikten Air-Gap-Anforderungen.

Branchenspezifische SaaS (Cognigy, Parloa, BOTfriends) — 5.000-15.000 €/Monat. Spezialisiert auf Kundenservice, nicht auf interne Use Cases. Meist regelbasiert mit KI-Aufsatz. Für interne Chatbots: Overkill an der falschen Stelle.

Wir raten davon ab, die Entscheidung über den Anbieter zu treffen, bevor die Use Cases klar sind. Ein Chatbot für HR-Fragen braucht eine andere Architektur als einer, der SAP-Bestelldaten abfragt. Erst der Use Case, dann die Plattform.

Was die meisten falsch machen: Use Cases vor Technologie

67 % der KI-Projekte im Mittelstand scheitern nicht an der Technik, sondern an fehlender Nutzerakzeptanz — das zeigt eine IW-Köln-Studie von 2025. Der Chatbot wird gebaut, niemand nutzt ihn, nach 6 Monaten wird er abgeschaltet.

Das passiert, wenn das Projekt als IT-Projekt startet statt als Business-Projekt. Drei Use Cases, die wir in der Praxis am häufigsten sehen und die den schnellsten ROI liefern:

Use Case 1: Technische Dokumentation durchsuchbar machen. Ein Maschinenbauer mit 2.400 PDF-Handbüchern, verteilt auf SharePoint, Netzlaufwerke und ein Confluence. Servicetechniker brauchen im Schnitt 23 Minuten, um die richtige Information zu finden. Mit einem RAG-Chatbot: 4 Minuten. Bei 200 Anfragen pro Tag spart das 63 Personenstunden pro Woche.

Use Case 2: HR- und Compliance-Fragen automatisieren. „Wie viele Urlaubstage habe ich noch?“ „Was ist die Reisekostenrichtlinie für Übernachtungen in der Schweiz?“ „Welche Schulungen brauche ich für die ISO-Rezertifizierung?“ — Fragen, die heute bei HR-Mitarbeitern landen und jeweils 5-15 Minuten dauern. Ein interner Chatbot beantwortet 70-80 % davon sofort.

Use Case 3: Vertriebswissen konsolidieren. Angebote, Preislisten, technische Spezifikationen, Wettbewerbsvergleiche — alles verstreut. Vertriebsmitarbeiter verbringen laut einer Forrester-Studie 30 % ihrer Zeit mit Informationssuche statt Kundenarbeit. Ein Chatbot mit RAG auf die Vertriebsdokumentation spart 6-8 Stunden pro Vertriebsmitarbeiter pro Woche.

DSGVO und Compliance: Was der Datenschutzbeauftragte wissen muss

Für regulierte Branchen ist das kein Nice-to-have, sondern ein Showstopper. Ein interner KI Chatbot verarbeitet potenziell personenbezogene Daten — Names aus HR-Anfragen, Vertragsdaten, Kundennummern. Das bedeutet:

Rechtsgrundlage klären. Bei rein internen Assistenten greift in der Regel Art. 6 Abs. 1 lit. f DSGVO (berechtigtes Interesse des Arbeitgebers an effizienten Arbeitsprozessen). Bei HR-Daten oder Gesundheitsdaten wird es enger — hier brauchen Sie eine DSFA (Datenschutz-Folgenabschätzung).

Auftragsverarbeitungsvertrag (AVV). Bei Azure OpenAI schließen Sie einen AVV mit Microsoft. Datenverarbeitung in der EU (Region West Europe oder Sweden Central). Bei ChatGPT Enterprise gibt es Stand heute keinen EU-Datenresidenz-Nachweis — das ist für viele unserer Kunden das K.o.-Kriterium.

Prompt-Logging und Audit. Wer hat wann welche Frage gestellt? Bei Self-Hosted-Lösungen haben Sie volle Kontrolle über die Logs. Bei SaaS-Lösungen müssen Sie dem Anbieter vertrauen. Für NIS2-pflichtige Unternehmen (Energie, Transport, Gesundheit) ist Audit-Fähigkeit ab Oktober 2026 gesetzliche Pflicht.

# Azure Policy: Nur EU-Regionen für OpenAI-Ressourcen erlauben
{
  "if": {
    "allOf": [
      { "field": "type", "equals": "Microsoft.CognitiveServices/accounts" },
      { "field": "Microsoft.CognitiveServices/accounts/kind", "equals": "OpenAI" },
      { "field": "location", "notIn": ["westeurope", "swedencentral", "francecentral"] }
    ]
  },
  "then": { "effect": "deny" }
}

Unsere Empfehlung: Starten Sie mit Azure OpenAI in der EU-Region. Das gibt Ihnen Enterprise-Modelle mit EU-Datenresidenz, AVV mit Microsoft, und volle Audit-Fähigkeit. Wenn das Compliance-Team zusätzlich Air-Gap fordert, bauen Sie parallel eine Self-Hosted-Option auf.

Der 6-Wochen-Pilot: So starten Sie ohne Risiko

Wir empfehlen keinem Kunden, direkt 150.000 € in einen Chatbot zu investieren. Stattdessen ein Pilot mit klarem Scope:

Woche 1-2: Use-Case-Workshop mit IT und Fachbereich. Welche 3 Datenquellen werden angebunden? Welche 50 Fragen soll der Chatbot am Tag 1 beantworten können? Definition der Erfolgsmetriken (Antwortqualität, Nutzungsrate, Zeitersparnis).

Woche 3-4: Technisches Setup. Azure OpenAI provisionieren, RAG-Pipeline aufbauen, erste Dokumente indexieren. Frontend deployen (Open WebUI oder Custom). Testgruppe von 20-30 Usern einrichten.

Woche 5-6: Testbetrieb mit echten Usern. Feedback sammeln, Retrieval-Qualität optimieren, Prompt-Templates anpassen. Am Ende: Go/No-Go-Entscheidung mit harten Zahlen.

Kosten für den Pilot: 25.000-40.000 € inkl. Beratung, Setup und 2 Monate Azure-Infrastruktur. Danach wissen Sie, ob der Business Case steht — bevor Sie sechsstellig investieren.

Häufig gestellte Fragen

Was kostet ein interner KI-Chatbot pro User und Monat?

Die KI Chatbot Kosten hängen von der Architektur ab. SaaS-Lösungen wie Microsoft Copilot kosten 30-40 €/User. Azure OpenAI mit eigenem Frontend liegt bei 4-16 €/User. Self-Hosted mit Open-Source-Modellen erreichen wir bei 0,38-2 €/User. Der größte Kostentreiber ist nicht das Modell, sondern die RAG-Integration und der laufende Betrieb.

Brauche ich eigene GPU-Server für einen Self-Hosted-Chatbot?

Nicht zwingend. Mit Azure OpenAI nutzen Sie Enterprise-Modelle in der Cloud ohne eigene Hardware. Erst wenn Sie komplett unabhängig von Cloud-Anbietern sein wollen oder Air-Gap-Anforderungen haben, brauchen Sie GPUs. Eine NVIDIA A100 kostet ca. 15.000 €, ein Inference-Server mit 4x A100 ca. 80.000 €. Lieferzeiten: 3-6 Monate.

Ist ein KI-Chatbot mit Azure OpenAI DSGVO-konform?

Ja, wenn Sie die EU-Regionen (West Europe, Sweden Central) nutzen. Microsoft bietet einen Auftragsverarbeitungsvertrag (AVV), die Daten verlassen die EU nicht, und Prompts werden nicht für Modelltraining verwendet. Pexon hat das Setup bei mehreren Kunden in regulierten Branchen (Versicherung, Energie) erfolgreich durch die Datenschutzprüfung gebracht.

Azure OpenAI oder ChatGPT Enterprise — was ist besser für Unternehmen?

Azure OpenAI, wenn Sie EU-Datenresidenz brauchen, eigene Datenquellen anbinden wollen oder in einer regulierten Branche sind. ChatGPT Enterprise, wenn Sie rein auf Modellqualität optimieren und keine Compliance-Anforderungen für EU-Datenhaltung haben. Für den deutschen Mittelstand empfehlen wir fast immer Azure OpenAI — die Compliance-Vorteile überwiegen.

Wie lange dauert die Einführung eines internen KI-Chatbots?

Ein Pilot mit 1-2 Datenquellen und 20-30 Testusern steht in 6 Wochen. Der Rollout auf die gesamte Organisation dauert weitere 4-8 Wochen, abhängig von der Anzahl der Datenquellen und Integrationen. Die größte Zeitfresser sind nicht die Technik, sondern die Abstimmung mit Betriebsrat und Datenschutzbeauftragtem.

Nächster Schritt

Wenn Sie gerade evaluieren, ob ein interner KI-Chatbot für Ihr Unternehmen sinnvoll ist: Wir machen das in einem 6-Wochen-Pilot konkret — mit echten Daten, echten Usern und einer belastbaren Kosten-Nutzen-Rechnung am Ende.

Verwandte Themen