Souveräne KI-Assistenten · Alternative zu Claude Desktop und Cowork
Private Claude-Desktop-Alternative, im eigenen Netz
Kurz gesagt
Ein privater KI-Assistent gibt Ihnen die Fähigkeiten von Claude Desktop und Cowork, aber komplett self-hosted: auf Basis von Hermes Desktop (Open Source, MIT), mit lokalen Modellen, Guardrails und PII-Redaction. Für Banken, Kanzleien und Versicherer heißt das: agentische KI, ohne dass Daten das Firmennetz verlassen. Laut Bitkom 2026 halten 85 Prozent der deutschen Unternehmen Deutschland für zu abhängig von US-Cloud-Anbietern. Genau diese Abhängigkeit entfällt hier.
Open Source (Hermes, MIT)
Daten bleiben im Firmennetz
PII-Redaction und Guardrails
Warum Claude in der Anthropic-Cloud teuer wird
Claude Desktop und Cowork sind stark, aber die Modell-Inferenz läuft immer auf Anthropics Servern, auch mit den neuen Self-Hosted-Sandboxes. Laut IBM war Schatten-KI 2025 ein Faktor bei 20 Prozent der Datenschutzvorfälle.
Modell und Daten bleiben bei Anthropic
Selbst Claude Enterprise mit EU-Region schickt Prompt-Inhalte an ein von Anthropic betriebenes Modell, und die Orchestrierung bleibt dort. Echtes Air-Gap ist mit Claude architektonisch nicht möglich.
Für §203-Berufe ein K.-o.
Für Anwälte, Ärzte und Steuerberater reicht eine DSGVO-AVV nicht. Ohne Verschwiegenheitsbindung des Anbieters kann die Weitergabe an eine Cloud-KI unbefugtes Offenbaren nach §203 StGB sein.
US-Cloud als strategisches Risiko
85 Prozent der deutschen Unternehmen halten sich laut Bitkom 2026 für zu abhängig von US-Cloud-Anbietern, 64 Prozent überdenken deshalb ihre Strategie.
Ihre Vorteile in Zahlen
Warum ein privater KI-Assistent jetzt zählt, in belegten Zahlen aus Markt und Regulatorik.
85 % halten DE für zu US-Cloud-abhängig
Souveränität ist Chefsache (Bitkom 2026). 43 Prozent sehen keine gleichwertige EU-Alternative, genau die Lücke schließt ein self-hosted Assistent. (Bitkom, 2026)
20 % der Datenlecks über Schatten-KI
Nicht freigegebene KI war 2025 laut IBM ein Faktor bei einem Fünftel der Datenschutzvorfälle. Ein sanktionierter privater Assistent nimmt den Anreiz. (IBM, 2025)
40 % der Enterprise-Apps mit KI-Agenten bis Ende 2026
Agentische KI wird zum Standard (Gartner). Wer sie souverän aufsetzt, muss später nicht auf eine US-Cloud migrieren. (Gartner, 2025)
35 Mio. € Bußgeldrahmen im EU AI Act
Bis zu 35 Mio. Euro oder 7 Prozent Umsatz bei Verstößen. Datenhoheit macht den Compliance-Nachweis deutlich einfacher. (EU AI Act, 2025)
Ab wann sich ein privater KI-Assistent lohnt
Ein privater KI-Assistent lohnt sich, sobald Berufsgeheimnisse oder personenbezogene Daten im Spiel sind, echte Datenhoheit gefordert ist oder agentische KI ohne US-Cloud laufen soll.
§203
Berufsgeheimnis (Kanzlei, Praxis, Steuerberatung)
0
Prompt-Daten an Anthropic oder OpenAI
100 %
Inferenz im eigenen Netz
Anwendungsbeispiele
Use Case 01
Agentischer Assistent in der Kanzlei
Ein Hermes-Agent recherchiert, fasst Akten zusammen und entwirft Schriftsätze mit einem lokalen Modell, ohne dass Mandantendaten das Netz verlassen.
0 Mandantendaten an eine Cloud-KI.
Use Case 02
PII-Redaction vor jedem Modell-Aufruf
Ein Presidio-Proxy erkennt Namen, IBANs und Adressen und ersetzt sie durch Platzhalter, bevor der Prompt das Modell erreicht.
Roh-PII überschreitet nie die Trust-Boundary.
Use Case 03
Private Websuche für Agenten
Der Agent recherchiert über eine self-hosted Kombination aus SearXNG und Firecrawl, die Suche bleibt im eigenen Perimeter.
Keine Suchanfrage an eine US-SaaS.
Use Case 04
Persistentes Gedächtnis pro Team
Hermes merkt sich Projekte, Vorgaben und gelöste Aufgaben in lesbaren Dateien plus Vektor-Gedächtnis, deterministisch statt geraten.
1 Assistent, der das Team über Sessions hinweg kennt.
Integration in Ihre Umgebung
Ein privater KI-Assistent muss in Ihre Infrastruktur und Ihre Compliance passen. Zwei Ebenen entscheiden.
Assistent und Modelle
Hermes Desktop · Open-Source-Agent (MIT), self-hostbar, mit Sub-Agents und persistentem Gedächtnis.
Lokale Modelle · Open-Weight-Modelle über Ollama oder vLLM, on-prem oder in der EU-Cloud.
Kanäle · Desktop, CLI oder Messaging, je nachdem wo Ihr Team arbeitet.
Governance und Compliance
Guardrails · NeMo Guardrails, Llama Guard und Output-Validierung für sichere Antworten.
PII-Redaction · Microsoft Presidio als Proxy: sensible Daten werden vor dem Modell maskiert.
SSO und Audit · Rollenbasierte Zugriffe und Audit-Logs, die Hermes von Haus aus nicht mitbringt.
Wie ein privater KI-Assistent funktioniert
1
Use Case und Datenklasse
Wir klären, welche Aufgaben der Assistent übernimmt und wie sensibel die Daten sind.
2
Modell und Infrastruktur
Auswahl der Open-Weight-Modelle und Aufbau des Servings on-prem oder in der EU-Cloud.
3
Hermes-Setup
Installation und Konfiguration von Hermes Desktop mit lokalem Endpoint und persistentem Gedächtnis.
4
Guardrails und PII-Redaction
Presidio-Proxy und Guardrail-Rails vor die Modell-Aufrufe schalten.
5
SSO, Audit und private Suche
Enterprise-Schicht: Zugriffskontrolle, Audit-Logs und souveräne Websuche via SearXNG.
6
Rollout und Betrieb
Ausrollen an die Teams, Wissenstransfer und Betrieb, auf Wunsch als Managed-Service.
Warum Pexon statt Inhouse-Entwicklung
Inhouse allein
–Hermes, GPU-Serving, Guardrails und PII-Proxy sauber zu verzahnen bindet viel MLOps-Zeit.
–Die Compliance-Schicht (§203, DSGVO, EU AI Act) falsch gebaut, und das Testat wackelt.
–Ohne Erfahrung dauert der Weg zum produktiven Assistenten Monate.
Claude Enterprise
–Die Inferenz bleibt bei Anthropic, kein echtes Air-Gap.
–Für §203-Berufe rechtlich heikel, eine AVV reicht nicht.
–US-Cloud-Abhängigkeit statt Souveränität.
Mit Pexon
✓Hermes, lokale Modelle, Guardrails und PII-Redaction aus einer Hand.
✓Compliance-Schicht für regulierte Branchen, on-prem oder EU-Cloud.
✓Ehrlich: wir sagen, wo Open-Weight-Qualität an Claude-Frontier nicht herankommt.
In 4 Phasen zur produktiven Lösung
1
Woche 1
Scoping
Use Cases, Datenklassen, Compliance-Anforderungen und Infrastruktur.
2
Woche 2-4
Aufbau
Modell-Serving, Hermes-Setup, Guardrails und PII-Redaction.
3
Woche 5
Governance
SSO, Audit-Logs und private Websuche einrichten.
4
ab Woche 6
Rollout und Betrieb
Ausrollen an die Teams, Wissenstransfer, optional Managed-Service.
Pilot mit klarem Scope
Wir starten mit einem Piloten: ein Team, ein souveräner Assistent mit lokalen Modellen, Guardrails und PII-Redaction, produktiv und gemessen.
Ihre Investition
Individuell nach Scoping
Pilot mit einem Team
Enthält:
Enthalten · Scoping, Modell-Serving, Hermes-Setup, Guardrails, PII-Redaction und Rollout für ein Team.
Was Sie beisteuern · GPU-Kapazität oder EU-Cloud-Budget und je einen Ansprechpartner aus IT und Fachbereich.
Preistreiber · GPU-Infrastruktur und Modellgröße, Betrieb und Umfang der Enterprise-Schicht. Eine belastbare Zahl nennen wir nach dem Scoping.
100 % unverbindlich, ohne Verpflichtung
Häufige Fragen
Was ist eine private Claude-Desktop-Alternative?
Ein self-hosted KI-Assistent, der die Fähigkeiten von Claude Desktop und Cowork nachbildet, aber komplett im eigenen Netz läuft. Basis ist Hermes Desktop (Open Source, MIT) mit lokalen Modellen, ergänzt um Guardrails, PII-Redaction und SSO. Ihre Daten erreichen kein Anthropic-Modell.
Warum nicht einfach Claude Enterprise?
Claude ist stark, aber die Inferenz läuft immer auf Anthropic-betriebenen Modellen, auch bei den neuen Self-Hosted-Sandboxes bleibt die Orchestrierung dort. Für echte Datenhoheit, Air-Gap oder §203-Berufe reicht das nicht. Der Handel ist etwas Modell-Qualität gegen volle Hoheit.
Was kostet ein privat gehosteter KI-Assistent?
Eine Pauschale wäre unseriös. Die Kosten setzen sich aus GPU-Infrastruktur und Modellgröße, dem Betrieb und dem Umfang der Enterprise-Schicht (Guardrails, PII-Redaction, SSO) zusammen. Hermes selbst ist Open Source und kostenlos. Eine belastbare Zahl nennen wir nach dem Scoping.
Wie funktioniert die PII-Redaction?
Ein Proxy auf Basis von Microsoft Presidio erkennt Namen, IBANs, Adressen und weitere sensible Daten per Mustererkennung und ersetzt sie durch Platzhalter, bevor der Prompt das Modell erreicht. Roh-PII überschreitet damit nie die Grenze zum Modell.
Wo sind die Grenzen gegenüber Claude?
Open-Weight-Modelle liegen bei komplexem Reasoning noch hinter Claude-Frontier. Betrieb und Guardrail-Pflege liegen bei Ihnen oder bei uns. Für Aufgaben, die maximale Modell-Spitzenleistung brauchen und keine strengen Datenschutzauflagen haben, kann Cloud-Claude sinnvoller sein.
Löst das §203 StGB für Kanzleien und Praxen?
Strukturell ja: Wenn kein Anbieter-Mitarbeiter Klartext-Zugriff hat, ist die automatisierte Verarbeitung laut DAV-Stellungnahme Nr. 32/2025 (Deutscher Anwaltverein) keine Offenbarung im Sinne von §203. Privates Hosting ohne Anbieter-Zugriff erfüllt das, eine reine DSGVO-AVV nicht.
Nachricht senden
Kein passender Termin? Schreiben Sie uns, wir melden uns innerhalb von 24 Stunden.
Antwort innerhalb von 24 Stunden
Unverbindliches Erstgespräch
Persönlicher Ansprechpartner
Phillip Pham
CEO @ Pexon Consulting
Aktualisiert am 25. Juli 2026
Sie suchen einen Partner für Ihr Projekt?
Wir analysieren Ihren individuellen Bedarf, geben erste Empfehlungen zu Umsetzungsstrategien und bieten Ihnen transparente Einblicke in unsere Methoden, Technologien und Referenzen.
Vertrieb kontaktieren
400+Projekte seit 2020
100+Kunden im DACH-Raum
ISO27001 zertifiziert
3Hyperscaler Partner