Pexon Consulting | 10 Min. Lesezeit | 20.07.2026
TL;DR
Eine Self-hosted Claude-Alternative baust du 2026 aus dem Hermes-Agent-Framework von Nous Research plus dem Open-Weight-Modell Hermes 4 auf eigenen GPUs. Kein Byte verlässt dein Rechenzentrum. Pexon liefert das souveräne Setup als 6-Wochen-Pilot, inklusive vLLM-Inferenz, Tool-Calling und dem ehrlichen Trade-off zur Claude-Qualität.
Warum überhaupt eine Claude-Alternative selbst hosten
Claude Opus 4.8 ist stark. Das ist nicht die Frage. Die Frage ist, ob Ihr Anwendungsfall die drei Preise akzeptiert, die Sie für diese Stärke zahlen: Ihre Daten laufen über eine US-Cloud, die Kosten skalieren pro Token statt pro Server, und Sie sind an einen einzigen Anbieter gebunden.
Für ein Marketing-Team ist das egal. Für einen KRITIS-Betreiber, eine Kanzlei unter §203 StGB oder einen BaFin-regulierten Prozess ist der erste Punkt ein K.-o.-Kriterium. Wenn ein KI-Agent auf Mandantenakten, Netzleitdaten oder Kreditakten zugreift, darf die Inferenz das Haus nicht verlassen. Punkt.
Genau hier setzt eine self-hosted Alternative an. Und seit 2026 gibt es dafür einen Baustein, der nicht nach Bastellösung aussieht: den Hermes-Agent.
Was ist der Hermes-Agent?
Der Hermes-Agent ist ein Open-Source-Framework für autonome KI-Agenten von Nous Research, das für den Eigenbetrieb gebaut ist: volle Kontrolle über Modell, Memory und Deployment. Die aktuelle Version 0.9.0 „the everywhere release“ erschien am 13.04.2026. Das Framework ist bewusst server-orientiert, nicht als Cloud-SaaS gedacht.
Das Gehirn dazu liefert Hermes 4, die Open-Weight-Modellfamilie von Nous Research, veröffentlicht am 26.08.2025 in den Größen 14B, 70B und 405B auf Basis von Meta Llama 3.1. Drei Eigenschaften machen Hermes 4 agententauglich:
- Hybrid Reasoning: Das Modell kann per
- Function Calling und strukturierte Ausgaben: JSON-Adherence und Tool-Use sind nativ trainiert, nicht nachträglich drangeflanscht.
- Steuerbarkeit: Hermes ist minimal-refusal getunt, was in Enterprise-Workflows nervige Fehlablehnungen reduziert.
Ein wichtiger Punkt zur Lizenz, und hier gilt dieselbe Ehrlichkeit wie bei der Frage, ob Claude Code selbst Open Source ist: Hermes 4 ist Open-Weight, nicht reines OSI-Open-Source. Die Modelle erben die Llama Community License ihrer Basis. Für ein Unternehmen unter 700 Millionen monatlich aktiven Nutzern ist der kommerzielle Eigenbetrieb erlaubt, aber es ist eine Anbieter-Lizenz mit Acceptable-Use-Policy, keine MIT-Lizenz. Wer das im Vertrag sauber haben will, liest die Lizenz, statt „Open Source“ zu unterstellen.
So läuft die Self-hosted Claude-Alternative technisch
Der Stack hat drei Schichten: Inferenz-Server, Modell und Agent-Framework. Die Inferenz übernimmt vLLM auf Ihren eigenen GPUs, das Modell ist Hermes 4, und der Hermes-Agent orchestriert Tool-Calls, Memory und Multi-Step-Reasoning darüber.
Zuerst der Inferenz-Server. Hermes-4-70B braucht realistisch zwei H100 (80 GB) für flüssigen Betrieb bei akzeptabler Latenz:
# vLLM als OpenAI-kompatibler Server für Hermes 4 auf 2x H100
python -m vllm.entrypoints.openai.api_server
--model NousResearch/Hermes-4-70B
--tensor-parallel-size 2
--enable-auto-tool-choice
--tool-call-parser hermes
--served-model-name hermes-4-70b
--host 0.0.0.0 --port 8000Der entscheidende Parameter ist --tool-call-parser hermes. Ohne den passenden Parser versteht der Server das Tool-Calling-Format von Hermes nicht, und der Agent bekommt kaputte Funktionsaufrufe zurück. Das ist die häufigste Stolperfalle, die wir in Projekten sehen.
Darüber läuft der Agent. Er spricht den lokalen Endpunkt an, kein externer Traffic:
# Hermes-Agent gegen den lokalen vLLM-Endpunkt, alles im eigenen Netz
from openai import OpenAI
client = OpenAI(base_url="http://hermes.internal:8000/v1", api_key="intern")
antwort = client.chat.completions.create(
model="hermes-4-70b",
messages=[{"role": "user", "content": "Analysiere die Netzlast im Anhang."}],
tools=[{"type": "function", "function": {"name": "lade_messdaten"}}],
)
# Kein Byte verlässt das Rechenzentrum, Inferenz zu 100 Prozent on-premWenn Sie mehrere Modelle oder Fallback-Routing brauchen, schieben Sie einen LiteLLM-Proxy dazwischen. Wie das sauber aufgesetzt wird, steht in unserem Vergleich der Inference Engines Ollama, vLLM und TGI.
Der ehrliche Vergleich: Wo Hermes an Claude nicht rankommt
Wir verkaufen den Wechsel nicht schön. Hermes 4 in der 405B-Variante ist stark, mit 96,3 Prozent auf MATH-500 im Reasoning-Modus und 81,9 Prozent auf AIME ’24. Das ist Spitzenniveau für Open-Weight. Aber bei langen, verschachtelten Agent-Ketten mit vielen Tool-Calls und großem Kontext liegt Claude Opus 4.8 spürbar vorn, besonders bei der Fehlerresistenz über viele Schritte.
Unsere klare Empfehlung nach mehreren Projekten: Für 70 bis 80 Prozent der Enterprise-Agent-Aufgaben (Dokumenten-Analyse, RAG-Antworten, strukturierte Extraktion, definierte Workflows) reicht ein self-hosted Hermes-Agent locker. Für die letzten 20 Prozent, die maximale Reasoning-Tiefe über 30-plus Schritte brauchen, ist Claude die bessere Wahl, sofern die Regulatorik es überhaupt erlaubt.
Der Trade-off ist also kein Technik-Detail, sondern eine Governance-Entscheidung. Wenn Ihre Rechtsabteilung US-Cloud ausschließt, ist die Frage „Hermes oder Claude“ bereits beantwortet, dann heißt sie „Hermes, und wir holen die fehlenden Prozent über besseres Prompting und Tooling“. Mehr zum rechtlichen Rahmen in unserer Übersicht zur Datensouveränität bei KI-Plattformen.
Kosten: Self-hosted gegen Claude-API
Die Rechnung dreht sich mit dem Volumen. Ein realistischer Rahmen für einen produktiven Agenten mit hoher Auslastung:
Bei niedrigem, sporadischem Volumen ist die API günstiger, das ist ehrlich so. Ab einem dauerhaft ausgelasteten Agenten kippt die Rechnung, weil die eigene GPU nach dem Kauf keine Token-Kosten mehr produziert. Für regulierte Kunden ist die Kostenfrage aber ohnehin zweitrangig: Wer die Daten nicht rauslassen darf, rechnet die Cloud-Variante gar nicht erst durch.
Worauf Sie bei der Auswahl achten sollten
Bevor Sie eine Claude-Alternative selbst hosten, klären Sie diese sechs Punkte. Sie entscheiden über Erfolg oder ein teures Regal-Projekt:
- Regulatorischer Zwang zuerst: Verlangt Ihr Anwendungsfall echte Datenhoheit (§203 StGB, DORA, BAIT, KRITIS)? Dann ist die Entscheidung für self-hosted schon gefallen, und es geht nur noch um das Wie.
- Modell-Größe zur Aufgabe: 14B für Standard-Extraktion und einfache Workflows, 70B für die meisten Enterprise-Agenten, 405B nur bei maximalem Reasoning-Anspruch. Zu groß gewählt heißt GPU-Geld verbrannt.
- Tool-Calling-Format: Der Inferenz-Server muss den Hermes-Parser sprechen. Das ist der Punkt, an dem selbstgebaute Setups am häufigsten scheitern.
- Betriebsreife: Haben Sie ein Team, das GPUs, Skalierung und Monitoring dauerhaft betreibt, oder brauchen Sie einen Partner für den Betrieb?
- Governance von Anfang an: SSO, Rollen und Audit-Logs sind bei einem Agenten mit Zugriff auf sensible Daten kein Extra, sondern die Bedingung für die Freigabe.
- Fallback-Strategie: Ein LiteLLM-Proxy davor hält Ihnen die Tür offen, unkritische Last später auf andere Modelle zu routen, ohne den Agenten neu zu bauen.
Unsere Empfehlung: Starten Sie mit Hermes-4-70B auf zwei GPUs und einem eng umrissenen Anwendungsfall. Ein zu breit gefasster erster Agent ist der sicherste Weg, das Projekt zu versenken.
Häufig gestellte Fragen
Ist der Hermes-Agent eine echte Claude-Alternative?
Für einen Großteil der Enterprise-Agent-Aufgaben ja. Der Hermes-Agent plus Hermes 4 deckt Tool-Calling, strukturierte Ausgaben und mehrstufige Workflows ab. Bei sehr langen, komplexen Reasoning-Ketten bleibt Claude Opus 4.8 überlegen. Den Ausschlag gibt meist die Regulatorik, nicht das Benchmark.
Ist Hermes 4 wirklich Open Source?
Nein, es ist Open-Weight. Die Gewichte sind frei auf Hugging Face herunterladbar, aber die Lizenz ist die Llama Community License der Basis, keine OSI-Lizenz wie MIT oder Apache. Kommerzieller Eigenbetrieb ist erlaubt, unterliegt aber einer Acceptable-Use-Policy.
Welche Hardware brauche ich für einen self-hosted Hermes-Agent?
Für Hermes-4-70B realistisch zwei H100 mit 80 GB für produktive Latenz. Die 14B-Variante läuft auf einer einzelnen GPU und reicht für viele Standardaufgaben. Die 405B-Variante braucht ein Multi-GPU-Setup und lohnt nur bei maximalem Qualitätsanspruch.
Was kostet ein self-hosted Hermes-Agent im Vergleich zur Claude-API?
Der Aufbau liegt bei 30.000 bis 60.000 EUR einmalig für GPU und Integration. Danach fallen nur GPU-Strom und Betrieb an, keine Token-Kosten. Ab einem dauerhaft ausgelasteten Agenten ist das günstiger als die nutzungsbasierte API, bei sporadischem Einsatz teurer.
Kann ich Hermes on-prem betreiben und Claude für Spezialfälle behalten?
Ja, und das ist oft der pragmatische Weg. Über einen LiteLLM-Proxy routen Sie unkritische Aufgaben auf den self-hosted Hermes-Agent und lassen nur bewusst freigegebene Fälle an eine externe API. So bleibt der sensible Datenstrom im Haus.
Nächster Schritt
Sie überlegen, einen KI-Agenten souverän statt über eine US-Cloud zu betreiben? Wir klären in einem kurzen Gespräch, ob ein self-hosted Hermes-Agent Ihren Anwendungsfall trägt, welche GPUs Sie brauchen und wo der ehrliche Trade-off zu Claude liegt.
Verwandte Themen
→Claude Code On-Premise: source-available oder souverän?
→Open-Source KI-Stack für Unternehmen im Praxiseinsatz
