Hermes Agent Azure: Open-Weight souverän deployen 2026

Pexon Consulting | 9 Min. Lesezeit | 20.07.2026

TL;DR

Die Kombination Hermes Agent Azure bedeutet 2026: das Open-Weight-Modell Hermes 4 auf Azure AI Foundry Managed Compute betreiben, auf dedizierten H100-GPUs, mit EU Data Zone, Entra ID und Private Networking. Das ist der Mittelweg zwischen vollem On-Premise und US-Cloud. Pexon liefert das Deployment als 6-Wochen-Pilot inklusive Governance und Betrieb.

Warum Azure der Mittelweg ist

Nicht jedes Unternehmen hat ein Platform-Team, das einen GPU-Cluster im eigenen Rechenzentrum betreibt. Und nicht jedes Unternehmen darf seine Daten an eine US-Cloud über den Atlantik schicken. Genau in diese Lücke passt Azure.

Der Reiz: Sie bekommen ein Open-Weight-Modell auf dedizierter GPU-Hardware, ohne selbst GPUs zu kaufen und zu warten, und halten die Verarbeitung über die EU Data Zone in europäischen Rechenzentren. Für viele Unternehmen im Mittelstand ist das der pragmatische Kompromiss zwischen „wir bauen alles selbst“ und „wir schicken alles an eine US-API“.

Wenn Sie stattdessen echte, rechtliche Datenhoheit auf eigenem Blech brauchen, ist der Weg ein anderer. Den beschreiben wir in unserem Artikel zur self-hosted Claude-Alternative mit dem Hermes-Agent. Dieser Artikel hier nimmt den Azure-Pfad.

Hermes Agent Azure: der Managed-Compute-Weg

Der zentrale Baustein heißt Foundry Managed Compute. Microsoft hat ihn im Juni 2026 angekündigt, aktuell in der Public Preview mit Registrierung. Es ist eine verwaltete GPU-Plattform, die Open-Source- und Custom-Weight-Modelle auf dedizierten GPUs hostet, ohne dass Sie virtuelle Maschinen, Cluster oder Serving-Runtimes selbst betreiben.

Sie wählen drei Dinge: das Modell, ein Deployment-Template und eine Beschleuniger-Familie. Zur Auswahl stehen A100, H100, H200 und MI300X. Foundry stellt darunter die passende Anzahl GPUs bereit, skaliert automatisch mit dem Traffic und rechnet stündlich pro Accelerator ab, inklusive Scale-to-Zero.

Für den Hermes-Agent heißt das konkret: Sie laden Hermes 4 als Custom-Weight-Modell aus dem Hugging-Face-Repository von Nous Research und deployen es auf ein Managed-Compute-Endpoint. Der Agent, technisch das Framework Hermes Agent v0.9.0 (Stand April 2026), spricht dann den Foundry-Endpunkt an.

# Hermes 4 als Custom-Weight-Modell auf Foundry Managed Compute deployen
az ml online-deployment create 
  --name hermes-4-70b 
  --endpoint hermes-agent-ep 
  --model "NousResearch/Hermes-4-70B" 
  --instance-type "Standard_ND96isr_H100_v5" 
  --instance-count 1 
  --resource-group rg-ki-souveraen 
  --workspace-name foundry-eu

Der Aufruf danach läuft über den unified Foundry-Endpunkt mit Entra-ID-Authentifizierung und Private Networking, dieselbe Auth wie bei den Pay-per-Token-Modellen:

# Hermes-Agent gegen den Foundry Managed Endpoint, Auth per Entra ID
from openai import AzureOpenAI

client = AzureOpenAI(
    azure_endpoint="https://foundry-eu.services.ai.azure.com",
    azure_ad_token_provider=entra_token_provider,  # kein API-Key im Code
    api_version="2026-05-01",
)

antwort = client.chat.completions.create(
    model="hermes-4-70b",
    messages=[{"role": "user", "content": "Extrahiere die Kennzahlen aus dem Report."}],
    tools=werkzeuge,  # Function Calling nativ von Hermes 4
)

EU Data Zone: Was Souveränität auf Azure heißt, und was nicht

Hier ist Präzision Pflicht, weil Marketing und Compliance oft aneinander vorbeireden. Die EU Data Zone verarbeitet Daten innerhalb der Azure EU Data Boundary, die seit Mai 2026 Länder wie Deutschland, Frankreich, Niederlande, Spanien und Schweden umfasst. Ihre Inferenz bleibt geografisch in Europa. Das ist ein echter Fortschritt gegenüber einer globalen US-Deployment.

Aber: Microsoft ist ein US-Konzern und unterliegt dem US CLOUD Act. Geografische Datenhaltung in Europa ist nicht dasselbe wie rechtliche Immunität gegen US-Zugriff. Für die meisten Unternehmen reicht die EU Data Zone. Für einen Berufsgeheimnisträger unter §203 StGB oder ein KRITIS-Szenario mit maximaler Anforderung reicht sie nicht, dann führt kein Weg an einer On-Premise-Lösung vorbei.

Gut zu wissen: Microsoft hat Data Zone Managed Compute angekündigt, das Traffic und Verarbeitung innerhalb einer definierten Datenzone hält, gegen einen kleinen Aufpreis gegenüber Global. Unsere klare Empfehlung: Wenn Sie den Azure-Weg gehen, konfigurieren Sie die Data Zone von Anfang an richtig. Sie nachträglich auf eine falsch deployte Ressource draufzusetzen, ist schmerzhaft.

Wie der Hermes-Agent sich in einen breiteren Plattform-Stack einfügt, zeigt unsere Übersicht zum AI Engineering Stack.

Kosten: Managed Compute gegen On-Premise gegen API

Die drei Wege haben grundverschiedene Kostenprofile. Ein grober Rahmen für einen produktiven Agenten:

Der Charme von Managed Compute ist die stündliche Abrechnung mit Scale-to-Zero: Läuft der Agent nachts nicht, zahlen Sie nichts für die GPU. Das macht Azure zum besten Startpunkt für einen Piloten, weil Sie keine Hardware für 60.000 EUR kaufen, bevor der Use-Case bewiesen ist. Bei dauerhaft ausgelasteten Agenten mit hohem Volumen wird der eigene On-Prem-Cluster langfristig günstiger, aber das ist eine Entscheidung für Schritt zwei, nicht für den Start.

Worauf Sie beim Azure-Deployment achten sollten

Bevor Sie den Hermes-Agent auf Foundry deployen, klären Sie diese fünf Punkte. Sie entscheiden über sauberen Betrieb oder eine böse Überraschung in der ersten Rechnung:

1. Data Zone zuerst: Legen Sie Workspace und Endpoint direkt in einer EU-Data-Zone-Region an. Nachträglich umziehen bedeutet neu deployen, nicht umkonfigurieren.
2. Kosten-Guardrails: Aktivieren Sie Scale-to-Zero und setzen Sie Budget-Alerts. Eine H100-Instanz, die versehentlich durchläuft, kostet vierstellig pro Monat.
3. Entra ID statt Keys: Nutzen Sie Managed Identity und Conditional Access. API-Keys im Code sind der häufigste Weg, wie Zugänge leaken.
4. Private Endpoints: Ohne Private Networking hängt Ihr Modell-Endpoint potenziell am öffentlichen Netz. Das gehört zu, nicht nach dem Deployment.
5. Tool-Calling testen: Prüfen Sie früh, ob das Function-Calling von Hermes 4 sauber durch den Foundry-Endpoint kommt. Das ist der Punkt, der im POC gern übersehen wird.

Unsere Empfehlung: Starten Sie mit einer einzelnen H100-Instanz und Hermes-4-70B in einer EU-Region. Skalieren können Sie, sobald der Use-Case trägt, ohne alles neu aufzusetzen.

Häufig gestellte Fragen

Kann ich Hermes 4 wirklich auf Azure AI Foundry betreiben?

Ja. Foundry Managed Compute hostet Open-Source- und Custom-Weight-Modelle, und Hermes 4 ist ein Llama-3.1-basiertes Open-Weight-Modell aus dem Hugging-Face-Repository von Nous Research. Sie deployen es auf ein Managed-Compute-Endpoint und sprechen es über den unified Foundry-Endpunkt an.

Sind meine Daten mit der EU Data Zone souverän?

Geografisch bleibt die Verarbeitung in Europa, das ist ein echter Vorteil. Rechtlich unterliegt Microsoft als US-Konzern dem CLOUD Act. Für die meisten Unternehmen reicht die EU Data Zone, für §203-Berufsgeheimnisträger und harte KRITIS-Fälle nicht. Dann brauchen Sie On-Premise.

Was kostet ein Hermes-Agent auf Azure Foundry?

Managed Compute rechnet stündlich pro GPU-Accelerator ab, mit Scale-to-Zero, wenn kein Traffic läuft. Sie zahlen also nur für tatsächliche Nutzung statt für gekaufte Hardware. Das macht den Azure-Weg zum günstigsten Einstieg für einen Piloten.

Hermes auf Azure oder voll On-Premise: Was ist besser?

Azure ist der Mittelweg mit geringem Betriebsaufwand und EU-Datenhaltung, ideal für Pilot und Mittelstand. Voll On-Premise gibt maximale Datenhoheit, verlangt aber ein eigenes Platform-Team und Hardware-Invest. Die Regulatorik entscheidet, nicht die Technik.

Welche GPU brauche ich für Hermes-4-70B auf Foundry?

Für die 70B-Variante mit produktiver Latenz ist eine H100-Instanz der sinnvolle Startpunkt. Foundry bietet A100, H100, H200 und MI300X. Für kleinere Aufgaben reicht die 14B-Variante auf schwächerer Hardware, für maximale Qualität die 405B auf Multi-GPU.

Nächster Schritt

Sie wollen einen Open-Weight-Agenten auf Azure betreiben, ohne selbst GPUs zu kaufen, und trotzdem die Datenhaltung im Griff behalten? Wir klären in einem kurzen Gespräch, ob Foundry Managed Compute für Ihren Use-Case passt und wie die EU Data Zone sauber konfiguriert wird.

Verwandte Themen