KI-Agenten selbst betreiben statt mieten: Kosten 2026

Pexon Consulting | 11 Min. Lesezeit | 16.07.2026

TL;DR

KI-Agenten selbst zu betreiben heißt: eigener Modell-Server, eigene Orchestrierung, eigene Governance, statt einer Managed-Plattform wie Agent Bricks. Der eigene Betrieb lohnt sich 2026 bei Datensouveränität oder hohem, konstantem Volumen. Für den Einstieg ist eine Managed-Plattform meist günstiger. Pexon Consulting (80 Mitarbeiter, Microsoft-Partner, Deutschland) baut beide Wege und rechnet vorher ehrlich durch.

Das Problem: „Mieten ist Lock-in, selbst betreiben ist teuer“

IT-Manager sitzen 2026 zwischen zwei unbequemen Optionen. Eine Managed-Agent-Plattform ist schnell live, bindet Sie aber an einen Anbieter und schickt Ihre Daten durch dessen Infrastruktur. Alles selbst zu betreiben gibt Kontrolle zurück, kostet aber ab Tag eins Hardware und Betrieb, auch wenn nur ein Team den Agenten nutzt.

Die gute Nachricht: Es gibt eine klare Entscheidungslogik, und sie hängt an zwei Größen, Volumen und Souveränitätsbedarf, nicht an Bauchgefühl. Die schlechte: Die meisten entscheiden sich falsch herum, weil „selbst betreiben“ nach Sparen klingt und „mieten“ nach Abhängigkeit, obwohl die Rechnung oft andersherum ausgeht.

Dieser Artikel liefert drei Dinge: eine On-Premise-Referenzarchitektur, die im Betrieb trägt, eine ehrliche Kostenrechnung gegen den Managed-Weg, und die Regel, wann welcher Weg gewinnt.

Die On-Premise-Referenzarchitektur

Ein produktiver Agenten-Stack besteht 2026 aus sechs Schichten. Wer eine davon weglässt, baut einen Prototyp, keinen Betrieb.

Der Kleber zwischen Tool-Layer und Agent ist MCP, das Model Context Protocol, das sich 2026 als Standard durchgesetzt hat. Darüber greift der Agent kontrolliert und auditierbar auf Systeme zu, statt über handgestrickte Integrationen. So sieht der Kern als Deployment aus:

# Kern eines self-hosted Agenten-Stacks (docker-compose, gekuerzt)
services:
  vllm:
    image: vllm/vllm-openai:latest
    command: --model Qwen/Qwen3-32B --tensor-parallel-size 2
    deploy: { resources: { reservations: { devices: [{ capabilities: [gpu] }] } } }
  gateway:
    image: ghcr.io/berriai/litellm:main    # Routing plus Kosten-Deckel
    environment: [ "LITELLM_MODE=production" ]
  agent:
    image: pexon/agent-service:1.0          # LangGraph plus MCP-Clients
    depends_on: [ vllm, gateway ]
  langfuse:
    image: langfuse/langfuse:3               # Tracing und Kostenmonitoring

Governance ist keine siebte Schicht, sondern liegt quer über allen: SSO, Audit-Logs, Rollen. Wie der Sandbox- und Berechtigungs-Teil sauber wird, ohne den Agenten zu lähmen, vertiefen wir in den verwandten Themen am Ende.

Die Kostenrechnung: mieten gegen betreiben

Die kurze Antwort: Bis in den mittleren fünfstelligen Token-Bereich pro Tag ist Mieten günstiger, darüber kippt es. Der Grund sind dieselben Fixkosten wie bei jeder Self-Hosting-Frage, nur dass beim Agenten der Betrieb schwerer wiegt als die reine Inferenz.

Unsere klare Empfehlung: Für einen ersten Agenten-Use-Case mit überschaubarem Volumen ist eine Managed-Plattform wie Agent Bricks, seit dem Data + AI Summit im Juni 2026 allgemein verfügbar, der schnellere und billigere Weg. Sie zahlen für Nutzung, nicht für Leerlauf. Der eigene Betrieb rechnet sich erst, wenn das Volumen die GPU dauerhaft auslastet oder wenn die Daten das Haus nicht verlassen dürfen.

Der teure Denkfehler: Ein Team kauft eine GPU-Flotte „für alle künftigen Agenten“ und lastet sie mit einem Use-Case zu 15 Prozent aus. Dann zahlen Sie den vollen Fixkostenblock für einen Bruchteil des Nutzens. Das ist der Moment, in dem selbst betreiben teurer wird als mieten, obwohl es sich sparsamer anfühlt. Wie ein Gateway die Modell- und Kostenkontrolle zentralisiert, zeigt unser Beitrag zu LiteLLM als LLM-Router.

Wann selbst betreiben gewinnt

Es gibt drei Situationen, in denen der eigene Betrieb trotz höherer Fixkosten die richtige Wahl ist. Erstens Souveränität: Wenn Daten aus DSGVO-, Berufsgeheimnis- oder KRITIS-Gründen im Haus bleiben müssen, scheidet der Managed-Weg oft rechtlich aus. Zweitens Volumen: Ab dauerhaft hoher Auslastung wird die eigene GPU pro Token günstiger als jede API. Drittens Integrationstiefe: Wenn der Agent tief in interne Systeme eingreift, die keine Cloud-Anbindung haben, ist On-Premise schlicht praktischer.

Für alle drei Fälle gilt: Ein selbst betriebener Stack braucht denselben Governance-Rahmen wie ein gemieteter, nur dass Sie ihn selbst stellen. Wer das unterschätzt, tauscht Anbieter-Lock-in gegen Betriebs-Risiko. Wie sich Agenten übergreifend orchestrieren und steuern lassen, ordnen wir in unserem Überblick zur KI-Agenten-Orchestrierung ein. Den Governance-Vergleich zwischen Eigenbetrieb und Managed Agents behandeln wir in den verwandten Themen.

Häufig gestellte Fragen

Was kostet es, KI-Agenten selbst zu betreiben?

Ein realistischer On-Premise-Agenten-Stack startet bei rund 5.000 EUR pro Monat: 3.000 bis 8.000 EUR für einen GPU-Node plus 2.000 bis 4.000 EUR anteilige Betriebskosten. Diese Fixkosten fallen unabhängig von der Nutzung an. Eine Managed-Plattform beginnt bei wenigen hundert EUR und skaliert mit dem Volumen, wird bei hoher Last aber teurer.

Wann lohnt sich selbst betreiben statt mieten?

Bei drei Bedingungen: hohe, konstante Auslastung der GPU, Datensouveränität aus rechtlichen Gründen, oder tiefe Integration in Systeme ohne Cloud-Anbindung. Für einen ersten Use-Case mit moderatem Volumen ist Mieten fast immer günstiger und schneller.

Was gehört in eine On-Premise-Agenten-Architektur?

Sechs Schichten: Modell-Serving (etwa vLLM), Gateway und Routing (etwa LiteLLM), Agenten-Framework (etwa LangGraph), ein Tool-Layer über MCP, ein Wissens-Layer mit Vektor-Store und RAG, sowie Observability (etwa Langfuse). Quer darüber liegt Governance mit SSO, Audit-Logs und Rollen.

Ist selbst betreiben sicherer als eine Managed-Plattform?

Nicht automatisch. Sie bekommen volle Datenkontrolle, übernehmen aber auch die volle Verantwortung für Patches, Zugriffskontrolle und Betrieb. Ohne sauberes Sandboxing und Audit-Logging ist ein selbst betriebener Agent nicht sicherer, nur näher bei Ihnen. Sicherheit entsteht aus dem Governance-Rahmen, nicht aus dem Standort.

Kann man mit Managed anfangen und später selbst betreiben?

Ja, und das ist oft der klügste Weg. Sie starten gemietet, sammeln Erfahrung und reales Volumen, und migrieren erst dann in den Eigenbetrieb, wenn die Kostenrechnung oder die Compliance es verlangt. Wichtig ist, das Framework und die MCP-Tool-Ebene von Anfang an portabel zu halten.

Nächster Schritt

Bevor Sie zwischen Managed und Eigenbetrieb entscheiden, schneiden wir die Architektur und rechnen den Break-even für Ihr reales Volumen durch. Ehrlich, auch wenn das Ergebnis „bleibt vorerst gemietet“ lautet.

Verwandte Themen