LLM selbst hosten statt API: ab wann es sich rechnet (2026)

Pexon Consulting | 9 Min. Lesezeit | 14.07.2026

TL;DR

Self-Hosting eines LLM lohnt sich auf reiner Kostenbasis erst ab rund 330 Millionen Token pro Monat gegenüber einem Flaggschiff-Modell, gegenüber günstigen API-Modellen erst ab etwa 3 Milliarden Token. Pexon Consulting (80 Mitarbeiter, Azure/AWS/GCP, Microsoft Partner) baut die Rechnung transparent und betreibt den Stack als 6-Wochen-Pilot. Der echte Trigger ist meist Datensouveränität, nicht der Token-Preis.

Warum die Token-Preis-Angst in die Irre führt

Die kurze Antwort: Wer nur auf den Cent pro Token schaut, self-hostet meistens zu früh. Die API-Rechnung wächst linear mit dem Verbrauch und wird bei hohem Volumen sichtbar. Aber die Fixkosten einer eigenen GPU-Infrastruktur sind höher, als die meisten IT-Leiter im ersten Reflex schätzen, sobald Betrieb, Monitoring und Ausfallsicherheit dazukommen.

Wir sehen bei unseren Kunden zwei Auslöser für das Thema. Der erste ist eine API-Rechnung, die von 500 Euro auf 8.000 Euro im Monat gesprungen ist, weil ein Feature live gegangen ist. Der zweite ist die Compliance-Abteilung, die keine Kundendaten mehr an einen US-Anbieter schicken will. Das sind zwei völlig verschiedene Business Cases, und nur einer davon ist eine reine Kostenfrage.

Unsere klare Position: Die Frage, ob du ein LLM hosten statt API betreiben solltest, ist am Ende eine Rechnung, keine Glaubensfrage. Rechne den Break-even durch, bevor du eine GPU bestellst. In der Hälfte der Fälle ist die API bei ehrlicher Betrachtung noch die günstigere Option. In der anderen Hälfte ist der Kostenvorteil real, wird aber von Datensouveränität als eigentlichem Grund überlagert.

Was die API wirklich kostet

Die API-Kosten hängen an drei Zahlen: Input-Preis, Output-Preis und dem Verhältnis der beiden im echten Workload. Ein Chat-Assistent produziert wenig Output pro Anfrage, eine Zusammenfassungs-Pipeline sehr viel.

Stand Juli 2026 liegen die relevanten Modelle so (Preise pro einer Million Token, Input/Output):

Ein realistischer Enterprise-Workload liegt bei einem Input-Output-Verhältnis von etwa 3 zu 1. Daraus ergibt sich ein Mischpreis: bei Sonnet 4.6 rund 6 US-Dollar pro Million Token, bei Opus 4.6 rund 10 US-Dollar, bei Gemini 3 Flash nur etwa 1,10 US-Dollar. Diese Spreizung um den Faktor 9 ist der Grund, warum es keinen einzelnen Break-even gibt. Es kommt darauf an, gegen welches Modell du rechnest.

Was Self-Hosting kostet: unsere Referenz-Konfigurationen

Auf der Hardware-Seite gibt es keine Token-Rechnung, sondern eine Fixkostenzeile pro Monat. Die folgende Tabelle ist unsere aktuelle Referenz-Sizing-Matrix (Stand Juli 2026). Wichtig: Die Preise sind eine grobe Indikation. Die tagesaktuellen Preise musst du anfragen, weil GPU-Mieten stark schwanken und nachfrageabhängig sind.

Zwei Dinge fallen sofort auf. Erstens: Die S+-Stufe verdoppelt nur die Hardware gegenüber S, verzehnfacht aber die gleichzeitigen Nutzer von 16 auf 150. Das liegt an der Batching-Effizienz moderner Serving-Engines wie vLLM (v0.x, rund 83.000 GitHub-Sterne, Stand Juni 2026), die freie GPU-Kapazität auf viele parallele Anfragen verteilt. Zweitens: Der Sprung von S auf L kostet den Faktor 11 im Preis, weil ein großes Vision-Modell auf vier H200-Karten (je 141 GB HBM3e) läuft statt auf zwei Workstation-GPUs.

Für die reine Kostenrechnung nehmen wir die S+-Stufe: 3.000 Euro im Monat, umgerechnet rund 3.300 US-Dollar, für ein Modell der Qwen-Klasse, das eine ganze Abteilung bedient.

Die Break-even-Rechnung

Der Break-even ist der Punkt, an dem die monatlichen Fixkosten der eigenen GPU die variablen API-Kosten unterschreiten. Formel: Fixkosten geteilt durch Mischpreis pro Million Token.

Break-even (Mio Token/Monat) = monatliche Fixkosten / Mischpreis pro Mio Token

Beispiel S+ (3.300 $/Monat):
  gegen Opus 4.6   (10 $/Mio):   3.300 / 10   =   330 Mio Token/Monat
  gegen Sonnet 4.6 (6 $/Mio):    3.300 / 6    =   550 Mio Token/Monat
  gegen Gemini 3 Flash (1,1 $):  3.300 / 1,1  = 3.000 Mio Token/Monat

Das ist die Kernaussage in einer Zahl: Wenn du heute ein Flaggschiff-Modell fährst und mehr als 330 Millionen Token im Monat verbrauchst, ist die eigene S+-Box günstiger. Fährst du ein Budget-Modell, musst du fast das Zehnfache verbrauchen, bevor sich die Rechnung dreht.

Zur Einordnung: 330 Millionen Token im Monat entsprechen grob 150 Nutzern, die je 50 Anfragen am Tag mit je 2.000 Token stellen. Das ist ein ernsthaft genutzter interner Assistent, kein Pilotprojekt mit zehn Testern.

Der Posten, den fast alle vergessen: Betrieb

Die 3.000 Euro aus der Tabelle sind die externe Hardware-Miete, nicht die Total Cost of Ownership. Rohe GPU-Kosten machen erfahrungsgemäß nur 30 bis 40 Prozent der echten Infrastrukturkosten aus. Der Rest ist Betrieb: Modell-Updates, Security-Patches, Load-Balancing, Alerting, Bereitschaft.

Rechne konservativ mit einem Aufschlag von Faktor 2 bis 2,5 auf die reinen Hardware-Kosten, wenn du selbst betreibst. Aus 3.000 Euro Miete werden dann real 6.000 bis 7.500 Euro pro Monat, sobald du einen halben Platform-Engineer für den Betrieb einplanst. Das verschiebt den Break-even gegen ein Flaggschiff von 330 auf grob 700 Millionen Token im Monat.

Genau hier liegt der Unterschied zwischen Selbstbetrieb und Managed Service. Wenn wir den Stack für einen Kunden betreiben, entfällt der interne Engineering-Posten und die Fixkostenzeile bleibt planbar. Das ist kein Verkaufsargument, sondern der Grund, warum die reine Selbstbau-Rechnung oft schöner aussieht, als sie am Jahresende ist.

Wann Self-Hosting trotz höherer Kosten richtig ist

Kosten sind nicht der einzige Hebel, und oft nicht der wichtigste. Es gibt drei Situationen, in denen wir zum eigenen Modell raten, selbst wenn die API auf dem Papier günstiger bleibt.

Datensouveränität ist der häufigste echte Grund. Wenn Kundendaten, Patientenakten oder Konstruktionsdaten das Haus nicht verlassen dürfen, ist die API raus, unabhängig vom Preis. Ein deutsch gehosteter Stack löst das Problem an der Wurzel.

Planbare Fixkosten sind der zweite Grund. Ein CFO, der eine feste Zeile im Budget will statt einer variablen Rechnung, die mit jedem erfolgreichen Feature steigt, bekommt mit Self-Hosting Ruhe. Die Obergrenze ist die Hardware, nicht die Nutzung.

Latenz und Verfügbarkeit sind der dritte. Wer eine garantierte Antwortzeit ohne Rate-Limits eines externen Anbieters braucht, hat mit eigener Hardware die Kontrolle. Das zählt in Produktionsumgebungen mehr als der Token-Preis.

Häufig gestellte Fragen

Was kostet es, ein LLM selbst zu hosten?

Als grobe Indikation: ein Modell der Qwen-Klasse für rund 150 gleichzeitige Nutzer liegt bei etwa 3.000 Euro externer Hardware-Kosten im Monat (2x RTX PRO 6000). Ein großes Vision-Modell auf vier H200 liegt bei rund 17.000 Euro. Diese Preise sind nachfrageabhängig und sollten tagesaktuell angefragt werden. Rechne für den Selbstbetrieb einen Aufschlag von Faktor 2 bis 2,5 für Betrieb und Personal ein.

Ab welchem Token-Volumen lohnt sich Self-Hosting statt API?

Ein LLM hosten statt API lohnt sich auf reiner Kostenbasis ab rund 330 Millionen Token pro Monat, wenn du heute ein Flaggschiff-Modell wie Opus 4.6 oder GPT-5.2 nutzt. Gegen ein günstiges Budget-Modell wie Gemini 3 Flash dreht sich die Rechnung erst bei etwa 3 Milliarden Token im Monat. Rechne den Break-even immer gegen das Modell, das du heute konkret einsetzt.

Ist ein self-hosted Open-Source-Modell schlechter als GPT oder Claude?

Für die meisten Enterprise-Aufgaben nicht mehr. Offene Modelle wie Qwen3, GLM 5.2 oder DeepSeek V4 haben 2026 bei Zusammenfassung, Extraktion und Klassifikation zu den kommerziellen Flaggschiffen aufgeschlossen. Beim komplexesten agentischen Reasoning liegen die kommerziellen Modelle noch vorn. Für einen internen Wissens-Assistenten reicht die offene Klasse in der Regel.

Welche Hardware brauche ich für ein eigenes LLM?

Das hängt an Modellgröße und Nutzerzahl. Ein 30B-Modell für eine Abteilung läuft auf ein bis zwei RTX PRO 6000 (je 96 GB). Ein 70B-Modell in voller Präzision oder ein großes Vision-Modell braucht H200 (141 GB) im Verbund. Die genaue Auslegung hängt vor allem von der gewünschten Nutzerzahl und Kontextlänge ab.

Kann ich später von der API zum eigenen Modell wechseln, ohne alles neu zu bauen?

Ja, wenn du von Anfang an über eine OpenAI-kompatible Schnittstelle arbeitest. Dann tauschst du nur den Endpunkt, nicht den Code. Genau dafür sind Gateways wie LiteLLM gedacht, die API und Self-Hosting hinter einer einheitlichen Schnittstelle abbilden.

Nächster Schritt

Bevor du eine GPU bestellst, rechne den Break-even gegen dein echtes Token-Volumen. Wir machen das in einem kurzen Termin mit deinen realen Zahlen und sagen dir ehrlich, ob sich der eigene Stack lohnt oder ob die API noch die klügere Wahl ist.

Verwandte Themen