Open-Weight vs. Proprietär: Eigenes LLM oder API 2026?

Pexon Consulting | 10 Min. Lesezeit | 16.07.2026

TL;DR

Open-Weight-Modelle wie Qwen3.5 oder Llama 4 lassen sich selbst hosten, proprietäre wie Claude Opus 4.6 oder GPT-5.4 laufen nur als API. Für die meisten Unternehmen ist die API 2026 günstiger, Self-Hosting rechnet sich erst bei sehr hohem Volumen oder wenn Datensouveränität die Rechnung dominiert. Pexon Consulting (80 Mitarbeiter, Microsoft-Partner, Deutschland) rechnet den Break-even ehrlich durch, bevor eine GPU gekauft wird.

Das Problem: Die Kostenintuition ist falsch herum

Self-Hosting fühlt sich billiger an. Die eigene GPU steht im Rack, keine Rechnung pro Token, das Geld bleibt im Haus. Genau diese Intuition kostet 2026 die meisten Projekte Geld. Für die überwiegende Zahl der Workloads überschreitet die Rechnung den Break-even nie, und die Kosten, die das Projekt versenken, tauchen auf der GPU-Rechnung gar nicht erst auf: Betrieb, Ausfallsicherheit, Monitoring, das Personal, das die Flotte am Laufen hält.

Trotzdem ist Self-Hosting manchmal die einzig richtige Wahl. DSGVO-Datenresidenz, vertragliche Vertraulichkeit oder ein KRITIS-Kontext können den Ausschlag geben, egal was die Tabelle sagt. Die Frage ist also nicht „billiger oder teurer“, sondern: Wann kippt die Rechnung, und wann überstimmt Souveränität die Rechnung komplett?

Dieser Artikel klärt drei Dinge: wie groß der Qualitäts-Gap 2026 wirklich noch ist, wo der wirtschaftliche Break-even liegt, und wann Open-Weight trotz höherer Kosten gewinnt.

Wie groß der Qualitäts-Gap 2026 wirklich ist

Die kurze Antwort: kleiner als 2024, aber nicht null. Über die Breite der Benchmarks führen proprietäre Modelle 2026 mit einem Schnitt von rund 84 Punkten, Open-Weight-Modelle liegen bei rund 75. Die Spitze der Open-Weight-Reihe trailt die proprietäre Spitze noch um etwa 6 Punkte. Das ist keine Parität, auch wenn Marketing das gern anders erzählt.

Pro Aufgabe sieht es anders aus. Beim Coding ist der Abstand praktisch verschwunden: GLM-5.1 schlägt mit 58,4 Prozent auf SWE-Bench Pro sowohl GPT-5.4 als auch Claude Opus 4.6, und MiniMax M2.5 trifft mit 80,2 Prozent auf SWE-bench Verified fast punktgleich Claude Opus 4.6 mit 80,8 Prozent. Für Reasoning und Mathematik führt Qwen3 235B unter den offenen Modellen, DeepSeek R1 kommt auf MATH-500 nahe an die 100 Prozent.

Unsere klare Einordnung: Wenn Ihr Use-Case Coding, Extraktion oder strukturierte Aufgaben ist, bekommen Sie mit einem offenen Modell 2026 Qualität auf Augenhöhe. Für die letzten Prozentpunkte bei offenem Reasoning oder anspruchsvollem Dialog zahlen Sie bei den proprietären Modellen weiter für einen realen Vorsprung. Welches offene Modell konkret zu welcher GPU passt, ist eine eigene Frage, die wir separat in unserer Auswahl-Matrix für Open-Weight-Modelle beantworten.

Die Kostenrechnung: wann sich Self-Hosting rechnet

Der Break-even ist kein Punkt, sondern eine Zone, und sie liegt hoch. Self-Hosting schlägt API-Preise erst bei nachhaltig hohem Durchsatz, grob im Bereich von 100 bis 500 Millionen Tokens pro Monat, je nach Modellklasse, GPU-Preis und Auslastung. Darunter ist die API fast immer günstiger.

Die Fixkosten sind der Grund. Ein kleines Modell auf gemieteter Consumer-GPU startet bei rund 300 US-Dollar im Monat, ein Frontier-Open-Weight-Modell wie Llama 4 Maverick oder GLM-5.1 braucht 4 bis 8 Datacenter-GPUs und landet zwischen 2.000 und über 20.000 US-Dollar im Monat, ob gemietet oder gekauft.

# Frontier-Open-Weight-Modell mit vLLM auf mehreren GPUs serven
vllm serve Qwen/Qwen3-235B-A22B 
  --tensor-parallel-size 8 
  --max-model-len 32768 
  --gpu-memory-utilization 0.92
# Diese 8 GPUs laufen und kosten, ob eine oder eine Million Anfragen kommen.

Auf keiner GPU-Rechnung stehen die Posten, die Self-Hosting real teuer machen:

• Betrieb und Bereitschaft: jemand muss die Flotte patchen, überwachen und nachts erreichbar sein.
• Ausfallsicherheit: ein zweiter Knoten, damit ein GPU-Defekt nicht den Betrieb stoppt.
• Auslastung: eine GPU bei 15 Prozent Last kostet dasselbe wie bei 90 Prozent.
• Modell-Updates: neue Open-Weight-Releases bedeuten Re-Deployment und erneutes Testen.

Genau das ist der Kern: Die API skaliert mit der Nutzung, die eigene GPU kostet ab Sekunde eins. Ein selbst gehostetes 7B-Modell auf einer H100 kommt zwar auf etwa 0,013 US-Dollar pro 1.000 Tokens gegenüber 0,15 bis 0,60 bei einem kleinen API-Modell. Dieser Vorteil zählt aber nur, wenn die GPU auch ausgelastet ist. In unseren Projekten sehen wir Auslastungen von 10 bis 20 Prozent, sobald jemand „aus Kostengründen“ selbst hostet, ohne das Volumen zu haben. Dann ist die eigene GPU der teurere Weg.

Wann Open-Weight trotzdem gewinnt: Souveränität und DSGVO

Manchmal ist die Rechnung egal. Wenn Daten das Haus nicht verlassen dürfen, aus DSGVO-Residenz, Berufsgeheimnis oder KRITIS-Auflagen, ist ein selbst gehostetes Open-Weight-Modell die einzige Option, unabhängig vom Break-even. Compliance überstimmt Kosten, und das ist kein Sonderfall, sondern bei regulierten Kunden der Normalfall.

Hier spielen die europäischen Optionen ihre Stärke aus. Mistral Large 3 und GLM-5 sind qualitativ konkurrenzfähig und lassen sich vollständig in der eigenen Infrastruktur betreiben. Kombiniert mit SSO, Audit-Logs und sauberer Zugriffskontrolle wird daraus eine Private-AI-Umgebung, die auch einem Wirtschaftsprüfer standhält. Wie dieser Governance-Layer konkret aussieht und wie sich die DSGVO-Architektur zwischen API und Self-Hosted unterscheidet, vertiefen wir in den verwandten Themen am Ende.

Ein Punkt, den wir immer betonen: Souveränität ist kein Freifahrtschein für schlechte Wirtschaftlichkeit. Auch ein aus Compliance-Gründen selbst gehostetes Modell braucht ein Volumen und eine Auslastung, die den Betrieb tragen. Sonst zahlen Sie doppelt: die Fixkosten der eigenen GPU und den Aufwand, sie überhaupt sinnvoll zu füllen.

Der Mittelweg: Hybrid und Modell-Routing

Die ehrlichste Empfehlung für die meisten Unternehmen 2026 lautet: nicht entweder-oder, sondern beides. Ein Gateway routet günstige Standardanfragen auf ein selbst gehostetes offenes Modell und die harten Fälle auf eine proprietäre API. Ein Fintech-Kunde in unserem Umfeld hat seine monatlichen KI-Kosten so von 47.000 auf 8.000 US-Dollar gedrückt, eine Reduktion um 83 Prozent, ohne bei der Qualität dort zu sparen, wo sie zählt.

Das setzt eine Routing-Schicht voraus, die Modelle nach Aufgabe und Sensibilität verteilt. Genau dafür ist ein LLM-Gateway da. Welche Rolle es im Stack spielt, zeigt unsere LLM-Gateway- und Modell-Routing-Plattform. Die passende Inference-Engine für den Self-Hosted-Teil, ob vLLM, TGI oder Ollama, ordnen wir im Vergleich der Inference Engines ein.

Häufig gestellte Fragen

Ist ein selbst gehostetes Open-Weight-LLM billiger als eine API?

Nur bei sehr hohem, konstantem Volumen. Der Break-even liegt grob zwischen 100 und 500 Millionen Tokens pro Monat. Darunter ist die API fast immer günstiger, weil die GPU-Fixkosten ab Tag eins anfallen, egal wie viele Anfragen kommen. Entscheidend ist die tatsächliche Auslastung, nicht der Preis pro 1.000 Tokens.

Wie groß ist der Qualitätsunterschied zu Modellen wie GPT oder Claude?

Über alle Benchmarks liegen proprietäre Modelle 2026 im Schnitt rund 6 bis 9 Punkte vorn. Beim Coding ist der Abstand praktisch weg, offene Modelle wie GLM-5.1 liegen dort teils vor den proprietären. Für offenes Reasoning und anspruchsvollen Dialog bleibt ein realer, wenn auch kleiner Vorsprung bei den proprietären Modellen.

Wann lohnt sich Open-Weight trotz höherer Kosten?

Wenn Datensouveränität die Entscheidung dominiert. Bei DSGVO-Residenzpflicht, Berufsgeheimnis oder KRITIS-Auflagen ist ein selbst gehostetes Modell oft die einzige zulässige Option. Dann ist der Break-even nachrangig, weil die API rechtlich ausscheidet.

Welche Open-Weight-Modelle eignen sich für Europa?

Mistral Large 3 und GLM-5 sind qualitativ konkurrenzfähig und lassen sich vollständig on-premise betreiben, was sie für datensensible EU-Kunden attraktiv macht. Für Coding und Reasoning sind zusätzlich Qwen3.5 und DeepSeek-Modelle stark. Die konkrete Wahl hängt an Aufgabe, verfügbarer GPU und Lizenz.

Was kostet der Einstieg ins Self-Hosting?

Ein kleines Modell auf gemieteter GPU startet bei etwa 300 US-Dollar im Monat. Ein Frontier-Open-Weight-Modell braucht 4 bis 8 Datacenter-GPUs und liegt zwischen 2.000 und über 20.000 US-Dollar monatlich. Dazu kommen Betrieb, Monitoring und Ausfallsicherheit, die auf keiner GPU-Rechnung stehen, aber real anfallen.

Nächster Schritt

Bevor Sie zwischen eigener GPU und API entscheiden, rechnen wir den Break-even für Ihr reales Volumen durch, inklusive Betriebskosten. Ehrlich, auch wenn das Ergebnis „bleibt bei der API“ lautet.

Verwandte Themen