LLM-Kosten kontrollieren: FinOps für KI über ein zentrales Gateway

Pexon Consulting | 10 Min. Lesezeit | 19.06.2026

TL;DR

LLM-Kosten explodieren bei Mittelständlern typisch im sechsten Monat nach AI-Roll-out — aus 800 EUR pro Monat Pilot werden 12.000 EUR Produktiv-Rechnung, ohne dass jemand den Anstieg gesehen hat. Pexon Consulting setzt FinOps-Pattern über ein zentrales LLM Gateway auf, mit Hard-Budgets, Cost-pro-Team-Tracking und semantischem Caching das die OpenAI-Rechnung um 25-45% senkt. Festpreis-Sprint 22-32k EUR.

Warum LLM-Kosten so schnell außer Kontrolle laufen

Wir sehen das Pattern in fast jedem CFO-Erstgespräch bei Mittelständlern mit 6+ Monaten AI-Pilotbetrieb: „Wir haben mit GenAI angefangen, weil die Kosten nach Token-Volumen kalkulierbar sein sollten. Sind sie nicht.“

Vier strukturelle Gründe für die Kosten-Eskalation.

Endlos-Loops und Bugs. Ein Code-Bug in einem RAG-Setup führte bei einem Pexon-Pilotkunden zu Rekursionen von 70.000 Token pro Anfrage statt 8.000. Innerhalb eines Wochenendes kamen 4.300 EUR zusammen. Ohne Hard-Limit hätte der Bug bis zur Monatsabrechnung weitergelaufen.

Modell-Inflation. Engineering-Teams gewöhnen sich an GPT-4o für alle Anfragen, weil „es funktioniert“. Tatsächlich reichen bei 60-75% der Anfragen kleinere Modelle (GPT-4o-mini, Claude Haiku, Gemini Flash) zu einem Bruchteil der Kosten.

Fehlende Sichtbarkeit pro Team. Bei zentralem Konzern-Account weiß nach 4 Monaten niemand mehr, welcher Use-Case welche Kosten verursacht. Verursacher-Prinzip funktioniert nicht. Mehr zur breiten Cost-Governance-Architektur über LLM Gateway.

Kein Caching. Identische oder semantisch ähnliche Anfragen werden jedes Mal neu berechnet. Bei typischen Knowledge-Bot-Setups sind 25-45% der Anfragen Wiederholungen, die aus dem Cache beantwortet werden könnten.

Jeden dieser vier Punkte löst das FinOps-Pattern über das Gateway.

Die FinOps-Hebel im Detail

Hard-Budgets als Auto-Fail-Safe. Pro virtuellem API-Key (typisch pro Team oder pro Anwendung) ein hartes Monatsbudget. Bei 80% Verbrauch wird der Team-Lead per Slack gewarnt, bei 100% werden weitere Anfragen abgelehnt mit klarer Fehlermeldung. Damit ist die Worst-Case-Rechnung kalkulierbar.

# Beispiel: Budget-Konfiguration in LiteLLM
- team_id: "engineering-coding-assistant"
  max_budget: 4000  # EUR pro Monat
  budget_duration: monthly
  alert_threshold: 0.8  # Warnung bei 80%
  hard_limit: 1.0  # Anfragen abgelehnt bei 100%
  
- team_id: "hr-knowledge-bot"
  max_budget: 800
  budget_duration: monthly
  alert_threshold: 0.75
  hard_limit: 1.0

Semantisches Caching für die einfachsten Wins. Anfragen werden im Embedding-Raum verglichen, nicht nur als String. Bei 92%+ Similarity wird die Antwort aus dem Cache zurückgegeben. In unseren produktiven Setups senkt das die OpenAI-Rechnung um 25-45%, plus reduziert die Latenz auf unter 100 ms bei Cache-Hits.

Modell-Routing nach Anfrage-Komplexität. Einfache Frage → günstiges Modell, komplexe Reasoning-Anfrage → leistungsstarkes Modell. Bei vielen Mittelstand-Use-Cases reichen die „Mini“-Modelle (GPT-4o-mini, Claude Haiku) zu 5-15% der Kosten von Premium-Modellen. Mehr zur konkreten Routing-Logik im LiteLLM-Setup.

Cost-pro-User-Tracking. Jede Anfrage wird mit User-ID und Team-ID protokolliert. Im Power-BI-Dashboard pro Team sichtbar: Anfragen, Token, Kosten, Trend. Verursacher können bei hohen Kosten direkt befragt werden — „Was machst du genau, dass du im Engineering 4x über dem Durchschnitt liegst?“

Was Caching konkret bringt

Beispiel aus einem produktiven Pexon-Setup bei einem Versicherungs-Mittelständler mit Knowledge-Bot für interne Mitarbeiter.

Lage vor Caching. 87.000 Anfragen pro Monat, Ø 8.500 Token pro Anfrage. Bei GPT-4o-Preisen (3,75 EUR pro 1M Input, 11 EUR pro 1M Output) waren das 4.100 EUR pro Monat reine Modell-Kosten.

Lage nach semantischem Caching. 42% Cache-Hit-Rate, weil viele Mitarbeiter ähnliche Standard-Fragen stellen („Wie funktioniert das Spesen-Tool?“, „Wo finde ich Vorlage X?“). Reine Modell-Kosten sind auf 2.380 EUR pro Monat gesunken. Cache-Infrastruktur (Azure Cache for Redis) kostet 220 EUR pro Monat zusätzlich. Netto-Einsparung 1.500 EUR pro Monat oder 18.000 EUR pro Jahr.

Die Setup-Investition für Caching war eine Woche Engineering = 6-8k EUR. Amortisation in unter 6 Monaten.

Modell-Routing als zweiter großer Hebel

Welche Anfrage gehört auf welches Modell?

Standardregeln aus unseren Setups.

• Einfache Q&A aus Knowledge-Base: GPT-4o-mini oder Claude Haiku. Reduziert Kosten um 80-90% gegenüber Premium-Modellen.
• Kreative Texte und Marketing-Content: Claude Sonnet oder GPT-4o.
• Code-Generierung und Reasoning: GPT-4o oder Claude Sonnet 3.5.
• Vertrauliche Daten (DSGVO-sensitiv): Azure OpenAI EU West oder lokales Mistral. Mehr zum DSGVO-Routing-Pattern.

Im Gateway als YAML-Configuration, nicht als Code in jeder App. Engineering-Teams brauchen nicht zu wissen, welches Modell ihre Anfrage bekommt — sie sprechen „ki-standard“ oder „ki-reasoning“ als logischen Namen.

Die Kosten-Sichtbarkeit für Budget-Verantwortliche

Was der CFO oder Controlling-Lead in der Hand hat.

Monats-Dashboard pro Team. Anfragen, Token-Verbrauch, Kosten in EUR, Trend gegenüber Vormonat, Cache-Hit-Rate. In Power BI oder Grafana auf der Pipeline-Output-Schicht.

Cost-pro-User-Ranking. Top-10 Verbraucher pro Team. Damit sind Ausreißer schnell identifiziert — oft sind das nicht böswillige Nutzer, sondern automatisierte Test-Pipelines oder Bug-Loops.

Forecast für Budget-Planung. Aus den letzten 3 Monaten plus Wachstums-Trend ergibt sich eine plausible Kosten-Schätzung für das nächste Quartal. Wichtig für den Q4-Budget-Antrag.

Anomalie-Alarmierung. Wenn ein Team innerhalb 1 Stunde 80% seines Tagesbudgets verbraucht (Indikator für Bug-Loop), geht Alarm an Engineering und Controlling. Mehr zur breiten Audit- und Monitoring-Pipeline für AI-Workloads.

Pexon-Sprint und Investment

2-3-Wochen-Festpreis-Sprint:

• Woche 1 — Discovery und Gateway-Setup. Aktuelle Cost-Lage analysieren, Use-Case-Mapping, Budget-Struktur definieren mit Controlling. Initial-Setup LLM Gateway falls nicht vorhanden.
• Woche 2 — Caching und Modell-Routing. Semantischer Cache aktivieren, Modell-Routing-Regeln pro Anwendungsfall definieren, A/B-Tests gegen die alten Setups.
• Woche 3 (optional) — Dashboard und Alerting. Cost-Tracking-Dashboards in Power BI oder Grafana, Alarm-Pipeline an euer SIEM oder Slack, Übergabe an Controlling und Engineering.

Investment-Festpreis: 22-32k EUR je nach Komplexität. Untere Spanne wenn LLM Gateway bereits steht, obere Spanne bei vollem Setup inkl. Gateway.

Typische ROI: Bei einem Mittelständler mit 4.000-8.000 EUR pro Monat LLM-Kosten amortisiert sich der Sprint innerhalb 4-7 Monaten.

Häufig gestellte Fragen

Wie genau funktioniert semantisches Caching?

Anfragen werden in Embedding-Vektoren übersetzt und im Cache abgelegt. Bei neuen Anfragen wird der Embedding-Vektor mit Cache-Einträgen verglichen — bei Cosine-Similarity über 92% (konfigurierbar) wird die gecachte Antwort zurückgegeben. Funktioniert für FAQ-artige Use-Cases sehr gut, bei stark personalisierten Anfragen weniger. Cache-TTL meist 24-72 Stunden.

Was kostet das Caching-Setup selbst?

Azure Cache for Redis C2 (mid-tier) kostet 220-380 EUR pro Monat. Plus Embedding-Kosten für Cache-Lookup — typisch 5-15 EUR pro Monat. Bei einem Mittelständler mit 4.000+ EUR LLM-Kosten ist das eine 5-10%-Investition für 25-45% Einsparung.

Was wenn die Cache-Antworten nicht aktuell sind?

Bei sich ändernden Daten (Knowledge-Base-Updates, neue Vertragstexte) muss der Cache invalidiert werden. Wir bauen Webhook-basierte Cache-Invalidation in den Sprint mit ein. TTL ist Pflicht-Fallback — typisch 72 Stunden, sodass spätestens dann veraltete Antworten weg sind.

Können wir Modell-Routing rückwärts-kompatibel einführen?

Ja. Das Gateway bekommt logische Modell-Namen wie „ki-standard“ und „ki-reasoning“. Anwendungen sprechen diese Namen. Im Gateway kann das tatsächliche Backend-Modell jederzeit ohne Anwendungs-Änderung gewechselt werden. Das ist genau der Wert des Gateway-Patterns.

Wie verhält sich das bei stark variablen Workloads?

Bei Setups mit sehr volatilen Workloads (z.B. Marketing-Generator zur Monatsmitte) empfehlen wir Pre-Paid-Reserved-Capacity bei Azure OpenAI plus Pay-as-you-go-Fallback. Hard-Budgets greifen weiter — bei Reservierungs-Verbrauch werden teurere Pay-as-you-go-Anfragen abgelehnt, wenn das Budget aufgebraucht ist.

Nächster Schritt

Wenn deine LLM-Kosten in den letzten 6 Monaten 4-8x gestiegen sind und keiner mehr sagen kann warum: Wir machen einen 30-Minuten-Discovery-Call mit dir und idealerweise dem Engineering-Lead plus Controlling-Verantwortlichen. Du beschreibst die Cost-Lage, wir skizzieren den 2-3-Wochen-Sprint mit Festpreis.

Verwandte Themen