Pexon Consulting | 12 Min. Lesezeit | 17.04.2026
TL;DR
LLM-Kosten LangFuse ist das CFO-Werkzeug, das aus einer 40.000-EUR-im-Monat-Azure-OpenAI-Rechnung einen nachvollziehbaren FinOps-Bericht macht. Token-Attribution pro Abteilung, Budget-Alerts, Prompt-Caching-Messung, Export zu Azure Cost Management. Pexon Consulting, Microsoft Partner mit 80 Mitarbeitern in Deutschland, setzt LangFuse als FinOps-Layer zwischen Azure OpenAI und die Anwendungsteams. Typisches Ergebnis im ersten Quartal nach Einführung: 20-40% Kostenreduktion durch transparente Attribution und Prompt-Caching-Nutzung.
Die Eskalation, die nach jedem erfolgreichen KI-Launch kommt
Die Mail landet typischerweise vier bis sechs Wochen nach dem Go-Live. Absender: der CFO oder der Cost-Controller. Betreff: „Azure-OpenAI-Rechnung Q1 — bitte dringend erklären.“ Inhalt: eine fünfstellige Monatsrechnung, von der niemand weiß, welche Abteilung sie verursacht hat.
Wir sehen diesen Moment bei praktisch jedem Enterprise-KI-Projekt. Ein Chatbot für den Kundenservice kostet 8.000 EUR im Monat. Ein RAG-Tool für die Vertragsprüfung 12.000 EUR. Ein interner Copilot für die Fachabteilung 20.000 EUR. Summe 40.000 EUR. Der CFO fragt: „Rechtfertigt das den Nutzen?“ Die Antwort ist oft: „Keine Ahnung.“ Denn niemand hat die Zahlen.
McKinsey berichtet im State of AI 2025, dass nur 17% der Unternehmen einen EBIT-Effekt über 5% aus GenAI messen. Der Grund ist nicht, dass GenAI keinen Wert schafft — der Grund ist, dass niemand die Kosten und den Nutzen auf gleicher Granularität misst. FinOps für LLMs ist die Disziplin, die diese Lücke schließt.
Warum klassisches Cloud-FinOps nicht reicht
Azure Cost Management, AWS Cost Explorer und GCP’s Billing-Dashboards zeigen, was Ihre Subscription kostet. Bei LLM-Services reicht das nicht — aus drei Gründen.
Erstens: Die Rechnung ist aggregiert auf Subscription-Ebene. Ein Azure-OpenAI-Endpoint wird von drei Anwendungen parallel genutzt. Die Rechnung sieht: 12.000 EUR für gpt-4o im März. Welche Anwendung verantwortlich war? Unklar.
Zweitens: Die Kostentreiber sind nicht Compute-Stunden, sondern Tokens. Ein einzelner schlecht geschriebener Prompt, der 15.000 Tokens Context-Window füllt, kostet mehr als tausend effiziente Prompts. Die Cloud-Rechnung sieht diese Prompt-Ebene nicht.
Drittens: Prompt-Caching, Batch-API und Context-Window-Optimierung haben dramatische Kosteneffekte. Anthropic berichtet bis zu 90% Kostenreduktion auf Cache Hits, kombiniert mit Batch API bis zu 95%. OpenAI’s Caching-Mechanismus reduziert Input-Token-Kosten ebenfalls deutlich. Diese Einsparungen tauchen in der Azure-Rechnung als niedrigere Gesamtkosten auf — aber nicht attribuiert. Wer die Einsparung verursacht hat und wo weiteres Potenzial liegt, bleibt intransparent.
Wo LangFuse ansetzt
LangFuse tracked jeden LLM-Call mit drei Dimensionen, die FinOps-relevant sind: Tokens (Input, Output, cached Tokens), Kosten (umgerechnet via integrierter Preisdatenbank für GPT-4o, Claude 4, Gemini, Mistral, Llama und anpassbare Custom Models) und Custom Tags (User, Session, Kostenstelle, Abteilung, Modell-Version). Das Ergebnis ist eine Datenbank, in der jede Frage in Sekunden beantwortet wird: „Welche Abteilung hat im März 2026 welche Modelle wie intensiv genutzt?“
from langfuse import Langfuse, observe, get_client
langfuse = Langfuse(host="https://langfuse.meinefirma.de", ...)
@observe()
def hr_copilot_anfrage(mitarbeiter_id: str, frage: str):
client = get_client()
client.update_current_trace(
user_id=mitarbeiter_id,
session_id=current_chat_session_id(),
tags=[
"abteilung:hr",
"kostenstelle:4711",
"produkt:mitarbeiter-copilot",
"modell:claude-sonnet-4-6",
"env:prod",
],
metadata={"priority": "standard", "contract_version": "v2"},
)
# Der anschliessende LLM-Call wird automatisch erfasst inkl. Tokens + Kosten
return llm.invoke(frage)Die Kosten-Attribution läuft über drei Mechanismen parallel: user_id propagiert automatisch durch alle Traces einer User-Session — auch durch nested Tool-Calls. session_id gruppiert verwandte Anfragen (ein Chat, ein Batch-Run). tags und metadata liefern die strukturierten FinOps-Dimensionen, die der Kostenstellen-Plan erwartet.
Der Aufwand auf Code-Seite ist überschaubar: Ein Decorator plus 4-8 Zeilen Trace-Update pro Use Case. Die Auswertung in LangFuse ist dann eine Frage von Dashboards, nicht von Custom-Code.
Das Dashboard, das der CFO wirklich will
In unseren Kundenprojekten bauen wir typischerweise ein festes Set an LangFuse-Dashboards, das die häufigsten FinOps-Fragen beantwortet:
Kostenstellen-Report. Monatliche Ausgaben pro kostenstelle:*-Tag, aufgegliedert nach Modell. Zeigt sofort, ob die Vertriebs-Abteilung gerade eskaliert oder der HR-Copilot im Rahmen bleibt.
Top-Spending-Sessions. Die teuersten 20 Sessions des Monats mit Link zur Trace. Nützlich, um Ausreißer zu diagnostizieren — ein User, der einen 50.000-Token-Prompt ausprobiert hat, oder ein Agent, der in einer Endlos-Retry-Schleife gefangen war.
Cache-Hit-Analyse. Prozentuale Verteilung cached vs. uncached Input-Tokens pro Use Case. Zeigt, wo Prompt-Caching genutzt wird und wo nicht — mit direkter Übersetzung in verpasste Einsparungen.
Modell-Kostendifferential. Einsparungspotenzial beim Wechsel von GPT-4o zu GPT-4o-mini oder zu Claude Haiku für geeignete Use Cases. Errechnet aus historischen Trace-Kosten.
Budget-Alert-Status. Live-Indikator pro Abteilung: Wie viel Prozent des Monatsbudgets sind verbraucht, wie viele Tage sind noch offen, ist ein Alert getriggert.
Diese Dashboards entstehen typischerweise in 2-3 Tagen Engineering, wenn die Trace-Daten sauber getagged sind. Der eigentliche Arbeitsteil ist nicht das Bauen — es ist die Tag-Taxonomie, die der Finance- und IT-Controlling-Arbeitsgruppe im Vorfeld abgestimmt werden muss.
Budget-Alerts als Fail-Closed-Governance
Tracking allein verhindert keine Kostenexplosion. Das tun Alerts. LangFuse unterstützt Custom-Dashboards mit Alert-Regeln, die bei Schwellwert-Überschreitung triggern. In Kombination mit Azure Logic Apps oder Teams-Webhooks wird daraus ein echtes Governance-Werkzeug.
# Beispiel: Pro-User-Budget-Cap in der Anwendungsschicht
async def call_with_budget_check(user_id: str, prompt: str):
monthly_spend = await langfuse.get_user_monthly_cost(user_id)
user_limit = get_budget_for_user(user_id) # z.B. 50 EUR/Monat
if monthly_spend >= user_limit:
return {"error": "Monatliches LLM-Budget erschoepft.",
"spent_eur": monthly_spend,
"limit_eur": user_limit}
if monthly_spend > 0.8 * user_limit:
await notify_user_and_manager(user_id, monthly_spend, user_limit)
return await agent.run(prompt, user_id=user_id)Die 80%-Schwelle löst eine Warnung aus, 100% blockiert den Aufruf hart. In Enterprise-Projekten parametrisieren wir das pro Abteilung unterschiedlich: HR konservativ (50 EUR/User/Monat), Engineering großzügiger (500 EUR/User/Monat), Management mit individuellen Limits.
Der entscheidende Designpunkt: Fail-Closed. Wenn das Budget-API-Call selbst fehlschlägt, wird der LLM-Call nicht ausgeführt — der User sieht einen „Service derzeit nicht verfügbar“-Hinweis. Besser als eine Kostenexplosion im Hintergrund.
Prompt-Caching messen — nicht raten
Anthropic’s Prompt Caching (Messwerte aus Anthropic-Publikationen 2025) reduziert die Kosten für Cache-Hits um bis zu 90%. In Kombination mit Batch-API sind bis zu 95% Einsparung dokumentiert. OpenAI’s Caching-Pfad für GPT-4o liefert ähnliche Größenordnungen auf Input-Tokens. Das Problem: Ohne Messung weiß niemand, ob die Implementierung funktioniert.
LangFuse erfasst cached_tokens als separates Feld in jedem Generation-Event. Das erlaubt eine einfache Rechnung: Wie viel Prozent der Input-Tokens wurden aus dem Cache bedient, wie viel zum vollen Preis berechnet? Daraus folgt die tatsächliche Ersparnis gegenüber dem Nicht-Caching-Fall.
In einem Kundenprojekt Anfang 2026 haben wir so entdeckt, dass die Caching-Implementierung bei einem RAG-Service für eine Versicherung zwar aktiviert war, aber durch einen Bug im Prompt-Template keinen Cache-Hit produzierte. Nach dem Fix: 87% Cache-Hit-Rate, Monatskosten von 14.000 EUR auf 4.500 EUR. Das war eine einzige Code-Zeile — entdeckt durch das LangFuse-Dashboard.
Das Kostendelta beim Modellwechsel ehrlich ausrechnen
„Wir könnten GPT-4o-mini statt GPT-4o nehmen — ist das realistisch?“ ist eine Frage, die wir regelmäßig hören. Sie lässt sich ohne LangFuse nicht sauber beantworten, weil niemand weiß, bei welchen Anfragen die Qualität reichen würde.
Mit LangFuse wird daraus eine empirische Frage. Sie nehmen eine Woche produktiver Traces, lassen GPT-4o-mini gegen den gleichen Input laufen (als separate Evaluation) und vergleichen Output-Qualität plus Kosten-Delta. LangFuse’s Dataset- und Experiment-Features machen das zu einem geführten Workflow statt einer Skript-Sammlung.
In einem internen KI-Assistenten-Projekt haben wir so 42% der Anfragen auf ein günstigeres Modell migriert (die, bei denen die Qualität gleich blieb) und 58% bei GPT-4o gelassen. Ergebnis: Monatskosten von 9.800 EUR auf 4.100 EUR — bei gleichbleibender User-Satisfaction. Die Analyse dauerte vier Tage, die Einsparung läuft seitdem jeden Monat.
Export nach Azure Cost Management
Der letzte Schritt in einem FinOps-Setup ist die Zusammenführung mit der klassischen Cloud-Rechnung. LangFuse bietet eine Metrics-API, die aggregierte Kosten- und Token-Daten als JSON liefert. Via Azure Logic App oder Azure Function lassen sich diese Daten in Azure Cost Management als Custom Cost Dataset einhängen — oder direkt in PowerBI für das monatliche Finance-Reporting aggregieren.
# Beispiel: Monatsdaten fuer das Finance-Reporting exportieren
from datetime import datetime, timedelta
import requests
api_url = "https://langfuse.meinefirma.de/api/public/metrics"
params = {
"from": (datetime.now() - timedelta(days=30)).isoformat(),
"to": datetime.now().isoformat(),
"groupBy": ["tags.kostenstelle", "model"],
"metrics": ["total_cost", "total_tokens"],
}
response = requests.get(api_url, params=params, auth=(PK, SK))
# Ergebnis ins Power BI Dataset oder Azure Cost Management schieben
for row in response.json()["data"]:
push_to_azure_cost_mgmt({
"cost_center": row["tags.kostenstelle"],
"model": row["model"],
"cost_eur": row["total_cost"],
"period": "monthly",
})Das Setup wandert einmalig in eine geplante Azure Function. Danach läuft der Sync autonom. In unseren Projekten führt das dazu, dass Finance-Berichte zum ersten Mal LLM-Kosten nach Kostenstellen aufschlüsseln — nicht als pauschale Azure-OpenAI-Summe.
Die Rechnung, die wir CFOs vorlegen
In Kundenprojekten dokumentieren wir die Kosten-Hebel klar. Typisches Ergebnis im ersten Quartal nach LangFuse-Einführung:
Kumuliert landet das in einer realistischen Gesamtreduktion von 20-40% — bei gleichbleibender Service-Qualität. Der initiale Aufwand (LangFuse-Setup plus FinOps-Prozess) amortisiert sich bei Monatsrechnungen von 10.000 EUR aufwärts innerhalb eines Quartals.
Was nicht in den FinOps-Plan gehört
Drei Anti-Muster, die wir in Kundenprojekten erlebt haben und aktiv verhindern:
Nutzungsbremse statt Kostenkontrolle. Hartes Token-Limit pro User, unter dem die User-Experience leidet, ist kontraproduktiv. Wenn die Vertriebler den KI-Service nicht mehr nutzen, weil sie ständig ins Budget laufen, sinkt der geschäftliche Nutzen stärker als die Einsparung. Besser: flexible Limits mit klaren Eskalationspfaden.
Modellwechsel ohne Qualitäts-Evaluation. „Wir nehmen jetzt GPT-4o-mini für alles“ ist der schnellste Weg zu schlechter User-Experience. Die Evaluations-Pipeline (Dataset + LLM-as-Judge) in LangFuse ist der Qualitäts-Guardrail vor jedem Modellwechsel.
FinOps-Reports ohne Business-Kontext. Eine Monatsrechnung nach Kostenstellen aufgeschlüsselt ist nur die halbe Miete. Die andere Hälfte ist Business-Wert: Welcher Use Case hat welchen Impact? Wir verknüpfen LangFuse-Kosten-Daten mit CRM- oder ERP-Metriken (z.B. Deflection-Rate im Support, Abschlussquote im Vertrieb) für eine echte ROI-Sicht.
Häufig gestellte Fragen
Wie attributiere ich LLM-Kosten auf einzelne Abteilungen oder Projekte?
Über LangFuse-Tags und Metadata-Felder. Typische Dimensionen: abteilung, kostenstelle, produkt, modell, env. Die Tags propagieren automatisch durch alle Traces einer Session. Die Dashboards aggregieren pro Tag — innerhalb von Sekunden sehen Sie, welche Kostenstelle wie viel Token und EUR verbraucht hat. Das Setup dauert 4-8 Stunden Engineering für die Tag-Taxonomie plus SDK-Änderungen.
Kann ich Budget-Alerts in LangFuse setzen?
Ja, über Custom-Dashboards mit Alert-Regeln. Praktischer ist in unseren Projekten die Kombination LangFuse + Azure Logic Apps: Ein stündlicher Check gegen die LangFuse-Metrics-API, Alert via Teams-Webhook wenn Schwellwerte überschritten werden. Harte Budget-Caps in der Anwendungs-Schicht (Fail-Closed bei Überschreitung) ergänzen das.
Wie messe ich die Einsparungen durch Anthropic Prompt Caching?
LangFuse erfasst das Feld cached_tokens separat pro Generation. Daraus lässt sich der Cache-Hit-Anteil pro Use Case berechnen. Ein Dashboard mit cached_tokens / total_input_tokens über Zeit zeigt, wie gut das Caching greift. In Kombination mit der Preisdatenbank bekommen Sie den tatsächlichen EUR-Einspareffekt — wichtig für den Business Case gegenüber dem CFO.
Wie exportiere ich LangFuse-Metriken nach Azure Cost Management?
Über die LangFuse Metrics API (/api/public/metrics) via Azure Function oder Logic App. Der Export liefert aggregierte Kosten- und Token-Daten als JSON, die Sie als Custom Cost Dataset in Azure Cost Management oder als Power-BI-Datenquelle einbinden. Setup typisch 1-2 Tage Engineering, danach autonomer Sync im Stunden- oder Tagestakt.
Welche Kostenmodelle sind in LangFuse vorkalkuliert?
Die integrierte Preisdatenbank deckt OpenAI (GPT-4o, GPT-4o-mini, GPT-4, o1 und o3), Anthropic (Claude 4 Opus, Sonnet, Haiku), Google (Gemini 2 und 1.5), Mistral, Cohere und Llama-Modelle ab. Azure-OpenAI-spezifische Preise (die oft abweichen von OpenAI Direct) sind konfigurierbar. Für Self-Hosted-Modelle (vLLM, Ollama) setzen Sie Custom Costs pro Millionen Tokens manuell.
Nächster Schritt
Wenn Ihre Azure-OpenAI-Rechnung gerade die 10.000-EUR-pro-Monat-Grenze überschritten hat oder Ihr CFO eine belastbare Kostenstellen-Attribution verlangt, setzen wir LangFuse als FinOps-Layer in 3-5 Tagen auf: Deployment, Tag-Taxonomie, Dashboards, Budget-Alerts, Power-BI-Integration.
Verwandte Themen
→LangFuse vs LangSmith vs Helicone Vergleich
→Was kostet ein KI-Projekt
→PydanticAI FastAPI Production-Ready KI-Services
