LLM Model Routing: KI-Kosten senken ohne Qualitätsverlust

Constantin, Pexon Consulting | 9 Min. Lesezeit | 21.07.2026

TL;DR

LLM Model Routing koppelt Modellkosten an Aufgaben-Komplexität: einfache Tasks an günstige Modelle, harte an Frontier. Das senkt KI-Kosten deutlich, funktioniert aber nur mit Evals, die belegen, dass das billigere Modell die Aufgabe wirklich schafft. Pexon baut eval-gestütztes Routing als 6-Wochen-Pilot.

Vorstandsgehalt für Dateneingabe

Sie würden keinem Sachbearbeiter ein Vorstandsgehalt für Dateneingabe zahlen. Genau das tun aber die meisten Unternehmen mit ihren KI-Systemen: Sie routen jede Anfrage, auch die trivialste, an das teuerste Frontier-Modell. Eine simple Klassifikation, eine Formatumwandlung, eine Standard-Zusammenfassung, alles läuft über ein Modell, das für hochkomplexes Reasoning gebaut und bepreist ist.

Das ist das teure Standardmuster. Ein Routing-Layer, der Modellkosten an Aufgaben-Komplexität koppelt, ist die naheliegende Antwort, und der Kostenunterschied zwischen einem günstigen und einem Frontier-Modell ist erheblich. Aber, und das ist der entscheidende Haken, Routing funktioniert nur, wenn Sie wissen, ob das billigere Modell die Aufgabe tatsächlich schafft. Ohne diese Gewissheit sparen Sie an der falschen Stelle.

Wie LLM Model Routing funktioniert

Das Prinzip ist ein Gehaltsband für Modelle. Sie definieren Stufen und ordnen jede Aufgabe der günstigsten Stufe zu, die sie noch zuverlässig erledigt. Ein günstiges Modell wie Claude Haiku 4.5 übernimmt Standardaufgaben, ein mittleres wie Claude Sonnet 5 die anspruchsvolleren, und ein Frontier-Modell wie Claude Opus 4.8 nur das, was echte Reasoning-Tiefe braucht.

Technisch sitzt dafür ein Gateway zwischen Anwendung und Modellen. Eine einfache, regelbasierte Routing-Konfiguration könnte so aussehen:

# Model Routing: Aufgaben-Komplexität auf Modell-Stufe abbilden
ROUTING = {
    "einfach":  "claude-haiku-4-5",   # Klassifikation, Formatierung
    "mittel":   "claude-sonnet-5",    # Standard-Zusammenfassung, RAG
    "komplex":  "claude-opus-4-8",    # mehrstufiges Reasoning
}

def waehle_modell(aufgabe) -> str:
    stufe = aufgabe.komplexitaet          # aus Klassifikator oder Heuristik
    modell = ROUTING[stufe]
    # Eval-Gate: nur runterstufen, wenn die Suite es deckt
    if stufe != "komplex" and not eval_bestanden(modell, aufgabe.typ):
        modell = ROUTING["komplex"]       # im Zweifel hochstufen
    return modell

Der Kern steckt in der vorletzten Zeile. Ohne das Eval-Gate ist Routing ein Ratespiel. Moderne Plattformen wie ein LLM-Gateway nehmen Ihnen die Mechanik ab und routen automatisch, aber die Entscheidung, welche Aufgabe auf welche Stufe darf, bleibt Ihre, und die trifft man nicht nach Bauchgefühl.

Der Haken: Routing ohne Evals ist blindes Sparen

Hier liegt der Fehler, den wir am häufigsten sehen. Unternehmen führen Routing ein, stufen aggressiv auf günstige Modelle herunter und feiern die gesunkene Rechnung. Zwei Wochen später häufen sich die Beschwerden: Der Support-Bot antwortet ungenau, die Extraktion übersieht Felder, die Qualität ist gekippt. Sie haben auf Kosten überoptimiert und mit Qualität bezahlt.

In LLMs gilt: Sie bekommen, wofür Sie zahlen. Die Disziplin besteht nicht darin, überall das Billigste zu nehmen, sondern Tokens genau dort auszugeben, wo die Aufgabe wirklich komplex ist. Und ob eine Aufgabe von einem günstigeren Modell noch zuverlässig erledigt wird, kann nur eine Eval-Suite beantworten. Deshalb ist Routing kein Kosten-Thema, sondern ein Eval-Thema mit Kostenwirkung. Wie diese Messgrundlage aussieht, beschreiben wir im Beitrag zu AI Evals als strategischem KI-IP.

Ein realistisches Kostenbeispiel

Nehmen wir einen Agenten mit einer Million Anfragen pro Monat. Die Erfahrung aus Projekten zeigt: Ein Großteil davon sind einfache oder mittlere Aufgaben, nur ein kleiner Teil braucht echtes Frontier-Reasoning.

Die Botschaft ist nicht „nimm das billigste Modell“, sondern „nimm pro Aufgabe das günstigste, das die Eval besteht“. Das eval-gestützte Szenario spart hier rund drei Viertel der Kosten, ohne dass die Qualität leidet. Das naive Sparen wirkt auf dem Papier besser, kostet aber in Reklamationen, Nacharbeit und Vertrauen mehr, als es spart. Wer die Modelle zusätzlich flexibel halten will, entkoppelt die Anwendung über ein LLM-Gateway vom einzelnen Anbieter.

Häufig gestellte Fragen

Was ist LLM Model Routing?

LLM Model Routing ist eine Zwischenschicht, die jede Anfrage an das passende Modell schickt, statt alles an ein teures Frontier-Modell zu geben. Einfache Aufgaben laufen auf günstigen Modellen, komplexe auf starken. So sinken die Token-Kosten, ohne dass anspruchsvolle Aufgaben leiden.

Wie viel spart Model Routing wirklich?

Das hängt von der Aufgabenverteilung ab. In der Praxis sind viele Anfragen einfach bis mittel, sodass sich oft ein großer Teil der Kosten einsparen lässt, häufig deutlich über die Hälfte, wenn das Routing eval-gestützt und nicht naiv ist. Ohne Evals verpufft die Ersparnis in Qualitätsverlust.

Warum brauche ich für Routing Evals?

Weil nur eine Eval-Suite objektiv belegt, ob ein günstigeres Modell eine bestimmte Aufgabe noch zuverlässig erledigt. Ohne diese Messung ist Herunterstufen Glückssache. Routing ohne Evals ist blindes Sparen, das sich in schlechter Qualität rächt.

Welche Modelle nehme ich für welche Stufe?

Eine typische Staffelung nutzt ein günstiges Modell für Klassifikation und Formatierung, ein mittleres für Zusammenfassungen und RAG, und ein Frontier-Modell nur für mehrstufiges Reasoning. Die konkrete Zuordnung leiten Sie aus Ihren Evals ab, nicht aus dem Datenblatt.

Brauche ich dafür ein LLM-Gateway?

Für ein sauberes Setup ja. Ein Gateway entkoppelt die Anwendung vom einzelnen Anbieter, zentralisiert das Routing und erlaubt Failover. Die Routing-Logik und die Eval-Gates definieren Sie darüber, ohne die Anwendung selbst anzufassen.

Nächster Schritt

Sie zahlen für einfache Aufgaben Frontier-Preise und wollen das ändern, ohne Qualität zu riskieren? Wir analysieren in einem kurzen Gespräch Ihre Aufgabenverteilung und skizzieren, wo eval-gestütztes Routing bei Ihnen am meisten spart.

Verwandte Themen