LiteLLM Cost Routing: Opus oder lokales Modell 2026

Constantin, Pexon Consulting | 9 Min. Lesezeit | 22.07.2026

TL;DR

LiteLLM Cost Routing schickt jede Anfrage nach Aufgaben-Komplexität an das richtige Modell: einfache Tasks an ein lokales Open-Source-Modell, komplexe an Claude Opus. Das senkt Token-Kosten drastisch, ohne dass die Qualität leidet. Pexon baut diese Routing-Schicht produktiv, souverän und eval-gestützt, als 6-Wochen-Pilot.

Warum ein Komplexitäts-Router die naheliegende Antwort ist

Die meisten KI-Anwendungen schicken jede Anfrage an dasselbe teure Frontier-Modell, egal ob es um eine simple Klassifikation oder um mehrstufiges Reasoning geht. Das ist bequem und teuer. Ein großer Teil der Anfragen in produktiven Systemen ist einfach bis mittel, und für die zahlen Sie Frontier-Preise, obwohl ein kleines lokales Modell die gleiche Arbeit erledigt.

LiteLLM ist das offene Gateway, das diese Trennung sauber macht. Es spricht Anthropic, OpenAI und lokale Modelle über eine einheitliche Schnittstelle an, sodass Ihre Anwendung nichts von der Modellwahl mitbekommt. Der Router entscheidet: einfache Aufgaben an ein lokales Open-Source-Modell über Ollama, komplexe an Claude Opus. Das spart Geld und hält sensible, einfache Anfragen komplett im eigenen Netz. Die Kostenlogik dahinter beschreiben wir im Detail im Beitrag zum LLM Model Routing.

Schritt 1: Die Modelle im LiteLLM-Gateway registrieren

Zuerst definieren Sie beide Enden der Kette in der LiteLLM-Config: das lokale Modell über Ollama und Claude Opus über die Anthropic-Schnittstelle. Getestet mit einer aktuellen LiteLLM-Version, Stand Juli 2026.

# config.yaml: zwei Modelle unter einem gemeinsamen Gateway
model_list:
  # günstig lokal, keine Token-Kosten, im eigenen Netz
  - model_name: lokal-klein
    litellm_params:
      model: ollama/qwen2.5-coder:7b
      api_base: http://ollama.internal:11434

  # Frontier-Modell nur bei harten Aufgaben
  - model_name: frontier-gross
    litellm_params:
      model: anthropic/claude-opus-4-8
      api_key: os.environ/ANTHROPIC_API_KEY

router_settings:
  routing_strategy: simple-shuffle
  num_retries: 2

Damit sind beide Modelle über einen Endpunkt erreichbar. Ihre Anwendung ruft nur noch das Gateway, nicht die einzelnen Anbieter.

Schritt 2: Der Router, der nach Komplexität entscheidet

Der Kern ist eine Funktion, die die Komplexität einer Aufgabe einschätzt und daraus das Modell ableitet. In der einfachsten Form ist das eine Heuristik, in der ausgereiften Variante ein kleiner Klassifikator. Wichtig ist das Prinzip: im Zweifel hochstufen, nie blind das billigste nehmen.

# Komplexitäts-Router: lokal bei einfach, Opus bei komplex
import litellm

def estimate_complexity(prompt: str) -> str:
    # simple Heuristik als Start, danach durch Klassifikator ersetzen
    length = len(prompt)
    hard = any(w in prompt.lower() for w in ["architektur", "refactor", "beweise", "analysiere tief"])
    if hard or length > 2000:
        return "komplex"
    return "einfach"

def route(prompt: str):
    level = estimate_complexity(prompt)
    model = "frontier-gross" if level == "komplex" else "lokal-klein"
    return litellm.completion(
        model=model,                        # Name aus der config.yaml
        messages=[{"role": "user", "content": prompt}],
        api_base="http://litellm.internal:4000",
    )

Ein einziger Parameter macht den Unterschied: die Zeile, die bei Unsicherheit auf „komplex“ hochstuft. Ohne diese Vorsicht sparen Sie an der falschen Stelle und bezahlen es in schlechter Qualität. Der Router ist bewusst simpel gehalten, damit Sie ihn verstehen und anpassen können.

Schritt 3: Das lokale Modell souverän betreiben

Das lokale Ende der Kette braucht einen sauberen Unterbau. Ollama ist gut für den Einstieg, für produktive Last mit mehreren parallelen Anfragen ist vLLM auf eigener GPU die bessere Wahl. Der entscheidende Punkt: Alle Anfragen, die auf das lokale Modell geroutet werden, verlassen Ihr Netz nie. Für regulierte Umgebungen ist das der eigentliche Gewinn, nicht nur die Kostenersparnis. Wie so ein souveräner Betrieb auf eigenen GPUs konkret aussieht, behandeln wir separat (siehe Verwandte Themen).

Ein Gateway wie LiteLLM entkoppelt dabei die Anwendung vollständig vom Anbieter. Tauschen Sie das lokale Modell aus oder wechseln Sie den Frontier-Anbieter, ändert sich nur die Config, nicht Ihr Code. Wie ein solches Gateway als Plattform aufgebaut wird, steht in unserer Übersicht zur LLM-Gateway-Plattform.

Häufig gestellte Fragen

Was ist LiteLLM Cost Routing?

LiteLLM Cost Routing ist eine Zwischenschicht, die jede Anfrage nach Komplexität an das passende Modell schickt: einfache Aufgaben an ein günstiges oder lokales Modell, komplexe an ein Frontier-Modell wie Claude Opus. So zahlen Sie nur dort Frontier-Preise, wo die Aufgabe es wirklich verlangt.

Wie erkennt der Router, ob eine Aufgabe komplex ist?

Am Anfang über eine Heuristik, etwa Prompt-Länge und Schlüsselbegriffe. In der ausgereiften Version übernimmt ein kleiner Klassifikator diese Einschätzung. Wichtig ist die Regel, im Zweifel hochzustufen, damit keine komplexe Aufgabe versehentlich auf dem schwachen Modell landet.

Bleiben meine Daten beim lokalen Modell wirklich im Haus?

Ja. Anfragen, die auf das lokale Modell über Ollama oder vLLM geroutet werden, verlassen Ihr Netz nicht. Nur die als komplex eingestuften Anfragen gehen an das Cloud-Frontier-Modell. Für regulierte Umgebungen lässt sich das Routing so einstellen, dass sensible Daten grundsätzlich lokal bleiben.

Was kostet ein LiteLLM-Routing-Setup?

Das Gateway selbst ist quelloffen. Die Kosten liegen in der lokalen Hardware und der Integration. In der Praxis amortisiert sich das schnell, weil ein großer Teil der Anfragen auf dem lokalen Modell landet und dort keine Token-Kosten erzeugt. Die genaue Rechnung hängt an Ihrer Aufgabenverteilung.

LiteLLM oder direkt die Anbieter-APIs?

Für ein einzelnes Modell reicht die direkte API. Sobald Sie routen, Modelle tauschen oder Failover brauchen, ist ein Gateway wie LiteLLM die bessere Wahl. Es entkoppelt die Anwendung vom Anbieter, sodass ein Modellwechsel nur die Config berührt, nicht den Code.

Nächster Schritt

Sie zahlen für einfache Aufgaben Frontier-Preise und wollen ein Routing, das auch Datenhoheit respektiert? Wir skizzieren in einem kurzen Gespräch, wie Ihr Komplexitäts-Router aussieht und welche Aufgaben bei Ihnen lokal bleiben können.

Verwandte Themen