LangGraph oder Pydantic AI: Multi-Agent im Betrieb 2026

Robin, Consultant bei Pexon Consulting | 10 Min. Lesezeit | 09.09.2026

TL;DR: LangGraph auf der offenen Plattform

LangGraph steuert Multi-Agent-Systeme als Graph: Routing, Delegation, Zustand. Pydantic AI ist vergleichbar, typisiert in Python. Pexon Consulting (80 MA, Deutschland) hängt beides an LiteLLM, Kubernetes und Open WebUI. Modelle bleiben OpenAI-kompatibel hinter dem Gateway, ohne Lock-in auf OpenAI.com. Betrieb ist 8×5, nicht 24/7. Pexon liefert Umsetzung, Doku und Übergang.

Das Problem: der Stack steht in der Stellenanzeige, nicht im Betrieb

Einkauf sucht einen AI Engineer oder AI Agent Specialist. Im Anforderungsprofil stehen LangGraph oder Pydantic AI, Python, Kubernetes, Prompt Engineering, Git. Das ist die richtige Fachliste. Der falsche nächste Schritt ist: wir stellen genau diese eine Person ein und haben dann eine Plattform.

Wir sehen den Schnitt jede Woche. Ein Team hat einen Graphen, der lokal delegiert. OpenAI hängt am persönlichen Key. Der Cluster ist eine Demo-Node. Doku ist ein Confluence-Export. Support heißt: der Autor ist im Urlaub.

Das ist kein Multi-Agent-System im Mittelstand. Das ist ein POC mit Jobtitel.

Unsere Position: Sie brauchen keinen zweiten Vendor-Lock-in und keine Karriereseite. Sie brauchen einen Dienstleister, der LangGraph oder Pydantic AI als vergleichbares Framework auf die offene Plattform setzt und in den Betrieb übergibt.

Was LangGraph auf der Plattform tatsächlich trägt

LangGraph ist ein Graph aus Knoten und Kanten. Jeder Knoten ist ein Schritt. Kanten sind Routing. Zustand liegt explizit, nicht im Prompt-Nebel. Delegation und Kommunikation zwischen Agenten sind damit lesbar, testbar, versionierbar.

langchain-ai/langgraph steht am 09.09.2026 bei 41.327 GitHub-Stars. Die PyPI-Linie ist langgraph 1.2.10. Das ersetzt keinen Betrieb. Stars zeigen Community, nicht Ihren Incident-Pfad.

Pexon setzt LangGraph nicht als Cloud-Produkt von LangChain Inc. um, das Sie mieten. Wir setzen den Graphen hinter Open WebUI und LiteLLM. Der Chat bleibt die Fläche für Menschen. Der Graph läuft als Dienst, mit Stop, Rechten und Protokoll.

# Agent ruft nur das Gateway, nie api.openai.com direkt
from openai import OpenAI

client = OpenAI(
    base_url="https://llm-gateway.intern.example/v1",
    api_key="sk-litellm-intern",
)
# Modellname kommt aus LiteLLM, z. B. claude-sonnet-4-6
resp = client.chat.completions.create(
    model="claude-sonnet-4-6",
    messages=[{"role": "user", "content": "Route den Beleg an Buchhaltung."}],
)

Wer den Graphen gegen api.openai.com spricht, hat kein Ökosystem. Er hat eine Rechnung und einen Key, den niemand rotiert.

Pydantic AI oder vergleichbar, zum Beispiel LangGraph

Pydantic AI v2.42.0 ist am 08.09.2026 erschienen. pydantic/pydantic-ai steht am 09.09.2026 bei 19.830 Stars. V2.0 war am 23.06.2026 stabil. Typisierte Agenten, Validierung, Python. Das ist ein ernstes Framework, kein Spielzeug.

Wir behaupten nicht, dass Pexon ausschließlich das Produkt Pydantic AI ausliefert. In Projekten ist das Framework austauschbar, solange Routing, Delegation und Zustand gleich scharf sind. Pydantic AI oder vergleichbar, zum Beispiel LangGraph. Wer nur eines der beiden in der Ausschreibung nennt, bekommt trotzdem eine offene Plattform, kein Framework-Abo.

Wir raten davon ab, LangChain-Ketten und einen Graphen und ein drittes SDK parallel live zu schalten. Ein Orchestrierungsstil, ein Gateway, ein Repo. Alles andere ist drei Wahrheiten und ein Postmortem.

Prompt Engineering bleibt Teil der Lieferung. Prompts liegen im Git des Unternehmens, nicht in einer Chat-UI. Skills und Filterregeln sind Code, kein Seat.

LiteLLM, Kubernetes, Betrieb 8×5

Die kurze Antwort: der Graph ist wertlos ohne Tor, Cluster und Dienstzeit.

LiteLLM ist das Gateway. Eine OpenAI-kompatible API für OpenAI, Anthropic, Azure, Bedrock, Gemini, Ollama, vLLM. Der Agent kennt einen Base-URL. Budget, Region, Fallback sitzen im Gateway. So bleibt das LLM-Ökosystem steuerbar, wenn Sie das Modell wechseln.

Kubernetes trägt Container, nicht die Demo auf dem Laptop. Open WebUI, LiteLLM, der Agent-Dienst. GPU-Nodes nur dort, wo Inferenz lokal Pflicht ist. Die Infrastruktur-Seite bleibt KI-Workloads auf Kubernetes. Die Anwendungsschicht bleibt die Offene KI-Plattform.

Betrieb ist 8×5, Mo-Fr, MEZ. Nicht 24/7. Wer Rund-um-die-Uhr-Claims braucht, kauft ein anderes Betriebsmodell. Wir schreiben 8×5, weil wir das halten.

1. Graph und Prompts im Kunden-Git
2. Modelle nur über LiteLLM
3. Container im Cluster, kein Compose auf dem Laptop
4. Doku und Übergang in den Betrieb
5. Support in der vereinbarten Dienstzeit

Das ist die Liste, die in der Stellenanzeige als Must stand. Pexon liefert sie als Umsetzung, nicht als Lebenslauf.

Was wir nicht behaupten

Kein Pharma-Siegel, nur weil jemand „reguliert“ in die Ausschreibung schreibt. Reguliertes Umfeld heißt bei uns Gateway, Klassen, Logging, wo die Plattform-Compliance das schon trägt. DORA nur dort, wo der Schnitt wahr ist. Keine erfundenen Nutzerzahlen, keine Agenten-Masse als Marketing.

Kein Claim, wir hätten LangGraph Cloud gebucht und Sie seien fertig. Self-Host, Ihr Repo, unser Betrieb daneben.

Kein Ersatz für die KI-Agenten-Plattform. Dieser Text ist der MOFU-Schnitt: Framework plus Plattform. Die Money-Page für den eigenen Harness bleibt die Harness-Entwicklung.

Häufig gestellte Fragen

Was kostet LangGraph auf der offenen Plattform mit Pexon?

Es gibt keinen Listenpreis für „ein Graph plus Cluster“. Scope entscheidet: ein Prozess, ein Gateway, ein Übergang. Einstieg ist der Plattform-Check, 45 Minuten. Paketpreise erfinden wir hier nicht.

LangGraph oder Pydantic AI, was soll ich vorschreiben?

Wenn die Ausschreibung eines nennt, nehmen wir das oder das Vergleichbare. Entscheidend ist Routing, Delegation, Python, Git, Betrieb. Nicht das Logo auf der Folie. Wir raten zu einem Framework, nicht zu drei.

Reicht ein AI Engineer statt eines Dienstleisters?

Eine Person kann den Graphen schreiben. Sie trägt selten Gateway, Kubernetes, Doku und 8×5 allein. Make-or-buy heißt hier: intern den Fachprozess, extern die Plattform. Oder beides intern, dann brauchen Sie das Team, nicht die eine Stelle.

Sind die Modelle an OpenAI gebunden?

Nein. OpenAI-kompatibel heißt: die API-Form. Hinter LiteLLM liegt Claude, Azure, Bedrock oder ein lokales Modell. Der Lock-in auf OpenAI.com ist genau das, was das Gateway verhindert.

Wie hängt das an eigenen Assistenten?

Ein Assistent ist gesteuerter Chat mit Wissen. Ein Multi-Agent-System delegiert, routet, läuft ohne Fenster. Assistenten bleiben auf der Seite für eigene Assistenten. Der Graph gehört in den Harness.

Nächster Schritt

Wenn der Graph lokal läuft und der Sprung in den Betrieb fehlt, ist der nächste Schritt kein zweites Tutorial. Es ist der Schnitt auf der Harness-Seite, Einstieg über den Plattform-Check.

Verwandte Themen