Self-Hosted Agent Stack: Qwen 3 + LangGraph + Postgres 2026

Pexon Consulting | 11 Min. Lesezeit | 01.06.2026

TL;DR

Ein Self-Hosted Agent Stack mit Qwen 3, LangGraph und Postgres ersetzt OpenAI- und Anthropic-Calls für einen Großteil produktiver Use-Cases — bei monatlichen GPU-Kosten von 900-1.500 EUR statt 4.000-7.000 EUR API-Bills. Qwen3.5 Medium schlägt GPT-5-mini auf dem Berkeley-Function-Calling-Leaderboard. Pexon Consulting baut diese Stacks für Mittelständler mit Sovereignty- oder DSGVO-Anforderungen. Aber: Es gibt klare Grenzen, und wir nennen sie.

Warum 2026 der Moment ist, ernsthaft hinzuschauen

Wir haben 2024 Kunden noch davon abgeraten, Agent-Pipelines auf Open-Source-Modellen zu bauen. Damals war die Lücke zwischen GPT-4 und Llama 3 70B bei strukturierter Tool-Nutzung so groß, dass jeder Sparvorteil durch zusätzliche Engineering-Stunden wieder aufgefressen wurde. 2026 ist die Lage anders, und das ist nicht Marketing — das sind Benchmark-Zahlen.

Qwen3.5 Medium (122B-A10B-Architektur, Mixture-of-Experts) erreicht auf BFCL v4, dem Berkeley Function Calling Leaderboard, einen Score von 72,2. Zum Vergleich: GPT-5-mini liegt bei 55,5. Das ist kein knappes Match — das sind 30% Vorsprung beim einzigen Benchmark, der zuverlässig misst, ob ein Modell Tools korrekt aufruft, Parameter sauber parst und sich in komplexen Tool-Chains nicht verheddert. Quelle: BFCL v4 Snapshot.

Für viele Pexon-Kunden im Mittelstand ist die zweite Zahl entscheidender: Eine produktive Agent-Pipeline, die monatlich 4.000 bis 7.000 EUR an Anthropic oder OpenAI zahlt, kann auf Self-Hosted-Hardware für 900-1.500 EUR betrieben werden. Bei stabiler Auslastung. Wir haben einen LinkedIn-Post im Mai 2026 publiziert, der den Bruttovergleich zeigte („0,38 EUR vs 60 EUR Token-Run“) — die Reaktion hat unsere eigene Erwartung übertroffen, weil das Thema in 82.000 Impressions resonierte. Mittelstand-IT-Leiter wissen, dass ihre KI-Budgets aus dem Ruder laufen.

Die dritte Zahl ist die unbequemste für Anthropic und OpenAI: Sovereignty. Wer als Energieversorger, Versicherer oder Defense-Manufacturer Modelle produktiv nutzt, hat 2026 BSI-Empfehlungen, DORA-Vorgaben und in Teilen den AI-Act gegen sich, sobald sensitive Daten an US-Hyperscaler gehen. Bedrock mit EU-Profil und Vertex in der EU mildern das Risiko, eliminieren es aber nicht. Self-Hosted in der eigenen DMZ tut das.

Hardware: Was kostet ein Self-Hosted-Agent wirklich?

Hier liegt der häufigste Denkfehler — Leute rechnen nur den GPU-Listenpreis und vergessen Strom, Backup, Rechenzentrum und MLOps-Personal. Saubere Rechnung aus drei Setups, die wir 2025/2026 bei Kunden gesehen haben:

Das sind echte Zahlen aus Kundenprojekten, nicht Listenpreise. Was viele unterschätzen: Eine H100 mit 80GB VRAM hostet Qwen3.5 Medium (122B-A10B als MoE — der aktive Anteil ist nur ~10B pro Token) im AWQ-quantisierten 4-Bit-Format mit Reserve für 8k-Context. Für Qwen3.6-35B-A3B reicht eine L40S oder RTX 6000 Ada locker.

Eine pragmatische Faustregel aus unseren Projekten: Wer >2.000 EUR pro Monat an Anthropic/OpenAI zahlt, sollte ein Self-Hosted-Setup rechnen. Wer <500 EUR zahlt, lässt es. Dazwischen ist es eine Engineering-Kapazitäts-Frage — ein Self-Hosted Stack kostet typisch 2-5 Engineering-Tage pro Monat Pflege (vLLM-Updates, Modell-Wechsel, Monitoring, OOM-Debugging).

Und der versteckte Cost-Trap: Single-GPU bedeutet Single-Point-of-Failure. Produktive Setups brauchen mindestens N+1, oft N+2 mit Load-Balancer (Litellm-Proxy, vLLM-Cluster oder OpenAI-kompatibler Gateway). Das verdoppelt die Hardware-Rechnung. Wir bauen das ehrlich in jedes Angebot ein.

vLLM in 15 Minuten: Der praktische Setup

vLLM ist 2026 der De-Facto-Standard für produktives LLM-Serving auf eigener Hardware. PagedAttention, Continuous Batching, OpenAI-kompatible API — alles, was du brauchst.

pip install vllm

vllm serve Qwen/Qwen3.6-35B-A3B 
  --enable-auto-tool-choice 
  --tool-call-parser qwen3_coder 
  --max-model-len 32768 
  --gpu-memory-utilization 0.9 
  --port 8000

Drei Sekunden Erklärung zu den Flags, weil sie produktiv entscheidend sind: --enable-auto-tool-choice aktiviert das Function-Calling, --tool-call-parser qwen3_coder ist für Qwen3.5/3.6 zwingend (Qwen3.0 nutzt hermes). Ohne den korrekten Parser generiert das Modell zwar Tool-Call-JSON, aber vLLM parst es nicht in strukturierte tool_calls-Objekte — der Agent sieht es als plain text.

Dieser Detail-Punkt ist die Falle Nummer eins beim Self-Hosted-Setup. Wir haben Teams gesehen, die zwei Tage darauf verschwendet haben, weil sie dem alten Hermes-Parser vertraut haben und ihre Agents „halluzinierten“ Tool-Calls statt sie auszuführen. Quelle: vLLM Tool Calling Docs.

Production-Setup-Anforderungen, die wir Standard einbauen:

• Reverse Proxy mit TLS (Caddy oder nginx) vor vLLM
• Litellm-Proxy als OpenAI-kompatibler Router falls mehrere Modelle/GPUs
• Prometheus + Grafana für GPU-Auslastung, Token-Throughput, p99-Latenz
• Authentication über API-Keys (vLLM kann das, oder via Litellm-Auth)
• Automatisches Restart auf systemd-Level bei OOM oder vLLM-Crashes

Mit dem Setup steht der OpenAI-kompatible Endpoint auf http://localhost:8000/v1. Du sprichst ihn an wie OpenAI — und genau das nutzen wir im LangGraph-Schritt.

LangGraph mit lokalem Endpoint

Hier liegt die Eleganz: LangGraph kümmert sich nicht, ob hinter dem Endpoint OpenAI, Anthropic oder dein vLLM-Server steht. Du tauschst eine Zeile.

from langchain_openai import ChatOpenAI
from langgraph.prebuilt import create_react_agent
from langgraph.checkpoint.postgres import PostgresSaver
from langchain_core.tools import tool

llm = ChatOpenAI(
    model="Qwen/Qwen3.6-35B-A3B",
    base_url="https://llm.intern.example.com/v1",
    api_key="sk-internal-key",
    temperature=0.0,
)

@tool
def search_erp(query: str) -> str:
    """Sucht im internen ERP nach Auftraegen, Kunden, Artikeln."""
    return search_internal_erp(query)

checkpointer = PostgresSaver.from_conn_string(
    "postgresql://agents:***@pg.intern:5432/agent_state"
)

graph = create_react_agent(
    llm,
    tools=[search_erp],
    checkpointer=checkpointer,
    prompt="Du bist ein interner Assistent. Antworte präzise.",
)

result = graph.invoke(
    {"messages": [{"role": "user", "content": "Welche Aufträge sind diese Woche überfällig?"}]},
    config={"configurable": {"thread_id": "user-42"}},
)

Das ist nicht vereinfacht — das ist real. Der Postgres-Checkpointer persistiert nach jedem Node, du hast Time-Travel, Replay und Resume out-of-the-box. Auf einer eigenen Postgres-Instanz, in deinem VPC, ohne Daten-Abfluss.

Ein Engineering-Detail, das wir Kunden immer mitgeben: Setze temperature=0.0 für Agent-Loops mit Tool-Use. Höhere Temperaturen führen bei Open-Source-Modellen zu mehr Tool-Call-Halluzinationen — das Modell „erfindet“ Parameter-Werte oder ruft Tools auf, die nicht definiert sind. Mit 0.0 nicht ganz weg, aber drastisch reduziert.

Und ein zweiter Punkt aus Schmerzerfahrung: Open-Source-Modelle reagieren empfindlicher auf System-Prompts als Claude oder GPT. „Sei präzise“ ist zu vage. Wir schreiben Tool-Use-Prompts als explizite Anweisung: „Wenn die Antwort einen Datenbankzugriff braucht, RUFE IMMER search_erp auf. Erfinde keine Daten.“ Klingt überheblich, ist aber notwendig — Qwen, Llama und Mistral folgen instructions-following-Patterns aus dem RLHF-Training, das primär auf strukturierten Englisch trainiert ist.

Tool-Use bei Open-Source: Ehrlich getestet

Wir haben für ein Versicherungs-Projekt drei Open-Source-Stacks gegen Claude Sonnet 4.6 auf einem internen Tool-Use-Set gebenchmarkt — 240 realistische Anfragen, 6 Tools, vorgegebene Ground-Truth.

Der Lese-Hinweis: Bei einfachen Single-Tool-Calls ist Qwen3.5 Medium fast auf Claude-Niveau. Bei langen Tool-Chains (3+ Schritte mit voneinander abhängigen Parametern) zieht Claude weg. Die Lücke schrumpft mit jeder Qwen-Generation — Qwen3.7 Max liegt aktuellen Benchmarks zufolge bei 75 BFCL v4 (Claude Sonnet 4.6 bei ~84).

Was wir Kunden konkret raten:

Qwen3.5 Medium reicht für: Standard-Customer-Support-Agents, Document-Intelligence-Pipelines, interne RAG-Assistenten, Code-Review-Agents auf bekannten Stacks, ERP/CRM-Quick-Lookups, FAQ-Bots, Datenanalyse-Sub-Agents.

Qwen reicht NICHT für: Komplexe Multi-Agent-Orchestrierung mit 5+ Handoffs, Computer-Use (Mouse-Click-Steuerung), höchste Code-Generierungs-Qualität bei seltenen Frameworks, Long-Context-Reasoning >100k Tokens, präzise Strukturierte-Output-Garantien bei eng definierten JSON-Schemas mit harten Constraints.

Ein konkretes Beispiel aus einem Banking-Projekt: Wir mussten für Compliance-Reporting strukturierte JSON-Outputs gegen ein 200-Felder-Schema validieren. Claude lieferte 99,1% schema-konforme Outputs, Qwen3.5 Medium 94,3%. Bei 50.000 Reports pro Quartal sind das 2.350 Manual-Reviews mehr — die Engineering-Stunden für Schema-Reparatur frassen den Cost-Vorteil auf. Hier ging Claude live.

Wann es NICHT reicht — und der Hybrid-Pfad

Wir wollen das deutlich sagen: Self-Hosted ist nicht die Antwort auf alles. Drei Szenarien, in denen wir Kunden aktiv von Self-Hosted abraten.

Szenario 1: Bursty Workload, niedrige Average-Auslastung. Wenn dein Agent montags 50.000 Calls und dienstags 200 macht, zahlst du für die ungenutzte GPU-Zeit. Eine H100 idle zu betreiben kostet trotzdem 800-1.200 EUR/Monat. API-Pricing ist dafür gemacht — du zahlst nur, was du nutzt. Ab einer durchschnittlichen GPU-Auslastung unter 30% lohnt sich Self-Hosted nicht.

Szenario 2: Frontier-Qualität ist unverhandelbar. Wenn dein Use-Case Outputs erfordert, die regelmäßig in Top-1%-Fähigkeitsbereich liegen — komplexes legal reasoning, schwierige Code-Architektur, multilingual mit seltenen Sprachen — bist du bei Claude Opus 4.7 oder GPT-5 besser aufgehoben. Die Qualitätslücke ist klein, aber bei kritischen Outputs zählt sie.

Szenario 3: Geschwindigkeit der Modell-Evolution. Frontier-Modelle (Opus 4.7, GPT-5, Gemini 3) verbessern sich monatlich. Eine selbst gehostete Qwen-Version ist eingefroren, bis du explizit umstellst. Wer „immer das beste verfügbare Modell“ braucht, hat mit API-Pricing das ehrlichere Setup.

Der Hybrid-Pfad, den wir in 60% unserer aktuellen Projekte bauen: Self-Hosted Qwen für 80% der Last (günstige Standard-Calls), Claude oder GPT-API für die schwierigen 20% (Eskalations-Pfad über Confidence-Routing). Das senkt Total-Cost typisch um 60-75% gegenüber Pure-API und behält die Qualitätsspitze für die Fälle, wo sie zählt.

Häufig gestellte Fragen

Wie groß sollte ein Qwen-Modell für produktiven Tool-Use sein?

Faustregel aus Benchmarks und unseren Projekten: Unter 30B Parametern wird Tool-Use unzuverlässig. Qwen3.6-35B-A3B (MoE mit 3B aktiven Parametern) ist die kleinste Variante, die wir produktiv empfehlen — passt auf eine L40S, BFCL v4 ~68. Für höhere Genauigkeit Qwen3.5 Medium 122B-A10B auf einer H100 — BFCL v4 72,2, das ist über GPT-5-mini-Niveau.

Reicht eine RTX 4090 für Self-Hosted-Agents?

Für Prototypen und einzelne Dev-Maschinen ja — Qwen3.6-35B-A3B in AWQ-4-Bit läuft mit 24GB VRAM, ~15 Tokens/Sekunde. Für Produktion mit mehreren parallelen Requests reicht das nicht, vor allem nicht bei Context >8k. Produktiv brauchst du L40S, RTX 6000 Ada, A100 oder H100 — alles mit 48GB+ VRAM. RTX 4090 lohnt sich für Test-Umgebungen, nicht für Live-Workloads.

Wie lange dauert ein produktives Setup mit Pexon?

Typischer Pilot 6-8 Wochen: Wochen 1-2 Hardware-Setup oder Cloud-Provisioning, Wochen 3-4 vLLM- und LangGraph-Integration plus erstes Tool-Set, Wochen 5-6 Sperrlager-Pattern und Confidence-Routing, Wochen 7-8 Migration produktiver Workloads und Monitoring-Baseline. Wenn die Hardware schon steht, eher 4 Wochen.

Was passiert bei einem GPU-Ausfall?

In Produktion bauen wir Standard-Failover: Mindestens N+1 GPU-Setup, vLLM-Cluster hinter Litellm-Proxy, automatisches Restart auf systemd-Level, Monitoring auf GPU-Temperatur und HBM-Errors. Sekundäre Fallback-Option: API-Routing auf Claude oder GPT, wenn alle GPU-Nodes hängen. Wir haben in zwei Jahren keinen vollen Ausfall gesehen, aber Einzelnode-Ausfälle ja — sie betreffen den Nutzer nicht, wenn das Setup richtig ist.

Wie ist die Lizenzlage bei Qwen 3 für kommerzielle Nutzung?

Qwen 3 ist unter Apache 2.0 lizenziert — kommerzielle Nutzung erlaubt, einschließlich SaaS-Produkten. Das ist großzügiger als Llama (Custom Llama Community License mit MAU-Schwellen). Wir empfehlen trotzdem, vor Produktiv-Einsatz eine kurze Rechts-Bewertung der spezifischen Lizenz-Version laufen zu lassen — Alibaba hat zwischen Qwen-Generationen die Lizenzbedingungen schon angepasst.

Nächster Schritt

Wenn deine OpenAI- oder Anthropic-Bills über 2.000 EUR pro Monat liegen oder du Sovereignty-Anforderungen hast: Wir machen einen 45-Minuten-Architektur-Call. Du beschreibst Use-Case und aktuellen Stack, wir sagen ehrlich, ob Self-Hosted dich weiterbringt — und wenn ja, mit welcher Hardware und welchem Zeitrahmen.

Verwandte Themen