Pexon Managed LangChain: Runtime-Fundament für 71 Agenten

Pexon Consulting | 11 Min. Lesezeit | 11.06.2026

TL;DR

Managed LangChain Stack ist das Runtime- und Orchestrierungs-Fundament, auf dem das Pexon-Agent-Mesh skaliert: LangGraph als Stateful-Engine, LangServe als API-Deployment-Layer, LangSmith für Tracing und Evaluation, plus Tools-Anbindung an SAP, ERP, CAD und DMS, Memory- und RAG-Schicht, sowie LLM-Gateway für Modell-Routing. Pexon Consulting betreibt diesen Stack für Kunden mit 15+ produktiven Agenten — wir übernehmen Engineering-Operations, Versionierung und Pattern-Pflege.

Warum LangChain als Managed Service

Wir hören das aktuell in fast jedem CTO-Erstgespräch mit Mittelständlern: „Wir haben LangGraph evaluiert, das Konzept gefällt uns — aber das produktive Setup mit LangServe-Deployment, LangSmith-Integration, Tool-Anbindung an unsere Systeme, das wollen wir nicht selbst aufbauen.“ Berechtigte Sorge. Der Aufbau eines produktiven LangChain-Stacks ist nicht trivial — typisch 4-6 Monate Engineering plus laufender Operations-Aufwand.

Die saubere Antwort heißt Pexon Managed LangChain: Wir bauen den vollständigen Stack auf eurer Cloud-Umgebung, betreiben ihn als Service, pflegen die Standard-Pattern und liefern Updates. Eure Engineering-Teams entwickeln Agenten und Tool-Integrationen, ohne sich mit Plattform-Operations zu beschäftigen.

Das Pexon-Pattern hat sich aus 30+ Multi-Agent-Projekten geschärft. Der Mittelständler mit aktuell 71 produktiven Agenten ist der Showcase — auf diesem Setup laufen Use-Cases von Customer-Support über Document Intelligence bis zu Engineering-Assistenten quer durch alle Fachbereiche. Das Mesh-Verbindungs-Pattern haben wir im Agent-Mesh-Blog beschrieben — der Managed LangChain Stack ist das Runtime-Fundament darunter.

Die sechs Stack-Komponenten

Komponente 1: LangGraph als Stateful-Engine. Das Herz jedes Agents. Stateful Multi-Step-Orchestrierung mit Postgres-Checkpointer, Agent-Loops mit Hard-Stop-Cap, Human-in-the-Loop-Pattern für kritische Aktionen, Conditional Edges und Supervisor-Routing für Multi-Agent-Setups. Wir nutzen LangGraph 1.2+ produktiv, mit Pexon-spezifischen Patterns für Error-Handling und Loop-Detection.

Komponente 2: LangServe als Deployment-Layer. Jeder Agent wird als FastAPI-Service deployed, mit Standard-REST- und Streaming-Endpoints. Health-Checks, Liveness/Readiness, Metric-Endpoints für Prometheus, OpenTelemetry-Integration. Deployment-Manifeste pro Agent in unserem GitOps-Workflow. Mehr zur OTel-Integration im OpenTelemetry-Blog.

Komponente 3: LangSmith für Tracing und Evaluation. Cloud-Variante in EU-Region oder self-hosted für strenger regulierte Kunden. Tracing für jeden Agent-Run, Evaluation gegen Golden Datasets, Cost-Tracking pro User und Team. Bei höchsten DSGVO-Anforderungen ersetzen wir LangSmith durch MLflow Tracing (mehr im MLflow-Blog).

Komponente 4: Tools und Integrations. Vorgefertigte Tool-Adapter für die wichtigsten Backend-Systeme. SAP via BAPI und OData. ERP-Standardpakete (proAlpha, Sage, Microsoft Dynamics). CAD-Systeme (Teamcenter, Windchill, Aras) für PLM-Datenzugriff. DMS-Integrationen (M-Files, SharePoint, OpenText). E-Mail-Anbindung (IMAP, Exchange Web Services). Generische REST-Tool-Schicht für Custom-Apps. Alles als wiederverwendbarer Skill-Katalog im Mesh registrierbar.

Komponente 5: Memory und RAG. Vector-Store-Layer mit Postgres-pgvector für moderate Volumen, Qdrant für hochlast Setups. RAG-Pipeline mit Hybrid-Retrieval (Dense + BM25 + Reranker) und Quellen-Cite-Pattern. Wissensbasis pro Domäne, sodass nicht alle Agenten den gleichen Indexgleichzeitig durchsuchen. Mehr im RAG-richtig-bauen-Blog.

Komponente 6: LLM-Gateway. Zentrale Routing-Schicht zu den Modellen. LiteLLM-basiert mit Anbindung an Bedrock mit EU-Profil (Claude), Azure OpenAI Sweden (GPT), eigene vLLM-Cluster (Qwen, Llama on-prem). Guardrails-Schicht für Output-Validation, RBAC für Modell-Zugriff pro User und Team, Cost-Caps pro User und pro Cost-Center. Mehr im LiteLLM-Router-Blog.

Was Pexon im Managed Service übernimmt

Konkret deckt der Managed Service folgende Bereiche ab.

Plattform-Operations. Wir betreiben den Stack auf eurer Cloud-Umgebung. Updates, Patches, Monitoring, Incident-Response. 99,9% Verfügbarkeit garantiert für die Stack-Komponenten. 24/7-Bereitschaft für kritische Vorfälle.

Pattern-Pflege. Best-Practices entwickeln sich. Wenn LangGraph eine neue Version mit besseren Patterns rauskommt, integrieren wir das, testen gegen unsere Standard-Use-Cases, deployen kontrolliert in Customer-Cluster.

Tool-Adapter-Updates. SAP-Schnittstellen ändern sich, ERP-Versionen aktualisieren. Wir pflegen die Adapter über Zeit, damit eure Agenten weiter funktionieren.

Compliance-Updates. Bei neuen Regulator-Anforderungen (AI-Act-Phasen, DSGVO-Anpassungen) updaten wir die Plattform-Komponenten. Mehr zum AI-Governance-Pattern im AI-Landing-Zone-Blog.

Eskalation und Architektur-Support. Wenn euer Engineering-Team auf komplexe Architektur-Fragen stößt, holen wir uns Senior-Engineers ins Boot. Beratung als Teil des Service.

Eure Verantwortung bleibt: Geschäfts-Logik der Agenten, Tool-Definitionen, Prompts, Use-Case-Auswahl. Plattform-Betrieb übernimmt Pexon.

Wann sich Managed LangChain rechnet

Pragmatische Faustregel: Ab 5-8 produktiven LangGraph-Agenten lohnt sich Managed LangChain strukturell. Vorher ist der Selbst-Betrieb tragbar — eine vollzeitliche Senior-Engineer-Stelle reicht. Ab 5-8 Agenten wird der Operations-Aufwand zur eigenen Kapazitäts-Frage.

Investment-Niveau für Setup plus 12 Monate Operations bei einem typischen 25-Agenten-Setup: 285-380k EUR. Verteilt sind das circa 60-70k EUR initial Setup plus 18-26k EUR pro Monat Operations. Im Vergleich zu zwei vollzeitlichen Senior-Engineering-Stellen plus zugehöriger Plattform-Operations ist das in der Regel günstiger und stabiler.

Häufig gestellte Fragen

Was passiert mit LangSmith-Verträgen, die wir schon haben?

Wir integrieren bestehende LangSmith-Tenants in den Stack — eure Verträge bleiben, wir nutzen sie als Tracing-Backend. Bei Setups, die eine zentrale Lizenz brauchen, organisieren wir das alternativ als Enterprise-Vertrag.

Wie schnell könnt ihr starten?

Setup-Phase typisch 6-10 Wochen ab Vertragsabschluss. Erste produktive Agenten in Wochen 8-12. Vollausbau auf 10-15 Agenten in 6-9 Monaten. Bei dem 71-Agenten-Setup haben wir die Skalierung über 18 Monate kontrolliert aufgebaut.

Können wir später vom Managed Service auf Selbst-Betrieb wechseln?

Ja, klare Exit-Klausel. Wir liefern den vollständigen Stack als Infrastructure-as-Code, übergeben Operations-Runbooks, schulen euer Team. Realistisch braucht ihr 2-3 Senior-Engineers für den Selbst-Betrieb des Stacks bei produktivem Volumen. Wir bieten den Service genau für den Zeitraum, in dem ihr diese Kapazität nicht eigenständig aufbauen wollt.

Funktioniert das auch in einer Defence-Grade-Umgebung?

Ja. Der Managed LangChain Stack läuft auch auf der Defence-Grade-Bare-Metal-Plattform, mit angepasster Konfiguration für Air-Gap-Betrieb. Operations-Modell ist analog.

Wie unterscheidet sich das von einem klassischen Software-Lizenz-Modell?

Klassisches Modell: Du kaufst Software-Lizenzen, betreibst sie selbst, machst Updates selbst. Managed Modell: Du bezahlst eine monatliche Service-Gebühr, wir betreiben für dich, übernehmen Operations und Pflege. Strukturell vergleichbar mit dem Modell von Snowflake oder Databricks bei Daten-Plattformen — Plattform-Operations werden vom Anbieter übernommen, Geschäftslogik vom Kunden.

Nächster Schritt

Wenn dein Engineering-Team gerade LangGraph evaluiert und über Selbst-Betrieb vs Managed Service abwägt: Wir machen einen 60-Minuten-Architektur-Call mit dir und idealerweise einem Senior-Engineer. Du beschreibst die geplanten Use-Cases und Engineering-Kapazitäten, wir skizzieren den Managed-Service mit Festpreis-Setup und Operations-Vertrag.

Verwandte Themen