RAG-Chatbots für Genossenschaftsbanken: mandantenfähig, production-ready auf OpenShift

Pexon stellte das System von starrer Markdown-Partitionierung auf semantisches Chunking um. Dokumente werden anhand inhaltlicher und kontextueller Zusammenhänge geschnitten: Die Pipeline misst semantische Distanz zwischen Sätzen und trennt erst, wenn sich das Thema nachweisbar ändert. Trade-off bewusst gewählt: Markdown-Chunking ist einfacher und schneller zu implementieren, liefert aber systematisch kaputte Kontexte. Semantisches Chunking kostet mehr Vorverarbeitung und Tuning der Distanzschwellen, gibt dem LLM aber vollständige Sinnabschnitte. Für Banken-Wissensbasen mit Richtlinien, Produkttexten und Prozessbeschreibungen ist das entscheidend, weil ein abgeschnittener Absatz oft genau die Ausnahme oder die Pflichtbedingung enthält. Ergebnis: präzisere Retrieval-Treffer, weniger Halluzinationen und eine messbar höhere fachliche Korrektheit der Bot-Antworten, ohne dass Mandanten-Metadaten oder Berechtigungsfilter angefasst werden müssen.

Die PostgreSQL-Datenbanken mit pgvector-Erweiterung wurden grundlegend für parallele Mandanten-Abfragen optimiert. Passende Indexierungsstrategien, insbesondere HNSW, und abgestimmte Vektorsuchen halten die Abfrage-Latenz auch unter Last stabil. Trade-off: HNSW braucht mehr Speicher und sorgfältiges Parameter-Tuning (ef_construction, m) gegenüber einfacheren IVFFLAT-Setups, liefert aber bei hoher Concurrent-Query-Last die nötige Vorhersagbarkeit für den Bankenbetrieb. Zusätzlich wurden Query-Pfade so geschnitten, dass Filter auf Mandanten-Metadaten möglichst früh greifen und der Approximate-Nearest-Neighbor-Suchraum klein bleibt. Mandantentrennung läuft über metadata-basierte Filter im SQL-Inferenz-Schritt plus vorgeschaltete Berechtigungsprüfung auf Applikationsebene, sodass Vektorsuchen isoliert im Scope des jeweiligen Mandanten bleiben. Das ist die technische Antwort auf Daten-Souveränität bei 800+ parallelen Wissensbasen.

Die containerisierte Chatbot-Infrastruktur wurde gezielt für Red Hat OpenShift optimiert: Pod-Sizing, Autoscaling-Policies und feingranulares Ressourcen-Management für Lastspitzen der Zielarchitektur mit über 800 Mandanten. Warum OpenShift statt reiner Public-Cloud-Managed-Kubernetes oder weiterer Azure-Managed-Dienste? Im KRITIS- und BaFin-Kontext zählen kontrollierbare Isolations-, Netzwerk- und Security-Features sowie die schrittweise Entkopplung von Azure-SaaS-Abhängigkeiten. OpenShift liefert Enterprise-Kubernetes mit den Betriebshebeln, die Audit, Resilienz und nachvollziehbare Ressourcengrenzen verlangen. Pexon justiert Requests/Limits und Autoscaling so, dass Retrieval-, Embedding- und Serving-Workloads nicht gegenseitig in die Quere kommen. Die Massenskalierung steht Stand Mai 2026 in finaler Validierung, parallel zum produktiven Betrieb der Core-Chatbots.

Pexon führte strikte Coding Principles und standardisierte CI/CD-Pipelines für die Python-Codebasis ein. Chat-Inhalte lassen sich über REST-APIs und das Model Context Protocol (MCP) exportieren, damit Drittsysteme strukturiert anbinden, ohne proprietäre Einmal-Integrationen. Das Team arbeitet agil in 8 bis 10 Personen (Product Owner, Tech Lead, Devs), intern/extern etwa 50/50. Pexon übernimmt nicht nur Feature-Delivery, sondern mentort interne Entwicklerinnen und Entwickler, damit Wissen und Betriebsfähigkeit im Haus bleiben. Standardisierung verkürzt die Time-to-Market für Bugfixes spürbar und macht Releases audit-freundlicher: gleiche Linting-Regeln, nachvollziehbare Pipelines, klarere Ownership an den Schnittstellen. Für Platform-Verantwortliche bedeutet das weniger Firefighting und eine belastbarere Grundlage für den Go-to-Market weiterer RAG-Bots auf derselben Plattform.