Robin, Pexon Consulting | 7 Min. Lesezeit | 25.07.2026
TL;DR
Haystack von deepset ist ein quelloffenes Framework, mit dem Teams produktive RAG-Pipelines aus Retriever, Router und Generator selbst zusammenbauen. Wir zeigen, wann sich das gegenüber einer Fertig-Engine lohnt, wo die Enterprise-Schicht fehlt und wie Pexon den Sprung von POC zu Produktion absichert, als 6-Wochen-Pilot.
Warum Framework statt Fertig-App: das eigentliche Problem
Die meisten RAG-Projekte scheitern nicht am ersten Demo, sondern am zweiten Anwendungsfall. Eine Fertig-Engine bringt dich in einem Nachmittag zu einem funktionierenden Chatbot über deine Dokumente. Sobald aber die Fachabteilung Sonderregeln fordert, etwa mandantengetrennte Retrieval-Pfade, ein vorgeschaltetes Klassifizierungsmodell oder eine Zitier-Pflicht mit Quellen-Scoring, stößt du an die Grenzen des Baukastens.
Genau hier setzt ein Framework an. Haystack gibt dir keine fertige App, sondern die Bausteine, um deine eigene zu bauen. Der Preis dafür: Du schreibst Code und trägst die Betriebslast selbst. Der Gewinn: Es gibt kaum eine Anforderung, die du nicht abbilden kannst.
Unsere klare Position: Wer nur einen internen Wissens-Bot für ein überschaubares Team braucht, sollte keine Zeile Framework-Code schreiben. Wer RAG als tragende Infrastruktur über mehrere Fachbereiche plant, kauft sich mit einer reinen Fertig-Engine früh eine Sackgasse ein.
Was ist Haystack und wie die Pipelines funktionieren
Haystack ist ein von deepset entwickeltes, unter Apache 2.0 quelloffenes Orchestrierungs-Framework für LLM- und RAG-Anwendungen in Python. Es ist modellagnostisch, du bindest also OpenAI, ein selbst gehostetes Modell oder einen Cloud-Anbieter über austauschbare Komponenten an. Das Projekt gibt es laut deepset schon seit der NLP- und Question-Answering-Ära vor dem LLM-Hype, die aktuelle 2.x-Linie ist die moderne Neufassung für generative Anwendungen. Nach Angaben des Projekts liegt Haystack auf GitHub bei rund 25.000 Sternen (Stand Mai 2026), was für einen reifen und aktiv gepflegten Kern spricht.
Das zentrale Konzept ist die komponentenbasierte Pipeline. Du verdrahtest einzelne Bausteine, Retriever, Reader, Router und Generator, zu einem gerichteten Graphen. Jeder Baustein hat definierte Ein- und Ausgänge, und du bestimmst den Datenfluss explizit. Kein magischer Automatismus, sondern nachvollziehbare Verkabelung.
# Installation der aktuellen 2.x-Linie
# pip install haystack-ai
from haystack import Pipeline
from haystack.components.retrievers.in_memory import InMemoryBM25Retriever
from haystack.components.builders import PromptBuilder
from haystack.components.generators import OpenAIGenerator
from haystack.document_stores.in_memory import InMemoryDocumentStore
# Dokumentspeicher als Wissensbasis anlegen
store = InMemoryDocumentStore()
# Pipeline aus einzelnen Komponenten zusammenstecken
pipe = Pipeline()
pipe.add_component("retriever", InMemoryBM25Retriever(document_store=store))
pipe.add_component("prompt", PromptBuilder(
template="Beantworte die Frage nur aus dem Kontext:n{{documents}}nFrage: {{frage}}"))
pipe.add_component("llm", OpenAIGenerator(model="gpt-4o-mini"))
# Verdrahtung: Retriever liefert Treffer an den Prompt-Bauer, dieser an das Modell
pipe.connect("retriever.documents", "prompt.documents")
pipe.connect("prompt.prompt", "llm.prompt")
# Ausführung mit einer echten Nutzerfrage
antwort = pipe.run({"retriever": {"query": "Wie läuft die Rückgabe?"},
"prompt": {"frage": "Wie läuft die Rückgabe?"}})
print(antwort["llm"]["replies"][0])Dieses Beispiel ist bewusst schlank. In Produktion tauschst du den In-Memory-Speicher gegen eine echte Vektor-Datenbank, ergänzt einen Router für unterschiedliche Fragetypen und hängst eine Bewertungsstufe an. Das ist der Kern des Framework-Gedankens: Der Skelett-Code bleibt, du verdichtest ihn schrittweise. Wie so eine tragfähige Architektur im Unternehmenskontext aussieht, haben wir im Detail zum Aufbau eines Enterprise-RAG-Systems beschrieben.
Framework oder Fertig-Engine: der ehrliche Vergleich
Der übliche Gegenspieler zum Framework ist die fertige RAG-Engine, die du als Anwendung deployst und über eine Oberfläche befüllst. Ein bekannter Vertreter ist RAGFlow, den wir in unserer Einordnung der RAGFlow-Engine gesondert betrachtet haben. Die Faustregel lautet: Fertig-Engine, wenn dein Anwendungsfall im Standard liegt und Geschwindigkeit zählt. Framework, wenn du Sonderlogik, tiefe Integration oder volle Kontrolle über das Retrieval brauchst.
Der teurere Weg ist fast immer der, der spät gewechselt wird. Wir sehen regelmäßig Teams, die mit einer Engine starten, sechs Monate lang gegen deren Grenzen kämpfen und dann doch auf ein Framework migrieren. Diese Migration kostet mehr als eine saubere Entscheidung am Anfang. Wir raten deshalb, die Frage nicht nach dem ersten POC zu stellen, sondern vor der ersten Zeile Code: Ist das ein Experiment oder eine Plattform?
Die Enterprise-Schicht, die Haystack nicht mitliefert
Haystack ist ein hervorragender Kern, aber es ist eben nur der Kern. Ein Framework löst die Orchestrierung, nicht den Betrieb. Was in jedem ernsthaften Projekt zusätzlich entsteht und was kein Import-Statement dir abnimmt:
- Datenzugriff und Recht: Wer darf welche Dokumente sehen? Retrieval muss die Berechtigungen deines Quellsystems respektieren, sonst leakt der Bot Inhalte über Zugriffsgrenzen hinweg.
- Qualitätssicherung: Ohne systematische Evaluation weißt du nicht, ob eine Änderung die Antworten besser oder schlechter macht. Das ist ein eigenes Handwerk mit eigenen Metriken und Test-Datensätzen, kein Nebenprodukt der Pipeline.
- Betrieb und Kosten: Vektor-Datenbank, Embedding-Kosten, Latenz-Budgets und Fehler-Alarmierung wollen betrieben werden, nicht nur gebaut.
Unsere klare Position: Das Framework ist die kleinere Hälfte der Arbeit. Wer Haystack einführt und die Enterprise-Schicht als Nebensache behandelt, produziert einen beeindruckenden Prototyp und ein fragiles Produktivsystem. Die eigentliche Ingenieursleistung steckt in genau der Schicht, die keine Bibliothek mitliefert.
Wann Haystack die richtige Wahl ist
Kurz gefasst: Haystack passt, wenn dein Team Python beherrscht, das RAG-System langlebig und anpassbar sein soll und du die volle Kontrolle über Retrieval und Datenfluss brauchst. Es passt nicht, wenn du in Tagen ein abgeschlossenes Ergebnis ohne eigenes Entwicklungsteam willst. In dem Fall ist eine Fertig-Engine ehrlicher, und niemand sollte sich für die pragmatische Wahl schämen. Die Entscheidung ist keine Frage der Ideologie, sondern der Lebensdauer und der Anpassungstiefe deines Anwendungsfalls.
Häufig gestellte Fragen
Ist Haystack kostenlos nutzbar?
Ja, Haystack ist unter der Apache-2.0-Lizenz quelloffen und kann ohne Lizenzkosten eingesetzt werden, auch kommerziell. Kosten entstehen indirekt über Infrastruktur, Modell-Aufrufe und die Entwicklungszeit, die der Aufbau und Betrieb der Pipeline bindet.
Was kostet ein produktives Haystack-System im Betrieb?
Der Framework-Code ist kostenlos, der Betrieb nicht. Realistisch fallen Kosten für eine Vektor-Datenbank, Embedding- und LLM-Aufrufe sowie Hosting und Monitoring an. Bei überschaubaren internen Anwendungen bewegt sich das im niedrigen vierstelligen Bereich pro Monat, skaliert aber mit Nutzerzahl und Dokumentmenge.
Wie unterscheidet sich Haystack von einer Fertig-Engine wie RAGFlow?
Haystack ist ein Framework zum Selberbauen, eine Fertig-Engine ist eine deploybare Anwendung. Mit Haystack schreibst du Code und bekommst volle Kontrolle, mit einer Engine klickst du eine Standard-Pipeline zusammen und bist schneller live. Framework gewinnt bei Sonderlogik, Engine bei Standardfällen.
Können wir Haystack mit einem selbst gehosteten LLM betreiben?
Ja, Haystack ist modellagnostisch und bindet neben Cloud-Anbietern auch selbst gehostete Modelle über austauschbare Generator-Komponenten an. Das ist der übliche Weg, wenn Datensouveränität oder DSGVO-Anforderungen eine externe API ausschließen.
Wie lange dauert der Weg von Haystack-POC zu Produktion?
Ein POC steht oft in wenigen Tagen. Der belastbare Produktivbetrieb mit Berechtigungen, Evaluation, Skalierung und Betriebskonzept braucht deutlich länger. In unseren Projekten planen wir dafür typischerweise einen strukturierten 6-Wochen-Pilot, der genau diese Lücke schließt.
Nächster Schritt
Wenn du unsicher bist, ob Haystack, eine Fertig-Engine oder ein hybrider Aufbau zu eurem Anwendungsfall passt, klären wir das in einem kurzen technischen Gespräch statt in einem monatelangen Selbstversuch.
Verwandte Themen
→Agentic RAG vs. Standard RAG im Vergleich
→AI-Evals im Unternehmen richtig aufsetzen
Externe Referenz: deepset-ai/haystack auf GitHub
