Pexon Consulting | 10 Min. Lesezeit | 27.05.2026
TL;DR
ColQwen2 Vespa verbindet den Vision-Retriever ColQwen2 mit Vespa: PDF-Seiten werden als Bilder eingebettet und per MaxSim durchsucht — ohne OCR-Pipeline. Pexon Consulting (80 MA, Deutschland, Microsoft Partner) nutzt das für Archive mit Tabellen und Diagrammen. In Piloten steigen Trefferqualität und Nachvollziehbarkeit gegenüber reinem Text-RAG deutlich.
Wenn die Antwort auf Seite 47 in einem Balkendiagramm steht
„Wie hoch war der Wasserverbrauch im letzten Quartal?“ — die Frage klingt simpel. In einem Nachhaltigkeits-PDF mit 200 Seiten steht die Zahl aber nicht als sauberer Fließtext, sondern in einer Quartalstabelle neben einem Verlaufschart. Klassische Pipelines extrahieren Text, linearisieren Tabellen, schneiden 512-Token-Chunks — und der Retriever liefert einen Absatz über Corporate Governance statt die Kennzahl.
Das kennen Sie vermutlich aus Compliance- oder Qualitäts-Archiven: Die Demo funktioniert auf drei Handbüchern, bricht aber bei Jahresberichten, Lieferanten-Audits oder technischen PDFs mit Warnsymbolen und Schemata. Laut Branchenanalysen sind bis zu 80 Prozent der Unternehmensdaten unstrukturiert; Wissensarbeitende verbringen schätzungsweise 20 bis 30 Prozent ihrer Zeit mit Suchen statt mit Entscheidungen. Genau hier setzt ColQwen2 Vespa an: Retrieval im Bildraum statt nach kaputtem OCR-Text.
Was ColQwen2 anders macht als „noch ein Embedding“
ColQwen2 baut auf Qwen2-VL auf und gehört zur ColVision-Familie um ColPali (Faysse et al., 2024). Die Idee: Jede PDF-Seite wird gerendert — ein Screenshot pro Seite — und das Vision-Language-Modell erzeugt Multi-Vektor-Embeddings (ColBERT-Stil), nicht einen einzigen Vektor pro Seite.
Warum das für Tabellen zählt: Das Modell sieht Spalten, Überschriften und Diagramme im 2D-Layout. Es muss die Tabelle nicht erst in „Zeile1 | Zeile2 | …“ verwandeln. Auf dem ViDoRe-Benchmark liegt ColQwen2 laut offizieller Vespa-Dokumentation etwa **5 Punkte nDCG@5** über dem Vorgänger ColPali — bei weniger Patches pro Seite (768 statt 1024), was Speicher und Rechenzeit drückt.
Unsere klare Empfehlung: ColQwen2 Vespa ist kein Ersatz für jedes Archiv. Born-digitaler Fließtext in Confluence oder Word läuft mit Markdown-Ingestion und Hybrid-Suche oft günstiger. Wo Layout, Charts und gescannte Misch-PDFs dominieren, ist der Vision-Pfad der sinnvollere Hebel — nicht ein größeres GPT.
Warum Vespa — und nicht „irgendeine“ Vektordatenbank
Standard-Vektordatenbanken erwarten einen Embedding-Vektor pro Dokument. ColQwen2 liefert dutzende bis hunderte Token-Vektoren pro Seite und braucht Late Interaction mit MaxSim beim Scoring. Vespa unterstützt das nativ über Tensor-Ranking und mehrstufige Pipelines.
In Produktion nutzen wir typischerweise ein Zwei-Phasen-Muster (wie im offiziellen ColQwen2-Vespa-Notebook):
- Annäherung: binär quantisierte Embeddings, Hamming-Distanz über
nearestNeighbor— schnell über große Bestände. - Re-Ranking: volle Float-Embeddings, exaktes MaxSim auf den Top-K Kandidaten.
Zusätzlich indexieren wir extrahierten Seitentext (pypdf) für BM25 — als Filter oder Vorstufe, nicht als alleinige Wahrheit. So finden Sie „ISO 27001“ auch dann, wenn die Formulierung in der Frage abweicht, und visuelle Treffer landen trotzdem oben.
Für Azure-Kunden deployen wir Vespa auf AKS in der EU-Region; Antwortgenerierung läuft über Azure OpenAI oder ein freigegebenes Vision-LLM auf den zurückgelieferten Seitenbildern. Mehr zur Plattformwahl: Vespa als Enterprise-Vektordatenbank.
ColQwen2 Vespa in der Praxis — drei Szenarien
Nachhaltigkeits- und ESG-Berichte (Energie, Versicherung): Fragen zu Scope-3, Wasserverbrauch oder KPIs verweisen oft auf Tabellen und Grafiken. ColQwen2 Vespa liefert die relevante Seite; ein Vision-LLM liest Werte aus dem Bild und zitiert die Quelle.
Technische Dokumentation (Fertigung, Logistik): Sicherheitshinweise, Wartungschecklisten, Symbole auf Zeichnungen — Text-RAG ignoriert einen Großteil. Hier holen wir Seiten mit Warnpiktogrammen und Schemata in einem Retrieval-Lauf.
Compliance und Audit: „Wo sind DSGVO-relevante Prozesse dokumentiert?“ — oft über mehrere PDF-Typen verteilt. Metadaten (Mandant, Gültigkeit, Dokumentklasse) filtern in Vespa; ColQwen2 matcht den inhaltlichen Kern.
Wir raten davon ab, ColQwen2 Vespa ohne Evaluations-Set produktiv zu schalten. 30–50 echte Fragen aus Fachbereichen, annotierte Gold-Seiten, Recall@5 und manuelle Prüfung der Top-3 — sonst optimieren Sie am Gefühl. Referenzen aus vergleichbaren Rollouts: Case Studies.
Technische Umsetzung: vom PDF zur Abfrage
Voraussetzung auf Linux/macOS: poppler-utils für pdf2image. Python-Pakete: colpali-engine, pyvespa, pypdf.
# Indexierung: Seitenbilder + Multi-Vektor-Embeddings
import torch
from pdf2image import convert_from_path
from pypdf import PdfReader
from colpali_engine.models import ColQwen2, ColQwen2Processor
model_name = "vidore/colqwen2-v0.1"
model = ColQwen2.from_pretrained(
model_name, torch_dtype=torch.bfloat16, device_map="auto"
).eval()
processor = ColQwen2Processor.from_pretrained(model_name)
def pdf_seiten(pdf_pfad: str):
reader = PdfReader(pdf_pfad)
texte = [p.extract_text() or "" for p in reader.pages]
bilder = convert_from_path(pdf_pfad)
assert len(bilder) == len(texte)
return list(zip(bilder, texte))
# Batch-Embeddings für Vespa-Feed (vereinfacht)
seiten = pdf_seiten("jahresbericht_2025.pdf")
batch_images = processor.process_images([b for b, _ in seiten])
with torch.no_grad():
page_embeddings = model(**batch_images) # Multi-Vektor-Tensoren pro SeiteDie Vespa-Seite speichert quantisierte Tensoren, Metadaten (title, url, Mandant) und optional Base64 der Seitenbilder für die Antwort-Pipeline. Ranking kombiniert BM25 auf page_text mit MaxSim auf den Bild-Embeddings — Details im PyVespa-ColQwen2-Beispiel.
Abfrage seitig:
# Query-Embedding + Vespa-Suche (Schema/Ranking im App-Package)
from vespa.application import Vespa
app = Vespa(url="https://<tenant>.<region>.z.vespa-app.cloud/")
def suche_seiten(frage: str, hits: int = 5):
query_embedding = model(**processor.process_queries([frage]))
body = {
"yql": (
"select title, url, page_number from pdf_page where "
"({targetHits:100}nearestNeighbor(image_embedding, q_embedding))"
),
"ranking.profile": "colqwen2_maxsim",
"input.query(q_embedding)": query_embedding.cpu().numpy().tolist(),
"hits": hits,
}
return app.query(body=body)["hits"]End-to-End-RAG: Top-K Seitenbilder an ein Vision-LLM (z. B. GPT-4o auf Azure), Antwort nur mit Seitenreferenz. Das ist teurer pro Anfrage als reiner Text-Chat — dafür sinkt die Rate falscher Zahlen aus halluzinierten Tabellen.
Kosten, Latenz und ehrliche Grenzen
Speicher skaliert mit Seitenzahl × Patches × Vektordimension. Binarisierung (laut Vespa-Dokumentation bis zu 32× weniger Footprint gegenüber Float-only) ist für Archive mit hunderttausenden Seiten praktisch Pflicht, nicht Kür.
ColQwen2 ist nicht CPU-tauglich für Volumen-Indexing. Lizenz des Checkpoints beachten (Open-Source-Basis, Modellkarte prüfen). Sprachfokus laut Modellkarte: stark auf PDF-typische, ressourcenreiche Sprachen — Deutsch funktioniert in unseren Tests, aber Evaluations-Fragen müssen auf Ihren Dokumenten laufen.
Das ist Geldverschwendung, wenn Ihre PDFs bereits sauberen Textlayer haben und keine Tabellen tragen: Dann reicht MarkItDown RAG plus Azure AI Search. ColQwen2 Vespa lohnt sich, wenn visuelle Fehlretrievals messbar Geld kosten — Audit-Nacharbeit, falsche Compliance-Aussagen, verpasste KPIs.
Worauf Sie bei der Auswahl achten sollten
- Gold-Set vor Architektur: 50 Fragen mit erwarteter Seitenzahl schlägt jede Modell-Diskussion.
- Hybrid statt Vision-only: BM25 + ColQwen2 schlägt reines Embedding in gemischten Korpora.
- Governance: Vespa im eigenen VNET, keine Dokumente an US-SaaS ohne Vertrag.
- Antwort-Schicht trennen: Retrieval liefert Seiten; Generation ist ein zweiter, auditierbarer Schritt.
- Skalierung planen: Batch-Indexing nachts, binäre Phase für Recall, Float für Präzision.
Wer die Datenbasis vor dem Rollout absichern will, startet mit einer Document-Intelligence- und RAG-Dokumentensuche — nicht mit Modell-Shopping.
Häufig gestellte Fragen
Was kostet ColQwen2 Vespa in einem Mittelstandsprojekt?
Die Open-Source-Komponenten (ColQwen2, Vespa) haben keine Lizenzgebühr; Kosten kommen von GPU-Indexing, AKS/Vespa-Cluster, Storage und Betrieb. Für einen Pilot mit 5.000–20.000 Seiten und Evaluations-Framework rechnen wir mit 60.000–120.000 EUR einmalig; Produktion ab 3.000 EUR monatlich aufwärts — abhängig von Abfragevolumen und Redundanz.
ColQwen2 Vespa vs. Azure Document Intelligence + Text-RAG — was ist besser?
Document Intelligence ist stark bei OCR, Formularen und strukturiertem Export. ColQwen2 Vespa ist stärker, wenn Layout, Charts und Tabellen im Bild entscheidend sind und OCR-Pipelines bereits scheitern. In der Praxis kombinieren wir beides: DI für Scans mit Formularen, ColQwen2 für visuell dichte Berichte.
Brauchen wir für ColQwen2 Vespa immer eine GPU?
Für den produktiven Index-Build ja — praktisch NVIDIA mit ausreichend VRAM (ColQwen2-2B ist kleiner als ColPali-Gemma, aber nicht trivial). Einzelne Abfragen können nach Warm-up effizienter sein; Volumen-Retrieval ohne GPU ist unrealistisch.
Wie unterscheidet sich ColQwen2 von ColPali?
ColPali nutzt PaliGemma; ColQwen2 nutzt Qwen2-VL, unterstützt variable Seitenauflösung ohne zwangsweises Quetschen und liefert laut Benchmarks bessere Treffer bei weniger Patches. Beide nutzen Late Interaction; Vespa-Integration ist für beide dokumentiert — wir setzen auf neuen Projekten ColQwen2 ein.
Kann die Lösung DSGVO-konform in Deutschland betrieben werden?
Ja, wenn Vespa, Embeddings und LLM in Ihrer EU-Azure-Umgebung laufen und keine Dokumente unkontrolliert an Drittanbieter gehen. Pexon plant Landing Zone, Zugriffskonzepte und Logging so, dass Audit-Teams Seitenreferenzen nachvollziehen können.
Nächster Schritt
Wenn Ihre PDF-Suche bei Tabellen und Grafiken regelmäßig die falsche Seite liefert, ist das ein Retrieval-Problem — kein Prompt-Problem. In einem Workshop gehen wir mit Ihren drei kritischsten Dokumenttypen durch: Gold-Fragen, Architektur ColQwen2 Vespa, Kostenrahmen und Go/No-Go für einen 6-Wochen-Pilot.
Verwandte Themen
→MarkItDown RAG: Dokumente für Retrieval aufbereiten
→Document Intelligence und RAG-Dokumentensuche
→6-Wochen-Pilot Generative AI
