Multimodale RAG mit LlamaIndex: ISO-Normen & CAD durchsuchbar

Pexon Consulting | 10 Min. Lesezeit | 20.04.2026

TL;DR

Multimodale RAG mit LlamaIndex macht ISO-Normen, CAD-Zeichnungen und Schaltpläne gemeinsam durchsuchbar — nicht nur den Text, auch die Diagramme. Pexon Consulting (80 Engineers, ISO 27001, Microsoft Partner) baut Pilot-Systeme in 8 Wochen für Maschinenbauer 500–10.000 MA. Typischer Effekt: 4 Stunden pro Ingenieur und Woche für Normenrecherche entfallen.

Das 80-Normen-Problem pro Maschine

Ein mittleres Bearbeitungszentrum muss gegen rund 80 Normen und Richtlinien rechtssicher und EU-konform abgebildet werden — von DIN EN ISO 12100 über die Maschinenverordnung 2023/1230 bis zu branchenspezifischen Zulassungsnormen (cad-schroer.de). Wenn eine Norm revidiert wird, müssen alle betroffenen Konstruktionen, Montageanleitungen und Service-Dokumente geprüft werden.

Bei einem unserer Kunden im Maschinenbau (Ingenieur-Bereich > 1.000 MA) haben wir die typische Situation gesehen: Die gesuchte Information steht in einer Norm — aber der relevante Teil ist ein Diagramm, eine Maßtabelle oder ein Symbol-Katalog. Volltext-RAG findet den Paragraphen davor und danach, aber nicht das Bild. Ingenieure scrollen weiter, googeln, fragen den Kollegen.

Unsere Rechnung aus diesen Projekten: Rund vier Stunden pro Woche und Ingenieur gehen für Norm- und Richtlinien-Recherche verloren. Bei 3.000 Ingenieuren sind das 12.000 Stunden pro Woche — oder ein siebenstelliger Wertschöpfungsverlust pro Jahr.

Warum klassische Text-RAG an Zeichnungen scheitert

Klassische RAG-Pipelines indizieren PDF-Text. Technische Dokumente sind aber selten reiner Text. Drei strukturelle Brüche treten bei fast jedem Maschinenbau-Kunden auf:

Tabellenkopf-Bruch. PDF-Extraction liest Tabellen oft zeilenweise und verliert die Spaltenüberschriften. Ein Ingenieur fragt „Anziehdrehmoment für M16 bei 10.9“ — der RAG-Chunk enthält die Werte, aber der Kopf „Festigkeitsklasse“ steht zwei Seiten früher. Die Antwort wird zum Ratespiel.

Diagramme unsichtbar. Schaltpläne, 3D-Ansichten, Piktogramme und Flussdiagramme sind in Volltext-Embeddings nicht existent. Wer Elektro-Schaltzeichen DIN EN 60617 sucht, findet im klassischen RAG nur die Textbeschreibung — nicht das tatsächliche Symbol.

Revisions-Verwirrung. Norm-Dokumente existieren gleichzeitig in verschiedenen Revisionen (A, B, C, oder Jahr 2018/2023/2026). Ohne Versions-Metadata im Index mischt die RAG alte und neue Werte — ein Sicherheitsrisiko, kein Komfort-Problem.

Die Lösung sind keine besseren Prompts, sondern ein anderer Retrieval-Layer.

MultiModalVectorStoreIndex: So funktioniert es

LlamaIndex bietet mit MultiModalVectorStoreIndex genau das, was Maschinenbau-Dokumente brauchen: zwei getrennte Vector Stores — einen für Text, einen für Bilder — die zur Query-Zeit parallel abgefragt werden. Unter der Haube nutzt die Klasse Text-Embeddings (z.B. text-embedding-3-large oder bge-large-de) für Fließtext und CLIP- oder SigLIP-2-Embeddings für Abbildungen (LlamaIndex Docs).

SigLIP 2 (Google DeepMind, veröffentlicht Februar 2025) übertrifft das klassische CLIP laut der Originalpublikation um 2–3 Prozentpunkte bei Zero-Shot-Klassifikation und Image-Text-Retrieval. Die aktuellen Open-Source-Vision-Language-Models LLaVA-NeXT, InternVL3.5 und Qwen-VL 2.5 nutzen 2026 standardmäßig SigLIP-Varianten — wir empfehlen in DACH-Projekten deshalb SigLIP 2 statt CLIP, wenn mehrsprachige oder deutsche Fachbegriffe im Spiel sind.

Grob-Architektur eines multimodalen RAG-Systems für Normen:

Ein minimales Code-Beispiel mit LlamaIndex:

from llama_index.core.indices.multi_modal.base import MultiModalVectorStoreIndex
from llama_index.embeddings.clip import ClipEmbedding
from llama_index.vector_stores.qdrant import QdrantVectorStore
from llama_index.multi_modal_llms.openai import OpenAIMultiModal

# Zwei getrennte Vector Stores: einer für Text, einer für Bilder
text_store = QdrantVectorStore(client=qdrant, collection_name="normen_text")
image_store = QdrantVectorStore(client=qdrant, collection_name="normen_images")

# SigLIP 2 als Image-Encoder (fällt auf CLIP zurück wenn nicht verfügbar)
image_embed_model = ClipEmbedding(model_name="google/siglip2-so400m-patch14-384")

# Multimodaler Index aus Text + Bildern
index = MultiModalVectorStoreIndex.from_documents(
    documents,
    image_embed_model=image_embed_model,
    text_embed_model="text-embedding-3-large",
    vector_store=text_store,
    image_vector_store=image_store,
)

# Query-Engine mit multimodalem LLM (GPT-4o versteht Bilder UND Text)
mm_llm = OpenAIMultiModal(model="gpt-4o", max_new_tokens=1500)
query_engine = index.as_query_engine(
    llm=mm_llm,
    similarity_top_k=3,     # Top-3 Text-Chunks
    image_similarity_top_k=2,  # Top-2 Bild-Ausschnitte
)

response = query_engine.query(
    "Welches Anziehdrehmoment gilt für M16 bei Festigkeitsklasse 10.9 nach DIN EN ISO 898-1?"
)
print(response)                # Antwort mit Zahl
for node in response.metadata["image_nodes"]:
    print(node.metadata["source"], node.metadata["page"])  # Bild-Citation

Die Query-Engine ruft beide Stores parallel ab, reranked die Top-K-Kandidaten und reicht Text + Bild an das Vision-Language-Model weiter. Der Reasoning-Step sieht also die Tabelle als Bild und den umgebenden Fließtext — genau das, was bei Volltext-RAG fehlt.

Revisionsmanagement für DIN und ISO

Normen-Revisionen sind der zweite Scheiterns-Punkt klassischer RAG. Wer heute DIN EN ISO 12100:2010-11 indiziert und morgen die Revision 2023 dazulädt, bekommt ohne Versions-Metadaten eine gemischte Suppe. Unser Pattern dagegen:

# Metadata beim Ingest pro Norm-Dokument
metadata = {
    "norm_id": "DIN EN ISO 12100",
    "version": "2023-11",            # YYYY-MM = sortierbar
    "supersedes": "2010-11",         # explizite Ablösung
    "status": "active",              # active | superseded | draft
    "valid_from": "2024-05-01",
    "page_count": 82,
    "source_hash": "sha256:...",     # für Audit-Trail
}

Zur Query-Zeit filtert der Retriever auf status == "active" oder auf eine explizite Version:

from llama_index.core.vector_stores import MetadataFilters, ExactMatchFilter

filters = MetadataFilters(filters=[
    ExactMatchFilter(key="status", value="active"),
])
query_engine = index.as_query_engine(filters=filters)

Was das in der Praxis bringt: Der Service-Techniker, der im Feld an einer Anlage von 2019 steht, kann explizit auf die zum Auslieferungsdatum gültige Norm-Version filtern. Der Entwickler, der eine neue Konstruktion zertifiziert, sieht nur den aktuellen Stand. Wir haben das bei einem DACH-Maschinenbauer als erste Pilot-Sektion gebaut — weil Normenverwechslung dort der häufigste Grund für fehlgeschlagene Audits war.

Zusätzlich zum Versions-Filter speichern wir für jede Antwort einen Audit-Trail: welcher Ingenieur, welche Query, welche Norm-Versionen wurden gezogen, welche Seiten oder Bilder zitiert. Das ist keine Compliance-Spielerei — bei einem CE-Audit nach Maschinenverordnung 2023/1230 will der Prüfer nachvollziehen können, auf welcher Grundlage eine Konstruktions-Entscheidung getroffen wurde. Ohne Audit-Trail ist multimodale RAG für regulierte Produkte nicht einsetzbar.

Kosten, Zeitrahmen, und was der Aufwand wirklich kostet

Wir liefern das Pilot-System für multimodale RAG in 8 Wochen als Festpreis:

• Woche 1–2: Datenaufbereitung. 50–200 Normen-PDFs, CAD-Exports und Betriebshandbücher werden via Docling in Text- und Bild-Chunks zerlegt. Dieser Schritt dauert typischerweise länger als die KI-Implementierung — wer auf 14.000 unstrukturierten PDFs startet, plant hier 4–6 Wochen extra ein.
• Woche 3–4: Index-Aufbau. Qdrant-Cluster (on-prem oder Azure), Dual-Vector-Store, SigLIP-2-Embedding-Pipeline, Metadata-Schema für Revisionen.
• Woche 5–6: Query-Interface und LLM-Anbindung. GPT-4o via Azure OpenAI (für IP-Schutz: on-prem Qwen-VL 2.5 als Option), Citation-Tracking, Audit-Logging.
• Woche 7–8: Evaluation auf Kunden-Normen, UI-Integration (Teams-Bot oder Web-Portal), Übergabe.

Budget-Rahmen: 80.000–150.000 EUR für den Pilot, je nach Anzahl Use Cases und Integrations-Tiefe in bestehende PLM-/CAD-Systeme (Teamcenter, Windchill, 3DEXPERIENCE). Die Skalierung auf 3.000 Ingenieure läuft danach modular als zweites Projekt — typisch 300.000–500.000 EUR für die Unternehmens-Rollout-Phase.

Wann lohnt sich der Aufwand nicht? Wenn Sie unter 500 Ingenieure beschäftigen und ihre Normen-Bibliothek unter 100 Dokumente umfasst, reicht oft eine gute Textsuche mit semantischem Reranking. Multimodale RAG rechnet sich nach unserer Erfahrung ab 1.000 Ingenieuren aufwärts — darunter ist der Compliance-Effekt der Hebel, nicht die Zeitersparnis.

Worauf Sie bei der Auswahl achten sollten

Fünf Kriterien, die wir vor jedem Pilot checken — und die oft entscheiden, ob das System produktiv geht oder in der Schublade landet:

1. Datenzugriff: Haben Sie Lese-Zugriff auf die Norm-PDFs im Original-Layout? Gescannte Kopien funktionieren nur mit OCR-Vorschaltung und verlieren Qualität.
2. Versions-Policy: Gibt es eine zentrale Stelle, die aktuelle gegen abgelöste Normen pflegt? Ohne diese Rolle pflegt sich das System nicht selbst.
3. Compliance-Rahmen: Unterliegt Ihr Produkt der Maschinenverordnung 2023/1230 oder dem Cyber Resilience Act? Dann brauchen Sie Audit-Trail von Tag 1.
4. Vision-Encoder-Strategie: Englische oder deutsche Begriffe? SigLIP 2 performt auf deutschen Fachbegriffen in unseren Tests besser als Original-CLIP.
5. On-Prem vs. Cloud: Wenn Konstruktionsdaten indiziert werden, gehört das System in die eigene Infrastruktur. OpenAI Enterprise ist hier keine Option, Azure OpenAI mit Private Endpoint oder STACKIT/On-Prem schon.

Unsere klare Empfehlung: Starten Sie mit einem 8-Wochen-Pilot auf einem abgegrenzten Norm-Bündel (20–50 Dokumente, ein Use Case) — nicht mit der ganzen Bibliothek. Wer das System direkt auf 1.000 Normen loslässt, verbrennt Geld an Datenqualitätsproblemen, bevor irgendein Ingenieur davon profitiert.

Häufig gestellte Fragen

Was kostet eine multimodale RAG für Normen und CAD-Dokumente?

Ein Festpreis-Pilot mit 50–200 Dokumenten liegt zwischen 80.000 und 150.000 EUR über 8 Wochen. Der Folgeschritt — Rollout über alle Ingenieure, Integration in PLM und Betriebshandbücher — rechnet sich nach Deutz-ähnlichen Pattern mit 300.000–500.000 EUR über 6–12 Monate. Operativer Betrieb liegt bei etwa 0,40–1,20 EUR pro Nutzer und Monat, je nach LLM-Wahl und Compute-Auslastung.

Welches VLM eignet sich für technische Zeichnungen — GPT-4o, Claude Vision oder Qwen-VL?

Für kommerzielle Einsätze in Azure-Ökosystemen ist GPT-4o via Azure OpenAI unser Default (gute deutsche Fachsprache, Private Endpoint möglich). Wenn IP-Schutz höchste Prio hat oder Konstruktionsdaten nicht die Bank verlassen dürfen, nehmen wir Qwen-VL 2.5 on-prem auf einer GPU-Instanz — Benchmark-Performance innerhalb 5–10 Prozentpunkte zu GPT-4o laut aktuellen Vergleichen (März 2026). Claude Vision ist stark bei sauberem Deutsch, aber DACH-Hosting fehlt weiterhin.

CLIP vs. SigLIP 2 — welcher Vision-Encoder für deutsche Fachbegriffe?

SigLIP 2 (Google DeepMind, Februar 2025) schlägt CLIP laut Benchmark um 2–3 Prozentpunkte bei Zero-Shot-Retrieval. Wichtiger für DACH-Projekte: SigLIP 2 ist multilingual trainiert und versteht deutsche Begriffe wie „Schaltplan“, „Maßbild“ oder „Getriebeschnitt“ deutlich besser als das primär englischsprachige Original-CLIP. Wir nutzen 2026 fast ausschließlich SigLIP 2 — CLIP bleibt nur als Fallback im Stack.

Wie handhabt multimodale RAG Normen-Revisionen?

Über Metadata-Filter pro Dokument: status (active/superseded/draft), version (YYYY-MM), supersedes (explizite Vorgänger-ID). Zur Query-Zeit filtert der Retriever auf den gewünschten Revisionsstand. Für regulierte Produkte protokollieren wir zusätzlich in einem Audit-Log, welche Revision bei welcher Antwort herangezogen wurde — Pflicht für CE-Audits nach Maschinenverordnung.

Multimodale RAG vs. klassische Textsuche — wann lohnt der Aufwand?

Wenn Ihre Ingenieure in Diagrammen, Schaltplänen oder Maßtabellen suchen, ist multimodale RAG ohne Alternative. Reine Text-Dokumente (Arbeitsanweisungen, QM-Verfahren, Liefervorschriften) decken Sie mit klassischer Text-RAG plus gutem Reranking ab — günstiger und schneller. Unsere Faustregel: Bilder, die Fachinformation tragen, machen über 20 Prozent der Dokumente aus? Multimodal. Darunter: Text-RAG reicht.

Nächster Schritt

Wenn Sie gerade evaluieren, ob multimodale RAG für Ihre Normen- und CAD-Bibliothek Sinn macht: Wir haben dafür einen festen 8-Wochen-Pilot-Pfad mit Festpreis und klarer Go/No-Go-Entscheidung am Ende.

Verwandte Themen