Pexon Consulting | 9 Min. Lesezeit | 22.05.2026
TL;DR
Ein Vision Language Model verbindet Bildverständnis mit LLM-Reasoning — und ersetzt damit klassische OCR-Pipelines bei Frachtpapieren, Inventur, Wareneingang, Schadensdokumentation und Qualitätskontrolle. Pexon Consulting baut diese Pipelines auf Azure AI Document Intelligence oder self-hosted Qwen2.5-VL für DSGVO-kritische Daten. Ergebnis: 95%+ Feldgenauigkeit auf Standardformularen, Cent-Beträge pro Dokument, EU-Datenresidenz.
Was ein Vision Language Model wirklich macht
Klassische OCR liest Pixel und gibt Buchstabenketten zurück. Ein Vision Language Model versteht, was es sieht: Es erkennt, dass die Zahl rechts oben das Gewicht ist, dass der Stempel links unten den Empfänger bestätigt, und dass der handschriftliche Vermerk „beschädigt“ eine Reklamation auslöst. Diese semantische Schicht ist der Grund, warum VLMs in den letzten 18 Monaten zur Standardarchitektur für Dokumenten-KI im Enterprise geworden sind.
Der VLM-Markt liegt 2025 bei rund 3,84 Milliarden USD und wächst laut Astute Analytica mit 26,95% CAGR auf 41,75 Milliarden USD bis 2035. Treiber sind nicht generische Chatbots, sondern industrielle Use-Cases: Wareneingang, Frachtpapier-Verarbeitung, Inventur und Defekterkennung. Die offenen Modelle holen technisch schnell auf — Qwen2.5-VL-7B schlägt auf dem DocVQA-Benchmark Llama 3.2 Vision 90B mit 95,7 zu 90,1 Punkten.
Was das für deutsche Mittelstand-IT bedeutet: Cloud-APIs wie GPT-4o, Gemini 2.5 oder Claude Sonnet 4 sind heute produktionsreif und kosten Cent-Beträge pro Dokument. Wer DSGVO-kritische Daten nicht in US-Cloud schicken will, bekommt mit Qwen2.5-VL oder Llama 3.2 Vision Modelle, die auf einer einzelnen A100 laufen und in 80% der Use-Cases mit den Closed-Source-APIs mithalten.
Use Case 1: Frachtpapiere automatisch extrahieren
Frachtpapiere — CMR-Frachtbriefe, internationale Konnossemente, nationale Lieferscheine — sind das Worst-Case-Szenario für OCR: gedruckte Formularfelder, handschriftliche Ergänzungen, Stempel mit Datum, Unterschriften, manchmal Korrekturen mit Tipp-Ex. Klassische Layout-OCR scheitert hier regelmäßig. Ein VLM versteht den Kontext und extrahiert auch Felder, deren Position nicht trainiert wurde.
Ab August 2026 wird der eCMR EU-weit Pflicht, aber bis dahin laufen Papier- und Mischformate parallel. Pexon setzt für 80% der Frachtpapier-Projekte auf Gemini 2.5 Pro (Vertex AI EU-Region) — das Preis-Leistungs-Verhältnis bei 1,25 USD pro 1M Input-Tokens ist konkurrenzlos.
from google import genai
from google.genai import types
import json
client = genai.Client(vertexai=True, project="pexon-vlm", location="europe-west4")
schema = {
"type": "object",
"properties": {
"cmr_nummer": {"type": "string"},
"absender": {"type": "string"},
"empfaenger": {"type": "string"},
"gewicht_kg": {"type": "number"},
"anzahl_packstuecke": {"type": "integer"},
"warenbeschreibung": {"type": "string"},
"anweisungen_absender": {"type": "string"},
"stempel_empfang_vorhanden": {"type": "boolean"},
},
"required": ["cmr_nummer", "absender", "empfaenger", "gewicht_kg"]
}
with open("cmr_2026_05_22.pdf", "rb") as f:
pdf = f.read()
response = client.models.generate_content(
model="gemini-2.5-pro",
contents=[
types.Part.from_bytes(data=pdf, mime_type="application/pdf"),
"Extrahiere alle Felder als JSON laut Schema. Unleserliche Felder als null."
],
config=types.GenerateContentConfig(
response_mime_type="application/json",
response_schema=schema,
temperature=0.0,
),
)
data = json.loads(response.text)Wichtig: Den Response-Schema-Modus erzwingen. Sonst halluziniert das Modell bei unleserlichen Feldern Strings statt null zurückzugeben. Mit Schema und temperature=0 liefert Gemini auf typischen CMR-Bögen 95%+ Genauigkeit auf den Pflichtfeldern.
Use Case 2: Wareneingang gegen Bestellung abgleichen
Ein Industrieunternehmen bekommt pro Tag 400 Lieferungen. Jeder Lieferschein wird mit der zugehörigen Bestellung im ERP verglichen — Artikelnummer, Menge, Charge. Der Engpass ist nicht das Lesen, sondern das Matchen: Artikel „GLZ-44-RH-2A“ auf dem Lieferschein muss zur SKU „GLZ44RH2A.01“ im SAP-Stammsatz finden. VLMs lösen das, weil sie die Schreibvariante semantisch zuordnen können.
Wir kombinieren hier Azure AI Document Intelligence (für strukturiertes Layout-Parsing) mit einem nachgelagerten VLM-Step für die semantische Zuordnung. Azure DI liefert 95%+ auf Standardlieferscheinen out-of-the-box bei einem Cent pro Seite — günstiger und deterministischer als ein reines VLM.
from azure.ai.documentintelligence import DocumentIntelligenceClient
from azure.core.credentials import AzureKeyCredential
di_client = DocumentIntelligenceClient(
endpoint="https://pexon-di.cognitiveservices.azure.com/",
credential=AzureKeyCredential(KEY),
)
with open("lieferschein_2026_05_22.pdf", "rb") as f:
poller = di_client.begin_analyze_document("prebuilt-invoice", body=f.read())
result = poller.result()
positionen = []
for doc in result.documents:
for item in doc.fields["Items"].value_array:
v = item.value_object
positionen.append({
"sku_lieferschein": v["ProductCode"].value_string,
"menge": v["Quantity"].value_number,
"beschreibung": v["Description"].value_string,
})
# Semantischer Match gegen SAP-Stammdaten via Embedding-Search + VLM-Rerank
# (Embedding-Index aus SAP nightly aufbauen)Reines VLM würde hier mit der Cloud-Latency einer 3-5 Sekunden langen GPT-4o-Anfrage skalieren — bei 400 Lieferungen täglich teuer. Mit Azure DI als Foundation und VLM-Eskalation nur bei niedriger Confidence liegen die Kosten bei etwa 4 EUR pro Tag statt 60 EUR.
Use Case 3: Inventur via Regalfoto
Ein Großhändler mit zwölf Lägern macht zweimal jährlich Vollinventur. Drei Tage Schließung, 40 Aushilfen, mehrere zehntausend Euro Aufwand. Der bessere Weg: Lagermitarbeiter scannt mit dem Smartphone das Regal, das VLM zählt SKU-Boxen und mappt sie gegen das WMS. Die Bestandsdifferenz wandert als Excel-Report an die Buchhaltung. Hyscaler berichtet für vergleichbare Setups +40-60% Picking-Speed und 25% Fehlerreduktion in der Bestandsführung.
import base64
from openai import AzureOpenAI
client = AzureOpenAI(
azure_endpoint="https://pexon-aoai.openai.azure.com/",
api_key=KEY, api_version="2026-05-01",
)
with open("regal_a17_2026_05_22.jpg", "rb") as f:
b64 = base64.b64encode(f.read()).decode()
prompt = """Zaehle pro sichtbarer SKU die Boxen auf dem Regal.
Erkennbar an Etiketten unten an jeder Box.
Liefer JSON: [{"sku": "...", "anzahl": N, "konfidenz": 0.0-1.0}]"""
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": [
{"type": "text", "text": prompt},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
response_format={"type": "json_object"},
temperature=0.0,
)Unsere klare Empfehlung: Konfidenz pro Position ausgeben lassen und alles unter 0,85 manuell prüfen. Bei verdeckten Boxen oder ungewöhnlichem Blickwinkel halluziniert auch GPT-4o — und Inventur-Differenzen werden teuer, wenn sie unerkannt im System landen.
Use Case 4: Schadensdokumentation DSGVO-konform
Sobald Daten sensibel werden — etwa Schadensfotos mit erkennbaren Personen, Kennzeichen oder Innenraumaufnahmen — verbietet sich der Weg in US-Cloud-Endpoints. Wir setzen dann Qwen2.5-VL-7B auf einer einzelnen Azure NC-A100 in der EU-Region ein. Das Modell ist Apache-2.0 lizenziert, läuft mit vLLM bei 0,5-2 Sekunden Latenz und kostet bei 24/7-Betrieb rund 600-900 EUR im Monat.
# vLLM Server: docker run --gpus all vllm/vllm-openai:latest
# --model Qwen/Qwen2.5-VL-7B-Instruct --port 8000
from openai import OpenAI
client = OpenAI(base_url="http://qwen-vlm.pexon.local:8000/v1", api_key="EMPTY")
response = client.chat.completions.create(
model="Qwen/Qwen2.5-VL-7B-Instruct",
messages=[{"role": "user", "content": [
{"type": "text", "text": (
"Klassifiziere Schadensart (Kratzer/Delle/Bruch/Wasserschaden/Sonstiges), "
"lokalisiere als Bounding-Box und schaetze Schaden in EUR. "
"Antworte als JSON. Keine Personenmerkmale erfassen."
)},
{"type": "image_url", "image_url": {"url": image_b64}},
]}],
extra_body={"guided_json": schadens_schema},
temperature=0.0,
)Self-Hosted heißt nicht zwangsläufig „schlechter“. Auf Schadensbildern aus echten Reklamationsprozessen liefert Qwen2.5-VL Genauigkeiten im 85-92% Bereich — vergleichbar mit GPT-4o Vision. Der Unterschied: Die Daten verlassen Ihre Azure-Subscription nicht, und Sie zahlen 0,0001 EUR pro Bild statt 0,002 EUR.
Use Case 5: Qualitätskontrolle in der Produktion
Sysgenpro hat 2026 eine ROI-Studie zu VLM-gestützter Qualitätskontrolle veröffentlicht: 97-99,5% Defekt-Detection auf Standard-Produktionsbildern, 20-25% Throughput-Gewinn, Amortisation in 6-12 Monaten. Das ist keine Marketing-Zahl, das beobachten wir in eigenen Projekten in derselben Größenordnung.
Der Architektur-Trick: Ein klassisches CNN-Modell (YOLO oder ResNet) macht die schnelle Vorklassifizierung am Band — Millisekunden-Latenz, 95% Trefferquote. Nur bei „verdächtig“ wandert das Bild an ein VLM, das dann die finale Klassifizierung mit Reasoning-Output liefert („Kratzer 3cm links oben, Coating ungleichmäßig zwischen Pos. A und B“). Diese Reasoning-Schicht ist der entscheidende Unterschied zu reinen CNN-Pipelines — der Qualitätsleiter bekommt nicht nur „defekt: ja/nein“, sondern eine erklärbare Begründung.
# Edge-Schicht: YOLO-v8 (klassisches CNN, On-Device)
# Cloud-Eskalation: GPT-4o Vision oder Qwen2.5-VL self-hosted
if yolo_score > 0.95:
final_class = yolo_class # schnell, billig
elif yolo_score > 0.4:
final_class = vlm_eskalation(image, prompt=qk_prompt) # teurer, erklaerbar
else:
final_class = "ok"Cloud oder Self-Hosted: Entscheidungslogik
Die Entscheidung ist kein Glaubenskrieg, sondern eine Kostenrechnung mit Compliance-Constraint.
Wir raten Mittelstand-Kunden in Standardszenarien zuerst zur Cloud — der Setup-Aufwand für self-hosted lohnt sich erst, wenn entweder das Volumen kippt oder Compliance es erzwingt. Banken, Versicherer und Verteidigungsindustrie starten direkt mit Self-Hosted, weil der Compliance-Pfad sonst nicht aufgeht.
Was bei VLM-Projekten regelmäßig schiefgeht
Drei Fehler sehen wir in fast jedem PoC, der zu uns kommt:
Erstens: Reines VLM auf Finanzdokumente mit Tabellen. VLMs halluzinieren bei großen Tabellen strukturell — verschobene Zeilen, erfundene Werte, neu geordnete Spalten. Verdantix hat das in einer Studie sauber dokumentiert. Wir nehmen für Tabellen-Dokumente immer Azure DI oder ein dediziertes Layout-Modell als Foundation und VLM nur als Eskalation für Edge-Cases.
Zweitens: Keine Confidence-Routing-Logik. 95% Accuracy klingt gut, bedeutet aber bei 10.000 Dokumenten/Monat 500 manuelle Korrekturen — und wenn diese erst beim Buchhalter im nachgelagerten ERP-Workflow auffallen, kostet jede Korrektur 15-30 Minuten. Pro Position muss eine Confidence ausgegeben und in den Workflow eingebaut werden: Über 0,9 = automatisch buchen, 0,7-0,9 = Sichtprüfung, darunter = Vollkontrolle.
Drittens: Cloud-Endpoint ohne EU-Region. GPT-4o über den OpenAI-Standard-Endpoint läuft in den USA. Für DSGVO-kritische Daten brauchen Sie Azure OpenAI in einer EU-Region mit Auftragsverarbeitungsvertrag — oder Anthropic via Bedrock EU. Das ist kein Detail, das ist der Compliance-Pfad.
Häufig gestellte Fragen
Was ist ein Vision Language Model genau — und was unterscheidet es von OCR?
Ein Vision Language Model ist ein neuronales Modell, das Bilder und Text gemeinsam versteht und über beides hinweg argumentieren kann. OCR liest Pixel zu Buchstaben — ein VLM versteht zusätzlich, dass die Zahl rechts oben „Gewicht in kg“ bedeutet, dass ein roter Stempel „bezahlt“ heißt, und dass eine Handnotiz „beschädigt“ einen Reklamationsworkflow auslöst.
Was kostet ein VLM-Setup für 10.000 Frachtpapiere pro Monat?
Cloud (Gemini 2.5 Pro oder GPT-4o über Azure OpenAI EU): rund 50-200 EUR Monat reine API-Kosten. Self-hosted Qwen2.5-VL-7B auf Azure NC-A10 oder NC-A100: 600-1.500 EUR im Monat, dafür DSGVO-sauber und ohne Token-Risiko. Die Pexon-Pilotierung inklusive Eval-Pipeline kostet 30-60k EUR — danach läuft die Pipeline produktiv.
Vision Language Model oder Azure AI Document Intelligence — was nehmen wir wann?
Standardisierte Formulare mit gleichbleibendem Layout (Rechnungen, Lieferscheine eines Hauptlieferanten): Azure DI. Variantenreiche Dokumente, handschriftliche Anteile, semantische Zuordnung, freie Schadensberichte: Vision Language Model. In den meisten Produktionsprojekten setzen wir beides ein — Azure DI als Foundation, VLM als Fallback bei niedriger Confidence.
Halluziniert ein Vision Language Model bei Tabellen?
Ja, das ist real und gut dokumentiert. Strukturelle Halluzinationen bei großen Tabellen (verschobene Zeilen, erfundene Markdown-Syntax, falsch geordnete Spalten) sind der häufigste Fehlermodus. Gegenmittel: JSON-Schema-Output erzwingen, Cross-Validation gegen Summen, Confidence-Threshold mit Human-in-the-Loop bei Werten unter 0,9.
Wie lange dauert ein VLM-Pilot von Idee bis Produktion?
Mit Cloud-API und 50-100 Beispieldokumenten kommen wir in 1-2 Wochen auf eine belastbare Demo. Self-hosted mit Eval-Pipeline und ERP-Integration: 4-8 Wochen für den Pilot, 3-6 Monate für die produktive Pipeline inklusive Monitoring, Fallback-Logik und Confidence-Routing.
Nächster Schritt
Wenn Sie gerade evaluieren, ob ein VLM-Setup für einen konkreten Use-Case sinnvoll ist: Wir prüfen 50-100 Ihrer realen Dokumente kostenlos gegen drei VLM-Stacks (Gemini 2.5 Pro, Azure DI, Qwen2.5-VL self-hosted) und zeigen Ihnen die Trefferquoten side-by-side. Danach wissen Sie, welche Architektur für Ihr Volumen und Ihre Compliance-Anforderungen funktioniert.
Verwandte Themen
→Document Intelligence: KI-gestützte Dokumentenverarbeitung
→KI-Frachtrechnungsprüfung Logistik
→6-Wochen-Pilotprojekt Generative AI
