CAD-Screenshot in den Chatbot: der Vision-Assistent für Ingenieure

Pexon Consulting | 9 Min. Lesezeit | 10.06.2026

TL;DR

CAD Screenshot Chatbot ist 2026 der unterschätzte Vision-Use-Case im Engineering-Mittelstand: Der Konstrukteur oder Service-Techniker macht unterwegs ein Foto einer technischen Zeichnung, eines Bauteils, eines Maschinen-Displays oder einer Spec-Tabelle, lädt es im internen Chatbot hoch — und bekommt sofort eine erklärende Antwort, oft mit Verweis auf interne Normen und Dokumentation. Pexon Consulting baut diese Setups als Vision-RAG-Pipeline mit Claude Opus 4.7 Vision oder GPT-4o, on-prem-Hosting bei IP-sensiblen Inhalten.

Warum das ein wirklich nützlicher Use-Case ist

In fast jedem Maschinenbau-Erstgespräch hören wir die gleiche Klasse von Problemen: Der Service-Techniker steht vor einer Maschine, sieht ein Display mit einem Fehlercode und einer technischen Skizze, das er nicht sofort erkennt. Vorher: Anruf in der Zentrale, Foto per WhatsApp an den Senior-Kollegen, 20-40 Minuten Warten bis der Senior zurückruft. Pro Vorfall verlorene Engineering-Zeit auf beiden Seiten.

Mit einem mobilen Vision-Chatbot wird das anders. Der Service-Techniker öffnet die Smartphone-App, fotografiert das Display und die Skizze, schickt es an den Chatbot. Der Chatbot hat Vision-Fähigkeit (Claude Opus 4.7 Vision oder GPT-4o) plus RAG-Anbindung an die internen Service-Handbücher und Konstruktions-Doku. Antwort: „Das ist Fehlercode E47, der bei Antriebsmotor-Überhitzung auftritt. Die Skizze zeigt die Position des Temperatursensors. Wahrscheinliche Ursache: blockierter Lüfter. Empfohlene Schritte: …“

Das ist nicht „KI ist magisch“. Das ist klar definierbare Vision-Aufgabe, die heute mit Frontier-Modellen produktiv lösbar ist. Wir haben das in drei Pilotkunden 2025/2026 umgesetzt — funktioniert.

Was die Pipeline konkret kann

Architektur in vier Stufen.

Stufe 1: Mobile UI. Eine schlanke PWA (Progressive Web App) oder native App, die der Mitarbeiter im Außendienst auf dem Smartphone hat. Kamera-Integration, Upload an den Backend-Endpunkt, Chat-Verlauf für Kontext über mehrere Turns. Wir nutzen typisch OpenWebUI als Backend, das mobile-tauglich ist.

Stufe 2: Vision-LLM-Aufruf. Das Bild wird an Claude Opus 4.7 Vision (über Bedrock mit EU-Profil) oder GPT-4o (über Azure OpenAI) geschickt, mit einem Prompt der die Aufgabe definiert: „Beschreibe was du auf dem Bild siehst. Identifiziere technische Elemente, Symbole, Bezeichnungen. Frage zurück, wenn etwas unklar ist.“

Stufe 3: RAG-Anbindung an interne Doku. Die Antwort des Vision-LLM wird mit dem internen Dokumenten-Bestand abgeglichen — gibt es ähnliche Fälle in Service-Handbüchern, Norm-Datenbank, Konstruktions-Doku. Relevante Fundstellen werden in die Antwort eingebaut. Wir nutzen das gleiche RAG-Pattern wie im RAG-richtig-bauen-Blog.

Stufe 4: Multi-Turn-Dialog. Der Mitarbeiter kann Rückfragen stellen: „Wo finde ich den Lüfter konkret?“, „Wie demontiere ich den Sensor?“. Das Vision-LLM behält den Bild-Kontext im Gespräch und antwortet schlüssig auf Folgefragen.

Vier Use-Cases aus produktiven Setups

Use-Case 1: Service-Techniker im Außendienst. Foto vom Display-Fehlercode plus Maschinen-Bereich. Chatbot identifiziert den Fehler, liefert die Diagnose-Schritte aus dem Service-Handbuch, bei Bedarf Video-Anleitung verlinkt. Bei einem Kunden mit 80 Service-Technikern im Außendienst hat das die Erst-Diagnose-Zeit von durchschnittlich 18 Minuten auf 4 Minuten reduziert.

Use-Case 2: Konstrukteur sieht fremde Norm. Eine alte Konstruktions-Zeichnung referenziert eine Norm, die der jüngere Konstrukteur nicht kennt (z.B. TGL-Normen aus der Zeit vor 1990, oder branchen-spezifische Sondernormen). Foto plus Frage: „Was ist diese Norm und gibt es eine moderne Entsprechung?“. Antwort mit Erklärung und Cross-Reference zur aktuellen ISO/EN.

Use-Case 3: Einkauf prüft Lieferanten-Skizze. Ein Lieferant schickt eine technische Skizze mit Sondergeometrie. Der Einkäufer fotografiert die Skizze und fragt: „Welche Toleranzklasse passt zu diesem Bauteil typisch? Welche Fertigungsverfahren kommen in Frage?“. Vision-LLM klassifiziert und gibt erste Bewertung — was die Rück-Klärung mit der Konstruktion oft erspart.

Use-Case 4: Auszubildender lernt. Der Auszubildende fotografiert ein Bauteil oder eine Zeichnung und stellt offene Fragen („Was ist das? Wofür wird es verwendet?“). Vision-LLM antwortet didaktisch, mit Verweis auf interne Schulungs-Materialien. Bei einem Kunden hat das die Ausbildungs-Effizienz spürbar erhöht, weil Auszubildende nicht mehr „den Meister stören müssen“.

DSGVO und IP-Schutz

Bei Foto von technischen Zeichnungen kommt schnell die IP-Schutz-Frage auf. Wer keine geheime Geometrie über Vision-LLMs in US-Clouds schicken möchte (sehr berechtigte Sorge bei Tier-1-Konstruktionen oder Defense-relevanten Bauteilen), braucht ein anderes Setup.

Wir bauen drei Vertraulichkeits-Stufen:

Stufe 1: Standard. Claude Opus 4.7 Vision oder GPT-4o über Bedrock mit EU-Profil / Azure OpenAI Sweden Central. DSGVO-konform für die meisten Engineering-Inhalte. Geeignet für Service-Doku, Norm-Erklärung, allgemeine Engineering-Fragen.

Stufe 2: Anonymisierung. Vor dem Upload an die Cloud werden sensitive Bildbereiche maskiert (Firmen-Logos, Bauteil-Nummern, kritische Geometrie-Details). Wir bauen das mit OpenCV plus eigener Erkennungs-Logik. Geeignet für Tier-1-Konstruktionen mit moderatem IP-Risiko.

Stufe 3: On-Prem-Vision. Open-Source-Vision-LLM (Qwen 3.5 VL oder Llama 3.3 Vision) auf eigener H100-Hardware. Qualität liegt 5-15 Prozentpunkte unter Claude/GPT bei komplexen technischen Bildern, ist für Standard-Anwendungsfälle aber ausreichend. Geeignet für Defense, sensitive F&E, Geschäftsgeheimnis-Inhalte. Verwandt zu unserem Pattern aus dem CAD/STEP IP-Schutz Blog.

Häufig gestellte Fragen

Wie zuverlässig ist Vision-LLM bei technischen Zeichnungen?

Bei Standard-Konstruktions-Zeichnungen (technische Bemaßung, Schraubverbindungen, Toleranz-Angaben) sind Claude Opus 4.7 Vision und GPT-4o produktiv brauchbar — wir messen rund 88-94% korrekte Klassifikation auf Test-Sets von typischen Maschinenbau-Zeichnungen. Bei sehr spezifischen Schaltplänen oder ungewöhnlichen Branchen-Notationen sinkt das auf 70-80%. Wir kompensieren das mit RAG-Anbindung an interne Spezial-Doku.

Funktioniert das auch mit handgezeichneten Skizzen?

Ja, oft überraschend gut. Vision-LLM erkennt typische Skizzen-Elemente (Schraubsymbole, Bemaßungs-Pfeile, einfache Geometrie) auch bei freihandgezeichnetem Material. Bei Tafel-Skizzen aus einem internen Meeting hat das in einem Pilot exzellent funktioniert.

Wie groß ist der Datenvolumen-Bedarf?

Pro Bild typisch 300-800 KB nach Komprimierung. Bei 100 Service-Technikern mit je 20-40 Anfragen pro Tag sind das 600-3.200 MB pro Tag — vernachlässigbar für Standard-Mobilfunk. Token-Verbrauch je Vision-Anfrage bei Claude liegt typisch bei 1.500-3.500 Tokens Input plus Output, was 3-8 Cent pro Anfrage bedeutet.

Wie schnell antwortet der Vision-Chatbot in der Praxis?

p50-Latenz bei Claude Opus 4.7 Vision über Bedrock typisch 2,5-4 Sekunden, bei Sonnet 4.6 schneller (1,8-2,8 Sekunden). Für mobilen Use im Service-Außendienst ist beides akzeptabel. Wir nutzen Sonnet 4.6 als Default und schalten auf Opus 4.7 nur bei komplexen Anfragen hoch.

Was kostet ein Setup für ein 50er-Service-Team?

Setup-Sprint typisch 65-95k EUR (Mobile-PWA, Backend-Anbindung, RAG-Stack mit 5-15k Doku-Einheiten, Schulung der Power-User). Laufende Modell-Kosten bei 50 Technikern mit je 15-25 Anfragen pro Tag: rund 800-2.000 EUR pro Monat. Gegen die Erst-Diagnose-Zeit-Einsparung ist das ROI-mäßig deutlich positiv.

Nächster Schritt

Wenn dein Engineering- oder Service-Team Außen-Use-Cases hat, in denen mobile Vision-Erkennung Zeit sparen würde: Wir machen einen 45-Minuten-Call mit dir und idealerweise einem Service- oder Engineering-Manager. Du beschreibst typische Szenarien, wir skizzieren die Pipeline mit Festpreis-Sprint.

Verwandte Themen