Pexon Consulting | 11 Min. Lesezeit | 20.06.2026
TL;DR
Ein Service Techniker RAG offline läuft komplett auf einem Edge-Gerät an der Maschine: lokales LLM plus lokaler Wissensindex, kein Internet, keine Cloud. Pexon baut das DSGVO-sicher als 6-Wochen-Pilot — ein Mistral- oder Gemma-Modell beantwortet Reparaturfragen in unter zwei Sekunden mit Seitenzitat, auch im Funkloch der Werkshalle.
Das Problem: Der Techniker steht im Funkloch, das Wissen liegt in der Cloud
Ihr Techniker steht in einer Werkshalle aus Stahlbeton vor einer stillstehenden Anlage. Kein LTE, kein WLAN, das Service-Portal lädt nicht. Die Reparaturanleitung liegt in einem 600-Seiten-PDF auf einem Server, den er gerade nicht erreicht. Genau hier scheitert jeder cloudbasierte Field-Service-Assistent.
Das ist kein Randfall. Viele Maschinen stehen in abgeschirmten Hallen, in Kellergeschossen, auf Schiffen, in Tanks, in Gegenden ohne brauchbaren Mobilfunk. In Branchen wie Verteidigung, KRITIS oder Pharma ist eine Cloud-Anbindung nicht nur unzuverlässig, sondern schlicht verboten — die Dokumentation darf das Werk nicht verlassen.
Und der Schaden ist teuer. Der Industrie-Durchschnitt für ungeplanten Stillstand liegt 2026 bei rund 260.000 USD pro Stunde, in der Automobilfertigung über 2,3 Mio. USD pro Stunde. Rund 70 Prozent des ungeplanten Stillstands in der Fertigung gehen auf eine schlechte First-Time-Fix-Rate zurück — also auf Techniker, die ohne die richtige Information vor der Maschine stehen.
Wir reden hier bewusst nicht über den Cloud-Copilot. Wenn Ihre Maschinen im Netz hängen und die Daten raus dürfen, ist die Architektur eines Field-Service-Copilot die einfachere Wahl. Dieser Artikel ist für den anderen Fall: kein Internet, keine Cloud, Wissen lokal am Gerät.
Was ein Service Techniker RAG offline genau ist
Ein Service Techniker RAG offline ist ein in sich geschlossenes System aus drei Bausteinen auf einem einzigen Gerät: ein quantisiertes Sprachmodell, ein lokaler Vektorindex über Ihre technische Dokumentation und eine Retrieval-Schicht, die beides verbindet. Kein API-Call verlässt das Gerät. Der Techniker fragt in normaler Sprache, das System sucht die passende Stelle im Handbuch und antwortet mit Quellenverweis.
Der Unterschied zur Cloud-Variante ist nicht nur „ohne Netz“. Es ist eine andere Architektur. Statt eines großen Modells im Rechenzentrum läuft ein kleines, hochoptimiertes Modell auf einem Industrie-Mini-PC oder einem robusten Tablet. Die Dokumente werden einmalig indexiert, danach ist das Gerät autark.
Diese drei Schichten machen den Bot aus:
- Inferenz-Schicht: Ein kleines LLM, lokal ausgeführt. In der Praxis Mistral 7B, Llama 3.2 (1B/3B) oder Google Gemma 3n — quantisiert auf 4 Bit, damit es in 4 bis 8 GB RAM passt.
- Wissens-Schicht: Ein lokaler Vektorindex (FAISS oder Chroma) über Ihre Handbücher, Schaltpläne, Wartungsprotokolle und Fehlercodes.
- Retrieval-Schicht: Holt bei jeder Frage die relevantesten Dokumentabschnitte und gibt sie dem Modell als Kontext mit. Das verhindert Halluzinationen — das Modell erfindet nichts, es zitiert.
Wenn Sie die Grundlagen von Retrieval-Architekturen für sperrige Technik-PDFs vertiefen wollen, haben wir die Grenzen von Standard-RAG bei technischen Dokumenten separat aufgeschrieben — Tabellen, Schaltpläne und Stücklisten brauchen mehr als naives Chunking.
So funktioniert die Offline-Pipeline technisch
Die Pipeline ist überschaubar, und genau das ist der Punkt: weniger bewegliche Teile heißt weniger, was im Feld kaputtgehen kann. Sie indexieren die Dokumente einmal, packen Modell plus Index auf das Gerät, fertig. Das Gerät braucht ab dann kein Netz mehr.
Hier der lauffähige Kern auf Basis von Ollama und einem lokalen Vektorindex. Das Modell wird einmalig gezogen (online), danach läuft alles offline:
# Einmalig: kleines, edge-taugliches Modell lokal ziehen (braucht einmal Internet)
ollama pull gemma3n:e4b # Google Gemma 3n, on-device-optimiert, multimodal
# Alternativ für sehr schwache Hardware:
# ollama pull llama3.2:1b # Llama 3.2 1B, läuft auf 4 GB RAM
# Embedding-Modell für den Wissensindex
ollama pull nomic-embed-text
# Ab hier ist KEIN Internet mehr nötig.Der Index-Aufbau und die Abfrage in Python — bewusst ohne Cloud-Abhängigkeit, alles lokal:
# Offline Service-Techniker-RAG: Index aufbauen + abfragen
# Läuft komplett lokal gegen Ollama auf 127.0.0.1, kein Cloud-Call.
import ollama, chromadb, pathlib
OLLAMA = "http://127.0.0.1:11434" # nur localhost, kein externer Endpoint
client = chromadb.PersistentClient(path="/opt/wissen_index") # Index liegt auf dem Gerät
col = client.get_or_create_collection("maschinen_doku")
def indexiere(ordner: str) -> None:
"""Liest alle Handbuch-Textchunks und legt sie als Vektoren lokal ab."""
for i, datei in enumerate(pathlib.Path(ordner).glob("*.txt")):
text = datei.read_text(encoding="utf-8")
# Embedding lokal berechnen (nomic-embed-text via Ollama)
vek = ollama.embeddings(model="nomic-embed-text", prompt=text)["embedding"]
col.add(ids=[str(i)], embeddings=[vek], documents=[text],
metadatas=[{"quelle": datei.name}])
def frage_an_maschine(frage: str) -> str:
"""Holt passende Doku-Stelle und lässt das lokale LLM mit Zitat antworten."""
q_vek = ollama.embeddings(model="nomic-embed-text", prompt=frage)["embedding"]
treffer = col.query(query_embeddings=[q_vek], n_results=3)
kontext = "n---n".join(treffer["documents"][0])
quelle = treffer["metadatas"][0][0]["quelle"]
prompt = (f"Beantworte die Technikerfrage NUR aus dem Kontext. "
f"Erfinde nichts. Nenne die Quelle.nn"
f"Kontext:n{kontext}nnFrage: {frage}")
antwort = ollama.chat(model="gemma3n:e4b",
messages=[{"role": "user", "content": prompt}])
return f"{antwort['message']['content']}nn(Quelle: {quelle})"
# Beispiel im Feld, ohne Netz:
print(frage_an_maschine("Fehlercode E47 an Achse 3 zurücksetzen?"))Auf Edge-Hardware sind unter zwei Sekunden Antwortzeit für komplexe Fragen mit Dokumentensuche realistisch, bei einem Speicherbedarf um 4 GB und 8 bis 12 Watt Leistungsaufnahme. Das läuft 24/7 in einer Werkshalle, lüfterlos, ohne Server im Rücken.
Unsere klare Empfehlung: Fangen Sie mit dem kleinsten Modell an, das Ihre Antwortqualität trägt. Viele Teams greifen reflexhaft zu einem 7B-Modell, obwohl ein Llama 3.2 3B für reine Doku-Fragen reicht — und das halbiert den Hardware-Bedarf.
Welche Hardware und welches Modell für die Werkshalle
Die kurze Antwort: ein lüfterloser Industrie-Mini-PC oder ein robustes Tablet mit 8 bis 16 GB RAM reicht für die meisten Fälle — eine dedizierte GPU brauchen Sie nur bei Bild-Eingaben oder vielen parallelen Nutzern. Wir sehen bei unseren Kunden, dass die Hardware selten der Engpass ist; die Doku-Qualität ist es.
Die Modellwahl hängt an der RAM-Grenze des Geräts. Diese Kombinationen funktionieren im Feld:
Google hat mit Gemma 3n eine Modellfamilie veröffentlicht, die explizit für On-Device-Einsatz mit Text, Bild und Audio gebaut ist und von Ollama, llama.cpp und Google AI Edge unterstützt wird. Für die Inferenz selbst ist llama.cpp (Stand 20.06.2026: Release b9741, rund 117.000 GitHub-Sterne) der De-facto-Standard auf CPU-Hardware. Im April 2026 hat das Projekt 1-Bit-Quantisierung (Q1_0) eingeführt — ein Schritt, der noch kleinere Modelle auf noch schwächerer Hardware ermöglicht.
Ein ehrlicher Hinweis: Quantisierung kostet Qualität. Ein 1-Bit-Modell ist ein Notnagel für extrem schwache Hardware, kein Standard. Für produktive Technik-Antworten raten wir zu 4-Bit als Untergrenze.
Was das in der Praxis bedeutet: Datensouveränität als harte Anforderung
In regulierten Branchen ist offline kein Komfort-Feature, sondern die Eintrittskarte. Ein Verteidigungszulieferer, ein KRITIS-Betreiber oder ein Pharma-Werk darf seine Anlagendokumentation nicht über eine US-Cloud schicken — Punkt. Der Wissensbot wird vollständig innerhalb der eigenen Systemlandschaft betrieben, weder Nutzerdaten noch technische Inhalte verlassen das Gerät.
Das ist auch der Grund, warum wir bei diesen Projekten konsequent auf Open-Weight-Modelle setzen statt auf eine gehostete API. Sie behalten die volle Kontrolle: Welches Modell, welche Daten, welche Updates — alles in Ihrer Hand. Wer den Cloud-freien Aufbau im Detail nachvollziehen will, findet in unserer Anleitung zu Private AI mit Ollama und Open WebUI den passenden Unterbau für eine On-Prem-Variante.
Der Wartungsaufwand ist der Preis dafür. Ein Offline-Gerät bekommt keine automatischen Updates. Sie brauchen einen Prozess, um neue Handbuch-Versionen einzuspielen — sonst zitiert der Bot irgendwann eine veraltete Anleitung. Das ist lösbar, aber es gehört von Anfang an mitgedacht. Unsere Empfehlung: ein quartalsweiser Sync per USB-Stick oder verschlüsseltem lokalem Netz, kein Dauer-Internet.
Kosten und Zeitrahmen
Ein Offline-Pilot ist günstiger, als die meisten erwarten — die Hardware kostet pro Gerät im niedrigen vierstelligen Bereich, der teure Teil ist die Aufbereitung der Dokumentation. Bei einem 15-köpfigen Service-Team rechnet sich das schnell: Jeder Prozentpunkt First-Time-Fix-Rate spart grob 1.000 USD pro Techniker und Jahr; ein Sprung von 75 auf 85 Prozent sind rund 150.000 USD weniger Zweitanfahrten jährlich.
Wir setzen das als 6-Wochen-Pilot auf: Woche 1-2 Dokumenten-Audit und Index-Aufbau, Woche 3-4 Modellauswahl und Tuning auf Ihrer Hardware, Woche 5-6 Feldtest mit echten Technikern. Am Ende steht ein laufendes Gerät, kein Foliensatz.
Häufig gestellte Fragen
Was kostet ein Service Techniker RAG offline?
Die Edge-Hardware liegt pro Gerät im niedrigen vierstelligen Eurobereich, ein lüfterloser Industrie-Mini-PC reicht meist. Der größere Posten ist die einmalige Aufbereitung Ihrer Dokumentation. Als 6-Wochen-Pilot bei Pexon bewegt sich das je nach Doku-Umfang im Rahmen typischer KI-Pilotbudgets von 50.000 bis 80.000 EUR — danach skaliert jedes weitere Gerät günstig.
Offline RAG oder Cloud-Copilot — was ist besser?
Kommt auf die Maschine an. Hängt sie zuverlässig im Netz und dürfen die Daten in die Cloud, ist ein Cloud-Copilot einfacher zu betreiben und zu aktualisieren. Steht sie im Funkloch, auf einem Schiff oder in einer regulierten Branche, ist offline die einzig funktionierende Option. Viele Kunden fahren beides parallel.
Welches LLM läuft offline an der Maschine?
In der Praxis kleine, quantisierte Modelle: Llama 3.2 (1B/3B) für reine Textfragen, Mistral 7B oder Gemma 3n für anspruchsvollere Doku. Alle laufen über Ollama oder llama.cpp lokal, 4-Bit-Quantisierung passt in 4 bis 8 GB RAM. Für Bild-Eingaben (Foto vom Schaden) braucht es ein multimodales Modell wie Gemma 3n.
Halluziniert der Bot, wenn er offline läuft?
Das Risiko ist dasselbe wie online und wird über die Retrieval-Schicht eingedämmt: Das Modell darf nur aus den gefundenen Dokumentabschnitten antworten und muss die Quelle nennen. Ein gut gebautes RAG-System mit Zitatpflicht erfindet keine Wartungsschritte — es sagt im Zweifel „nicht in der Doku gefunden“.
Wie aktualisiere ich die Dokumentation auf einem Gerät ohne Internet?
Über einen definierten Sync-Prozess, nicht über Dauer-Internet. In der Regel quartalsweise per verschlüsseltem USB-Stick oder einem lokalen Netz-Sync im Werk. Wichtig ist, dass der Index versioniert wird, damit Techniker nachvollziehen können, auf welchem Handbuchstand die Antwort basiert.
Nächster Schritt
Sie haben Maschinen in Hallen ohne Netz oder in einer Branche, in der die Doku das Werk nicht verlassen darf? Dann lohnt sich ein konkreter Use-Case statt einer Grundsatzdiskussion.
Pexon Consulting (80 Mitarbeiter, Deutschland, Microsoft- und AWS-Partner) baut Sovereign-AI- und RAG-Systeme as a Service. Den passenden Architektur-Rahmen für Cloud-freie Stacks finden Sie unter Deutschland-gehosteter AI-App-Stack, die RAG-Bausteine unter Advanced RAG Knowledge Bots.
