Private KI mit Ubuntu & Ollama: Fünf Open-Source-Bausteine für Unternehmen

Pexon Consulting – Aktualisiert am: 10.08.2026

TL;DR

Private KI auf Ubuntu mit Ollama, Open WebUI, Onyx, LM Studio und GPT4All lässt sich vollständig ohne Cloud-Anbieter betreiben – von einem 20-Euro-VPS für kleine Teams bis zum Enterprise-Rack mit mehreren GPUs. Der Artikel zeigt alle fünf Bausteine, eine Schritt-für-Schritt-Implementierung und ein Praxisbeispiel aus dem Maschinenbau.

Einleitung

Unternehmen zwischen 500 und 5 000 Mitarbeitenden stehen vor derselben Frage: Wie lässt sich generative KI schnell, sicher und kosteneffizient in die eigene IT-Landschaft integrieren – ohne Gefahr zu laufen, sensible Daten an fremde Cloud-Provider abzugeben? Ubuntu als de-facto-Standard im Server- und DevOps-Umfeld bietet zusammen mit dem Tool-Ökosystem rund um Ollama eine robuste Grundlage, um Large-Language-Modelle (LLMs) lokal zu betreiben. In diesem Beitrag beleuchten wir fünf quelloffene Komponenten, die zusammen einen vollständigen Stack für eine private KI bilden: Ollama, Open WebUI, Onyx, LM Studio und GPT4All. Sie erfahren, wie die Werkzeuge zusammenspielen, welche Vorteile sich für Compliance, Kosten und Latenz ergeben und wie Sie den Roll-out Schritt für Schritt umsetzen. Mit Ubuntu 26.04 LTS bringt Canonical zusätzlich optionale Inference Snaps mit, die gängige Modelle inklusive automatischer Hardware-Erkennung bereitstellen – ein zusätzlicher, wenn auch nicht zwingender Baustein neben dem hier beschriebenen Ollama-Stack.

Architekturüberblick: Warum Ubuntu + Ollama?

Ubuntu Server bietet einen stabilen LTS-Kernel, einen riesigen Paket-Pool und hervorragenden GPU-Support (CUDA, ROCm). Ollama wiederum verpackt LLMs in leichtgewichtige Container-Artefakte, die an Docker erinnern. Dadurch können Sie Modelle wie Llama 3.1, Mistral, Phi 3 oder Gemma 2 als „Images“ versionieren, ausrollen und bei Bedarf wieder zurückrollen. Die komplette Laufzeit bleibt auf Ihren eigenen Hosts; auch für Offline-Installationen genügt es, das Binär-Release zu kopieren und per Systemd als Dienst zu starten (github.com).

Takeaway

• Ubuntu LTS liefert stabilen Unterbau und GPU-Treiber.
• Ollama kapselt Modelle ähnlich wie Docker-Container.
• Versionierung ermöglicht reproduzierbare Deployments.
• Offline-Betrieb senkt Compliance-Risiken.

Ollama – der Modell-Container für LLMs

Ollama bildet den Kern des Stacks. Ein einzelner Befehl lädt, startet und served ein Modell:

curl -L https://ollama.ai/install.sh | bash ollama run llama3

Nach wenigen Sekunden lauscht der Dienst auf Port 11434 und akzeptiert HTTP-Requests im OpenAI-Format. Das CLI unterstützt Mehr-GPU-Setups und quantisierte Gewichte für RAM-arme Server.

Praxisbeispiel: Modell-Wechsel im laufenden Betrieb

ollama pull mistral ollama stop llama3 ollama run mistral –gpu 1

Ohne Downtime steht nun Mistral statt Llama bereit.

Takeaway

• Einfache Ein-Zeilen-Installation.
• OpenAI-kompatible API erleichtert Integration.
• Quantisierung spart bis zu 70 % RAM.
• Mehr-GPU-Scheduling erhöht Durchsatz.

Open WebUI – Self-Service-Portal für Teams

Während Ollama die Modelle bereitstellt, liefert Open WebUI eine komfortable Oberfläche für Enduser. Die React-basierte App unterstützt Mehrbenutzer-Login, Rollen, Chat-Verlauf, Dokumenten-Uploads und Plug-ins (z. B. ChromaDB für RAG). Installation wahlweise nativ oder in Docker-Compose:

services:   ollama:     image: ollama/ollama:latest     volumes:       – models:/root/.ollama   openwebui:     image: open-webui/open-webui:latest     ports: [„3000:8080“]     environment:       – OLLAMA_API_BASE_URL=http://ollama:11434

Die Oberfläche lässt sich komplett offline betreiben und bietet granulare Rechteverwaltung (github.com).

Takeaway

• Web-GUI demokratisiert KI-Zugriff für Fachabteilungen.
• Integrierte Nutzer- und Rollensteuerung.
• Upload-Funktion ermöglicht RAG-Workflows.
• Vollständig self-hosted, keine Telemetrie.

Onyx – Enterprise-Suche & Agenten

Onyx (ehemals Danswer) erweitert den Stack um semantische Suche in Unternehmensdokumenten. Über Konnektoren zu Google Drive, Confluence, GitHub und 40 weiteren Quellen baut Onyx einen Wissensgraphen, den es mit Ihrem bevorzugten LLM abfragt. Die Plattform ist MIT-lizenziert und kann on-premise skaliert werden (github.com).

git clone https://github.com/onyx-dot-app/onyx.git cd onyx && docker compose up -d

Agenten lassen sich pro Team definieren; Zugriffssteuerungen bleiben synchron zu LDAP oder SSO.

Takeaway

• Verbundsuche über heterogene Datenquellen.
• Agent-Framework für automatisierte Analysen.
• On-prem-Deployment erfüllt DSGVO-Auflagen.
• Open-Source-Lizenz erlaubt Code-Audit.

LM Studio – GUI & API-Server für Experimente

LM Studio ist eine Desktop-App (Linux, macOS, Windows) zum Herunterladen, Verwalten und Testen lokaler Modelle. Ab Version 0.3.5 läuft das Tool headless als Systemdienst und stellt eine OpenAI-kompatible API bereit. Damit eignet es sich als leichtgewichtige Playground-Umgebung für Entwickler oder für Edge-Deployments (lmstudio.ai).

Takeaway

• Integrierter Model-Catalog mit Hugging Face-Suche.
• Headless-Modus für CI/CD-Pipelines.
• API-Server ersetzt Cloud-Keys in Dev-Umgebungen.
• Ideal zum schnellen Feintuning kleiner Modelle.

GPT4All – 1 000+ Modelle ohne Cloud

Das GPT4All-Projekt paketiert über 1 000 offene Modelle für CPU- und GPU-Betrieb. Die Desktop-App bringt einen eingebauten HTTP-Server (OpenAI subset) und die „LocalDocs“-Funktion, um PDFs oder TXT-Dateien in eigene RAG-Sessions einzubinden. Keine Registrierung, keine Telemetrie; alles läuft lokal (github.com).

Takeaway

• Riesige Modell-Auswahl für Spezial-Domänen.
• LocalDocs verknüpft interne Dateien mit Chat.
• Läuft auf Standard-Laptops ohne GPU.
• API-Server kompatibel zu bestehenden Clients.

Die fünf hier vorgestellten Tools sind nicht die einzige Option. Alpaca ist ein GNOME-natives Ollama-Frontend (GTK4/Adwaita), das sich besonders gut in Ubuntu-Desktops integriert – eine schlanke Alternative für Einzelnutzer ohne Open-WebUI-Overhead. PyGPT deckt als plattformübergreifende Desktop-App zusätzlich mehrere Provider gleichzeitig ab (Ollama neben Cloud-APIs). Für multimodale Erweiterungen des Stacks lohnt sich zudem ein Blick auf Stable Diffusion beziehungsweise ComfyUI für lokale Bildgenerierung, die sich ebenso wie die Chat-Tools komplett offline betreiben lässt.

Vorteile einer privaten KI-Infrastruktur

Datenschutz & Compliance Daten verlassen nie das Unternehmensnetz; Audits belegen DSGVO-Konformität. Kosteneffizienz Einmalige Hardware-Investitionen ersetzen laufende API-Gebühren. Anpassbarkeit Feintuning auf proprietäre Daten erhöht Antwortqualität. Geringe Latenz & Offline-Fähigkeit Antwortzeiten unter 100 ms und Betrieb in isolierten Netzwerken. Sicherheit Open-Source-Code ermöglicht Code-Reviews und Schwachstellen-Scans.

Takeaway

• Vollständige Datenhoheit.
• Linear skalierende Kostenstruktur.
• Passgenaue Workflows statt SaaS-Lock-in.
• Erhöhte Verfügbarkeit auch ohne Internet.
• Nachweisbare Sicherheit durch Open-Source-Audits.

Schritt-für-Schritt-Implementierung auf Ubuntu

Bevor Sie in Enterprise-Hardware investieren: Für kleine Teams oder erste Tests reicht oft ein einfacher VPS. Ein CPU-only-VPS (zum Beispiel bei Hetzner) für kleinere Modelle wie Mistral Nemo 12B oder Llama 3.1 8B liegt bei etwa 15 bis 25 Euro pro Monat – ausreichend, um den Stack kennenzulernen, bevor eine größere Investition ansteht. Erst wenn mehrere Teams parallel arbeiten oder größere Modelle (70B+) produktiv laufen sollen, wird dedizierte GPU-Hardware relevant.

1. Hardware sizing Starten Sie mit einem Workstation-Server: AMD Threadripper Pro, 128 GB RAM, zwei RTX 6000 Ada. 2. Basis-Setup

sudo apt update && sudo apt install -y docker.io nvidia-container-toolkit sudo systemctl enable –now docker

3. Ollama installieren Entweder via .deb-Paket oder Binary; anschließend Systemd-Unit anlegen. 4. Open WebUI anbinden Docker-Compose nutzen, interne URL freigeben. 5. Onyx integrieren Docker-Stack deployen, Konnektoren konfigurieren, Indizierung starten. 6. Monitoring & Observability Prometheus + Grafana; GPU-Metriken via NVML-Exporter. 7. CI/CD Helm-Charts für alle Komponenten; GitHub Actions triggert Rolling-Update.

Takeaway

• Klare Trennung von Basis-OS und Containern.
• GPU-Treiber vor Deployment validieren.
• Automatisierte Tests sichern Modell-Updates ab.
• Monitoring deckt Bottlenecks früh auf.

Claude Code lokal via Ollama

Derselbe Ollama-Server, den Sie für Open WebUI und Onyx betreiben, lässt sich auch für Claude Code nutzen – Anthropics Coding-Agent für das Terminal. Über die Umgebungsvariablen ANTHROPIC_BASE_URL=http://localhost:11434 und ANTHROPIC_AUTH_TOKEN=ollama routet Claude Code seine Anfragen an Ihren lokalen Server statt an Anthropics Cloud-API – offiziell von Ollama dokumentiert. Das lokale Modell braucht dafür mindestens 32K Context-Window, damit die agentischen Workflows (Dateien lesen, Code durchsuchen) funktionieren. Mehr zum Setup von Claude Code selbst in unserem Claude Code Tutorial.

Praxisbeispiel: Q&A für Maschinenbau und Wartung von Bauteilen

Die Instandhaltungsabteilung legt Wartungshandbücher, 3D-Zeichnungen und Sensorprotokolle zentral auf einem internen SharePoint ab. Onyx zieht diese Dokumente, erstellt einen Vektorindex und stellt einen spezialisierten Wartungs-Agenten bereit. Ein Servicetechniker fragt: „Welches Anzugsdrehmoment gilt für die Lagerwelle der Pumpe PX-240 nach 10 000 Betriebsstunden?“ Der Agent durchsucht Handbücher und Wartungsprotokolle, extrahiert die relevante Tabelle und lässt Llama 3.1 über Ollama die präzise Antwort formulieren. Ergebnis: Die Suche verkürzt sich von 30 Minuten auf unter 2 Minuten, Ausfallzeiten werden messbar reduziert.

Takeaway

• Semantische Suche ersetzt das manuelle Durchforsten hunderter PDF-Seiten.
• Der Wartungs-Agent beachtet Rollen & Zugriffsrechte (z. B. OEM-Daten nur für Senior-Techniker).
• Schnellere Antworten reduzieren Stillstandszeiten und Servicekosten.
• Mitarbeitende gewinnen Zeit für wertschöpfende Tätigkeiten und steigern die Anlagenverfügbarkeit.

Herausforderungen & Best Practices

Modell-Governance Definieren Sie Freigabeprozesse für neue Modelle und Versionen. Datensicherheit Verschlüsseln Sie Modell-Gewichte im Ruhezustand; nutzen Sie Hardware-TPM. Skalierung Setzen Sie auf horizontales Sharding statt monolithischer GPUs. Change-Management Schulen Sie Fachbereiche frühzeitig; Pilotprojekte reduzieren Widerstand.

Takeaway

• Klare Ownership-Rollen halten Modell-Zoo übersichtlich.
• Verschlüsselung schützt IP bei Diebstahl.
• Sharding vermeidet hohe CAPEX pro GPU.
• Training und Pilotphasen sichern Akzeptanz.

Ausblick 2026+

Mit zunehmender RAM-Dichte (CXL 3.0) und sparsamen GPU-Architekturen (NVIDIA Blackwell) wird es möglich sein, 70-B-Modelle auf einem einzigen Rack-Server zu betreiben. Projekte wie vLLM und TensorRT-LLM integrieren sich bereits in Ollama 2.0. Unternehmen, die heute in eine private KI-Plattform investieren, schaffen die Grundlage, um in zwei Jahren multimodale Modelle (Text, Bild, Audio) intern zu hosten.

Takeaway

• Hardware-Roadmap begünstigt noch größere Modelle on-prem.
• Software-Ökosystem konsolidiert sich um Open-Standards.
• Frühstarter profitieren von Lernkurven-Effekten.

Häufig gestellte Fragen

Was kostet eine private KI-Infrastruktur mit Ubuntu und Ollama?

Das hängt von der Nutzung ab: Ein einfacher VPS für kleine Teams startet bei etwa 20 Euro pro Monat, ein Enterprise-Setup mit mehreren GPUs (wie im Artikel beschrieben) bewegt sich im Bereich mehrerer Zehntausend Euro für die Erstinvestition plus laufende Stromkosten. Der Vorteil gegenüber ChatGPT Team: Die Kosten wachsen nicht linear mit der Nutzerzahl, sondern bleiben nach der Investition weitgehend konstant.

Brauche ich zwingend eine GPU?

Nein. GPT4All und kleinere Modelle über Ollama laufen auch auf CPU-only-Systemen, wenn auch langsamer. Für produktiven Einsatz mit mehreren gleichzeitigen Nutzern oder größeren Modellen (30B+) wird eine GPU aber schnell zur spürbaren Verbesserung bei Antwortzeiten.

Ist Ollama auf Ubuntu DSGVO-konform?

Der Betrieb selbst ist DSGVO-konform, weil alle Daten im eigenen Netz verbleiben und Ollama keine Telemetrie an Dritte sendet. Verantwortlich bleiben Sie trotzdem für die üblichen Punkte: Zugriffskontrolle, Verschlüsselung der Modell-Gewichte im Ruhezustand und ein dokumentiertes Berechtigungskonzept für die angebundenen Tools wie Onyx.

Wie unterscheidet sich das von ChatGPT oder anderer Cloud-KI?

Der zentrale Unterschied ist der Datenverbleib: Bei Ollama auf eigener Hardware verlässt kein Prompt und keine Antwort Ihr Netzwerk. Bei ChatGPT oder anderen Cloud-Diensten werden Anfragen an US-Server übertragen. Dafür sind Cloud-Modelle in der Regel leistungsfähiger bei sehr komplexen Aufgaben, während lokale Modelle bei Standardanfragen inzwischen gut mithalten.

Kann ich Claude Code mit dem lokalen Ollama-Server verbinden?

Ja, über die Umgebungsvariable ANTHROPIC_BASE_URL, die Claude Code auf Ihren lokalen Ollama-Endpoint statt auf Anthropics Cloud-API umleitet. Details dazu im Abschnitt „Claude Code lokal via Ollama“ weiter oben.