          Private AI · On-Premise LLM        

Firmeneigene KI-Plattform on-premise und souverän

Für KRITIS, Berufsgeheimnisträger und den datensensiblen Mittelstand: eine Sovereign-AI-Plattform, die Open-Source-LLMs on-premise oder in der EU-Cloud betreibt. Ihre Daten verlassen Ihre Infrastruktur nicht.

Kurz gesagt

Eine firmeneigene KI-Plattform (Sovereign AI) betreibt Open-Source-Sprachmodelle wie Llama, Mistral oder Qwen auf Ihren eigenen GPU-Servern oder in einer EU-Cloud, hinter einer OpenAI-kompatiblen Schnittstelle. Prompts und Antworten verlassen Ihre Infrastruktur nicht, es findet kein Training auf Ihren Daten statt. Laut Gartner wollen 75 Prozent der europäischen Unternehmen bis 2030 Workloads in souveräne Umgebungen zurückholen. Pexon baut und betreibt die Plattform, on-premise oder in der EU-Region.

vLLM & LiteLLM

On-Premise oder EU-Region

Kein Training auf Ihren Daten

Microsoft Solutions Partner (Digital & App Innovation, Infrastructure Azure, Data & AI Azure), ISO/IEC 27001, Google Cloud Partner, AWS Partner

Jetzt Kontakt aufnehmen
Alle Private-AI-Lösungen

Warum Public-API-KI über US-Anbieter teuer wird

Öffentliche KI-APIs schicken Ihre Prompts an US-Anbieter. Laut TechRepublic 2026 zweifeln 44 Prozent der europäischen Organisationen, ob ihr Cloud-Anbieter Datensouveränität wirklich garantieren kann, der höchste Wert aller Regionen. Die Anwendungsschicht mit Chat, Gateway und Ownership bleibt die Open-Source-KI-Plattform, On-Premise ist die Laufzeit darunter.

US CLOUD Act greift durch

US-Anbieter sind gesetzlich verpflichtbar, auch in der EU gespeicherte Daten herauszugeben. Nach Schrems II gilt das als nicht DSGVO-adäquat.

Keine Kontrolle über Modell und Daten

Sie wissen nicht sicher, ob Eingaben zum Training genutzt werden, und Modelle ändern sich ohne Vorwarnung.

Compliance blockiert Use-Cases

KRITIS, Berufsgeheimnisträger nach § 203 StGB und streng vertrauliche Daten dürfen oft gar nicht in die Public Cloud.

Was eine firmeneigene KI-Plattform messbar bringt

Souveränität ist der eine Treiber, Effizienz der andere. Die technischen Zahlen stammen aus dem vLLM-Projekt und aus Benchmarks von Red Hat und Spheron.

bis 24× Durchsatz

mit vLLM gegenüber naivem HuggingFace-Transformers-Serving · vLLM-Projekt

unter 4 % KV-Cache-Verlust

PagedAttention statt 60 bis 80 Prozent, also mehr parallele Nutzer pro GPU · vLLM, SOSP 2023

75 % zurück zur Souveränität

der europäischen Unternehmen holen bis 2030 Workloads in souveräne Umgebungen · Gartner

0 Byte Datenabfluss

self-hosted verlassen Prompts und Antworten Ihre Infrastruktur nicht · Architektur-Prinzip

Ab wann sich Eine firmeneigene KI-Plattform lohnt

Eine firmeneigene KI-Plattform lohnt sich, sobald Ihr Volumen hoch und konstant ist oder Datenschutz und Souveränität nicht verhandelbar sind (KRITIS, § 203, streng vertrauliche Daten).

hohes Volumen

ab grob 100 bis 500 Mio. Tokens pro Monat wirtschaftlich

KRITIS / § 203

Daten dürfen die EU oder das Haus nicht verlassen

> 5 Nutzer

parallele Produktionslast, nicht nur Einzelabfragen

Anwendungsbeispiele

Use Case 01

Tracify: self-hosted statt Public-API

Tracify setzt auf eine self-hosted Inferenz-Plattform, statt Kundendaten an öffentliche KI-APIs zu geben.

Datenhoheit ohne externen API-Abfluss

Use Case 02

Berufsgeheimnisträger: KI im Haus

Ein Haus mit besonders schützenswerten Daten (anonymisiert) betreibt LLMs on-premise, damit Mandanten- und Personendaten das Haus nicht verlassen.

§ 203-konforme KI-Nutzung ohne Datenabfluss

Use Case 03

OpenAI-kompatible Schnittstelle

Bestehende Anwendungen sprechen die Plattform über die gewohnte OpenAI-API an, das Modell dahinter ist austauschbar.

Drop-in ohne Client-Umbau

Use Case 04

vLLM und llama.cpp hinter einem Gateway

vLLM bedient GPU-Last mit hohem Durchsatz, llama.cpp deckt GGUF-Modelle und CPU/GPU-Hybrid ab, LiteLLM routet beide.

Ein Gateway für mehrere Backends

Integration in Ihre Umgebung

Passt das in Ihre Landschaft? Die Plattform spricht die OpenAI-API, die Ihre Anwendungen ohnehin nutzen.

Betriebsmodell

On-Premise GPU · eigene A100 oder H100, 70B-Modelle brauchen 80 GB VRAM

EU-Cloud · AWS Bedrock in Frankfurt mit PrivateLink, EU-Data-Residency

Hybrid · sensible Daten lokal, Spitzenlast in der EU-Cloud

Schnittstellen und Modelle

OpenAI-kompatible API · /v1/chat/completions und /v1/embeddings, Drop-in für jedes OpenAI-SDK

Open-Source-Modelle · Llama, Mistral, Qwen, DeepSeek, nach Lizenz und Use-Case

Ein Container · vLLM, LiteLLM und llama.cpp in einem Deployment

Wie die KI-Plattform funktioniert

1

Architektur-Call

Datenklasse, Volumen und Compliance-Anforderung klären.

2

Betriebsmodell wählen

On-Premise-GPU, EU-Cloud oder Hybrid, nach Datenklasse.

3

Modell benchmarken

Llama, Mistral, Qwen oder DeepSeek für Ihren Use-Case testen.

4

Gateway aufsetzen

vLLM und LiteLLM mit Modell-Routing und GPU-Memory-Management.

5

Integration

Ihre Anwendungen sprechen die gewohnte OpenAI-API, kein Client-Umbau.

6

Betrieb

Updates, Security-Patches und Skalierung, im Betriebsvertrag oder als Enablement.

Erfahren Sie mehr über die vLLM- und Ollama-Konfiguration

Warum Pexon statt Inhouse-Entwicklung

Public API weiter nutzen

–Daten verlassen das Haus, der US CLOUD Act greift

–Kein Einfluss auf Modell-Änderungen und Training

–Compliance-Use-Cases bleiben blockiert

Selbst hosten, komplett inhouse

–Self-Hosting kostet real das 3- bis 5-fache des reinen GPU-Preises

–DevOps, Updates und Skalierung binden ein Team

–fehlende vLLM- und Serving-Erfahrung kostet Durchsatz

Mit Pexon

✓Setup ab 35.000 EUR, GPU und Betrieb transparent getrennt

✓Erfahrung mit vLLM, LiteLLM und Modell-Auswahl

✓On-Premise, EU-Cloud oder Hybrid, ehrlich nach Bedarf

In vier Phasen zur produktiven Lösung

Woche 1

Architektur

Datenklassen, Volumen und Betriebsmodell festlegen. Sie liefern die Anforderungen.

Woche 2 bis 4

Setup

vLLM- und LiteLLM-Gateway, Modell-Deployment, GPU-Memory-Management.

Woche 4 bis 6

Integration

Anbindung Ihrer Anwendungen über die OpenAI-API, Benchmarks für Ihren Use-Case.

laufend

Betrieb

Updates, Patches und Skalierung, oder Enablement Ihres Teams.

Pilot zum Festpreis

Der Einstieg ist ein vLLM-basiertes Inferenz-Setup. Der Preis deckt Architektur, Deployment und Konfiguration; GPU-Hardware und laufender Betrieb kommen transparent obendrauf.

Ihre Investition

ab 35.000 EUR

vLLM-Setup · kombinierte Config ab 50.000 EUR

Enthält:

vLLM-Setup ab 35.000 EUR · Architektur, Deployment, Modell-Auswahl und Gateway-Config

Ollama/vLLM-Config ab 50.000 EUR · kombiniertes Setup mit Gateway und Modell-Routing

GPU und Betrieb separat · H100-Kauf ab rund 30.000 EUR oder Miete ab 1,50 bis 3,50 USD pro GPU-Stunde, Wartung optional im Betriebsvertrag

Jetzt Kontakt aufnehmen

100% unverbindlich mit echtem Mehrwert

Häufige Fragen

Was ist eine firmeneigene KI-Plattform (Sovereign AI)?

Eine firmeneigene KI-Plattform betreibt Open-Source-Sprachmodelle wie Llama, Mistral oder Qwen auf Ihren eigenen GPU-Servern oder in einer EU-Cloud, hinter einer OpenAI-kompatiblen Schnittstelle. Prompts und Antworten bleiben in Ihrer Infrastruktur, es findet kein Training auf Ihren Daten statt. Modell und Betriebsmodell wählen Sie selbst.

vLLM oder Ollama, was passt zu uns?

Ollama eignet sich für Single-User und Prototypen, vLLM ab etwa fünf parallelen Nutzern und Produktionslast. Unter Concurrency erreicht vLLM ein Vielfaches des Durchsatzes durch Continuous Batching, während Ollama Anfragen sequenziell abarbeitet. Wir wählen nach Nutzerzahl, SLA und vorhandener Hardware.

Was kostet ein On-Premise- oder Sovereign-AI-Setup?

Ein vLLM-basiertes Inferenz-Setup startet ab 35.000 EUR, eine kombinierte Ollama/vLLM-Konfiguration mit Gateway und Modell-Routing ab 50.000 EUR. Das ist der einmalige Projektpreis für Architektur, Deployment und Konfiguration. GPU-Hardware (Kauf ab rund 30.000 EUR pro H100, oder Miete) und laufender Betrieb kommen obendrauf.

On-Premise-GPU oder Sovereign Cloud, was passt zu uns?

On-Premise-GPU gibt maximale Kontrolle und lokale Datenhaltung, bindet aber Kapital und Betriebs-Know-how. Sovereign Cloud wie AWS Bedrock in Frankfurt mit PrivateLink hält Daten in der EU-Region und ist schneller startklar, bleibt aber ein US-Anbieter und damit theoretisch im Zugriff des US CLOUD Act. Wir wählen nach Datenklasse und Volumen.

Wann lohnt sich On-Premise NICHT?

Bei kleinen Volumina rechnet sich Self-Hosting nicht. Unter grob 100 bis 500 Mio. Tokens pro Monat sind gehostete APIs günstiger, sobald man GPU-Invest, DevOps und Wartung einrechnet, denn Self-Hosting kostet real das 3- bis 5-fache des reinen GPU-Preises. Dann empfehlen wir bewusst die API oder Sovereign Cloud.

Welches Modell, und bleiben unsere Daten wirklich lokal?

Mistral und Qwen stehen unter Apache 2.0, DeepSeek unter MIT, Llama unter Metas Community License, alle kommerziell nutzbar. Bei self-hosted Betrieb verlassen Prompts und Antworten Ihre Infrastruktur nicht, und es findet kein Training auf Ihren Daten statt. Wir benchmarken das passende Modell für Ihren Use-Case.

Firmeneigene KI-Plattform? Starten Sie mit einem Architektur-Call.

In einem kurzen Call klären wir Datenklasse, Volumen und ob On-Premise, EU-Cloud oder Hybrid passt, ehrlich auch dann, wenn eine API für Sie günstiger wäre.

Jetzt Kontakt aufnehmen

Nachricht senden

Kein passender Termin? Schreiben Sie uns, wir melden uns innerhalb von 24 Stunden.

Antwort innerhalb von 24 Stunden

Unverbindliches Erstgespräch

Persönlicher Ansprechpartner

Phillip Pham

CEO @ Pexon Consulting

Aktualisiert am 13. Juli 2026

Sie suchen einen Partner für Ihr Projekt?

Wir analysieren Ihren individuellen Bedarf, geben erste Empfehlungen zu Umsetzungsstrategien und bieten Ihnen transparente Einblicke in unsere Methoden, Technologien und Referenzen.

Vertrieb kontaktieren

400+Projekte seit 2020

100+Kunden im DACH-Raum

ISO27001 zertifiziert

3Hyperscaler Partner