KI-Hosting aus Deutschland: multimodal auf 4x A100 2026

Pexon Consulting | 10 Min. Lesezeit | 15.07.2026

TL;DR

KI-Hosting aus Deutschland bedeutet, ein leistungsfähiges Sprachmodell im deutschen Rechenzentrum zu betreiben, unter deutscher Kontrolle und ohne US-Zugriff. Ein multimodales Open-Weight-Modell wie Qwen3-VL-32B bedient auf 4x A100 rund 50 bis 60 gleichzeitige Nutzer mit Text, Bild und Dokument. Pexon Consulting baut diese Referenzarchitektur DSGVO-konform als 6-Wochen-Pilot.

Warum Datenresidenz allein noch kein deutsches KI-Hosting ist

Die kurze Antwort: Ein Server in Frankfurt ist der Anfang, nicht das Ziel. Viele Anbieter werben mit einem EU-Rechenzentrum und meinen damit Datenresidenz. Das reicht regulierten Häusern nicht. Solange der Betreiber oder ein US-Mutterkonzern technisch auf die Daten zugreifen kann, bleibt die Kontrolle unvollständig.

Echtes KI-Hosting aus Deutschland heißt: Das Modell läuft auf Hardware, die Sie oder ein deutscher Partner kontrollieren, die Gewichte liegen bei Ihnen, und kein Prompt verlässt die Umgebung. Genau deshalb setzen wir bei souveränen Aufbauten auf offene Modelle statt auf eine fremde API. Wie das im gesamten Anwendungs-Stack aussieht, bündeln wir unter Deutschland-gehostetem AI-App-Stack. Unsere klare Position: Wer Anwaltsdaten, Patientenakten oder Konstruktionsdaten verarbeitet, kauft mit einer US-API ein Risiko, das kein Rabatt aufwiegt.

Das richtige Modell: multimodal und offen

Der häufigste Irrtum in Anfragen ist die Modellbezeichnung. Ein reines Textmodell reicht nicht, wenn Rechnungen, Pläne oder Fotos verarbeitet werden sollen. Gefragt ist ein multimodales Modell, das Text, Bild und Dokument versteht.

In der Praxis ist Qwen3-VL-32B hier 2026 eine starke Wahl. Das Modell kam im Oktober 2025, ist unter Apache 2.0 frei nutzbar, verarbeitet Text, Bilder und Video in einem nativen 256.000-Token-Fenster und liegt mit 32 Milliarden Parametern in einer Klasse, die auf vier GPUs sauber läuft. Am Rande zur Klarstellung: Ein Modell namens Qwen 27B existiert nicht, gemeint ist fast immer Qwen3-VL-32B oder das ebenfalls multimodale Gemma 3 27B. Welches offene Modell für welchen Zweck passt, haben wir im Beitrag zu Open-Source-KI im Unternehmen gegenübergestellt. Wir raten davon ab, blind das größte Modell zu nehmen. Ein 32B-Modell mit Vision trifft für die meisten Unternehmensfälle den besseren Punkt aus Qualität, Latenz und Hardware-Bedarf als ein 235B-Koloss.

Die Referenzarchitektur: 60 Nutzer auf 4x A100

Vier A100 mit je 80 GB tragen ein 32B-Multimodalmodell für rund 50 bis 60 gleichzeitige Nutzer. Das Modell wird per Tensor-Parallelismus über die vier GPUs verteilt, die Inferenz läuft über vLLM ab Version 0.11, das mit PagedAttention viele Anfragen gleichzeitig batcht. In Summe sind so grob 1.600 Token pro Sekunde drin, genug für 50 bis 60 Leute, die nicht alle in derselben Sekunde tippen.

# Qwen3-VL-32B multimodal auf 4x A100 mit vLLM serven
vllm serve Qwen/Qwen3-VL-32B-Instruct 
  --tensor-parallel-size 4           # ein Modell über 4 GPUs verteilen
  --gpu-memory-utilization 0.90      # KV-Cache für viele parallele Nutzer
  --limit-mm-per-prompt image=4      # Bilder pro Anfrage begrenzen
  --max-model-len 32768               # Kontext auf sinnvolles Maß, spart Speicher

Davor gehört ein Interface, damit die Fachabteilung das ohne Kommandozeile nutzt, in der Regel Open WebUI mit Anbindung an die interne Nutzerverwaltung. Die 256.000 Token native Kontextlänge nutzen wir bewusst nicht voll aus, weil ein zu großes Kontextfenster den Speicher für parallele Nutzer auffrisst. In der Praxis ist ein begrenzter Kontext plus gutes Retrieval fast immer die stabilere Wahl als das Maximum.

Was das kostet und wann es sich rechnet

Ehrlich: Vier A100 sind kein kleiner Posten, aber die Rechnung dreht sich mit der Nutzung. Ob gemietet im deutschen Rechenzentrum oder gekauft, ab einem gewissen Anfragevolumen ist die fixe Hardware günstiger und vor allem planbarer als eine Token-Abrechnung, die mit jedem neuen Anwendungsfall steigt. Genau diese Kostenkontrolle ist neben dem Datenschutz das zweite starke Argument, das wir in Projekten hören.

Der Aufwand steckt nicht im Modell, sondern im Betrieb: GPU-Bereitstellung, Skalierung, Monitoring, Nutzerverwaltung und der DSGVO-konforme Rahmen. Wir setzen das als 6-Wochen-Pilot auf einer abgegrenzten Nutzergruppe auf. In den ersten zwei Wochen steht das Modell auf den GPUs, danach das Interface und die Anbindung, am Ende der Lasttest mit echten Nutzern. Wer die GPU-Auswahl selbst schärfen will, findet die Details in unserer Einordnung zur KI-Infrastruktur.

Häufig gestellte Fragen

Was kostet KI-Hosting aus Deutschland?

Der Kostentreiber sind die vier A100-GPUs, ob gemietet oder gekauft. Ein Pilot mit Modell, Interface und DSGVO-Rahmen liegt im mittleren fünfstelligen Bereich, der laufende Betrieb ist planbar und steigt nicht pro Token. Ab mittlerem Anfragevolumen schlägt das die US-API-Abrechnung deutlich.

Reicht ein deutsches Rechenzentrum für DSGVO-Konformität?

Nicht allein. Der Standort ist die Voraussetzung, nicht die Lösung. Souverän wird das Hosting erst, wenn die Modellgewichte bei Ihnen liegen, kein Prompt die Umgebung verlässt und kein Anbieter technisch mitlesen kann. Ein US-Anbieter mit deutschem Rechenzentrum erfüllt das oft nicht.

Welches Modell für Text und Bild aus Deutschland?

Ein multimodales Open-Weight-Modell wie Qwen3-VL-32B oder Gemma 3 27B. Beide verstehen Text und Bild, sind frei lizenziert und laufen selbst gehostet. Ein reines Textmodell scheidet aus, sobald Dokumente, Scans oder Fotos verarbeitet werden sollen.

Wie viele Nutzer schafft eine 4x-A100-Maschine?

Für ein 32B-Multimodalmodell sind rund 50 bis 60 gleichzeitige Nutzer realistisch, abhängig von Kontextlänge und Anfragemuster. Mehr Nutzer skalieren über weitere GPU-Knoten oder ein kleineres Modell. Nicht jeder Nutzer sendet gleichzeitig, das Batching von vLLM fängt Spitzen ab.

KI aus Deutschland hosten oder Azure OpenAI in der EU nutzen?

Kommt auf die Anforderung an. Wer volle Kontrolle und kein Anbieter-Zugriffsrisiko will, hostet selbst. Wer eine gemanagte Lösung mit EU-Datenzone akzeptiert, kann Azure OpenAI in EU Data Zones nutzen, die Abwägung haben wir in einem eigenen Beitrag beschrieben.

Nächster Schritt

Wenn Sie KI aus Deutschland betreiben wollen, schauen wir uns Ihre Anwendungsfälle, das nötige Modell und die Nutzerzahl an und dimensionieren die Hardware passend, statt Sie in ein zu großes oder zu kleines Setup zu drängen.

Verwandte Themen