Öffentliche Verwaltung · Digitale Souveränität
Open-Source-LLM für die öffentliche Verwaltung: KI mit digitaler Souveränität
Kurz gesagt
Ein Open-Source-LLM ist ein KI-Modell mit offenen Gewichten, das Sie selbst betreiben, statt eine fremde Cloud-API aufzurufen. Pexon Consulting betreibt offene Modelle wie Llama, Mistral oder Qwen für Behörden und Kommunen, on-premise oder im souveränen deutschen Rechenzentrum, ohne dass Bürger- oder Verfahrensdaten das Land verlassen. Das folgt der Linie des Bundes zur digitalen Souveränität. Datenschutz ist laut Bitkom 2026 mit 77 Prozent die größte Hürde bei der Digitalisierung.
Deutsches Rechenzentrum & On-Premise
Herstellerunabhängig
Keine Bürgerdaten in US-Clouds
Warum KI aus der US-Cloud in Behörden teuer wird
85 Prozent der deutschen Firmen halten die Abhängigkeit von US-Cloud-Anbietern laut Bitkom für zu hoch. In der Verwaltung wiegt das schwerer, denn Bürger- und Verfahrensdaten unterliegen strengem Datenschutz, geraten über US-Dienste aber unter den US Cloud Act. KI in der Verwaltung ist nur tragfähig, wenn sie DSGVO-konform bleibt.
Rechtsrisiko Cloud Act bei Bürgerdaten
US-Anbieter müssen Daten auf behördliche Anordnung herausgeben, auch bei einem Rechenzentrum in Frankfurt. Für personenbezogene Bürgerdaten ist das mit der DSGVO kaum vereinbar, und ein Auftragsverarbeitungsvertrag löst es nicht.
Abhängigkeit statt Souveränität
Der Bund verfolgt mit ZenDiS und openDesk gezielt digitale Souveränität. Wer KI über eine geschlossene US-API bezieht, baut neue Abhängigkeit auf, statt sie abzubauen.
Intransparente Verarbeitung
Bei geschlossenen Modellen bleibt unklar, wie Eingaben verarbeitet und ob sie zum Training genutzt werden. Für die Nachvollziehbarkeit, die Verwaltungshandeln verlangt, ist das ein Problem.
Ihre Vorteile in Zahlen
Die Zahlen stammen teils aus Marktstudien, teils aus dem Betrieb. Sie zeigen, warum offene Modelle für die Verwaltung passen.
100 % Datenhoheit
Offene Modelle laufen vollständig in Ihrer Umgebung oder im deutschen Rechenzentrum. Kein Bürger- und kein Verfahrensdatensatz erreicht einen externen Anbieter. (Architekturprinzip)
~3 Monate Rückstand auf Frontier
Offene Modelle holen den Rückstand auf die besten geschlossenen Modelle laut MIT-Sloan-Analyse binnen rund drei Monaten auf. Für Verwaltungsaufgaben sind sie längst tragfähig. (MIT Sloan / Georgia Tech 2026)
6× günstiger pro Token
Geschlossene Modelle kosten pro Token im Schnitt rund das Sechsfache offener Alternativen. Bei knappen Haushalten zählt der planbare Fixpreis. (MIT Sloan / Georgia Tech 2026)
seit 2022 Open-Source-Strategie des Bundes
Mit ZenDiS treibt der Bund seit 2022 Open-Source in der Verwaltung. Offene Modelle liegen damit auf einer Linie mit der Strategie zur digitalen Souveränität. (ZenDiS / Bund)
Ab wann sich ein eigenes Open-Source-LLM lohnt
Ein eigenes Open-Source-LLM lohnt sich, sobald Sie mit Bürger- oder Verfahrensdaten arbeiten, digitale Souveränität eine Vorgabe ist oder mehrere Fachbereiche KI nutzen sollen.
ab 50
Beschäftigte sollen KI nutzen
0
Bürgerdaten dürfen abfließen
1
Verfahren mit sensiblen Daten reicht
Anwendungsbeispiele
Use Case 01
Bürgeranfragen beantworten
Eine Kommune lässt ein offenes Modell Anfragen zu Formularen, Fristen und Zuständigkeiten beantworten, per RAG auf den eigenen Amtsinhalten.
Schnellere Auskunft, die Sachbearbeitung wird entlastet.
Use Case 02
Aktenrecherche und Zusammenfassung
Sachbearbeiter lassen umfangreiche Vorgänge und Bescheide zusammenfassen und durchsuchen, ohne Akten an eine externe Cloud zu geben.
Minuten statt Stunden für die Vorgangsrecherche.
Use Case 03
Entwürfe und Schriftverkehr
Fachbereiche lassen Bescheid- und Antwortentwürfe erstellen, die finale Freigabe bleibt beim Menschen.
Routine-Schriftverkehr beschleunigt, die Verantwortung bleibt in der Verwaltung.
Use Case 04
Barrierearme und mehrsprachige Auskunft
Ein offenes Modell vereinfacht Verwaltungstexte in einfache Sprache und übersetzt sie in mehrere Sprachen.
Bessere Erreichbarkeit, ohne Daten aus der Hand zu geben.
Integration in Ihre Umgebung
Passt ein offenes Modell in Ihre IT-Landschaft? In der Regel ja, über Standard-Schnittstellen.
Betrieb und Infrastruktur
On-Premise · Im eigenen Rechenzentrum der Verwaltung, GPU-Sizing nach Last und Modellgröße.
Souveränes deutsches RZ · Managed in einem ISO-27001-zertifizierten deutschen Rechenzentrum, die Daten bleiben im Land.
OpenAI-kompatibel · Bereitstellung über vLLM mit OpenAI-kompatibler API, bestehende Fachanwendungen sprechen das Modell ohne Umbau an.
Modelle und Daten
Modellauswahl · Llama, Mistral, Qwen, Gemma oder ein europäisches Modell, je nach Aufgabe, Sprache und Lizenz.
RAG auf Amtsdaten · Anbindung an DMS, Fachverfahren oder Fileshares über Retrieval, ohne die Quellen zu kopieren.
Rollen und Protokoll · Anbindung an vorhandene Verzeichnisdienste, Zugriff pro Rolle, Audit-Log für die Nachvollziehbarkeit.
Wie eine souveräne KI mit offenen Modellen funktioniert
1
Assessment
Wir sichten Verfahren, Datenklassen und Last und wählen die passenden Modelle.
2
Modellauswahl
Das beste offene Modell je Aufgabe, Sprache und Lizenz, statt eines Anbieters für alles.
3
Souveräne Plattform
vLLM-Serving im eigenen oder deutschen Rechenzentrum, OpenAI-kompatibler Endpoint, Monitoring.
4
Zugriff und Protokoll
Anbindung an Verzeichnisdienste, Rollen und Rate-Limits, Audit-Log für jede Anfrage.
5
Fachverfahren anbinden
RAG, Assistent oder Agent auf Amtsdaten, mit Confidence-Schwellen und definiertem Klärfall.
6
Betrieb
Managed Service mit Updates, Modellwechseln und SLA, oder Enablement Ihres Teams.
Warum Pexon statt Inhouse-Entwicklung
Inhouse allein
-Ein Prototyp ist schnell, der stabile Produktivbetrieb mit vLLM und Skalierung ist die eigentliche Arbeit.
-GPU-Sizing und Modell-Updates binden Personal, das in der Verwaltung knapp ist.
-Ohne Erfahrung dauert der Weg zum stabilen Betrieb Monate.
US-Cloud mit AVV
-Ein Auftragsverarbeitungsvertrag hebt den US Cloud Act nicht auf.
-Bürgerdaten bleiben rechtlich angreifbar, Souveränität bleibt aus.
-Der Lock-in an einen Anbieter widerspricht der Strategie des Bundes.
Mit Pexon
✓Herstellerunabhängig: wir betreiben das Modell, das zu Ihnen passt, nicht das eines Anbieters.
✓Souveräne KI-Plattformen sind unser Kerngeschäft, deutsches Rechenzentrum wie on-premise.
✓Offene Gewichte plus OpenAI-API heißt: kein Lock-in, Sie können jederzeit wechseln.
In 4 Phasen zur produktiven Lösung
1
Woche 1
Assessment und Modellauswahl
Verfahren, Datenklassen und Modelle stehen fest.
2
Woche 2-3
Plattform-Setup
Serving, Endpoint, Zugriff und Protokollierung laufen.
3
Woche 4
Erstes Fachverfahren
Ein produktiver Use-Case läuft auf Amtsdaten, messbar.
4
ab Woche 5
Betrieb und Rollout
Weitere Verfahren, Managed Service, Updates und SLA.
Pilot zum Festpreis
Der Einstieg ist eine souveräne KI-Plattform mit klaren Fixkosten, ohne Token-Zähler. Der Umfang wird nach einem kurzen Assessment festgelegt.
Ihre Investition
ab 1.500 EUR
pro Monat · Managed · souveränes RZ
Enthält:
Was drin ist · Managed Hosting offener Modelle im deutschen Rechenzentrum, OpenAI-kompatible API, Monitoring und Updates.
Setup · Einmaliges Onboarding als Festpreis, inklusive Modellauswahl, GPU-Sizing und Anbindung. On-Premise-Plattform ab 35.000 EUR.
Vergabe · Umsetzbar über EVB-IT: unterhalb der EU-Schwelle als Direktvergabe, darüber liefern wir Leistungsbeschreibung und Eignungsnachweise für die Ausschreibung. Endpreis und Leistungsschein nach Assessment.
Erstgespräch, 30 Minuten, kostenfrei
Häufige Fragen
Was ist ein Open-Source-LLM?
Ein Open-Source-LLM ist ein KI-Modell, dessen trainierte Gewichte offen veröffentlicht sind, etwa Llama, Mistral oder Qwen. Es lässt sich selbst betreiben, anpassen und nachvollziehen, statt eine fremde API aufzurufen. Anders als geschlossene Modelle läuft es komplett auf Ihrer Infrastruktur, kein Datensatz verlässt Ihr Haus.
Ist das mit der Digitalstrategie des Bundes vereinbar?
Ja, es liegt genau auf dieser Linie. Mit ZenDiS und openDesk fördert der Bund seit 2022 Open-Source in der Verwaltung, um digitale Souveränität zu stärken. Ein selbst betriebenes Open-Source-LLM auf eigener Infrastruktur folgt demselben Prinzip: Kontrolle über Daten, Modell und Betrieb. Es ergänzt einen souveränen Arbeitsplatz wie openDesk um KI, ohne den souveränen Stack zu verlassen.
Was kostet ein souveränes Open-Source-LLM?
Managed Hosting im deutschen Rechenzentrum beginnt bei rund 1.500 EUR pro Monat als fixer Preis, ohne Token-Kosten. Eine On-Premise-Plattform startet ab 35.000 EUR. Die Umsetzung ist über EVB-IT vergabefähig. Den genauen Preis und Leistungsschein legen wir nach einem Assessment fest.
Ist das DSGVO-konform und für Bürgerdaten geeignet?
Beim Self-Hosting ja, per Architektur: kein Verfahrensdatensatz verlässt Ihr Rechenzentrum, das Cloud-Act-Risiko entfällt. Im Managed-Betrieb ist Pexon Ihr deutscher Auftragsverarbeiter nach Art. 28 DSGVO, ohne Drittlandbezug und ohne Cloud-Act-Zugriff, das ist der Unterschied zur US-Cloud. Für die Datenschutz-Folgenabschätzung liefern wir Zuarbeit, höhere Testate wie BSI C5 klären wir je nach Schutzbedarf.
Wo passen offene Modelle nicht?
Wenn Sie maximale Reasoning-Leistung am absoluten Stand der Technik oder umfangreiche Bild- und Videofunktionen brauchen, sind geschlossene Frontier-Modelle teils noch voraus, ein Hybrid-Betrieb ist möglich. Bei chinesischen Modellen wie Qwen oder DeepSeek gilt: lokal gehostet unkritisch, die Warnungen der Datenschutzbehörden betreffen nur die Cloud-API.
Was brauchen Sie von uns?
Für das Assessment einen Ansprechpartner aus IT und Fachbereich, eine grobe Liste der Verfahren und Angaben zu Datenklassen. Für den Betrieb entweder eigene GPU-Kapazität oder unser deutsches Rechenzentrum, plus die Anbindung an Ihre Fachverfahren und Datenquellen.
Nachricht senden
Kein passender Termin? Schreiben Sie uns, wir melden uns innerhalb von 24 Stunden.
Antwort innerhalb von 24 Stunden
Unverbindliches Erstgespräch
Persönlicher Ansprechpartner
Phillip Pham
CEO @ Pexon Consulting
Aktualisiert am 18. Juli 2026
Sie suchen einen Partner für Ihr Projekt?
Wir analysieren Ihren individuellen Bedarf, geben erste Empfehlungen zu Umsetzungsstrategien und bieten Ihnen transparente Einblicke in unsere Methoden, Technologien und Referenzen.
Vertrieb kontaktieren
400+Projekte seit 2020
100+Kunden im DACH-Raum
ISO27001 zertifiziert
3Hyperscaler Partner