Open-Source-KI-Plattform · Setup

Open-Source-KI-Plattform aufbauen, ohne den bestehenden KI-Stack abzuschalten

Kurz gesagt

Eine Open-Source-KI-Plattform von Pexon Consulting führen Sie ein, ohne Microsoft Copilot abzuschalten: Sie betreiben den bestehenden KI-Stack und die neue Plattform parallel, verschieben Use-Cases erst, sobald sie bereit sind, und setzen das Gateway als Kontrollebene für Modelle, Keys und Policies. Copilot bleibt an. Für IT-Leitung und CISO im Mittelstand mit Copilot oder Chat-Pilot ist das der Weg, eine KI-Plattform aufbauen zu können. Laut Gartner Market Guide for AI Gateways betreiben 70 Prozent der Engineering-Teams mit Multimodell-Anwendungen bis 2028 eine Gateway-Schicht.

Microsoft Partner
ISO 27001 zertifiziert
80 MA in Deutschland
Microsoft Solutions Partner (Digital & App Innovation, Infrastructure Azure, Data & AI Azure), ISO/IEC 27001, Google Cloud Partner, AWS Partner

Schrittweiser Übergang, kein Cutover

Für IT-Leitung und CISO, die schon Copilot oder einen Chat-Pilot haben: ein Cutover schaltet den bestehenden KI-Stack ab und reißt Office-Arbeit mit. Parallel zur Open-Source-KI-Plattform bleibt Copilot an, Use-Cases wandern erst, wenn sie bereit sind. Bitkom 2026: Datenschutz ist mit 77 Prozent die größte Hürde der Digitalisierung in Deutschland.

Cutover statt Parallelbetrieb
Wer Copilot an einem Stichtag abschaltet, verliert Office-Arbeit und den Chat-Pilot gleichzeitig. Bitkom Cloud Report 2026: 85 Prozent von 603 Unternehmen ab 20 Beschäftigten in Deutschland halten die Abhängigkeit von US-Cloud für zu hoch.
Keys und Policies ohne Kontrollebene
Ohne Gateway als Kontrollebene liegen Modelle, Keys und Policies verstreut. Gartner erwartet, dass 70 Prozent der Engineering-Teams mit Multimodell-Anwendungen bis 2028 eine Gateway-Schicht betreiben, 2025 waren es 25 Prozent, weltweit, Prognose.
Fachdaten im selben Kanal wie Copilot
Copilot bleibt für Office. Fachdaten brauchen eine eigene Schicht mit Entra-SSO und Guardrails fail-closed. Bitkom November 2025: 51 Prozent von 605 Unternehmen in Deutschland ab 20 Beschäftigten sehen sich stark von US-Anbietern abhängig, im Januar 2025 waren es 41 Prozent.

Was das Setup belegt, ohne Paketpreis

Zahlen aus Branchenerhebungen, nicht aus Pexon-Projekten: sie begründen Gateway, Parallelbetrieb und eine eigene Schicht, ersetzen aber kein Festpreis-Angebot in Euro.

70 % Gateway-Schicht bis 2028
Engineering-Teams mit Multimodell-Anwendungen betreiben bis 2028 eine Gateway-Schicht. 2025 lag der Wert bei 25 Prozent. Deshalb steht das Gateway im Setup, nicht als Nachtrag. (Gartner Market Guide for AI Gateways, weltweit, Prognose)
85 % US-Cloud-Abhängigkeit zu hoch
Unternehmen ab 20 Beschäftigten in Deutschland halten die Abhängigkeit von US-Cloud für zu hoch, Vorjahr 78 Prozent. 71 Prozent beziehen aus den USA, bevorzugen würden das 8 Prozent. Parallelbetrieb statt Cutover hält Copilot, Fachdaten wandern kontrolliert. (Bitkom Cloud Report 2026, 603 Unternehmen in DE ab 20 Beschäftigten)
51 % stark von US-Anbietern abhängig
Im Januar 2025 waren es 41 Prozent. Eine eigene Schicht mit Entra-SSO und Keys-Prozess im Kunden-Repo senkt die Abhängigkeit, ohne Copilot abzuschalten. (Bitkom November 2025, 605 Unternehmen in DE ab 20 Beschäftigten)
64 % überdenken die Cloud-Strategie
Wer die Cloud-Strategie neu denkt, braucht eine App-Schicht mit IaC im eigenen Repo, nicht eine Blackbox. Das Setup liefert genau das, Stufe 2 bis 4 kommen später. (Bitkom 2026, Deutschland)

Ab wann sich das Plattform-Setup lohnt

Das Plattform-Setup von Pexon Consulting lohnt sich, sobald Sie Copilot oder einen Chat-Pilot schon produktiv nutzen, Fachdaten aber nicht in denselben Kanal dürfen und ein Cutover den Betrieb gefährden würde. Sie führen die neue Schicht parallel: Copilot bleibt an, Office-Arbeit läuft weiter, Use-Cases wandern, wenn sie bereit sind. Der Lieferumfang der App-Schicht umfasst ein Gateway als Kontrollebene, Entra-SSO, eine RAG-Quelle, Guardrails fail-closed, ein Monitoring-Minimum und Infrastruktur-as-Code im Kunden-Repo. Hinterher besitzen Sie den Code, den Keys-Prozess und keine Blackbox. Bewusst später kommen Hermes, Hintergrund-Agenten sowie Stufe 2 bis 4. Der Ablauf dauert grob 6-8 Wochen, ohne Fake-Gantt. Servicezeit danach ist 8x5, nicht rund um die Uhr. Eine Chat-Oberfläche auf Ubuntu zu installieren ersetzt das Setup nicht. Fachdaten und Office bleiben getrennt. Der Plattform-Check von 45 Minuten setzt den Scope, bevor Code ins Kunden-Repo geht. Zahlen in den Karten stammen aus Branchenerhebungen, nicht aus Pexon-Projekten. Pexon Consulting, 80 Mitarbeitende in Deutschland, Microsoft Partner, ISO 27001, über 400 Projekte und über 100 DACH-Kunden.
Copilot an
Office bleibt, Fachdaten wandern
1 RAG-Quelle
im Lieferumfang, nicht der ganze Wissenssee
6-8 Wochen
grob, ohne Fake-Gantt

Was später kommt, und was zuerst wandert

Use Case 01

Gateway, Entra-SSO, eine RAG-Quelle

IT-Leitung mit Copilot und einem Chat-Pilot bekommt im Setup das Gateway als Kontrollebene, Entra-SSO und eine erste Wissensquelle. Guardrails sind fail-closed. Copilot bleibt an, Office-Arbeit läuft weiter, Fachdaten wandern über die neue Schicht.

1 RAG-Quelle produktiv, Copilot unangetastet
Use Case 02

Was Sie hinterher besitzen

Das Setup landet als Infrastruktur-as-Code im Kunden-Repo. Keys-Prozess, Policies und Monitoring-Minimum gehören Ihnen. Keine Blackbox, kein Vendor-Lock im Anwendungscode. Pexon Consulting übergibt, Sie entscheiden über Änderungen.

1 Repo, Keys-Prozess dokumentiert
Use Case 03

Was bewusst später kommt

Hermes, Hintergrund-Agenten und Stufe 2 bis 4 gehören nicht in die ersten 6-8 Wochen. Wer sie jetzt mitbestellt, kauft Scope, der das Setup sprengt. Agenten brauchen erst Gateway, SSO und eine belastbare Quelle. Unabhängigkeit prüfen Sie später, nicht als Cutover.

0 Hermes, 0 Hintergrund-Agenten im Setup
Use Case 04

Chat-Oberfläche nur als Ergänzung

Eine Chat-UI auf Ubuntu zu installieren ersetzt Gateway, SSO und Guardrails nicht. Ergänzung: Open WebUI auf Ubuntu installieren. Das Setup bleibt die App-Schicht.

1 Chat-Pilot darf bleiben, Setup ist parallel

Was Sie hinterher besitzen

Ja, wenn Entra schon da ist und Copilot oder ein Chat-Pilot läuft. Das Setup setzt auf Ihre Identität, nicht auf eine zweite Benutzerwelt. GPU und Stufe 2 bis 4 gehören nicht in diesen Lieferumfang. Unabhängigkeit und Exit prüfen Sie auf der Unabhängigkeits-Seite.

Identität, Daten, Guardrails

Entra-SSO · bestehende Gruppen und Conditional Access, keine zweite Anmeldung
Eine RAG-Quelle · SharePoint, Dateiablage oder Wiki, Scope im Check, nicht der ganze See
Guardrails fail-closed · ohne Policy kein Durchlass, Logging im Minimum

Repo, Keys, Betrieb danach

IaC im Kunden-Repo · Code, Module, Pipeline gehören Ihnen, keine Blackbox
Keys-Prozess · Rotation und Besitz dokumentiert, Provider-Key nicht im Chat-Client
Monitoring-Minimum · Latenz, Fehler, Quota sichtbar, 8x5 danach, kein 24/7-Claim

Wie der Aufbau in 6-8 Wochen abläuft

1
Scope im Plattform-Check
Im Plattform-Check von 45 Minuten klären IT-Leitung und CISO, welche Use-Cases zuerst wandern, welche RAG-Quelle startet und wer Keys besitzt. Copilot bleibt an. Ergebnis ist ein Setup-Scope für die App-Schicht. Ein Use-Case-Workshop ersetzt das Setup nicht. Pexon Consulting schreibt den Scope, bevor Code ins Kunden-Repo geht.
2
Gateway zuerst
Ohne Gateway keine Modellfreiheit, kein Budget pro Team, kein vollständiges Log und kein Wechsel ohne Projekt. Modelle, Keys und Policies laufen über eine Schicht. Copilot und bestehende Chat-Piloten bleiben daneben. Use-Cases verschieben Sie erst, wenn die Kontrollebene steht. So bleibt der bestehende KI-Stack an, während die neue Schicht die Regeln setzt. Jede spätere Modell- oder Vendorwahl ist dann eine Konfiguration, kein Projekt.
3
Entra-SSO und eine RAG-Quelle
Anmeldung über Entra, mit bestehenden Gruppen und Conditional Access. Eine Wissensquelle anbinden, nicht fünf. Wer mehr Quellen will, erweitert nach Abnahme, nicht im Erst-Scope. SharePoint, Dateiablage oder Wiki: die Quelle nennen Sie im Check.
4
Guardrails fail-closed und Monitoring-Minimum
Ohne Policy kein Durchlass. Latenz, Fehler und Quota sind sichtbar. Das ist Betriebstauglichkeit der App-Schicht, kein MLOps und keine GPU-Plattform. Logging gehört zum Minimum, ein vollständiges SIEM-Projekt nicht.
5
IaC ins Kunden-Repo, Abnahme
Module, Pipeline und Keys-Prozess liegen bei Ihnen. Abnahme gegen den Scope aus Woche 1. Kein Fake-Gantt, grob 6-8 Wochen. Hinterher besitzen Sie den Code, keine Blackbox und keinen Vendor-Lock im Anwendungscode.
6
Übergabe in den Betrieb
Nach Abnahme übernimmt der 8x5-Betrieb der Anwendungsschicht. Die Zahl steht auf der Betriebsseite. Cloud- und Modellkosten sind extra. Hermes und Hintergrund-Agenten kommen später. Die technische Tiefe zum Gateway sitzt beim LiteLLM Hub und der LiteLLM-Implementierung, nicht auf dieser Setup-Seite.
Erfahren Sie mehr über den Betrieb der Anwendungsschicht

Cutover, Chat-Pilot allein oder Setup mit Pexon

Cutover
-Copilot und Chat-Pilot fallen am Stichtag aus
-Rollback unklar, Keys und Policies verstreut
-passt nur ohne Alt-Stack
Nur Chat-Pilot oder Ubuntu-Install
-Chat-UI ersetzt Gateway, SSO und Guardrails nicht
-keine IaC-Übergabe, oft eine Blackbox
-Use-Case-Workshop ist kein Setup-Ersatz
Mit Pexon
✓Parallelbetrieb, Copilot bleibt an
✓Gateway, Entra-SSO, eine RAG-Quelle, IaC im Repo
✓6-8 Wochen grob, danach 8x5-Betrieb. Die Zahl steht auf der Betriebsseite

Ablauf in vier Blöcken, ohne Fake-Gantt

1
Woche 1
Scope und Landschaft
Plattform-Check 45 Min: RAG-Quelle, Keys-Besitz, welche Use-Cases zuerst. Copilot bleibt an.
2
Woche 2-4
Gateway, SSO, Guardrails
Kontrollebene, Entra-SSO, Guardrails fail-closed, Monitoring-Minimum sichtbar.
3
Woche 5-6
Eine RAG-Quelle, IaC
Erste Wissensquelle anbinden, Code ins Kunden-Repo, Keys-Prozess dokumentieren.
4
Woche 7-8
Abnahme, Betrieb
Abnahme gegen Scope, Übergabe in den 8x5-Betrieb. Hermes kommt später.

Cutover oder parallel: was passt wann

Für IT-Leitung mit laufendem Copilot oder Chat-Pilot: parallel halten, Use-Cases verschieben, Gateway als Kontrollebene. Ein Cutover schaltet den bestehenden KI-Stack ab.

KriteriumCutoverParallel mit Setup
Copilotwird abgeschaltetbleibt an
Use-Casesalles an einem Stichtagwandern, sobald sie bereit sind
Gatewayoft nachträglich, Keys verstreutKontrollebene von Tag 1
RisikoBetriebsbruch, Rollback unklarkontrollierter Übergang
Passt, wennkein Alt-Stack, GreenfieldCopilot oder Chat-Pilot läuft schon

Setup-Paket nach Scope, ohne Paketpreis

Das Setup ist ein Festpreis nach Scope, ohne Paketpreis in Euro auf dieser Seite. Grob 6-8 Wochen, App-Schicht: Gateway, Entra-SSO, eine RAG-Quelle, Guardrails fail-closed, Monitoring-Minimum, IaC im Kunden-Repo. Der Endpreis steht nach dem Scoping im Plattform-Check fest. Copilot bleibt an.

Microsoft Solutions Partner (Digital & App Innovation, Infrastructure Azure, Data & AI Azure), ISO/IEC 27001, Google Cloud Partner, AWS Partner
Ihre Investition
nach Scope
Festpreis · 6-8 Wochen · App-Schicht
Enthält:

Lieferumfang App-Schicht · Gateway, Entra-SSO, eine RAG-Quelle, Guardrails fail-closed, Monitoring-Minimum, IaC im Kunden-Repo

Was Sie brauchen · Entra-Zugang, eine benannte RAG-Quelle, Ansprechpartner Keys und Security, Copilot darf weiterlaufen

Abnahme und danach · Abnahme gegen Scope. Danach 8x5-Betrieb, nicht 24/7. Die Zahl steht auf der Betriebsseite. Cloud extra. Hermes und Stufe 2-4 sind Folgeaufträge.
Plattform-Check buchen (45 Min)
Erstgespräch, 45 Minuten, ohne Verpflichtung

Häufige Fragen

Wie führt man eine eigene KI-Plattform ein, ohne Microsoft Copilot abzuschalten?

Sie betreiben Copilot und die neue Schicht parallel. Use-Cases wandern, sobald sie bereit sind. Das Gateway ist die Kontrollebene für Modelle, Keys und Policies. Copilot bleibt an. Pexon Consulting führt das Setup in grob 6-8 Wochen als App-Schicht, ohne den bestehenden KI-Stack abzuschalten. Der Plattform-Check dauert 45 Minuten.
Was ist im Setup-Lieferumfang?

Im Setup-Lieferumfang stehen das Gateway zuerst als Kontrollebene, Entra-SSO, eine RAG-Quelle, Guardrails fail-closed, ein Monitoring-Minimum und Infrastruktur-as-Code im Kunden-Repo. Ohne Gateway keine Modellfreiheit, kein Budget pro Team, kein vollständiges Log und kein Wechsel ohne Projekt. Hermes, Hintergrund-Agenten und Stufe 2 bis 4 kommen später. Abnahme erfolgt gegen den Scope aus dem Plattform-Check. Copilot-Lizenzen gehören nicht dazu. Copilot bleibt an, der bestehende KI-Stack wird nicht abgeschaltet.
Was kostet das?

Das Setup ist ein Festpreis nach Scope, ohne Euro-Paket auf dieser Seite. Der Umfang ist die App-Schicht in grob 6-8 Wochen. Der Endpreis steht nach dem Plattform-Check in 45 Minuten fest, wenn RAG-Quelle, Keys-Besitz und Landschaft klar sind. Copilot-Lizenzen und GPU-Betrieb sind nicht enthalten.
Was besitzen wir nach der Open-Source-KI-Plattform-Implementierung?

Nach der Open-Source-KI-Plattform-Implementierung besitzen Sie Code und Pipeline im eigenen Repo, den Keys-Prozess und die Policies. Keine Blackbox. Das Gateway bleibt Ihre Kontrollebene. Pexon Consulting übergibt und betreibt danach 8x5 auf Wunsch. Hermes und Hintergrund-Agenten gehören nicht zum Erst-Lieferumfang. Unabhängigkeit prüfen Sie auf der Unabhängigkeits-Seite.
Wo endet das Setup?

Das Setup ist kein Cutover, kein GPU- oder Kubernetes-Betrieb, kein LiteLLM-Howto und kein Use-Case-Workshop als ganzer Ersatz. Hermes und Hintergrund-Agenten gehören nicht in die ersten 6-8 Wochen. Betrieb ist 8x5, kein 24/7. Stufe 2 bis 4 kommen später. Eine Chat-Oberfläche auf Ubuntu zu installieren ersetzt das Setup nicht.
Was kommt nach den 6-8 Wochen?

Nach Abnahme folgt die Übergabe in den 8x5-Betrieb der Anwendungsschicht. Die Zahl steht auf der Betriebsseite. Cloud- und Modellkosten sind extra. Copilot bleibt an, weitere Use-Cases wandern über das Gateway. Servicezeit ist 8x5, nicht rund um die Uhr. Was der Betrieb leistet, steht auf der Betriebsseite, nicht auf dieser Setup-Seite. Hermes und Stufe 2 bis 4 sind Folgeaufträge.

Plattform-Check buchen, 45 Minuten

Wenn Copilot oder ein Chat-Pilot schon läuft und Fachdaten eine eigene Schicht brauchen: Scope, eine RAG-Quelle und Keys-Besitz in 45 Minuten klären. Kein Cutover, kein Paketpreis in Euro vor dem Check.

Plattform-Check buchen (45 Min)

Nachricht senden

Kein passender Termin? Schreiben Sie uns, wir melden uns innerhalb von 24 Stunden.

Antwort innerhalb von 24 Stunden
Unverbindliches Erstgespräch
Persönlicher Ansprechpartner
Phillip Pham
Phillip Pham
CEO @ Pexon Consulting
Aktualisiert am 31. August 2026

Sie suchen einen Partner für Ihr Projekt?

Wir analysieren Ihren individuellen Bedarf, geben erste Empfehlungen zu Umsetzungsstrategien und bieten Ihnen transparente Einblicke in unsere Methoden, Technologien und Referenzen.

Vertrieb kontaktieren
Microsoft Solutions Partner (Digital & App Innovation, Infrastructure Azure, Data & AI Azure), ISO/IEC 27001, Google Cloud Partner, AWS Partner
400+Projekte seit 2020
100+Kunden im DACH-Raum
ISO27001 zertifiziert
3Hyperscaler Partner