LiteLLM vs Portkey vs Kong AI Gateway: Der Enterprise-Vergleich 2026

Pexon Consulting | 12 Min. Lesezeit | 19.06.2026

TL;DR

LiteLLM vs Portkey ist die häufigste Tool-Wahl 2026 bei Mittelständlern, die ein LLM Gateway produktiv ausrollen — Kong AI Gateway ist der dritte Pfad bei bestehenden Kong-Infrastrukturen. Pexon Consulting empfiehlt für 80% der DACH-Mittelständler LiteLLM aus drei Gründen: Open Source, keine Vendor-Lock-in, größte Community. Decision-Sprint zwischen 8 und 14k EUR Festpreis, danach 2-3-Wochen-Implementation.

Warum die Tool-Wahl 2026 wichtig ist

Wir hören das aktuell wöchentlich in Engineering-Lead-Erstgesprächen: „Wir haben ein LLM Gateway als Architektur-Entscheidung beschlossen. Jetzt streiten Team und CTO über das Tool. Wir brauchen eine externe Bewertung mit klaren Kriterien.“

Die Lage strukturiert. Der LLM-Gateway-Markt hat sich seit 2023 erheblich entwickelt. Drei Player dominieren das Mittelstand-Segment in DACH: LiteLLM als Open-Source-Quasi-Standard mit über 100k GitHub-Stars und 200+ Contributors, Portkey als kommerzielle SaaS-Lösung mit starkem Observability-Fokus, und Kong AI Gateway als Erweiterung der etablierten Kong-Plattform.

Die Wahl ist nicht trivial, weil die drei Tools strukturell unterschiedliche Trade-offs liefern. Eine falsche Entscheidung im Anfang führt typisch zu 6-12 Monaten Migration später — entweder weil Vendor-Kosten explodieren oder weil Features fehlen, die in den anderen Tools Standard sind.

Mehr zur Pillar-Frage was ein LLM Gateway überhaupt ist und ab wann ihr eins braucht.

LiteLLM im Detail

Das Open-Source-Pferd, das wir bei Pexon in 12+ produktiven Setups deployen.

Architektur. Python-basierter Proxy-Server, der OpenAI-kompatible API anbietet und auf der anderen Seite mit 100+ Providern spricht — OpenAI, Anthropic, Azure OpenAI, AWS Bedrock, Google Vertex, Mistral, Cohere, lokale Modelle via vLLM oder Ollama. Konfiguration über YAML-Files oder UI.

Stärken.

• Maximale Provider-Vielfalt. Wenn ihr exotische Provider braucht (z.B. Groq, Together, Fireworks, lokale on-prem Modelle), ist LiteLLM die robusteste Wahl. Mehr zur konkreten LiteLLM-Router-Konfiguration.
• Open Source ohne Lock-in. MIT-lizenziert, Configuration ist eure. Bei Wechsel zu anderem Tool sind die Provider-Mappings 1:1 portierbar.
• Aktive Community. 100k+ GitHub-Stars Stand Mitte 2026, neue Provider werden binnen 2-3 Wochen unterstützt.
• LiteLLM Enterprise (99 USD/Monat) bietet zusätzlich Audit-Logging, SSO, JWT-Authentication, Pro-Soporte.

Schwächen.

• Observability ist Pexon-Selbstbau. Out-of-the-box-Dashboards sind ausreichend, nicht spektakulär. Wir bauen typisch eigene Grafana-Boards.
• UI ist funktional, nicht poliert. Bei kleinen Engineering-Teams ohne Spark-DevOps-Erfahrung kann das Onboarding etwas länger dauern.

Pexon-Bewertung: Default für 80% der Mittelstands-Setups. Wenn ihr nicht spezifische SaaS-Convenience-Anforderungen habt oder ohnehin Kong nutzt, ist LiteLLM die wirtschaftlich überlegene Wahl.

Portkey im Detail

Der kommerzielle Player, der seit 2023 stark wächst.

Architektur. SaaS-First (Portkey Cloud) mit selbst-gehosteter Option für Enterprise. Sehr starke UI, sehr gute Observability mit Dashboards, Traces, Cost-Breakdowns out-of-the-box.

Stärken.

• Observability-Reife. Die beste UI im Vergleich. Dashboards für Latenz, Cost-pro-User, Cost-pro-Modell, Failed-Requests sind klick-fertig. Bei Engineering-Teams ohne Observability-Eigenleistung erspart das 2-3 Wochen Aufbau.
• Guardrails-Integration. Built-in PII-Detection, Content-Filtering, Prompt-Injection-Detection. Bei reinem LiteLLM müsst ihr das ergänzen.
• Out-of-the-Box-Caching. Semantisches Caching ist konfigurierbar ohne Eigenleistung.

Schwächen.

• Vendor-Lock-in. Configuration und Trace-Daten in Portkey-spezifischen Strukturen. Migration weg ist machbar, kostet aber 2-4 Wochen Engineering.
• Pricing skaliert mit Volumen. Bei mittelständischen Setups mit 4-8 Mio Anfragen pro Monat sind 500-1.500 USD pro Monat realistisch.
• DSGVO-Pfad bei Cloud-Variante. US-Hosting ist Standard, EU-Hosting auf Anfrage. Selbst-Hosting löst das, hebt aber den Setup-Aufwand.

Pexon-Bewertung: Sinnvoll bei Engineering-Teams ohne Observability-Erfahrung, die schnell und ohne Eigenaufbau ein produktives Setup brauchen. Bei DSGVO-strikten Setups eher schwierig — siehe DSGVO-konformes LLM-Routing-Pattern.

Kong AI Gateway im Detail

Erweiterung der etablierten Kong-API-Gateway-Plattform.

Architektur. Lua-basiert auf Nginx, läuft in eurer eigenen Infrastruktur. AI-spezifische Plugins für Provider-Routing, Token-Tracking, Caching.

Stärken.

• Bekannte Integration in eure Infrastruktur. Wenn ihr Kong bereits für klassisches API-Gateway nutzt, fügt sich AI Gateway nahtlos ein. Eine zusätzliche Authentication-Schicht entfällt.
• Enterprise-Reife. Kong ist seit 2015 produktiv, das Operations-Pattern ist bekannt und stabil.
• Self-Hosting nativ. Datenresidenz und Compliance-Konfiguration ist Standard.

Schwächen.

• AI-Provider-Anzahl ist beschränkt. 30+ Provider Stand Mitte 2026 — deutlich weniger als LiteLLM. Bei exotischen Providern oder Open-Source-LLMs auf eigener GPU-Hardware seid ihr eingeschränkt.
• Enterprise-Pricing ist signifikant. Kong Enterprise startet bei 24k USD pro Jahr für die Basis-Lizenz, Volumen-abhängige Aufschläge möglich.
• AI-spezifische Features hinken hinterher. Semantisches Caching, Prompt-Templates, Guardrails sind in LiteLLM und Portkey weiter.

Pexon-Bewertung: Sinnvoll, wenn Kong bereits eure API-Gateway-Standard-Lösung ist und ihr keinen Tool-Sprawl wollt. Bei Greenfield-Setups würden wir LiteLLM empfehlen.

Die Entscheidungs-Matrix für Mittelstand

Vereinfacht aus 14+ produktiven Pexon-Beratungen.

Ihr nehmt LiteLLM, wenn:

• Open-Source-Strategie wichtig ist
• DSGVO-strikter Anforderungen oder On-Prem-Anforderungen vorhanden sind
• Multi-Provider mit exotischen Modellen geplant ist
• Engineering-Team Spark- oder Python-Erfahrung hat
• Budget für Vendor-Tools begrenzt ist

Ihr nehmt Portkey, wenn:

• Engineering-Team klein und Observability-fokussiert ist
• Time-to-Production wichtiger als Kosten ist
• Kein striktes DSGVO-Setup nötig oder ihr Self-Hosting akzeptiert
• Guardrails-Features out-of-the-box wertvoll sind

Ihr nehmt Kong AI Gateway, wenn:

• Kong bereits euer API-Gateway-Standard ist
• Enterprise-Support-Verträge bestehend sind
• Provider-Vielfalt nicht so breit gebraucht wird
• Konsolidiertes Operations-Pattern wichtig ist

Migration zwischen den Tools

Häufige Frage: Wie schwierig ist der Wechsel?

LiteLLM → Portkey: 1-2 Wochen Engineering. Configuration muss neu strukturiert werden, aber Anwendungs-Code bleibt unverändert (beide bieten OpenAI-kompatible API).

Portkey → LiteLLM: 1-2 Wochen Engineering. Trace-Daten und Custom-Guardrails-Configuration müssen migriert werden.

LiteLLM ↔ Kong AI Gateway: 3-5 Wochen Engineering. Architektur-Unterschiede größer, Provider-Mapping muss überprüft werden weil Kong weniger nativ unterstützt.

Lock-in-Risiko ist bei allen drei begrenzt, weil die OpenAI-kompatible API als Standard durchgehalten wird. Bei Portkey ist es am größten, bei LiteLLM am kleinsten.

Pexon-Sprint und Investment

Wir liefern die Tool-Klärung in zwei Schritten.

Schritt 1: Decision-Sprint (1 Woche, 8-14k EUR). Architektur-Workshop mit Engineering-Lead und CTO, Live-Demos beider Tools mit eurer spezifischen Anforderungs-Liste, TCO-Rechnung über 36 Monate, Empfehlung mit klarer Begründung.

Schritt 2: Implementation-Sprint (2-3 Wochen, 28-48k EUR). Setup des gewählten Tools, Migration der bestehenden Anwendungen, Compliance- und Audit-Layer, Übergabe an Engineering-Team.

Mehr zur breiten LLM-Gateway-Konzept-Architektur.

Häufig gestellte Fragen

Was kostet LiteLLM Enterprise im Vergleich zu Portkey?

LiteLLM Enterprise startet bei 99 USD pro Monat unabhängig vom Volumen — das ist der Lizenzpreis für Premium-Support und zusätzliche Features. Portkey Cloud startet bei ähnlichem Tarif, skaliert aber mit Anfrage-Volumen. Bei 4-8 Mio Anfragen pro Monat liegt Portkey typisch bei 500-1.500 USD, LiteLLM weiter bei 99 USD plus Self-Hosting-Kosten.

Welches Tool ist DSGVO-konform out-of-the-box?

LiteLLM und Kong AI Gateway sind beide DSGVO-konform aufsetzbar, weil sie selbst-gehostet laufen — ihr habt volle Datenresidenz-Kontrolle. Portkey Cloud läuft US-gehostet (Standard), DSGVO-konform nur bei Self-Hosting-Variante oder EU-Hosting-Add-on. Bei harten DSGVO-Anforderungen ist LiteLLM oder Kong der pragmatischere Pfad. Mehr im DSGVO-LLM-Routing-Pattern.

Was bei On-Prem-Anforderungen?

LiteLLM läuft on-prem nativ, Kong auch. Portkey hat Self-Hosting-Option für Enterprise — funktioniert, setzt aber Vertragsverhandlung voraus. Bei KRITIS-Tier-1 oder Defence-Setups empfehlen wir klar LiteLLM.

Welches Tool hat die beste Observability?

Portkey ist klar führend bei UI-Reife und Out-of-the-Box-Dashboards. LiteLLM hat solide Basis-Features plus Hooks für eigene Observability — wir bauen meist Grafana-Boards on-top. Kong AI Gateway nutzt die etablierte Kong-Observability-Schicht plus AI-spezifische Erweiterungen.

Können wir mehrere Gateways parallel betreiben?

Theoretisch ja, in der Praxis nicht empfohlen. Doppelt geführter Audit-Trail, doppelte Configuration, doppelte Operations-Verantwortung. Wenn ihr zwischen Provider-Klassen trennen wollt, lieber einen Gateway mit klarer Mandanten-Trennung. Mehr zur Multi-Tenant-Architektur in Gateway-Setups.

Nächster Schritt

Wenn euer Team gerade zwischen LiteLLM, Portkey und Kong steht und die Entscheidung in 2-4 Wochen fällt: Wir machen einen 45-Minuten-Discovery-Call mit dir und idealerweise dem CTO. Du beschreibst die Provider-Anforderungen, Compliance-Lage und Engineering-Reife, wir skizzieren den Decision-Sprint mit Festpreis.

Verwandte Themen