
Kundenstory
Automatisierung der Datenflüsse in einem Cloud Data Warehouse
Wie man DevOps Ansätze in einem Cloud Data Warehouse integrieren kann
Unternehmen
E.ON Energie Deutschland GmbH
Leistungen
DevOps Engineering
Branche
Energiesektor
Kunde seit
2022
Höhere Flexibilität
Durch modularer Aufbau der Cloud Architektur.
Skalierungsfähigkeit
Durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud.
Robustheit
Durch Verwendung von Infrastructure as Code (Terraform).
Daten Integrität und Synchronisierung
Durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow.
Schnelleres Release Zyklen
Durch den Einsatz von CICD und Azure DevOps pipelines.
Modernes Secret Management
Durch Nutzung von Key Vaults und Infrastruture as Code.
In a Nutshell:
BRANCHE: ENERGIESEKTOR
Task: In diesen Kundenprojekt ging es darum die vorhandene Daten Plattform für mehrere Organisationen nutzbar zu machen als bisher für eine
Team:
insgesamt ca. 6 Leute bestehend aus POs, Scrum Master, Data Engineers and DevOps Experten
Diverse Operationsteams welche die aufgebauten Pipelines nutzen sollen
- Projektlaufzeit: +12 Monate
Herausforderungen:
- Anpassung der vorhandenen Data Pipelines um sie für mehrere Organisationen nutzbar zu machen
Skalierung: Verdopplung der Datenbanken pro neuer Organisation, wo im Laufe des Jahres stetig weitere Organisationen hinzukommen sollen.
Robustheit: ein Fail der Pipelines kann zu tagelangem Stillstand der Auswertungen führen
Dynamik in den Pipelines muss geschaffen werden um Code Dopplung zu vermeiden und die Pipelines flexibel zu halten
Beschleunigung der Release & Deployment Prozesse in deinem Data Warehouse
Bereits sehr moderne Technologien wodurch Nieschenprobleme gefunden werden welche noch nirgendwo gelöst wurden
Lösungen:
Verbesserung der Release- & Deployment Prozesse durch CICD
Modulare, einfache und skalierbare Pipelines
Vollautomatisierte Provisionierung mittels Terraform
Replizierung von kompletten Infrastrukturen für mehrere Organisationen durch Terraform
Implementierung mehrere Config Mappings um dynamisch nach Organisation mit der selben Pipeline arbeiten zu können
Datenintegrität durch einen CDC Mechanismus mit Hilfe von Apache Kafka
Ergebnisse:
- Höhere Flexibilität durch modularer Aufbau der Cloud Architektur
Skalierungsfähigkeit durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud
Robustheit durch Verwendung von Infrastructure as Code (Terraform)
Daten Integrität und Synchronisierung durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow
Schnelleres Release Zyklen durch den Einsatz von CICD und Azure DevOps pipelines
Modernes Secret Management durch Nutzung von Key Vaults und Infrastruture as Code
Projektgeschehen:
Spezielle Anforderungen des Kunden
Im ersten Schritt der Migration des Projekts musste sicher gestellt werden, dass trotz Verschiebung des Systems der alte Prozess Zyklus erhalten bleibt und ein Übergang in das neue System so einfach wie möglich ist. Im weiteren Schritt wurden die vorhandenen Automatisierungen mit Dynamik bestückt um nicht mehr fest auf eine Teilorganisation gebunden zu sein sondern für viele Lauffähig sind – auch mehrere in einem Durchlauf.
Anpassung und Aufbau der Pipelines
Durch den Aufbau verschiedener Release und deployment pipelines konnte die durchschnittliche Zeit neue Features zu liefern deutlich reduziert werden. Bei der Entwicklung der Pipelines wurde immer drauf geachtet eine breite Testabdeckung zu realisieren. Der Einsatz der pipelines wurde so modular aufbaut dass verschiedene Teil-Teams diese individuell verwendet haben je nach spezifischen Anwendungsfall. Dennoch muss die Nutzung dieser Pipelines sehr einfach bleiben da verschiedenste Teams diese anwenden können müssen.
Robuste und modulare Cloud Infrastruktur
Durch den Einsatz von Terraform war der zentrale Überblick über die Cloud Ressourcen und Infrastruktur klar definiert. Ein weiterer Vorteil davon war die Verbesserung von Workflows der Entwickler und die integration in verschiedenen DevOps Prozessen. Somit konnte das Projekt schneller auf verschidene Unternehmensanforderungen reagieren. Die komplette Infrastruktur konnte somit für verschiedene Organisationen sehr schnell bereit gestellt werden und jeweils auf die spezielle Anforderungen der Teilteams eingegangen werden
Projektstatus und Ergebnisse
Durch die Optimierung verschiedener DevOps Prozesse und den Aufbau der Pipelines waren alle Sub-teams deutlich schneller im Testen, Release, Deployen der Software. Somit konnten interne Fachabteilung schneller Ergebnisse sehen und agil die Kundenanforderungen in den Sprints anpassen. Die Nutzung von Infrastructure as Code konnte eine robuste und module Cloud Infrastruktur geschaffen werden.
Durch Schaffung von Dynamik in Pipelines können binnen kurzer Zeit viele Organisationen an das System angehängt werden und benötigen kaum manuelle Zuarbeit.
Technology Stack:
Cloud Infrastruktur:
Azure
Azure Kubernetes Service
Snowflake
Daten Services:
Snowflake
Apache Airflow
Azure Data Factory
CICD & IaC:
Azure DevOps
Azure Key Vault
Azure Resource Groups
Terraform
Software Entwicklung:
Python
dbt
Warum Pexon Consulting?
Pexon Consulting hat sich voll und ganz Ihrem Erfolg verschrieben und wir glauben daran, dass wir immer für jeden unserer Kunden die Extrameile gehen:

Hingabe zum Erfolg

Fokus auf Leistung
Wir werden Ihr engagierter Partner. Das bedeutet, dass wir ein Projekt erst dann abschließen, wenn sowohl Sie als auch wir zu 100 % zufrieden sind.

Engineering mit Leidenschaft
Wir sind ein Netzwerk von Innovatoren. Wir entwickeln mutige Lösungen für die kompliziertesten Herausforderungen unserer Kunden.
Ihre Ansprechpartner
Schicken Sie uns eine Nachricht über das Kontaktformular unserer Kontaktseite und wir werden uns innerhalb weniger Arbeitstage mit Ihnen in Verbindung setzen. Alle übermittelten Informationen werden vertraulich behandelt.
Sie suchen einen Partner für Ihr Projekt?
Wir geben unser Bestes, um Sie zufrieden zu stellen.