Kundenstory
Automatisierung der Datenflüsse in einem Cloud Data Warehouse
Wie man DevOps Ansätze in einem Cloud Data Warehouse integrieren kann
Industrie
Energy
Unternehmen
E.ON Energie Deutschland GmbH
Leistungen
DevOps Engineering
Kunde seit
2022
Höhere Flexibilität
Durch modularer Aufbau der Cloud Architektur.
Skalierungsfähigkeit
Durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud.
Robustheit
Durch Verwendung von Infrastructure as Code (Terraform).
Daten-Integrität und Synchronisierung
Durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow.
Schnelleres Release Zyklen
Durch den Einsatz von CICD und Azure DevOps pipelines.
Modernes Secret Management
Durch Nutzung von Key Vaults und Infrastruture as Code.
In a Nutshell:
-
BRANCHE: ENERGIESEKTOR
-
Task: In diesem Kundenprojekt ging es darum, die vorhandene Daten-Plattform für mehrere Organisationen nutzbar zu machen als bisher für eine
-
Team:
-
insgesamt ca. 6 Leute bestehend aus POs, Scrum Master, Data Engineers and DevOps Experten
-
Diverse Operationsteams, welche die aufgebauten Pipelines nutzen sollen
-
- Projektlaufzeit: +12 Monate
Herausforderungen:
- Anpassung der vorhandenen Data Pipelines, um sie für mehrere Organisationen nutzbar zu machen
-
Skalierung: Verdopplung der Datenbanken pro neuer Organisation, wo im Laufe des Jahres stetig weitere Organisationen hinzukommen sollen.
-
Robustheit: ein Fehlschlagen der Pipelines kann zu tagelangem Stillstand der Auswertungen führen
-
Dynamik in den Pipelines muss geschaffen werden, um Code Dopplung zu vermeiden und die Pipelines flexibel zu halten
-
Beschleunigung der Release & Deployment Prozesse in deinem Data Warehouse
-
Bereits sehr moderne Technologien, wodurch Nischenprobleme gefunden werden, welche noch nirgendwo gelöst wurden
Lösungen:
-
Verbesserung der Release- & Deployment Prozesse durch CICD
-
Modulare, einfache und skalierbare Pipelines
-
Vollautomatisierte Provisionierung mittels Terraform
-
Replizierung von kompletten Infrastrukturen für mehrere Organisationen durch Terraform
-
Implementierung mehrere Config Mappings um dynamisch nach Organisation mit derselben Pipeline arbeiten zu können
-
Datenintegrität durch einen CDC Mechanismus mithilfe von Apache Kafka
Ergebnisse:
- Höhere Flexibilität durch modularer Aufbau der Cloud Architektur
-
Skalierungsfähigkeit durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud
-
Robustheit durch Verwendung von Infrastructure as Code (Terraform)
-
Daten Integrität und Synchronisierung durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow
-
Schnelleres Release Zyklen durch den Einsatz von CICD und Azure DevOps Pipelines
-
Modernes Secret Management durch Nutzung von Key Vaults und Infrastruture as Code
Projektgeschehen:
Spezielle Anforderungen des Kunden
Im ersten Schritt der Migration des Projekts musste sichergestellt werden, dass trotz Verschiebung des Systems der alte Prozess-Zyklus erhalten bleibt und ein Übergang in das neue System so einfach wie möglich ist. Im weiteren Schritt wurden die vorhandenen Automatisierungen mit Dynamik bestückt, um nicht mehr fest auf eine Teilorganisation gebunden zu sein, sondern für viele lauffähig sind – auch mehrere in einem Durchlauf.
Anpassung und Aufbau der Pipelines
Durch den Aufbau verschiedener Release und Deployment Pipelines konnte die durchschnittliche Zeit neue Features zu liefern deutlich reduziert werden. Bei der Entwicklung der Pipelines wurde immer darauf geachtet, eine breite Testabdeckung zu realisieren. Der Einsatz der Pipelines wurde so modular aufbaut, dass verschiedene Teil-Teams diese individuell verwendet haben je nach spezifischen Anwendungsfall. Dennoch muss die Nutzung dieser Pipelines sehr einfach bleiben, da verschiedenste Teams diese anwenden können müssen.
Robuste und modulare Cloud Infrastruktur
Durch den Einsatz von Terraform war der zentrale Überblick über die Cloud Ressourcen und Infrastruktur klar definiert. Ein weiterer Vorteil davon war die Verbesserung von Workflows der Entwickler und die Integration in verschiedenen DevOps Prozessen. Somit konnte das Projekt schneller auf verschiedene Unternehmensanforderungen reagieren. Die komplette Infrastruktur konnte somit für verschiedene Organisationen sehr schnell bereitgestellt und jeweils auf die speziellen Anforderungen der Teilteams eingegangen werden.
Projektstatus und Ergebnisse
Durch die Optimierung verschiedener DevOps Prozesse und den Aufbau der Pipelines waren alle Sub-teams deutlich schneller im Testen, Release, Deployen der Software. Somit konnten interne Fachabteilung schneller Ergebnisse sehen und agil die Kundenanforderungen in den Sprints anpassen. Die Nutzung von Infrastructure as Code konnte eine robuste und module Cloud Infrastruktur geschaffen werden.
Durch Schaffung von Dynamik in Pipelines können binnen kurzer Zeit viele Organisationen an das System angehängt werden und benötigen kaum manuelle Zuarbeit.
Technology Stack:
Cloud Infrastruktur:
-
Azure
-
Azure Kubernetes Service
-
Snowflake
Daten Services:
-
Snowflake
-
Apache Airflow
-
Azure Data Factory
CICD & IaC:
-
Azure DevOps
-
Azure Key Vault
-
Azure Resource Groups
-
Terraform
Software Entwicklung:
-
-
Python
-
dbt
-
Warum Pexon Consulting?
Pexon Consulting hat sich voll und ganz Ihrem Erfolg verschrieben und wir glauben daran, dass wir immer für jeden unserer Kunden die Extrameile gehen:
Hingabe zum Erfolg
Fokus auf Leistung
Wir werden Ihr engagierter Partner. Das bedeutet, dass wir ein Projekt erst dann abschließen, wenn sowohl Sie als auch wir zu 100 % zufrieden sind.
Engineering mit Leidenschaft
Wir sind ein Netzwerk von Innovatoren. Wir entwickeln mutige Lösungen für die kompliziertesten Herausforderungen unserer Kunden.
Ihre Ansprechpartner
Schicken Sie uns eine Nachricht über das Kontaktformular unserer Kontaktseite und wir werden uns innerhalb weniger Arbeitstage mit Ihnen in Verbindung setzen. Alle übermittelten Informationen werden vertraulich behandelt.
Sie suchen einen Partner für Ihr Projekt?
Wir geben unser Bestes, um Sie zufriedenzustellen.