Kundenlogos 2

Kundenstory

Automatisierung der Datenflüsse in einem Cloud Data Warehouse

Wie man DevOps Ansätze in einem Cloud Data Warehouse integrieren kann

Unternehmen

E.ON Energie Deutschland GmbH

Leistungen

DevOps Engineering

Branche

Energiesektor

Kunde seit

2022
P

Höhere Flexibilität

Durch modularer Aufbau der Cloud Architektur.

P

Skalierungsfähigkeit

Durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud.

P

Robustheit

Durch Verwendung von Infrastructure as Code (Terraform).

P

Daten Integrität und Synchronisierung

Durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow.

P

Schnelleres Release Zyklen

Durch den Einsatz von CICD und Azure DevOps pipelines.

P

Modernes Secret Management

Durch Nutzung von Key Vaults und Infrastruture as Code.

In a Nutshell:

  • BRANCHE: ENERGIESEKTOR

  • Task: In diesen Kundenprojekt ging es darum die vorhandene Daten Plattform für mehrere Organisationen nutzbar zu machen als bisher für eine

  • Team:

    • insgesamt ca. 6 Leute bestehend aus POs, Scrum Master, Data Engineers and DevOps Experten

    • Diverse Operationsteams welche die aufgebauten Pipelines nutzen sollen

    • Projektlaufzeit: +12 Monate

    Herausforderungen:

    • Anpassung der vorhandenen Data Pipelines um sie für mehrere Organisationen nutzbar zu machen
    • Skalierung: Verdopplung der Datenbanken pro neuer Organisation, wo im Laufe des Jahres stetig weitere Organisationen hinzukommen sollen.

    • Robustheit: ein Fail der Pipelines kann zu tagelangem Stillstand der Auswertungen führen

    • Dynamik in den Pipelines muss geschaffen werden um Code Dopplung zu vermeiden und die Pipelines flexibel zu halten

    • Beschleunigung der Release & Deployment Prozesse in deinem Data Warehouse

    • Bereits sehr moderne Technologien wodurch Nieschenprobleme gefunden werden welche noch nirgendwo gelöst wurden

    Lösungen:

    • Verbesserung der Release- & Deployment Prozesse durch CICD

    • Modulare, einfache und skalierbare Pipelines

    • Vollautomatisierte Provisionierung mittels Terraform

    • Replizierung von kompletten Infrastrukturen für mehrere Organisationen durch Terraform

    • Implementierung mehrere Config Mappings um dynamisch nach Organisation mit der selben Pipeline arbeiten zu können

    • Datenintegrität durch einen CDC Mechanismus mit Hilfe von Apache Kafka

    Ergebnisse:

    • Höhere Flexibilität durch modularer Aufbau der Cloud Architektur
    • Skalierungsfähigkeit durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud

    • Robustheit durch Verwendung von Infrastructure as Code (Terraform)

    • Daten Integrität und Synchronisierung durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow

    • Schnelleres Release Zyklen durch den Einsatz von CICD und Azure DevOps pipelines

    • Modernes Secret Management durch Nutzung von Key Vaults und Infrastruture as Code

    Projektgeschehen:

    Spezielle Anforderungen des Kunden

    Im ersten Schritt der Migration des Projekts musste sicher gestellt werden, dass trotz Verschiebung des Systems der alte Prozess Zyklus erhalten bleibt und ein Übergang in das neue System so einfach wie möglich ist. Im weiteren Schritt wurden die vorhandenen Automatisierungen mit Dynamik bestückt um nicht mehr fest auf eine Teilorganisation gebunden zu sein sondern für viele Lauffähig sind – auch mehrere in einem Durchlauf.

    Anpassung und Aufbau der Pipelines

    Durch den Aufbau verschiedener Release und deployment pipelines konnte die durchschnittliche Zeit neue Features zu liefern deutlich reduziert werden. Bei der Entwicklung der Pipelines wurde immer drauf geachtet eine breite Testabdeckung zu realisieren. Der Einsatz der pipelines wurde so modular aufbaut dass verschiedene Teil-Teams diese individuell verwendet haben je nach spezifischen Anwendungsfall. Dennoch muss die Nutzung dieser Pipelines sehr einfach bleiben da verschiedenste Teams diese anwenden können müssen.

    Robuste und modulare Cloud Infrastruktur

    Durch den Einsatz von Terraform war der zentrale Überblick über die Cloud Ressourcen und Infrastruktur klar definiert. Ein weiterer Vorteil davon war die Verbesserung von Workflows der Entwickler und die integration in verschiedenen DevOps Prozessen. Somit konnte das Projekt schneller auf verschidene Unternehmensanforderungen reagieren. Die komplette Infrastruktur konnte somit für verschiedene Organisationen sehr schnell bereit gestellt werden und jeweils auf die spezielle Anforderungen der Teilteams eingegangen werden

    Projektstatus und Ergebnisse

    Durch die Optimierung verschiedener DevOps Prozesse und den Aufbau der Pipelines waren alle Sub-teams deutlich schneller im Testen, Release, Deployen der Software. Somit konnten interne Fachabteilung schneller Ergebnisse sehen und agil die Kundenanforderungen in den Sprints anpassen. Die Nutzung von Infrastructure as Code konnte eine robuste und module Cloud Infrastruktur geschaffen werden.

    Durch Schaffung von Dynamik in Pipelines können binnen kurzer Zeit viele Organisationen an das System angehängt werden und benötigen kaum manuelle Zuarbeit.

    Technology Stack:

    Cloud Infrastruktur:

    • Azure

    • Azure Kubernetes Service

    • Snowflake

    Daten Services:

    • Snowflake

    • Apache Airflow

    • Azure Data Factory

    CICD & IaC:

    • Azure DevOps

    • Azure Key Vault

    • Azure Resource Groups

    • Terraform

    Software Entwicklung:

      • Python

      • dbt

    Warum Pexon Consulting?

    Pexon Consulting hat sich voll und ganz Ihrem Erfolg verschrieben und wir glauben daran, dass wir immer für jeden unserer Kunden die Extrameile gehen:

    PexonConsulting 32 min

    Hingabe zum Erfolg

    Wir glauben, dass Erfolg dreifach ist: für unsere Kunden, ihre Kunden und die Gemeinschaften, die sie beeinflussen.
    PexonConsulting 33 min

    Fokus auf Leistung

    Wir werden Ihr engagierter Partner. Das bedeutet, dass wir ein Projekt erst dann abschließen, wenn sowohl Sie als auch wir zu 100 % zufrieden sind.

    PexonConsulting 31 min

    Engineering mit Leidenschaft

    Wir sind ein Netzwerk von Innovatoren. Wir entwickeln mutige Lösungen für die kompliziertesten Herausforderungen unserer Kunden.

    Ihre Ansprechpartner

    Schicken Sie uns eine Nachricht über das Kontaktformular unserer Kontaktseite und wir werden uns innerhalb weniger Arbeitstage mit Ihnen in Verbindung setzen. Alle übermittelten Informationen werden vertraulich behandelt.

    PexonConsulting 63 min

    Paul Niebler

    GF - Management, HR                                                                          Group 8

    PexonConsulting 62 min

    Phillip Pham

    GF - Delivery, Sales, Finance                                                                Group 8

    PexonConsulting 61 min

    Alex Nenninger

    Head of  Sales                                                  Group 8

    Design ohne Titel 3 min

    Florian Schmidl

    Head of GCP                                                      Group 8

    Design ohne Titel 4 min

    Max Hänsel

    Head of AWS                                                    Group 8

    david das neves min

    David das Neves

    Head of Azure                                                  Group 8

    Sie suchen einen Partner für Ihr Projekt?

    Wir geben unser Bestes, um Sie zufrieden zu stellen.