Automatisierung der Datenflüsse in einem Cloud Data Warehouse

• BRANCHE: ENERGIESEKTOR

• Task: In diesem Kundenprojekt ging es darum, die vorhandene Daten-Plattform für mehrere Organisationen nutzbar zu machen als bisher für eine

• Team:

  • insgesamt ca. 6 Leute bestehend aus POs, Scrum Master, Data Engineers and DevOps Experten

  • Diverse Operationsteams, welche die aufgebauten Pipelines nutzen sollen
• Projektlaufzeit: +12 Monate

• Anpassung der vorhandenen Data Pipelines, um sie für mehrere Organisationen nutzbar zu machen

• Skalierung: Verdopplung der Datenbanken pro neuer Organisation, wo im Laufe des Jahres stetig weitere Organisationen hinzukommen sollen.

• Robustheit: ein Fehlschlagen der Pipelines kann zu tagelangem Stillstand der Auswertungen führen

• Dynamik in den Pipelines muss geschaffen werden, um Code Dopplung zu vermeiden und die Pipelines flexibel zu halten

• Beschleunigung der Release & Deployment Prozesse in deinem Data Warehouse

• Bereits sehr moderne Technologien, wodurch Nischenprobleme gefunden werden, welche noch nirgendwo gelöst wurden

• Verbesserung der Release- & Deployment Prozesse durch CICD

• Modulare, einfache und skalierbare Pipelines

• Vollautomatisierte Provisionierung mittels Terraform

• Replizierung von kompletten Infrastrukturen für mehrere Organisationen durch Terraform

• Implementierung mehrere Config Mappings um dynamisch nach Organisation mit derselben Pipeline arbeiten zu können

• Datenintegrität durch einen CDC Mechanismus mithilfe von Apache Kafka

• Höhere Flexibilität durch modularer Aufbau der Cloud Architektur

• Skalierungsfähigkeit durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud

• Robustheit durch Verwendung von Infrastructure as Code (Terraform)

• Daten Integrität und Synchronisierung durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow

• Schnelleres Release Zyklen durch den Einsatz von CICD und Azure DevOps Pipelines

• Modernes Secret Management durch Nutzung von Key Vaults und Infrastruture as Code

Spezielle Anforderungen des Kunden

Im ersten Schritt der Migration des Projekts musste sichergestellt werden, dass trotz Verschiebung des Systems der alte Prozess-Zyklus erhalten bleibt und ein Übergang in das neue System so einfach wie möglich ist. Im weiteren Schritt wurden die vorhandenen Automatisierungen mit Dynamik bestückt, um nicht mehr fest auf eine Teilorganisation gebunden zu sein, sondern für viele lauffähig sind – auch mehrere in einem Durchlauf.

Anpassung und Aufbau der Pipelines

Durch den Aufbau verschiedener Release und Deployment Pipelines konnte die durchschnittliche Zeit neue Features zu liefern deutlich reduziert werden. Bei der Entwicklung der Pipelines wurde immer darauf geachtet, eine breite Testabdeckung zu realisieren. Der Einsatz der Pipelines wurde so modular aufbaut, dass verschiedene Teil-Teams diese individuell verwendet haben je nach spezifischen Anwendungsfall. Dennoch muss die Nutzung dieser Pipelines sehr einfach bleiben, da verschiedenste Teams diese anwenden können müssen.

Robuste und modulare Cloud Infrastruktur

Durch den Einsatz von Terraform war der zentrale Überblick über die Cloud Ressourcen und Infrastruktur klar definiert. Ein weiterer Vorteil davon war die Verbesserung von Workflows der Entwickler und die Integration in verschiedenen DevOps Prozessen. Somit konnte das Projekt schneller auf verschiedene Unternehmensanforderungen reagieren. Die komplette Infrastruktur konnte somit für verschiedene Organisationen sehr schnell bereitgestellt und jeweils auf die speziellen Anforderungen der Teilteams eingegangen werden.

Projektstatus und Ergebnisse

Durch die Optimierung verschiedener DevOps Prozesse und den Aufbau der Pipelines waren alle Sub-teams deutlich schneller im Testen, Release, Deployen der Software. Somit konnten interne Fachabteilung schneller Ergebnisse sehen und agil die Kundenanforderungen in den Sprints anpassen. Die Nutzung von Infrastructure as Code konnte eine robuste und module Cloud Infrastruktur geschaffen werden.

Durch Schaffung von Dynamik in Pipelines können binnen kurzer Zeit viele Organisationen an das System angehängt werden und benötigen kaum manuelle Zuarbeit.

Cloud Infrastruktur:

• Azure

• Azure Kubernetes Service

• Snowflake

Daten Services:

• Snowflake

• Apache Airflow

• Azure Data Factory

CICD & IaC:

• Azure DevOps

• Azure Key Vault

• Azure Resource Groups

• Terraform

Software Entwicklung:

• • Python

  • dbt