ESG Reporting - Handbuch

ESG Reporting Handbuch Cover

Handbuch ESG Reporting

Von Grundlagen bis zum automatisierten Report – Alles, was Sie wissen müssen.

Industrien

Finanzen & Versicherungen

Öffentlicher Sektor

ESG Reporting - Individuell für Ihr Unternehmen

Sei Teil unserer Community

Arbeit als Cloud Consultant

Kundenlogos 2

Kundenstory

Automatisierung der Datenflüsse in einem Cloud Data Warehouse

Wie man DevOps Ansätze in einem Cloud Data Warehouse integrieren kann

Industrie

Energy

Unternehmen

E.ON Energie Deutschland GmbH

Leistungen

DevOps Engineering

Kunde seit

2022
P

Höhere Flexibilität

Durch modularer Aufbau der Cloud Architektur.

P

Skalierungsfähigkeit

Durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud.

P

Robustheit

Durch Verwendung von Infrastructure as Code (Terraform).

P

Daten-Integrität und Synchronisierung

Durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow.

P

Schnelleres Release Zyklen

Durch den Einsatz von CICD und Azure DevOps pipelines.

P

Modernes Secret Management

Durch Nutzung von Key Vaults und Infrastruture as Code.

In a Nutshell:

  • BRANCHE: ENERGIESEKTOR

  • Task: In diesem Kundenprojekt ging es darum, die vorhandene Daten-Plattform für mehrere Organisationen nutzbar zu machen als bisher für eine

  • Team:

    • insgesamt ca. 6 Leute bestehend aus POs, Scrum Master, Data Engineers and DevOps Experten

    • Diverse Operationsteams, welche die aufgebauten Pipelines nutzen sollen

    • Projektlaufzeit: +12 Monate

    Herausforderungen:

    • Anpassung der vorhandenen Data Pipelines, um sie für mehrere Organisationen nutzbar zu machen
    • Skalierung: Verdopplung der Datenbanken pro neuer Organisation, wo im Laufe des Jahres stetig weitere Organisationen hinzukommen sollen.

    • Robustheit: ein Fehlschlagen der Pipelines kann zu tagelangem Stillstand der Auswertungen führen

    • Dynamik in den Pipelines muss geschaffen werden, um Code Dopplung zu vermeiden und die Pipelines flexibel zu halten

    • Beschleunigung der Release & Deployment Prozesse in deinem Data Warehouse

    • Bereits sehr moderne Technologien, wodurch Nischenprobleme gefunden werden, welche noch nirgendwo gelöst wurden

    Lösungen:

    • Verbesserung der Release- & Deployment Prozesse durch CICD

    • Modulare, einfache und skalierbare Pipelines

    • Vollautomatisierte Provisionierung mittels Terraform

    • Replizierung von kompletten Infrastrukturen für mehrere Organisationen durch Terraform

    • Implementierung mehrere Config Mappings um dynamisch nach Organisation mit derselben Pipeline arbeiten zu können

    • Datenintegrität durch einen CDC Mechanismus mithilfe von Apache Kafka

    Ergebnisse:

    • Höhere Flexibilität durch modularer Aufbau der Cloud Architektur
    • Skalierungsfähigkeit durch AKS (Kubernetes-Services auf Azure) und Auto-Scaling in der Cloud

    • Robustheit durch Verwendung von Infrastructure as Code (Terraform)

    • Daten Integrität und Synchronisierung durch Einsatz von modernen Services wie CDC Mechanismen und Apache Airflow

    • Schnelleres Release Zyklen durch den Einsatz von CICD und Azure DevOps Pipelines

    • Modernes Secret Management durch Nutzung von Key Vaults und Infrastruture as Code

    Projektgeschehen:

    Spezielle Anforderungen des Kunden

    Im ersten Schritt der Migration des Projekts musste sichergestellt werden, dass trotz Verschiebung des Systems der alte Prozess-Zyklus erhalten bleibt und ein Übergang in das neue System so einfach wie möglich ist. Im weiteren Schritt wurden die vorhandenen Automatisierungen mit Dynamik bestückt, um nicht mehr fest auf eine Teilorganisation gebunden zu sein, sondern für viele lauffähig sind – auch mehrere in einem Durchlauf.

    Anpassung und Aufbau der Pipelines

    Durch den Aufbau verschiedener Release und Deployment Pipelines konnte die durchschnittliche Zeit neue Features zu liefern deutlich reduziert werden. Bei der Entwicklung der Pipelines wurde immer darauf geachtet, eine breite Testabdeckung zu realisieren. Der Einsatz der Pipelines wurde so modular aufbaut, dass verschiedene Teil-Teams diese individuell verwendet haben je nach spezifischen Anwendungsfall. Dennoch muss die Nutzung dieser Pipelines sehr einfach bleiben, da verschiedenste Teams diese anwenden können müssen.

    Robuste und modulare Cloud Infrastruktur

    Durch den Einsatz von Terraform war der zentrale Überblick über die Cloud Ressourcen und Infrastruktur klar definiert. Ein weiterer Vorteil davon war die Verbesserung von Workflows der Entwickler und die Integration in verschiedenen DevOps Prozessen. Somit konnte das Projekt schneller auf verschiedene Unternehmensanforderungen reagieren. Die komplette Infrastruktur konnte somit für verschiedene Organisationen sehr schnell bereitgestellt und jeweils auf die speziellen Anforderungen der Teilteams eingegangen werden.

    Projektstatus und Ergebnisse

    Durch die Optimierung verschiedener DevOps Prozesse und den Aufbau der Pipelines waren alle Sub-teams deutlich schneller im Testen, Release, Deployen der Software. Somit konnten interne Fachabteilung schneller Ergebnisse sehen und agil die Kundenanforderungen in den Sprints anpassen. Die Nutzung von Infrastructure as Code konnte eine robuste und module Cloud Infrastruktur geschaffen werden.

    Durch Schaffung von Dynamik in Pipelines können binnen kurzer Zeit viele Organisationen an das System angehängt werden und benötigen kaum manuelle Zuarbeit.

    Technology Stack:

    Cloud Infrastruktur:

    • Azure

    • Azure Kubernetes Service

    • Snowflake

    Daten Services:

    • Snowflake

    • Apache Airflow

    • Azure Data Factory

    CICD & IaC:

    • Azure DevOps

    • Azure Key Vault

    • Azure Resource Groups

    • Terraform

    Software Entwicklung:

      • Python

      • dbt

    Warum Pexon Consulting?

    Pexon Consulting hat sich voll und ganz Ihrem Erfolg verschrieben und wir glauben daran, dass wir immer für jeden unserer Kunden die Extrameile gehen:

    PexonConsulting 32 min

    Hingabe zum Erfolg

    Wir glauben, dass Erfolg dreifach ist: für unsere Kunden, ihre Kunden und die Gemeinschaften, die sie beeinflussen.
    PexonConsulting 33 min

    Fokus auf Leistung

    Wir werden Ihr engagierter Partner. Das bedeutet, dass wir ein Projekt erst dann abschließen, wenn sowohl Sie als auch wir zu 100 % zufrieden sind.

    PexonConsulting 31 min

    Engineering mit Leidenschaft

    Wir sind ein Netzwerk von Innovatoren. Wir entwickeln mutige Lösungen für die kompliziertesten Herausforderungen unserer Kunden.

    Ihre Ansprechpartner

    Schicken Sie uns eine Nachricht über das Kontaktformular unserer Kontaktseite und wir werden uns innerhalb weniger Arbeitstage mit Ihnen in Verbindung setzen. Alle übermittelten Informationen werden vertraulich behandelt.

    Sie suchen einen Partner für Ihr Projekt?

    Wir geben unser Bestes, um Sie zufriedenzustellen.