RTL DE Logo 2021 pink blau gruen removebg preview

Kundenstory

Data Engineering im Kontext des Panelistenmanagement in der Google Cloud

 

Unternehmen

RTL Deutschland GmbH

Leistungen

Software Development & Cloud Engineering

Branche

Medienbranche

Kunde seit

2021

In A Nutshell:

  • BRANCHE: MEDIENBRANCHE

  • Task: Entwicklung eines Tools zur Ermittlung von geschätzten Reichweiten für Werbeplatzierungen verschiedener Formate, wie lineares Fernsehen und Streaming

  • Team:

      • 3 Data Engineers
      • 1 UX Designer
      • 1 Frontend Developer
      • 1 Product Owner
      • 1 Scrum Master
      • 1 Data Analyst
  • Projektlaufzeit: +5 Monate 

Business Use Case:

  • Tool zur Ermittlung von geschätzten Reichweiten für Werbeplatzierungen für verschiedene Formate wie lineares Fernsehen und Streaming
  • Entwicklung eines Dashboards für Endnutzer des Tools
  • Hierbei sollen die Nutzer auswählen können, welche Bevölkerungs Segmente, z.B. Frauen 18-29 Jahre, durch die Werbung angesprochen werden sollen (Targeting) bzw. ein weiteres Mal angesprochen werden (Retargeting) 
  • Des weiteren Entwicklung eines Tool zur Zielgruppen Validierung, d.h. Es wird evaluiert, welche Zielgruppen von einer gelaufenen Kampagne effektiv erreicht wurden

Herausforderungen:

  • Big Data – Große Datenmenge die täglich ausgewertet werden müssen
  • Datenqualität – unrealistische Fälle entfernen und Nutzer über verschiedene Datenquellen hinweg korrekt wiedererkennen
  • High Availability der Applikationen
  • Entwicklung eines präzisen und zertifizierbaren statistischen Modells

Projektgeschehen:

Die entwickelten Applikationen werden per DevOps auf drei verschiedene Umgebungen ausgerollt. Diese werden in ein jeweils eigenes Kubernetes Cluster deployed. Hierbei unterscheiden wir zwischen einem Angular Frontend Dashboard und einer Python REST API zur Datenkommunikation. Die Permissionierung wird komplett über die Google Cloud gesteuert. Alle kritischen Komponenten, wie beispielsweise Zugangsdaten, sind durch einen sicheren Prozess zwischen dem Hashicorp Vault und dem Google Secret Manager.

Der generelle Entwicklungs und Deployment Workflow wurde mit DevOps respektive CICD Pipelines über GitLab realisiert. Hierbei werden die Applikationen auf Herz und Nieren geprüft und getestet, d.h. Linting, Quality Gateways und Unit Tests. Sollte es hierbei zu Fehlern kommen, so wird das Deployment gestoppt. Dadurch wird vermieden fehlerhafte Software produktiv zu schalten. Eine weitere Herausforderung war die Hochverfügbarkeit unserer Applikationen. Dies ließ sich durch stabile Deployments in Kubernetes. Durch Redundanz kann eine abgestürzte Instanz direkt ausgeglichen werden.

Technology Stack:

Google Cloud Platform (GCP) im Bereich Data Engineering

  • BigQuery (Data Warehouse)

  • Cloud Composer (Apache Airflow)

  • DataProc (Apache Spark)

  • Dataflow (Apache Beam)

  • GKE (Google Kubernetes Engine) | Docker

  • Cloud Storage (Data Lake)

  • VPC (Virtual Private Cloud)

  • MySQL

  • Secret Manager

Infrastructure as Code:

    • Hashicorp Terraform + Vault

DevOps:

  • GitLab CICD
  • PyTest
  • Helm

    Coding:

      • Python als Sprache zur Entwicklung einer REST FastAPI

      • Angular zur Entwicklung des Frontends

      • SQL

    Warum Pexon Consulting?

    Pexon Consulting hat sich voll und ganz Ihrem Erfolg verschrieben und wir glauben daran, dass wir immer für jeden unserer Kunden die Extrameile gehen:

    PexonConsulting 32 min

    Hingabe zum Erfolg

    Wir glauben, dass Erfolg dreifach ist: für unsere Kunden, ihre Kunden und die Gemeinschaften, die sie beeinflussen.
    PexonConsulting 33 min

    Fokus auf Leistung

    Wir werden Ihr engagierter Partner. Das bedeutet, dass wir ein Projekt erst dann abschließen, wenn sowohl Sie als auch wir zu 100 % zufrieden sind.

    PexonConsulting 31 min

    Engineering mit Leidenschaft

    Wir sind ein Netzwerk von Innovatoren. Wir entwickeln mutige Lösungen für die kompliziertesten Herausforderungen unserer Kunden.

    Ihre Ansprechpartner

    Schicken Sie uns eine Nachricht über das Kontaktformular unserer Kontaktseite und wir werden uns innerhalb weniger Arbeitstage mit Ihnen in Verbindung setzen. Alle übermittelten Informationen werden vertraulich behandelt.

    PexonConsulting 63 min

    Paul Niebler

    GF - Management, HR                                                                          Group 8

    PexonConsulting 62 min

    Phillip Pham

    GF - Delivery, Sales, Finance                                                                Group 8

    PexonConsulting 61 min

    Alex Nenninger

    Head of  Sales                                                  Group 8

    Design ohne Titel 3 min

    Florian Schmidl

    Head of GCP                                                      Group 8

    Design ohne Titel 4 min

    Max Hänsel

    Head of AWS                                                    Group 8

    david das neves min

    David das Neves

    Head of Azure                                                  Group 8

    Sie suchen einen Partner für Ihr Projekt?

    Wir geben unser Bestes, um Sie zufrieden zu stellen.