Data Engineering im Kontext des Panelistenmanagement in der Google Cloud

• BRANCHE: MEDIENBRANCHE

• Task: Entwicklung eines Tools zur Ermittlung von geschätzten Reichweiten für Werbeplatzierungen verschiedener Formate, wie lineares Fernsehen und Streaming

• Team:

• 3 Data Engineers
• 1 UX Designer
• 1 Frontend Developer
• 1 Product Owner
• 1 Scrum Master
• 1 Data Analyst

• Projektlaufzeit: +5 Monate 

• Tool zur Ermittlung von geschätzten Reichweiten für Werbeplatzierungen für verschiedene Formate wie lineares Fernsehen und Streaming
• Entwicklung eines Dashboards für Endnutzer des Tools
• Hierbei sollen die Nutzer auswählen können, welche Bevölkerungssegmente, z.B. Frauen 18-29 Jahre, durch die Werbung angesprochen werden sollen (Targeting) bzw. ein weiteres Mal angesprochen werden (Retargeting) 
• Des Weiteren, die Entwicklung eines Tools zur Zielgruppen Validierung, d.h. es wird evaluiert, welche Zielgruppen von einer gelaufenen Kampagne effektiv erreicht wurden

• Big Data – Große Datenmenge, die täglich ausgewertet werden müssen
• Datenqualität – unrealistische Fälle entfernen und Nutzer über verschiedene Datenquellen hinweg korrekt wiedererkennen
• High Availability der Applikationen
• Entwicklung eines präzisen und zertifizierbaren statistischen Modells

Die entwickelten Applikationen werden per DevOps auf drei verschiedene Umgebungen ausgerollt. Diese werden in ein jeweils eigenes Kubernetes Cluster deployed. Hierbei unterscheiden wir zwischen einem Angular Frontend Dashboard und einer Python REST API zur Datenkommunikation. Die Permissionierung wird komplett über die Google Cloud gesteuert. Alle kritischen Komponenten, wie beispielsweise Zugangsdaten, sind durch einen sicheren Prozess zwischen dem Hashicorp Vault und dem Google Secret Manager.

Der generelle Entwicklungs- und Deployment Workflow wurde mit DevOps respektive CICD Pipelines über GitLab realisiert. Hierbei werden die Applikationen auf Herz und Nieren geprüft und getestet, d.h. Linting, Quality Gateways und Unit-Tests. Sollte es hierbei zu Fehlern kommen, so wird das Deployment gestoppt. Dadurch wird vermieden, fehlerhafte Software produktiv zu schalten. Eine weitere Herausforderung war die Hochverfügbarkeit unserer Applikationen. Dies ließ sich durch stabile Deployments in Kubernetes. Durch Redundanz kann eine abgestürzte Instanz direkt ausgeglichen werden.

Google Cloud Platform (GCP) im Bereich Data Engineering

• BigQuery (Data Warehouse)

• Cloud Composer (Apache Airflow)

• DataProc (Apache Spark)

• Dataflow (Apache Beam)

• GKE (Google Kubernetes Engine) | Docker

• Cloud Storage (Data Lake)

• VPC (Virtual Private Cloud)

• MySQL

• Secret Manager

Infrastructure as Code:

• Hashicorp Terraform + Vault

DevOps:

• GitLab CICD
• PyTest
• Helm

Coding:

• Python als Sprache zur Entwicklung einer REST FastAPI

• Angular zur Entwicklung des Frontends

• SQL