Kundenstory
Data Engineering im Kontext des Panelistenmanagement in der Google Cloud
Unternehmen
RTL Deutschland GmbH
Leistungen
Software Development & Cloud Engineering
Branche
Medienbranche
Kunde seit
2021
In A Nutshell:
-
BRANCHE: MEDIENBRANCHE
-
Task: Entwicklung eines Tools zur Ermittlung von geschätzten Reichweiten für Werbeplatzierungen verschiedener Formate, wie lineares Fernsehen und Streaming
-
Team:
- 3 Data Engineers
- 1 UX Designer
- 1 Frontend Developer
- 1 Product Owner
- 1 Scrum Master
- 1 Data Analyst
-
Projektlaufzeit: +5 Monate
Business Use Case:
- Tool zur Ermittlung von geschätzten Reichweiten für Werbeplatzierungen für verschiedene Formate wie lineares Fernsehen und Streaming
- Entwicklung eines Dashboards für Endnutzer des Tools
- Hierbei sollen die Nutzer auswählen können, welche Bevölkerungssegmente, z.B. Frauen 18-29 Jahre, durch die Werbung angesprochen werden sollen (Targeting) bzw. ein weiteres Mal angesprochen werden (Retargeting)
- Des Weiteren, die Entwicklung eines Tools zur Zielgruppen Validierung, d.h. es wird evaluiert, welche Zielgruppen von einer gelaufenen Kampagne effektiv erreicht wurden
Herausforderungen:
- Big Data – Große Datenmenge, die täglich ausgewertet werden müssen
- Datenqualität – unrealistische Fälle entfernen und Nutzer über verschiedene Datenquellen hinweg korrekt wiedererkennen
- High Availability der Applikationen
- Entwicklung eines präzisen und zertifizierbaren statistischen Modells
Projektgeschehen:
Die entwickelten Applikationen werden per DevOps auf drei verschiedene Umgebungen ausgerollt. Diese werden in ein jeweils eigenes Kubernetes Cluster deployed. Hierbei unterscheiden wir zwischen einem Angular Frontend Dashboard und einer Python REST API zur Datenkommunikation. Die Permissionierung wird komplett über die Google Cloud gesteuert. Alle kritischen Komponenten, wie beispielsweise Zugangsdaten, sind durch einen sicheren Prozess zwischen dem Hashicorp Vault und dem Google Secret Manager.
Der generelle Entwicklungs- und Deployment Workflow wurde mit DevOps respektive CICD Pipelines über GitLab realisiert. Hierbei werden die Applikationen auf Herz und Nieren geprüft und getestet, d.h. Linting, Quality Gateways und Unit-Tests. Sollte es hierbei zu Fehlern kommen, so wird das Deployment gestoppt. Dadurch wird vermieden, fehlerhafte Software produktiv zu schalten. Eine weitere Herausforderung war die Hochverfügbarkeit unserer Applikationen. Dies ließ sich durch stabile Deployments in Kubernetes. Durch Redundanz kann eine abgestürzte Instanz direkt ausgeglichen werden.
Technology Stack:
Google Cloud Platform (GCP) im Bereich Data Engineering
-
BigQuery (Data Warehouse)
-
Cloud Composer (Apache Airflow)
-
DataProc (Apache Spark)
-
Dataflow (Apache Beam)
-
GKE (Google Kubernetes Engine) | Docker
-
Cloud Storage (Data Lake)
-
VPC (Virtual Private Cloud)
-
MySQL
-
Secret Manager
Infrastructure as Code:
-
Hashicorp Terraform + Vault
DevOps:
- GitLab CICD
- PyTest
- Helm
Coding:
-
Python als Sprache zur Entwicklung einer REST FastAPI
-
Angular zur Entwicklung des Frontends
-
SQL
Warum Pexon Consulting?
Pexon Consulting hat sich voll und ganz Ihrem Erfolg verschrieben und wir glauben daran, dass wir immer für jeden unserer Kunden die Extrameile gehen:
Hingabe zum Erfolg
Fokus auf Leistung
Wir werden Ihr engagierter Partner. Das bedeutet, dass wir ein Projekt erst dann abschließen, wenn sowohl Sie als auch wir zu 100 % zufrieden sind.
Engineering mit Leidenschaft
Wir sind ein Netzwerk von Innovatoren. Wir entwickeln mutige Lösungen für die kompliziertesten Herausforderungen unserer Kunden.
Ihre Ansprechpartner
Schicken Sie uns eine Nachricht über das Kontaktformular unserer Kontaktseite und wir werden uns innerhalb weniger Arbeitstage mit Ihnen in Verbindung setzen. Alle übermittelten Informationen werden vertraulich behandelt.
Sie suchen einen Partner für Ihr Projekt?
Wir geben unser Bestes, um Sie zufriedenzustellen.