Audience Verification auf GKE: über 1 TB Rohdaten/Tag zu tagesaktuellen In-Target-Werten

Statt für jeden Verarbeitungsschritt eigene Spark- oder Dataflow-Jobs zu betreiben, bildete Pexon die Berechnung über mehrere Ebenen von BigQuery-Views ab: Datenbereinigung, Anreicherung mit Panel- und Kampagnen-Stammdaten, Berechnung der Gewichte, Berechnung der In-Target-Werte. Der Vorteil: keine Datenduplikation, und die Datenbank-Engine optimiert die Logik selbst über die riesigen Eingangsmengen. Dataflow (Apache Beam) wurde als Googles Best-Practice-Empfehlung für serverlose ETL getestet, aber verworfen, weil ein notwendiger Join zweier Quellen mit je über 500 GB serverless nur über Umwege möglich war. Die Neuimplementierung des bestehenden Panelisten-Reports wurde von DataProc/Spark-Jobs auf SQL- und BigQuery-Jobs umgestellt: BigQuery-Jobs sind schnell, SQL ist im Team breit verfügbar, und alle Schritte laufen über eine einheitliche Methode. Orchestriert wird die Pipeline über Cloud Composer (Apache Airflow). Das ist die zentrale Trade-off-Entscheidung des Projekts: Vendor-Empfehlung gegen gemessene Machbarkeit am konkreten Join-Problem, entschieden zugunsten von BigQuery-ELT.

Um die geringe Trefferzahl des direkten Cookie-Mappings auszugleichen, bildet die Plattform über IP-Adressen ein Haushalts-Mapping im Cross-Device-Graph. Es liefert rund 5x mehr Treffer, allerdings mit systematisch niedrigeren In-Target-Werten, weil in einem Haushalt mehrere Personen online sein können. Diese Verzerrung wird über eine Kalibration korrigiert, die zum Zeitpunkt der Referenz noch verfeinert wird: Der Reichweite-Genauigkeits-Tradeoff wird explizit gesteuert, nicht wegdefiniert. Parallel läuft die Optimierung der Original-Device-ID-Zuordnung. Für Entscheider bedeutet das Transparenz statt Marketing-Zahl: Die Trefferquote ist belegt (~5x), der finale Genauigkeitswert gegenüber der bisherigen Messung wird nachgereicht, sobald die Kalibration final ist. Über 250.000 Panelisten aus fünf regelmäßigen Umfrage-Panels liefern die demografischen Stammdaten. Trifft ein Ad-Impression-Cookie auf ein Panelisten-Cookie, entsteht eine Zuordnung; aus ausreichend vielen Treffern wird hochgerechnet, welche Altersgruppen und Geschlechter eine Kampagne gesehen haben. Für 12 Gruppen wird ein Gewicht aus tatsächlicher Nutzer-Verteilung geteilt durch gefundene Panelisten-Verteilung berechnet, getrennt für direktes Mapping und Haushalts-Mapping.

Die Ergebnisdaten liefert eine in Python und FastAPI gebaute REST-API auf Google Kubernetes Engine als JSON, CSV und Excel, in mehreren Aggregationsleveln, dokumentiert und getestet mit PyTest. Consumption läuft zusätzlich über Power-BI-Reports. Dasselbe Kubernetes-Fundament setzt Pexon auch bei regulierten Energieversorgern ein: containerisierte API, Helm-Deployments, klare Umgebungs-Trennung. Vier Umgebungen (Sandbox, Dev, PreProd, Prod) halten Experimente und Produktion auseinander. Die Prod-Umgebung ist so abgesichert, dass Änderungen nur über Terraform möglich sind. Secrets und der Zugriff für terraform init laufen über Hashicorp Vault, CI/CD über GitLab CI mit wiederverwendbaren Terraform-Modulen des zentralen Infra-Teams. Pexon verantwortete Architektur- und Technologieentscheidungen, Datenmodellierung, Sicherung der Datenqualität, Infrastruktur als Code und die Diskussion der Businesslogik hinter der Gewichtung, eingebettet in ein cross-funktionales Scrum-Team aus Dev, Product Owner, Data Researcher/Analyst, Scrum Master und kundenseitigem PM.

Im Folgeprojekt Panelytics wurden verschiedene Datenquellen über eine Benutzeroberfläche zusammengeführt, um das Panelisten-Management zu vereinfachen und die Bildung von Targeting-Segmenten zu optimieren. Das schließt die Lücke zwischen Data-Lake-Pipeline und operativem Alltag der Audience-Teams: Segmente entstehen nicht mehr über verstreute Exporte, sondern über einen konsolidierten Workflow auf derselben Datenbasis, die die In-Target-Berechnung speist. Der Vertrag wurde verlängert, weil die Plattform nicht als einmaliges Report-Skript, sondern als Produktroadmap angelegt war: erst belastbare Messung, dann bedienbarer Panel-Workflow, parallel Kalibration und Device-ID-Feinschliff. Für vergleichbare Vermarkter und Publisher ist das Muster übertragbar (Data Lake, BigQuery-ELT, Airflow, FastAPI auf GKE), sofern Panel-Pool und Consent-Lage (TCF, verfügbare Cookie-Daten) die Hochrechnung tragen. Genau diese Voraussetzungen prüft Pexon vor einer Übertragung, statt eine Trefferquote pauschal zuzusichern.