Analyse der Customer Journey im großen Maßstab mit AWS

• BRANCHE: AUTOMOBIL – INDUSTRIE

• Task: In diesem Kundenprojekt ging es darum, alle gesammelten Daten im Konzern in einem Data Lake zusammenzubringen und nutzbar zu machen.

• Team:

• Insgesamt 25 Leute, bestehend aus POs, DevOps Engineers, Cloud-Architekten, Data Engineers und Dashboard-Entwicklern

• Projektlaufzeit: +2 Jahre

• Zusammenführung aller kundenbezogenen Datenquellen (Marketing, Sales, Finance, …) in einem zentralen Data Lake

• Analyse der Daten, um den Lead-to-Sales Prozess besser zu verstehen und optimieren zu können

• Erstellung einer Vorlage des Data Lake, die man problemlos auf andere, internationale Märkte ausrollen kann

• Etablierung eines Self-Service-Systems für die Analyse verschiedenster Datenquellen

• Aufbau von Machine-Learning Modellen zur Vorhersage von Verkaufs-Prozessen

• Klärung der rechtlichen Anforderungen für die Nutzung und Analyse der Daten

• Nutzung von GitHub Actions für automatisierte Integrations- und Deployment Prozesse
• Nutzung von Terraform für code-gesteuerte Infrastruktur-Provisionierung
• Erstellung von Terraform Modulen für einheitliche Infrastruktur-Konfigurationen
• Data Lake und Archiv von Daten auf Basis von Amazon S3
• Aufbau eines Data Warehouse mit Amazon Redshift
• Erstellung von Dashboards zur grafischen Darstellung von Daten auf Basis von Redshift Views und Tabellen
• Replizierung von kompletten Infrastrukturen für mehrere Märkte durch Terraform
• Vollautomatisierte Provisionierung mittels Terraform

• Unabhängige Entwicklung von Features durch automatisierte Deployment Pipelines
• Versionierte und gut dokumentierte Infrastruktur durch Terraform
• Einheitliche Konfigurationen und auditierbare Security Konzepte
• Modulare, einfache und skalierbare Pipelines
• Möglichkeit von Cross-Analysen über diverse Datenquellen
• Umsetzung von Security Best-Practices durch ein strukturiertes Rechte- und Rollenkonzept
• Aufbrechen von Daten-Silos

Automatisierte CICD Prozesse

Durch den Einsatz von Terraform war der zentrale Überblick über die Cloud Ressourcen und Infrastruktur klar definiert. Ein weiterer Vorteil davon war die Verbesserung von Workflows der Entwickler und die Integration in verschiedenen DevOps Prozessen. Somit konnte das Projekt schneller auf verschiedene Unternehmensanforderungen reagieren. Die komplette Infrastruktur konnte somit für Märkte in verschiedenen Ländern sehr schnell bereit gestellt werden und jeweils auf die spezielle Anforderungen der Teilteams eingegangen werden.

Anbindung diverser Datenquellen

Im nächsten Schritt wurden alle verfügbaren Daten-Quellen im Unternehmen gesucht und analysiert. Dazu zählen beispielsweise Daten aus Marketing, Website Traffic, Händler-Informationen, Fahrzeugdaten, oder Finance-Daten. Viele der Daten enthalten personenbezogene Daten und wurden entsprechend der DSGVO gesondert behandelt und mit entsprechenden Verträgen rechtlich abgesichert.

Aufbau eines Data Lakes

Nachdem die Nutzung der Daten rechtlich geklärt ist, wird jede Datenquelle um Schnittstellen zu AWS S3 erweitert. Besonders sensible Daten landen zunächst in einem Bereich, der nur von einer kleinen Gruppe Developer zugreifbar ist. Von dort aus werden die Daten dann für die verschiedenen Use-Cases aufbereitet und verteilt. S3 dient hierbei als zentraler Speicher und Langzeitarchiv, aus dem sich diverse Parteien im Unternehmen mittels Self-Service bedienen können.

Data Warehouse mit Amazon Redshift

Durch die Nutzung von AWS Redshfit konnte der Kunde die Vorteile der Daten-Lösungen in der Cloud optimal nutzen. Die Lösung skalierte optimal mit den Anforderungen der Kunden mit. Durch das sehr performante Data Warehouse waren die Kunden sehr zufrieden mit der Geschwindigkeit der Datenbereitstellung. Durch das Design konnten die Kosten und der Aufwand für umfangreiche Analysen der Daten reduziert werden. Technische Vorteile von Redshift wie das einfache managen von Schnittstellen zum Data Lake waren weitere Gründe für die Nutzung von AWS RDS.

Visualisierung der Customer Journey

Mit Hilfe von Tableau Dashboards wurden die Daten anschaulich visualisiert und für Endnutzer in übersichtlicher Weise bereitgestellt. Als Grundlage für die Dashboards dienen in diesem Fall Redshift (Spectrum) Tabellen, die auf dem bestehenden Data Warehouse Modell aufgebaut sind. Damit können Abteilungen wie Marketing besser beurteilen, wie effektiv Ihre Kampagnen und Initiativen waren und welche Optimierungspotentiale es gibt. Der gesamte Prozess, von der ersten Berührung des Kunden mit der Marke bis hin zum Verkauf der Produkte und darüber hinaus konnte so analysiert und optimiert werden. Dies war vorher allein aufgrund der getrennten Datensilos unmöglich.

Vorhersage von Kaufentscheidungen

Eine weitere Anforderung des Kunden war es Prognosen über die Kaufentscheidungen der Kunden zu erstellen. Durch das Bereitstellen von Daten war es dem Team möglich über Modelle Vorhersagen über zukünftige Kaufentscheidungen der Kunden zu treffen. Dazu wurden historischen Daten aus verschiedenen Quelldatenbanksystemen über die Kunden gesammelt und verwendet. Die Modelle und das System werden kontinuierlich mit Daten gefüttert, weiter trainiert um immer bessere Vorhersagen über die Kaufentscheidungen der Endkunden treffen zu können. Beispielsweise konnte mit den Modellen prognostiziert werden, wie sich die Nachfragesituation ändert, wenn bestimmte Preisanpassungen gemacht werden.

Ergebnis

Die Weiterentwicklung des Projektes läuft kontinuierlich weiter. Die Nutzung verschiedener AWS Datenservices hat sich durch die Skalierbarkeit und dem modularen Aufbau als richtige Auswahl für diesen Anwendungsfall gezeigt. Durch die Nutzung von Terraform und CI/CD sind die Release- und Deployment-Prozesse beschleunigt und automatisiert worden. Aus Kundenperspektive sind nun persönlichere Ansprachen des Endkunden möglich. Datenprojekte verhelfen Kunden dabei einen 360° Überblick über die Customer Journey verschiedener Zielgruppen zu generieren. Mit dem gewonnenen Wissen konnte der Kunde sein Marketing optimierten und maßgeschneidert anpassen. Zudem ist durch den technischen Aufbau eine leichte und kostengünstige Skalierung auf weitere Märkte einfach möglich.

Cloud Infrastruktur:

• Diverse AWS Services

Daten Services:

• AWS Glue

• AWS Redshift

• AWS S3

• AWS Athena

CICD & IaC:

• GitHub Actions

• Azure DevOps

• Terraform

Software Entwicklung:

• Python