Entwicklung einer cloud-basierten Repository auf Basis von Azure

• BRANCHE: CHEMIE
• Task: In diesem Kundenprojekt ging es um die Entwicklung einer cloudbasierten Infrastruktur für das automatisierte Hoch und Herunterladen von Labor Messdaten und die anschließende Analyse mittels Azure Machine Learning
• Team:
  • Insgesamt ca. 12 Leute bestehend aus POs, Backend- Frontend, FullStack Entwickler, DevOps
• Projektlaufzeit: +12 Monate

• Erweiterung des Legacy Laboratory Data Management System mit Azure 

• Skalierung: Stetig wachsende Anzahl von angeschlossenen Laborinstrumenten und Klienten, verteilt über die ganze Welt 

• Nicht-intuitives und langsames UI des Legacy Management Systems 

• „Daten – Silo“, schwieriger Zugriff auf dezentrale Daten Speicherorte

• Umsetzung einer Microservice Architektur mit NodeJs und Python 

• Modulares, einfaches und skalierbares Front-End 

• Vollautomatisierte Provisionierung mit Terraform 

• Vollautomatisierte Pipelines

• Höhere Flexibilität durch modularer Aufbau der Softwarearchitektur

• Robustheit durch Verwendung Infrastructure as Code (Terraform Azure) 

• Schnellere Release Zyklen durch CICD Azure DevOps 

• Modernes Secret Management mit Keyvault

Entwicklung Data Foundation Analytics

Das Ziel des Kunden war es, sein Legacy Data Management Tool zu erweitern. Hauptnutzer sind interne Mitarbeiter. Durch wachsende Zahl der Nutzer basierend auf unterschiedlichen Standorten und dem Problem des Datensilos, wuchs der Bedarf nach einer zentralen Cloud basierten Daten Repository. Weitere Herausforderung waren ein veraltetes, langsames und unintuitive User Interface Design. Diese sollte mit einer eigens entwickelten Frontend Applikation Abhilfe geschafft werden. 

Cloud Infrastruktur, Microservices und Infrastructure As Code

Die Herausforderungen wurden mit einer modernen Microservice Architektur mit NodeJs, Angular und Python, IaC und Azure DevOps gelöst. Unabhängige Services ermöglichen es den Teams durch ihre lose Kupplung deren Komponenten separat voneinander zu entwickeln und zu deployen. 

Dank der neu eingeführten Entwicklungs- und Deployment Workflows mittels Azure DevOps wird eine konstante Codequalität gewährleistet und Release-Zyklen beschleunigt. 

Durch den Einsatz von Infrastructure as Code mithilfe von Terraform ist es möglich, die komplette Infrastruktur in kurzer Zeit wiederherzustellen, dadurch ist sie robuster und reduziert den Management Overhead an der Cloud Infrastruktur enorm. 

Zusätzlich wird derzeit an der Einführung von Azure Machine Learning gearbeitet, welche die Echtzeit Analyse der Probendaten aus dem ADLS ermöglicht. Dazu werden die Daten aus dem ADLS mithilfe von Azure Datafactory in die jeweiligen Machine Learning Models gespeist, um sie dort zu verarbeiten. Der Einsatz von Azure Machine Learning ist in solch einer Weise gestaltet, dass der Einsatz und das Trainieren verschiedener Modelle problemlos skaliert werden kann.

Projektstatus und Ergebnisse

Das System läuft seit einigen Monaten in der Produktivumgebung und die Zahl der Nutzer und angeschlossenen Laborinstrument steigt stetig. Die Entwicklung des Projektes läuft daher kontinuierlich weiter. Aufgrund der verwendeten Best Practices in Softwareentwicklung und Cloud DevOps läuft das System robust und ist flexibel für neue Anpassungen.

Cloud Infrastruktur: 

• Azure 

Daten Services: 

• Azure Datafactory 

• Azure Machine Learning 

CICD & Iac: 

• Terraform 

• Azure DevOps

Software Entwicklung: 

• • TypeScript – NodeJs 

  • Angular 

  • Python