Entwicklung einer cloud-basierten Repository auf Basis von Azure

• BRANCHE: CHEMIE
• Task: In diesem Kundenprojekt ging es um die Entwicklung einer cloudbasierten Infrastruktur für das automatisierte Hoch und Runterladen von Labor MessDaten und die anschließende Analyse mittels Azure Machine learning
• Team:
  • Insgesamt ca. 12 Leute bestehend aus POs, Backend- Frontend, FullStack Entwickler, DevOps
• Projektlaufzeit: +12 Monate

• Erweiterung des Legacy Laboratory Data Management System mit Azure 

• Skalierung: Stetig wachsende Anzahl von angeschlossenen Laborinstrumenten und Klienten verteilt über die ganze Welt 

• Umintuitives und langsames UI des Legacy Management System 

• „Daten – Silo“, schwieriger Zugriff auf dezentrale Daten Speicherorte

• Umsetzung einer Microservice Architektur mit NodeJs und Python 

• Modulares, einfaches und skalierbares Front-End 

• Vollautomatisierte Provisionierung mit Terraform 

• Vollautomatisierte Pipelines

• Höhere Flexibilität durch modularer Aufbau der Software Architektur

• Robustheit durch Verwendung Infrastructure as Code ( Terraform Azure) 

• Schnellere Release Zyklen durch CICD Azure DevOps 

• Modernes Secret Management mit Keyvault

Entwicklung Data Foundation Analytics

Das Ziel des Kunden war es, sein Legacy Data Management Tool zu erweitern. Hauptnutzer sind interne Mitarbeiter. Durch wachsende Zahl der Nutzer basierend auf unterschiedlichen Standorten und den Problem des Daten – Silos, wuchs der Bedarf nach einer zentralen Cloud basierten Daten Repository. Weitere Herausforderung waren ein veraltetes, langsames und unintuitive User Interface Design. Diese sollte mit einer eigens entwickelten Frontend Applikation Abhilfe geschafft werden. 

Cloud Infrastruktur, Microservices und Infrastructure As Code

Die Herausforderungen wurden mit einer modernen Microservice Architektur mit NodeJs, Angular und Python, IaC und Azure DevOps gelöst. Unabhängige Services ermöglichen es den Teams durch ihre loose Kupplung deren Komponenten separat voneinander zu entwickeln und zu deployen. 

Dank der neu eingeführten Entwicklungs- und Deployment Workflows mittels Azure DevOps wird eine konstante Codequalität gewährleistet und  Release-Zyklen beschleunigt. 

Durch den Einsatz von Infrastructure as Code mithilfe von Terraform ist es möglich, die komplette Infrastruktur in kurzer Zeit wiederherzustellen, dadurch ist sie robuster und reduziert den Management Overhead an der Cloud Infrastruktur enorm. 

Zusätzlich wird derzeit an der Einführung von Azure Machine Learning gearbeitet, welche die Echtzeit Analyse der Proben Daten aus dem ADLS ermöglicht. Dazu werden die Daten aus dem ADLS mithilfe von Azure Datafactory in die jeweiligen Machine Learning Models gespeist um sie dort zu verarbeiten. Der Einsatz von Azure Machine Learning ist in solch einer Weise gestaltet, dass der Einsatz und das Trainieren verschiedener Modelle problemlos skaliert werden kann.

Projektstatus und Ergebnisse

Das System läuft seit einigen Monaten in der Produktiv Umgebung und die Zahl der Nutzer und angeschlossenen Laborinstrument steigt stetig. Die Entwicklung des Projektes läuft daher kontinuierlich weiter. Aufgrund der verwendeten Best Practices in Software Entwicklung und Cloud DevOps läuft das System robust und ist flexibel für neue Anpassungen.

Cloud Infrastruktur: 

• Azure 

Daten Services: 

• Azure Datafactory 

• Azure Machinelearning 

CICD & Iac: 

• Terraform 

• Azure DevOps

Software Entwicklung: 

• • TypeScript – NodeJs 

  • Angular 

  • Python