Software Engineering

Serverless

Industrien

Banken & Versicherungen

Öffentlicher Sektor

Transport & Logistik

Automobil & produzierendes Gewerbe

Sei Teil unserer Community

Arbeit als Cloud Consultant

Kundenstory

Advanced GenAI Workshop: Architekturentscheidung für eine GenAI Lösung

Branche

Medien, Entertainment

Segment

Online Zeitschriften, TV

Firmengröße

> 17.000 Mitarbeiter

Firmenumsatz

7,2 Mrd. EUR
P

Erfolgsmetrik Definition

Messbare Erfolgskriterien des Use Cases ermöglichen eine zielgerichtete Projektumsetzung.

P

Modellauswahl Leitfaden

Ein umfassender Architekturleitfaden unterstützt bei der Auswahl des optimalen Large Language Models (LLM) für spezifische Anforderungen.

P

Infrastruktur Empfehlungen

Detaillierte Empfehlungen für die Infrastruktur, einschließlich Vektordatenbanken und Embedding-Modelle, steigern Effizienz und Skalierbarkeit.

P

Performance Optimierung

Das Gleichgewicht zwischen Modellauswahl und Performance ermöglicht fundierte Entscheidungen zur Systemoptimierung.

P

Testing Framework

Die Entwicklung eines Testing Frameworks gewährleistet kontinuierliche Qualität und Leistungsfähigkeit des Systems.

P

Referenzdatenset Entwicklung

Der Aufbau eines Referenzdatensets unterstützt die kontinuierliche Leistungsbewertung und Qualitätssicherung.

Projekt-Zusammenfassung:

In diesem Projekt standen wir vor der Herausforderung, 100.000 journalistische Artikel mit hohen Geschwindigkeitsanforderungen effizient zu verarbeiten.

Zu den Hauptaufgaben zählten die Evaluierung und Auswahl geeigneter KI-Modelle und Infrastrukturkomponenten wie LLM-Modelle, Embeddings und Vektordatenbanken, um ein optimales Kosten-Nutzen-Verhältnis zu erreichen.

Darüber hinaus mussten wir eine hohe Datenqualität sicherstellen und Content Filtering Standards implementieren, um den Anforderungen unserer Kunden gerecht zu werden.

Die Integration verschiedener Datenquellen und -formate in eine einheitliche Lösung sowie das Design einer Datenarchitektur, die Abteilungssilos und externe Wikis berücksichtigt, waren ebenfalls kritische Komponenten.

In einem Advanced RAG Workshop wurden gemeinsam mit dem Kunden verschiedene Lösungsarchitekturen diskutiert, um die Ziele des individuellen Anwendungsfalls zu erreichen.

Herausforderungen:

Hohe Anforderungen an Volumen und Geschwindigkeit: Eine der größten Herausforderungen war die Verwaltung und Verarbeitung von 100.000 journalistischen Artikeln unter Einhaltung strenger Geschwindigkeitsanforderungen, um eine Echtzeitverarbeitung zu ermöglichen.

Bewertung und Auswahl von KI-Modellen: Wir mussten geeignete KI-Modelle und Infrastrukturkomponenten wie LLM-Modelle, Embeddings und Vektor-Datenbanken evaluieren, die eine optimale Balance zwischen Kosten und Leistung bieten.

Sicherstellung der Datenqualität: Es war wichtig, eine hohe Datenqualität zu gewährleisten und Content-Filtering-Standards zu implementieren, um Antworten zu liefern, die den Anforderungen und Erwartungen der Kunden entsprechen.

Integration unterschiedlicher Datenquellen: Eine weitere Herausforderung bestand darin, verschiedene Datenquellen und -formate in eine einheitliche und effiziente Lösung zu integrieren. Dies erforderte ein komplexes Datenmanagement und fortschrittliche technische Lösungen.

Design der Datenarchitektur: Das Design musste verschiedene Abteilungssilos und externe Informationsquellen wie Wikis berücksichtigen, was die Komplexität der Architekturplanung erhöhte.

Optimierte Architektur für KI und RAG: Die Entwicklung einer kosten- und leistungsoptimierten Architektur für generative KI und Retrieval-Augmented Generation (RAG) stellte hohe Anforderungen an unser Team, um Effizienz und Effektivität zu maximieren.

Lösungen:

Fortgeschrittener RAG Workshop: Wir haben einen spezialisierten Workshop durchgeführt, um verschiedene architektonische Möglichkeiten zu diskutieren. Dies ermöglichte uns, die optimale Struktur für die Projektanforderungen zu identifizieren und zu entwickeln.

Erfolgsmetrik/KPI-Definition: Für den individuellen Anwendungsfall wurde eine spezifische Erfolgsmetrik definiert. Diese Metrik diente als Grundlage für die Bewertung der Projektleistung und der Zielerreichung.

Architekturdiskussion: In mehreren Sitzungen wurden verschiedene Architekturen für die RAG-AI Lösung diskutiert. Ziel war es, eine flexible und robuste Lösung zu entwickeln, die sowohl aktuelle als auch zukünftige Anforderungen erfüllt.

Produktvergleiche: Um die bestmögliche Technologieauswahl zu treffen, wurden umfangreiche Vergleiche zwischen verschiedenen Embeddings, Vektor-Datenbanken und LLM-Modellen durchgeführt. Diese Analysen halfen, die effizientesten und kostengünstigsten Optionen zu identifizieren.

Diskussion der Datenarchitektur: Entwurf einer Architektur, die eine zentrale Kontrolle in Bezug auf Sicherheit, Datenqualität und die Verarbeitung verschiedener Datenformate ermöglicht.

Vektor-Datenbank Auswahl: Diskussion von Vektor-Datenbank-Alternativen, um eine effiziente Verwaltung und Suche von Embeddings verschiedener KI-Modelle zu gewährleisten. Dies optimiert die Geschwindigkeit und Genauigkeit von Datenabfragen.

Dynamische Nutzung unterschiedlicher Quellsysteme: Die Datenarchitektur wurde so konzipiert, dass sie verschiedene Quellsysteme wie Wikis, SharePoint und Fileserver aus unterschiedlichen Abteilungen dynamisch integrieren kann. Dies ermöglicht eine flexible Zusammenführung und Nutzung der Daten.

Skalierbare Architektur: Die gesamte Lösung wurde mit einer skalierbaren Architektur entwickelt, die sich an wechselnde Lastanforderungen der Endnutzer anpassen kann.

Geschäfts-Ergebnisse des Projektes:

  • Erfolgsmetrik und klare Definition des Use Cases

  • Architekturleitfaden zur Auswahl des optimalen LLM Modells

  • Architekturleitfaden für die Infrastruktur, einschließlich Empfehlungen für Vektordatenbanken und Embedding Modelle, um Effizienz und Skalierbarkeit zu maximieren

  • Architekturleitfaden zur Abwägung zwischen Modellwahl und Performance, ermöglicht fundierte Entscheidungen zur Optimierung der Systemleistung

  • Testing Frameworks und Entwicklung eines Referenzdatensets für kontinuierliche Qualitätssicherung und Leistungsbewertung

Technology Stack:

  • Evaluierung GPT4, Claude 3, Mistral Large, Mixtral, GPT3.5, Llama

  • Evaluierung Langchain, Llama Index, Promptflow

  • Promptfoo, RAGAS

  • OpenAI Streaming API

  • Embeddings (Splade, Colbert, text-embedding-3-small)

  • Vector Datenbanken Vergleiche (Vespa, etc.)

  • RAG Architekturen

  • Evaluierung Infrastruktur (Azure, AWS, etc.)

Warum Pexon Consulting?

Pexon Consulting hat sich voll und ganz Ihrem Erfolg verschrieben und wir glauben daran, dass wir immer für jeden unserer Kunden die Extrameile gehen:

PexonConsulting 32 min

Hingabe zum Erfolg

Wir glauben, dass Erfolg dreifach ist: für unsere Kunden, ihre Kunden und die Gemeinschaften, die sie beeinflussen.
PexonConsulting 33 min

Fokus auf Leistung

Wir werden Ihr engagierter Partner. Das bedeutet, dass wir ein Projekt erst dann abschließen, wenn sowohl Sie als auch wir zu 100 % zufrieden sind.

PexonConsulting 31 min

Engineering mit Leidenschaft

Wir sind ein Netzwerk von Innovatoren. Wir entwickeln mutige Lösungen für die kompliziertesten Herausforderungen unserer Kunden.

Sie suchen einen Partner für Ihr Projekt?

Wir geben unser Bestes, um Sie zufrieden zu stellen.

Whitepaper: Enterprise ChatGPT in der Praxis

3 Anwendungsfälle mit OpenAI – datenschutzkonform & Referenzarchitektur.

Kostenloses Handbuch: ESG Reporting

Von Grundlagen bis zum automatisierten Report – Alles, was Sie wissen müssen.