Software Engineering

Serverless

Industrien

Banken & Versicherungen

Öffentlicher Sektor

Transport & Logistik

Automobil & produzierendes Gewerbe

Sei Teil unserer Community

Arbeit als Cloud Consultant

OpenAI Chat Referenzarchitektur: Technische Einblicke in eine End-to-End Chat-Lösung

Jan 26, 2024 | Allgemein, OpenAI

OpenAI hat sich mit seinen fortschrittlichen Chatbots, die menschenähnliche Konversationen ermöglichen, einen Namen gemacht. Heute wollen wir die Architektur hinter dieser beeindruckenden Technologie beleuchten. Keine Sorge, wir halten es einfach und zeigen, was sie für unser Unternehmen bedeutet.

OpenAI Chat Referenzarchitektur: Technische Einblicke in eine End-to-End Chat-Lösung

Die OpenAI Referenzarchitektur für Chat-Lösungen

In unserer dynamischen Geschäftswelt sind Enterprise Chat Anwendungen unverzichtbar geworden, um die interne Kommunikation zu optimieren. Die Entwicklung großer Sprachmodelle wie OpenAI’s GPT und Meta’s LLaMA eröffnet völlig neue Möglichkeiten für die Konversationsfähigkeiten dieser Systeme. Diese Chat-Anwendungen bieten nicht nur eine intuitive Benutzerschnittstelle, sondern integrieren auch spezielle Datenquellen und fortgeschrittene Sprachmodelle, die in der Lage sind, aus diesen Daten sinnvolle Antworten zu generieren.

In diesem Artikel stellen wir eine grundlegende Architektur vor, die speziell für das Design und die Implementierung von Enterprise Chat-Anwendungen mit den großen Sprachmodellen von Azure OpenAI entwickelt wurde. Diese Architektur verwendet den Azure Machine Learning (AML) Prompt Flow, um ausführbare Workflows zu erstellen, die von der Eingabeaufforderung bis zum Abrufen der erforderlichen Daten für die Sprachmodelle reichen. Diese Workflows werden dann auf einem Azure Machine Learning-Rechencluster hinter einem verwalteten Online-Endpunkt bereitgestellt, um eine nahtlose und effiziente Chat-Erfahrung zu gewährleisten.

Die OpenAI Referenzarchitektur für Chat-Lösungen

Hauptbestandteile der Architektur

Viele der Komponenten dieser Architektur sind mit den Ressourcen der Baseline-Webanwendung für App Services identisch, da das Hosting der Chat-Benutzeroberfläche in dieser Architektur der Architektur der Baseline-Webanwendung für App Services folgt. Die in diesem Abschnitt hervorgehobenen Komponenten konzentrieren sich auf die Elemente, die zum Aufbau und zur Orchestrierung von Chat-Flows, Datendiensten und Diensten, die große Sprachmodelle (LLMs) bereitstellen, verwendet werden.

  • Azure Machine Learning ist ein verwalteter Cloud-Dienst, der zum Trainieren, Bereitstellen und Verwalten von Machine-Learning-Modellen verwendet wird. Diese Architektur nutzt verschiedene andere Funktionen von Azure Machine Learning, um ausführbare Flows für KI-Anwendungen zu entwickeln und bereitzustellen, die von großen Sprachmodellen angetrieben werden:

  • Azure Machine Learning Prompt Flow ist ein Entwicklungstool, mit dem Flows erstellt, evaluiert und bereitgestellt werden können, die Benutzereingabeaufforderungen, Aktionen durch Python-Code und Aufrufe an LLMs kombinieren. Der Prompt Flow wird in dieser Architektur als Schicht verwendet, die die Abläufe zwischen der Eingabeaufforderung, den verschiedenen Datenspeichern und den LLMs orchestriert.

  • Azure Storage wird verwendet, um die Quelldateien des Prompt Flow für die Entwicklung zu speichern.

  • Azure Container Registry ermöglicht das Erstellen, Speichern und Verwalten von Container-Images und Artefakten in einer privaten Registry für alle Arten von Container-Bereitstellungen. In dieser Architektur werden Flows als Container Images verpackt und in der Azure Container Registry gespeichert.

  • Azure OpenAI ist ein vollständig managed Service, der REST-API-Zugang zu den wichtigsten Sprachmodellen von Azure OpenAI bietet, darunter GPT-4, GPT 3.5-Turbo und Embeddings. In dieser Architektur wird es zusätzlich zum Modellzugriff verwendet, um gängige Unternehmensfunktionen wie Virtual Networking und Private Link, Unterstützung für verwaltete Identitäten und Inhaltsfilterung hinzuzufügen.

  • Azure AI Search ist ein Cloud-Suchdienst, der Volltextsuche, semantische Suche, Vektorsuche und hybride Suche unterstützt. Azure AI Search ist in der Architektur enthalten, da es sich um einen gängigen Dienst handelt, der in den Streams hinter Chat-Anwendungen verwendet wird. Azure AI Search kann verwendet werden, um Daten abzurufen und zu indizieren, die für Benutzeranfragen relevant sind. Der Prompt Flow implementiert das RAG-Pattern (Retrieval Augmented Generation), um die entsprechende Anfrage aus der Eingabeaufforderung zu extrahieren, AI Search abzufragen und die Ergebnisse als Grundlage für das Azure OpenAI-Modell zu verwenden.

Schritt-für-Schritt-Anleitung für die Implementierung einer Basis Infrastruktur für eine Chat Lösung

Schritt-für-Schritt-Anleitung für die Implementierung einer Basis Infrastruktur für eine Chat Lösung

Hier ein Git Repo mit einer Referenz Implementierung: GitHub

1. Vorbereitung und Einrichtung:

  • Erstellen Sie ein Azure-Konto und stellen Sie sicher, dass Sie über die erforderlichen Berechtigungen verfügen.
  • Installieren Sie die Azure CLI und die az Bicep-Tools.
  • Setzen Sie die erforderlichen Variablen und erstellen Sie ein selbstsigniertes TLS-Zertifikat für den Azure Application Gateway (oder verwenden Sie ein entsprechendes Zertifikat Ihrer Organisation).

2. Bereitstellen der Infrastruktur:

  • Verwenden Sie die Azure CLI, um eine Ressourcengruppe zu erstellen und die Infrastruktur mit Bicep-Templates zu deployen.

3. Erstellen, Testen und Bereitstellen eines Prompt-Flows:

  • Verbinden Sie sich über Azure Bastion und einen Jumpbox-Server mit dem Azure Machine Learning-Workspace.
  • Erstellen Sie einen Prompt-Flow im Azure Machine Learning Studio und konfigurieren Sie die Verbindung zu Ihrem Azure OpenAI-Deployment.
  • Testen Sie den Flow im UI und erstellen Sie eine Bereitstellung im Azure Machine Learning verwalteten Online-Endpoint.

4. Veröffentlichen der Chat-Frontend-Web-App:

  • Verwenden Sie die „Run from zip“-Methode in Azure App Service, um Konflikte beim Bereitstellen zu vermeiden.
  • Laden Sie die Web-App als ZIP-Datei in Ihren Storage-Account hoch und konfigurieren Sie die App Service-Einstellungen entsprechend.

5. Alternative Bereitstellungsoption in Azure App Service:

  • Laden Sie Ihren Flow aus dem Machine Learning-Workspace herunter und bauen Sie ihn mit dem pf CLI-Tool.
  • Containerisieren Sie den Flow und pushen Sie das Image in Ihr Azure Container Registry.
  • Stellen Sie das Image in Azure App Service bereit und konfigurieren Sie die App Service-Einstellungen, um auf das bereitgestellte Prompt-Flow-Endpunkt zu zeigen.

Zusätzliche Schlüsselthemen, die für die Entwicklung einer OpenAI Chat-Lösung wichtig sind

Inhaltsfilterung und Missbrauchsüberwachung in OpenAI-Chatbots

In der Welt der OpenAI-Chat-Lösungen spielt die Inhaltsfilterung eine zentrale Rolle. Sie gewährleistet, dass Interaktionen mit dem Chatbot den höchsten Standards von Angemessenheit und Sicherheit entsprechen. Durch den Einsatz fortschrittlicher Filtertechnologien werden unangemessene oder schädliche Inhalte effektiv blockiert, was für den Schutz der Nutzer und den Erhalt des Unternehmensrufs unerlässlich ist. Diese Filtermechanismen sind entscheidend, um das Vertrauen in Chatbot-Systeme zu stärken und eine sichere Nutzererfahrung zu gewährleisten.

Abuse Monitoring ist ein weiterer integraler Bestandteil der OpenAI-Referenzarchitektur. Es dient der Erkennung und Prävention von Missbrauch und unangemessener Nutzung des Chatbot-Systems. Durch kontinuierliche Überwachung werden Muster identifiziert, die auf potenziellen Missbrauch hinweisen, wodurch die Integrität und Zuverlässigkeit des Systems gewahrt bleibt. Diese Überwachungsfunktionen sind unverzichtbar, um eine verantwortungsvolle Nutzung des Chatbots zu sichern und das Risiko von Schäden zu minimieren.

Zuverlässigkeit von OpenAI-Chatbots

Die Zuverlässigkeit ist ein Schlüsselfaktor für den Erfolg von Chatbot-Technologien. Ein zuverlässiges Chatbot-System reagiert konsistent und präzise auf Benutzeranfragen, was besonders im Kundenservice und technischen Support von Bedeutung ist. Die OpenAI Referenzarchitektur gewährleistet Zuverlässigkeit durch den Einsatz von Redundanzen, Failover-Mechanismen und Cloud-basierten Infrastrukturen wie Azure. Diese Maßnahmen sorgen für eine hohe Verfügbarkeit und Performance des Chatbot-Systems, was die Benutzererfahrung verbessert und die Effizienz von Geschäftsprozessen steigert.

Sicherheitsaspekte in der OpenAI- und Azure-Architektur

Die Sicherheit ist ein zentraler Aspekt der OpenAI- und Azure-Architektur. Mehrschichtige Sicherheitsmaßnahmen wie Netzwerksicherheit, Zugriffskontrolle und Verschlüsselung schützen sensible Daten und die Integrität des Systems. Regelmäßige Sicherheits-Audits und Compliance-Prüfungen sind unerlässlich, um Schwachstellen zu identifizieren und zu beheben. Best Practices für die Sicherheit, wie starke Authentifizierung, regelmäßige Updates, Penetrationstests und kontinuierliche Überwachung, sind entscheidend, um ein hohes Maß an Sicherheit in Chat-Anwendungen zu gewährleisten und das Vertrauen der Nutzer zu stärken.

Durch die Integration dieser Schlüsselaspekte – Inhaltsfilterung, Missbrauchsüberwachung, Zuverlässigkeit und Sicherheit – in die OpenAI-Chatbot-Architektur können Unternehmen leistungsfähige, sichere und vertrauenswürdige Chat-Lösungen bereitstellen, die den heutigen Anforderungen an digitale Kommunikation gerecht werden.

Sicherheitsaspekte in der OpenAI- und Azure-Architektur

Zusammenfassung OpenAI Referenzarchitektur für fortschrittliche Chat-Anwendungen

Die OpenAI Referenzarchitektur bietet ein Template ein für erfolgreiche Chat Anwendungen mit OpenAI. Ein Schlüsselelement dieser Architektur sind die integrierten Mechanismen zur Inhaltsfilterung und Missbrauchsüberwachung, die eine sichere und angemessene Benutzerinteraktion gewährleisten. Diese Architektur nutzt cloudbasierte, skalierbare Lösungen, um eine hohe Systemzuverlässigkeit zu gewährleisten und ist damit die ideale Grundlage für Unternehmen, die effiziente und benutzerfreundliche Chatbot-Dienste anbieten möchten. Die Verschmelzung von fortschrittlicher Technologie mit umfassenden Sicherheitsmaßnahmen ist entscheidend, um das Vertrauen der Nutzer zu gewinnen und langfristig zu sichern. Mit dieser Architektur positionieren sich Unternehmen an der Spitze der digitalen Kommunikation, indem sie innovative, sichere und zuverlässige Chat-Lösungen anbieten.

Die OpenAI Referenzarchitektur stellt einen signifikanten Fortschritt in der Entwicklung von Chat-Anwendungen dar, indem sie fortschrittliche KI-Technologien mit robusten Sicherheits- und Zuverlässigkeitsstandards verbindet. Besonders hervorzuheben sind die eingebetteten Mechanismen zur Inhaltsfilterung und Missbrauchsüberwachung, die eine sichere und angemessene Interaktion gewährleisten. Durch die Implementierung von Cloud-basierten, skalierbaren Lösungen und die Gewährleistung einer hohen Systemzuverlässigkeit bietet diese Architektur eine solide Basis für Unternehmen, um effiziente und nutzerfreundliche Chatbot-Dienste anzubieten. Diese Integration von Technologie und Sicherheit ist entscheidend, um das Vertrauen der Nutzer zu gewinnen und zu erhalten.

Bereit für Ihr AI Projekt?

Falls Sie Fragen haben, kontaktieren Sie gerne unser AI Experten Team. Den Kontakt finden Sie hier

Sie suchen einen Partner für Ihr Projekt?

Wir geben unser Bestes, um Sie zufrieden zu stellen.

Kostenloses Handbuch: ESG Reporting

Grundlagen bis zum automatisierten Report – Alles, was Sie wissen müssen.

Whitepaper: Enterprise ChatGPT in der Praxis

3 Anwendungsfälle mit OpenAI – datenschutzkonform mit Referenzarchitektur