Was sind Provisioned Throughput Units (PTUs)?
Provisioned Throughput Units (PTUs) sind im Azure OpenAI Service reservierte Kapazitätseinheiten, mit denen Unternehmen eine feste Menge an KI-Verarbeitungsleistung vorab sichern. Diese Kapazitätsreservierung garantiert eine stetige, vorhersehbare Performance unabhängig von der Auslastung. PTUs eignen sich optimal für Anwendungen mit hohem und konstantem Durchsatz, etwa große Sprachmodelle, Echtzeit-Datenanalyse oder Content Generierungslösungen.
Funktionsweise von PTUs
Eine PTU repräsentiert eine bestimmte Menge an Modell-Durchsatz, gemessen in Tokens pro Minute (TPM), wobei der konkrete Wert je nach Modell, Prompt-Länge, Antwortlänge und Parametern variiert. Da Ausgabe-Tokens mehr Rechenaufwand verursachen als Eingabe-Tokens, beeinflusst das Verhältnis von Input- zu Output-Tokens, wie viele Anfragen Ihre Deployment-Kombination pro PTU verarbeiten kann. Über den PTU Calculator in Azure AI Foundry bzw. im Azure OpenAI Studio können Sie Ihren Workload (Requests pro Minute, durchschnittliche Prompt- und Completion-Länge) eingeben und daraus die benötigte Anzahl PTUs ableiten.
Vorteile von PTUs
- Vorhersehbare Performance und geringe Latenz: Provisioned Throughput sorgt dafür, dass Ihr Modell dauerhaft einen reservierten Durchsatz erhält, sodass Antwortzeiten und maximale Tokens pro Minute für gleichförmige Workloads stabil bleiben.
- Reservierte Kapazität über Deployments hinweg: PTU-Quota wird auf Subscriptions und Regionen vergeben und kann auf verschiedene Deployments, Modelle und Versionen verteilt werden, ohne dass Sie sich auf ein einzelnes Modell festlegen müssen.
- Kosteneffizienz: Für dauerhaft hohe Last lassen sich Azure AI Foundry Provisioned Throughput Reservations buchen, die gegenüber rein stündlicher PTU-Abrechnung je nach Modell und Region deutliche Rabatte von teils bis zu mehreren Dutzend Prozent ermöglichen.
Wann sollten Sie PTUs verwenden?
PTUs sind ideal, wenn Ihre KI-Anwendung produktiv läuft, planbaren Traffic erzeugt und konsistente Antwortzeiten benötigt. Besonders sinnvoll ist Azure AI PTU in Szenarien, in denen Pay-as-you-go‑Preismodelle auf Basis reiner Token-Mengen (TPM) an Effizienzgrenzen stoßen. Typische Einsatzfälle sind:
- Große Sprachmodelle im Dauerbetrieb: Enterprise Chatbots, virtuelle Assistenten oder Übersetzungssysteme mit konstant hohem Anfragevolumen profitieren von reserviertem Durchsatz und stabiler Latenz
- Echtzeit-Datenanalyse und Entscheidungsunterstützung: Anwendungen im Finanz- oder Gesundheitswesen, die viele Anfragen pro Minute auswerten und in kurzer Zeit KI-gestützte Entscheidungen liefern müssen..
- Content-Generierung in großem Maßstab: Redaktionssysteme, Marketing-Plattformen oder Social-Media-Tools, die kontinuierlich große Mengen an Text, Zusammenfassungen oder Code generieren, können so Kapazität und Kosten planbarer machen.
Wann sollten Sie PTUs nicht verwenden?
Wenn Ihre Workloads stark schwanken, gelegentlich laufen oder sich noch in frühen Experimentierphasen befinden, ist PTU nicht immer die wirtschaftlichste Option. In diesen Fällen bieten Pay-as-you-go-Tarife auf Token-Basis mehr Flexibilität, da Sie nur für tatsächlich verbrauchte Tokens zahlen. Weniger geeignet ist PTU insbesondere für:
- Unvorhersehbare oder stark saisonale Workloads: Anwendungen, deren Leistungsanforderungen stark variieren und nicht genau vorhersehbar sind.
- Kleine oder sporadische Workloads: Anwendungen mit geringem oder gelegentlichem Leistungsbedarf, bei denen nutzungsbasierte Abrechnung vorteilhafter sein kann.
- Entwicklungs- oder Testumgebungen: In diesen Fällen, wo die Workloads variieren und die Kapazitätsplanung schwierig sein kann.
Wie bestellen Sie PTUs?
- Anmeldung bei Azure: Melden Sie sich bei Ihrem Azure-Konto an. Falls Sie noch kein Konto haben, können Sie sich auf der Azure-Website registrieren.
- Navigieren zu Azure OpenAI Service: Gehen Sie im Azure-Portal zu den Azure OpenAI Services und wählen Sie die Option für Provisioned Throughput Units.
- Kapazitätsplanung: Nutzen Sie den PTU Calculator im Azure OpenAI Studio (unter Management > Quotas > Provisioned), um den benötigten Durchsatz basierend auf Ihren Anforderungen zu schätzen.
- Bestellung aufgeben: Geben Sie die geschätzte Anzahl an PTUs an und schließen Sie die Bestellung ab. Die reservierte Kapazität steht Ihnen sofort zur Verfügung.
Best Practices
- Kapazitätsplanung: Verwenden Sie die Tools im Azure OpenAI Studio, um Ihre Kapazitätsbedarfe genau zu bestimmen.
- Monitoring: Überwachen Sie regelmäßig die Nutzung Ihrer PTUs, um eine effiziente Nutzung zu gewährleisten.
- Skalierung: Planen Sie die Skalierung Ihrer PTUs basierend auf den Nutzungsmustern, um Leistung und Kosten zu optimieren.
- Benchmarking: Führen Sie regelmäßige Leistungsbenchmarks durch, um sicherzustellen, dass Ihre PTUs den Anforderungen entsprechen.
Provisioned Throughput Units (PTUs) bieten eine verlässliche Möglichkeit, die benötigte Rechenleistung für Ihre Anwendungen sicherzustellen. Mit der richtigen Planung und Verwaltung können Sie sicherstellen, dass Ihre Anwendungen stets leistungsfähig bleiben und gleichzeitig Ihre Kosten optimieren. Wenn Sie weitere Informationen benötigen oder Hilfe bei der Bestellung von PTUs benötigen, zögern Sie nicht, uns zu kontaktieren. Wir unterstützen Sie gerne bei der Auswahl und Implementierung der besten Lösung für Ihre Bedürfnisse.
