GPT-6 Astra Benchmarks 2026: Was die Zahlen zeigen

Phillip Pham, AI Developer bei Pexon Consulting | 8 Min. Lesezeit | 09.09.2026

TL;DR: GPT-6 Astra Benchmarks in aller Kürze

OpenAI hat GPT-6 Astra am 3. September 2026 vorgestellt: 99,9 Prozent auf ARC-AGI-3, 97,6 Prozent auf FrontierMath Tier 4, 100 Prozent auf ExploitBench. Auf dem kontaminationskontrollierten ExploitBench-Nachtest fällt der Wert auf 39 Prozent. Pexon Consulting (80 Mitarbeiter, Microsoft Partner) rät: Vor jeder Budgetentscheidung die Testmethode prüfen, nicht nur die Schlagzeile.

Das Problem: Ein Score allein beweist nichts

Ein Benchmark-Ergebnis ist eine Behauptung über einen Testdatensatz, keine Behauptung über die Realität.

Das ExploitBench-Beispiel zeigt das direkt bei Astra selbst. Die ursprünglichen 100 Prozent liefen gegen 41 historische V8-Sicherheitslücken mit öffentlich dokumentiertem Exploit-Code, jede davon älter als das Trainingsfenster. Ein Modell kann so etwas lösen, ohne wirklich zu „hacken“, es erkennt das Muster aus den Trainingsdaten wieder. Auf dem kontaminationskontrollierten Nachtest mit Lücken aus Juni bis August 2026, also nachweislich außerhalb des Trainingsstands, sackte der Wert auf 39,0 Prozent. Immer noch deutlich vor dem Vorgänger GPT-5.6 Sol mit 5,5 Prozent, aber ein anderer Wert als die erste Schlagzeile.

OpenAI selbst meldet für Astra einen deutlichen Fortschritt bei sogenannten Honeypot-Tests, absichtlich präparierten Aufgaben, die ein Modell dazu verleiten sollen, sich Vorteile zu erschleichen statt die Aufgabe zu lösen. Astra fällt dort in 0 Prozent der Fälle darauf herein, der Vorgänger noch in 48,2 Prozent. Das ist ein echter Alignment-Fortschritt und zugleich der Beweis, dass Cheating auf Benchmarks kein theoretisches Problem ist, sondern eines, das die Hersteller selbst aktiv messen müssen.

Unsere Einschätzung aus Projekten: Ein einzelner Prozentwert ohne Angabe zum Testdatensatz ist im Zweifel eine Marketingzahl, keine belastbare Entscheidungsgrundlage für ein 100k-Budget.

Latente Denk-Token: schnell, aber eine Black Box

Latente Denk-Token verlagern einen Teil des Nachdenkens von sichtbarem Text in kontinuierliche interne Zustände, statt jeden Zwischenschritt als lesbaren Token auszugeben.

Der Effekt ist real messbar: aktuelle Forschungsansätze wie MARCOS erreichen bis zu 15-fach schnellere Inferenz bei gleicher oder besserer Qualität gegenüber klassischem Chain-of-Thought, weil viele Rechenschritte in einer einzigen Modellauswertung stecken statt in hunderten ausgeschriebenen Tokens. Für die Rechnung heißt das: weniger Ausgabe-Token, kürzere Wartezeit, niedrigere Kosten pro Antwort, wenn Output nach Token abgerechnet wird.

Der Preis dafür ist Transparenz, und das ist berechtigt kritisch zu sehen. Wenn ein Modell intern denkt, ohne dass dieser Weg als Text existiert, lässt sich nicht mehr nachvollziehen, warum es zu einer Entscheidung kam. Für einen Chatbot ist das ein Komfortverlust. Für einen Agenten, der eigenständig Tickets schließt, Rechnungen freigibt oder Code in Produktion mergt, ist es ein Audit-Problem. Wir raten in regulierten Kontexten aktuell davon ab, latentes Reasoning ungeprüft in Freigabe-Workflows einzusetzen, gerade weil die kürzere Token-Ausgabe fälschlich als „die KI hat weniger nachgedacht“ gelesen wird. Oft ist genau das Gegenteil der Fall.

Wer latentes Reasoning trotzdem produktiv einsetzt, sollte zumindest die Metadaten protokollieren, auch wenn der Denkweg selbst nicht sichtbar ist:

# Minimales Audit-Logging fuer latentes Reasoning in Freigabe-Workflows
def protokolliere_entscheidung(antwort, aufgabe: str) -> dict:
    return {
        "aufgabe": aufgabe,
        "modell": antwort.model,
        "reasoning_tokens": antwort.usage.reasoning_tokens,
        "sichtbare_begruendung": bool(antwort.choices[0].message.content),
        "freigabe_erforderlich": antwort.usage.reasoning_tokens > 0
        and not antwort.choices[0].message.content,
    }

So bleibt zumindest nachvollziehbar, wann eine Entscheidung ohne sichtbare Begründung gefallen ist, auch wenn der Denkweg selbst eine Black Box bleibt.

Bei Astra selbst zeigt sich die Latenz-Frage auch praktisch: Auf OSWorld 2.0, einem Benchmark für Computer- und Browser-Steuerung, erreicht das Modell 72,6 Prozent bei rund 47 Prozent weniger Zeit pro Aufgabe als der Vorgänger. Das ist ein Fortschritt, aber für alltägliche, hochfrequente Computer-Use-Aufgaben bleiben kleinere, schnellere Modelle oft die pragmatischere Wahl. Ein Frontier-Reasoning-Modell für jeden Mausklick vorzuhalten, ist selten die wirtschaftliche Route.

Token-Preise zwischen Anbietern: die Zahl allein reicht nicht

Ein reiner Preisvergleich pro Million Token unterschlägt, dass verschiedene Anbieter unterschiedlich tokenisieren und unterschiedlich viel Rechenleistung pro Token investieren.

Claudes aktuelle Modelle produzieren für denselben Text rund 30 Prozent mehr Token als OpenAIs Tokenizer. Ein Preis von 5 USD je Million Input-Token wirkt dann auf dem Papier identisch, kostet in der Praxis aber unterschiedlich viel für dieselbe Anfrage. Dazu kommt die Cache-Ökonomie: Anthropic gewährt bis zu 90 Prozent Rabatt auf gecachte Prompt-Reads, OpenAI 50 Prozent. Bei hoher Cache-Trefferquote, wie wir sie bei repetitiven Klassifikations-Pipelines regelmäßig sehen, kippt das die Gesamtrechnung zugunsten des Anbieters mit dem besseren Cache-Rabatt, unabhängig vom Listenpreis.

Astra selbst listet mit 10 USD je Million Input- und 50 USD je Million Output-Token, das 2,5-Fache des Vorgängers Sol. Ob sich das rechnet, entscheidet nicht der Listenpreis, sondern die Erfolgsquote pro Aufgabe. Ein Modell, das 10 Prozent teurer ist, aber deutlich seltener nachgebessert werden muss, ist am Ende günstiger als ein billiges Modell mit hoher Fehlerquote und teurer Nacharbeit. Modellgröße, Layer-Anzahl und Rechenaufwand pro Token bleiben dabei Fabrikgeheimnis der Hersteller. Wer allein die Tokenzahl vergleicht, vergleicht Äpfel mit einer Zahl, die nicht einmal bei Äpfeln dasselbe misst.

Ist das AGI? Eine nüchterne Antwort

Nein, jedenfalls nicht nach der gängigsten operationalisierten Definition, und auch OpenAIs eigene Formulierung „AGI-Ära“ ist eine Marketingaussage, kein gemessenes Kriterium.

DeepMinds fünfstufiges Framework aus 2023 bleibt der am breitesten anerkannte Bezugspunkt: Stufe 1 („Emerging AGI“) bedeutet, ein System erreicht oder übertrifft ungeübte menschliche Leistung über viele Aufgaben hinweg, hier stehen aktuelle Modelle wie Astra, Claude oder Gemini bereits heute. Stufe 2 („Competent AGI“) verlangt das 50. Perzentil geübter Erwachsener über die meisten kognitiven Aufgaben, öffentlich noch nicht erreicht, auch wenn einzelne Teilbereiche wie Mathematik nah dran wirken. Ein Sättigungswert von 99,9 Prozent auf einem einzelnen Benchmark wie ARC-AGI-3 sagt etwas über diesen Benchmark aus, nicht über generelle Intelligenz.

Genau deshalb hat ARC-AGI-3 seine Struktur gegenüber der Vorgängerversion umgedreht: Öffentlich zugänglich sind nur 25 Beispielumgebungen, die eigentliche Bewertung läuft auf einem semi-privaten und einem vollständig privaten Set. Frühere ARC-AGI-Versionen litten sichtbar darunter, dass Modelle die öffentlichen Aufgaben schlicht auswendig gelernt hatten. Die Verschiebung ins Interaktive statt statische Muster soll genau dieses Auswendiglernen erschweren. Wer einen ARC-AGI-Score zitiert, sollte deshalb mitliefern, ob er vom öffentlichen Demo-Set stammt oder vom privaten Evaluationsset. Beides in einen Topf zu werfen, ist die häufigste Verzerrung, die uns in Kunden-Slides begegnet.

Die Skalierungsdebatte bleibt offen: Ein Lager sieht in reiner Rechenleistung plus Daten den Weg zur AGI, das andere erwartet ein Plateau, das nur mit architektonisch neuen Ansätzen zu durchbrechen ist. Für eine IT-Budgetentscheidung heute ist diese Debatte fast irrelevant. Relevant ist, ob ein Modell die konkrete Aufgabe zuverlässig löst, nicht ob es die philosophische Schwelle zur AGI überschritten hat.

Worauf Sie bei der nächsten Benchmark-Ankündigung konkret achten sollten:

1. Testdatensatz benennen. Öffentliches Demo-Set oder privates Evaluationsset, das entscheidet über die Aussagekraft.
2. Kontaminationskontrolle prüfen. Gibt es einen Nachtest mit garantiert neuen Aufgaben, oder nur der Erstwert?
3. Cheating-Resistenz einbeziehen. Honeypot-Ergebnisse zeigen, ob ein Modell Abkürzungen sucht statt zu lösen.
4. Kosten pro Aufgabe rechnen, nicht pro Token. Tokenizer und Cache-Rabatt verzerren jeden reinen Preisvergleich.
5. Eigenen Testfall bauen. Ein Benchmarkwert ersetzt keinen Test mit den eigenen Daten und dem eigenen Prozess.

Häufig gestellte Fragen

Was ist GPT-6 Astra?

GPT-6 Astra ist OpenAIs am 3. September 2026 vorgestelltes Flaggschiff-Modell, API-Modell-ID gpt-6-astra, trainiert mit über 100.000 GPUs am Stargate-Standort in Texas. Stand 9. September 2026 setzt es neue Bestwerte auf ARC-AGI-3, FrontierMath Tier 4 und mehreren Sicherheits- und Computer-Use-Benchmarks, liegt aber bei agentischem Coding hinter Konkurrenzmodellen wie Metas Muse Spark 1.3.

Wie erkennt man Benchmark-Contamination bei LLMs?

Der zuverlässigste Hinweis ist ein deutlicher Score-Abfall zwischen dem ursprünglichen, oft älteren und öffentlich bekannten Testdatensatz und einem kontaminationskontrollierten Nachtest mit garantiert neuen Aufgaben. Bei Astra fiel der ExploitBench-Score genau so von 100 auf 39 Prozent. Zusätzlich helfen Honeypot-Tests, die absichtlich Abkürzungen anbieten, um Cheating-Verhalten sichtbar zu machen.

Was kostet GPT-6 Astra im API-Zugriff?

10 USD je Million Input-Token und 50 USD je Million Output-Token, das 2,5-Fache des Vorgängers GPT-5.6 Sol. Ob das teurer oder günstiger als ein Anthropic-Modell ist, hängt zusätzlich vom Tokenizer und der Cache-Rabattstruktur des jeweiligen Anbieters ab, ein reiner Preisvergleich pro Token reicht nicht.

Sind latente Denk-Token ein Risiko, wenn man die Reasoning-Kette nicht sieht?

Für unkritische Anwendungen ist das vor allem ein Komfortthema. Für Freigabe- und Audit-relevante Workflows sehen wir latentes Reasoning kritisch, weil sich Entscheidungen nachträglich schwerer nachvollziehen lassen. Kommt drauf an, aber ohne sichtbare Zwischenschritte gehört ein zusätzliches Kontroll- oder Logging-Verfahren in die Architektur.

Ist GPT-6 Astra schon AGI?

Nach DeepMinds fünfstufigem Framework nicht. Astra erreicht in vielen Einzelaufgaben Stufe 1 und nähert sich in Teilbereichen Stufe 2, ein einzelner Sättigungswert wie 99,9 Prozent auf ARC-AGI-3 ist aber eine Aussage über einen Benchmark, keine über generelle Intelligenz. Der Begriff „AGI-Ära“ in OpenAIs eigener Ankündigung ist Marketingsprache.

Nächster Schritt

Verwandte Themen