Constantin, Platform Engineering bei Pexon Consulting | 8 Min. Lesezeit | 12.08.2026
TL;DR
Ein Codex-Pilot beweist nichts, wenn Sie nur Feature-Begeisterung messen. Legen Sie 30 Tage lang drei Zahlen an: Time-to-Merge, das Verhältnis akzeptierter zu verworfenen Vorschlägen und die Change-Failure-Rate auf Agent-Commits. Stimmen die Zahlen nicht, brechen Sie ab. Dieser Beitrag liefert das komplette Protokoll und die Abbruch-Kriterien.
Warum die meisten Coding-Agent-Piloten scheitern
Die meisten Piloten scheitern nicht an der Technik, sondern an fehlenden Zahlen. Ein Team probiert Codex zwei Wochen aus, findet es „beeindruckend“ und rollt es aus, ohne je eine Baseline gemessen zu haben. Wenn später jemand nach dem Nutzen fragt, gibt es nur Anekdoten statt Daten.
Codex ist inzwischen kein Nischenwerkzeug mehr. OpenAI nennt rund vier Millionen wöchentliche Codex-Entwickler, Standardmodell ist seit dem 23.04.2026 GPT-5.5. Das Problem ist nicht Verfügbarkeit, sondern Disziplin: Ein Agent, der plausibel aussehende Pull Requests produziert, verführt dazu, Geschwindigkeit mit Qualität zu verwechseln.
Unsere Position, aus der Praxis mit täglich genutzten Coding-Agents: Ein Pilot ohne vorher definierte KPIs und ohne Abbruch-Kriterium ist kein Pilot, sondern eine Anschaffungsentscheidung mit nachträglicher Rechtfertigung. Wer nicht bereit ist abzubrechen, misst nicht ergebnisoffen.
Die drei KPIs, die zählen
Drei Kennzahlen entscheiden, ob ein Codex-Pilot etwas taugt: Time-to-Merge (wie lange ein Change vom ersten Commit bis zum Merge braucht), das Verhältnis akzeptierter zu verworfenen Agent-Vorschlägen und die Change-Failure-Rate auf den Commits, die der Agent beigesteuert hat. Alles andere ist Beiwerk.
Diese Schwellwerte sind Erfahrungswerte aus unserer Praxis, keine Industrienorm. Aber sie geben Ihnen einen ehrlichen Anker, statt sich an Bauchgefühl entlangzuhangeln.
Der wichtigste Wert ist die Annahmequote. Liegt sie dauerhaft unter 60 Prozent, verbringt Ihr Team mehr Zeit mit dem Aussortieren schlechter Vorschläge als mit produktiver Arbeit. Dann ist der Agent ein Bremsklotz, egal wie gut die Demo aussah.
Wichtig ist der Vorher-Nachher-Vergleich. Ohne Baseline aus der Woche vor dem Pilot sind diese Zahlen wertlos. Messen Sie Time-to-Merge und Change-Failure-Rate mindestens eine Woche lang ohne Agent, bevor Sie starten.
Das 30-Tage-Protokoll Woche für Woche
Vier Wochen reichen für eine belastbare Aussage, wenn jede Woche ein klares Ziel hat. Woche 0 ist die Baseline ohne Agent. Woche 1 richtet die Governance ein. Woche 2 und 3 sammeln Daten unter realen Bedingungen. Woche 4 entscheidet: ausrollen, verlängern oder abbrechen. Kein Schritt ist optional.
Begrenzen Sie den Pilot auf ein bis zwei Teams und wenige Repositories. Ein breiter Rollout über die ganze Organisation verwässert die Daten und macht das Abbrechen politisch teuer. Klein anfangen ist hier kein Zögern, sondern saubere Messung.
Schreiben Sie die KPIs täglich mit, nicht rückwirkend am Ende. Rückwirkende Schätzungen sind der schnellste Weg, sich den Pilot schönzurechnen.
Governance, ohne die der Pilot entgleist
Vier Bausteine halten einen Codex-Pilot in der Spur: eine AGENTS.md mit den Projektregeln, ein Budget-Cap pro Team, ein verpflichtender Human-Review und grüne CI als Merge-Bedingung. Fehlt einer davon, verlieren Sie entweder die Kostenkontrolle oder die Qualitätssicherung. Beides ruiniert die Aussagekraft des Pilots.
Die AGENTS.md hat eine unangenehme Falle: Ab 32 KiB wird die Datei still abgeschnitten. Es gibt keine Warnung, keinen Fehler. Alles, was Sie darunter geschrieben haben, wird schlicht ignoriert. Halten Sie die Datei kurz und prüfen Sie ihre Größe, bevor Sie sich auf Regeln verlassen, die der Agent nie zu sehen bekommt.
Das CI-Gate ist nicht verhandelbar. Ein Agent-Pull-Request, der ohne grüne Pipeline gemerged werden kann, verfälscht Ihre Change-Failure-Rate nach unten und lullt Sie in falsche Sicherheit.
# Merge-Bedingung: kein Agent-PR ohne grüne CI und menschliches Review
required_checks:
- ci/tests
- ci/lint
require_human_review: true
team_budget_cap_credits: 15000Was in Woche 1 typischerweise schiefgeht
In Woche 1 kollidiert die Theorie mit der Realität, und zwar meist an drei Stellen: Kosten laufen aus dem Ruder, die AGENTS.md wird ignoriert, und das Team merged Agent-Code am Review vorbei. Wer diese drei Fehler kennt, verliert nicht die halbe Pilotdauer damit, sie zu entdecken.
Kosten zuerst. Codex rechnet seit dem 02.04.2026 über Token-Credits ab, rund 0,04 USD je Credit. GPT-5.5 kostet 125 Credits pro Million Input-Token und 750 pro Million Output-Token, also etwa das Sechsfache des Vorgängers. GPT-5.4 liegt bei der halben Rate. OpenAI schätzt 100 bis 200 USD je Power-User und Monat, grob 90 bis 185 EUR. Ohne Budget-Cap pro Team merken Sie das erst auf der Rechnung.
Der zweite Klassiker: Die AGENTS.md wird über 32 KiB groß und still abgeschnitten, oder sie ist von Anfang an vage formuliert. Der Agent hält sich dann an Regeln, die Sie nie gesetzt haben. Prüfen Sie die Dateigröße in Woche 1, nicht in Woche 3.
Der dritte Fehler ist menschlich: Unter Zeitdruck wird ein sauber aussehender Agent-PR durchgewunken. Genau dagegen ist das verpflichtende Review da. Wenn Ihr Team es umgeht, messen Sie nicht mehr den Agenten, sondern Ihre eigene Nachlässigkeit.
Wann Sie abbrechen sollten
Brechen Sie ab, wenn nach vier Wochen die Zahlen gegen den Agenten sprechen: Annahmequote dauerhaft unter 60 Prozent, Change-Failure-Rate über dem Team-Durchschnitt oder eine Time-to-Merge, die trotz Agent steigt statt sinkt. Ein Abbruch ist kein Scheitern, sondern das Ergebnis, für das Sie den Pilot überhaupt aufgesetzt haben.
Der teuerste Fehler ist der halbherzige Weiterbetrieb: Zahlen stimmen nicht, aber niemand will die Anschaffung infrage stellen, also läuft der Agent weiter und kostet still Credits und Reviewer-Zeit. Ein klar formuliertes Abbruch-Kriterium vor dem Start nimmt diese Entscheidung aus der Politik heraus.
Umgekehrt gilt: Stimmen die drei KPIs, haben Sie einen belegten Business-Case statt einer Vermutung. Dann ist der Rollout auf weitere Teams eine Zahlenentscheidung, keine Glaubensfrage. Wir betreiben selbst 14 KI-Agenten in Produktion, und keiner davon ging ohne diese Messlatte in den Regelbetrieb.
Häufig gestellte Fragen
Was kostet ein Codex-Pilot pro Entwickler?
OpenAI schätzt 100 bis 200 USD je Power-User und Monat, also grob 90 bis 185 EUR. Abgerechnet wird seit dem 02.04.2026 über Token-Credits zu rund 0,04 USD je Credit. Der tatsächliche Wert hängt stark davon ab, wie viel Output-Token Ihr Team erzeugt, denn Output ist deutlich teurer als Input.
Warum ist GPT-5.5 so viel teurer als der Vorgänger?
GPT-5.5 kostet 125 Credits pro Million Input-Token und 750 pro Million Output-Token, ungefähr das Sechsfache von GPT-5.4, das bei der halben Rate liegt. Für einen Pilot mit knappem Budget kann GPT-5.4 die vernünftigere Wahl sein, wenn die Aufgaben es zulassen.
Wie lange sollte der Pilot laufen?
30 Tage reichen aus unserer Praxis, sofern Woche 0 als Baseline ohne Agent dabei ist. Kürzere Läufe liefern zu wenig Daten für die Change-Failure-Rate, längere verzögern nur die Entscheidung, die Sie ohnehin an den drei KPIs festmachen.
Was ist die AGENTS.md und warum ist die 32-KiB-Grenze wichtig?
Die AGENTS.md enthält die Projektregeln, an die sich der Agent halten soll. Ab 32 KiB wird die Datei still abgeschnitten, ohne Warnung. Regeln unterhalb der Grenze werden ignoriert. Halten Sie die Datei kurz und prüfen Sie ihre Größe.
Brauche ich zwingend ein CI-Gate für Agent-Pull-Requests?
Ja. Grüne CI als Merge-Bedingung und ein verpflichtendes Human-Review sind die zwei Bausteine, ohne die Ihre Change-Failure-Rate wertlos wird. Ein Agent-PR, der ohne diese Gates gemerged werden kann, verfälscht Ihre Messung nach unten.
Nächster Schritt
Verwandte Themen
→Codex und Claude Code im Vergleich
→Was 20 Entwickler mit Codex kosten
