Agent Harness 2026: Warum das Modell nicht alles ist

Phillip Pham, AI Developer bei Pexon Consulting | 8 Min. Lesezeit | 28.08.2026

TL;DR

Ein Agent Harness ist die Software um ein Sprachmodell herum, die es zum Agenten macht: Tool-Aufrufe, Gedächtnis, Sandbox, Kontext und Guardrails. Der Benchmark Harness-Bench (Mai 2026) zeigt bei identischem Modell 23,8 Prozentpunkte Unterschied zwischen bester und schwächster Schicht. Wer nur Modelle vergleicht, misst die falsche Variable.

Das Problem: gleiches Modell, verschiedene Ergebnisse

Zwei Teams im selben Unternehmen nutzen dasselbe Sprachmodell. Das eine Team ist begeistert, das andere hält KI für überschätzt. Beide haben recht, und keines von beiden hat verstanden, warum.

Der Unterschied liegt nicht im Modell. Er liegt in der Schicht darum herum.

Diese Schicht hat inzwischen einen Namen: Agent Harness, im Englischen auch Agent Scaffolding. Sie ist das, was aus einem Modell, das Text vorhersagt, einen Agenten macht, der Aufgaben erledigt. Und sie ist über Jahre in der öffentlichen Diskussion untergegangen, weil alle auf Benchmark-Tabellen von Modellen geschaut haben.

Das ändert sich gerade, und zwar mit harten Zahlen.

Was ein Agent Harness ist

Ein Agent Harness ist die Ausführungsumgebung um ein Sprachmodell, die den Ablauf einer Aufgabe organisiert. Die gängige Kurzformel lautet: Agent = Modell + Harness. Das Modell liefert das Urteil, der Harness liefert alles andere.

Konkret besteht ein Harness aus fünf Bausteinen:

Dazu kommt der eigentliche Motor: der Agentic Loop. Planen, Ausführen, Prüfen, Wiederholen. Wie oft dieser Kreis läuft, wann er abbricht und was der Agent zwischen den Runden behält, legt der Harness fest, nicht das Modell.

Birgitta Böckeler von Thoughtworks unterscheidet dabei den inneren Harness, den der Modellhersteller mitliefert, vom äußeren Harness, den Sie selbst zusammenstellen. Die interessante Frage für Unternehmen ist genau die: Wie viel von dieser Schicht kontrollieren Sie selbst? In unserem AI-Engineering-Stack sitzt der Harness genau zwischen Foundation Model und Fachanwendung.

Harness-Bench: 23,8 Prozentpunkte, die niemand dem Modell zuschreiben kann

Im Mai 2026 haben Forschende der Peking University und von Qiyuan Tech den ersten Benchmark veröffentlicht, der genau das misst: Harness-Bench (arXiv:2605.27922). Der Aufbau ist bewusst simpel. 106 realistische Aufgaben, 6 Harnesses, 8 Modelle. Das Modell wird konstant gehalten, nur die Schicht darum wechselt.

Die Ergebnisse:

Getestet wurden unter anderem Claude Opus und Sonnet, GPT-5.4, Gemini, Qwen, GLM, DeepSeek und Kimi. Ein zweiter Befund aus derselben Arbeit ist für die Praxis fast noch wichtiger: Starke Modelle reagieren weniger empfindlich auf den Harness als schwache. Wer ein günstiges Open-Weight-Modell einsetzen will, hat also weniger Spielraum bei der Schicht darum. Genau dort wird am häufigsten gespart.

Eine zweite Arbeit aus demselben Monat trägt den Titel Stop Comparing LLM Agents Without Disclosing the Harness. Der Titel ist das Argument. Ein Agentenvergleich ohne Angabe der Ausführungsschicht misst zwei Variablen und schreibt das Ergebnis einer zu.

Unsere Position dazu ist unbequem: Die meisten Modellvergleiche, die derzeit in Unternehmen als Entscheidungsgrundlage herumgereicht werden, sind wertlos, weil sie den Harness nicht nennen. Sie vergleichen nicht Modelle, sie vergleichen Kombinationen.

Offen oder geschlossen: was der Unterschied praktisch bedeutet

Harnesses gibt es in zwei Bauarten, und die Entscheidung dazwischen ist eine Architektur-Entscheidung, keine Werkzeug-Frage.

Ein geschlossener Harness kommt als fertiges Produkt. Sie tauschen das Modell darunter, aber Loop, Kontextverwaltung und Oberfläche gehören dem Hersteller. Ein offener Harness gibt Ihnen jede dieser Schichten in die Hand.

Die beiden letzten Zeilen sind der Grund, warum wir offene Harnesses nicht pauschal empfehlen. OpenClaw, mit 387.933 GitHub-Stars (abgerufen am 28.08.2026, veröffentlicht am 24.11.2025) das mit Abstand meistverbreitete offene Projekt dieser Art, schneidet in Harness-Bench als schwächster von sechs ab. Verbreitung ist kein Qualitätsnachweis. Wer eine offene Schicht ohne begleitendes Engineering in den Produktivbetrieb nimmt, kauft sich Kontrolle und bezahlt sie mit Betriebsaufwand.

Der Umkehrschluss stimmt aber genauso: Wer die Schicht dem Hersteller überlässt, kann eine Grenze nicht verschieben, wenn sein Team an sie stößt. Dann bleibt der Feature-Request und die Wartezeit.

Wie ein Agentic Loop tatsächlich aussieht

Der Kern ist unspektakulär. Das folgende Python-Fragment zeigt die Schleife, die praktisch jeder Harness in irgendeiner Form implementiert:

def agent_loop(aufgabe, modell, werkzeuge, max_runden=12):
    verlauf = [{"rolle": "user", "inhalt": aufgabe}]

    for runde in range(max_runden):
        antwort = modell.antworte(verlauf, werkzeuge=werkzeuge)

        # Kein Werkzeugaufruf mehr: der Agent hält sich für fertig
        if not antwort.werkzeug_aufrufe:
            return antwort.text

        # Jeden Aufruf ausführen und das Ergebnis zurückspielen
        for aufruf in antwort.werkzeug_aufrufe:
            ergebnis = werkzeuge[aufruf.name](**aufruf.argumente)
            verlauf.append({"rolle": "werkzeug", "inhalt": ergebnis})

        # Hier entscheidet der Harness, nicht das Modell:
        # was fällt aus dem Kontext, was bleibt?
        verlauf = kontext_kuerzen(verlauf, budget=120_000)

    raise RuntimeError(f"Abbruch nach {max_runden} Runden ohne Ergebnis")

Die entscheidende Zeile ist kontext_kuerzen. Was bei knappem Kontextfenster wegfällt, bestimmt, ob der Agent in Runde 11 noch weiß, was er in Runde 2 herausgefunden hat. Diese Funktion steht in keinem Modell-Datenblatt. Sie gehört zum Harness, und sie ist der häufigste Grund dafür, dass lange Läufe scheitern.

Ebenso max_runden. Ein zu niedriger Wert bricht komplexe Aufgaben ab, ein zu hoher lässt den Agenten teuer im Kreis laufen. Wir sehen in Kundenprojekten regelmäßig, dass genau diese zwei Stellschrauben nie angefasst wurden, weil niemand wusste, dass es sie gibt.

Sobald mehrere Agenten parallel arbeiten, kommt eine zweite Schicht dazu: Wer verteilt Aufgaben, wer führt Ergebnisse zusammen, wer bricht ab. Das ist der Punkt, an dem aus einem Harness eine Orchestrierung mehrerer Agenten wird.

Was wir selbst gemessen haben

Wir haben zwei Harnesses mit demselben Modell über einen Testzeitraum gegeneinander laufen lassen. Das ist die einzige faire Methode, um den Einfluss der Schicht zu isolieren.

Zwei Dinge dazu, damit die Zahlen richtig eingeordnet werden. Erstens: Das ist ein Aufgabenset über einen Testzeitraum, kein standardisierter Benchmark. Zweitens, und das ist der interessantere Teil: Die letzte Zeile ist kein Sieg für die schnelle Seite. Der geschlossene Harness lieferte gründlicher und mit fast doppelt so vielen Quellen. Der offene lieferte schneller und kompakter.

Das ist kein Ranking, das sind Profile. Wer eine belastbare Analyse braucht, will die gründliche Seite. Wer eine Entscheidungsgrundlage bis heute Nachmittag braucht, die schnelle. Der Faktor 5 bei der Laufzeit ist trotzdem bemerkenswert, weil er bei identischem Modell entsteht und sich bei Agenten, die rund um die Uhr laufen, direkt in der Rechnung niederschlägt.

Damit sind wir beim eigentlichen Kostenargument. Der Token-Preis ist die falsche Kennzahl. Was zählt, sind die Gesamtkosten bis zur fertigen Aufgabe. Ein ineffizienter Harness, der viermal so viele Runden braucht, ist mit einem günstigen Modell teurer als ein effizienter Harness mit einem teuren.

Worauf Sie bei der Auswahl achten sollten

Fünf Punkte, die wir in jedem Architektur-Gespräch durchgehen:

1. Können Sie den Ablauf nachlesen? Ohne Session-Log und Ablaufprotokoll können Sie einen Fehlgriff weder erklären noch verhindern. Das ist bei regulierten Branchen ein Ausschlusskriterium, kein Komfortmerkmal.
2. Wie werden Skills gespeichert? Skills sind nicht plattform-portabel. Ein Skill, der für einen Harness geschrieben wurde, wird von einem anderen anders interpretiert. Wer wechseln will, plant diese Anpassung ein oder bleibt gebunden.
3. Wer prüft Plugins von Dritten? Offene Plugin-Ökosysteme sind der Hauptvorteil und das Hauptrisiko. Ohne festen Security-Review-Prozess vor der Installation raten wir vom Einsatz ab.
4. Ist das Modell wirklich austauschbar? Prüfen Sie das praktisch, nicht im Datenblatt. Ein Modellwechsel, der Prompts und Skills neu schreiben lässt, ist kein Wechsel.
5. Wer betreibt das nach dem Piloten? Offene Harnesses brauchen laufendes Engineering. Wenn dafür niemand benannt ist, wird es kein Produktivbetrieb, sondern ein Prototyp mit langem Leben.

Häufig gestellte Fragen

Was ist der Unterschied zwischen einem Agent Harness und einem Agent Framework?

Die Begriffe überschneiden sich, der Fokus ist verschieden. Ein Agent Framework wie LangGraph oder das Claude Agent SDK ist eine Bibliothek, mit der Entwickler Agenten bauen. Der Harness dagegen ist die laufende Ausführungsumgebung selbst, inklusive Sandbox, Sitzungsverwaltung und Oberfläche. Kurz gesagt: Frameworks sind Baumaterial, der Harness ist das fertige Gebäude.

Was kostet der Betrieb eines eigenen Agent Harness?

Die Software ist bei offenen Projekten kostenlos, der Betrieb nicht. Rechnen Sie mit laufendem Engineering-Aufwand für Aktualisierungen, Kontext-Regressionen in langen Sitzungen und Plugin-Prüfungen. Bei uns startet ein Architektur-Pilot, der Modellkatalog, Routing und einen produktiven Referenz-Workflow aufsetzt, bei 7.500 EUR Festpreis über 4 bis 6 Wochen.

Ist ein offener Harness besser als ein geschlossener?

Nein, das lässt sich so nicht sagen. Harness-Bench zeigt das bekannteste offene Projekt auf dem letzten Platz von sechs. Offene Harnesses gewinnen bei Kontrolle, Nachvollziehbarkeit und Anpassbarkeit, geschlossene bei Reife und Betriebsaufwand. Die Entscheidung hängt daran, ob Sie Engineering-Kapazität für die Schicht haben.

Warum liefern zwei Teams mit demselben Modell verschiedene Ergebnisse?

Weil sie unterschiedliche Harnesses nutzen und das meistens nicht wissen. Harness-Bench misst bei konstantem Modell 23,8 Prozentpunkte Unterschied im Gesamtscore. Kontext-Management, Tool-Zugang und Abbruchbedingungen des Loops erklären den Großteil davon.

Muss ich mich auf einen Harness festlegen?

Nein, und wir raten davon ab. Sinnvoller ist es, die Schicht bewusst austauschbar zu halten und Prompts, Skills und Protokolle in einem anbieterneutralen Format zu führen. Dann ist ein Wechsel eine Konfigurationsfrage und kein Projekt.

Nächster Schritt

Wenn Sie gerade evaluieren, welche Schicht in Ihrem Haus laufen soll, ist der nächste Schritt kein Werkzeugvergleich, sondern eine Architektur-Entscheidung: Welche Teile der Schicht wollen Sie selbst kontrollieren? Die Entscheidungsregel bauen gegen kaufen steht in Eigenen Agent Harness bauen.

Verwandte Themen