Robin, Consultant für GenAI bei Pexon Consulting | 8 Min. Lesezeit | 20.09.2026
TL;DR: Jev as a Judge in fünf Sätzen
LangChain hat am 19.09.2026 Jev gegen LLM-Judges getestet: Genauigkeit, Wiederholbarkeit, Latenz, Kosten. Jev brauchte im Schnitt 0,44 Sekunden und 0,00035 USD je Call. Die Qualitäts-Varianz lag 92- bis 913-mal niedriger als bei Luna, Terra und Claude Sonnet 4.6. Pexon Consulting sieht darin einen dritten Eval-Typ neben Code und LLM-as-a-Judge. Für personenbezogene Traces bleibt US-API trotzdem Grenze.
| Judge | Binäre Trefferquote vs. Human Oracle | Beobachtete Varianz (Qualität) | Kosten im Lauf |
|---|---|---|---|
| Jev (System One) | 100 % auf 500 Wiederholungen | Mittel 0,0000149 | 0,34 USD gesamt |
| GPT-5.6 Terra | 99,8 % | 913× höher als Jev | höher |
| GPT-5.6 Luna | 96,4 % | 433× höher | höher |
| Claude Sonnet 4.6 | 80,0 % | 92× höher | 28,17 USD gesamt |
Zahlen laut LangChain-Artikel „Jev-as-a-Judge for Agent Evals“ vom 19.09.2026. Wir haben den Lauf nicht selbst wiederholt.
Was LangChain am 19.09.2026 gemessen hat
Die kurze Antwort: kein neuer Chatbot, sondern ein Entscheidungstest. LangChain (@LangChain) hat öffentlich gefragt, ob System-One-Modelle Agent-Evals anders lösen als klassische LLM-Judges. Der Post verweist auf den Artikel von Daniel Shea und Seán Roche.
Setup in Kurzform: Ein Wetter-Agent mit Deep Agents 0.7.15 erzeugte fünf feste Runs. Die Outputs landeten als LangSmith-Dataset (LangSmith 0.12.6), damit jeder Judge denselben Trace sah. Zwei Signale je Fall: quality als kontinuierlicher Score und does_pass als Ja/Nein. Ein Mensch labelte dieselben Antworten als Oracle. Jeder Judge lief 100 Wiederholungen pro Fall, also 500 binäre Entscheidungen.
Verglichen wurden Jev über langchain-typesafe==0.0.1a2 sowie GPT-5.6 Luna, GPT-5.6 Terra und Claude Sonnet 4.6 über das LangSmith Gateway. Temperatur, Top-p und Seed der LLM-Judges blieben auf Provider-Defaults. Die Jev-Service-Version stand nicht in den Metadaten.
Unsere Lesart vor den Details: Das ist ein enger Test auf fünf Wetter-Traces. LangChain sagt das selbst. Trotzdem ist die Richtung klar genug, dass wir sie in Kundenprojekten ernst nehmen.
Warum Agent-Evals bisher zwischen zwei Stühlen sitzen
Code-basierte Checks sind billig und stabil. Sie scheitern, sobald das Verhalten offen ist. Ob ein Agent ein Tool-Ergebnis sinnvoll in die Antwort übersetzt, lässt sich selten als deterministic Assert schreiben.
LLM-as-a-Judge liest den Trace, die Frage und die Evidenz und scored per Prompt. Das deckt offene Aufgaben ab. Der Preis: Nicht-Determinismus, Latenz und Tokenkosten. Wer Online-Evals über zehntausend Production-Traces will, spürt das sofort im Budget.
Genau dazwischen positioniert TypeSafe Jev. Kein Textgenerator, sondern ein System-One-Modell: State rein, typisierte Antworten und Wahrscheinlichkeiten raus. Choice, Score und Noul. Mehrere Fragen parallel gegen denselben State. Das Muster kennen wir aus Routing und Triage. LangChain prüft jetzt, ob es auch als Judge trägt.
Die Zahlen, die wir übernehmen und die wir nicht erfinden
Genauigkeit (binär). Gegen das Human-Oracle traf Jev alle 500 does_pass-Entscheidungen. Terra lag bei 99,8 Prozent, Luna bei 96,4 Prozent, Claude Sonnet 4.6 bei 80,0 Prozent. Das ist stark, und es ist an fünf Wetter-Beispielen gemessen. Wer daraus „Jev ist immer besser als Claude“ macht, übertreibt.
Wiederholbarkeit. Die mittlere Varianz der Qualitätsscores lag bei Jev bei 0,0000149. Luna war 433-mal höher, Terra 913-mal, Claude 92-mal. LangChain betont ausdrücklich: niedrige Varianz heißt nicht automatisch hohe Wahrheit. Ein Judge kann konsistent falsch liegen. In Kombination mit hoher Oracle-Übereinstimmung wird Stabilität aber zum Betriebsvorteil.
Kosten und Latenz. Mittel 0,44 Sekunden und 0,00035 USD je Call. Gesamtkosten im Experiment: 0,34 USD für Jev gegen 28,17 USD für Claude. Für 10.000 Traces am Tag macht der Abstand aus Online-Evals erst ein Budget-Thema, dann ein Produkt-Thema: mehr Dimensionen, mehr Wiederholungen, dichtere Alerts.
LangChain definiert zusätzlich „signal value“ als Oracle-Agreement mal Wiederholbarkeit. Wir übernehmen die Formel als Idee, nicht als eigene Messung. Der Punkt ist pragmatisch: billig und falsch skaliert Schaden. Billig und stabil skaliert Feedback.
Den Hersteller-Benchmark zu Klassifikation und Kosten haben wir separat im Jev-TypeSafe-Test sortiert. Die Venice-Variante mit No-Retention-Claim steht unter Venice API und Jev Decisions.
Was das für Teams mit LangSmith und Deep Agents heißt
Wer schon LangSmith-Datasets pflegt, kann denselben Trace an mehrere Judges hängen. Genau das hat LangChain gemacht: ein Capture, viele Modelle. Der praktische Schnitt für uns:
- Offline-Regression: feste Dataset-Beispiele, Jev für schnelle Dimensionen (Pass/Fail, Rubrik, Grounding), Frontier-Judge nur für Grenzfälle oder offene Kritik.
- Online-Sampling: mehr Traces scoren, weil 0,00035 USD den Share erhöht. Schwellen kalibrieren, Alerts auf Trend, nicht auf Einzelrauschen.
- Human Loop: Oracle-Labels periodisch nachziehen. Sonst zementiert ihr einen billigen, falschen Judge.
Technisch bleibt Decisions-API oder TypeSafe-SDK die Schnittstelle. Chat-Completions sind der falsche Endpoint für typisierte Scores. Wer die neun Betriebsmuster sucht, findet sie in den Jev-Workflows 2026.
# Skizze: ein fester Trace, zwei typisierte Fragen (kein Live-Lauf)
from typesafe_sdk import Choice, Score, TypeSafeClient
client = TypeSafeClient() # TYPESAFE_API_KEY, Modell jev-latest
state = {
"question": "Wie wird das Wetter in Berlin morgen?",
"trace": "...fester Agent-Output aus LangSmith...",
"evidence": "...Tool-Ergebnisse...",
}
verdict = client.system_one(
state=state,
questions={
"does_pass": Choice(
instructions="Besteht der Lauf die Qualitätsprüfung?",
criteria={"pass": "Erfüllt die Rubrik", "fail": "Erfüllt sie nicht"},
),
"quality": Score(
instructions="Wie nützlich ist die Antwort?",
criteria=[
"nicht hilfreich",
"teilweise hilfreich",
"brauchbar",
"gut",
"sehr nützlich",
],
),
},
)Das ist absichtlich eine Skizze. LangChain nutzte langchain-typesafe 0.0.1a2. Feldnamen und Wrapper können sich in der Beta ändern. Wer Schwellen setzt, pinnt Versionen und misst auf eigenen Traces.
Livestream-Hinweis aus dem Artikel: LangChain plant am Dienstag, 22.09.2026, einen Stream mit dem TypeSafe-Team. Für den Eval-Stack zählt das Datum, nicht der Marketing-Ton.
Zur Reproduzierbarkeit nennt LangChain Deep Agents 0.7.15, LangChain OpenAI 1.6.2, LangSmith 0.12.6 und Tavily Python 0.8.3. Ein GitHub-Repo zum Lauf wird im Artikel verlinkt. Wir haben den Code in diesem Blog nicht erneut ausgeführt. Wer den Abstand in der eigenen Pipeline braucht, klont den Lauf, tauscht den Agent gegen den eigenen Harness und lässt denselben Oracle-Satz gegen Jev und einen Frontier-Judge laufen. Erst dann gehört die Schwelle in den CI-Job.
Was wir in Kundenprojekten zusätzlich messen: Anteil der Traces mit Online-Eval, Zeit bis zum ersten Alert nach einem schlechten Deploy, und wie oft der Mensch dem Judge widerspricht. Diese drei Zahlen entscheiden, ob 0,00035 USD pro Call ein Gewinn oder nur eine billige Illusion sind.
Pexon-Regel: wann Jev-as-a-Judge, wann nicht
- Ja, wenn ihr viele gleichartige Agent-Runs scored, Offline-Regression braucht und die Rubrik in Choice/Score/Noul passt.
- Ja, aber mit Kalibrierung, wenn Online-Evals auf Production-Traces laufen sollen. Erst Oracle-Sample, dann Schwelle, dann Scale.
- Nein, wenn Traces personenbezogene Daten, Mandantenakten oder Konstruktions-IP enthalten und die Inference die Unternehmensgrenze nicht verlassen darf. Dann gehört der Judge in den eigenen Tenant, nicht an eine US-API.
Niedrige Kosten verstärken Fehler. LangChain schreibt das klar. Wir unterschreiben das. Ein Judge für 0,00035 USD, der systematisch „pass“ sagt, ist teurer als ein teurer Judge, der ehrlich streut, weil ihr falsches Feedback industriell einbaut.
Für den Betrieb in Deutschland verdrahten wir das unter Agent-Orchestrierung und dem AI-Engineering-Stack: Dataset, Judge-Routing, Budget-Caps, Audit, menschliche Freigabe an unsicheren Fällen.
Häufige Fragen
Was kostet Jev as a Judge laut LangChain?
Im Experiment 0,00035 USD je Call und 0,34 USD gesamt gegen 28,17 USD für Claude Sonnet 4.6. Listenpreise und Promo-Tarife der Anbieter können abweichen. Für Budgetplanung zählen eure Trace-Volumina und die Zahl der Fragen je Trace.
Ersetzt Jev Ragas oder LangSmith-Evals?
Nein. LangSmith bleibt die Spur für Datasets, Traces und Replay. Ragas und ähnliche Metriken bleiben für RAG-Dimensionen relevant. Jev ist ein Judge-Typ mit typisierter Ausgabe, kein Ersatz für die Observability-Schicht.
Jev as a Judge oder LLM-as-a-Judge?
Für gebundene Rubriken und hohe Wiederholraten spricht der LangChain-Lauf klar für Jev. Für offene Kritik, lange Begründungen und multi-turn Analyse bleibt ein Frontier-Modell oft nötig. Hybrid ist der Default, nicht Religion.
Sind die 100 Prozent Trefferquote übertragbar?
Nicht ohne eigenen Test. Fünf Wetter-Beispiele, ein Oracle, ein Agent-Typ. Auf Support-, Versicherungs- oder Fertigungs-Traces kann die Lücke anders aussehen. Deshalb: eigenen Oracle-Satz bauen, bevor ihr Online-Evals aufdreht.
Darf ich Production-Traces an Jev schicken?
Nur nach Residenz-, AV- und Risiko-Check. Die API sitzt außerhalb eurer Grenze. Für regulierte Daten evaluieren wir lokal oder im eigenen Tenant und nutzen öffentliche oder synthetische Traces für den Provider-Vergleich.
