Jev TypeSafe Test 2026: 294-mal billiger, als Sonnet 5?

Robin, Consultant für GenAI bei Pexon Consulting | 6 Min. Lesezeit | 17.09.2026

TL;DR: Jev TypeSafe in vier Sätzen

Jev TypeSafe ist ein Entscheidungsmodell, das statt Text typisierte Antworten mit Konfidenz liefert: Auswahl, Score oder Ja/Nein in 70 bis 500 Millisekunden. In den Hersteller-Benchmarks trifft es genauso gut wie Claude Sonnet 5, kostet aber 294-mal weniger. Gegen GPT-5.6 Sol fehlen ihm 6,3 Punkte Genauigkeit. Wir ordnen ein, wo sich der Tausch lohnt.

Das Problem: Ihr Agent zahlt Opus-Preise für ein if-Statement

Die meisten Kosten in Agenten-Pipelines entstehen nicht beim Schreiben, sondern beim Entscheiden. Ticket in die richtige Queue, Mail dringend oder nicht, Werkzeugaufruf ja oder nein, Ausgabe regelkonform oder nicht. Das sind Verzweigungen, keine Texte.

Trotzdem läuft genau dieser Verkehr bei fast allen Kunden, die wir sehen, über dasselbe große Modell wie die eigentliche Antwort. Ein Kunde aus der Versicherung schickte im Frühjahr rund 40.000 Klassifikationen am Tag durch ein Frontier-Modell, weil die Pipeline historisch so gewachsen war. Für jede dieser Entscheidungen erzeugt ein autoregressives Modell Token für Token einen JSON-String, den die Anwendung danach wieder einliest, validiert und im Fehlerfall neu anfordert.

Genau an dieser Stelle setzt TypeSafe AI an. Das Unternehmen hat am 15. September 2026 mit 40 Millionen US-Dollar Finanzierung sein erstes Modell veröffentlicht, Jev, benannt nach dem Ökonomen William Stanley Jevons. Seit dem 16. September 2026 liegt es unter der Modell-ID typesafe-ai/jev auch auf Vercels AI Gateway.

Eine Korrektur vorweg, weil sie gerade durch viele Zusammenfassungen geistert: Das Unternehmen heißt TypeSafe AI, nicht Typeface. Gründer und CEO ist Diogo Almeida, ein früherer OpenAI-Forscher und Mitautor der InstructGPT-Arbeit. Er ist nicht Mitgründer von ChatGPT.

Jev TypeSafe im Benchmark: gleiche Trefferquote wie Sonnet 5, 294-mal billiger

Die ehrlichste Zahl aus TypeSafes eigenem Benchmark ist nicht die Geschwindigkeit, sondern die Trefferquote. Über vier Arbeitsabläufe gemittelt landet Jev bei 67,8 Prozent. Claude Sonnet 5 landet bei exakt demselben Wert, braucht dafür aber 78,1 statt 0,4 Sekunden und kostet pro Fall das 294-Fache.

Rechnen wir das auf ein realistisches Volumen: Bei 10.000 Entscheidungen am Tag kostet Jev rund 120 USD im Monat, Claude Sonnet 5 rund 35.220 USD bei identischer Trefferquote. Das ist der eigentliche Befund, und er ist stark genug, dass man die Marketing-Multiplikatoren gar nicht braucht.

Die beiden großen Modelle liegen allerdings vorn, wo es zählt. GPT-5.6 Sol trifft 6,3 Punkte besser, Claude Opus 5 5,3 Punkte. Bei der Rechnungsverarbeitung wird die Lücke brutal: Jev kommt auf 61,8 Prozent, GPT-5.6 Sol auf 79,1 Prozent. Bei Sicherheitsvorfällen stehen 61,7 gegen 66,2 Prozent für Opus 5. Nur im Kundenservice schrumpft der Abstand auf 2,3 Punkte.

Unsere Empfehlung daraus: Jev ist kein Ersatz für Ihr Hauptmodell, sondern ein Filter davor. Hochvolumige, wiederholte Entscheidungen mit bekannten Optionen gehen an Jev, die teuren Grenzfälle eskalieren weiter. Wer stattdessen die Rechnungsprüfung komplett auf Jev umstellt, kauft 17 Prozentpunkte Fehler für ein paar hundert Euro Ersparnis.

Warum „kann nicht halluzinieren“ nur die halbe Wahrheit ist

Die Aussage stimmt technisch und führt trotzdem in die Irre. Jev erzeugt keine Zeichenketten. Es wählt aus einer Menge, die Sie vorher definiert haben. Ein Typfehler oder ein erfundenes Feld im JSON ist damit tatsächlich ausgeschlossen, nicht unwahrscheinlich, sondern strukturell unmöglich.

Nur ist das eine andere Aussage als „das Ergebnis stimmt“. Ein Modell, das bei der Rechnungsverarbeitung 61,8 Prozent trifft, liegt in knapp vier von zehn Fällen falsch. Es liegt dann eben sauber typisiert falsch. Auch The Register hat diesen Punkt aufgegriffen und hält den Vergleich für schief, weil strukturierte Ausgaben per Definition keine sprachlichen Erfindungen produzieren können.

Praktisch nützlich ist dafür etwas anderes: Jev gibt zu jeder Antwort eine kalibrierte Wahrscheinlichkeit aus, etwa {"billing": 0.08, "technical": 0.85, "sales": 0.07}. Trainiert wurde das mit einem Verfahren, das TypeSafe Reinforcement Learning for Calibrated Decisions nennt. Damit können Sie eine Schwelle ziehen und alles darunter an ein größeres Modell oder einen Menschen weiterreichen. Genau dieser Konfidenzwert ist der Grund, warum wir uns das Modell überhaupt angesehen haben, und nicht die Null-Halluzinations-Überschrift.

Zweiter Einwand, der berechtigt ist: TypeSafe vergleicht ausschließlich gegen große Allzweckmodelle. Ein feinjustierter Klassifikator mit wenigen hundert Millionen Parametern, DistilBERT-Klasse, taucht in der Tabelle nicht auf. Für die klassische Textklassifikation ist das aber der eigentliche Gegner, und er ist ebenfalls schnell und billig. Bis TypeSafe diesen Vergleich nachliefert, gilt der Kostenvorteil belegt gegenüber Frontier-Modellen und unbelegt gegenüber kleinen Spezialmodellen.

So sieht ein Jev-Aufruf aus

Der Aufruf unterscheidet sich vom gewohnten Prompt: Sie übergeben einen Zustand und eine Menge typisierter Fragen, nicht eine Anweisung in Prosa. Über Vercels AI Gateway geht das ab AI SDK 7.0.105 mit der evaluate-Funktion, Stand 17.09.2026 noch als experimentelle Schnittstelle markiert.

import { experimental_evaluate as evaluate } from 'ai';

const ergebnis = await evaluate({
  model: 'typesafe-ai/jev',
  // Zustand: das, worueber entschieden wird
  state: 'Kunde meldet, dass der Export seit dem Update leere PDFs erzeugt.',
  questions: {
    queue: {
      type: 'choice',
      options: ['billing', 'technical', 'sales'],
      instructions: 'In welche Queue gehoert das Ticket?',
    },
    eskalieren: {
      type: 'boolean',
      instructions: 'Ist das ein Produktionsausfall?',
    },
  },
  providerOptions: {
    gateway: { zeroDataRetention: true },
  },
});

// Schwelle selbst ziehen: unsichere Faelle ans grosse Modell weiterreichen
if (ergebnis.queue.confidence < 0.7) {
  await eskalationAnFrontierModell(ergebnis);
}

Drei Fragetypen gibt es: choice mit bis zu 255 Optionen, score mit 2 bis 10 Stufen und boolean als Wahrscheinlichkeit. Mehr nicht. Wer den Aufruf in eine bestehende Pipeline einhängen will, legt ihn sinnvollerweise hinter das eigene LLM-Gateway mit Modell-Routing, damit Kosten und Fallbacks an einer Stelle sichtbar bleiben.

Wann Jev passt, wann nicht

Die kurze Antwort: Jev lohnt sich ab dem Punkt, an dem Sie dieselbe Entscheidung tausendfach am Tag treffen und die Optionen vorher feststehen. Darunter ist der Integrationsaufwand höher als die Ersparnis.

Passend sind aus unserer Sicht:

1. Ticket- und Mail-Triage mit festem Queue-Katalog
2. Vorfilter vor einem teuren Modell, mit Eskalation unterhalb einer Konfidenzschwelle
3. Guardrails, die eine fertige Ausgabe gegen Regeln prüfen, bevor sie rausgeht
4. Werkzeugauswahl in Agenten, wo heute ein großes Modell nur einen Tool-Namen zurückgibt
5. Massenauswertung bestehender Datenbestände, etwa Altbestände nachträglich verschlagworten

Finger weg dagegen bei allem, was Text erzeugen muss, bei mehr als 255 Optionen, bei bildbasierten Zuständen und überall dort, wo die letzten fünf Prozentpunkte Genauigkeit teuer sind. Und ohne eigene gelabelte Testfälle würden wir gar nicht erst anfangen: Sie brauchen Ihre Zahlen, nicht die des Herstellers, weil der Abstand je nach Arbeitsablauf zwischen 2,3 und 17,3 Punkten schwankte. Wie so eine Messung aufgesetzt wird, gehört ohnehin in jeden AI-Engineering-Stack.

Ein Wort zur Verfügbarkeit: Jev läuft aktuell nur im Early Access und als gehosteter Dienst. Es gibt keine Gewichte zum Selbsthosten, also auch keinen Ausweg bei Datenschutzanforderungen, die eine Verarbeitung im eigenen Rechenzentrum verlangen. Über das Gateway lässt sich immerhin Zero Data Retention setzen. Für regulierte Bereiche ist das je nach Fall zu wenig, und dann bleibt der feinjustierte Klassifikator im eigenen Haus die ruhigere Wahl.

Häufig gestellte Fragen

Was kostet Jev TypeSafe?

0,042 US-Dollar pro Million Eingabe-Token, Ausgabe-Token sind kostenlos. Zum Vergleich: GPT-5.6 Terra liegt bei 2,00 USD Eingabe und 12,00 USD Ausgabe. Pro Entscheidung bedeutet das rund 0,0004 USD. Bei 10.000 Fällen am Tag landen Sie bei etwa 120 USD im Monat.

Kann Jev wirklich nicht halluzinieren?

Es kann keine Typfehler und keine erfundenen Felder produzieren, weil die gültigen Ausgaben vorher im Schema festgelegt sind. Falsch liegen kann es trotzdem: Bei der Rechnungsverarbeitung trifft es 61,8 Prozent. Die Aussage betrifft die Form der Antwort, nicht ihre Richtigkeit.

Jev oder ein kleines Open-Source-Modell, was ist günstiger?

Das ist offen, und der Hersteller beantwortet es nicht. TypeSafe vergleicht nur gegen große Modelle von OpenAI und Anthropic. Ein selbst gehosteter, feinjustierter Klassifikator kann bei einer klar umrissenen Aufgabe billiger und genauer sein, kostet Sie aber Trainingsdaten und Betrieb.

Ersetzt Jev mein bestehendes LLM?

Nein, und es will das auch nicht. Jev erzeugt keinen Text, also keine Antworten, keine Zusammenfassungen, keinen Code. Es sitzt vor oder neben Ihrem Hauptmodell und übernimmt die Verzweigungen. Die Architektur bleibt zweistufig.

Wie komme ich an Jev heran?

Entweder über die Warteliste für den Early Access bei TypeSafe oder seit dem 16. September 2026 über Vercels AI Gateway unter der Modell-ID typesafe-ai/jev. Letzteres braucht AI SDK ab Version 7.0.105 und ist der schnellere Weg für einen Test.

Nächster Schritt

Bevor ein neues Modell irgendetwas spart, muss sichtbar sein, welche Route heute was kostet. Genau das ist bei den meisten Teams der blinde Fleck.

Verwandte Themen