AI Evals: Das strategische KI-IP für Unternehmen 2026

Constantin, Pexon Consulting | 10 Min. Lesezeit | 21.07.2026

TL;DR

AI Evals sind ein systematisches Framework, das die Qualität von KI-Systemen messbar macht: Rubrics, LLM-as-Judge und Simulationen statt Daumen hoch. Sie sind der Grund, warum 95 Prozent der KI-Piloten scheitern und die 5 Prozent gelingen. Pexon baut eval-getriebene KI-Systeme, die vom Piloten in den Produktivbetrieb kommen, als 6-Wochen-Pilot.

Warum 95 Prozent der KI-Piloten scheitern

Die Zahl ist unbequem und gut belegt: Laut der MIT-NANDA-Studie „The GenAI Divide“ (2025) erreichen nur rund 5 Prozent der Enterprise-GenAI-Piloten eine messbare Wirkung auf die Gewinn- und Verlustrechnung. Die anderen 95 Prozent versanden. Interessant ist die Ursache. Es liegt nicht an der Modellqualität, sondern an einer „Learning Gap“: Die Systeme lernen nicht aus den Workflows des Unternehmens, und niemand kann objektiv sagen, ob der Output gut genug für echte Arbeit ist.

Wir hören in Gesprächen mit IT-Leitern und CIOs seit Monaten dieselbe Melodie: „KI liefert noch keinen ROI, aber wir sind all-in, wir müssen es hinkriegen.“ Der Wille ist da, das Budget auch. Was fehlt, ist die Antwort auf eine simple Frage: Wie genau ist unser KI-System eigentlich? Die meisten Verantwortlichen können sie nicht beantworten. Und genau da beginnt das Problem.

Wer nicht messen kann, wie gut ein Agent arbeitet, traut ihm keine echte Arbeit zu. Ohne dieses Vertrauen bleibt jedes Projekt im Pilotmodus hängen: inkonsistente Ausgabequalität, unklare Sicherheitsrisiken, Token-Kosten, die aus dem Ruder laufen. Die MIT-Daten zeigen auch den Ausweg: Der Kauf bei spezialisierten Anbietern und echte Partnerschaften gelingen etwa in 67 Prozent der Fälle, reine Eigenbauten nur ein Drittel so oft.

Was AI Evals wirklich sind

Die kurze Antwort: AI Evals sind ein rigoroses Framework, um ein KI-System systematisch zu messen und zu verbessern. Und nein, damit ist nicht Daumen hoch, Daumen runter gemeint, auch nicht das gelegentliche manuelle Durchlesen von Agenten-Antworten. Das ist kein Eval, das ist ein Bauchgefühl mit Extraschritten.

Eine ernsthafte Evaluierungs-Suite tut vier Dinge. Sie erfasst die Nuancen von Urteilsvermögen, Ton und Geschmack. Sie bewertet, ob ein Agent seine Tools richtig einsetzt. Sie zerlegt Aufgaben in konkrete, bewertbare Dimensionen, eine sogenannte Rubric. Und sie läuft in einer Simulation oder einer Reinforcement-Learning-Umgebung, in der Agenten wiederholt getestet und über die Zeit trainiert werden.

Ein einfaches Beispiel für eine Rubric, die drei Prüfebenen kombiniert: harte String-Prüfung, Code-Assertion und ein Modell als Richter.

# Eval-Rubric für einen Angebots-Extraktions-Agenten
kriterien:
  - name: pflichtfelder_vorhanden
    typ: exact_match          # deterministisch: Feld da oder nicht
    feld: "kundennummer"
  - name: summe_korrekt
    typ: code_assertion        # objektiv prüfbar
    regel: "abs(extrahiert.summe - erwartet.summe) < 0.01"
  - name: ton_professionell
    typ: llm_as_judge          # Nuance: Urteil, Ton, Vollständigkeit
    prompt: "Bewerte 1-5, ob die Antwort sachlich und vollständig ist."
schwellenwert: 0.9             # unter 0.9 kein Deploy

Der Punkt: Jedes Update wird gegen objektive Rubrics gescored, bevor es live geht. Domänenexperten kuratieren historische Daten und pflanzen bewusst Härtefälle ein, korrupte Texte, widersprüchliche Anweisungen, um das Modell unter Druck zu setzen. So wird KI-Entwicklung vom Ratespiel zu einer planbaren Ingenieursdisziplin. Wer die Traces dahinter sauber erfassen will, braucht LLM-Observability mit Tracing als Unterbau, sonst fehlt der Eval-Pipeline die Datengrundlage.

Evals als strategisches IP, nicht als Testschritt

Hier wird es strategisch. Satya Nadella hat in seinem viel beachteten X-Essay „The Reverse Information Paradox“ (12. Juli 2026) den Punkt scharf formuliert: Private Evals werden zur wichtigsten Form von geistigem Eigentum eines Unternehmens. Seine Logik: Wer eine robuste eigene Evaluierung besitzt, kann Frontier-Modelle nutzen, um die Leistung zu steigern, ohne die eigenen Daten preiszugeben. Und wer zwischen Modellen wechseln kann und dabei Leistung gewinnt, hat echte Kontrolle statt Anbieter-Abhängigkeit.

Nadella nennt das Risiko „Intelligence Exhaust“: Jedes Mal, wenn Ihr Unternehmen ein Modell nutzt, Prompts schreibt, Tools aufruft und vor allem Fehler korrigiert, entsteht wertvolles Erfahrungswissen. „Trace für Trace, Korrektur für Korrektur, Eval für Eval.“ Die Frage ist nur, wohin dieses Wissen fließt: in Ihre eigene Lern-Infrastruktur oder zu dem, der Ihr Modell betreibt.

Unsere klare Position: Wer seine Evals einem Modellanbieter überlässt, verschenkt sein wertvollstes KI-IP. Die akkumulierten Urteile, Workflows und Korrekturen Ihres Unternehmens sind der eigentliche Burggraben, nicht das Modell. Das Modell kann jeder mieten. Ihre Definition von „gut“ kann niemand kopieren. Genau deshalb gehört die Orchestrierungs-Schicht vom einzelnen Modell entkoppelt, ein Prinzip, das sich mit sauberem Model-Routing über einen LLM-Gateway umsetzen lässt.

Die fünf Säulen einer eval-getriebenen KI-Strategie

Aus unseren Projekten und den Gesprächen an der Front kristallisieren sich fünf Bausteine heraus. Sie greifen ineinander, keiner funktioniert allein.

1. Alles beginnt mit Evals. Die Leistung Ihrer KI ist exakt so gut, wie Ihre Evaluierung sie definiert. Sie können nur steuern, was Sie präzise als „gut“ beschrieben haben. Führende Organisationen bauen die Evaluierung in eine Simulation, die jedes Update gegen objektive Rubrics testet, bevor es die reale Welt erreicht.

1. Jede Funktion braucht eine eigene KI-Strategie. Ein komplexes Unternehmen entscheidet segmentiert: bauen, kaufen, optimieren oder trainieren, je Geschäftsbereich. Ein mittelgroßer Versicherer kauft den Coding-Agenten von der Stange und zahlt für Frontier-Tokens, baut aber die eigenen Underwriting-Agenten selbst, als souveränes IP. Im Agenten-Zeitalter ist Performance-Management gleich Evals.

1. Sicherheit und Security nicht übersehen. Viele glauben, ihr Cyber-Risiko sei mit der Cloud-Absicherung aus der SaaS-Ära erledigt. Ist es nicht. Prompt-Injection und das Abfließen proprietärer Daten in öffentliche Trainingsschleifen stoppt keine klassische Firewall. Das braucht Data-Scrubbing vor der Query und Input-Validierung vor dem Modell, ein eigenes Governance-Thema, kein Firewall-Thema.

1. Optimiertes Model-Routing ist das neue Gehaltsband. Sie zahlen keinem Sachbearbeiter ein Vorstandsgehalt, routen aber einfachste Aufgaben an teure Frontier-Modelle. Eine Routing-Schicht, die Modellkosten an Aufgaben-Komplexität koppelt, ist Pflicht. Sie funktioniert aber nur, wenn Evals belegen, dass ein günstigeres Modell die Aufgabe wirklich schafft. Wir haben Unternehmen gesehen, die auf Kosten überoptimiert und mit Qualität bezahlt haben.

1. Fine-Tuning gehört zurück ins Playbook. Ab relevanter Skalierung ist oft nicht Agenten-Iteration das Günstigste, sondern das Anpassen kleiner Open-Weight-Modelle an konkrete Aufgaben. Fine-Tuning bringt dem Modell kein neues Wissen bei, dafür ist RAG da, aber es standardisiert Workflows, Kommunikationsstil und Tool-Calling. Der Wert entsteht, wenn Sie das Ergebnis wie jedes Software-Asset behandeln: Regressionstests und Feedback-Schleifen gegen Drift.

Was das für Ihr Unternehmen heißt

Der Wechsel zu einer Eval-first-Mentalität ist keine technische Fußnote. Es ist eine andere Definition von Erfolg: weg von „mal sehen, was die KI macht“, hin zu „wir messen präzise, was sie tun soll, und verbessern sie, bis sie es tut“. Wer das jetzt schafft, verwandelt KI von einem Kostenblock in ein Asset, das mit jeder Nutzung besser wird.

Konkret heißt das für Sie: Bevor Sie den nächsten Agenten bauen, definieren Sie, wie Sie seinen Erfolg messen. Nicht danach, nicht „wenn Zeit ist“. Zuerst. Unsere Erfahrung aus der Arbeit an Produktivsystemen ist eindeutig: Der Unterschied zwischen einem Piloten, der in der Schublade landet, und einem, der echte Arbeit übernimmt, ist fast nie das Modell. Es ist die Frage, ob jemand rigoros definiert hat, was „gut genug“ bedeutet, und ob das kontinuierlich gemessen wird. Wie sich diese Eval- und Simulations-Schicht in eine tragfähige Plattform einfügt, beschreiben wir im AI Platform Engineering.

Häufig gestellte Fragen

Was sind AI Evals einfach erklärt?

AI Evals sind ein strukturiertes Framework, um objektiv zu messen, wie gut ein KI-System eine Aufgabe erledigt. Statt „sieht gut aus“ bewerten definierte Kriterien (Rubrics) jede Ausgabe, oft per exakter Prüfung, Code-Assertion oder einem Modell als Richter. Sie machen KI-Qualität planbar statt zufällig.

Warum sind private Evals strategisches IP?

Weil sie das akkumulierte Urteilsvermögen Ihres Unternehmens festhalten, also Ihre Definition von „gut“. Damit können Sie beliebige Modelle nutzen und wechseln, ohne Ihr Wissen preiszugeben. Satya Nadella nennt das den entscheidenden Burggraben im KI-Zeitalter. Das Modell ist Commodity, Ihre Evals nicht.

Was kostet der Aufbau einer Eval-Pipeline?

Das hängt vom Anwendungsfall ab. Ein erster produktiver Eval-Rahmen für einen konkreten Agenten lässt sich in einem 6-Wochen-Pilot aufsetzen, inklusive Rubrics, Testdaten und Observability. Die eigentliche Investition ist nicht Rechenleistung, sondern Disziplin und Datenqualität.

Ersetzen Evals menschliche Kontrolle?

Nein, sie skalieren und objektivieren sie. Menschen definieren die Rubrics und kuratieren die Härtefälle. Die Eval-Pipeline führt die Bewertung dann konsistent und wiederholbar durch, bei jedem Update. Menschliche Stichproben bleiben sinnvoll, aber nicht als einziges Qualitätsurteil.

Wie fange ich mit AI Evals an?

Nehmen Sie einen einzigen, klar umrissenen Anwendungsfall und definieren Sie, wie „gut“ konkret aussieht. Sammeln Sie echte historische Beispiele plus bewusste Härtefälle, bauen Sie eine erste Rubric und messen Sie jedes Update dagegen. Klein und diszipliniert schlägt breit und beliebig.

Nächster Schritt

Sie skalieren Ihre KI-Programme über den Pilotmodus hinaus und fragen sich, wie Sie Qualität und Zuverlässigkeit messbar machen? Wir klären in einem kurzen Gespräch, wo Ihre Eval-Lücke sitzt und wie ein erster eval-getriebener Agent bei Ihnen aussieht.

Verwandte Themen