Was sind KI-Guardrails?
GovernanceGuardrails sind technische Regeln, die begrenzen, was ein KI-System annimmt, tut und ausgibt. Sie prüfen Eingaben, Werkzeugaufrufe und Antworten gegen feste Vorgaben und blockieren, maskieren oder eskalieren, sobald eine Anfrage den erlaubten Rahmen verlässt.
Kurz vorwegGuardrails greifen nur, wenn sie zur Architektur passen. KI in den Betrieb bringen
Guardrails: Definition
Guardrails sind durchgesetzte Regeln um ein Sprachmodell herum. Sie sitzen nicht im Modell, sondern davor und dahinter: in einem Gateway, einem Proxy oder der Anwendungsschicht, die jede Anfrage und jede Antwort passieren muss. Erlaubt ist, was die Regel zulässt - alles andere wird blockiert, maskiert oder an einen Menschen übergeben.
Üblich sind drei Ebenen. Auf der Eingabeseite werden personenbezogene Daten erkannt und maskiert, Themen gesperrt und Muster für Prompt Injection erkannt - jener Angriff, den das OWASP Top 10 für LLM-Anwendungen in der Ausgabe 2025 auf Platz eins führt. Auf der Ausgabeseite werden Format und Schema geprüft, Belegstellen erzwungen und unerwünschte Inhalte gefiltert. Auf der Werkzeugebene entscheidet die Regel, welche Aktion ein Agent überhaupt auslösen darf und wo eine Freigabe durch einen Menschen nötig ist.
Abzugrenzen sind Guardrails von zwei Nachbarn: Ein Systemprompt formuliert eine Bitte an das Modell, die sich durch geschickt formulierte Eingaben überschreiben lässt. Eine Evaluation misst Qualität vor dem Ausrollen, greift zur Laufzeit aber nicht ein. Guardrails sind der Teil, der im Betrieb tatsächlich durchsetzt - und protokolliert, wenn er es tut.
- Zweck
- Begrenzen, was ein KI-System annimmt, tut und ausgibt
- Wo sie greifen
- Im Gateway oder in der Anwendung, nicht im Systemprompt
- Drei Ebenen
- Eingabe, Ausgabe, Werkzeugaufruf
- Typische Regeln
- Maskierung personenbezogener Daten, Themensperren, Schema-Prüfung, Freigabe durch Menschen
- Regulatorischer Bezug
- Artikel 14 EU AI Act verlangt für Hochrisiko-Systeme wirksame menschliche Aufsicht
Wie funktionieren Guardrails?
Jede Anfrage durchläuft dieselbe Kette, unabhängig davon, welche Anwendung sie stellt:
- Eingabe prüfenPersonenbezogene Daten maskieren, gesperrte Themen abweisen, Muster für Prompt Injection erkennen.
- Zugriff begrenzenModell und Werkzeuge sehen nur die Daten, die der anfragende Mensch sehen darf. Berechtigungen werden an der Schnittstelle geregelt, nicht im Prompt.
- Ausgabe prüfenFormat und Schema validieren, Belegstellen erzwingen, unerwünschte Inhalte filtern, bei Unsicherheit abbrechen.
- Vorfall protokollierenJede Blockade wird mit Zeitpunkt, Regel und Anfrage festgehalten. Ohne Protokoll lässt sich Aufsicht nicht nachweisen.
Welche Guardrails gibt es?
Die gängigen Regeln lassen sich nach der Ebene ordnen, auf der sie greifen:
| Ebene | Beispiel | Was sie verhindert |
|---|---|---|
| Eingabe | Erkennung und Maskierung personenbezogener Daten | Dass solche Daten das Modell überhaupt erreichen |
| Eingabe | Erkennung von Prompt Injection | Dass eingeschleuste Anweisungen die Regeln überschreiben |
| Ausgabe | Schema- und Formatprüfung | Dass nachgelagerte Systeme unbrauchbare Antworten verarbeiten |
| Ausgabe | Belegpflicht und Abbruch bei Unsicherheit | Dass eine erfundene Antwort als Ergebnis durchgeht |
| Werkzeug | Freigabe durch einen Menschen | Dass ein Agent eine folgenreiche Aktion allein auslöst |
Was Guardrails nicht leisten
Guardrails machen ein System nicht korrekt, sondern begrenzt. Sie verhindern nicht, dass ein Modell eine falsche Antwort formuliert - dagegen wirken Grounding und Evaluation. Sie verhindern, dass bestimmte Eingaben und Ausgaben den vereinbarten Rahmen verlassen.
Jede zusätzliche Regel hat zwei Fehlerarten: Ein zu strenger Filter blockiert legitime Anfragen, ein zu lockerer lässt zu viel durch. Deshalb gehört zu jeder Guardrail eine Messung, wie oft sie richtig und wie oft sie fälschlich greift - sonst wird sie im Betrieb still abgeschaltet.
An welchen drei Stellen Guardrails greifen
Wer nur an einer Stelle prüft, verlagert das Problem an die nächste. Die drei Stellen haben unterschiedliche Fehlerbilder.
Prüfpunkte vor dem Produktivgang
Diese Punkte entscheiden häufiger über den Erfolg als die Wahl des Modells.
- Abbruchbedingung definiert: wann das System aufhört und einen Menschen fragt
- Rechte begrenzt: das System kann technisch nicht mehr als es soll, nicht nur laut Anweisung
- Umgehungen getestet: Anweisungen im Dokument, nicht nur in der Nutzereingabe
- Protokoll vorhanden: jede Werkzeugnutzung ist im Nachhinein nachvollziehbar
- Fehlalarme gemessen: bekannt, wie oft die Regel legitime Fälle blockiert
Der Satz, der eine Sicherheitsabteilung überzeugt, lautet nicht „das steht im Systemprompt“, sondern „diese Regel greift am Gateway und jede Blockade ist protokolliert“. An diesem Unterschied entscheidet sich, ob ein KI-System an echte Daten darf.
„Guardrails bremsen nur.“ Ohne durchgesetzte Regeln bleibt ein KI-System im Pilotstatus stecken, weil niemand die Verantwortung für den Betrieb übernimmt. Guardrails sind die Bedingung dafür, dass ein System produktive Daten sehen darf - nicht der Grund, warum es das nicht darf.
Häufige Fragen zu Guardrails
Reicht es, die Regeln in den Systemprompt zu schreiben?
Nein. Ein Systemprompt ist eine Anweisung an das Modell, die sich durch geschickt formulierte Eingaben überschreiben lässt. Durchgesetzt ist eine Regel erst dort, wo sie unabhängig vom Modell greift: im Gateway, in der Anwendung oder in der Berechtigungsschicht.
Was unterscheidet Guardrails von Evaluation?
Evaluation misst, wie gut ein System antwortet, und läuft vor dem Ausrollen sowie bei jeder Änderung. Guardrails greifen zur Laufzeit ein und blockieren, was außerhalb des Rahmens liegt. Ein belastbarer Betrieb braucht beides: Messung und Durchsetzung.
Mit welchen Guardrails fängt man an?
In den meisten Projekten sind es drei: Maskierung personenbezogener Daten auf der Eingabeseite, Schema-Prüfung auf der Ausgabeseite und eine Freigabe durch Menschen für Aktionen mit Außenwirkung. Alles Weitere ergibt sich aus dem Anwendungsfall.
Ein Pilot wird erst dann zum Betrieb, wenn Regeln durchgesetzt und Vorfälle protokolliert sind - wir sehen uns Ihren Aufbau an.
KI in den Betrieb bringen