05.02.2025 AI Engineering 5 Minuten Lesezeit

Guardrails-Engineering für LLM-Systeme

So bauen wir Anfang 2025 Guardrails für LLM-Systeme: mehrschichtige Policies mit bekannten Fehlerraten, PII-Redaktion mit Presidio, Output-Filterung mit Llama Guard 3 und Moderations-APIs, menschliche Freigaben für irreversible Aktionen sowie Guardrails als versionierter Code mit Angriffs-, Gutfall- und Regressionstests in der CI — ehrlich abgegrenzt, was jede Schicht nicht leistet.

Warum Guardrails eine Ingenieursdisziplin sind

Ein System-Prompt ist keine Sicherheitskontrolle, sondern eine Bitte. Im Februar 2024 verurteilte das kanadische Civil Resolution Tribunal Air Canada zu Schadensersatz, weil der Support-Chatbot einen Trauerfall-Rabatt erfunden hatte; das Argument der Airline, der Chatbot sei "eine eigene juristische Person", scheiterte, und sie zahlte 812,02 kanadische Dollar an Schadensersatz und Gebühren. Die Lehre gilt allgemein: Was ein Modell unter Ihrer Domain ausgibt, verantworten Sie.

Die im November 2024 überarbeiteten OWASP Top 10 für LLM-Anwendungen führen Prompt Injection (LLM01:2025) und die Offenlegung sensibler Informationen (LLM02:2025) auf den Plätzen eins und zwei. Für beides gibt es heute keine Lösung auf Modellebene; Einschränkungen im System-Prompt "werden nicht immer befolgt", so OWASP selbst. Guardrails-Engineering behandelt das als Systemproblem: deterministische Kontrollen um eine probabilistische Komponente. Dieser Artikel beschreibt die Muster — mitsamt ihren Grenzen.

Nicht vertrauenswürdige Eingabe — Daten, keine Instruktionen. 1/4

Mehrschichtige Policies statt eines großen Filters

Kein einzelner Filter genügt. Ein Moderationsklassifikator sieht keine personenbezogenen Daten. Ein regulärer Ausdruck versteht keine Paraphrase. Ein menschlicher Prüfer skaliert nicht auf jede Anfrage. Schichtung akzeptiert, dass jede Kontrolle eine bekannte Fehlerrate hat, und ordnet die Kontrollen so an, dass sich ihre Lücken nicht überdecken. Fünf Schichten decken die meisten Systeme ab, die wir bauen:

Zwei Regeln machen Schichtung wirksam. Erstens: Jede Schicht schlägt geschlossen fehl (fail closed) — ist der PII-Dienst nicht erreichbar, stoppt die Anfrage; sie läuft nicht mit einer Warnung weiter. Zweitens: Die Schichten bleiben unabhängig — der Output-Filter darf dem Urteil des Input-Filters nicht vertrauen. Schichtung beseitigt kein Risiko. Sie verwandelt eine unbegrenzte Fehlerfläche in wenige messbare und testbare Fehlerraten.

Schicht	Zweck	Typischer Mechanismus	Bekannte Grenze
Eingabe-Policy	Unzulässige Anfragen vor der Inferenz abweisen	Moderationsklassifikator auf dem Prompt	Übersieht neue Formulierungen und indirekte Injection
PII-Grenze	Personenbezogene Daten in beide Richtungen pseudonymisieren	Mustererkennung plus NER (z. B. Presidio)	Recall unter 100 % bei Freitext
Output-Filter	Generierte Inhalte gegen die Policy prüfen	Safety-Klassifikator plus deterministische Regeln	Blind für faktische Fehler
Aktions-Gate	Folgenreiche Tool-Aufrufe anhalten	Allowlists und Freigabe-Queues	Ermüdung der Freigebenden
Audit-Trail	Jede Entscheidung nachvollziehbar machen	Strukturierte Logs aller Verdikte	Erkennt nur im Nachhinein

PII-Redaktion an der Vertrauensgrenze

Personenbezogene Daten sollten pseudonymisiert werden, bevor sie die Vertrauensgrenze zu einer Modell-API überqueren, und erst innerhalb der vertrauenswürdigen Zone re-identifiziert werden. Microsoft Presidio, seit 2019 Open Source, ist eine solide Basis: Mustererkennung für strukturierte Identifikatoren wie IBANs, Kreditkarten- und Telefonnummern, NER-Modelle für Namen und Adressen sowie eigene Recognizer für Fachidentifikatoren wie Versicherungs- oder Patientennummern.

Bleiben Sie bei der Erkennungsrate ehrlich. Kein Detektor findet jeden Identifikator im Freitext; deutsche Komposita und kontextuelle Identifizierung — "der Patient aus der Hamburger Filiale mit der seltenen Diagnose" — laufen an Mustererkennung vollständig vorbei. Redaktion reduziert die Exposition. Sie erzeugt für sich genommen keine anonymen Daten im Sinne der DSGVO; behandeln Sie redigierten Text als pseudonymisiert, halten Sie die Zuordnungstabelle aus den Logs heraus und protokollieren Sie, was ersetzt wurde.

Output-Filterung mit Klassifikatoren

Die Antwort des Modells zu filtern ist eine andere Aufgabe, als die Frage des Nutzers zu filtern — und braucht eine eigene Schicht. Zwei Veröffentlichungen definierten die Basis des Jahres 2024. Metas Llama Guard 3 (Juli 2024), ein aus Llama 3.1 feinjustierter 8B-Klassifikator, bewertet Prompts und Antworten gegen 14 Gefahrenkategorien entlang der MLCommons-Taxonomie; eine 1B-Variante (September 2024) läuft auf bescheidener Hardware. OpenAIs omni-moderation-Modell (September 2024) klassifiziert Text und Bilder in 13 Kategorien mit kalibrierten Wahrscheinlichkeiten — kostenfrei.

Zur ehrlichen Abgrenzung: Diese Klassifikatoren erkennen Policy-Verstöße wie Hass- oder Selbstverletzungsinhalte. Sie erkennen keine faktischen Fehler, keine erfundenen Preise, keine subtil falsche Fachberatung. Dafür braucht es deterministische Prüfungen: Schema-Validierung strukturierter Ausgaben, Allowlists für URLs und Faktenabgleich gegen ein Quelldokument. Ein Safety-Klassifikator, der einen halluzinierten Rabatt durchlässt, hat exakt wie spezifiziert funktioniert.

Menschliche Freigabe für folgenreiche Aktionen

Agentische Systeme machen aus Textgenerierung Handlung: Mails versenden, Datensätze ändern, Erstattungen auslösen. Wir klassifizieren jedes Tool nach Reversibilität und Wirkungsradius. Rein lesende Tools laufen frei. Reversible Schreibzugriffe laufen mit strukturiertem Logging. Irreversible oder nach außen sichtbare Aktionen — Zahlungen, Löschungen, ausgehende Kommunikation — erfordern eine explizite menschliche Freigabe vor der Ausführung, nicht danach.

Die Regulierung zeigt in dieselbe Richtung. Artikel 14 der EU-KI-Verordnung (Verordnung 2024/1689, in Kraft seit dem 1. August 2024) verlangt wirksame menschliche Aufsicht für Hochrisikosysteme. Gestalten Sie Freigaben gegen Ermüdung: Wer 200 Anfragen pro Tag bestätigt, ist ein Klick, keine Kontrolle. Halten Sie Freigabe-Queues kurz, zeigen Sie das Diff statt des Transkripts und eskalieren Sie nur echte Entscheidungen.

Guardrails als Code mit Tests

Eine Policy, die in einem Wiki lebt, ist kein Guardrail. Wir versionieren Policies im Repository neben dem Anwendungscode: maschinenlesbare Regeln, geprüft im Pull Request, ausgeliefert wie jedes andere Artefakt. NVIDIA NeMo Guardrails (Open Source seit April 2023) und das Validator-Framework Guardrails AI unterstützen diesen Stil; eine dünne eigene Schicht über Klassifikator-APIs funktioniert ebenso.

Tests machen die Fehlerrate sichtbar. Wir pflegen drei Suiten: Angriffsfälle, die blockiert werden müssen — aus Prompt-Injection-Korpora und PII-Sonden; gutartige Fälle, die passieren müssen, denn Überblocken ist ebenfalls ein Defekt; und Regressionsfälle aus Produktionsvorfällen. Jede Policy-Änderung durchläuft alle drei in der CI. Sinkt die Blockrate, bricht der Build. Ohne Tests ist eine Guardrail-Änderung eine Vermutung.

Messen Sie auch in Produktion. Loggen Sie jedes Verdikt — Schicht, Regel, Score, Aktion — als strukturiertes Ereignis. Ziehen Sie wöchentlich Stichproben aus blockiertem und durchgelassenem Verkehr und labeln Sie sie manuell; die Differenz zwischen Offline-Testleistung und Produktionsleistung zeigt, wann Ihre Korpora veraltet sind. Testsuiten altern schneller als Code.

Ausblick aus dem Januar 2025

Zwei Tage nach Erscheinen dieses Artikels, am 2. Februar 2025, gelten die ersten Pflichten der EU-KI-Verordnung: verbotene Praktiken und KI-Kompetenz. Verhaltenskodizes für Allzweckmodelle folgen im Laufe des Jahres 2025. Wir erwarten, dass Guardrails von einer optionalen Schicht zu einer auditierten werden — mit ISO/IEC 42001:2023 als umgebendem Managementstandard.

Technisch erwarten wir drei Entwicklungen: kleinere Guard-Modelle, günstig genug, um jede Anfrage lokal zu prüfen; gemeinsame Gefahren-Taxonomien wie die von MLCommons statt herstellerspezifischer Kategorienlisten; und Guardrail-Testsuiten als vertragliche Liefergegenstände — so wie heute Penetrationstests. Eine Vorhersage treffen wir mit Sicherheit: Prompt Injection wird 2025 nicht gelöst. Systeme, die vom Gegenteil ausgehen, sind die, über die man lesen wird.