05.02.2025 AI Engineering5 Minuten Lesezeit

Guardrails-Engineering für LLM-Systeme

Guardrails für LLM-Systeme sind Anfang 2025 eine mehrschichtige Ingenieursaufgabe: PII-Redaktion mit Presidio, Output-Filterung mit Llama Guard 3 und Moderations-APIs, menschliche Freigaben für irreversible Aktionen sowie versionierte Policies mit Angriffs-, Gutfall- und Regressionstests in der CI. Entscheidend sind messbare Fehlerraten und klar benannte Grenzen jeder Schicht.

Warum Guardrails eine Ingenieursdisziplin sind

Ein System-Prompt ist keine Sicherheitskontrolle, sondern lediglich eine Anweisung an ein probabilistisches Modell. Im Februar 2024 verurteilte das kanadische Civil Resolution Tribunal Air Canada zu Schadensersatz, weil der Support-Chatbot einen Trauerfall-Rabatt erfunden hatte. Das Argument der Airline, der Chatbot sei "eine eigene juristische Person", scheiterte; sie zahlte 812,02 kanadische Dollar an Schadensersatz und Gebühren. Die allgemeine Lehre ist nüchtern: Für Ausgaben unter Ihrer Domain tragen Sie die Verantwortung.

Die im November 2024 überarbeiteten OWASP Top 10 für LLM-Anwendungen führen Prompt Injection (LLM01:2025) und die Offenlegung sensibler Informationen (LLM02:2025) auf den Plätzen eins und zwei. Für beides gibt es heute keine Lösung auf Modellebene; Einschränkungen im System-Prompt "werden nicht immer befolgt", so OWASP selbst. Guardrails-Engineering behandelt das als Systemproblem: deterministische Kontrollen um eine probabilistische Komponente. Dieser Artikel beschreibt die Muster — mitsamt ihren Grenzen.

Nicht vertrauenswürdige Eingabe — Daten, keine Instruktionen. 1/4

Mehrschichtige Policies statt eines großen Filters

Kein einzelner Filter genügt. Ein Moderationsklassifikator erkennt keine personenbezogenen Daten. Ein regulärer Ausdruck versteht keine Paraphrase. Ein menschlicher Prüfer skaliert nicht auf jede Anfrage. Ein mehrschichtiger Ansatz trägt diesen bekannten Fehlerraten Rechnung und ordnet die Kontrollen so an, dass sich ihre Lücken nicht überdecken. Fünf Schichten decken die meisten Systeme ab, die wir bauen:

Damit Schichtung wirkt, gelten zwei Regeln. Erstens schlägt jede Schicht geschlossen fehl (fail closed): Ist der PII-Dienst nicht erreichbar, stoppt die Anfrage, statt nur eine Warnung zu erzeugen. Zweitens bleiben die Schichten unabhängig; der Output-Filter übernimmt das Urteil des Input-Filters nicht ungeprüft. Dieses Design beseitigt das Risiko nicht, zerlegt eine offene Fehlerfläche aber in wenige mess- und testbare Fehlerraten.

Schicht	Zweck	Typischer Mechanismus	Bekannte Grenze
Eingabe-Policy	Unzulässige Anfragen vor der Inferenz abweisen	Moderationsklassifikator auf dem Prompt	Übersieht neue Formulierungen und indirekte Injection
PII-Grenze	Personenbezogene Daten in beide Richtungen pseudonymisieren	Mustererkennung plus NER (z. B. Presidio)	Recall unter 100 % bei Freitext
Output-Filter	Generierte Inhalte gegen die Policy prüfen	Safety-Klassifikator plus deterministische Regeln	Blind für faktische Fehler
Aktions-Gate	Folgenreiche Tool-Aufrufe anhalten	Allowlists und Freigabe-Queues	Ermüdung der Freigebenden
Audit-Trail	Jede Entscheidung nachvollziehbar machen	Strukturierte Logs aller Verdikte	Erkennt nur im Nachhinein

PII-Redaktion an der Vertrauensgrenze

Personenbezogene Daten sollten pseudonymisiert werden, bevor sie die Vertrauensgrenze zu einer Modell-API überqueren, und erst innerhalb der vertrauenswürdigen Zone re-identifiziert werden. Microsoft Presidio, seit 2019 Open Source, ist eine solide Basis: Mustererkennung für strukturierte Identifikatoren wie IBANs, Kreditkarten- und Telefonnummern, NER-Modelle für Namen und Adressen sowie eigene Recognizer für Fachidentifikatoren wie Versicherungs- oder Patientennummern.

Bleiben Sie bei der Erkennungsrate ehrlich. Kein Detektor findet jeden Identifikator im Freitext; deutsche Komposita und kontextuelle Identifizierung — "der Patient aus der Hamburger Filiale mit der seltenen Diagnose" — laufen an Mustererkennung vollständig vorbei. Redaktion reduziert die Exposition. Sie erzeugt für sich genommen keine anonymen Daten im Sinne der DSGVO; behandeln Sie redigierten Text als pseudonymisiert, halten Sie die Zuordnungstabelle aus den Logs heraus und protokollieren Sie, was ersetzt wurde.

Output-Filterung mit Klassifikatoren

Die Antwort des Modells zu filtern ist eine andere Aufgabe, als die Frage des Nutzers zu filtern — und braucht eine eigene Schicht. Zwei Veröffentlichungen definierten die Basis des Jahres 2024. Metas Llama Guard 3 (Juli 2024), ein aus Llama 3.1 feinjustierter 8B-Klassifikator, bewertet Prompts und Antworten gegen 14 Gefahrenkategorien entlang der MLCommons-Taxonomie; eine 1B-Variante (September 2024) läuft auf bescheidener Hardware. OpenAIs omni-moderation-Modell (September 2024) klassifiziert Text und Bilder in 13 Kategorien mit kalibrierten Wahrscheinlichkeiten — kostenfrei.

Ihre Reichweite muss klar begrenzt bleiben. Diese Klassifikatoren erkennen Policy-Verstöße wie Hass- oder Selbstverletzungsinhalte, aber weder faktische Fehler noch erfundene Preise oder subtil falsche Fachberatung. Dafür sind deterministische Prüfungen nötig: Schema-Validierung strukturierter Ausgaben, URL-Allowlists und Faktenabgleich mit Quelldokumenten. Lässt ein Safety-Klassifikator einen halluzinierten Rabatt passieren, hat er nicht versagt, sondern exakt seinen engeren Auftrag erfüllt.

Menschliche Freigabe für folgenreiche Aktionen

Agentische Systeme machen aus Textgenerierung Handlung: Mails versenden, Datensätze ändern, Erstattungen auslösen. Wir klassifizieren jedes Tool nach Reversibilität und Wirkungsradius. Rein lesende Tools laufen frei. Reversible Schreibzugriffe laufen mit strukturiertem Logging. Irreversible oder nach außen sichtbare Aktionen — Zahlungen, Löschungen, ausgehende Kommunikation — erfordern eine explizite menschliche Freigabe vor der Ausführung, nicht danach.

Die Regulierung zeigt in dieselbe Richtung. Artikel 14 der EU-KI-Verordnung (Verordnung 2024/1689, in Kraft seit dem 1. August 2024) verlangt wirksame menschliche Aufsicht für Hochrisikosysteme. Gestalten Sie Freigaben gegen Ermüdung: Wer 200 Anfragen pro Tag bestätigt, ist ein Klick, keine Kontrolle. Halten Sie Freigabe-Queues kurz, zeigen Sie das Diff statt des Transkripts und eskalieren Sie nur echte Entscheidungen.

Guardrails als Code mit Tests

Eine Policy, die in einem Wiki lebt, ist kein Guardrail. Wir versionieren Policies im Repository neben dem Anwendungscode: maschinenlesbare Regeln, geprüft im Pull Request, ausgeliefert wie jedes andere Artefakt. NVIDIA NeMo Guardrails (Open Source seit April 2023) und das Validator-Framework Guardrails AI unterstützen diesen Stil; eine dünne eigene Schicht über Klassifikator-APIs funktioniert ebenso.

Erst Tests machen die Fehlerraten sichtbar. Wir pflegen drei Suiten: Angriffsfälle aus Prompt-Injection-Korpora und PII-Sonden, die blockiert werden müssen; gutartige Fälle, die passieren müssen, weil Überblocken ebenfalls ein Defekt ist; und Regressionsfälle aus realen Produktionsvorfällen. Jede Policy-Änderung durchläuft alle drei Suiten in der CI, und eine sinkende Blockrate lässt den Build scheitern. Ohne diesen Nachweis bleibt jede Guardrail-Änderung eine Vermutung.

Messen Sie auch in Produktion. Loggen Sie jedes Verdikt — Schicht, Regel, Score, Aktion — als strukturiertes Ereignis. Ziehen Sie wöchentlich Stichproben aus blockiertem und durchgelassenem Verkehr und labeln Sie sie manuell; die Differenz zwischen Offline-Testleistung und Produktionsleistung zeigt, wann Ihre Korpora veraltet sind. Testsuiten altern schneller als Code.

Ausblick aus dem Januar 2025

Zwei Tage nach Erscheinen dieses Artikels, am 2. Februar 2025, gelten die ersten Pflichten der EU-KI-Verordnung: verbotene Praktiken und KI-Kompetenz. Verhaltenskodizes für Allzweckmodelle folgen im Laufe des Jahres 2025. Wir erwarten, dass Guardrails von einer optionalen Schicht zu einer auditierten werden — mit ISO/IEC 42001:2023 als umgebendem Managementstandard.

Technisch erwarten wir drei Entwicklungen: kleinere Guard-Modelle, die jede Anfrage günstig lokal prüfen; gemeinsame Gefahren-Taxonomien wie MLCommons statt herstellerspezifischer Kategorienlisten; und Guardrail-Testsuiten als vertragliche Liefergegenstände, vergleichbar mit heutigen Penetrationstests. Eine Prognose halten wir für besonders belastbar: Prompt Injection wird 2025 nicht gelöst. Systeme müssen deshalb mit der Schwachstelle arbeiten, statt auf ihr Verschwinden zu bauen.