Alignment ist keine Sicherheitsgrenze
Ein Kunde wollte die Ablehnung des Modells als Schutz einsetzen: Der Agent durfte jede interne API aufrufen, der System-Prompt sollte ihn im Zaum halten. Wir haben abgelehnt. Zou et al. lieferten wenige Tage später die Begründung.
Die Anfrage, die wir abgelehnt haben
Der vorgeschlagene Entwurf war einfach und auf den ersten Blick elegant. Ein Agent, Zugriff auf sämtliche internen Endpunkte, und ein System-Prompt, der beschreibt, welche Operationen für welche Rolle erlaubt sind. Keine eigene Autorisierungsschicht, weil das Modell alles außerhalb seines Auftrags ablehnen würde.
Wir haben den Bau abgelehnt. Nicht weil wir einen konkreten Angriff in der Hand hatten, sondern weil der Entwurf eine probabilistische Komponente an eine Stelle setzt, an die eine deterministische gehört. Ablehnung ist ein Verhalten. Eine Zugriffsregel ist eine Zusage. Das eine ersetzt das andere nicht.
Warum das Argument leichter zu führen wurde
Kurz darauf veröffentlichten Zou und Kollegen ein Verfahren, das solche gegnerischen Suffixe automatisch findet — über Greedy- und gradientenbasierte Suche statt über menschlichen Einfallsreichtum. Hängt man das Suffix an eine Anfrage, steigt die Wahrscheinlichkeit deutlich, dass ein ausgerichtetes Modell zustimmt statt abzulehnen.
Entscheidend für unser Argument war die Übertragbarkeit. Die Suffixe wurden gegen offene Modelle trainiert und lösten das Verhalten trotzdem über die öffentlichen Schnittstellen mehrerer kommerzieller Systeme aus. Damit wird aus Jailbreaking ein Verfahren — und Verfahren skalieren.
Was wir stattdessen bauen
Jede folgenreiche Aktion eines Agenten läuft durch eine Rechteprüfung, die das Modell nicht beeinflussen kann. Der Agent schlägt vor, eine getrennte Komponente entscheidet. Sie bekommt Identität, Operation und Ziel und antwortet mit ja oder nein, ohne den Prompt je zu sehen.
Diese Komponente ist bewusst langweilig. Es ist dieselbe Prüfung, die die Anwendung bräuchte, wenn ein Mensch sie über ein Formular bedient. Der Agent bekommt keine weiteren Rechte, nur weil er ein Agent ist.
Wo das Modell trotzdem hilft
Nichts davon macht Alignment wertlos. Ein Modell, das offensichtlich schädliche Anfragen ablehnt, nimmt viel Rauschen aus dem System, und gutes Ablehnungsverhalten macht ein Produkt angenehm statt abweisend.
Wir unterscheiden zwischen Filter und Grenze. Ein Filter senkt die Häufigkeit, mit der etwas Unerwünschtes die nächste Stufe erreicht. Eine Grenze bestimmt, was überhaupt möglich ist. Alignment ist ein guter Filter. Es ist keine Grenze, und genau dort entsteht das Risiko, wo man es als eine behandelt.
Wie das im Design-Review aussieht
Wir stellen jedem Agentenentwurf eine Frage: Was könnte er erreichen, wenn das Modell vollständig mit einem Angreifer kooperiert? Steht in der Antwort etwas Unumkehrbares, ist der Entwurf nicht fertig. Datensätze löschen, Geld bewegen, externe Mail versenden und Rechte ändern liegen bei uns hinter einer deterministischen Regel oder einer menschlichen Freigabe.
Aus demselben Grund halten wir Werkzeugkästen klein. Ein Werkzeug, das der Agent nicht hat, ist die günstigste Kontrolle überhaupt — und sie lässt sich nicht wegargumentieren.
Was wir nicht behaupten
Wir behaupten nicht, dass ein System dadurch sicher wird. Prompt Injection über abgerufene Inhalte ist ungelöst, und eine Autorisierungsschicht begrenzt nur den Schadensradius; sie verhindert nicht, dass ein Agent zu einer erlaubten, aber unerwünschten Aktion überredet wird.
Wir betrachten auch den konkreten Angriff nicht als den Punkt. Einzelne Suffixe werden gepatcht. Nicht gepatcht wird die zugrunde liegende Eigenschaft: Modellverhalten ist über Eingaben steuerbar, und Eingaben gehören nicht immer uns.
| Annahme im Entwurf | Wie wir damit umgehen |
|---|---|
| Das Modell lehnt Missbrauch ab | Filter, keine Kontrolle. Nie tragend |
| Der System-Prompt ist vertraulich | Wir nehmen an, er ist lesbar |
| Nur unser Text erreicht das Modell | Wir nehmen an, abgerufene Inhalte sind fremdgesteuert |
| Alignment wird jedes Release besser | Wahrscheinlich, aber keine Planungsgrundlage |
Was es kostet
Eine externe Autorisierungsschicht sind ein paar hundert Zeilen und ein Aufruf je Werkzeugnutzung. Gegenüber dem Aufwand für den Agenten selbst ist das vernachlässigbar. Teuer ist der organisatorische Teil: Jemand muss aufschreiben, welche Rolle was darf — eine Arbeit, die viele Systeme seit Jahren stillschweigend umgehen.
Nach unserer Erfahrung lohnt sich diese Aufschreibung ohnehin. Der Agent macht das Versäumnis nur sichtbar.