Start KI-Lösungen Fertige Lösungen Peers & Simulation RAG & Retrieval Use Cases Frameworks Blog English Kontakt
Zurück zum Blog

Was der Assistent sich merkt, kann jeder hineinschreiben

Ein Gedächtnis über Sitzungen hinweg ist die am häufigsten gewünschte Funktion, die wir kennen. Es ist auch die einzige ausgelieferte Funktion, mit der ein Nutzer verändern kann, was einem anderen gesagt wird — und diese Eigenschaft war niemandem im Raum bewusst, als wir zusagten, sie zu bauen.

Warum ein Gedächtnis gewünscht wird

Weil es lästig ist, sich zu wiederholen. Wer dreimal gesagt hat, dass er an der älteren Anlagenvariante arbeitet, erwartet berechtigterweise, dass der Assistent das weiß — und ein Assistent, der sich erinnert, ist spürbar angenehmer.

Die Umsetzung ist einfach: dauerhafte Fakten aus einem Gespräch ziehen, speichern und die einschlägigen beim nächsten Mal mitgeben. Zwei Tage Arbeit für eine Fassung, die sich gut vorführen lässt — ungefähr dort waren wir, als jemand fragte, für wen diese Fakten sonst gelten.

Inputnicht vertrauenswürdig Guardrailsrichtlinien · pii Agentleast privilege FreigabemenschAktiongetraced
Nicht vertrauenswürdige Eingabe — Daten, keine Instruktionen. 1/4

Die Eigenschaft, die niemand benennt

Jede andere Funktion, die wir ausliefern, ist aus Nutzersicht lesend. Man fragt, das System antwortet aus Dokumenten, die man sehen darf, und nichts davon ändert, was anderen gesagt wird. Ein Gedächtnis durchbricht das, denn ein aus einem Gespräch gezogener Fakt wird zur Eingabe eines anderen.

In einem geteilten oder teamweiten Speicher kann jemand etwas selbstsicher behaupten, es als dauerhaften Fakt ablegen lassen und damit die Antworten anderer verändern. Absicht braucht es dafür nicht. Wir nutzen immer die manuelle Übersteuerung genügt, wenn der Extraktionsschritt es glaubt.

Die Forschung, die es greifbar macht

Dong und Kollegen veröffentlichten Anfang 2025 eine Arbeit zu Memory-Injection gegen Agenten über reine Anfrageinteraktion und zeigen, dass ein Angreifer, der nur gewöhnliche Anfragen senden kann, schädliche Inhalte in den Speicher eines Agenten schreiben und dessen späteres Verhalten beeinflussen kann.

Reine Anfrage ist der entscheidende Teil. Kein privilegierter Zugang, keine kompromittierte Komponente und nichts, was in einem Protokoll wie ein Angriff aussieht. Der Mechanismus ist die Funktion, wie entworfen — deshalb findet ihn ein Bedrohungsmodell, das Komponenten auflistet, nicht.

Reichweite des SpeichersWer wen beeinflusst
Je NutzerNiemand außer sich selbst. Unsere Voreinstellung
Je TeamJedes Mitglied beeinflusst das Team. Prüfpflichtig
Je MandantJeder beeinflusst alle. Machen wir nicht
Aus Dokumenten abgeleitet, nicht aus GesprächenNiemand. Das ist kein Gedächtnis

Was wir ausliefern

Standardmäßig ein Speicher je Nutzer, was die Eigenschaft über Nutzergrenzen hinweg vollständig beseitigt und den größten Teil des Nutzens erhält — denn die gelöste Lästigkeit ist, dass jemand sich wiederholt, nicht dass ein Team Kontext teilt.

Teamweiter Speicher existiert für zwei Kunden, die ihn wollten und den Handel verstanden haben. Er speichert nur Fakten, die eine benannte Person bestätigt hat — damit wird aus etwas, das das System erschließt, etwas, das jemand behauptet, mit seinem Namen daran.

Was nie hineinkommt

Alles, was sich wie eine Regel oder Anweisung liest. Vorlieben zu Format, Anlagenvariante, Sprache, Rolle werden gespeichert. Sätze wie genehmige Aufträge unter fünfhundert Euro immer nicht, gleich von wem — denn das ist eine Richtlinie, und Richtlinien gelangen nicht über ein Chatfenster ins System.

Der Extraktionsschritt ist genau deshalb auf ein typisiertes Schema mit festen Feldern beschränkt. Ein freier Speicher, der ablegt, was wichtig schien, ist die Fassung dieser Funktion, die den in der Forschung beschriebenen Fehler erzeugt.

Was der Nutzer sieht

Alles. Es gibt eine Seite mit allem, was der Assistent über ihn gespeichert hat, je Eintrag mit Datum und dem Gespräch, aus dem er stammt, und einer Löschmöglichkeit in jeder Zeile. Das ist teils eine Datenschutzanforderung und vor allem die einzige Art, wie jemand ein falsches Gedächtnis bemerkt.

Etwa jeder zwanzigste Eintrag wird von Nutzern gelöscht, und die Löschungen häufen sich in der ersten Woche nach Beginn der Nutzung — was nahelegt, dass frühe Gespräche die unzuverlässigsten Schlüsse erzeugen. Wir gewichten seitdem die Aktualität bei dem, was gespeichert wird.

Was die saubere Umsetzung gekostet hat

Aus der Zwei-Tage-Funktion wurden zwei Wochen. Die Zusatzzeit floss in das Schema, die Übersichtsseite, den Löschweg und eine Regel: Ein Gedächtnis übersteuert nie ein Dokument. Widerspricht eine gespeicherte Vorliebe der Quelle, gewinnt die Quelle, und die Antwort nennt, welche Vorliebe übergangen wurde.

Diese letzte Regel würden wir behalten, wenn wir nur eine behalten dürften. Sie begrenzt den Schaden eines falschen Gedächtnisses auf eine falsche Vorliebe statt auf einen falschen Fakt — der schlimmste Fall ist damit eine Antwort im falschen Format statt einer unwahren Antwort.

Was wir nicht behaupten

Wir behaupten nicht, ein Speicher je Nutzer sei vor dem Nutzer selbst sicher. Man kann den eigenen Assistenten in die Irre führen; das ist ein Supportproblem und kein Sicherheitsproblem, und die Übersichtsseite ist das Mittel dagegen.

Wir behaupten auch nicht, unsere Feldliste sei vollständig. Sie deckt die Vorlieben ab, die sich als wichtig erwiesen haben, sie wird eine übersehen — und die Entwurfsannahme ist, dass ein fehlendes Feld ein etwas schlechteres Erlebnis erzeugt und keine Öffnung. Genau diese Eigenschaft haben wir eingekauft.

Quellen