07.09.2024 AI Engineering5 Minuten Lesezeit

Agentengedächtnis jenseits des Kontextfensters

Kontextfenster liefern Arbeitsgedächtnis, aber keine dauerhafte Erinnerung. Wir unterscheiden beide Konzepte, prüfen die drei 2024 produktiv eingesetzten Mechanismen — Gesprächszusammenfassungen, Vektorgedächtnis und strukturierten Zustand — und zeigen ihre Fehlermodi. Außerdem erklären wir, warum gezieltes Vergessen die Korrektheit erhöht und welche Grenzen die DSGVO persistentem Agentengedächtnis setzt.

Ein Kontextfenster ist kein Gedächtnis

Ein LLM ist zustandslos. Jeder API-Aufruf beginnt bei null. Was in einer Chat-Oberfläche wie Gedächtnis aussieht, ist Wiederholung: Der Client sendet die bisherigen Gesprächszüge mit jeder Anfrage erneut. Das Kontextfenster — 128.000 Token bei GPT-4o, 200.000 bei Claude 3.5 Sonnet, seit dem 27. Juni 2024 bis zu 2 Millionen bei Gemini 1.5 Pro — ist bestenfalls Arbeitsgedächtnis. Nach dem Aufruf ist es leer.

Für Agenten ist diese Unterscheidung eine Architekturfrage. Wer über Wochen, Sitzungen und Aufgaben hinweg arbeitet, sammelt mehr Historie an, als jedes Fenster fasst — und muss einzelne Fakten zu unvorhersehbaren Zeitpunkten wiederfinden. Gedächtnis entsteht deshalb außerhalb des Modells: Das System muss entscheiden, was es speichert, wie es darauf zugreift und wann es löscht. Drei Mechanismen sind dafür 2024 produktiv im Einsatz.

Eine Aufgabe kommt an — der Agent plant den nächsten Schritt. 1/4

Warum größere Fenster nicht genügen

Drei Argumente gegen „einfach ein größeres Fenster". Erstens die Kosten: Eingabe-Token werden bei jedem Aufruf erneut berechnet; eine vollständig mitgesendete Historie macht jeden Gesprächszug teurer als den vorherigen. Zweitens die Latenz: Die Prefill-Zeit wächst mit der Promptlänge. Drittens die Abrufqualität: Liu et al. zeigten im Juli 2023 („Lost in the Middle", arXiv 2307.03172), dass Modelle Informationen aus der Mitte langer Kontexte deutlich schlechter nutzen als vom Anfang oder Ende.

Selbst ein perfektes Fenster würde nichts persistieren. Das Fenster ist ein Argument eines Funktionsaufrufs, kein Speicher. Endet die Sitzung, ist sein Inhalt weg. Persistenz braucht einen Schreibpfad, einen Abrufpfad und einen Löschpfad — das sind Fragen des Systementwurfs, nicht des Modells.

Gesprächszusammenfassungen

Der älteste Mechanismus ist die rollierende Zusammenfassung. Nähert sich das Transkript dem Token-Budget, komprimiert das Modell ältere Gesprächszüge zu einer Zusammenfassung; sie ersetzt diese Züge im Prompt. LangChain liefert das als ConversationSummaryMemory aus; die meisten Agenten-Frameworks haben ein Äquivalent. Die Kosten bleiben begrenzt. Der Prompt bleibt kurz.

Zusammenfassungen verlieren zwangsläufig Informationen, ohne den Verlust kontrollieren zu können. Das Modell entscheidet bei der Kompression, was erhalten bleibt — und kennt die Frage der nächsten Woche noch nicht. Präzise Angaben wie eine Bestellnummer oder eine einmal erwähnte Versionsvorgabe verschwinden deshalb zuerst. Zusammenfassungen bewahren Tenor und Thema, aber Fakten nur unzuverlässig. Als System of Record taugen sie nicht.

Vektorbasierte Erinnerungen

Vektorgedächtnis wendet Retrieval-Augmented Generation auf die eigene Historie des Agenten an. Gesprächszüge oder extrahierte Aussagen werden eingebettet und in einen Vektorindex geschrieben; zur Anfragezeit werden die k ähnlichsten Einträge in den Prompt injiziert. Der Speicher skaliert auf Jahre von Historie. Die Abrufkosten bleiben konstant, egal wie viel sich angesammelt hat.

Die Grenzen sind die Grenzen der Embedding-Ähnlichkeit. Semantische Nähe ist nicht Relevanz: „Kunde hat den Vertrag gekündigt" und „Kunde hat den Vertrag verlängert" liegen im Embedding-Raum dicht beieinander. Zeit wird nicht modelliert: Eine Präferenz vom Januar und ihre Revision vom Juni treffen dieselbe Anfrage, und der Index weiß nicht, welche aktuell ist. Vektorgedächtnis ruft ab. Es schlussfolgert nicht.

Strukturierter Zustand

Der dritte Mechanismus speichert Fakten als expliziten, typisierten Zustand: ein Profil, eine Aufgabenliste, Schlüssel-Wert-Paare, die der Agent über Tool-Aufrufe liest und schreibt. MemGPT (Packer et al., Oktober 2023) hat das mit einer Betriebssystem-Analogie formalisiert: ein kleines Kerngedächtnis fest im Kontext, größere Speicher werden bei Bedarf eingelagert, und das LLM setzt die Speicheroperationen selbst per Funktionsaufruf ab.

Produkte folgten. OpenAI kündigte Memory für ChatGPT am 13. Februar 2024 an und stellte es am 5. September 2024 Free-, Plus-, Team- und Enterprise-Nutzern bereit — als sichtbare, editierbare, löschbare Einträge. Diese Sichtbarkeit ist der Punkt: Strukturierter Zustand ist auditierbar. Der Preis sind Schemaentwurf im Voraus und Extraktionslogik, die entscheidet, was zum Fakt wird.

Mechanismus	Schreibpfad	Lesepfad	Schwäche
Zusammenfassung	Modell komprimiert ältere Züge	Zusammenfassung in jedem Prompt	Details werden später gebraucht
Vektorgedächtnis	Aussagen einbetten und speichern	Top-k-Ähnlichkeitssuche zur Laufzeit	Aktualität oder Negation entscheidet
Strukturierter Zustand	Extraktion in ein festes Schema	Direkter Zugriff oder im Kontext fixiert	Fakten passen nicht ins Schema

Vergessen als Funktion

Ein Gedächtnis, das nur wächst, degradiert. Veraltete Fakten verdrängen aktuelle, die Abrufpräzision sinkt, Widersprüche sammeln sich an. Park et al. zeigten im April 2023 die Alternative: Der Memory Stream der „Generative Agents" bewertet jeden Eintrag nach Aktualität, Wichtigkeit und Relevanz, wobei die Aktualität exponentiell abfällt. Vergessen war in diesem Entwurf tragend, kein Nachgedanke.

Praktisch heißt das: Time-to-live auf episodischen Einträgen, Decay-Scores, die nie Abgerufenes herabstufen, und Supersede-on-Write-Regeln, damit ein neuer Fakt seinen Vorgänger ersetzt, statt neben ihm zu existieren. Ein Agent, der sich an einen verworfenen Plan erinnert, handelt weiter danach. Löschen ist hier kein Datenverlust. Es ist Zustandshygiene.

Datenschutz als Systemgrenze

Persistentes Gedächtnis macht einen Agenten zum Speicher personenbezogener Daten, und das hat in der EU definierte Konsequenzen. Gespeicherte Nutzerfakten sind personenbezogene Daten im Sinne der DSGVO: Artikel 15 gewährt Auskunft, Artikel 17 Löschung. „Löschen Sie meine Daten" muss Zusammenfassungen, Vektoreinträge und strukturierten Zustand gleichermaßen erreichen — auch abgeleitete Fakten, die der Nutzer nie wörtlich geschrieben hat.

Daraus folgt die Architektur. Gedächtnis muss pro Nutzer und pro Zweck partitioniert sein, darf nie mandantenübergreifend geteilt werden und muss per Schlüssel löschbar sein. Ein Gedächtnis, das Nutzer nicht einsehen können, sollte nicht existieren. Wir behandeln einsehbares und löschbares Gedächtnis in Enterprise-Agenten als harte Anforderung, nicht als Feature. OpenAIs Memory-Kontrollen und temporäre Chats weisen in dieselbe Richtung.

Ausblick im September 2024

Wir erwarten, dass die drei Mechanismen zu verwalteten Gedächtnisschichten konvergieren: hierarchische Speicher, in denen Zusammenfassungen, Vektoren und strukturierte Fakten Stufen eines Systems sind, während Paging-Logik im Stil von MemGPT in Frameworks und Plattform-APIs wandert. Modellanbieter werden Gedächtnis als API-Primitiv anbieten, nicht nur als Produktfunktion ihrer Chat-Frontends.

Für die nächsten zwölf Monate leiten wir daraus zwei Vorhersagen ab. Erstens wird Gedächtnisqualität neben Schlussfolgern zu einer eigenen Benchmark-Kategorie; heute wird sie kaum gemessen. Zweitens wird gezieltes Vergessen zu einem Compliance-Merkmal, nach dem Enterprise-Käufer ausdrücklich fragen. Größere Kontextfenster machen keinen dieser Mechanismen überflüssig: Das Fenster ist der Ort, an dem ein Agent denkt. Das Gedächtnis bestimmt, was davon bleibt.