Das Kontextbudget ist eine harte Grenze, keine weiche
Niemand hat entschieden, zwanzigtausend Token Kontext zu senden. Es hat sich angesammelt: hier ein paar abgerufene Passagen mehr, dort die letzten zehn statt fünf Gesprächsrunden, dazu ein Richtliniendokument, das jemand dabeihaben wollte. Jede Änderung war klein, vertretbar und wurde für sich ausgeliefert.
Wie es sich angesammelt hat
Der Assistent begann mit fünf abgerufenen Passagen und den letzten drei Gesprächsrunden. Neun Monate später schickte er zwölf Passagen, zehn Runden, eine Zusammenfassung des Kundendatensatzes und einen Richtlinienauszug. Hinter jeder dieser Ergänzungen stand ein Ticket und ein Fall, in dem sie geholfen hatte.
Die Qualität auf unserem Referenzset war im selben Zeitraum abgesunken, ohne dass jemand es einer bestimmten Änderung zuordnen konnte — weil keine bestimmte Änderung es verursacht hatte. Die Regression lag in der Anhäufung, und Anhäufung ist für einen Prüfprozess unsichtbar, der eine Änderung nach der anderen betrachtet.
Hineinpassen ist nicht Nutzen
Das Fenster war nie voll. Zwanzigtausend Token gegen ein weit höheres Limit fühlten sich sicher an, und genau dieses Gefühl ist die Falle: Das Limit sagt, was ein Modell annimmt, nicht was es gut verwertet.
Wir hatten Kontextkapazität als Budget mit reichlich Luft behandelt, dabei verhält sie sich eher wie ein Signal-Rausch-Verhältnis. Eine Passage zu ergänzen, die nur verwandt statt nötig ist, kostet nicht nichts — sie kostet einen Anteil der Aufmerksamkeit des Modells, ausgegeben für Material, das nicht helfen kann.
Was die Messung zeigte
Wir haben den Prompt in vier Größen gegen dasselbe Referenzset gebaut: drei Passagen, sechs, neun und zwölf, alles andere unverändert. Sechs war auf unserem Set am besten. Zwölf war messbar schlechter als sechs, und die Fehler bei zwölf waren keine Auslassungen, sondern selbstsichere Antworten, die sich auf eine thematisch benachbarte und sachlich irrelevante Passage stützten.
Das ist der Teil, der Betonung verdient. Das zusätzliche Material war kein Müll. Es war relevant genug, um das Reranking zu überstehen, und falsch genug, um eine Antwort zu erzeugen, die sich gut las und nicht hielt.
Die passende Forschung
Levy und Kollegen veröffentlichten in jenem Monat eine Arbeit, die die Eingabelänge als Variable isoliert: Die Schlussfolgerungsaufgabe bleibt gleich, die Eingabe wird aufgefüllt. Sie berichten, dass die Leistung mit wachsender Eingabe nachlässt, selbst wenn die benötigte Information enthalten und die Aufgabe unverändert ist.
Zweierlei war für uns nützlich. Es trennt Länge von den Positionseffekten, die wir bereits kannten, und es weist die Verschlechterung als Eigenschaft der Länge selbst aus, nicht der Retrieval-Qualität. Unsere eigenen Zahlen passten dazu, und die Arbeit gab uns einen Grund, es zu erwarten, statt eines Zufalls, den man erklären muss.
| Was wir deckeln | Wie |
|---|---|
| Abgerufene Passagen | Sechs, ausgewählt vom Reranker |
| Gesprächsverlauf | Vier Runden, plus ein Entscheidungsspeicher |
| Referenzdokumente | Auszug der einschlägigen Klausel, nicht die Datei |
| Prompt gesamt | Achttausend Token, im Code erzwungen |
Das Budget als Regel
Der Prompt-Bauer erzwingt heute eine harte Token-Obergrenze und wirft eine Ausnahme, wenn ein Aufrufer sie überschreitet. Das klingt schroff und ist bewusst so, denn die Alternative ist das, was wir hatten: eine weiche Empfehlung, die in begründeten Einzelschritten erodiert.
Die Regel, die das trägt, lautet: Etwas hinzufügen heißt, etwas entfernen. Will ein Kollege den Richtlinienauszug im Prompt haben, ist die Frage nicht, ob er hilft, sondern was dafür weicht. Diese Frage ist auf dem Referenzset beantwortbar, und sie macht den Handel ausdrücklich, statt ihn stillschweigend geschehen zu lassen.
Wohin das Entfernte gewandert ist
Das meiste, was wir gestrichen haben, musste gar nicht in den Prompt. Aus dem Gesprächsverlauf wurde ein kleiner typisierter Speicher der Entscheidungen, die der Assistent getroffen hat — ein paar hundert Token statt mehrerer tausend, und verlässlicher, als das Modell noch einmal lesen zu lassen, was es gesagt hat.
Aus dem Richtliniendokument wurde ein Nachschlagen. Statt den Auszug jedes Mal mitzuschicken, ruft der Assistent eine Funktion auf, wenn eine Richtlinienfrage auftaucht. Das kostet einen Umlauf bei dem kleinen Anteil der Gespräche, die ihn brauchen, statt Aufmerksamkeit bei allen.
Was wir heute beobachten
Die durchschnittliche Prompt-Größe steht auf demselben Dashboard wie Latenz und Kosten, und ein anhaltender Anstieg gilt als Defekt, nicht als Wachstum. Es ist die einzige Kennzahl, die diese Art Regression fängt, denn keine der Qualitätskennzahlen bewegt sich bei einer einzelnen Änderung weit genug, um etwas auszulösen.
Wir wiederholen außerdem den Größendurchlauf nach jedem Modellwechsel. Das Optimum ist ebenso eine Eigenschaft des Modells wie unserer Daten, und anzunehmen, die Zahl vom letzten Quartal gelte weiter, ist der Weg, auf dem ein Budget still falsch wird.
Was wir nicht behaupten
Wir behaupten nicht, sechs Passagen oder achttausend Token seien für andere richtig. Sie sind gegen unseren Bestand, unsere Fragen und das damals genutzte Modell gemessen, und übertragbar ist allein die Methode des Messens, nicht die Zahlen.
Wir behaupten auch nicht, langer Kontext sei nutzlos. Er ist es erkennbar nicht, und es gibt Aufgaben, bei denen das ganze Dokument wirklich ins Fenster gehört. Unser Punkt ist enger: Länge ist eine Ausgabe, die bewusst getätigt werden muss, kein Freibetrag, den man ausschöpft.