Lost in the Middle: Wie Sprachmodelle lange Kontexte wirklich nutzen
Ein längeres Kontextfenster ist nicht dasselbe wie ein nutzbares Kontextfenster. Nelson F. Liu und Kollegen messen im Juli 2023, an welcher Stelle im Kontext Modelle Information tatsächlich finden — und die Antwort verändert, wie man Retrieval baut.
Die Frage, die vorher niemand gestellt hat
Im Sommer 2023 überbieten sich Anbieter mit Kontextlängen. Erst 8.000 Token, dann 32.000, dann 100.000. Die implizite Annahme dahinter lautet: Was ins Fenster passt, kann das Modell auch verwenden. Genau diese Annahme prüft das Paper „Lost in the Middle: How Language Models Use Long Contexts" nach — und findet sie nicht bestätigt.
Der Aufbau ist bewusst schlicht. Die Autoren untersuchen zwei Aufgaben, bei denen das Modell relevante Information im Eingabekontext identifizieren muss: Multi-Dokument-Fragebeantwortung und Key-Value-Retrieval. In beiden Fällen ist bekannt, wo die richtige Antwort steht. Damit lässt sich eine Variable isolieren, die vorher kaum jemand systematisch bewegt hatte: die Position der relevanten Stelle.
Der Befund: eine U-Kurve
Verschiebt man die relevante Passage durch den Kontext, bleibt die Leistung nicht konstant. Sie ist am höchsten, wenn die Information am Anfang oder am Ende der Eingabe steht, und fällt deutlich ab, wenn das Modell auf etwas in der Mitte zugreifen muss. Die Kurve über die Position sieht aus wie ein U.
Wer aus der Kognitionspsychologie kommt, erkennt das Muster: Primacy- und Recency-Effekt, also die bessere Erinnerung an Anfang und Ende einer Liste. Ob die Ursache bei Sprachmodellen dieselbe ist, sagt das Paper nicht — und wir behaupten es auch nicht. Interessant ist der messbare Effekt, nicht die Analogie.
Auch Long-Context-Modelle betrifft es
Der für die Praxis wichtigste Satz des Papers ist eine Einschränkung: Der Abfall in der Mitte zeigt sich ausdrücklich auch bei Modellen, die für lange Kontexte gebaut wurden. Ein größeres Fenster löst das Problem also nicht automatisch. Es verschiebt nur die Grenze, ab der es auftritt.
Das ist ein unbequemer Befund für eine verbreitete Produktentscheidung. „Wir werfen einfach alle Dokumente in den Prompt" ist mit einem 100k-Fenster technisch möglich. Ob das Modell die entscheidende Zeile in Position 400 von 800 dann noch verwendet, ist eine andere Frage — und das Paper legt nahe, dass die Antwort häufiger Nein lautet, als die Fenstergröße vermuten lässt.
Was das für Retrieval bedeutet
Für uns hat der Befund drei konkrete Konsequenzen beim Bau von Retrieval-Systemen. Erstens: Reranking ist kein Luxus. Wenn Position die Trefferwahrscheinlichkeit beeinflusst, entscheidet die Reihenfolge der übergebenen Passagen mit über die Antwortqualität — nicht nur ihre Auswahl.
Zweitens: Weniger Kontext kann besser sein. Zehn präzise Passagen schlagen fünfzig mittelmäßige, wenn die relevante darunter auf Position 30 landet. Drittens: Die Prompt-Reihenfolge gehört in die Evaluation. Wer nur misst, ob die richtige Passage abgerufen wurde, misst die halbe Wahrheit.
Die Evaluationsprotokolle
Das Paper liefert nicht nur einen Befund, sondern auch Protokolle, mit denen sich Long-Context-Modelle künftig prüfen lassen. Der Kern ist die kontrollierte Positionsvariation: gleiche Aufgabe, gleiche Dokumente, nur die Position der Antwort wandert. Alles, was danach an Leistungsunterschied bleibt, ist Positionseffekt.
Dieses Muster hat sich als Testform durchgesetzt. Wer heute „Needle in a Haystack"-Auswertungen sieht, sieht eine direkte Weiterentwicklung dieser Idee. Wichtig bleibt die Einschränkung, die schon hier angelegt ist: Ein einzelner Fakt an einer Stelle ist die leichteste Variante der Aufgabe. Sobald mehrere verstreute Fakten kombiniert werden müssen, wird es härter.
Was das Paper nicht sagt
| Behauptung | Vom Paper gedeckt? |
|---|---|
| Lange Kontexte sind nutzlos | Nein — gemessen wird ein Positionseffekt, kein Totalausfall |
| RAG ist dadurch überflüssig | Nein — eher das Gegenteil: Auswahl und Reihenfolge gewinnen an Gewicht |
| Der Effekt verschwindet bei Long-Context-Modellen | Nein — er tritt dort ausdrücklich ebenfalls auf |
| Die Ursache ist geklärt | Nein — das Paper misst das Verhalten, es erklärt es nicht abschließend |
Warum der Befund 2023 so eingeschlagen ist
Der Zeitpunkt erklärt viel. Im Juli 2023 argumentierten viele Teams, Retrieval sei eine Übergangstechnik, die sich mit wachsenden Fenstern von selbst erledige. Das Paper liefert die erste saubere Messung gegen diese These — nicht als Meinung, sondern als kontrollierbares Experiment mit reproduzierbarem Protokoll.
Genau deshalb wird es bis heute zitiert, wenn Architekturentscheidungen begründet werden müssen. Es beendet die Diskussion nicht, aber es verschiebt die Beweislast: Wer alles in den Kontext kippen will, muss zeigen, dass das Modell die Mitte tatsächlich nutzt.
Unsere Praxis
Wir bauen Retrieval seither mit einer festen Annahme: Position ist ein Qualitätsparameter, kein Implementierungsdetail. Konkret heißt das Cross-Encoder-Reranking vor der Übergabe, eine bewusst niedrige Zahl übergebener Passagen und Positionsvariation als Teil des Testsets. Der Aufwand dafür ist gering. Der Unterschied in der Antwortqualität ist es nicht.