19.01.2024 AI Engineering 4 Minuten Lesezeit

RAG in Produktion: Eine Fehlertaxonomie

Eine Feldtaxonomie der RAG-Fehlerklassen mit Stand Januar 2024: Retrieval-Misses, veraltete Indizes, der Lost-in-the-Middle-Effekt und Citation Drift. Wir definieren jede Fehlerklasse, belegen sie mit Messungen aus der Literatur und begründen, warum Retrieval und Generierung als getrennte Systeme evaluiert werden müssen — Recall@k auf der einen, Faithfulness-Metriken auf der anderen Seite.

Die Demo funktioniert und die Produktion nicht

Retrieval-Augmented Generation ist als Begriff fast vier Jahre alt — geprägt von Lewis et al. im Mai 2020 — und als Industriestandard etwa ein Jahr. 2023 wurde RAG zum Standardmuster, um Sprachmodelle auf privaten Dokumenten zu verankern. Die Demos funktionieren. Produktionssysteme scheitern auf Arten, die keine Demo gezeigt hat, und der Fehlerbericht lautet fast immer gleich: Halluzination.

Dieses Wort ist eine Diagnose des Modells. In unserer Projektarbeit bei Blue IT Systems beginnen die meisten RAG-Fehler, bevor das Modell ein einziges Token sieht: bei Ingestion, Indexierung oder Retrieval. Dieser Artikel benennt vier Fehlerklassen, die wir wiederholt sehen, belegt sie mit Messungen und plädiert für eine Disziplin: Messen Sie Retrieval getrennt von der Generierung.

Dokumente werden gechunkt, eingebettet und indexiert — Vektoren plus Volltext. 1/4

Eine Taxonomie aus vier Fehlerklassen

Eine RAG-Pipeline hat mindestens vier Stufen: Ingestion, Indexierung, Retrieval und Generierung. Jede Stufe versagt anders, und eine falsche Antwort ist ein Symptom, keine Diagnose. Die Tabelle ordnet jede Fehlerklasse der Stufe zu, die sie erzeugt. Diese Zuordnung ist wichtig, weil sich die Gegenmaßnahmen nicht zwischen den Stufen übertragen lassen.

Fehlerklasse	Stufe	Symptom
Retrieval-Miss	Retrieval	Die richtige Passage existiert im Korpus, erreicht aber nicht die Top-k
Veralteter Index	Ingestion und Indexierung	Die Antwort war zum Indexzeitpunkt korrekt und ist heute falsch
Lost in the Middle	Generierung	Die richtige Passage steht im Kontext, wird aber ignoriert
Citation Drift	Generierung	Die zitierte Quelle stützt die zitierte Aussage nicht

Retrieval-Misses kommen zuerst

Ein Retrieval-Miss bedeutet: Die relevante Passage ist indexiert, erreicht aber nicht die Top-k. Der Generator antwortet dann aus parametrischem Gedächtnis oder verweigert die Antwort. Leaderboard-Werte von Embedding-Modellen sagen darüber wenig aus: BEIR (Thakur et al., 2021) evaluierte 10 Retrieval-Systeme auf 18 Datensätzen. Dense Retriever, trainiert auf MS MARCO, fallen bei Domänenwechsel oft hinter schlichtes BM25 zurück; BM25 bleibt eine robuste Zero-Shot-Baseline.

Die praktische Konsequenz: Benchmarken Sie Ihren Retriever auf Ihrem Korpus, nicht auf seinem Leaderboard. Hybrides Retrieval — BM25 plus dense — mit einem Cross-Encoder-Reranker schließt einen großen Teil der Lücke. Es repariert kein Chunking, das eine Antwort über Chunk-Grenzen zerschneidet, und es hilft nicht, wenn die Antwort gar nicht im Korpus steht.

Veraltete Indizes beantworten die Fragen von gestern

Ein Vektorindex ist ein Snapshot. Embeddings werden einmal berechnet; die Quelldokumente ändern sich weiter. Ein veralteter Index liefert deshalb Passagen, die zum Indexzeitpunkt wahr waren — eine Preisliste vom März, eine im Juni ersetzte Richtlinie. Der Fehler ist still: Die Retrieval-Metriken bleiben grün, weil die Passage weiterhin relevant zur Anfrage ist. Sie ist nur falsch.

Die Gegenmaßnahmen sind unglamourös: inkrementelle Ingestion anhand von Quell-Zeitstempeln, Frische-Budgets pro Quelle und propagierte Löschungen, damit entfernte Dokumente auch den Index verlassen. Eine Falle verdient einen Namen: Embedding-Vektoren verschiedener Modelle sind nicht vergleichbar. Ein Wechsel des Embedding-Modells bedeutet Re-Embedding des gesamten Korpus. Planen Sie diese Kosten ein, bevor sie zum Ausfall werden.

Lost in the Middle

Liu et al. (arXiv 2307.03172, Juli 2023) zeigten, dass Sprachmodelle lange Kontexte ungleichmäßig nutzen. Über GPT-3.5-Turbo, Claude 1.3, MPT-30B-Instruct und LongChat-13B hinweg folgt die Genauigkeit bei Multi-Dokument-Fragebeantwortung einer U-Kurve: am höchsten, wenn die relevante Passage vorn oder hinten steht, am niedrigsten in der Mitte. Bei GPT-3.5-Turbo fällt die Leistung um mehr als 20 Prozent; mit 20 oder 30 Dokumenten liegt sie bei mittlerer Position unter der Closed-Book-Baseline von 56,1 Prozent.

Für RAG kippt das eine Intuition: Mehr Dokumente abzurufen kann Antworten verschlechtern. Abgerufen-aber-ignoriert ist eine reale Fehlerklasse, und in Retrieval-Metriken ist sie unsichtbar. Der Hebel ist die Reihenfolge — die stärksten Passagen nach vorn oder ans Ende. Ein Reranker gibt Ihnen diese Kontrolle; eine rohe Ähnlichkeitssortierung nicht.

Citation Drift untergräbt Vertrauen

Citation Drift ist die Lücke zwischen dem, was ein System zitiert, und dem, was das Zitat tatsächlich belegt. Liu, Zhang und Liang (arXiv 2304.09848, April 2023) auditierten vier generative Suchmaschinen — Bing Chat, NeevaAI, perplexity.ai und YouChat. Im Mittel waren nur 51,5 Prozent der generierten Sätze vollständig durch Zitate gedeckt, und nur 74,5 Prozent der Zitate stützten ihren Satz. Schlimmer: Die Zitierpräzision korrelierte negativ mit der wahrgenommenen Nützlichkeit (r = −0,96).

Die Lehre: Zitate sind generierter Text, keine Provenienz. Eine Fußnote verifiziert sich nicht selbst. Wenn Ihr Produkt Quellen anzeigt, prüfen Sie die Stützung explizit — ein Entailment-Check zwischen Aussage und zitierter Passage — und berichten Sie Zitierpräzision und Zitier-Recall als eigenständige Metriken.

Retrieval getrennt von der Generierung messen

Ein End-to-End-Qualitätswert vermischt zwei Systeme. Trennen Sie sie. Retrieval wird offline gegen gelabelte Paare aus Frage und Gold-Passage gemessen: Recall@k, MRR, nDCG@10. Diese Metriken sind deterministisch, kosten pro Lauf nichts und gehören in die CI neben die Unit-Tests. Generierung wird bei fixiertem Kontext gemessen: Faithfulness, Answer Relevance und Context Relevance, wie von RAGAS (Es et al., September 2023) mit einem LLM als referenzfreiem Richter formalisiert.

Die Trennung zeigt auch, wo Investitionen wirken. Liu et al. fanden in einer Open-Domain-QA-Fallstudie, dass die Reader-Leistung weit vor dem Retriever-Recall sättigt — ab einem Punkt bringt besseres Retrieval nichts mehr. Die Trade-offs offen benannt: LLM-bewertete Metriken sind verrauscht und kosten Tokens; Retrieval-Metriken sind exakt, verlangen aber Labeling-Arbeit. Sie brauchen beides, und zwar getrennt.

Was wir für 2024 erwarten

Mit Stand Januar 2024 wachsen die Kontextfenster schnell: GPT-4 Turbo nennt 128K Tokens, Claude 2.1 200K — beide angekündigt im November 2023. Wir erwarten nicht, dass langer Kontext Retrieval ersetzt. Kosten und Latenz skalieren mit den Eingabetokens, und Lost in the Middle zeigt: Ein längeres Fenster ist nicht dasselbe wie ein genutztes Fenster. Retrieval bleibt; was sich ändert, ist wie rigoros es gemessen werden muss.

Unsere Erwartungen für 2024: Hybrides Retrieval mit Reranking wird Standard statt Optimierung; Retrieval-Evaluationssets werden versionierte Repository-Artefakte wie Code; und Zitatprüfung wandert vom UI-Feature in die Pipeline. Das sind Vorhersagen aus dem Januar 2024, und einige werden schlecht altern. Eine Aussage nicht: Ein System, das sich nur End-to-End messen lässt, lässt sich nicht debuggen.