19.01.2024 AI Engineering4 Minuten Lesezeit

RAG in Produktion: Eine Fehlertaxonomie

Eine Praxistaxonomie der RAG-Fehlerklassen, Stand Januar 2024: Retrieval-Misses, veraltete Indizes, Lost in the Middle und Citation Drift. Wir definieren jede Klasse, belegen sie mit Messungen aus der Literatur und zeigen, warum Retrieval und Generierung getrennt evaluiert werden müssen — mit Recall@k auf der einen und Faithfulness-Metriken auf der anderen Seite.

Die Demo funktioniert und die Produktion nicht

Retrieval-Augmented Generation ist als Begriff fast vier Jahre alt — Lewis et al. prägten ihn im Mai 2020 — und seit etwa einem Jahr Industriestandard. 2023 wurde RAG zum bevorzugten Muster, um Sprachmodelle auf privaten Dokumenten zu verankern. In Demos funktioniert das zuverlässig. Erst in Produktion treten Fehler auf, die dort unsichtbar blieben; der Fehlerbericht besteht dann fast immer aus einem Wort: Halluzination.

Damit wird vorschnell das Modell diagnostiziert. In unserer Projektarbeit bei Blue IT Systems entstehen die meisten RAG-Fehler jedoch, bevor das Modell ein einziges Token sieht: bei Ingestion, Indexierung oder Retrieval. Dieser Artikel beschreibt vier wiederkehrende Fehlerklassen, belegt sie mit Messungen und leitet daraus eine zentrale Disziplin ab: Retrieval und Generierung müssen getrennt gemessen werden.

Dokumente werden gechunkt, eingebettet und indexiert — Vektoren plus Volltext. 1/4

Eine Taxonomie aus vier Fehlerklassen

Eine RAG-Pipeline hat mindestens vier Stufen: Ingestion, Indexierung, Retrieval und Generierung. Jede Stufe versagt anders, und eine falsche Antwort ist ein Symptom, keine Diagnose. Die Tabelle ordnet jede Fehlerklasse der Stufe zu, die sie erzeugt. Diese Zuordnung ist wichtig, weil sich die Gegenmaßnahmen nicht zwischen den Stufen übertragen lassen.

Fehlerklasse	Stufe	Symptom
Retrieval-Miss	Retrieval	Die richtige Passage existiert im Korpus, erreicht aber nicht die Top-k
Veralteter Index	Ingestion und Indexierung	Die Antwort war zum Indexzeitpunkt korrekt und ist heute falsch
Lost in the Middle	Generierung	Die richtige Passage steht im Kontext, wird aber ignoriert
Citation Drift	Generierung	Die zitierte Quelle stützt die zitierte Aussage nicht

Retrieval-Misses kommen zuerst

Ein Retrieval-Miss bedeutet: Die relevante Passage ist indexiert, erreicht aber nicht die Top-k. Der Generator antwortet dann aus parametrischem Gedächtnis oder verweigert die Antwort. Leaderboard-Werte von Embedding-Modellen sagen darüber wenig aus: BEIR (Thakur et al., 2021) evaluierte 10 Retrieval-Systeme auf 18 Datensätzen. Dense Retriever, trainiert auf MS MARCO, fallen bei Domänenwechsel oft hinter schlichtes BM25 zurück; BM25 bleibt eine robuste Zero-Shot-Baseline.

Für die Praxis folgt daraus: Benchmarken Sie den Retriever auf Ihrem Korpus, nicht auf seinem Leaderboard. Hybrides Retrieval — BM25 plus dense — mit einem Cross-Encoder-Reranker kann einen großen Teil der Lücke schließen. Es repariert jedoch weder Chunking, das eine Antwort über Grenzen zerschneidet, noch einen Korpus, in dem die Antwort überhaupt nicht enthalten ist.

Veraltete Indizes beantworten die Fragen von gestern

Ein Vektorindex ist ein Snapshot. Embeddings werden einmal berechnet; die Quelldokumente ändern sich weiter. Ein veralteter Index liefert deshalb Passagen, die zum Indexzeitpunkt wahr waren — eine Preisliste vom März, eine im Juni ersetzte Richtlinie. Der Fehler ist still: Die Retrieval-Metriken bleiben grün, weil die Passage weiterhin relevant zur Anfrage ist. Sie ist nur falsch.

Die Gegenmaßnahmen sind unglamourös: inkrementelle Ingestion anhand von Quell-Zeitstempeln, Frische-Budgets pro Quelle und propagierte Löschungen, damit entfernte Dokumente auch den Index verlassen. Eine Falle verdient einen Namen: Embedding-Vektoren verschiedener Modelle sind nicht vergleichbar. Ein Wechsel des Embedding-Modells bedeutet Re-Embedding des gesamten Korpus. Planen Sie diese Kosten ein, bevor sie zum Ausfall werden.

Lost in the Middle

Liu et al. (arXiv 2307.03172, Juli 2023) zeigten, dass Sprachmodelle lange Kontexte ungleichmäßig nutzen. Über GPT-3.5-Turbo, Claude 1.3, MPT-30B-Instruct und LongChat-13B hinweg folgt die Genauigkeit bei Multi-Dokument-Fragebeantwortung einer U-Kurve: am höchsten, wenn die relevante Passage vorn oder hinten steht, am niedrigsten in der Mitte. Bei GPT-3.5-Turbo fällt die Leistung um mehr als 20 Prozent; mit 20 oder 30 Dokumenten liegt sie bei mittlerer Position unter der Closed-Book-Baseline von 56,1 Prozent.

Für RAG kippt das eine Intuition: Mehr Dokumente abzurufen kann Antworten verschlechtern. Abgerufen-aber-ignoriert ist eine reale Fehlerklasse, und in Retrieval-Metriken ist sie unsichtbar. Der Hebel ist die Reihenfolge — die stärksten Passagen nach vorn oder ans Ende. Ein Reranker gibt Ihnen diese Kontrolle; eine rohe Ähnlichkeitssortierung nicht.

Citation Drift untergräbt Vertrauen

Citation Drift ist die Lücke zwischen dem, was ein System zitiert, und dem, was das Zitat tatsächlich belegt. Liu, Zhang und Liang (arXiv 2304.09848, April 2023) auditierten vier generative Suchmaschinen — Bing Chat, NeevaAI, perplexity.ai und YouChat. Im Mittel waren nur 51,5 Prozent der generierten Sätze vollständig durch Zitate gedeckt, und nur 74,5 Prozent der Zitate stützten ihren Satz. Schlimmer: Die Zitierpräzision korrelierte negativ mit der wahrgenommenen Nützlichkeit (r = −0,96).

Die Lehre: Zitate sind generierter Text, keine Provenienz. Eine Fußnote verifiziert sich nicht selbst. Wenn Ihr Produkt Quellen anzeigt, prüfen Sie die Stützung explizit — ein Entailment-Check zwischen Aussage und zitierter Passage — und berichten Sie Zitierpräzision und Zitier-Recall als eigenständige Metriken.

Retrieval getrennt von der Generierung messen

Ein End-to-End-Qualitätswert vermischt zwei Systeme. Trennen Sie sie. Retrieval wird offline gegen gelabelte Paare aus Frage und Gold-Passage gemessen: Recall@k, MRR, nDCG@10. Diese Metriken sind deterministisch, kosten pro Lauf nichts und gehören in die CI neben die Unit-Tests. Generierung wird bei fixiertem Kontext gemessen: Faithfulness, Answer Relevance und Context Relevance, wie von RAGAS (Es et al., September 2023) mit einem LLM als referenzfreiem Richter formalisiert.

Diese Trennung zeigt zugleich, wo Investitionen noch wirken. Liu et al. fanden in einer Open-Domain-QA-Fallstudie, dass die Reader-Leistung deutlich vor dem Retriever-Recall sättigt — ab einem bestimmten Punkt verbessert zusätzliches Retrieval die Antwort nicht mehr. Die Trade-offs bleiben klar: LLM-bewertete Metriken sind verrauscht und kosten Tokens; Retrieval-Metriken sind exakt, verlangen dafür Labeling-Arbeit. Produktionssysteme brauchen beides, aber als getrennte Signale.

Was wir für 2024 erwarten

Mit Stand Januar 2024 wachsen die Kontextfenster schnell: GPT-4 Turbo nennt 128K Tokens, Claude 2.1 200K — beide angekündigt im November 2023. Wir erwarten nicht, dass langer Kontext Retrieval ersetzt. Kosten und Latenz skalieren mit den Eingabetokens, und Lost in the Middle zeigt: Ein längeres Fenster ist nicht dasselbe wie ein genutztes Fenster. Retrieval bleibt; was sich ändert, ist wie rigoros es gemessen werden muss.

Für 2024 erwarten wir drei Verschiebungen: Hybrides Retrieval mit Reranking wird vom Extra zum Standard; Retrieval-Evaluationssets werden wie Code versionierte Repository-Artefakte; und die Zitatprüfung wandert aus der Oberfläche in die Pipeline. Einige dieser Prognosen aus dem Januar 2024 werden schlecht altern. Eine Aussage bleibt: Ein System, das sich nur Ende zu Ende messen lässt, lässt sich nicht gezielt debuggen.