04.01.2025 AI Engineering 5 Minuten Lesezeit

Agentisches RAG: Wenn Retrieval-Schleifen den Einzelabruf schlagen

Klassisches RAG ruft einmal ab und generiert einmal. Agentisches RAG lässt das Modell Anfragen zerlegen, iterativ suchen und den eigenen Kontext kritisieren. Wir definieren das Muster, fassen die Evidenz aus IRCoT, Self-RAG und CRAG zusammen, benennen die Fälle, in denen eine Retrieval-Schleife den Einzelabruf schlägt, und zeigen, wie die Kosten von Schleifen begrenzt bleiben.

Die Grenzen des einmaligen Retrievals

Klassisches RAG ist eine feste Pipeline: Anfrage einbetten, Top-k-Chunks abrufen, Antwort generieren. Ein Abruf, eine Generierung, keine zweite Chance. Für Faktenfragen gegen ein sauberes Korpus funktioniert das. Bei Multi-Hop-Fragen scheitert es vorhersagbar, weil die korrekte zweite Suchanfrage vom Ergebnis der ersten abhängt. Das Embedding der Gesamtfrage passt selten zu dem Dokument, das den zweiten Schritt enthält.

Der Fehler bleibt zudem still. Liefert der erste Abruf Rauschen, generiert das Modell trotzdem eine Antwort — flüssig, überzeugt und unbelegt. Eine Pipeline, die keine Rückfrage stellen kann, kann sich von einem schlechten ersten Treffer nicht erholen. Genau dieses Problem adressiert agentisches RAG.

Dokumente werden gechunkt, eingebettet und indexiert — Vektoren plus Volltext. 1/4

Was RAG agentisch macht

Anthropics Engineering-Leitfaden vom 19. Dezember 2024 zieht eine nützliche Grenze: Workflows folgen vordefinierten Codepfaden, Agenten steuern ihren Prozess selbst. Agentisches RAG wendet diese Unterscheidung auf Retrieval an. Das Modell entscheidet, ob es sucht, welche Anfrage es stellt, ob die Ergebnisse ausreichen und wann es stoppt. Retrieval wird zu einem Werkzeug, das das Modell aufruft — nicht zu einer Stufe, die es durchläuft.

Die Forschung ist älter als das Etikett. ReAct (Oktober 2022) verzahnte Denkschritte mit Aktionen. IRCoT (Dezember 2022) wechselte zwischen Chain-of-Thought und Retrieval. FLARE (Mai 2023) suchte mitten in der Generierung nach, sobald die Token-Konfidenz fiel. Neu ist Anfang 2025 die Praxistauglichkeit: Aktuelle Modelle rufen Werkzeuge zuverlässig auf, daher laufen diese Schleifen heute in Produktionscode statt in Forschungsumgebungen.

Query-Zerlegung in der Praxis

Query-Zerlegung teilt eine zusammengesetzte Frage in Teilanfragen und ruft für jede separat ab. "Welcher unserer beiden Lieferanten hatte 2023 den höheren Audit-Score?" wird zu zwei Abfragen und einem Vergleich. Die Zahlen sind konkret: IRCoT mit GPT-3 (code-davinci-002) verbesserte den Retrieval-Recall um 11 bis 21 Punkte und die nachgelagerte QA-Leistung um bis zu 15 F1-Punkte auf HotpotQA, 2WikiMultihopQA, MuSiQue und IIRC — und reduzierte Faktenfehler in den Begründungsketten um bis zu 50 Prozent.

Der Geltungsbereich ist eng. Zerlegung hilft bei zusammengesetzten und Multi-Hop-Fragen. Sie hilft nicht, wenn das Korpus die Antwort nicht enthält, und sie addiert einen LLM-Aufruf plus mehrere Abrufe Latenz zu jeder Anfrage — auch zu den einfachen, sofern kein Router diese vorher aussortiert.

Iterative Suche mit Selbstkritik

Selbstkritik schließt die Schleife. Self-RAG (Oktober 2023) trainierte Modelle auf Reflection-Tokens: Abruf bei Bedarf, danach Bewertung jeder Passage auf Relevanz und jedes generierten Segments auf Beleg. Die 7B- und 13B-Modelle übertrafen ChatGPT bei Open-Domain-QA und Faktenprüfung. CRAG (Januar 2024) ergänzte einen leichtgewichtigen Retrieval-Evaluator, der abgerufene Dokumente bewertet und bei niedriger Konfidenz Korrekturen auslöst, darunter einen Websuche-Fallback.

In der Produktion trainieren Sie dafür selten ein Modell nach. Die praktische Übersetzung ist eine bewertete Schleife: abrufen, die Chunks von einem LLM gegen die Frage prüfen lassen, bei Ablehnung die Anfrage umformulieren, erneut abrufen. Anthropic beschreibt dieselbe Form als Evaluator-Optimizer-Workflow. Zwei bis drei Iterationen lösen die meisten behebbaren Fehler; mehr deutet meist auf ein Korpusproblem hin.

Wann eine Schleife den Einzelabruf schlägt

Eine Schleife lohnt sich unter vier Bedingungen: Die zweite Suchanfrage hängt von Zwischenergebnissen ab; das Vokabular der Frage weicht vom Vokabular der Dokumente ab; die Belege verteilen sich über heterogene Quellen; eine falsche Antwort ist teuer. Für Faktenabfragen gegen ein gut indiziertes Korpus ist Einmal-Retrieval mit Reranker günstiger und schneller. Eine Schleife mit drei Iterationen vervielfacht die Latenz grob um Faktor drei bis zehn.

Eine Schleife repariert keinen schwachen Index. Sind Chunking, Embeddings oder Filter defekt, liefert jede Iteration dasselbe Rauschen, und der Kritikschritt lehnt es zu Recht dauerhaft ab. Beheben Sie zuerst die Qualität des Einzelabrufs — hybride Suche, Reranking, besseres Chunking. In unseren Projekten bei Blue IT Systems ist die Schleife die letzte Optimierung, nicht die erste.

Die Entscheidung ist messbar. Lassen Sie Ihr Evaluationsset durch beide Pfade laufen und vergleichen Sie die Antwortqualität gegen Tokens und Latenz pro Anfrage. Hebt die Schleife die Genauigkeit weniger als das noch nicht ausgelieferte Reranker-Upgrade, liefern Sie zuerst den Reranker aus.

Kostenkontrolle in Retrieval-Schleifen

Schleifen vervielfachen den Token-Verbrauch. Jede Iteration sendet den akkumulierten Kontext erneut, die Kosten wachsen daher schneller als linear mit der Iterationszahl. Ohne Limits kann eine pathologische Anfrage das Fünfzigfache des Medians kosten. Kostenkontrolle ist deshalb Teil der Architektur, kein Nachtrag.

Die wichtigsten Hebel sind Limits, Modellabstufung und Caching. Bewertung und Umformulierung brauchen kein Frontier-Modell: GPT-4o mini kostet 0,15 Dollar pro Million Input-Tokens und 0,60 Dollar pro Million Output-Tokens (Juli 2024), gegenüber 2,50 und 10,00 Dollar für GPT-4o. Prompt-Caching senkt den Preis erneut gesendeten Kontexts: Anthropic berechnet Cache-Reads mit 10 Prozent des Basis-Inputpreises, OpenAI rabattiert gecachten Input um 50 Prozent.

Protokollieren Sie Token-Zahlen pro Anfrage und pro Iteration vom ersten Tag an. Ein wöchentlicher Perzentilbericht zeigt, welche Anfragen in die Schleife gehen und warum. Nach unserer Erfahrung verursacht ein kleiner Teil der Anfragen den Großteil der Schleifenkosten; ein Router, der einfache Fragen auf den Einmal-Pfad schickt, entfernt den Großteil dieser Ausgaben ohne messbaren Qualitätsverlust.

Ausblick auf 2025

Drei Entwicklungen dürften das Jahr aus Sicht von Anfang Januar 2025 prägen. Erstens: Reasoning-Modelle wie OpenAIs o1 (Dezember 2024) werden einen Teil der Planung übernehmen, die heute in Schleifen-Code steckt; die Schleife schrumpft, sie verschwindet nicht. Zweitens: Frameworks wie LangGraph und die Workflows von LlamaIndex konvergieren auf bewertete Retrieval-Schleifen als Standardbaustein — Telemetrie pro Iteration wird damit Standard statt Eigenbau. Drittens: Anthropics Model Context Protocol (November 2024) deutet auf standardisierten Zugriff auf Werkzeuge und Datenquellen — genau das, was Retrieval-Schleifen brauchen.

Unsere Erwartung: Bis Ende 2025 enthalten die meisten produktiven RAG-Systeme mindestens eine modellgesteuerte Retrieval-Entscheidung, während vollständig autonome Recherche-Agenten in regulierten europäischen Umgebungen die Ausnahme bleiben. Die Kosten pro Iteration werden weiter fallen; die Disziplin, Iterationen zu begrenzen, wird dadurch nicht optional. Es gewinnen die Teams, die ihre Schleifen so sorgfältig messen, wie sie sie gebaut haben.